CCRC-CDO数据治理：元数据管理

这是一篇关于CCRC-CDO数据治理：元数据管理的思维导图，主要内容包括：元数据应用，元数据管理目标、挑战与方法，元数据作用，元数据类型，元数据是什么。关于数据的数据是组织使用的物理数据、技术和业务流程、数据规则和约束以及数据的物理与逻辑结构的信息。

CCRC-CDO 数据治理：元数据管理

• 一、 元数据是什么
  • 什么是元数据
    • 关于数据的数据。是组织使用的物理数据、技术和业务流程、数据规则和约束 以及数据的物理与逻辑结构的信息。
  • 元数据与数据的不同之处
    • 元数据不是特定实例或记录
    • 需要元数据描述来理解数据
    • 数据类型、名称、数据的上下文描述
  • 主数据的元数据
    • 属性名称
    • 数据类型
    • 允许值
    • 约束条件
    • 默认值
    • 依赖关系
    • 数据定义和维护
  • 元数据与其它数据治理活动的关联
    • 数据标准
    • 元数据管理
    • 数据质量管理
• 二、 元数据类型
  • 业务元数据
    • 业务定义、业务术语解释
    • 业务指标名称、计算口径、衍生指标
    • 业务引擎的规则、数据质量检测规则、数据挖掘算法
    • 数据的安全或敏感级别
  • 技术元数据
    • 物理数据库表名称、列名称、字段长度、字段类型、 约束信息、数据依赖关系等；
    • 数据存储类型、位置、数据存储文件格式或数据压 缩类型等；
    • 字段级血缘关系、SQL脚本信息、ETL信息、接口 程序等；
    • 调度依赖关系、进度和数据更新频率等。
  • 操作元数据
    • 批处理程序的作业执行日志
    • 抽取历史和结果
    • 错误日志
    • 审计、平衡、控制度量的结果
    • 报表和查询的访问模式、频率和执行时间
    • 备份、保留、创建日期、灾备恢复预案
    • 数据归档、保留规则和相关归档文件
    • 技术人员的角色、职责和联系信息
  • 管理元数据
    • 数据所属权
    • 数据所有者
    • 数据拥有部门
    • 数据管理员
  • 常见应用元数据
• 三、 元数据作用
  • 描述
    • 对数据对象的内容、属性的描述，这是元数据的基本 功能，是各组织、各部门之间达成共识的基础。
  • 管理
    • 对数据对象的版本、管理和使用权限的描述，方 面信息对象管理和使用。
  • 定位
    • 有关数据资源位置方面的信息描述，如数据存储 位置、URL等记录，可以帮助用户快速找到数据 资源，有利于信息的发现和检索。
  • 评估
    • 由于有元数据描述，用户在不浏览具体数据对象 的情况下也能对数据对象有个直观的认识，方便 用户的使用。
  • 检索
    • 在描述数据的过程中，将信息对象中的重要信息 抽出标引并加以组织，建立它们之间的关系，为 用户提供多层次、多途径的检索体系，帮助用户 找到想要的信息。
  • 交互
    • 元数据对数据结构、数据关系的描述方便了数据 对象在不同部门、不同系统之间进行流通和流转， 并确保流转过程中数据标准的一致性
• 四、 元数据管理目标、挑战与方法
  • 元数据管理
    • 技术角度
    • 业务角度
    • 应用角度
  • 企业元数据管理的主要活动
    • 创建并记录主题领域的实体和属性 的数据定义
    • 识别数据对象之间的业务规则和关系
    • 证明数据内容的准确性、完整性和 及时性
    • 建立和记录内容的上下文（数据血 缘、数据影响的全链路跟踪分析
    • 为多样化的数据用户提供一系列上 下文理解，包括用于合规性、内部 控制和更好决策的可信数据
    • 为技术人员提供元数据信息，支持 数据库或应用的开发
  • 元数据管理的3个目标
    • 建立指标解释体系
      • 满足用户对业务和数据理解的需求， 建立标准的企业内部知识传承的信息承载平台， 建立业务分析知识库，实现知识共享
      • 企业有哪些数据？
      • 什么是企业有效客户？ 有效客户和客户有何区别？
      • 什么是产品的生命周期？
      • 这个数据还叫什么名字？
      • 数据仓库中的存储过程是谁写的？ 它用来干什么？现在还在用吗
    • 提高数据溯源能力
      • 让用户能够清晰地了解数据仓库中数据流的来龙去脉、业务处理规则、转换情况等，提高数据的溯源能力，支持数据仓库的成长需求，降低因员工换岗造成的影响
      • 这张表是从哪个业务系统中抽取过来的？
      • ETL过程是否对数据进行过加工处理？ 进行了哪些处理？
      • 指标数据是从哪些表汇总计算出来的？
    • 数据质量稽核体系
      • 通过非冗余、非重复的元数据信息提高数据完整性、准确性。 元数据管理解决的问题是如何将业务系统中的数据分门别类地进行管理， 建立报警、监控机制，出现故障时能及时发现问题， 为数据仓库的数据质量监控提供基础素材。
      • 今天的在线用户数为什么是0？
      • 为什么A报表中的本月收入值与B报表中的不同？
  • 元数据管理的4个挑战
    • 局部的元数据管理
      • 多数建立在新建系统或数据仓库项目的局部治理上，非企业级
    • 手动的元数据管理
      • 手动的元数据管理和维护十分烦琐且容易出错
    • 日趋复杂的数据环境
      • 非结构化、半结构化数据渗透到企业的数字环境中， 采用传统的元数据管理方式来采集、处理和检索元数据变得越来越具有挑战性
    • 数据的频繁变化
      • 随着数据的不断创建、抽取和转换， 有关数据来源、血缘、转换过程、质量级别以及 与其他数据的关系的元数据也会随时变化
  • 元数据管理方法
    • 业务目标理解
      • 建立企业数据资产目录
      • 降低因人员流动而导致知识流失的风险
      • 消除冗余，加强数据复用
      • 提供数据风险。 血缘探查能力，提高数据分析的质量
    • 元数据需求规划
      • 元数据模型需求
        • 命名规范、结构、元素及关联关系等
      • 元数据接口需求
        • 元数据资料库及其内容，适配器、所有者、 系统访问、元数据血缘关系等
      • 元数据系统需求
        • 元数据采集、元数据管理、元数据应用等
      • 数据安全需求
        • 数据的分类分级、敏感数据分布、敏感数据 管理要求等。
      • 数据质量需求
        • 数据质量规则、数据标准定义等
      • 数据管理需求
        • 数据管理的组织、流程、制度、考核等。
    • 元数据设计
      • 元数据发布
        • 建立技术元数据与业务元数据的映射，形成 企业级元数据地图，发布元数据基线
      • 元数据获取
        • 元数据除了通过自动化工具获取，有时 候还需要通过模板手工整理作为补充
      • 元数据定义
        • 对数据的业务属性、技术属性、操作属 性进行规范化的定义
      • 元数据分类
        • 按照业务主题进行组织，按照数据源进 行组织
    • 元数据管理体系的设计
      • 1 组织保障
      • 2 制度保障
      • 3 流程保障
      • 4 技术与工具
      • 5 运营维护
      • 6 监控管理
      • 7 统计分析
      • 8 宣传推广
• 五、 元数据应用
  • 元数据的基础功能和应用
    • 血缘分析
      • 元数据血缘分析会告诉你数据来自哪里，经过了哪些加工
    • 影响分析
      • 元数据影响分析会告诉你数据去了哪经过了哪些加工
      • 价值：当发现数据问题时可以通过数据的关联关系向下追踪，快速找到有 哪些应用或数据库使用了这个数据，最大限度地减小数据问题带来的影响。
      • 这个功能常用于数据源的元数据变更对下游ETL、ODS、DW等应用的影响分析。
    • 冷热度分析
      • 哪些数据是企业常用数据
      • 哪些数据属于僵死数据
      • 价值：让数据活跃程度可视化，让企业中的业务人员、管理人员都能够清晰地看到数据的活跃程度、更好地驾驭数据，处置或激活僵死数据，从而为数据的自助式分析提供支撑。
    • 关联度分析
      • 元数据关联度分析：告诉我们数据与其他数据的关系，它们的关系是怎样建立的。
      • 关联度分析：从某一实体关联的其他实体及其参与的处理过程两个角度来查看具体数据的使用情况，形成一张实体和所参与处理过程的网络
      • 如：表与ETL程序、表与分析应用、表与其他表的关联情况等。进一步了解该实体的重要程度。
    • 数据地图
      • 数据资产地图
        • ER图
  • 元数据管理系统架构