元数据管理

数据治理学习总结——元数据是指描述数据的数据，它包含有关数据的各种属性和特征的信息。在DAMA（数据管理协会）中，元数据的定义是指一组结构化信息，用于描述和管理数据资源。元数据描述了数据本身（如数据库、数据元素、数据模型），数据表示的概念（如业务流程、应用系统、软件代码、技术基础设施），以及数据与概念之间的联系（关系）。

元数据管理

• 基本概念
  • 元数据
    • 元数据是描述数据的数据，是对数据的更高层级抽象，帮助人们认识和管理数据。 作用： 对信息对象做基本的描述，用户无需了解信息对象的全貌，就能对器有基本的了解； 指示数据的存放位置，为快速检索数据提供便利。
  • 数据元
    • 是描述数据的最小单位。它构建了一个语义正确、独立且无歧义的信息单元。 应用： 作为数据库建表建字段的重要依据。
  • 二者关系
    • 数据元是数据的具体实现，而元数据是对这些数据特征的描述； 数据元作为数据的基本单位，需要元数据来提供相关的信息约定； 如姓名是一个数据元，而关于姓名的中英文名称、简称、字段类型、字段长度、值域等信息则是关于数据元的元数据。
• 分类
  • 业务元数据
    • 表和字段的定义与描述； 数据标准； 数据模型； 业务及转换规则、数据质量规则； 数据更新同步策略； 利益相关方信息（所有者、管理者）。
  • 技术元素据
    • 物理数据库表名； 字段名； 字段属性； 存储格式及位置； 访问权限； 数据血缘文档。
  • 操作元数据
    • 批处理作业的执行日志； 调度任务的异常处理； 数据共享规则； 清洗标准； 创建人、归档人； 创建修改时间。
• 流程
  • 
  • 采集
    • Atlas
  • 维护
    • 就是将采集到的元数据进行补充维护，使描述的信息更完整，识别度更高。
  • 审核
    • 变更审核发布流程
  • 发布
• 数据血缘
  • 获取方式
    • SQL自动解析Atlas
    • 数据处理程序负责发送数据数据血缘信息
    • 手工收集，如Mapping关系映射
  • 用途
    • 数据血缘
      • 数据溯源
      • 影响分析
      • 冷热度分析
        • 分配冷热度权重，哪些数据是企业常用数据，分配更多的资源，哪些数据属于僵尸数据数据，删除，冷数据归档，跑批脚本停止运行，节省资源
        • 数据归档和销毁的参考
    • 数据资产视图
      • 接入了那些表、正在跑批的那些表