元数据管理

Dana知识体系，元数据是用于描述其他数据的数据集，记录了数据的定义、结构、来源、用途等关键信息。

元数据管理

• 引言
  • 定义
    • 1. 元数据最常见的定义是“关于数据的数据”。
    • 2. 元数据对于数据管理和数据使用来说都是必不可少的
    • 3. ISO的元数据注册标准ISO/IEC 11179旨在基于精确数据定义，在异构环境中实现以元数据为驱动的数据交换
  • 元数据 ：语境关系图
    • 定义
      • 通过计划、实施和控制活动确保访问到高质量的、整合的元数据
    • 目标
      • 1. 提供企业可理解的业务术语并使用它
      • 2. 从不同来源采集和整合元数据
      • 3. 提供访问元数据的标准方法
      • 4. 确保元数据质量与安全
    • 交付成果
      • 元数据战略
      • 元数据标准
      • 元数据架构
      • 元模型
      • 统一的元数据
      • 元数据库
      • 数据血缘
      • 影响分析
      • 依赖分析
      • 元数据控制过程
    • 方法
      • 数据血缘和影响分析
      • 应用于大数据采集的元数据
    • 工具
      • 元数据存储库管理工具
      • 其他工具的元数据存储库
    • 度量指标
      • 元数据覆盖范围积分卡
      • 元数据存储库分发
      • 元数据使用报告
      • 元数据质量分析卡
    • 元数据管理知识图谱
  • 业务驱动因素
    • 数据管理需要元数据，元数据本身也需要管理，可靠且良好管理元数据有助于：
      • 1. 通过提供上下问语境和执行数据质量检查提高数据的可信度
      • 2. 通过扩展用途增加战略信息（如主数据）的价值
      • 3. 通过识别冗余数据和流程提高运营效率
      • 4. 防止使用过时或不正确的数据
      • 5. 减少数据的研究时间
      • 6. 改善数据使用者和IT专业人员之间的沟通
      • 7. 创建准确的影响分析，从而降低项目失败的风险。
      • 8. 通过缩短系统开发生命周期时间缩短产品上市时间
      • 9. 通过全面记录数据背景、历史和来源降低培训成本和员工流动的影响
      • 10. 满足监督合规
    • 元数据管理不善容易导致以下问题
      • 1. 冗余的数据和数据管理流程
      • 2. 重复和冗余的字典、存储库和其他元数据存储
      • 3. 不一致的数据元素定义和数据滥用的相关风险
      • 4. 元数据的不同版本相互矛盾且有冲突，降低了数据使用者的信心
      • 5. 怀疑元数据和数据的可靠性
  • 目标原则
    • 管理目标
      • 1. 记录和管理与数据相关的业务术语的知识体系，以确保人们理解和使用数据内容的一致性。
      • 2. 收集和整合来自不同来源的元数据，以确保人们了解来自组织不同部门的数据之间的相似与差异。
      • 3. 确保元数据的质量、一致性、及时性和安全性
      • 4. 提供标准途径，使元数据使用者（人员、系统和流程）可以访问元数据。
      • 5. 推广或强制使用技术元数据标准，以实现数据交换
    • 实施原则
      • 1）组织承诺
        • 将元数据管理作为企业整体战略的一部分，将数据作为企业资产进行管理
      • 2）战略
        • 制定元数据战略，考虑如何创建、维护、集成和访问元数据
      • 3）企业视角
      • 4）潜移默化
      • 5）访问
        • 确保员工了解如何访问和使用元数据
      • 6）质量
        • 流程所有者应对元数据的质量负责
      • 7）审计
        • 制定、实施和审核元数据标准，以简化元数据的集成和使用
      • 8）改进
        • 创建反馈机制
  • 基本概念
    • 元数据与数据
      • 元数据也是一种数据，应该用数据管理的方式进行管理
    • 元数据类型
      • 业务元数据
        • 业务元数据包括主题域、概念、实体、属性的非技术名称和定义、属性的数据类型和其它特征，如范围描述、计算公式、算法和业务规则、有效的域值及其定义
      • 技术元数据
        • 技术元数据提供有关数据的技术细节、存储数据的系统以及在系统内和系统间数据流转过程的信息
      • 操作/运营元数据
        • 操作元数据描述了处理和访问数据的细节
    • ISO/IEC 11179元数据注册标准
      • 组成
        • 第一部分：数据元素生成和标准化框架
        • 第二部分：数据元数据分类
        • 第三部分：数据元素的基本属性
        • 第四部分：数据定义的形成规则和指南
        • 第五部分：数据元素的命名和识别原则
        • 第六部分：数据元素的注册
    • 元数据来源
      • 1. 应用程序中元数据存储库
      • 2. 业务术语表
      • 3. 商务智能工具
      • 4. 配置管理工具
      • 5. 数据字典
      • 6. 数据集成工具
      • 7. 数据库管理和系统目录
      • 8. 数据映射管理工具
      • 9. 数据质量工具
      • 10. 字典和目录
      • 11. 事件消息工具
      • 12. 建模工具和存储库
      • 13. 参考数据库
      • 14. 服务注册
      • 15. 其他元数据存储
    • 元数据架构类型
      • 1）集中式元数据架构
      • 2）分布式元数据架构
      • 3）混合式元数据架构
      • 4）双向元数据架构
• 方法
  • 应用于大数据采集的元数据平台
• 活动
  • 元数据需求
    • 1）更新频次
      • 元数据属性和属性集更新频率
    • 2）同步情况
      • 数据源头变化后的更新时间
    • 3）历史信息
      • 是否需要保留元数据的历史版本
    • 4）访问权限
      • 通过特定的用户界面功能，谁可以访问元数据，如何访问
    • 5）存储结构
      • 元数据如何通过建模来存储
    • 6）集成要求
      • 元数据从不同数据源的整合程度，整合的规则
    • 7）运维要求
      • 更新元数据的处理过程和规则（记录日志和提交申请）
    • 8）管理要求
      • 管理元数据的角色和职责
    • 9）质量要求
      • 元数据的质量需求
    • 10）安全要求
      • 一些元数据不应该公开，因为会泄漏某些高度保密数据的信息
  • 元模型
    • 创建一个元数据存储库的数据模型，也叫元模型
  • 查询、报告和分析元数据
    • 元数据指导如何使用数据资产：在商务智能（报表和分析）、商业决策（操作型、运营型和战略型）以及业务语义（业务所述内容及其含义）方面使用元数据。元数据存储库应具有前端应用程序，并支持查询和获取功能，从而满足以上各类数据资产管理的需要
• 元数据治理
  • 度量指标
    • 1. 元数据存储库完整性
    • 2. 元数据管理成熟度
    • 3. 专职人员配备
    • 4. 元数据使用情况
    • 5. 业务术语活动
    • 6. 主数据服务数据遵从性
    • 7. 元数据文档质量
    • 8. 元数据存储库可用性