DAMA数据管理知识体系指南 第十二章 元数据管理

这是一篇关于DAMA数据管理知识体系指南 第十二章 元数据管理的思维导图，主要内容有元数据简介、元数据的作用、元数据-语境关系图、业务驱动因素等。

DAMA数据管理 第十二章 元数据管理

• 元数据简介
  • 元数据最常见的定义是“关于数据的数据”
  • 可以归类为元数据的信息范围很广，不仅包括技术和业务流程、 数据规则和约束，还包括逻辑数据结构与物理数据结构等
• 元数据的作用
  • 如果没有可靠的元数据，组织就不知道它拥有什么数据、数据表示 什么、数据来自何处、它如何在系统中流转，谁有权访问它，或者 对于数据保持高质量的意义
  • 如果没有元数据，组织就不能将其数据作为资产进行管理。实际上， 如果没有元数据，组织可能根本无法管理其数据
  • 与其他数据一样，元数据需要管理。随着组织收集和存储数据能力 的提升，元数据在数据管理中的作用变得越来越重要
• 元数据-语境关系图
• 业务驱动因素
  • 1）通过提供上下文语境和执行数据质量检查提高数据的可信度。
  • 2）通过扩展用途增加战略信息（如主数据）的价值。
  • 3）通过识别冗余数据和流程提高运营效率。
  • 4）防止使用过时或不正确的数据。
  • 5）减少数据的研究时间。
  • 6）改善数据使用者和IT专业人员之间的沟通。
  • 7）创建准确的影响分析，从而降低项目失败的风险。
  • 8）通过缩短系统开发生命周期时间缩短产品上市时间。
  • 9）通过全面记录数据背景、历史和来源降低培训成本和员工流动的影响。
  • 10）满足监管合规。
• 元数据管理不善容易导致以下问题
  • 1）冗余的数据和数据管理流程
  • 2）重复和冗余的字典、存储库和其他元数据存储
  • 3）不一致的数据元素定义和与数据滥用的相关风险
  • 4）元数据的不同版本相互矛盾且有冲突，降低了数据使用者的信心。
• 元数据管理的目标
  • 1）记录和管理与数据相关的业务术语的知识体系，以确保人们理解和使用数据内容的一致性。
  • 2）收集和整合来自不同来源的元数据，以确保人们了解来自组织不同部门的数据之间的相似与差异。
  • 3）确保元数据的质量、一致性、及时性和安全。
  • 4）提供标准途径，使元数据使用者（人员、系统和流程）可以访问元数据。
  • 5）推广或强制使用技术元数据标准，以实现数据交换。
• 元数据管理的原则
  • 1）组织承诺。
    • •确保组织对元数据管理的承诺（高级管理层的支持和资金），将元数据管理作为企业整体战略的一部分，将数据作为企业资产进行管理。
  • 2）战略。制定元数据战略，考虑如何创建、维护、集成和访问元数据。
    • •战略能推动需求，这些需求应在评估、购买和安装元数据管理产品之前定义。元数据战略必须与业务优先级保持一致。
  • 3）企业视角。
    • •从企业视角确保未来的可扩展性，但是要通过迭代和增量交付来实现，以带来价值。
  • 4）潜移默化。
    • •宣导元数据的必要性和每种元数据的用途；潜移默化其价值将鼓励业务使用元数据，同时也为业务提供知识辅助。
  • 5）访问。
    • •确保员工了解如何访问和使用元数据。
  • 6）质量。
    • •认识到元数据通常是通过现有流程（数据建模、SDLC、业务流程定义）生成的，所以流程所有者应对元数据的质量负责。
  • 7）审计。
    • •制定、实施和审核元数据标准，以简化元数据的集成和使用。
  • 8）改进。
    • •创建反馈机制，以便数据使用者可以将错误的或过时的元数据反馈给元数据管理团队
• 元数据生命周期
  • 1）元数据创建和采集
  • 2）元数据在一个或多个数据库中存储
  • 3）元数据集成
  • 4）元数据交付
  • 5）元数据使用
  • 6）元数据控制和管理
• 元数据架构
  • 集中式元数据架构
    • 集中式元数据架构由单一的元数据存储库组成，包含来自各种不同源的元数据副本。
    • IT资源有限的组织或者那些追求尽可能实现自动化的组织，可能会选择避免使用此架构选项。
    • 在公共元数据存储库中寻求高度一致性的组织，可以从集中式元数据架构中受益。
  • 分布式元数据架构
    • 一个完全分布式的架构中维护了一个单一的接入点。元数据检索引擎通过实时从源系统检索数据来响应用户请求；分布式元数据架构没有持久化的存储库。
    • 在这种架构中，元数据管理环境维护必要的源系统目录和查找信息，以有效处理用户查询和搜索。
    • 可通过公共对象请求代理或类似的中间件协议访问这些源系统。
  • 混合元数据架构
    • 混合架构结合了集中式和分布式架构的特性，元数据仍然直接从源系统移动到集中式存储库，但存储库设计 仅考虑用户添加的元数据、重要的标准化元数据以及来通过自手工来源添加的元数据。
  • 双向元数据架构
    • 另一种高级架构方法是双向元数据架构，它允许元数据在架构的任何部分 （源、数据集成、用户界面）中进行更改，然后将变更从存储库（代理）同步 到其原始源以实现反馈
• 元数据管理活动
  • 定义元数据战略
    • 启战动略元计数划
    • 组织关键利 益相关方的访谈
    • 评估现有的 元数据资源 和信息架构
    • 开发未来的 元数据架构
    • 制订分阶段 的实施计划
• 理解元数据需求
  • 1）更新频次
    • • 元数据属性和属性集更新的频率
  • 2）同步情况
    • • 数据源头变化后的更新时间
  • 3）历史信息
    • • 是否需要保留元数据的历史版本
  • 4）访问权限
    • • 通过特定的用户界面功能，谁可以访问元数据，如何访问
  • 5）存储结构
    • • 元数据如何通过建模来存储
  • 6）集成要求
    • • 元数据从不同数据源的整合程度，整合的规则
  • 7）运维要求
    • • 更新元数据的处理过程和规则（记录日志和提交申请）
  • 8）管理要求
    • • 管理元数据的角色和职责
  • 9）质量要求
    • • 元数据质量需求
  • 10）安全要求
    • • 一些元数据不应公开，因为会泄露某些高度保密数据的信息
• 定义元数据架构
  • 创建元数据
    • 1. 可以根据需求开发不同级别的元模型
    • 2. 高级别的概念模型描述了系统之间的关系
    • 3. 低级别的元模型细化了各个属性，描述了模型组成元素和处理过程
    • 元数据存储库元模型示例
  • 应用元数据标准
    • 组织对内元数据标准包括命名规范、自定义属性、安全、可见性和处理 过程文档，组织对外元数据标准包括数据交换格式和应程序接口设计。
  • 管理元数据存储
    • 实施控制活动以管理元数据环境。存储库的控制活动是由元数据专家执 行的元数据迁移和存储库更新的控制。
    • 这些活动本质是可管理的、可监控的、可报告的、可预警的、有作业日 志的，同时可以解决各种已实施的元数据存储库环境的各种问题。
• 数据血缘和影响分析
  • 数据血缘
    • 发现和记录数据资产的元数据的一个重要意义在于 提供了数据如何在系统间转移的信息。许多元数据 工具中存储着某个环境中数据现况的信息，并提供 查看跨系统或应用程序接口的血缘功能。
    • 基于程序编码的当前版本的血缘称为“实现态血缘 （As Implemented Lineag
    • 相反，映射规范文档中描述的血缘称为“设计态血 缘（As Designed Lineage）”
  • 数据血缘关系
    • 一个数据元的血缘关系示例，业务数据元“所 有延期订单金额”物理实现下的字段“zz total” 依赖其他三个数据元:“单位成本（分）”的字 段“yy unit cost”、“税金”的字段“yy tax”、“延期订单数联”的字段“yyqty”。
  • 系统血缘关系流向图
  • 血缘工具
    • Apache Atlas
    • Apache Atlas 数据血缘可视化