DAMA数据管理知识体系指南 第十章 参考数据和主数据

这是一篇关于DAMA数据管理知识体系指南 第十章 参考数据和主数据的思维导图，主要内容有背景、参考数据和主数据-基本概念、对比元数据，主数据，参考数据、主数据等。

DAMA数据管理 第十章 参考数据和主数据

• 背景
  • 在任何组织中，都存在一些需要跨业务领域、跨流程和跨系统使用的数据
  • 如果这些数据实现了共享，所有的业务部门就都可以访问相同的客户清单、地 理位置代码、业务部门清单、交付选项、部件清单、成本核算中心代码、政府 税收代码以及用于运营业务的其他数据，那么整个组织及其客户都会从中受益
  • 特别是在大型组织中，各种项目和方案、合并和收购以及其他商业活动导致存 在多套在本质上作用相同的系统，它们相互隔离，无法沟通。以上这些情况不 可避免地导致了系统间数据结构和数据值的不一致，从而增加了成本和风险
    • 数据孤岛
  • 组织可以通过对参考数据和主数据的管理来降低成本和风险
• 参考数据和主数据-基本概念
  • 奇泽姆（Malcolm Chisholm）提出了一种六层的 数据分类法，包括元数据、参考数据、企业结构数 据、交易结构数据、交易活动数据和交易审计数据 （Chisholm，2008；Talburt和Zhou，2015）
  • 在这种分类法中，他将主数据定义为参考数据、企 业结构数据和交易结构数据的聚合
• 对比元数据，主数据，参考数据
  • 元数据（me ta-data）是描述企 业数据的相关数据
  • 主数据主要是指经实例化的企业 关键数据。可以随着企业的经营 活动而改变，例如，客户的增加， 组织架构的调整，产品下线等； 但是，主数据的变化频率应该是 较低的。所以，企业运营过程产 生过程数据，如生产过程产生各 种如订购记录、消费记录等，一 般不会纳入主数据的范围
  • 参考数据—数据的字典。例如图中 填写的地市这类数据有些列，如 省份、城市类型等。如果没有缺 少上下文的环境，我们是无法理 解其具体含义，这时候我们往往 引入参考数据（reference data） 加以解释和理解。
• 主数据
  • 主数据是有关业务实体（如雇员、客户、产品、金融结构、资产和位置等） 的数据，这些实体为业务交易和分析提供了语境信息。实体是客观世界的 对象（人、组织、地方或事物等）。
  • 奇泽姆的定义区分了主数据与用来记录交易细节的交易活动数据，也区分 了主数据与用来描述交易状态的交易审计数据，还区分了主数据与用来描 述其他数据的元数据（Chisholm，2008）
  • 主数据实例
    • 参与方
      • 个人和组织，以及他们扮演的角色，如客户、公民、病人、厂商、供应商、代理商、商业伙伴、 竞争者、雇员或学生等。
    • 产品和服务
      • • 包括内部和外部的产品及服务。
    • 财务体系
      • • 如合同、总账、成本中心、利润中心。
    • 位置信息
      • • 如地址和GPS坐标。
• 参考数据
  • 如前所述，参考数据是指可用于描述或分类其他数据，或者将数据与组织外部的 信息联系起来的任何数据（Chisholm，2001）。
  • 最基本的参考数据由代码和描述组成，但是有些参考数据可能更复杂，还包含映 射和层次结构。
  • 参考数据虚拟地存在于每个数据存储中，可以根据状态或类型进行分类（如订单 状态：新订单、处理中的订单、已结束的订单、已取消的订单），也可以根据其 他外部信息（如地理信息或标准信息）进行分类（如国家代码：DE、US、TR）。
• 企业结构数据与交易结构数据
  • 企业结构数据（Enterprise Structure Data）
    • 例如，会计科目表，能够按业务职责描述业务活动。
  • 交易结构数据（Transaction Structure Data）
    • 例如，客户标识符，描述了交易过程中必须出现的一些要素 （产品、客户、供应商等）
• 参考数据和主数据-语境关系图
• 主数据管理
  • Gartner的定义强调主数据管理是一个由人、流程和技术组成的 知识领域，并不是一个特定的应用程序解决方案
  • 然而，MDM（主数据管理）这一缩写词却通常被用于特指管理 主数据的应用系统或产品
• 域内规划主数据管理的几个基本步骤
  • 1）识别能提供主数据实体全面视图的候选数据源
  • 2）为精确匹配和合并实体、实例制定规则
  • 3）建立识别和恢复未恰当匹配或合并的数据的方法
  • 4）建立将可信数据分发到整个企业的系统中的方法
• 主数据管理的关键步骤
  • 数据模型管理
  • 数据采集
  • 数据验证标准化和丰富
  • 实体解析
  • 数据共享和管理工作
• 实体解析和标识符管理
  • 实体解析（Entity Resolution）是确定两个对现实世界对象的引用到底是指同一对象还是 不同对象的过程（Talbert，2011）
  • 实体解析包括一系列活动（实例提取、实例准备、实例解析、身份管理、关系分析），这些 活动能够使实体、实例的身份以及实体、实例之间的关系持续地被管
  • 在实例解析过程中，通过一个判定是否的过程，两个实例可能会被认定为是代表同一实体。 这些实例再通过一个全局标识符连接起来，这个标识符能够表明它们是等价的（Talburt， 2011）
  • 尽管尽了最大努力，匹配决策有时候仍被证实是错误的，所以维护匹配历史信息很重要，以 便在发现匹配不正确时可以撤销匹配
• 候选识别和身份解析实例
  • 子主一些匹配采用多个字段实现精确数据匹配，故可信度很高； 另一些匹配则由于数值冲突而缺少可信度题
• 业界主数据管理系统
  • Master data management with Azure and CluedIn
• 主数据管理活动
  • 1.识别驱动因素和需求
    • • 驱动因素通常包括改善客户服务和/或运营效率，以及减少与隐私和法律法规有关的风 险。
    • 障碍包括系统之间在数据含义和结构上的差异。这些障碍常常与文化障碍有关——即使 改变流程对整个企业来说是有益的，有些业务部门可能还是不愿意承担这些成本。
  • 2.评估和评价数据源
    • • 现有应用中的数据构成了主数据管理工作的基础，理解这些数据的结构和内容以及收集 或创建数据的过程是很重要的。
    • • 最大的挑战是数据源之间的差异。对于某些主数据实体，如客户、顾客或供应商，可以 购买标准化数据（如参考目录），以实现主数据管理工作。
  • 3.定义架构方法
    • • 当主数据没有清晰的记录系统时，数据共享中心的架构 就显得尤为重要。
    • • 在这种情况下，多个系统会提供数据，一个系统的新数 据或更新数据可以与另一个系统已经提供的数据相融合。
    • 数据共享中心成为数据仓库或数据集市中主数据的数据 源，降低了数据提取的复杂性，并减少了数据转换、修 复及融合的处理时间。
• 主数据共享架构
• 主数据管理架构
  • 实现主数据中心环境的三种基本方法
    • 1）注册表（Registry）
      • 注册表是指向多种记录系统（System of Record）中主数据记录的索引。记录系统管理 应用程序本地的主数据，可以根据主索引访问主数据。注册表相对容易实现，因为它很 少需要对记录系统进行更改。但是，要对多个系统中的主数据进行组合时通常需要复杂 的查询。此外，还需要实施多个业务规则，以解决跨系统时产生的语义差异。
    • 2）交易中心（Transaction Hub）
      • • 在该种方法中，各应用程序与中心系统交互，实现对主数据的访问和更新。主数据存在 于交易中心内，而不存在于任何其他的应用程序中。交易中心是主数据的记录系统。交 易中心使更好的治理成为可能，并对外提供一致的主数据源。但是，从现有的记录系统 中删除更新主数据功能的成本很高。业务规则仅被实施在单一系统中，即中心系统。
    • 3）混合模式（Consolidated）
      • • 混合模式是注册表和交易中心的混合体。记录系统管理应用程序本地的主数据。主数据 在一个公共存储库中被合并，并经由数据共享中心实现共享，如此消除了从记录系统直 接进行访问的需要。混合法在提供企业视图的同时，能尽量减少对记录系统的影响，但 是它需要在系统间进行数据复制，而且数据中心和记录系统之间会有延迟。