DAMA-CDGA数据治理工程师-1.数据管理

数据管理是为了交付、控制、保护并提升数据和信息资产的价值，在其整个生命周期中制定计划、制度、规程和实践活动，并执行和监督的过程。

1.数据管理

• 引言
  • 数据管理
    • 是为了交付、控制、保护并提升数据和信息资产的价值，在其整个生命周期中制定计划、制度、规程和实践活动，并执行和监督的过程
  • 数据管理专业人员
    • 是指从事数据管理各方面工作，并通过其工作实现组织战略目标的任何人员
  • 技能
    • 数据管理需要技术的和非技术的双重技能
    • 管理数据的责任必须由业务人员和信息技术人员两类角色共同承担，这两个领域的人员需要相互协作，确保组织拥有满足战略需求的高质量数据
  • 业务驱动因素
    • 数据管理的主要驱动力是组织能够从其数据资产中获取价值
  • 目标
    • 理解并支撑企业及其利益相关方的信息需求得到满足
    • 获取、存储、保护数据和确保数据资产的完整性
    • 确保数据和信息的质量
    • 确保利益相关方的数据隐私和保密性
    • 防止数据和信息未经授权或被不正当访问、操作及使用
    • 确保数据能够有效地服务于企业增值目标
• 基本概念
  • 数据
    • 在信息技术中，数据也被理解为数字形式存储的信息（尽管数据不仅限于已数字化的信息，而且与数据库中的数据相同，数据管理的原则也适用于纸面上的数据）
    • 数据是一种表示方法，它代表的是除自身以外的事物
    • 数据既是对其所代表对象的解释，也是必须解释的对象
    • 人们需要语境或者上下文使数据有意义。语境可被视为数据的表示系统，该系统包括一个公共词汇表和一系列组件之间的关系，如果知道这样一个系统的约定，就可以解释其中的数据
    • 即使在一个组织中，也常有同一个概念的多种表示方法。因此需要对数据架构、建模、质量、管理制度、元数据及数据质量进行管理，所有这些有利于人们理解和使用数据。当数据跨越多个组织时，多种多样的问题就会成本增加。因此需要行业级的数据标准，以提高数据一致性
  • 数据和信息
    • 数据被理解为信息的“原材料”，信息被成为“上下文语境中的数据”
    • 金字塔模型
      • 数据→信息→知识→洞悉（智慧）
      • 异议
        • 1）基于数据是简单存在的假设。但数据并不是简单的存在，而是被创造出来的
        • 2）人们将数据到智慧描述为一个自下而上的逐级序列，但未意识到创建数据首先需要知识
        • 3）金字塔模型意味着数据和信息是分开的，但事实上这两个概念是相互交织并相互依赖的。数据是信息的一种形式，信息也是数据的一种形式
    • 数据和信息都需要管理，在本书中这些术语可以互换使用
  • 数据是一种组织资产
    • 如今的组织依靠数据资产做出更高效的决定，并拥有更高效的运营
    • 想要保持竞争力的企业必须停止基于直觉或者感觉做出决策，而是使用事件触发和应用分析来获取可操作的洞察力
    • 数据驱动包括认识到必须通过业务领导和技术专业知识的合作关系，以专业的规则高效的管理数据
  • 数据管理原则
    • 同其他管理流程一样，数据管理必须平衡战略和运营需求
    • （1）数据是有独特属性的资产
      • 对比金融和实物资产，其中最明显的一个特点是在使用的过程中不会产生消耗
    • （2）数据的价值可以用经济术语表示
      • 虽然有技术手段可以测量数据的数量和质量，但是还未形成标准来衡量其价值，应开发一致的方法来量化该价值
    • （3）管理数据意味着对数据的质量管理
      • 数据管理的首要目标：管理数据质量，以符合应用要求
      • 终极目标：实现数据价值
    • （4）管理数据需要元数据
      • 元数据先行
    • （5）数据管理需要规划
      • 需要业务规划及技术规划
    • （6）数据管理必须驱动信息技术决策
      • 确保技术服务于而不是驱动组织的战略数据
    • （7）数据管理是跨职能的工作
      • 数据管理需要技术能力、非技术能力及协作能力
    • （8）数据管理需要企业级视角
      • 必须有效地应用于整个企业
    • （9）数据管理需要多角度思考
    • （10）数据管理需要全生命周期管理，不同类型的数据有不同的生命周期特征
    • （11）数据管理需要纳入与数据相关的风险
      • 数据除了是一种资产外，还代表的组织的风险。数据可能丢失、被盗或误用。组织必须考虑使用数据的伦理影响。数据风险必须作为数据生命周期的一部分进行管理
    • （12）有效地数据管理需要领导层承担责任
      • 为了达到目标，不仅需要管理技巧，还需要来自领导层的愿景和使命
  • 数据管理的挑战
    • 数据与其他资产的区别
      • 实物资产：看的到、摸得到、可移动，在同一时刻只能被放置的一个地方
      • 数据
        • 无形
        • 容易复制和传送（但一旦丢失或销毁，就不容易重新产生）
        • 使用时不会被消耗、不会磨损
        • 动态的，可以用于多种目的
        • 可以同时被多人使用（对于实物或者金融资产来说不可能）
        • 多次使用产生更多数据
        • 数据的价值随着时间的推移而变化
      • 挑战
        • 这种差异使得给数据设定货币价值具有挑战性
        • 如果没有这种货币价值，就很难衡量数据是如何促进组织成功的
    • 数据价值
      • 价值
        • 是一件事物的成本和从中获得利益的差额
      • 举例
        • 获取和存储数据的成本
        • 如果丢失数据，更换数据需要的成本
        • 数据丢失对组织的影响
        • 数据丢失对组织的影响
        • 风险缓解成本和与数据相关的潜在风险成本
        • 改进数据的成本
        • 高质量数据的优势
        • 竞争对手为数据付出的费用
        • 数据潜在的销售价格
        • 创新性应用数据的预期收入
      • 挑战
        • 评估数据资产面临的主要挑战是，数据的价值是上下文相关的（对一个组织有价值的东西可能对另一个组织时没有价值的），而且往往是暂时的（昨天有价值的东西今天可能没有价值）
        • 在数据管理方面，将财务价值与数据建立关联的方法至关重要，因为组织需要从财务的角度了解资产，以便做出一致的决策
    • 数据质量
      • 确保高质量的数据是数据管理的核心
      • 管理数据质量并不是一次性的工作
      • 生成高质量的数据需要做好计划并执行，以及拥有将质量构建到流程和系统中的观念
    • 数据优化计划
      • 从数据中获取价值并不是偶然，需要以多种形式进行规划
      • 也取决于业务和IT领导之间的战略协作以及单个项目的执行力
      • 挑战
        • 通常存在组织、时间、金钱方面的长期压力，因而阻碍了优化计划的执行。组织在执行战略时必须平衡长期目标和短期目标。只有明确权衡，才会获得有效决策
    • 元数据和数据管理
      • 元数据描述了一个组织拥有什么数据、它代表什么、如何被分类、来自哪里、如何移动、如何演进、如何使用
      • 数据是抽象的，上下文语境的定义和其他描述让数据明确清晰
      • 挑战
        • 元数据是以数据形式构成的，因此需要严格管理
        • 元数据是全面改进数据管理的起点
    • 数据管理是跨职能的工作
      • 在数据的生命周期中，不同的阶段由不同团队进行不同的管理
      • 挑战
        • 让具备这一系列技能和观点的人认识到各部分是如何结合在一起的，从而使他们能够协作并朝着共同的目标努力
    • 建立企业的视角
    • 数据管理需要多角度思考
      • 现在的组织既使用他们自己生成的数据，也使用从外部获取的数据
      • 他们必须考虑不同国家和行业的法律和合规要求
    • 数据生命周期
      • 创建和使用是数据生命周期的关键点
        • 只有当数据被消费或者应用时，它才是有价值的
      • 数据质量管理必须贯穿整个数据生命周期
        • 数据质量管理是数据管理的核心，低质量的数据意味着成本和风险，而不是价值
      • 元数据管理必须贯穿整个数据生命周期
      • 数据管理还包括确保数据安全，并降低数据相关风险
        • 需要保护的数据必须在整个生命周期中得到保护
      • 数据管理工作应该聚焦关键数据
        • 组织产生了大量的数据，其中很大一部分实际上从未被使用过，试图管理每一条数据是不可能的
        • 生命周期管理要求将重点放在组织关键的数据上，并将数据ROT(冗余的Redundant、过时的Obsolete、不重要的Trivial)降至最低
    • 不同种类的数据
      • 不同种类的数据有各种不同的生命周期管理需求
      • 分类
        • 交易数据、主数据、参考数据、元数据
        • 也可以按数据内容（数据域、主题域）、所需格式或保护级别、存储或访问的方式和位置进行分类
    • 数据和风险
      • 数据不仅代表价值，也代表风险
      • 不准确、不完整或过时的低质量数据，因为其信息不正确明显代表风险。数据的风险在于，它可能被误解和误用
    • 数据管理和技术
      • 成功的数据管理需要对技术做出正确的决策，但管理技术与管理数据不同
      • 组织需要了解技术对数据的影响，以防止技术诱惑推动他们对数据的决策
      • 相反，与业务战略一致的数据应该推动有关技术的决策
    • 高效的数据管理需要领导力和承诺
      • 一个对组织成功至关重要的因素是：坚定的领导和组织中各级人员的参与
      • 成功的数据管理必须是业务驱动，不能是IT驱动
  • 数据管理战略
    • 战略是一组选择和决策，他们共同构成了实现高水平目标的高水平行动过程
    • 数据战略必须来自对业务战略固有数据需求的理解：组织需要什么数据、如何获取、如何管理数据并确保其可靠性以及如何利用数据
    • 数据管理战略由CDO拥有和维护，并由数据治理委员会支持的数据管理团队实施
    • CDO会在数据治理委员会成立之前起草一份初步的数据战略和数据管理战略，以获得高级管理层对建立数据管理和治理的支持
    • 数据管理战略组成
      • 数据管理愿景、价值观、使命、长期目标、指导原则、成功的建议措施、商业案例总结、符合SMART原则的短期（12~24个月）的数据管理计划目标
      • 对数据管理角色和组织的描述，以及对其职责和决策权的总结、数据管理程序组件和初始化任务、明确范围的优先工作计划
      • 一份包含项目和行动任务的实施路线图草图
    • 数据管理战略规划的可交付成果
      • 数据管理章程
        • 总体愿景、目标、案例、指导原则、成功衡量标准、可识别风险、运营模式
      • 数据管理范围声明
        • 规划目的和目标，角色、组织和领导
      • 数据管理实施路线图
        • 确定特定计划、项目、任务分配和交付里程碑
• 数据管理框架
  • 战略一致性模型
    • 模型中心是数据和信息之间的关系
  • 阿姆斯特丹信息模型
    • 阿姆斯特丹信息模型与战略一致性模型一样，从战略角度看待业务和IT的一致性
  • DAMA-DMBOK框架
    • DAMA车轮图
      • DAMA车轮图定义了数据管理知识域
      • 它将数据治理放在数据管理活动的中心，因为治理是实现功能内部一致性和功能之间平衡所必须的
    • 环境因素六边形
      • 环境因素六边形：显示了人、过程、技术之间的关系，是理解DAMA语境关系图的关键
      • 它将目标和原则放在中心，因为这些目标和原则为人们如何执行活动及有效地使用工具成功进行数据管理提供了指导
    • 知识领域语境关系图
      • 语境关系图将活动放在中心，这些活动产生了满足利益相关方需求的可交付成果
      • 组成部分
        • 业务驱动因素
          • 定义
          • 目标
        • 技术驱动因素
          • 方法
          • 工具
          • 度量指标
        • 活动
          • 计划活动P
          • 控制活动C
          • 开发活动D
          • 运营活动O
        • 输入
        • 交付成果
        • 参与方
          • 供给者
          • 参与者
          • 消费者
    • 总结
      • DAMA车轮图呈现的是一组知识领域的概要
      • 六边形图展示了知识领域结构的组成部分
      • 语境关系图显示了每个知识领域的细节
    • DAMA数据管理框架的进化
• DAMA和DMBOK
  • 数据治理
    • 通过建立一个能够满足企业需求的数据决策体系，为数据管理提供指导和监督
  • 数据架构
    • 定义了组织战略协调的管理数据资产蓝图，以建立战略性数据需求及满足需求的总体设计
  • 数据建模和设计
    • 以数据模型的精准形式，进行发现、分析、展示和沟通数据需求
  • 数据存储与操作
    • 以数据价值最大化为目标，包括存储数据的设计、实现和支持活动以及在整个数据生命周期中，从计划到处置的各种操作活动
  • 数据安全
    • 确保数据隐私和机密性得到保护，数据不被破坏，数据被适当访问
  • 数据集成和互操作
    • 包括与数据存储、应用程序和组织之间的数据移动和整合相关的过程
  • 文件和内容管理
    • 用于管理非结构化媒体数据和信息的生命周期过程，包括计划、实施和控制活动，尤其是指支持法律法规遵从性要求所需的文档
  • 参考数据和主数据
    • 包括核心共享数据的持续协调和维护，使关键业务实体的真实信息以准确、及时和相关联的方式在各系统中得到一致使用
  • 数据仓库和商务智能
    • 包括计划、实施和控制流程来管理决策支持数据，并使知识工作者通过分析报告从数据中获得价值
  • 元数据
    • 包含规划、实施和控制活动，以便能够访问高质量的集成数据，包括定义、模型、数据流和其他至关重要的信息
  • 数据质量
    • 包括规划和实施质量管理技术、以测量、评估和提高数据在组织内的适用性
  • 数据处理伦理
    • 描述了关于数据及其应用过程中，数据伦理规范在促进信息透明、社会责任决策中的核心作用。数据采集、分析和使用过程中的伦理意识对所有数据管理人员有指导作用
  • 大数据和数据科学
    • 描述了针对大型、多样化数据收集和信息分析能力的提高而出现的技术和业务流程
  • 数据管理成熟度评估
    • 概述了评估和改进组织数据管理能力的方法
  • 数据管理组织和角色期望
    • 为组建数据管理团队，实现成功的数据管理活动提供了实践指导和参考
  • 数据管理和组织变革
    • 描述了如何计划和成功的推动企业文化变革。文化的变革是将数据管理实践有效地嵌入组织中的必然结果
  • 总结
    • 某个特定的组织如何管理它的数据取决于它的目标、规模、资源和复杂性以及对数据如何支持总体战略的认识程度
    • 大多数企业并不会执行每个知识域中描述的所有活动
    • 然而更广泛的了解数据管理背景将有助于组织在工作中更好的决定应该关注哪里，从而改进这些职能内部和职能之间的管理实践