DAMA-CDGA数据治理工程师-4.数据架构

通俗讲架构是对组件要素有组织的设计，旨在优化整个结构或系统的功能、性能、可行性、成本和用户体验。架构设计工作通常在组织的不同范围（企业、业务线条、项目等）内，在信息系统的不同层级（基础架构、应用架构、数据架构等）来开展。

4.数据架构

• 引言
  • 概述
    • 架构的定义
      • 通俗讲架构是对组件要素有组织的设计，旨在优化整个结构或系统的功能、性能、可行性、成本和用户体验
      • ISO将架构定义为“系统的基本结构，具体体现在架构构成中的组件、组件之间的相互关系以及管理其设计和演变的原则”
    • 架构设计范围
      • 架构设计工作通常在组织的不同范围（企业、业务线条、项目等）内，在信息系统的不同层级（基础架构、应用架构、数据架构等）来开展
    • 企业架构
      • 业务架构
        • 元素
          • 业务模型、流程、功能、服务、事件、策略、词汇
      • 技术架构
        • 元素
          • 技术平台、网络、安全、整合工具
      • 数据架构
        • 元素
          • 数据模型、数据定义、数据映射范围、数据流、结构化数据应用编程接口
      • 应用架构
        • 元素
          • 业务系统、软件包、数据库
    • 数据架构
      • 是数据管理的基础
      • 目标
        • 是为了有效的管理数据，以及有效的管理存储和使用数据的系统
      • 组成部分
        • 数据架构成果
          • 包括不同层级的模型、定义、数据流，这些通常称为数据架构的构件
        • 数据架构活动
          • 用于形成、部署和实现数据架构的目标
        • 数据架构行为
          • 包括影响企业数据架构的不同角色之间的协作、思维方式和技能
      • 构件
        • 包括当前状态的描述、数据需求的定义、数据整合的指引、数据管控策略中要求的数据管理资产规范
        • 是非常有价值的元数据的重要组成部分
      • 数据架构设计文件
        • 最为详细的数据架构设计文件是正式的企业数据模型，包含数据名称、数据属性、元数据定义、概念和逻辑实体、关系、业务规则
        • 物理数据模型也属于数据架构文件，但物理数据模型是数据建模和设计的产物，而不是数据架构的产物
  • 业务驱动因素
    • 目标
      • 在业务战略和技术实现之间建立起一座通畅的桥梁
    • 数据架构职责
      • 利用新型技术所带来的业务优势，从战略上帮助组织快速改变产品、服务和数据
      • 将业务需求转换为数据和应用需求，以确保能够为业务流程处理提供有效数据
      • 确保业务和IT技术保持一致
      • 管理复杂数据和信息，并传递至整个企业
      • 为企业改革、转型和提供适应性提供支撑
  • 数据架构成果和实施
    • 主要成果
      • 数据存储和处理需求
      • 设计满足企业当前和长期数据需求的结构和规划
    • 数据架构师事宜
      • 定义组织中数据的当前状态
      • 提供数据和组件的标准业务词汇
      • 确保数据架构和企业战略及业务架构保持一致
      • 描述组织数据战略需求
      • 高阶数据整合概要设计
      • 整合企业数据架构蓝图
    • 实施
      • 使用数据架构构件（主蓝图）来定义数据需求、指导数据整合、管控数据资产、确保数据项目投入与企业战略保持一致
      • 与参与改进业务和IT系统开发的利益相关方合作，学习并影响他们
      • 通过数据架构及通用的数据词汇，搭建企业数据语言
  • 基本概念
    • 企业架构类型
      • 业务架构
      • 技术架构
      • 数据架构
      • 应用架构
      • 不同类型的架构师除了致力于自己所属的架构设计和实施工作外，还必须了解与其紧密关联的架构需求，因为每个架构都不是孤立存在的，要么对其他架构产生影响，要么受制于其他架构
    • 企业架构框架
      • 架构框架提供了思考和理解架构的方式，他们代表了一个总体的“架构的架构”
      • 最著名的企业架构框架是John Zachman开发的Zachman框架
      • Zachman框架
        • 问询沟通
          • 如是什么、怎么做、在哪里、是谁、什么时间、为什么
        • 重新定义转换
          • 如识别、定义、描述、规范、配置、实例
        • 框架的每个单元格代表一个独特的设计组件
    • 企业数据架构
      • 数据架构定义了对组织非常重要元素的标准术语和设计
      • 企业数据架构的设计中包括业务数据描述，如数据的收集、存储、整合、移动和分布
      • 企业数据架构描述必须包括企业数据模型（如数据结构和数据规范）和数据流设计
      • 企业数据模型
        • 企业数据模型是一个整体的、企业级的、独立实施的概念或逻辑模型，为企业提供通用的、一致的数据视图
        • 企业数据模型包括数据实体、数据实体之间的关系、关键业务规则和一些关键业务属性
        • 任何项目级的数据模型必须基于企业数据模型设计
        • 采用行业标准模型能够加快开发企业数据模型的效率
        • 即使组织已经着手购买数据模型，但设计企业级的数据模型仍需要大量的投资
        • 企业级数据模型设计、开发完成后，后继维护和丰富企业数据模型也仍需要投入持续的时间和精力
        • 随着时间推移，企业需求会发生变化，大多数成功的企业数据模型会利用不同层级增量和迭代的方式来构建
      • 数据流设计
        • 数据流是一种记录数据血缘的数据加工过程，用于描述数据如何在业务流程和系统中流动
        • 端到端的数据流包含了数据起源于哪里、在哪里存储和使用，在不同流程和系统内或之间如何转化
        • 血缘分析有助于解释数据流中某一点的数据状态
        • 数据流映射记录了数据与以下内容的联系
          • 业务流程中的应用
          • 某个环境中的数据存储或数据库
          • 网段(有助于安全映射)
          • 业务角色（描述哪些角色有职责创建、更新和删除数据）
          • 出现局部差异的位置
        • 定义数据库、应用、平台和网络（组件）之间的需求和主蓝图
        • 这些数据流显示了数据在业务流程、不同存储位置、业务角色和技术组件间的流动
• 活动
  • 简化数据和企业架构所面临的复杂问题的解决方式
    • 面向质量
      • 架构没有得到妥善管理，也会慢慢的遭到破坏，系统逐渐变得越来越复杂和缺乏扩展性，因而给组织带来风险
      • 面向质量的方法与传统的数据架构工作保持一致，其中架构质量是逐步完成的
      • 架构任务被分解到项目中，由架构师参与或由委托项目执行
      • 通常架构师需要掌握整体架构，将治理、标准化、架构发展作为长期目标进行持续投入
    • 面向创新
      • 用创新性技术和数据使用驱动创新
      • 通常不需要面面俱到的考虑，可以应用未经广泛验证的业务逻辑和前沿技术
      • 该方法通常要求架构师与组织中那些缺少互动的IT专家进行联系
  • 建立企业数据架构
    • 现有数据架构规范评估
    • 开发路线图
      • 路线图有助于组织衡量并制订夯实的项目计划，使其与业务需求和机会、外部需求、可用资源保持一致
    • 在项目中管理企业需求
      • 利用数据模型及其有关规范描述的组织数据架构必须足够灵活，并能适应未来需求
      • 构建架构层级的数据模型不仅应有企业全局观，而且要有能够让企业内部完全清楚理解的定义
      • 活动
        • 定义范围
        • 理解业务需求
        • 设计
        • 实施
          • 开发方法
            • 瀑布式
            • 迭代式
              • 逐步学习和构建
            • 敏捷方式
              • DevOps
  • 整合其他企业架构
    • 最好把企业数据架构问题和项目组合管理进行整合。这样做能促进路线图的实施，有助于获得更好的项目效果
• 工具
  • 数据建模工具
    • 数据建模工具和模型库都是非常必需的
    • 很多数据模型工具具有数据血缘和关系跟踪能力，这便于架构师能够管理为了不同目的及在不同抽象层级中创建的数据模型
  • 资产管理软件
    • 用于管理数据资源目录，描述其内容以及跟踪他们之间的关系
  • 图形设计应用
    • 可以用于创建架构设计图形、数据流、数据价值链和其他架构构件
• 方法
  • 生命周期预测
    • 架构设计可以是针对当前的，也可以是面向未来的，还可以是已实施并完成的，甚至是准备退役的产品。无论哪种情况，其工作成果都应该存档管理
    • 当前的
    • 部署周期的
      • 未来1~2年内部署使用的产品
    • 策略周期的
      • 未来两年后部署使用的产品
    • 退役的
    • 优先的
    • 限制的
    • 新兴的
    • 审核的
  • 图标使用规范
    • 使用原则
      • 需要遵从干扰最小化、有用信息最大化的原则
    • 规范
      • 清晰一致的说明
      • 所有图表对象与说明对象匹配
      • 清晰一致的线条方向
      • 一致的交叉线显示方法
      • 一致的对象属性
      • 线性对称
• 实施指南
  • 实施企业数据架构主要包含的工作内容
    • 建立企业数据架构团队和举办问题讨论会
    • 生成数据架构构件的初始版本
      • 例如企业数据模型、企业范围数据流和路线图
    • 在开发项目中，形成和建立数据架构工作方式
    • 提高组织对数据架构工作价值的认识
  • 就绪评估和风险评估
    • 风险
      • 缺少管理层支持
      • 缺乏管理者的信任
      • 管理层不正确的决策
      • 成功与否缺乏证据
      • 缺乏有经验的项目经理
      • 文化冲击
      • 单一维度视角
  • 组织和文化
• 数据架构治理
  • 数据架构治理活动
    • 项目监督
    • 管理架构设计、生命周期工具
    • 定义标准
    • 创建数据相关构件
  • 度量指标
    • 架构标准接受度
    • 实施趋势
    • 业务价值度量指标