数据集成和互操作

Dama知识体系，数据集成和互操作(DII)描述了数据在不同数据存储、应用程序和组织这三者内部和之间进行移动和整合的相关过程。

数据集成和互操作

• 引言
  • 数据集成和互操作（DII）描述了数据在不同数据存储、应用程序和组织这三者内部和之间进行移动和整合的相关过程
  • 数据集成是将数据整合成物理的或虚拟的一致格式
  • 数据互操作是多个系统之间进行通信的能力
• 业务驱动因素
  • 1. 数据集成和互操作主要目的是为了对数据移动进行有效管理
  • 2. 组织从软件供应商处购买应用程序二不是开发定制应用程序，这扩大了企业数据集成和互操作的需求
  • 3. 维护管理成本
  • 4. 支持组织遵守数据处理标准和规则的能力
• 目标原则
  • 目标
    • 1. 按照所需格式，及时的提供安全、合规的数据
    • 2. 构建开发共享模型和接口，降低解决方的成本和复杂度
    • 3. 识别有意义的事件，自动触发预警和动作
    • 4. 支撑商务智能、数据分析、主数据管理，并致力于提高运营效率
• 基本概念
  • 1 .抽取转换加载
    • 数据集成和互操作的核心是抽取、转换和加载（ETL）这一基本过程。
      • 抽取
      • 转换
        • 1. 格式变化
          • 技术上的格式转换，如从ENCDIC到SACII的格式转换
        • 2. 结构变化
          • 如从非规范化到规范化的记录
        • 3。语义变化
          • 数据值转换时保持语义的一致性表达，如源性别代码可以包括0、1、2和3，而目标性别代码可以标识为UNKNOWN、FAMALE、MALE或NOT PROVIDED
        • 4. 消除重复
        • 5. 重新排序
      • 加载
      • 抽取、加载、转换（ETL）
        • 如果目标系统比源系统或中间应用系统具有更强的转换能力，那么数据处理的顺序可以切换为ETL-抽取、加载、转换
      • 映射
        • 映射（Mapping）是转换的同义词，它既是从源结构到目标结构建立查找矩阵的过程，也是该过程的结果。
      • 时延
        • 时延（Latency）是指从源系统生成数据到目标系统可用该数据的时间差。
          • 1.批处理
          • 2.变更数据捕获（CDC）
            • 是一种通过增加过滤来减少传送带宽需求的方法，只包含在特定时间范围内更改过的数据。
              • 三种基于数据的变更数据捕获技术
                • 1. 源系统填入特定的数据元素
                • 2. 源系统进程在更改数据时被添加到一个简单的对象和标识符列表，然后用于控制抽取数据的选择
                • 3. 源系统复制已经变化的数据。这些数据已经作为交易的一部分变成了独立对象，然后用于抽取数据
          • 3.准实时和事件驱动
          • 4.异步
          • 5.实时，同步
          • 6.低延迟或流处理
  • 2. 交互模型
    • 1.点到点
      • 1）影响处理
      • 2）管理接口
      • 3）潜在的不一致
    • 2.中心辐射型
      • 是点对点的替代方案，它将共享数据（物理或虚拟）整合到应用程序可以使用的一个中央数据中心
      • 数据中心提供一致的数据视图，对源系统性能的影响有限
    • 3. 发布订阅
      • 发布和订阅模型涉及推送（发布）数据的系统和其他接受（订阅）数据的系统
  • 3.数据集成和互操作架构概念
    • 1. 应用耦合
    • 2. 编排和流程控制
    • 3. 企业应用集成
    • 4. 企业服务总线（Enterprise Service Bus，EBS）
      • 是用于在多个系统间接近实时共享数据的数据集成解决方案，其数据中心是一个虚拟概念，代表组织中数据共享的标准和规范格式。
      • 是一个系统，它充当系统之间的中介，在它们之间传送消息
    • 5. 面向服务的架构（SOA）
      • 通过在应用程序之间良好的服务调用，可以提供推送数据或更新数据（或其他数据服务）的功能
    • 6. 复杂事件处理
    • 7. 数据联邦和虚拟化
      • 当数据存在不同的数据存储库时，还可以通过除物理集成以外的方式来聚合。数据联邦（Data Federation）提供访问各自独立数据存储库组合的权限。数据虚拟化（Data Virtualization）使分布式库以及多个异构数据存储能够作为单个数据库来访问和查看
    • 8. 数据即服务（DaaS）
      • 软件即服务（SaaS）是一种交付和许可模式
    • 9. 云化集成
      • 也称为集成平台即服务或IPaaS
• 活动
  • 剖析数据
    • 基本剖析包括
      • 1. 数据结构中定义的数据格式和从实际中推断出来的格式
      • 2. 数据的数量，包括null值、空或默认数据的级别
      • 3. 数据值以及它们与定义的有效值集合的紧密联系
      • 4. 数据集内部的模式和关系，如相关字段和基数规则
      • 5. 与其他数据集的关系
  • 收集业务规则
    • 业务规则是需求的一个关键子集，是定义或约束业务处理方面的语句。
    • 业务规则分为四类
      • 业务术语定义
      • 相互关联的术语的事实
      • 约束或行为断言
      • 派生
    • 实现数据集成和互操作需要业务规则的支撑包括几个方面
      • 1. 评估潜在的源数据集和目标数据集的数据
      • 2. 管理组织中的数据流
      • 3. 监控组织中的操作数据
      • 4. 指示何时自动触发事件和警报