DAMA数据管理知识体系指南 第十一章 数据仓库和商务智能

这是一篇关于DAMA数据管理知识体系指南 第十一章 数据仓库和商务智能的思维导图，主要内容有数据仓库和商务智能简介、数据仓库和商务智能-业务驱动因素、语境关系图:数据仓库和商务智能等。

DAMA数据管理 第十一章 数据仓库和商务智能

• 数据仓库和商务智能简介
  • 数据仓库（Data Warehouse，DW）的概念始于20世纪80年代。该技术赋 能组织将不同来源的数据整合到公共的数据模型中去，整合后的数据能为业 务运营提供洞察，为企业决策支持和创造组织价值开辟新的可能性
  • 同样重要的是，数据仓库还是减少企业建设大量决策支持系统（Decision Support System，DSS）的一种手段，大部分DSS系统使用的都是企业中 同样的核心数据。
  • 企业数据仓库提供了一种减少数据冗余、提高信息一致性，让企业能够利用 数据做出更优决策的方法。
  • 云数据仓库实例
• 数据仓库和商务智能-业务驱动因素
  • 数据仓库建设的主要驱动力是运营支持职 能、合规需求和商务智能活动（尽管不是 所有的商务智能活动都依赖仓库数据
  • 越来越多的组织被要求用数据来证明他们 是合规的，因为数据仓库中包含历史数据， 所以经常被用来响应这类要求
  • 不仅如此，商务智能支持一直是建设数据 仓库的主要原因，商务智能为组织、客户 及产品提供洞察
  • Power BI 零售业商务智能实例
• 语境关系图：数据仓库和商务智能
• 建设数据仓库和商务智能的目标
  • 1）支持商务智能活动
  • 2）赋能商业分析和高效决策
  • 3）基于数据洞察寻找创新方法
• 数据仓库和商务智能历史
  • 1. 1958年，当时IBM研究员汉斯·彼得·卢恩（Hans Peter Luhn）发表了 “A Business Intelligence System”文章中提出：“能够理解所呈现 事实的相互关系，以指导行动达到预期目标”。
  • 2. 1989年，霍华德·德雷斯纳Howard Dresner提出商业智能(business intelligence)当时定义的BI是：对商业信息的搜集、管理和分析过程， 目的是使企业各级决策者获得知识，以做出更加合理的决策。
• 数据仓库建设应遵循如下指导原则
  • 1）聚焦业务目标。
    • •确保数据仓库用于组织最优先级的业务并解决业务问题。
  • 2）以终为始。
    • •让业务优先级和最终交付的数据范围驱动数据仓库内容的创建。
  • 3）全局性的思考和设计，局部性的行动和建设。
    • •让最终的愿景指导体系架构，通过集中项目快速迭代构建增量交付，从而实现更直接的投资回报。
  • 4）总结并持续优化，而不是一开始就这样做。
    • •以原始数据为基础，通过汇总和聚合来满足需求并确保性能，但不替换细节数据。
  • 5）提升透明度和自助服务。
    • •上下文（各种元数据）信息越丰富，数据消费者越能从数据中获得更多数据价值。向利益相关方公开集成的数据及其流程信息。
  • 6）与数据仓库一起建立元数据。
    • •数据仓库成功的关键是能够准确解释数据。能回答一些基本问题，如“这个数字为什么是X”“这个怎么计算出来的”“这个数据哪里来的”。 元数据的获取应该作为软件开发周期的一部分，元数据的管理也应该作为数据仓库持续运营的一部分。
  • 7）协同。
    • •与其他数据活动协作，尤其是数据治理、数据质量和元数据管理活动。
  • 8）不要千篇一律。
    • •为每种数据消费者提供正确的工具和产品。
• 数据仓库构建
  • 1. Inmon把数据仓库定义为“面向主题的、整合的、随时间变化的、 相对稳定的支持管理决策的数据集合”，用规范化的关系模型来 存储和管理数据。
  • 2. 而Kimball则把数据仓库定义为“为查询和分析定制的交易数据的 副本”，他的方法通常称作多维模型（参见DMBok2第5章）。
  • Inmon和Kimball数据仓库建设核心理念类似
    • 1）数据仓库存储的数据来自其他系统。
    • 2）存储行为包括以提升数据价值的方式整合数据。
    • 3）数据仓库便于数据被访问和分析使用。
    • 4）组织建据数据仓库，因为他们需要让授权的利益相关方访问到可靠的、集成的数据。
    • 5）数据仓库数据建设有很多目的，涵盖工作流支持、运营管理和预测分析。
  • 代表性架构
    • 企业信息工厂（CIF）
      • Inmon把数据仓库定义为“面向主题的、整 合的、随时间变化的、相对稳定的支持管理 决策的数据集合”，用规范化的关系模型来 存储和管理数据。
    • 多维数据仓库（ Kimball）棋子视图
      • 多维模型通常称为星型模型，由事实 表（包含有关业务流程的定量数据， 如销售数据）和维度表（存储与事实 表数据相关的描述性属性
• 数据仓库架构组件
  • 数据仓库和商务智能
  • 源系统
    • 源系统包括要流入数据仓库/商务智能环境的业务系统和外部数据。 它们通常包括如客户关系管理系统、账务系统和人力资源系统等业务 系统，以及与特定行业相关的一些业务系统。来自供应商和外部来源 的数据也可能包括DaaS服务（数据即服务，Data As a Service）、 网页内容和任何大数据计算结果。
  • 数据集成
    • 数据集成包括抽取、转换和加载（此三者英文首字母缩写为 E、T、L，通常直接这把三者称为ETL）、数据虚拟化以及 将数据转换为通用格式和位置的其他技术。
  • 数据存储区域
    • 1）暂存区。暂存区是介于原始数据源和集中式数据存储库之间的 中间数据存储区域。
    • 2）参考数据和主数据一致性维度。参考数据和主数据可以存储在 单独的存储库中。
    • 3）中央数据仓库。完成转换和准备流程后，数据仓库中的数据通 常会保留在中央或原子层中。
• 数据集市与数据立方体
  • 操作型数据存储（ODS）与数据集市
    • 操作型数据存储是中央持久存储的一个解决方案，它能支持较低的延迟， 因此可以支持业务应用。由于操作型数据存储包含一个时间窗口的数据 而不是全部历史记录，因此可以比数据仓库有更快地刷新频率。
    • 数据集市是一种数据存储，通常用于支持数据仓库环境的展示层，还用 于呈现数据仓库的部门级或功能级子集，以便对历史信息进行集成报表、 查询和分析。数据集市面向特定主题域、单个部门或单个业务流程。
    • 数据集市的定义 数据集市是一种简单的数据仓库，专注于单个主题或业 务线--Oracle
  • 数据集市
  • 数据立方体
    • 存在三种经典的支持在线分析处理系统（OLAP）实现方法：基于关系 数据库的、基于多维数据库的及混合型存储结构的，它们的名称与底层 数据库类型有关。
• 变更数据捕获技术
  • 数据结构的设计元素包括：
  • ①基于性能考虑而设计的业务主键和代理主键之间的关系。
  • ②创建索引和外键以支持维度表。
  • ③用于检测、维护和存储历史记录的变更数据捕获（Change Data Capture，CDC）技术。
    • CDC技术比对
    • cdc实例