数据仓库和商业智能

Dama知识体系，数据仓库，该技术赋能组织将不同来源的数据整合到公共的数据模型中去，整合后的数据能为业务运营提供洞察，为企业决策支持和创造组织价值开辟新的可能性。

数据仓库和商业智能

• 引言
  • 引言：数据仓库，该技术赋能组织将不同来源的数据整合到公共的数据模型中去，整合后的数据能为业务运营提供洞察，为企业决策支持和创造组织价值开辟新的可能性。数据仓库还是减少企业建设大量决策支持系统的一种手段。
• 业务驱动因素
  • 语境关系图
    • 定义
      • 通过规划、实施和控制过程，来提供决策支持数据，支持从事报告、查询和分析的知识工作者
    • 目标
      • 建立和维护提供集成数据所需的技术环境、技术和业务流程，以支持运营功能、合规性要求和商务智能活动
      • 支持和赋能知识工作者进行有效的业务分析和决策
    • 度量指标
      • 使用指标
      • 客户/用户满意度
      • 主题域覆盖率
      • 时间响应和性能指标
• 目标和原则
  • 组织建设数据仓库的目标
    • 1）支持商务智能活动
    • 2）赋能商业分析和高效决策
    • 3）基于数据同差寻找创新方法
  • 数据仓库建设应遵循指导原则
    • 1）聚焦业务目标
    • 2）以终为始
      • 让业务优先级和最终交付的数据范围驱动数据仓库内容的建设
    • 3）全局性的思考和设计，局部性的行动和建设
    • 4）总结并持续优化，而不是一开始就这样做
    • 5）提升透明度和自助服务
    • 6）与数据仓库一起建立元数据
    • 7）协同
    • 8）不要千篇一律
• 基本概念
  • 1.商务智能
    • 1）.商务智能指的是一种理解组织诉求和寻找机会的数据分析活动
    • 2）.商务智能指的是支持这类数据分析活动的技术集合
  • 2. 数据仓库
  • 1）. 一个集成的决策支持数据库和与之相关的用于收集、清理、转换和存储来自各种操作和外部源数据的软件程序
  • 2）.为了支持历史的、分析类的和商务智能的需求，数据仓库建设还会包括相依赖的数据集市，数据集市的数据仓库中数据子集的副本
  • 3).从广义上来说，数据仓库包括为任何支持商务智能目标的实现提供数据的数据存储或提取操作。
• 数据仓库建设的方法
  • Bill Inmon
    • 把数据仓库定义为“面向主题的 ，整合的、随时间变化的、相对稳定的支撑管理决策的数据集合”，用规范化的关系模型来存储和管理数据
      • 面向主题的
      • 整合的
      • 随时间变化的
      • 稳定的
      • 聚合数据和明细数据
      • 历史的
    • CIF组成部分
      • 1.应用程序
      • 2. 数据暂存区
      • 3. 集成和转换
      • 4.操作型数据存储（ODS）
      • 5. 数据集市
      • 6. 操作型数据集市（OpDM）
      • 7. 数据仓库
      • 8. 运营报告
      • 9. 参考数据、主数据和外部数据
  • Ralph Kimball
    • 数据仓库定义为“为查询和分析定制的交易数据的副本”，他的方法通常称作多维模型
    • 多维模型通常称作星型模型，由事实表（包含有关业务流程的定量数据，如销售数据）和多维表（存储与事实表数据相关的描述性属性），为数据消费解答关于事实表的问题，如这个季度产品X卖了多少）组成。
    • 多个事实数据表将通过“总线”共享公共的维度或遵循一致性的维度，类似于计算机中的总线。通过插入遵循维度的总线，可以将多个数据集市集成为企业级的数据集市。
    • 数据仓库包含的组件
      • 1. 业务源系统
      • 2. 数据暂存区
      • 3. 数据展示区
      • 4. 数据访问区
• 数据仓库架构组件
  • 数据仓库环境包括一系列组织起来以满足企业需求的架构组件
    • 1. 源系统
      • 源系统包括要流入数据仓库/商务智能环境的业务系统和外部数据
    • 2. 数据集成
      • 包括抽取、转换和加载
    • 3. 数据存储区域
      • 1）暂存区
      • 2）参考数据和主数据一致性维度
      • 3）中央数据仓库
      • 4）操作型数据存储（ODS）
      • 5）数据集市
      • 6）数据立方体（Cubes）
  • 从源系统流动到数据暂存区，数据可以在这里被清洗，当数据集成并存储在数据仓库或操作数据存储中时，可以对其进行补充丰富。在数据仓库中，可以通过数据集市或数据立方体访问数据，生成各种各样的报表
• 加载处理方式
  • 数据仓库建设涉及两种主要的数据集成类型：历史加载和持续不断的数据更新
    • 1）历史数据
    • 2）批量变更数据捕获
• OLAP
  • 包括
    • 1. 切片
    • 2. 切块
    • 3. 向下/向上钻取
    • 4. 向上卷积
    • 5. 透视
  • 三种经典OLAP实现方法
    • 1）关系型联机分析处理（ROLAP）
    • 2）多维矩阵型联机分析处理（MOLAP）
    • 3）混合型联机分析处理（HOLAP）