数据仓库学习思维导图

数据仓库简要描述，从基本特征、数据仓库与数据库的区别、架构、元数据、建模方法等方面进行了分析和概述。

数据仓库架构

• 出于分析性报告和决策支持目的而创建
• 基本特征
  • 面向主题
    • 对应企业中某一宏观分析领域所涉及的分析对象
  • 集成性
    • 通过对分散、独立、异构的数据库数据进行抽取、清理、转换和汇总便得到了数据仓库的数据
  • 非易失性
    • 数据经加工和集成进入数据仓库后是极少更新的，通常只需要定期的加载和更新。
  • 时变性
    • 数据仓库中的数据是按照时间顺序追加的，它们都带有时间属性
• 数据仓库与数据库的区别
  • 关系型数据库。操作型处理，叫联机事务处理 OLTP（On-Line Transaction Processing，），它是针对具体业务在数据库联机的日常操作，用户较为关心操作的响应时间、数据的安全性、完整性和并发支持的用户数等问题
    • 数据库设计是尽量避免冗余
  • 数据仓库。分析型处理，叫联机分析处理 OLAP（On-Line Analytical Processing）一般针对某些主题的历史数据进行分析，支持管理决策。
    • 数据仓库在设计是有意引入冗余，依照分析需求，分析维度、分析指标进行设计
• 架构
  • 纵向
    • 贴源层
    • 聚合层
    • 模型层
  • 横向
    • 实时库
    • 历史库
• 建模方法
• 元数据
  • 主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态
  • 定义了源数据系统到数据仓库的映射、数据转换的规则、数据仓库的逻辑结构、数据更新的规则、数据导入历史记录以及装载周期等相关内容
  • 分类
    • 业务元数据
      • 从业务角度描述数据，包括商务术语、数据仓库中有什么数据、数据的位置和数据的可用性等
    • 技术元数据
      • 描述了与数据仓库开发、管理和维护相关的数据，包括数据源信息、数据转换描述、数据仓库模型、数据清洗与更新规则、数据映射和访问权限等