DAMA数据管理知识体系指南(5)

DAMA数据管理知识体系指南，第5章数据建模和设计思维导图，包括其引言、活动、工具、方法。

DAMA数据管理知识体系指南

• 第5章 数据建模和设计
  • 5.1 引言
    • 数据表示常见的6种模式：关系模式、多维模式、面向对象模式、事实模式、时间序列模式和NoSQL模式。
    • 5.1.1 业务驱动因素
      • 数据模型对于有效的数据管理至关重要，如： 1）提供有关数据的通用词汇表。 2）获取、记录组织内数据和系统的详细信息。 3）在项目中作为主要的交流沟通工具。 4）提供了应用定制、整合，甚至替换的起点。
    • 5.1.2 目标和原则
    • 5.1.3 基本概念
      • 1..数据建模和数据模型
      • 2.建模的数据类型
      • 3.数据模型组件
        • 基本组件：实体、关系、属性和域
        • （1）实体
          • 1）实体的别名
          • 2）实体的图形表示
          • 3）实体的定义
            • ①清晰（Clarity）
            • ②准确（Accuracy）
            • ③完整（Completeness）
        • （2）关系
          • 1）关系的别名
          • 2）关系的图形表示
          • 3）关系的基数
            • 基数而言，只能选择0、1或多
            • 关系中涉及实体的数目被称为关系的元数（Arity），最常见的有一元关系、二元关系以及三元关系
        • （3）属性
          • 1）属性的图形表示
          • 2）标识符
            • 键的结构（单一键、组合键、复合键、代理键）和功能（候选键、主键、备用键）
        • (4）域
          • 1）数据类型（Data Type）
          • 2）数据格式（Data Format）
          • 3）列表（List）
          • 4）范围（Range）
          • 5）基于规则（Rule-Based）
      • 4.数据建模的方法
        • 关系建模、维度建模、面向对象建模、基于事实建模、基于时间建模和非关系型建模。非关系型：文档、列、图、键值
        • （1）关系建模（ER实体关系建模）
        • （2）维度建模
          • 1）事实表
          • 2）维度表
            • 维度的属性以不同的速率发生变化。渐变类的维度根据变化的速率和类型来管理变化。3种主要的变化类型有时被称为ORC，具体如下： ①第一类，覆盖（Overwrite）。新值覆盖旧值。 ②第二类，新行（New Row）。新值写在新行中，旧行被标记为非当前值。 ③第三类，新列（New Column）。一个值的多个实例列在同一行的不同列中，而一个新值意味着将系列中的值向下一点写入，以便在前面为新值留出空间。最后一个值被丢弃。
          • 3）雪花模型
          • 4）粒度
          • 5）一致性维度
          • 6）一致性事实
        • （3）UML
      • 5.数据模型级别
        • （1）概念数据模型（CDM）
        • （2）逻辑数据模型（LDM）
        • （3）物理数据模型（PDM）
          • 1）规范模型
          • 2）视图
          • 3）分区
            • ①垂直分割
            • ②水平分割
          • 4）逆规范化
            • ①提前组合来自多个其他表的数据，以避免代价高昂的运行时连接
            • ②创建更小的、预先过滤的数据副本，以减少昂贵的运行时计算和/或大型表的扫描
            • ③预先计算和存储昂贵的数据计算结果，以避免运行时系统资源竞争
      • 6.规范化
        • 1）第一范式（1NF）。确保每个实体都有一个有效的主键，每个属性都依赖于主键，而且消除冗余的分组，以确保每个属性的原子性（不能有多个值存在）。第一范式包括了与通常称为关联实体的附加实体的多对多关系解析。
        • 2）第二范式（2NF）。确保每个实体都有最小的主键，每个属性都依赖于完整的主键。
        • 3）第三范式（3NF）。确保每一个实体都没有隐藏的主键，每个属性都不依赖于键值之外的任何属性（仅依赖于完整的主键）。
  • 5.2 活动
    • 5.2.1 规划数据建模
      • 数据建模交付成果
        • 1）图表（Diagram）
        • 2）定义（Definitions）
        • 3）争议和悬而未决的问题（Issues and Outstanding Questions）
        • 4）血缘关系（Lineage）
    • 5.2.2 建立数据模型
      • 1.正向工程
        • 1）从ER到DDL
          • SQL:Structured Query Language （1）Select：Query （2）DML（Data manulation language）：insert、update、delete、merge、upsert （3）DDL（Data definition language）：create table， drop table （4）DCL（Data control language）：rollback， commit
        • 2）从ER直接到数据库建表
      • 2.逆向工程
        • DDL->ER，从数据库中表到ER
    • 5.2.3 审核数据模型（数据模型积分卡）
    • 5.2.4 维护数据模型（版本）
  • 5.3 工具
    • 5.3.1 数据建模工具
    • 5.3.2 数据血缘工具（Excel）
    • 5.3.3 数据分析工具
    • 5.3.4 元数据资料库
    • 5.3.5 数据模型模式
    • 5.3.6 行业数据模型
  • 5.4 方法
    • 5.4.1 命名规则的最佳实践（ISO11179元数据国际标准）
    • 5.4.2 数据库设计中的最佳实践（PRISM设计原则）
      • 1）性能和易用性（Performance and Ease of Use）
      • 2）可重用性（Reusability）
      • 3）完整性（Integrity）
      • 4）安全性（Security）
      • 5）可维护性（Maintainability）