DAMA数据管理 第五章 数据建模和设计

这是一篇关于DAMA数据管理 第五章 数据建模和设计的思维导图，主要内容有数据建模简介、常见数据模式、数据建模业务驱动因素等。

第五章 数据建模和设计

• 数据建模简介
  • 数据建模是发现，分析和确定数据需求的过程，通过数据模型精 确传递这种需求
  • 在建模过程本身是数据管理的一个重要组成部分
• 常见数据模式
  • 格式/关系
• 数据建模业务驱动因素
  • 提供有关数据的通用词汇表
  • 获取、记录组织内数据和系统的详细信息
  • 在项目作为主要的交流工具
  • 提供了应用定制、整合，甚至替换的起点
• 数据建模和设计-语境关系图
• 数据建模的目标和原则
  • 数据建模是发现，分析和确定数据需求的过程，通过数据模型精 确传递这种需求
  • 在建模过程本身是数据管理的一个重要组成部分
• 数据模型是元数据的一种重要形式
  • 格式化：数据模型是对数据结构和数据关系的简洁定义
  • 范围定义：数据模型可以帮助解释数据上下文边界
  • 知识保留记录：数据模型可以被重复利用
• 数据模型组件-实体
  • 实体是一个组织收集信 息的载体，实体有时被 称为组织的一组名词
• 实体，实体类型和实体实例
• 关系
  • 关系基数
    • 一元关系
      • 自我引用关系，递归关系
    • 二元关系
      • 涉及两个实体的关系
    • 三元关系
      • 涉及三个实体的关系
• 主键和外键
  • 主键：Student Number，Course Code——（保证唯一code）
  • 注册包含两个外键：学生的学号(Student Number)和课程的课程号(Course Code)——（减少冗余）
  • 学生和课程为独立实体，注册为非独立实体
• 属性
  • 域代表某一属性可被赋予的全部可能取值
• 模型类型
  • 关系建模
    • 1970年 Edward Godd博士提出
    • 其在减少数据冗余方面卓有成效
      • 适合：OLTP，在线事物分析
    • “关系”来源于该方法所基于的数学方法—集合理论
    • 最常见的是信息工程表示法
  • 维度模型
    • 20世纪60年代 Gerneral Mills和达特茅斯学员在一次联合研究项目中提出
    • 目的优化海量数据的查询和分析——适合：联机查询分析，允许一定的冗余
    • 事实表，维度表
    • 雪花模型
  • 面向对象-UML
    • 统一建模语言（UML）
    • 规定了类和它们之间的关系
      • 适合：数据和数据间、类与类之间的关联关系，如java开发时需创建，包含属性、方法、针对变量和变量间的操作方式等
• 数据模型级别
  • 概念模式：体现了正在数据库中建模企业的“真实世界”视图
  • 外模式：数据库管理系统的用户操作特定需求相关企业模型的子集
  • 内模式：描述信息的存储表示
• 模型类型2
  • 概念数据模型（Conceptual Data Model, CDM）
  • 逻辑数据模型（Logical Data Model, LDM）
  • 物理数据模型（Physical Data Model, PDM
    • 好处：有冗余，好处是，查询的时候快速，不需要查询时做连接了，2张表合并了，做链接麻烦和耗时
• 数据建模的方法
• 规范化
  • 第一范式（1NF）
    • 1NF要求数据库的表中不能有可以被继续拆分的列，即表中的每一个 属性field都具有原子性。
  • 第二范式（2NF）
    • 表中选用(订单编号, 商品编号)联合作为联合主键。——联合主键对后面的所有列都产生关联
    • 这里的例子中，商品名称、商品价格这两个字段都是只依赖于(商品编号)这个字段的，也就是说它们只依赖于联合主键中的一部分
    • 因此我们需要进行拆表
  • 第三范式（3NF）
    • 3NF是需要确保数据表中的每一列数据都和主键直接相关，而不能间接相关
      • ——只有一个主键，跟所有列都直接相关，而非间接
    • 这里主键是"学号"
    • 直接依赖于"学号"的有"姓名"和"课程号"
    • “课程名称"直接依赖于"课程号”，间接依赖于"学号"
  • 三范式都是再消除冗余
  • BNCF范式（第三范式的一种特殊扩展）
    • It should be in the Third Normal Form.
    • And, for any dependency A → B, A cannot be a non-prime attribute, if B is a prime attribute.
    • student_id, subject together form the primary key, because using student_id and subject, we can find all the columns of the table.
    • 属性和属性间不产生冗余
  • 第四范式（ 4NF）：将所有三元关系分解成二元关系
  • 第五范式（5NF）：将实体内部的依赖关系分解成二元关系，所 有联结依赖部分主键
  • 抽象化
• 数据建模和设计活动
  • 规划数据建模
    • 图表
    • 定义
    • 争议和悬而未决的问题
    • 血缘关系（Lineage）：数据从哪里来，经过什么样的加工，变成什么样的结果的脉络关系
  • 数据血缘
  • 正向过程
    • 概念数据模型建模
      • 1. 选择模型类型：关系，维度， NoSQL等建模方法中选择一种
      • 2. 选择表示方法：例如，信息工程法等
      • 3. 完成初始概念模型：获取用户观点
      • 4. 收集组织中最高级的概念：时间，地点，用户等
      • 5. 收集与这些概念相关的活动：是双向的也可以涉及多个概念
      • 6. 合并企业术语：例如客户和顾客
      • 7. 获取签署
    • 逻辑数据模型建模
      • 1. 分析信息需求
      • 2. 分析现有文档
      • 3. 添加关联实体：在维度建模中，关联实体是事实表
      • 4. 添加属性
      • 5. 指定域：例如，学生学费金额是一个标准的货币域
      • 6. 指定键：识别主键，外键等
    • 物理数据建模
      • 解决逻辑抽象：
        • • 子类型吸收：子类型实体作为可空列，在超类实体表
        • • 超类型分区：超类型实体的属性包含在为每个子类型创建的单独表中
      • 添加属性细节
      • 添加参考数据对象
      • 指定代理键：
        • • 例如，逻辑模型上学生表主键是名字和生日，物理上可以是学号
      • 逆规范化：
        • • 逆规范化或添加冗余可以极大地提高分析场景性能，维度模型主要采用逆规范化的手段
      • 建立索引
      • 分区
  • 关系模型设计流程实例
  • 逆向工程
    • 逆向工程是记录现有数据库的过程
    • 大多数数据建模工具支持各种数据库的逆向工程
    • 例如，使用Power Design 逆向工程 SQL Server
  • 审核与维护数据模型
    • 审核：价值实现时间，支持成本和数据模型质量验证器 （数据模型记分卡-见后面内容）等技术都可以用于评 估模型正确性，完整性和一致性
    • 维护：需求或业务流程变化，需要对数据模型更新，模 型级别需要更改时，意味着更高级别模型需要更改。结 束开发迭代时，一个好的习惯是对最新的物理数据模型 进行逆向工程，确保与逻辑数据模型一致
• 数据建模和设计工具
  • 1. 数据建模工具：Visio等
  • 2. 数据血缘工具：例如，Excel，Apache Atlas等
  • 3. 数据分析工具
    • Python、PoweBI、SQL等
  • 4. 元数据资料库：是一款软件工具，用于存储有关数据模型的描述性信息
  • 5. 数据模型模式：数据模型模式是可重复使用的模型结构
  • 6. 行业数据模型：行业预建的数据模型，包括电信，保险，银行制造业，医疗等
• 数据建模和设计方法
  • 方法-命名约定的最佳实践
    • ISO11179元数据注册是一种表示组织中元数据的国际标准，包括命名属性和编写定义
    • 唯一，具有描述性
    • 逻辑名称
      • 尽可能完整单词
      • 通常不允许分隔符
    • 物理名称
      • 服务DBMS允许最大长度，必要时使用缩写
      • 通常下划线分割
  • 数据库设计中的最佳实践
    • 1. 性能和易用性
    • 2. 可重复性：能够被多个应用重复使用
    • 3. 完整性：尽可能接近数据的完整性约束，并报告违规行为
    • 4. 安全性
    • 5. 可维护性
  • 数据完整性约束
    • 实体完整性：规定表的每一行在表中是唯一的实体
    • 域完整性：是指表中的列必须满足某种特定的数据类型约束，其中约 束又包括取值范围、精度等规定
    • 参照完整性：是指两个表的主关键字和外关键字的数据应一致，保证 了表之间的数据的一致性，防止了数据丢失或无意义的数据在数据库 中扩散
    • 用户定义的完整性：不同的关系数据库系统根据其应用环境的不同， 往往还需要一些特殊的约束条件。用户定义的完整性即是针对某个特 定关系数据库的约束条件，它反映某一具体应用必须满足的语义要求
• 数据建模和数据治理
  • 数据建模和设计质量管理
    • 开和发设数计据标建准
    • 评审数据模型 以及数据库设 计质量
    • 管版理本数与据集模成型
  • 开发数据建模和设计标准
    • 可交付成的列表和描述
    • 缩写规则列表
    • 标准命名格式列表
    • 创建维护这些可交付成果的标准方法的列表和说明
    • 数据库建模和数据库设计角色职责列表
    • 捕获的所有元数据属性的列表和描述
    • 元数据质量期望和要求
    • 如何使用数据建模工具的指南
    • 准备和领导设计评审的指南
    • 数据模型版本控制指南
    • 禁止或需要避免的事项列表
  • 评审数据模型以及数据设计质量
    • 1. 组建不同背景，技能，期望和意见的不同领域的专家小组对数据模型和数据库设计进行评审
    • 2. 参与者有不同观点，最终达成共识，不存在任何个人冲突
    • 3. 建模人员需通过修改以解决评审小组提出的所有问题
  • 管理数据模型版本与集成
    • 每个变更都应该予以记录
    • 为什么（Why）项目或情况需要变更
    • 变更对象（What），以及如何（How）更改
    • 变更批准的时间（When）以及将变更应用于模型的时间
    • 谁（Who）做出了变更
    • 进行变更的位置（Where）在哪些模型中
  • 度量指标