DAMA数据管理知识体系指南 第十三章 数据质量

这是一篇关于DAMA数据管理知识体系指南 第十三章 数据质量的思维导图，主要内容有数据质量简介、持续质量管理、各级人员的坚定领导和参与、数据质量语境关系图等。

DAMA数据管理 第十三章 数据质量

• 数据质量简介
  • 但实现数据价值的前提是数据本身是可靠和可信的，换句话说， 数据应是高质量的
  • 导致低质量数据产生的因素包括
    • • 组织缺乏对低质量数据影响的理解
    • • 缺乏规划
    • • 孤岛式系统设计
    • • 不一致的开发过程
    • • 不完整的文档
    • • 缺乏标准或缺乏治理等
  • 1. 数据质量如达到数据消费者的期望和需求，也就是说，如果数据 满足数据消费者应用需求的目的，就是高质量的
  • 2. 反之，如果不满足数据消费者应用需求的目的，就是低质量的
  • 3. 因此，数据质量取决于使用数据的场景和数据消费者的需求
• 持续质量管理
  • 整个生命周期制定标准
  • 在数据创建、转换和存储过程中完善质量
  • 以及根据标准度量数据来管理数据
  • 将数据管理到这样的水平通常需要有数据质 量团队（Data Quality Program Team）
  • Data quality issues can occur at any stage of the data
• 各级人员的坚定领导和参与
  • 1. 最重要的是，数据质量改进取得长期成功取决于组织文化的 改变及质量观念的建立
  • 2. 正如《领导者数据宣言》（The Leader's Data Manifesto） 一书中所述：持续性的根本变革需要组织内各级人员的坚定 领导和参与
• 数据质量语境关系图
• 各级人员的坚定领导和参与数据质量提升
  • 1）提高组织数据价值和数据利用的机会
  • 2）降低低质量数据导致的风险和成本
  • 3）提高组织效率和生产力
  • 4）保护和提高组织的声誉
• 许多直接成本均与低质量数据有关
  • 1）无法正确开具发票
  • 2）增加客服电话量，降低解决问题的能力
  • 3）因错失商业机会造成收入损失
  • 4）影响并购后的整合进展
  • 5）增加受欺诈的风险
  • 6）由错误数据驱动的错误业务决策造成损失
  • 7）因缺乏良好信誉而导致业务损失
• 数据质量专注以下目标
  • 根据数据消费 者的需求，开 发一种受管理 的方法，使数 据适合要求。
  • 定义数据质量 控制的标准和 规范，并作为 整个数据生命 周期的一部分。
  • 定义和实施测 量、监控和报 告数据质量水 平的过程
• 数据质量专注以下维度目标
• 将信息作为业务资产进行管理的障碍和根本原因
• 提升数据质量
  • （1）数据清理
    • 1）实施控制以防止数据输入错误
    • 2）纠正源系统中的数据
    • 3）改进数据录入的业务流程
  • （2）数据增强
    • 1）时间戳。
      • •改进数据的一种方法是记录数据项创建、修改或停用的日期和时间，这有助于跟踪历史数据事件。如果在数据中发现了问题，时间戳能使分析人员定位到发生问题的时间范围，在根 本原因分析中将非常有价值。
    • 2）审计数据。
      • 审计可以记录数据血缘，这对于历史跟踪和验证很重要。
    • 3）参考词汇表。
      • •在定制化的业务语境中，特定于业务的术语、本体和词汇表增强了数据理解和控制。
    • 4）语境信息。
      • •添加如位置、环境或访问方法等上下文语境信息，并标记数据以供审查和分析。
    • 5）地理信息。
      • •可以通过地址标准化和地理编码增强地理信息，包括区域编码、市政和街区地图、经纬度对和其他类型的位置数据。
    • 6）人口统计信息。
      • •可以通过人口统计信息增强客户数据，如年龄、婚姻状况、性别、收入或民族编码。企业实体数据可以与年收入、员工数量、办公空间大小等关联。
    • 7）心理信息。
      • •用于按特定行为、习惯或偏好对目标人群进行细分的数据，如产品和品牌偏好、组织成员资格、休闲活动、通勤交通方式、购物时间偏好等。
    • 8）评估信息。
      • •针对资产评估、库存和销售数据等使用这种增强方式。
  • （3）数据解析和格式化
    • 1. 例如，如果可以确定一个名为“name”的属性中嵌入了属于 “business name”的值，那么该数据值将被标识为一个企业的 名称，而不是一个人的名称。
    • 2. 数据值中任何含有层次结构（如子零件、零件和部件）语义的情 况，都使用相同的方法。
  • （4）数据转换与标准化
    • 1. 数据转换建立在这些标准化技术基础之上。
    • 2. 通过将原始格式和模式中的数据值映射到目标表述形式来指导基于规则的转换。
    • 3. 模式中经解析的组件将按照知识库中的规则进行重新排列、更正或任何更改。
    • 工具：scikit-learn dataset transformations
• 测量和监控数据质量
  • 反映正确数据的百分比或异常的百分比
  • 数据质量值指标例子
  • 工具-Deequ
    • Deequ a data checking library written in Scala targeted towards Spark/PySpark dataframes and thus aims to check large datasets making use of Spark optimization to run in a performant manner
  • 工具对比
    • For small Pandas-heavy projects, I would recommend using Pandera (or Hooqu if you are a brave soul). If your organization is larger, you like Jupyter notebooks, and you do not mind the learning curve, I would recommend GreatExpectations as it has currently a lot of traction. If you write your pipelines mostly in (Py)Spark and you care about performance I would go for (Py)Deequ.