数据质量评估

本思维导图整理了数据质量的定义和重要性，数据质量评价的目的、意义、评价方法、评价流程。数据质量直接影响数据的真实价值和业务贡献，进一步影响到企业的财务报表和其他重要决策。

数据质量评估

• 数据质量定义
  • 数据质量是指数据在指定条件下使用时，其特性能够满足明确的或者隐含的要求的程度。
• 重要性
  • 数据质量直接影响数据资源的真实价值和业务贡献，进而影响企业财务报表
  • 客观、准确的数据质量评价将有助于提升数据资产的价值，使各方获得高质量可靠的数据，避免数据质量问题带来的负面影响
• 数据质量评价的目的
  • 一、 提高数据的可信度和有效性
    • 通过评价可以检验数据的质量，找出存在的问题，然后采取措施改进，确保数据真实可靠
  • 二、 为数据应用提供质量保障
    • 高质量的数据才能带来有效的分析和决策，否则会导致错误的结果。质量评价可以防止低质量数据的误用。
  • 三、 评估数据资产的价值
    • 数据的质量直接影响其价值和功效。质量评价可以给出数据质量的定量指标，为数据资产的定价和管理提供依据
  • 四、 指导数据管理工作
    • 质量评价可以判断出数据质量存在的问题，从而针对性地改进数据采集、存储、处理等环节，指导数据管理
  • 五、 评估数据项目的进展
    • 定期开展质量评价，可以监测数据质量的变化，考核数据管理工作的效果
  • 六、 建立数据质量意识
    • 将质量评价作为常规工作，可以使企业重视数据质量，形成良好的数据治理文化
• 数据质量评价的意义
  • 一、 判断数据质量好坏，找出存在的问题
    • 质量评价可以检查数据的准确性、完整性、一致性等指标，发现数据错误、缺失、冗余等问题
  • 二、 为数据治理和管理提供依据
    • 评价结果可以定位出数据质量管理工作的不足，提出改进措施，指导后续的数据采集、处理、存储等过程。
  • 三、 引导重视数据质量
    • 将质量评价作为常规工作，会推动企业形成质量意识，管理层重视数据质量
  • 四、 评估数据价值，支持决策
    • 高质量的数据更有价值，可以支持数据驱动的决策。质量评价提供了判断数据价值的定量依据
  • 五、 监控质量变化，考核工作效果
    • 定期开展质量评价，可以监测数据质量变化情况，评估数据管理工作成效
  • 六、 遵守相关规范要求
    • 某些行业或政府部门会要求进行数据质量评估，这是遵守法规的需要
  • 七、 为数据治理提供技术支持
    • 评价可以验证治理规则的执行效果，优化治理策略
• 数据质量评价方法
  • 数据质量评价指标
    • 规范性
      • 数据符合数据标准、数据模型、业务规则、元数据或权威参考数据的程度。
    • 完整性
      • 按照数据规则要求，数据元素被赋予数值的程度。
    • 准确性
      • 数据准确表示其所描述的真实实体（实际对象）真实值的程度。
    • 一致性
      • 数据与其他特定上下文中使用的数据无矛盾的程度。
    • 时效性
      • 数据在时间变化中的正确程度
    • 可访问性
      • 数据能被访问的程度。
  • 数据质量评价方法分类
    • 定性评价
      • 第三方评测法
      • 用户反馈法
      • 专家评议法
    • 定量评价
      • 统计分析法
      • 内容评分法
    • 定性定量相结合的评价
      • 层次分析法
      • 缺陷扣分法
  • 数据质量规则体系
    • 完整性
      • 存在约束
      • 非空约束
    • 唯一性
      • 主键唯一性约束
      • 实体唯一性约束
    • 有效性
      • 取值范围约束
      • 长度约束
      • 内容规范约束
    • 一致性
      • 等值一致性约束
      • 存在一致性约束
      • 逻辑一致性约束
    • 准确性
      • 取值准确性约束
    • 及时性
      • 及时性约束
  • 数据质量维度框架
    • 形式质量
      • 完整性
        • 不同于数据库的完整性约束概念，此处数据完整性描述数据集对具体业务目标的覆盖程度，可以从字段和记录两个维度分析。
        • 常用指标
          • 用户覆盖度
            • 比如某业务的目标用户600万，现有数据集只覆盖了其中350万，则用户覆盖度为350 ÷ 600 * 100% = 58.3%
          • 业务覆盖度
          • 产品覆盖度
      • 可理解性
        • 用来描述数据集是否能清晰的反应业务逻辑，字段和取值的具体意义是否明确。
        • 常用指标
          • 存在数据字典
          • 数据字典语义明确
          • 字段取值是否和业务逻辑一致
      • 一致性
        • 用来描述数据在不同维度上的连贯性，包括数据集在时间轴上的前后连贯性和在相关的不同数据集之间的横向连贯性。一致性并不意味着数值上的绝对相同，而是数据收集、处理的方法和标准的一致。
        • 常用指标
          • ID重合度
            • 在相关数据集中是否存在一个全局的ID，或者不同数据集之间的关联ID是否能一一对应；
          • 属性一致
            • 不同数据集之间，同一个属性的字段名称、取值范围是否一致；
          • 取值一致
            • 不同数据集之间，同个字段的取值范围是否一致、相同情况下的具体取值是否一致；
          • 采集方法一致
            • 数据是否使用相同的工具和方法进行采集；
          • 转化步骤一致
            • 数据的转化过程是否采用相同的方法和工具；
      • 可获得性
        • 用来描述实际业务需要的数据的获取的难易程度，包括数据采集、数据清理、数据转化等多个环节。
        • 常用指标
          • 易于采集
            • 是否易于采集，采集过程是否简单直接；
          • 易于处理
            • 数据处理过程计算复杂度是否可接受；
          • 合适的存储方式
            • 数据存储结构是否合适，是否便于二次使用；
    • 内容质量
      • 准确性
        • 用来说明数据集对其描述或衡量的业务对象的描述程度。准确性是数据质量的重要组成部分。
        • 常用指标
          • 缺失值占比
          • 错误值占比
          • 异常值占比
          • 抽样偏差
            • 因统计抽样而带来的样本特征和总体特征之间的偏差。
          • 数据噪声
            • 数据流通过程中因数据转化而产生的信息损失，如关键信息加密、四舍五入等。
      • 可靠性
        • 用来描述数据集的可信赖程度，包括对数据采集、数据加工、数据应用等所有环节的处理是否值得信赖。
        • 常用指标
          • 采集方法正确
            • 有时候对数据的不同定义会导致采集方法的不同，比如页面曝光事件的定义，如果用户刷新了页面算不算第二次曝光？这要根据不同情况来定义，不同的定义其数据采集方式会不相同。
          • 上报过程可靠
          • 处理方法正确
          • 数据处理全流程通过测试
    • 效用质量
      • 相关性/可用性
        • 用来说明数据集描述的概念对象和实际业务对象之间的相关程度，数据相关性是数据质量的重要组成部分。
      • 时效性
        • 用来衡量实际业务需求时间和数据可用时间之间的延迟，包括数据产生时的时间参数和数据更新频率等方面。在实际的业务系统中，时效性是数据质量的一个重要方面。
        • 常用指标
          • 时序区间覆盖度
          • 数据更新频率
• 数据质量评价流程
  • 分析需求，明确目标
    • 了解具体业务针对特定数据资源的需求特征才能建立针对性的评价指标体系
    • 同一份数据在不同的生命周期中，其质量的关注点是存在差异的，因此需要明确当前阶段数据质量管理的目标。有了明确的目标，才能开始对数据进行合理的评价。
  • 确定评价对象及范围
    • 确定当前评价工作应用的数据集的范围和边界，明确数据集在属性、数量、时间等维度的具体界限
    • 评价对象既可以是数据项也可以是数据集，但一定是一个确定的静态的集合。
  • 选取质量评价维度及评价方法
    • 首先要依据具体业务需求选择适当的数据质量维度和评价指标
    • 另外，要选取可测、可用的质量维度作为评价指标准则项
    • 在不同的数据类型和不同的数据生产阶段，同一质量维度有不同的具体含义和内容，应该根据实际需要和生命阶段确定质量维度
    • 根据每个评价对象的特点，确定其测度及实现方法
  • 进行质量评价
    • 根据确定的质量对象、质量范围、测量及其实现方法开展质量评测工作
  • 出具数据质量评价报告
    • 经过抽样、度量、评价之后，就可以得到评价结论，并撰写数据质量评价报告。在这份报告当中，应当包括数据质量目标、范围、结论、分析以及质量改善建议，并通过可视化方式展现在报告当中。
• 参考文件
  • 《数据资产评估指导意见》
    • 术语和定义
    • 基于质量要素的指标体系设计示例
  • 《GBT36344-2018 信息技术数据质量评价指 标》
  • 《LYT2922-2017 林业数据质量评价方法》
  • 《数据质量入表白皮书》
    • 6.注重数据质量评价，确保数据资源入表的质量和可靠性