计算机初识数据清洗

一篇关于计算机初识数据清洗思维导图，对数据清洗知识的大致描述，入门水平。介绍了数据质量、 数据清洗等内容。

数据清洗知识

• 数据质量
  • 评估数据质量
    • 脏数据
    • 与本次任务相关度
    • 对本次任务的价值贡献
  • 数据质量的定义
    • 在业务环境下下满足业务需求的强度
  • 数据质量的特点
    • • 数据质量随时间和业务需求发生变化
      • 数据质量可以通过信息系统来度量，但又独立于信息系统而存在
      • 数据质量存在于数据的整个生命周期，随着数据的产生或消失而存在或不存在
  • 脏数据类型
    • 数据不完整
    • 数据缺失
    • 数据错误
    • 无意义的冗余数据
• 数据清洗
  • 数据清洗技术
    • 定义
      • 是提高数据质量的有效方法
  • 原理
    • 定义
      • 将脏数据转化为满足质量要求的数据
        • 非法值
        • 控制
        • 冗余值
        • 类型错误
        • 空值
        • 拼写错误
        • 其它
  • 方法
    • 缺失值的清洗
      • 删除
      • 忽略
      • 补充补全
        • 算法
          • 回归
          • 贝叶斯算法
        • 常见值补充
          • 全局值
          • 近似值
          • unknown
    • 错误类型的清洗
      • 算法补充
      • 删除
      • 更正
    • 重复值的清洗
      • 排序和合并
      • 加权计算相似值
      • 删除多与值
  • 策略
    • 算法
    • 人工
  • 流程
    • 数据分析
      • 定义清洗策略和规则
        • 搜寻并确定错误实例
          • 纠正发现的的错误
            • 干净数据的回流