数据清洗

数据清洗思维导图：解决数据、质量问题、让数据更适合做挖掘或展示等内容。喜欢的小伙伴可以点个赞哦！

数据清洗

• 解决数据质量问题
  • 解决数据完整性
    • 通过其他信息补全，如使用身份证件号码推算性别、籍贯、出生日期、年龄
    • 通过前后数据补全，例如时间序列缺失数据可使用前后均值，缺失多了可使用平滑处理
    • 实在补不全的，虽然很可惜，但也必须要剔除。但是不要删掉，没准以后可以用得上
  • 解决数据唯一性
    • 按主键去重，用sql或者excel“去除重复记录”即可
    • 按规则去重，编写一系列规则，对重复情况复杂的数据进行去重
  • 解决数据权威性
    • 用最权威的那个渠道的数据（例如同一个指标出现多个来源的数据，目数值不一样）
  • 解决数据合法性
    • 设定强制合法规则，凡是不在此规则范围内的，判为无效，剔除
    • 设定警告规则，凡是不在此规则范围内的，进行警告，然后人工处理
    • 离群值人工特殊处理，使用分箱、聚类、回归、等方式发现离群值
  • 解决数据一致性
    • 指标体系（度量）
    • 维度（分组、统计囗径）
    • 单位
    • 频度
    • 数据
• 让数据更适合做挖掘或展示
  • 解决高维度问题
    • 降维（主成分分析、随机森林等等）
  • 解决维度低或缺少维度问题
    • 各种汇总，平均、加总、最大、最小等
    • 各种离散化，聚类、自定义分组等
  • 解决无关信息和字段冗示
    • 剔除相关字段
  • 解决多指标数值、单位不同问题
    • 归一化
      • 最小最大
      • 0-均值
      • 小数定标