数据清洗

数据清洗简化思路，一个清晰的数据清洗流程，从数据收集到数据清洗再到数据分析，每一步都进行了详细的解释和说明，有助于理解和应用数据清洗的相关知识和技能。

数据清洗

• 拆
  • 把信息比较复杂的字段进行拆分
• 丢
  • 不研究的列
  • 重复的行
  • 全为空值/太多空值的行
  • 含异常值(占比少时)的行
• 填
  • 缺失值/异常值(占比多时)
    • 文本型
      • 可推断的
        • 分词，多个文本字段寻求关联
        • 机器学习
      • 不可推断的
        • 额外搜索信息填补
        • "其他"代替
    • 数字型
      • 可推断的
        • 插值法/回归法
      • 不可推断的
        • 平均值/中位数/众数填充
• 格式化字段
  • 去重观察->确定类别->聚类