Python与数据分析

Python用于数据分析的流程。

数据分析

• 0.python模块
  • numpy
  • pandas
  • scipy
  • sklearn
  • matplotlib/seaborn
• 1.需求分析
  • 数据驱动
    • 数据格式
      • 横截面数据
      • 时间序列
      • 面板数据
      • 图片
      • 图网络
    • 数据任务
      • 监督学习
        • 回归
        • 分类
        • 排序
      • 无监督学习
        • 聚类
      • 强化学习
  • 业务驱动
• 2.数据准备
  • 爬虫
  • 数据库
  • 数据表
• 3.数据清洗
  • 提高数据质量
    • 完整性
      • 缺失值
    • 唯一性
      • 去重
    • 权威性
      • 数据来源
    • 合法性
      • 异常值
    • 一致性
      • 统计口径
  • 更适合数据挖掘
    • 降维
      • PCA/FA/SVD
      • Lasso/elastic net/sis
      • 重要性排序
      • 自编码
• 4.描述性分析
  • 数值特征
    • 集中趋势
    • 离散趋势
  • 统计表
    • 频数分布表
  • 统计图
    • 条形图/饼图
    • 直方图/箱线图
    • 散点图
• 5.建立模型
  • 常用模型
    • 广义线性模型
    • 决策树类
    • 神经网络类
  • 常见问题
    • 数据平衡
• 6.模型评估
  • 模型评价
    • 检验类
    • 指标类
  • 关键技术
    • AB test
    • 交叉验证
    • 重抽样
• 7.上线/数据分析报告
  • pmml模型格式
  • flask接口
  • 直接调用python代码
  • socket多进程通讯
  • 输出到文件