机器学习

本岛图梳理了机器学习的内容，讲述了是否在人类监督下学习、是否进行模式检测、超参数、注意与挑战、进行评估。

机器学习

• 是否在人类监督下学习
  • 有监督学习
    • 有标签
      • 邮件过滤
    • 例如：
      • 分类
      • 回归
  • 无监督学习
    • 例如：
      • 聚类
      • 可视化算法
      • 异常监测
      • 新颖化监测
  • 半监督学习
    • 例如：
      • 人像识别，先无监督聚类，再贴标签
      • 先无监督训练，有监督对系统微调
      • 部分标记数据
  • 强化学习
    • 观察环境，做出选择 ，执行动作，获得回报（可以是负面）
  • 好的做法：
    • 降维
      • 给有监督模型
        • 运算更快，内存和磁盘也会更小
• 是否可以动态的进行增量学习
  • 批量学习
    • 不可以
  • 在线学习
    • 可以
      • 核外算法，可以处理计算机在内存中无法处理的大量数据
• 是否进行模式监测
  • 基于实例的学习
    • 否
      • 相似度度量方式
  • 基于模型的学习
    • 是
• 挑战
  • 训练数据数量不足
  • 训练数据不具代表性
    • 采样偏差
  • 低质量数据
    • 异常则丢，或修复，补或者丢特征
  • 无关特征
    • 特征选择，特征提取（降维），收集新数据
  • 过拟合训练数据
    • 简化模型，收集更多训练数据，减少训练数据中噪声
  • 欠拟合训练数据
    • 一个参数多，更强大的模型，更好特征集，减少模型中的约束
• 超参数
  • 学习算法的参数，不是模型参数
• 注意
  • 模型太简单
    • 欠拟合
  • 模型太复杂
    • 过拟合
• 进行评估
  • 测试和验证
    • 超参数挑战和模型选择
      • 保存训练集一部分，评估并选择最佳模型，验证集
      • 进行k折交叉验证
        • k次，分为k-1,与1
      • 数据不匹配
        • train-dev
          • 是训练集提取的一部分
          • 在train-dev, 若模型表现良好，则不过拟合
            • 之后如果在验证集上不好，则一定是数据不匹配
          • 若train-dev表现差，
            • 则训练集过拟合