机器学习

本图是机器学习 绪论部分的知识梳理，内容涵盖机器学习定义、基本术语、假设空间和归纳偏好四部分，有兴趣的同学可以学习一下哟。

机器学习 绪论

• 机器学习定义
  • 通过计算机手段，利用经验改善系统自身性能，提高泛化能力。
  • 研究内容：在计算机上从数据产生模型，即“学习算法”
  • 简要流程：将经验数据提供给算法，就能基于这些数据产生模型 ，并运用模型对新情况做预测
  • 深度学习∈机器学习∈人工智能
• 基本术语
  • 数据集合
    • 往往把得到的数据集分为：训练集、测试集、验证集（后两者往往是一种）
    • 一组记录的集合。一批西瓜数据
  • 样本&示例&特征向量
    • 数据集中的每条记录。
  • 属性（特征）
    • 事务对象某方面的表现或特征，其个数称为维数。色泽、敲声
  • 属性值
    • 属性的取值。青绿
  • （属性&输入&样本）空间
    • 属性张成的空间。多维坐标概念
  • 学习&训练
    • 从数据中学的模型的过程
  • 训练样本∈训练数据∈训练集
  • 假设&学得模型
    • 数据的潜在规律
      • 规律的自身称为真相
  • 标记
    • 示例的结果信息。好瓜
  • 样例
    • 拥有标记的示例。
  • 标记空间&输出空间
    • 标记的集合
  • 监督学习Supervised
    • 训练有标记信息的数据
      • 分类：区分好坏瓜
      • 回归：预测成熟度
  • 无监督学习Unsupervised
    • 训练无标记信息的数据
      • 聚类：西瓜分组
  • 半监督学习
    • EM（期望最大化方法）
  • 测试
    • 使用模型对测试样本做预测
  • 泛化
    • 学得模型适用于新样本
• 假设空间
  • 归纳：具体事务到一般规律的泛化
  • 演绎：一般到特殊的特化
  • 归纳学习&概念学习：从训练数据中学得概念
    • 最基本：布尔概念学习yes or no
  • 假设集合&版本空间：多个与训练集一致的假设
  • 学习过程：在所有假设空间中进行搜索（删除不符合假设） ，找到与训练集匹配的假设
    • 注意取何都可*and根本不存在情况Æ
• 归纳偏好
  • 定义：机器学习在学习过程中对于某种类型假设的偏好
  • 奥卡姆剃刀：有多个假设与观察一致，选最简单
    • 奥卡姆剃刀并非唯一可行原则
    • 要考虑泛化能力
  • 没有免费的午餐定理NFL：对某一域的所有问题 ，所有算法的期望性能是相同的
    • 一个算法La如果在某些问题上比另一个算法Lb好，必然存在另外一些问题，Lb比La好。
    • 前提：所有问题出现机会相同or同等重要
    • 提示：不能脱离问题讨论最优学习算法
  • 注意事项
    • |c|可能表示的不是绝对值，而是个数，有时也用#{·}来表示
    • 样本内验证一般效果都很好，可能产生结果盲目
    • 泛化能力≠预测能力，泛化能力更强调样本外预测
    • 现实情况≈独立同分布(i.i.d)
    • 可列多个≠无穷多个