机器学习知识导图

机器学习指通过计算的手段，利用经验来改善系统自身的性能。下图梳理了机器学习的定义、基本术语、假设空间、归纳偏好等，结构性知识框架让你一目了然！

1.引言

• 机器学习定义
  • 通过计算的手段，利用经验来改善系统自身的性能。
  • 研究内容：关于在计算机上从数据中产生“模型”的算法，即“学习算法”。
  • 怎么做：将经验数据提供给算法，就能基于这些数据产生模型，在面对新的情况时，模型会提供相应的预测。
• 基本术语
  • 数据集：一组记录的集合（一批关于西瓜的数据）
  • 样本(示例)：一个单一对象的描述（一个西瓜）
  • 属性(特征)：对象某方面表现或性质的事项（如西瓜的颜色、根蒂、敲声）
  • 属性值：如西瓜颜色的’青绿‘、’乌黑‘。
  • 样本空间(输入空间)：属性张成的空间。
    • 西瓜的“颜色”，“根蒂”，“敲声”作为三个坐标轴，因此属性空间是一个描述西瓜的三维空间，每个西瓜都可以在三维空间中找到自己的坐标位置。一个示例也被称为一个“特征向量”。
  • 学习(训练):从数据中学得模型的过程。训练中使用的数据为“训练数据”，每个样本为“训练样本”。训练样本的集合称为“训练集”。
  • 假设：学得的模型。
  • 标记(label)：训练样本的结果信息，如“好瓜”，“坏瓜”。
  • 样例：带有标记信息的示例。
  • 标记空间(输出空间):所有标记的集合。
  • 监督学习：训练数据拥有标记信息的学习任务。
    • 分类(classification)：预测离散值的输出。
    • 回归(regression)：预测连续值的输出。
  • 无监督学习：训练数据没有标记信息的学习任务。
    • 聚类(clustering)：将训练集中的西瓜分成若干组，每组称为一个’簇(cluster)‘。
  • 泛化：学得模型适用于新样本的能力。
• 假设空间
  • 概念学习：从训练数据中学得概念。
  • 假设空间：即候选方案。
  • 版本空间：与训练集一致的假设集合。
• 归纳偏好
  • 定义：机器学习算法在学习过程中对某种类型假设的偏好。
  • 奥卡姆剃刀原则：若有多个假设与观察一致，选最简单的那个。(并非唯一可行的原则)
  • 没有免费午餐定理NFL：针对某一域的所有问题，所有算法的期望性能是相同的。