机器学习（西瓜书）第一章思维导图

机器学习（西瓜书）第一章思维导图，致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。不定时更新，欢迎点赞收藏~

机器学习第一章

• 归纳偏好
  • 归纳偏好学习过程中对某种类型假设的偏好称作归纳偏好，可理解为机器学习中的价值观。
  • 一般原则
    • 奥卡姆剃刀(Ocam´s Razor)，若有多个假设与观察一致，则选最简单的那个。
  • NFL定理
    • NFL定理的重要前提
• 发展历程
  • 推理期
  • 知识期
  • 学习期
• 应用现状
  • 计算机领域最活跃的研究分支之一
  • 与普通人的生活密切相关
  • 影响到人类社会的政治生活
  • 具有自然科学探索色彩
• 阅读材料
• 引言
  • 致力于研究如何通过计算的手段，利用经验来改善系统自身的性能.
• 基本术语
  • “数据集“
    • 这组记录的集合
  • 示例” (instance)或“样本”
    • 每条记录是关于 一个事件或对象的描述
  • “属性”(attribute)或“特征”
    • 反映事件或对象在某方面的表现或性质的事项
      • “属性值”
        • 属性上的取值，例如“青绿”“乌黑”
      • “属性空间”(attribute space)、“样本空间” (sample space)或“输入空间”
        • 属性张成的空间。例如:一个描述西瓜的三维空间
  • “特征向量”
    • 由于空间中的每个点对应一个坐标向量， 因此我们也把一个示例称为一个 “特征向量”
  • “维数”(dimensionality).
    • 一般地，令D={x1,x2,.. ,xm}表示包含m个示例的数据集，每个示例由d个属性描述(例如上面的西瓜数据使用了 3个属性)，则每个示例xi=(xi1;xi2;...xid)是d维样本空间X中的一个向量,xiÎX,其中Cij是xi;在第j个属性上的取值(例如上述第3个西瓜在第 2个属性上的值是“硬挺”),d称为样本xi的“维数”(dimensionality).
  • "学习" (learning)或“训练”(training)
    • 从数据中学得模型的过程称为“学习"或“训练”,这个过程通过执行某个学习算法来完成
      • "训练数据"或"训练示例"或"训练例"
        • 训练过程中使用的数据
      • "训练样本"
        • 其中每个样本称为一个"训练样本"
      • "训练集"
        • 训练样本组成的集合
  • 学得模型
    • 学得模型对应了关于数据的某种潜在的规律，因此亦称“假设”(hypothesis); 这种潜在规律自身，则称为“真相”或“真实”, 学习过程就是为了找出或逼近真相
  • 一般地，用(xi,yi)表示示第i个样例，其中yi∈Y是示例xi的标记, Y是所有标记的集合， 亦称“标记空间”或“输出空间”。
  • 学习任务
    • “监督学习”
      • “分类”
        • 预测的是离散值
          • 对只涉及两个类别的“二分 类”任务
            • 通常称其中一个类为 “正类”
            • 另一个类为“反类”，亦称“负类”
          • “多分类”任务
            • 涉及多个类别
      • “回归”
        • 预测的是连续值
    • “无监督学习”
      • “聚类”
    • "半监督学习"
      • 既有标注的训练样本、又有未标注的训练样本情况下的 学习算法。
  • 泛化能力
    • 机器学习的目标是使得学到的模型能很好的适用于“新样 本”，而不仅仅是训练集合，我们称模型适用于新样本的能 力为泛化(generalization)能力。
• 假设空间
  • “归纳”
    • induction，从特殊到一般的“泛化”generalization的 过程。
      • "从样例中学习” 是一个归纳的过程，因此亦称 “归纳学习”
        • 狭义
        • 广义
  • “演绎”
    • deduction，从一般到“特化”specialization的过程。 机器学习本质上属于归纳学习。
  • 假设空间
    • 属性可以取到的所有值所形成的假设构成。
  • 版本空间
    • 与训练集一致的“假设集合”。