机器学习第1章、绪论

机器学习 周志华西瓜书，第一章绪论思维导图，机器学习正是这样一门学科，它致力于研究如何通过计算的手段，利用经验来改善系统自身性能。

第1章、绪论

• 1.1引言
  • 经典定义：机器学习正是这样一门学科，它致力于研究如何通过计算的手段，利用经验来改善系统自身性能。
    • （1）经验：对应于历史数据，如互联网数据、科学实验数据等
    • （2）系统：对应于数据模型，如决策树、支持向量机等。
    • （3）性能：则是模型对新数据的处理能力，如分类和预测性能等。
    • （4）机器学习的根本任务：是数据的分析与建模。
• 1.2基本概念
  • [1]特征空间
    • (1)特征变量：选择一组变量描述问题性质，称为特征变量（属性）
      • 特征变量（属性）记为：xi，i=1、、d
    • （2）特征向量：特征变量组成的向量
    • （3）特征空间：变量张成的空间称为特征空间（样本空间）
    • （4）属性值：变量的取值称为属性值。
    • （5）特征空间记为：G
    • （6）特征向量记为：
      • 子主题
  • [2]数据集合：
    • （1）样本：特征空间（样本空间）中的一组示例。记为：D={x1、x2 、、xm }
    • （2）标记空间：标签变量或预测变量的取值集合，记为：Y
    • （3）样例集合：特征向量与标签变量对集合，记为： D={(x1、y1) 、(x2、y2) 、 、 (xm、ym) }
    • （4）学习(训练)数据：在训练过程中使用的数据称为训练数据，每一个样例称为训练样本，全体训练样本集合称为训练集(training set)。
    • （5）测试数据(testing data)：用于检测学习得到模型的数据称为检测数据，每一个样例称为检测样本，全体检测样本集合称为检测集(testing set)。
  • [3]学习任务-y=f(x)
    • （1）分类：Y={1，2，3，}，是离散值集合。二分类、多分类。（有监督学习）
    • （2）回归：Y  (0 1)，是连续值集合，预测。（有监督学习）
    • （3）聚类：没有Y的信息。（无监督学习）
    • （4）Y的信息不完全。（强化学习）
    • （5）泛化能力：学习的结果对新样本的适应能力，对样本空间的描述能力。
    • （6）版本空间：假设空间的一个子集，与训练样例一致的所有假设的集合。
  • [4]归纳偏好（奥卡姆剃刀、没有免费午餐）
    • 在机器学习算法学习的过程中对某种假设的偏好称为归纳偏好。 奥卡姆剃刀(Occam’s razor)： 若多个假设与观察一致，选择最简单的那个。
• 1.3机器学习的发展和应用