机器学习概论

机器学习第一章概述思维导图，包括一些基本术语、机器学习三要素、模型选择与评估、数据预处理等等，相关专业的同学不要错过。

机器学习第一章概述

• 基本术语
  • 1、数据集（Data Set）测试集（Test Set）训练集（Training Set）
  • 2、特征向量（Feature Vector）
  • 3、监督式学习（Supervise L）
  • 4、独立同分布（Independently and Ide）
  • 5、模型（Model）
  • 6、训练（Traning）
  • 7、假设（Hypothesis）
  • 8、学习器（Learner）
  • 9、输入空间（Input Space）输出空间（Output Space）假设空间（Hypothesis Space）
  • 10、回归（Regression）等
• 三要素
  • 1、模型（条件概率或决策函数）
    • 概率模型（条件概率分布）
    • 非概率模型（决策函数）
      • 线性模型
      • 非线性模型
  • 2、 学习准测（损失函数，代价函数，目标函数）
    • 损失函数
      • 0-1损失函数
      • 平方损失函数
      • 绝对损失函数
      • 对数损失函数
  • 3、优化算法（参数的最优解）
    • 解析解
      • 最小二乘法
      • 岭回归
    • 最优解
      • 梯度下降法（Gradient Descent,GD）
      • 随机梯度下降(Stochastic Gradient Descent，SGD)
      • 坐标下降法
      • 牛顿法
      • 拟牛顿法
  • 方法=模型+策略+算法
• 数据预处理
  • 1、数据类型转换
    • 数值型
      • 在分类任务中，通常需要将连续数值型进行离散化
    • 非数值型
      • 非类别型
        • 字符串型
      • 定序型
        • 定类型
          • 只能把研究对象分类（热独编码）
        • 定序型
          • 既能区分类别，还能决定次序
  • 2、特征数据的归一化
    • 线性归一化或最小-最大归一化
    • 零均值归一化
• 模型选择与评估
  • 1、数据集的划分
    • 训练集——用于学习的数据集
    • 测试集——用于测试最终性能P的数据集
    • 验证集——用于模型选择和调参的数据集
  • 2、模型选择与交叉验证方法
    • 简单交叉验证
    • K-折交叉验证
    • 留一交叉验证
    • 留K交叉验证
  • 3、模型的性能度量
  • 4、欠拟合与过拟合
    • 欠拟合——模型简单，学习能力不足，不能很好的拟合数据的真实发分布
    • 过拟合——模型复杂，学习能力强，模型对已知数据的预测性能好，未知预测性能不佳
  • 5、偏差与方差
    • 偏差——描述的是预测值的期望与真实值之间的差距
    • 方差——描述的是预测值的变化范围，离散程度，也就是离其期望值的距离
  • 6、模型的正测化