支持向量机思维导图

机器学习第六章支持向量机，讲述了间隔与支持向量、对偶问题、核函数、支持向量回归、核方法、软间隔与正则化等。

支持向量机

• 间隔与支持向量
  • 分类学习最基本的思想就是基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开
  • 划分超平面：w^T*x+b，w决定超平面的方向，b决定位移项，决定超平面与原点之间的距离
  • 支持向量：距离超平面最近的几个训练样本点
  • 间隔：两个异类支持向量到超平面的距离之和
  • 找到具有最大间隔的划分超平面，这个能够最大化间隔的算法就是支持向量机
• 对偶问题
  • 对支持向量机的基本型（凸二次规划问题）使用拉格朗日乘子法得到
  • KKT条件
  • 求解对偶问题—SMO算法
• 核函数
  • 原始样本空间内不存在一个能正确划分两类样本的超平面，可以从原始空间映射一个更高维的特征空间，使得样本在此空间内线性可分线性可分
  • 为了避开计算困难而设计的函数
  • 只要一个对称函数所对应的核矩阵半正定，它就能作为核函数使用，任何一个核函数都隐式的定义了一个称为“再生核希尔伯特”空间的特征空间
  • 常用的函数
    • 线性核，多项式核，高斯核，拉普拉斯核，Sigmoid核
  • 核函数组合
    • 核函数的线性组依旧是核函数
    • 核函数的直积依旧是核函数
• 核方法
  • 一系列基于核函数的学习方法
  • 最常见的是通过"核化"来将线性学习器拓展为非线性
  • 核线性判别分析（KLDA）
• 软间隔与正则化
  • 软间隔：允许支持向量机在一些样本上出错（所有样本全部分类正确为硬间隔）
  • 替代损失函数
    • hinge损失，指数损失，对率损失
  • 正则化
    • 可以理解为一种“罚函数法”，使得优化过程趋于希望目标
    • 从贝叶斯估计角度来看，正则化项可认为是提供了模型的先验概率
• 支持向量回归
  • 带松弛变量的SVR
    • 带松弛变量的SVR目标函数优化
  • SVR回归模型的支持向量
    • SVR的算法过程