支持向量机

支持向量机知识总结，包括它的基本原理、线性支持向量机、非线性支持向量机、分类-多分类支持向量机的相关内容。

支持向量机

• 基本原理
  • H为线性超平面，H1H2分别为各类超平面最近的样本且平行于超平面分类间隔。
  • 最优超平面：将两类数据正确分开，并且是分类间隔最大。
  • 定义最优超平面，并把寻找最优超平面归结为求解一个凸规划问题
• 线性支持向量机·
  • 两类样本
  • H1=（w*b）+b=1
    • H2=(W*B)+B=-1
  • 超平面H1到原点的距离
  • 超平面H2到原点的距离
  • 分类间隔|H1H2|=2\||W||
  • 约束的二次规划问题
  • 构造lagrange函数
  • 利用lagrange优化方法，将其转化为对偶问题，即最大化
  • 满足约束
  • 引入非松弛变量
  • 约束方程
  • 约束的二次规划问题
  • 利用lagrange优化方法，将问题转化为对偶问题，即最大化
  • 满足约束
  • KKT条件
• 非线性支持向量机
  • 基于对Mercer核展开定理，通过用内积分函数定义的非线性变换，将输入空间映射到高维特征空间，在这个高维空间中寻找输入变量和输出变量之间的关系。
  • 核函数
  • 凡是满足Mercer定理的函数都可作为支持向量机的核函数
  • • Mercer定理可以得到Mercer核，正定核更具一般性
  • 多项式核函数
    • • 此时得到的向量机是一个d阶多项式分类器
  • 径向基函数形式的核函数
    • • 此时得到的支持向量机是一种径向基函数分类器
  • Sigmoid函数形式的和核函数
  • 点积形式的核函数
    • • 此时得到的支持向量机是线性的分类器
  • 学习能力：分类器从训练数据中建立正确的分类模型的能力
  • 推广能力：指这个模型对未知数据进行正确预测的能力
  • 非线性映射&吧数据从输入空间映射到高维特征空间，在高维特征空间中进行先，映射到线性分类映射到原空间后就成了输入控件的非线性分类。
  • 约束的二次规划问题
  • 构造拉格朗日函数求解
  • 优化问题的对偶形式
• 分类-多分类支持向量机
  • 通过超球体来实现一类分类找到一个以a为中心，以R为半径的包含样本点的最先球体
  • 优化问题
  • 对偶形式
  • 根据KKT条件
  • 直接法
    • 定义：直接发直接修改目标函数，将多个分类面的参数求解合并到一个最优化问题中，通过求解该最优化问题一次性实现多类分类
    • 特点简单，但计算复杂度高，实现较困难，只适合小型问题。
  • 间接法
    • 定义：主要是通过组合多个而分类器来实现多分类器的结构
    • 一对一
      • 一对一法在任意两类样本之间设计一个SVM，因此k个类别的样本需要设计k（k-1）/2个SVM，当对一个未知样本进行分类时，得票最多的类别即为该未知样本的类别，当类别很多的时候，模型的个数是k（k-1）/2，代价相当大。
    • 一对多
      • 训练时依次把某个类别的样本归为一类，其他样本归为另一类，将这样k个类别的样本构造了k个SVM，分类是将未知样本分类为具有最大分类函数值的那类
      • 优点：个数少，分类速度相对较快。