导图社区 机器学习之支持向量机与核函数方法
总结了机器学习的一类重要算法——支持向量机，包括线性支持向量机，非线性支持向量机，核函数方法等等。
社区模板帮助中心，点此进入>>
机器学习 支持向量机与核函数方法
线性支持向量机
不等式约束的拉格朗日优化
函数最小化问题
拉格朗日函数
问题最优解
KKT条件
求解过程
原解
对偶解
线性可分情况的SVM
线性可分
判决线存在多种
H2和H3判决线均可正确分类，但泛化性能却又较大差距
对于线性可分情况，感知机收敛到可把所有样本正确分类的判决线上，但根据初始值的不同、迭代过程样本的次序使用不同，感知机可收敛到不同的解。如图中的H2和H3，感知机可能收敛到其中之一，但不能保证收敛到泛化性能最好的一个解
SVM基本思想
间隔Margin
定义
一个给定样本集中，样本到判决面的最小距离
公式
作用
评价分类器的泛化性能
在所有能够正确分类样本集的判决面中，找到使间隔最大的判决面，并得到对应的w，b
SVM目标优化形式
凸优化问题，可用二次规划程序求解
原问题推导
支持向量
间隔超平面
具有最大间隔的两条平行的虚线
与判决面之间具有最小距离的样本点落在该平面上
落在间隔超平面上的样本点称为“支持向量”
拉格朗日算子
对w,b的梯度为0
对偶解优化问题
模型输出
an的解
an>0
称为“支持向量”的样本集S
an=0
简化解
b的估计
计算过程梳理
模型参数求解
求解系数解a 对应支持向量
求解b
模型输出求解
只有支持向量用于最终判别式
最大间隔原则
不可分情况的SVM
松弛因子
间隔为软间隔
不可分SVM目标函数
正则化项
超参数，用于控制间隔和奇异点数目的平衡
合页损失函数
合页函数
目标函数
SVM用于多分类问题
一对其他OVR
分类器判别函数
最终类型输出
一对一OVO
累加方式确定输出
OVR和OVO比较
OVR
一对多，样本不平衡
OVO
训练的二分类器数量大，增加了训练时间
增加了测试时间和推断复杂度
存在分类模糊区域
非线性支持向量机
非线性SVM
思路
将特征向量x映射到φ(x)，将线性不可分转化为线性可分
然后通过线性SVM进行分类
基于基函数的SVM判别函数
分类输出
C小
判决面更光滑
C大
降低了对训练样本集的错误分类率
核函数形式
判决面
SVM分类算法小结
拉格朗日对偶目标函数
求解对偶目标函数，得到系数an，an>0对应的集合为支持向量样本集S
偏置b
SVM判别函数
v-SVM算法
核函数方法
核函数
特征映射基函数
核矩阵
性质
正定对称核PDS
核函数对应的核矩阵是半正定且对称的
PDS核封闭性定理
一个或多个PDS核在和、积、张量积、序列极限和幂级数组合运算下仍是PDS核
常用核
多项式核
高斯核函数
无限维核函数
将特征向量映射到无穷高维空间
