2.4.5 SVM

针对传统学习方法处理有限样本数据，高维数、非线性等问题的困难，Vapnik等人建立在统计学习理论和结构风险最小化准则基础上提出的一种新的机器学习方法—支持向量机(Sup-port Vector Machine, SVM)。其基本思想是在样本空间或特征空间中，构造一个最优决策的超平面，使得该超平面到不同类样本集之间的距离最大，从而使算法的泛化能力得到提高。该方法是一个凸二次优化问题，能够得到全局最优解。此外，SVM较传统的神经网络具有收敛速度快、容易训练、不需要预设网络结构等优点因此SVM在模式识别、数据挖掘、函数逼近和图像处理方面都得到了广泛的应用。

1．线性SVM

(1)硬间隔支持向量分类机

假设m个样本数据S=3(x_i,y_i)_i=1,2,3,…，m}，其中x_i∈Rⁿ, Yi∈{-1,1}，如图2-9所示。

图2-9中，方形点和圆形点分别代表两类样本数据，H为分类线，H₁、H₂分别为过各类样本点中距离分类线最近的样本且平行于分类线的直线。直线H₁和H₂之间的距离叫做分类间隔(Margin)。分类的目的是寻找一个最优分类面能够正确分开两类样本，并且使得分类间隔最大。如果存在分类面H：w^Tx+b＝0使得

则称训练集是线性可分的。式(2-50)可以统一表示为

y_i(w^Tx_i＋b)≥1，i＝1，…，m           (2-51)

其中使等号成立的样本点称作支持向量。由于超平面H₁和H₂之间的间隔为2/‖w‖，为了求取最优超平面，需要最大化2/‖w‖，即最小化最优分类面的求解可以转化为下面的二次规划问题：

为了求解约束规划问题，定义拉格朗日函数：

式中，a_i≥0是拉格朗日乘子。

分别对w和b求偏导等于0，二次规划问题可以转化为其对偶问题：

同时，其解还应满足Kaush-Kuhn-Tucker(KKT)互补条件：

a_i[y_i(w^Tx_i+b)-1]=0,i=1,...,m           (2-55)

式中，a_i>0所对应的训练数据即支持向量。最优分类决策函数如式(2-56)所示：

式中，S为支持向量集合；偏置项b如式(2-57)所示：

式中，x_i为支持向量。

为了提高b的精度，可以取其平均值，如式(2-58)所示：

(2)软间隔支持向量分类机

当样本数据不能被线性函数完全分开时，可以采用Vapnik提出的软间隔分类的概念，在式(2-54)中引入非负松弛因子ζ_i，如图2-10所示。

图2-10   二维空间的不可分情况

此时优化函数如式(2-59)所示：

式中，C为惩罚因子，表示对错分样本的惩罚程度，它可以用来平衡最大间隔和最小分类误差。

C越大，表示越不能容忍对样本的错分。当C趋于无穷大时，软间隔问题退化为硬间隔问题。采用类似硬间隔问题的方法，二次规划问题可以转化为其对偶问题：

最优分类决策函数和硬间隔支持向量相同：

为了提高计算精度，b取平均值：

式中，U 为所有满足0<a_i<C的支持向量集合，称作非边界支持向量集合。

2．非线性SVM

对于实际中经常用到的非线性分类问题，前面介绍的线性分类方法不再适用。在这种情况下，Vaprlik等人通过引入核空间理论，把样本数据通过非线性变换映射到一个高维的特征空间中，将非线性问题转换为高维空间中的线性问题，然后在这个高维空间中构造最优分类面。采用非线性变换，许多样本空间中的线性不可分问题在高维特征空间变为线性可分问题。另外寻优函数和分类函数只是涉及训练样本之间的内积运算，因此在高维的特征空间中，也只需要进行内积运算，而且这种内积运算可以由核函数K(x_i，x_f)在原空间中的运算来实现。根据泛函理论，如果核函数K(x_i，x)满足Mercer条件，那么它就可以对应某一变换空间中的内积。采用适当的核函数，原来的优化问题可以转化：

根据KKT互补条件，可以得到最优的分类决策函数：

式中，偏置项b为

式中，S为支持向量集合；U为非边界支持向量集合。

SVM分类函数在形式上类似于一个神经网络，输出是中间节点的线性组合，每个中间节点对应一个支持向量，如图2-11所示。

目前常用的满足Mereer条件的核函数主要有线性核函数、多项式函数、径向基函数和Sigmoid函数等，通过选择不同的核函数可以构造不同的SVM。

1)线性核函数：

2)多项式核函数：

K(x_i,x_j)=(x_i^Tx_j+1)^p           (2-67)

3)径向基函数：

4)Sigmoid函数：

图2-11   SVM分类示意图

相关链接：典型校正模型建立方法（二）

文章来源：《多光谱食品品质检测技术与信息处理研究》

版权与免责声明：转载目的在于传递更多信息。

如其他媒体、网站或个人从本网下载使用，必须保留本网注明的"稿件来源"，并自负版权等法律责任。

如涉及作品内容、版权等问题，请在作品发表之日起两周内与本网联系，否则视为放弃相关权利。