1700534044
1700534045
1700534046
1700534047
图3.10 样本点在分类面上投影
1700534048
1700534049
显然一眼望去,这些点在分类超平面(绿色直线)上相互间隔,并不是线性可分的。考虑一个更简单的反例,设想二维空间中只有两个样本点,每个点各属于一类的分类任务,此时SVM的分类超平面(直线)就是两个样本点连线的中垂线,两个点在分类面(直线)上的投影会落到这条直线上的同一个点,自然不是线性可分的。
1700534050
1700534051
但实际上,对于任意线性可分的两组点,它们在SVM分类的超平面上的投影都是线性不可分的。这听上去有些不可思议,我们不妨从二维情况进行讨论,再推广到高维空间中。
1700534052
1700534053
由于SVM的分类超平面仅由支持向量决定(之后会证明这一结论),我们可以考虑一个只含支持向量SVM模型场景。使用反证法来证明。假设存在一个SVM分类超平面使所有支持向量在该超平面上的投影依然线性可分,如图3.11所示。根据简单的初等几何知识不难发现,图中AB两点连线的中垂线所组成的超平面(绿色虚线)是相较于绿色实线超平面更优的解,这与之前假设绿色实线超平面为最优的解相矛盾。考虑最优解对应的绿色虚线,两组点经过投影后,并不是线性可分的。
1700534054
1700534055
1700534056
1700534057
1700534058
图3.11 更优的分类超平面
1700534059
1700534060
我们的证明目前还有不严谨之处,即我们假设了仅有支持向量的情况,会不会在超平面的变换过程中支持向量发生了改变,原先的非支持向量和支持向量发生了转化呢?下面我们证明SVM的分类结果仅依赖于支持向量。考虑SVM推导中的KKT条件要求
1700534061
1700534062
1700534063
,
1700534064
1700534065
(3.1)
1700534066
1700534067
1700534068
,
1700534069
1700534070
(3.2)
1700534071
1700534072
1700534073
,
1700534074
1700534075
(3.3)
1700534076
1700534077
1700534078
,
1700534079
1700534080
(3.4)
1700534081
1700534082
1700534083
.
1700534084
1700534085
(3.5)
1700534086
1700534087
1700534088
1700534089
结合式(3.3)和式(3.4)两个条件不难发现,当<0时,必有,将这一结果与拉格朗日对偶优化问题的公式相比较
1700534090
1700534091
1700534092
,
1700534093
[
上一页 ]
[ :1.700534044e+09 ]
[
下一页 ]