1700534056
1700534057
1700534058
图3.11 更优的分类超平面
1700534059
1700534060
我们的证明目前还有不严谨之处,即我们假设了仅有支持向量的情况,会不会在超平面的变换过程中支持向量发生了改变,原先的非支持向量和支持向量发生了转化呢?下面我们证明SVM的分类结果仅依赖于支持向量。考虑SVM推导中的KKT条件要求
1700534061
1700534062
1700534063
,
1700534064
1700534065
(3.1)
1700534066
1700534067
1700534068
,
1700534069
1700534070
(3.2)
1700534071
1700534072
1700534073
,
1700534074
1700534075
(3.3)
1700534076
1700534077
1700534078
,
1700534079
1700534080
(3.4)
1700534081
1700534082
1700534083
.
1700534084
1700534085
(3.5)
1700534086
1700534087
1700534088
1700534089
结合式(3.3)和式(3.4)两个条件不难发现,当<0时,必有,将这一结果与拉格朗日对偶优化问题的公式相比较
1700534090
1700534091
1700534092
,
1700534093
1700534094
(3.6)
1700534095
1700534096
其中,
1700534097
1700534098
1700534099
.
1700534100
1700534101
(3.7)
1700534102
1700534103
可以看到,除支持向量外,其他系数均为0,因此SVM的分类结果与仅使用支持向量的分类结果一致,说明SVM的分类结果仅依赖于支持向量,这也是SVM拥有极高运行效率的关键之一。于是,我们证明了对于任意线性可分的两组点,它们在SVM分类的超平面上的投影都是线性不可分的。
1700534104
1700534105
实际上,该问题也可以通过凸优化理论中的超平面分离定理(Separating Hyperplane Theorem,SHT)更加轻巧地解决。该定理描述的是,对于不相交的两个凸集,存在一个超平面,将两个凸集分离。对于二维的情况,两个凸集间距离最短两点连线的中垂线就是一个将它们分离的超平面。
[
上一页 ]
[ :1.700534056e+09 ]
[
下一页 ]