打字猴:1.700534044e+09
1700534044
1700534045
1700534046
1700534047 图3.10 样本点在分类面上投影
1700534048
1700534049 显然一眼望去,这些点在分类超平面(绿色直线)上相互间隔,并不是线性可分的。考虑一个更简单的反例,设想二维空间中只有两个样本点,每个点各属于一类的分类任务,此时SVM的分类超平面(直线)就是两个样本点连线的中垂线,两个点在分类面(直线)上的投影会落到这条直线上的同一个点,自然不是线性可分的。
1700534050
1700534051 但实际上,对于任意线性可分的两组点,它们在SVM分类的超平面上的投影都是线性不可分的。这听上去有些不可思议,我们不妨从二维情况进行讨论,再推广到高维空间中。
1700534052
1700534053 由于SVM的分类超平面仅由支持向量决定(之后会证明这一结论),我们可以考虑一个只含支持向量SVM模型场景。使用反证法来证明。假设存在一个SVM分类超平面使所有支持向量在该超平面上的投影依然线性可分,如图3.11所示。根据简单的初等几何知识不难发现,图中AB两点连线的中垂线所组成的超平面(绿色虚线)是相较于绿色实线超平面更优的解,这与之前假设绿色实线超平面为最优的解相矛盾。考虑最优解对应的绿色虚线,两组点经过投影后,并不是线性可分的。
1700534054
1700534055
1700534056
1700534057
1700534058 图3.11 更优的分类超平面
1700534059
1700534060 我们的证明目前还有不严谨之处,即我们假设了仅有支持向量的情况,会不会在超平面的变换过程中支持向量发生了改变,原先的非支持向量和支持向量发生了转化呢?下面我们证明SVM的分类结果仅依赖于支持向量。考虑SVM推导中的KKT条件要求
1700534061
1700534062
1700534063
1700534064
1700534065 (3.1)
1700534066
1700534067
1700534068
1700534069
1700534070 (3.2)
1700534071
1700534072
1700534073
1700534074
1700534075 (3.3)
1700534076
1700534077
1700534078
1700534079
1700534080 (3.4)
1700534081
1700534082
1700534083
1700534084
1700534085 (3.5)
1700534086
1700534087
1700534088
1700534089 结合式(3.3)和式(3.4)两个条件不难发现,当<0时,必有,将这一结果与拉格朗日对偶优化问题的公式相比较
1700534090
1700534091
1700534092
1700534093
[ 上一页 ]  [ :1.700534044e+09 ]  [ 下一页 ]