1700534113
1700534114
至此,我们从SVM直观推导和凸优化理论两个角度揭示了题目的真相。其实,在机器学习中还有很多这样看上去显而易见,细究起来却不可思议的结论。面对每一个小问题,我们都应该从数学原理出发,细致耐心地推导,对一些看似显而易见的结论抱有一颗怀疑的心,才能不断探索,不断前进,一步步攀登机器学习的高峰。
1700534115
1700534116
问题2 是否存在一组参数使SVM训练误差为0?
1700534117
1700534118
难度:★★★☆☆
1700534119
1700534120
1700534121
一个使用高斯核训练的SVM中,试证明若给定训练集中不存在两个点在同一位置,则存在一组参数{α1,…,αm,b}以及参数γ使得该SVM的训练误差为0。
1700534122
1700534123
分析与解答
1700534124
1700534125
根据SVM的原理,我们可以将SVM的预测公式可写为
1700534126
1700534127
1700534128
,
1700534129
1700534130
(3.8)
1700534131
1700534132
1700534133
1700534134
其中为训练样本,而{α1,…,αm,b}以及高斯核参数γ为训练样本的参数。由于不存在两个点在同一位置,因此对于任意的i≠j,有。我们可以对任意i,固定αi=1以及b=0,只保留参数γ,则有
1700534135
1700534136
1700534137
1700534138
1700534139
(3.9)
1700534140
1700534141
将任意x(j)代入式(3.9)则有
1700534142
1700534143
1700534144
,
1700534145
1700534146
(3.10)
1700534147
1700534148
1700534149
,
1700534150
1700534151
(3.11)
1700534152
1700534153
1700534154
.
1700534155
1700534156
(3.12)
1700534157
1700534158
1700534159
1700534160
由题意知,取,可将式(3.12)重写为
1700534161
1700534162
[
上一页 ]
[ :1.700534113e+09 ]
[
下一页 ]