1700534168
1700534169
1700534170
1700534171
1700534172
所以,对于任意x(j),预测结果与样本真实标签y(j)的距离小于1。注意到,y(j)∈{1,−1},当训练样本为正例,即时,预测结果>0,样本被预测为正例;而当训练样本为负例,即时,预测结果<0,样本被预测为负例。因此所有样本的类别都被正确预测,训练误差为0。
1700534173
1700534174
问题3 训练误差为0的SVM分类器一定存在吗?
1700534175
1700534176
难度:★★★★☆
1700534177
1700534178
虽然在问题2中我们找到了一组参数{α1,…,αm,b}以及γ使得SVM的训练误差为0,但这组参数不一定是满足SVM条件的一个解。在实际训练一个不加入松弛变量的SVM模型时,是否能保证得到的SVM分类器满足训练误差为0呢?
1700534179
1700534180
分析与解答
1700534181
1700534182
问题2找到了一组参数使得SVM分类器的训练误差为0。本问旨在找到一组参数满足训练误差为0,且是SVM模型的一个解。
1700534183
1700534184
1700534185
1700534186
1700534187
1700534188
1700534189
1700534190
考虑SVM模型中解的限制条件。我们已经得到了一组参数使得当时,>0;而当时,0。现在需要找到一组参数满足更强的条件,即。
1700534191
1700534192
1700534193
1700534194
仍然固定b=0,于是预测公式,将展开,有
1700534195
1700534196
1700534197
1700534198
1700534199
(3.14)
1700534200
1700534201
1700534202
1700534203
观察式(3.14),可以把每个αj都选择一个很大的值,同时取一个非常小的γ,使得核映射项非常小,于是αj在上式中占据绝对主导地位。这样就保证对任意j有>1,满足SVM解的条件。因此SVM最优解也满足上述条件,同时一定使模型分类误差为0。
1700534204
1700534205
问题4 加入松弛变量的SVM的训练误差可以为0吗?
1700534206
1700534207
难度:★★★☆☆
1700534208
1700534209
在实际应用中,如果使用SMO算法来训练一个加入松弛变量的线性SVM模型,并且惩罚因子C为任一未知常数,我们是否能得到训练误差为0的模型呢?
1700534210
1700534211
分析与解答
1700534212
1700534213
1700534214
1700534215
使用SMO算法训练的线性分类器并不一定能得到训练误差为0的模型。这是由于我们的优化目标改变了,并不再是使训练误差最小。考虑带松弛变量的SVM模型优化的目标函数所包含的两项:和,当我们的参数C选取较小的值时,后一项(正则项)将占据优化的较大比重。这样,一个带有训练误差,但是参数较小的点将成为更优的结果。一个简单的特例是,当C取0时,w也取0即可达到优化目标,但是显然此时我们的训练误差不一定能达到0。
1700534216
1700534217
逸闻趣事
[
上一页 ]
[ :1.700534168e+09 ]
[
下一页 ]