1700534174
问题3 训练误差为0的SVM分类器一定存在吗？
1700534175
1700534176
难度：★★★★☆
1700534177
1700534178
虽然在问题2中我们找到了一组参数{α1,…,αm,b}以及γ使得SVM的训练误差为0，但这组参数不一定是满足SVM条件的一个解。在实际训练一个不加入松弛变量的SVM模型时，是否能保证得到的SVM分类器满足训练误差为0呢？
1700534179
1700534180
分析与解答
1700534181
1700534182
问题2找到了一组参数使得SVM分类器的训练误差为0。本问旨在找到一组参数满足训练误差为0，且是SVM模型的一个解。
1700534183
1700534184
1700534185
1700534186
1700534187
1700534188
1700534189
1700534190
考虑SVM模型中解的限制条件。我们已经得到了一组参数使得当时，>0；而当时，0。现在需要找到一组参数满足更强的条件，即。
1700534191
1700534192
1700534193
1700534194
仍然固定b=0，于是预测公式，将展开，有
1700534195
1700534196
1700534197
1700534198
1700534199
（3.14）
1700534200
1700534201
1700534202
1700534203
观察式（3.14），可以把每个αj都选择一个很大的值，同时取一个非常小的γ，使得核映射项非常小，于是αj在上式中占据绝对主导地位。这样就保证对任意j有>1，满足SVM解的条件。因此SVM最优解也满足上述条件，同时一定使模型分类误差为0。
1700534204
1700534205
问题4 加入松弛变量的SVM的训练误差可以为0吗？
1700534206
1700534207
难度：★★★☆☆
1700534208
1700534209
在实际应用中，如果使用SMO算法来训练一个加入松弛变量的线性SVM模型，并且惩罚因子C为任一未知常数，我们是否能得到训练误差为0的模型呢？
1700534210
1700534211
分析与解答
1700534212
1700534213
1700534214
1700534215
使用SMO算法训练的线性分类器并不一定能得到训练误差为0的模型。这是由于我们的优化目标改变了，并不再是使训练误差最小。考虑带松弛变量的SVM模型优化的目标函数所包含的两项：和，当我们的参数C选取较小的值时，后一项（正则项）将占据优化的较大比重。这样，一个带有训练误差，但是参数较小的点将成为更优的结果。一个简单的特例是，当C取0时，w也取0即可达到优化目标，但是显然此时我们的训练误差不一定能达到0。
1700534216
1700534217
逸闻趣事
1700534218
1700534219
1700534220
1700534221
SVM理论的创始人Vladimir Vapnik和他的牛人同事
1700534222
1700534223
“物以类聚，人以群分”，星光闪闪的牛人也往往扎堆出现。1995年，当统计学家Vladimir Vapnik和他的同事提出SVM理论时，他所在的贝尔实验室还聚集了一大批机器学习领域大名鼎鼎的牛人们，其中就包括被誉为“人工智能领域三驾马车”中的两位——Yann LeCun和Yoshua Bengio，还有随机梯度下降法的创始人Leon Bottou。无论是在传统的机器学习领域，还是当今如火如荼的深度学习领域，这几个人的名字都如雷贯耳。而SVM创始人Vapnik的生平也带有一丝传奇色彩。