1700534206
1700534207
难度：★★★☆☆
1700534208
1700534209
在实际应用中，如果使用SMO算法来训练一个加入松弛变量的线性SVM模型，并且惩罚因子C为任一未知常数，我们是否能得到训练误差为0的模型呢？
1700534210
1700534211
分析与解答
1700534212
1700534213
1700534214
1700534215
使用SMO算法训练的线性分类器并不一定能得到训练误差为0的模型。这是由于我们的优化目标改变了，并不再是使训练误差最小。考虑带松弛变量的SVM模型优化的目标函数所包含的两项：和，当我们的参数C选取较小的值时，后一项（正则项）将占据优化的较大比重。这样，一个带有训练误差，但是参数较小的点将成为更优的结果。一个简单的特例是，当C取0时，w也取0即可达到优化目标，但是显然此时我们的训练误差不一定能达到0。
1700534216
1700534217
逸闻趣事
1700534218
1700534219
1700534220
1700534221
SVM理论的创始人Vladimir Vapnik和他的牛人同事
1700534222
1700534223
“物以类聚，人以群分”，星光闪闪的牛人也往往扎堆出现。1995年，当统计学家Vladimir Vapnik和他的同事提出SVM理论时，他所在的贝尔实验室还聚集了一大批机器学习领域大名鼎鼎的牛人们，其中就包括被誉为“人工智能领域三驾马车”中的两位——Yann LeCun和Yoshua Bengio，还有随机梯度下降法的创始人Leon Bottou。无论是在传统的机器学习领域，还是当今如火如荼的深度学习领域，这几个人的名字都如雷贯耳。而SVM创始人Vapnik的生平也带有一丝传奇色彩。
1700534224
1700534225
1936年，Vladimir Vapnik出生于苏联。
1700534226
1700534227
1958年，他在乌兹别克大学完成硕士学业。
1700534228
1700534229
1964年，他于莫斯科的控制科学学院获得博士学位。毕业后，他一直在校工作到1990年。在此期间，他成了该校计算机科学与研究系的系主任。
1700534230
1700534231
1995年，他被伦敦大学聘为计算机与统计科学专业的教授。
1700534232
1700534233
1991至2001年间，他工作于AT&T贝尔实验室，并和他的同事们一起提出了支持向量机理论。他们为机器学习的许多方法奠定了理论基础。
1700534234
1700534235
2002年，他工作于新泽西州普林斯顿的NEC实验室，同时是哥伦比亚大学的特聘教授。
1700534236
1700534237
2006年，他成为美国国家工程院院士。
1700534238
1700534239
2014年，他加入了Facebook人工智能实验室。
1700534240
1700534241
1700534242
1700534243
1700534244
百面机器学习：算法工程师带你去面试 [:1700532185]
1700534245
百面机器学习：算法工程师带你去面试 02 逻辑回归
1700534246
1700534247
1700534248
1700534249
场景描述
1700534250
1700534251
逻辑回归（Logistic Regression）可以说是机器学习领域最基础也是最常用的模型，逻辑回归的原理推导以及扩展应用几乎是算法工程师的必备技能。医生病理诊断、银行个人信用评估、邮箱分类垃圾邮件等，无不体现逻辑回归精巧而广泛的应用。本小节将从模型与原理出发，涵盖扩展与应用，一探逻辑回归的真谛。
1700534252
1700534253
知识点
1700534254
1700534255
逻辑回归，线性回归，多标签分类，Softmax