1700536327
1700536328
1700536329
1700536330
1700536331
（7.1）
1700536332
1700536333
其中1P是指示函数（Indicator Function），当且仅当P 为真时取值为1，否则取值为0。该损失函数能够直观地刻画分类的错误率，但是由于其非凸、非光滑的特点，使得算法很难直接对该函数进行优化。0-1损失的一个代理损失函数是Hinge损失函数：
1700536334
1700536335
1700536336
1700536337
1700536338
（7.2）
1700536339
1700536340
Hinge损失函数是0-1损失函数相对紧的凸上界，且当fy≥1时，该函数不对其做任何惩罚。Hinge损失在fy=1处不可导，因此不能用梯度下降法进行优化，而是用次梯度下降法（Subgradient Descent Method）。0-1损失的另一个代理损失函数是Logistic损失函数：
1700536341
1700536342
1700536343
1700536344
1700536345
（7.3）
1700536346
1700536347
1700536348
Logistic损失函数也是0-1损失函数的凸上界，且该函数处处光滑，因此可以用梯度下降法进行优化。但是，该损失函数对所有的样本点都有所惩罚，因此对异常值相对更敏感一些。当预测值时，另一个常用的代理损失函数是交叉熵（Cross Entropy）损失函数：
1700536349
1700536350
1700536351
1700536352
1700536353
（7.4）
1700536354
1700536355
交叉熵损失函数也是0-1损失函数的光滑凸上界。这四种损失函数的曲线如图7.1所示。
1700536356
1700536357
1700536358
1700536359
1700536360
图7.1 二分类问题的损失函数
1700536361
1700536362
1700536363
1700536364
对于回归问题，，我们希望 ，最常用的损失函数是平方损失函数
1700536365
1700536366
1700536367
1700536368
1700536369
（7.5）
1700536370
1700536371
平方损失函数是光滑函数，能够用梯度下降法进行优化。然而，当预测值距离真实值越远时，平方损失函数的惩罚力度越大，因此它对异常点比较敏感。为了解决该问题，可以采用绝对损失函数
1700536372
1700536373
1700536374
1700536375
1700536376
（7.6）