1700536351
1700536352
1700536353
（7.4）
1700536354
1700536355
交叉熵损失函数也是0-1损失函数的光滑凸上界。这四种损失函数的曲线如图7.1所示。
1700536356
1700536357
1700536358
1700536359
1700536360
图7.1 二分类问题的损失函数
1700536361
1700536362
1700536363
1700536364
对于回归问题，，我们希望 ，最常用的损失函数是平方损失函数
1700536365
1700536366
1700536367
1700536368
1700536369
（7.5）
1700536370
1700536371
平方损失函数是光滑函数，能够用梯度下降法进行优化。然而，当预测值距离真实值越远时，平方损失函数的惩罚力度越大，因此它对异常点比较敏感。为了解决该问题，可以采用绝对损失函数
1700536372
1700536373
1700536374
1700536375
1700536376
（7.6）
1700536377
1700536378
绝对损失函数相当于是在做中值回归，相比做均值回归的平方损失函数，绝对损失函数对异常点更鲁棒一些。但是，绝对损失函数在f=y处无法求导数。综合考虑可导性和对异常点的鲁棒性，可以采用Huber损失函数
1700536379
1700536380
1700536381
1700536382
1700536383
（7.7）
1700536384
1700536385
Huber损失函数在|f−y|较小时为平方损失，在|f−y|较大时为线性损失，处处可导，且对异常点鲁棒。这三种损失函数的曲线如图7.2所示。
1700536386
1700536387
1700536388
1700536389
1700536390
图7.2 回归问题的损失函数
1700536391
1700536392
损失函数还有很多种，这里只是简单介绍几种比较常见的，不再过多赘述。在实际应用中，要针对特定问题和模型，选择合适的损失函数，具体分析它的优缺点。
1700536393
1700536394
1700536395
1700536396
1700536397
百面机器学习：算法工程师带你去面试 [:1700532205]
1700536398
百面机器学习：算法工程师带你去面试 02 机器学习中的优化问题
1700536399
1700536400