1700536377
1700536378
绝对损失函数相当于是在做中值回归,相比做均值回归的平方损失函数,绝对损失函数对异常点更鲁棒一些。但是,绝对损失函数在f=y处无法求导数。综合考虑可导性和对异常点的鲁棒性,可以采用Huber损失函数
1700536379
1700536380
1700536381
1700536382
1700536383
(7.7)
1700536384
1700536385
Huber损失函数在|f−y|较小时为平方损失,在|f−y|较大时为线性损失,处处可导,且对异常点鲁棒。这三种损失函数的曲线如图7.2所示。
1700536386
1700536387
1700536388
1700536389
1700536390
图7.2 回归问题的损失函数
1700536391
1700536392
损失函数还有很多种,这里只是简单介绍几种比较常见的,不再过多赘述。在实际应用中,要针对特定问题和模型,选择合适的损失函数,具体分析它的优缺点。
1700536393
1700536394
1700536395
1700536396
1700536398
百面机器学习:算法工程师带你去面试 02 机器学习中的优化问题
1700536399
1700536400
1700536401
1700536402
场景描述
1700536403
1700536404
大部分机器学习模型的参数估计问题都可以写成优化问题。机器学习模型不同,损失函数不同,对应的优化问题也各不相同。了解优化问题的形式和特点,能帮助我们更有效地求解问题,得到模型参数,从而达到学习的目的。
1700536405
1700536406
知识点
1700536407
1700536408
凸优化基本概念
1700536409
1700536410
问题 机器学习中的优化问题,哪些是凸优化问题,哪些是非凸优化问题?请各举一个例子。
1700536411
1700536412
难度:★★☆☆☆
1700536413
1700536414
分析与解答
1700536415
1700536416
要回答这个问题,需要先弄明白什么是凸函数[9]。它的严格定义为,函数L(·)是凸函数当且仅当对定义域中的任意两点x,y和任意实数λ∈[0,1]总有
1700536417
1700536418
1700536419
1700536420
1700536421
(7.8)
1700536422
1700536423
该不等式的一个直观解释是,凸函数曲面上任意两点连接而成的线段,其上的任意一点都不会处于该函数曲面的下方,如图7.3所示。
1700536424
1700536425
1700536426
[
上一页 ]
[ :1.700536377e+09 ]
[
下一页 ]