打字猴:1.700536397e+09
1700536397 百面机器学习:算法工程师带你去面试 [:1700532205]
1700536398 百面机器学习:算法工程师带你去面试 02 机器学习中的优化问题
1700536399
1700536400
1700536401
1700536402 场景描述
1700536403
1700536404 大部分机器学习模型的参数估计问题都可以写成优化问题。机器学习模型不同,损失函数不同,对应的优化问题也各不相同。了解优化问题的形式和特点,能帮助我们更有效地求解问题,得到模型参数,从而达到学习的目的。
1700536405
1700536406 知识点
1700536407
1700536408 凸优化基本概念
1700536409
1700536410 问题 机器学习中的优化问题,哪些是凸优化问题,哪些是非凸优化问题?请各举一个例子。
1700536411
1700536412 难度:★★☆☆☆
1700536413
1700536414 分析与解答
1700536415
1700536416 要回答这个问题,需要先弄明白什么是凸函数[9]。它的严格定义为,函数L(·)是凸函数当且仅当对定义域中的任意两点x,y和任意实数λ∈[0,1]总有
1700536417
1700536418
1700536419
1700536420
1700536421 (7.8)
1700536422
1700536423 该不等式的一个直观解释是,凸函数曲面上任意两点连接而成的线段,其上的任意一点都不会处于该函数曲面的下方,如图7.3所示。
1700536424
1700536425
1700536426
1700536427
1700536428 图7.3 凸函数示意图
1700536429
1700536430
1700536431 一个常用的机器学习模型,逻辑回归,对应的优化问题就是凸优化问题。具体来说,对于二分类问题,,假设模型参数为θ,则逻辑回归的优化问题为
1700536432
1700536433
1700536434
1700536435
1700536436 (7.9)
1700536437
1700536438 可以通过计算目标函数的二阶Hessian矩阵来验证凸性。令
1700536439
1700536440
1700536441
1700536442
1700536443 (7.10)
1700536444
1700536445 对该函数求一阶导,得到
1700536446
[ 上一页 ]  [ :1.700536397e+09 ]  [ 下一页 ]