1700536410
问题 机器学习中的优化问题，哪些是凸优化问题，哪些是非凸优化问题？请各举一个例子。
1700536411
1700536412
难度：★★☆☆☆
1700536413
1700536414
分析与解答
1700536415
1700536416
要回答这个问题，需要先弄明白什么是凸函数[9]。它的严格定义为，函数L(·)是凸函数当且仅当对定义域中的任意两点x，y和任意实数λ∈[0,1]总有
1700536417
1700536418
1700536419
1700536420
1700536421
（7.8）
1700536422
1700536423
该不等式的一个直观解释是，凸函数曲面上任意两点连接而成的线段，其上的任意一点都不会处于该函数曲面的下方，如图7.3所示。
1700536424
1700536425
1700536426
1700536427
1700536428
图7.3 凸函数示意图
1700536429
1700536430
1700536431
一个常用的机器学习模型，逻辑回归，对应的优化问题就是凸优化问题。具体来说，对于二分类问题，，假设模型参数为θ，则逻辑回归的优化问题为
1700536432
1700536433
1700536434
1700536435
1700536436
（7.9）
1700536437
1700536438
可以通过计算目标函数的二阶Hessian矩阵来验证凸性。令
1700536439
1700536440
1700536441
，
1700536442
1700536443
（7.10）
1700536444
1700536445
对该函数求一阶导，得到
1700536446
1700536447
1700536448
1700536449
1700536450
（7.11）
1700536451
1700536452
继续求导，得到函数的Hessian矩阵
1700536453
1700536454
1700536455
1700536456
1700536457
1700536458
．
1700536459