1700536427
1700536428
图7.3 凸函数示意图
1700536429
1700536430
1700536431
一个常用的机器学习模型，逻辑回归，对应的优化问题就是凸优化问题。具体来说，对于二分类问题，，假设模型参数为θ，则逻辑回归的优化问题为
1700536432
1700536433
1700536434
1700536435
1700536436
（7.9）
1700536437
1700536438
可以通过计算目标函数的二阶Hessian矩阵来验证凸性。令
1700536439
1700536440
1700536441
，
1700536442
1700536443
（7.10）
1700536444
1700536445
对该函数求一阶导，得到
1700536446
1700536447
1700536448
1700536449
1700536450
（7.11）
1700536451
1700536452
继续求导，得到函数的Hessian矩阵
1700536453
1700536454
1700536455
1700536456
1700536457
1700536458
．
1700536459
1700536460
（7.12）
1700536461
1700536462
1700536463
1700536464
1700536465
1700536466
该矩阵满足半正定的性质 0，因此 0，函数L(·)为凸函数[9]。对于凸优化问题，所有的局部极小值都是全局极小值，因此这类问题一般认为是比较容易求解的问题。
1700536467
1700536468
另一方面，主成分分析对应的优化问题是非凸优化问题。令X=[x1,…,xn] 为数据中心化后构成的矩阵，则主成分分析的优化问题为
1700536469
1700536470
1700536471
1700536472
1700536473
（7.13）
1700536474
1700536475
通过凸函数的定义可以验证该优化问题的目标函数为非凸函数：令V为优化问题的全局极小值，则− V也是该问题的全局极小值，且有
1700536476