1700536447
1700536448
1700536449
1700536450
（7.11）
1700536451
1700536452
继续求导，得到函数的Hessian矩阵
1700536453
1700536454
1700536455
1700536456
1700536457
1700536458
．
1700536459
1700536460
（7.12）
1700536461
1700536462
1700536463
1700536464
1700536465
1700536466
该矩阵满足半正定的性质 0，因此 0，函数L(·)为凸函数[9]。对于凸优化问题，所有的局部极小值都是全局极小值，因此这类问题一般认为是比较容易求解的问题。
1700536467
1700536468
另一方面，主成分分析对应的优化问题是非凸优化问题。令X=[x1,…,xn] 为数据中心化后构成的矩阵，则主成分分析的优化问题为
1700536469
1700536470
1700536471
1700536472
1700536473
（7.13）
1700536474
1700536475
通过凸函数的定义可以验证该优化问题的目标函数为非凸函数：令V为优化问题的全局极小值，则− V也是该问题的全局极小值，且有
1700536476
1700536477
1700536478
1700536479
1700536480
（7.14）
1700536481
1700536482
这不满足凸函数的定义，因此主成分分析的优化问题为非凸优化问题。一般来说，非凸优化问题被认为是比较难求解的问题，但主成分分析是一个特例，我们可以借助SVD直接得到主成分分析的全局极小值。
1700536483
1700536484
·总结与扩展·
1700536485
1700536486
除了上面介绍的例子，其他凸优化问题的例子包括支持向量机、线性回归等线性模型，非凸优化问题的例子包括低秩模型（如矩阵分解）、深度神经网络模型等。
1700536487
1700536488
1700536489
1700536490
1700536491
百面机器学习：算法工程师带你去面试 [:1700532206]
1700536492
百面机器学习：算法工程师带你去面试 03 经典优化算法
1700536493
1700536494
1700536495
1700536496
场景描述