1700536477
1700536478
1700536479
1700536480
（7.14）
1700536481
1700536482
这不满足凸函数的定义，因此主成分分析的优化问题为非凸优化问题。一般来说，非凸优化问题被认为是比较难求解的问题，但主成分分析是一个特例，我们可以借助SVD直接得到主成分分析的全局极小值。
1700536483
1700536484
·总结与扩展·
1700536485
1700536486
除了上面介绍的例子，其他凸优化问题的例子包括支持向量机、线性回归等线性模型，非凸优化问题的例子包括低秩模型（如矩阵分解）、深度神经网络模型等。
1700536487
1700536488
1700536489
1700536490
1700536491
百面机器学习：算法工程师带你去面试 [:1700532206]
1700536492
百面机器学习：算法工程师带你去面试 03 经典优化算法
1700536493
1700536494
1700536495
1700536496
场景描述
1700536497
1700536498
针对不同的优化问题和应用场景，研究者们提出了多种不同的求解算法，并逐渐发展出了有严格理论支撑的研究领域—凸优化。在这众多的算法中，有几种经典的优化算法是值得被牢记的，了解它们的适用场景有助于我们在面对新的优化问题时有求解思路。
1700536499
1700536500
知识点
1700536501
1700536502
微积分，线性代数，凸优化
1700536503
1700536504
问题 无约束优化问题的优化方法有哪些？
1700536505
1700536506
难度：★★☆☆☆
1700536507
1700536508
假设有一道无约束优化问题摆在你面前：
1700536509
1700536510
1700536511
1700536512
1700536513
其中目标函数L(·)是光滑的。请问求解该问题的优化算法有哪些？它们的适用场景是什么？
1700536514
1700536515
分析与解答
1700536516
1700536517
经典的优化算法可以分为直接法和迭代法两大类。
1700536518
1700536519
直接法，顾名思义，就是能够直接给出优化问题最优解的方法。这个方法听起来非常厉害的样子，但它不是万能的。直接法要求目标函数需要满足两个条件。第一个条件是，L(·)是凸函数。若L(·)是凸函数，那么θ是最优解的充分必要条件是L(·)在θ处的梯度为0，即
1700536520
1700536521
1700536522
1700536523
1700536524
（7.15）
1700536525
1700536526
因此，为了能够直接求解出θ*，第二个条件是，上式有闭式解。同时满足这两个条件的经典例子是岭回归（Ridge Regression），其目标函数为