1700536491
百面机器学习：算法工程师带你去面试 [:1700532206]
1700536492
百面机器学习：算法工程师带你去面试 03 经典优化算法
1700536493
1700536494
1700536495
1700536496
场景描述
1700536497
1700536498
针对不同的优化问题和应用场景，研究者们提出了多种不同的求解算法，并逐渐发展出了有严格理论支撑的研究领域—凸优化。在这众多的算法中，有几种经典的优化算法是值得被牢记的，了解它们的适用场景有助于我们在面对新的优化问题时有求解思路。
1700536499
1700536500
知识点
1700536501
1700536502
微积分，线性代数，凸优化
1700536503
1700536504
问题 无约束优化问题的优化方法有哪些？
1700536505
1700536506
难度：★★☆☆☆
1700536507
1700536508
假设有一道无约束优化问题摆在你面前：
1700536509
1700536510
1700536511
1700536512
1700536513
其中目标函数L(·)是光滑的。请问求解该问题的优化算法有哪些？它们的适用场景是什么？
1700536514
1700536515
分析与解答
1700536516
1700536517
经典的优化算法可以分为直接法和迭代法两大类。
1700536518
1700536519
直接法，顾名思义，就是能够直接给出优化问题最优解的方法。这个方法听起来非常厉害的样子，但它不是万能的。直接法要求目标函数需要满足两个条件。第一个条件是，L(·)是凸函数。若L(·)是凸函数，那么θ是最优解的充分必要条件是L(·)在θ处的梯度为0，即
1700536520
1700536521
1700536522
1700536523
1700536524
（7.15）
1700536525
1700536526
因此，为了能够直接求解出θ*，第二个条件是，上式有闭式解。同时满足这两个条件的经典例子是岭回归（Ridge Regression），其目标函数为
1700536527
1700536528
1700536529
1700536530
1700536531
（7.16）
1700536532
1700536533
稍加推导就能得到最优解为（试着自己推导）
1700536534
1700536535
1700536536
1700536537
1700536538
（7.17）
1700536539
1700536540
直接法要满足的这两个条件限制了它的应用范围。因此，在很多实际问题中，会采用迭代法。迭代法就是迭代地修正对最优解的估计。假设当前对最优解的估计值为θt，希望求解优化问题