1700536517
经典的优化算法可以分为直接法和迭代法两大类。
1700536518
1700536519
直接法，顾名思义，就是能够直接给出优化问题最优解的方法。这个方法听起来非常厉害的样子，但它不是万能的。直接法要求目标函数需要满足两个条件。第一个条件是，L(·)是凸函数。若L(·)是凸函数，那么θ是最优解的充分必要条件是L(·)在θ处的梯度为0，即
1700536520
1700536521
1700536522
1700536523
1700536524
（7.15）
1700536525
1700536526
因此，为了能够直接求解出θ*，第二个条件是，上式有闭式解。同时满足这两个条件的经典例子是岭回归（Ridge Regression），其目标函数为
1700536527
1700536528
1700536529
1700536530
1700536531
（7.16）
1700536532
1700536533
稍加推导就能得到最优解为（试着自己推导）
1700536534
1700536535
1700536536
1700536537
1700536538
（7.17）
1700536539
1700536540
直接法要满足的这两个条件限制了它的应用范围。因此，在很多实际问题中，会采用迭代法。迭代法就是迭代地修正对最优解的估计。假设当前对最优解的估计值为θt，希望求解优化问题
1700536541
1700536542
1700536543
，
1700536544
1700536545
（7.18）
1700536546
1700536547
1700536548
来得到更好的估计值。迭代法又可以分为一阶法和二阶法两类。
1700536549
1700536550
1700536551
一阶法对函数 做一阶泰勒展开，得到近似式
1700536552
1700536553
1700536554
1700536555
1700536556
（7.19）
1700536557
1700536558
由于该近似式仅在δ较小时才比较准确，因此在求解δt时一般加上L2正则项
1700536559
1700536560
1700536561
1700536562
1700536563
1700536564
．
1700536565
1700536566
（7.20）