1700533880
1700533881
贝叶斯优化算法在寻找最优最值参数时，采用了与网格搜索、随机搜索完全不同的方法。网格搜索和随机搜索在测试一个新点时，会忽略前一个点的信息；而贝叶斯优化算法则充分利用了之前的信息。贝叶斯优化算法通过对目标函数形状进行学习，找到使目标函数向全局最优值提升的参数。具体来说，它学习目标函数形状的方法是，首先根据先验分布，假设一个搜集函数；然后，每一次使用新的采样点来测试目标函数时，利用这个信息来更新目标函数的先验分布；最后，算法测试由后验分布给出的全局最值最可能出现的位置的点。对于贝叶斯优化算法，有一个需要注意的地方，一旦找到了一个局部最优值，它会在该区域不断采样，所以很容易陷入局部最优值。为了弥补这个缺陷，贝叶斯优化算法会在探索和利用之间找到一个平衡点，“探索”就是在还未取样的区域获取采样点；而“利用”则是根据后验分布在最可能出现全局最值的区域进行采样。
1700533882
1700533883
逸闻趣事
1700533884
1700533885
Google使用一套超参数调优算法来烘焙更美味的饼干
1700533886
1700533887
“超参数调优”和“烘焙饼干”这两件事情，乍一听感觉风马牛不相及，但细想一下，似乎又有一定的相似之处——“黑盒优化”。结构复杂的深度学习模型某种程度上就是一个黑盒，为实现更好的优化目标，我们不断进行“超参数调优”来优化这个黑盒。烘焙饼干似乎也是类似的过程，为了烘焙出更好吃的饼干，厨师们往往需要调节诸如醒面时间、烘焙温度、烘焙时长等超参数，而最后到底是哪些因素让饼干更好吃谁也说不清楚，这不也是“黑盒优化”嘛。
1700533888
1700533889
之前大公司解决超参数调优问题的最好方法被戏称为“博士生下降法”（即让博士生人工调整梯度下降法的参数）。后来，Google为了解决公司内部大量机器学习模型的调优问题，开发了一套超参数调优系统，被称作Google Vizier。Google Vizier采用迁移学习的思想，主要是从之前调参的经验中学习，为新算法提出最佳超参数。在搭建好Google Vizier后，Google的工程师们为了测试他们的算法，向Google食堂制作饼干的承包商提供了饼干食谱和烘焙方法，并不断对结果进行了口味测试。在经过几轮测试和烘焙方法调优之后，饼干确实更好吃了……继AlphaGo击败了围棋选手之后，全世界的厨师们也许已经在Google Vizier面前瑟瑟发抖。
1700533890
1700533891
1700533892
1700533893
1700533894
百面机器学习：算法工程师带你去面试 [:1700532182]
1700533895
百面机器学习：算法工程师带你去面试 07 过拟合与欠拟合
1700533896
1700533897
1700533898
1700533899
场景描述
1700533900
1700533901
在模型评估与调整的过程中，我们往往会遇到“过拟合”或“欠拟合”的情况。如何有效地识别“过拟合”和“欠拟合”现象，并有针对性地进行模型调整，是不断改进机器学习模型的关键。特别是在实际项目中，采用多种方法、从多个角度降低“过拟合”和“欠拟合”的风险是算法工程师应当具备的领域知识。
1700533902
1700533903
知识点
1700533904
1700533905
过拟合，欠拟合
1700533906
1700533907
问题1 在模型评估过程中，过拟合和欠拟合具体是指什么现象？
1700533908
1700533909
难度：★☆☆☆☆
1700533910
1700533911
分析与解答
1700533912
1700533913
过拟合是指模型对于训练数据拟合呈过当的情况，反映到评估指标上，就是模型在训练集上的表现很好，但在测试集和新数据上的表现较差。欠拟合指的是模型在训练和预测时表现都不好的情况。图2.5形象地描述了过拟合和欠拟合的区别。
1700533914
1700533915
1700533916
1700533917
1700533918
图2.5 欠拟合与过拟合
1700533919
1700533920
可以看出，图2.5（a）是欠拟合的情况，拟合的黄线没有很好地捕捉到数据的特征，不能够很好地拟合数据。图2.5（c）则是过拟合的情况，模型过于复杂，把噪声数据的特征也学习到模型中，导致模型泛化能力下降，在后期应用过程中很容易输出错误的预测结果。
1700533921
1700533922
问题2 能否说出几种降低过拟合和欠拟合风险的方法？
1700533923
1700533924
难度：★★☆☆☆
1700533925
1700533926
分析与解答
1700533927
1700533928
■ 降低“过拟合”风险的方法
1700533929