1700533813
1700533814
■ 交叉检验
1700533815
1700533816
k-fold交叉验证：首先将全部样本划分成k个大小相等的样本子集；依次遍历这k个子集，每次把当前子集作为验证集，其余所有子集作为训练集，进行模型的训练和评估；最后把k次评估指标的平均值作为最终的评估指标。在实际实验中，k经常取10。
1700533817
1700533818
1700533819
留一验证：每次留下1个样本作为验证集，其余所有样本作为测试集。样本总数为n，依次对n个样本进行遍历，进行n次验证，再将评估指标求平均值得到最终的评估指标。在样本总数较多的情况下，留一验证法的时间开销极大。事实上，留一验证是留p验证的特例。留p验证是每次留下p个样本作为验证集，而从n个元素中选择p个元素有种可能，因此它的时间开销更是远远高于留一验证，故而很少在实际工程中被应用。
1700533820
1700533821
■ 自助法
1700533822
1700533823
不管是Holdout检验还是交叉检验，都是基于划分训练集和测试集的方法进行模型评估的。然而，当样本规模比较小时，将样本集进行划分会让训练集进一步减小，这可能会影响模型训练效果。有没有能维持训练集样本规模的验证方法呢？自助法可以比较好地解决这个问题。
1700533824
1700533825
自助法是基于自助采样法的检验方法。对于总数为n的样本集合，进行n次有放回的随机抽样，得到大小为n的训练集。n次采样过程中，有的样本会被重复采样，有的样本没有被抽出过，将这些没有被抽出的样本作为验证集，进行模型验证，这就是自助法的验证过程。
1700533826
1700533827
问题2 在自助法的采样过程中，对n个样本进行n次自助抽样，当n趋于无穷大时，最终有多少数据从未被选择过？
1700533828
1700533829
难度：★★★☆☆
1700533830
1700533831
分析与解答
1700533832
1700533833
1700533834
1700533835
1700533836
一个样本在一次抽样过程中未被抽中的概率为，n次抽样均未抽中的概率为。当n趋于无穷大时，概率为。
1700533837
1700533838
1700533839
根据重要极限，，所以有
1700533840
1700533841
1700533842
1700533843
1700533844
1700533845
．
1700533846
1700533847
（2.17）
1700533848
1700533849
因此，当样本数很大时，大约有36.8%的样本从未被选择过，可作为验证集。
1700533850
1700533851
1700533852
1700533853
1700533854
百面机器学习：算法工程师带你去面试 [:1700532181]
1700533855
百面机器学习：算法工程师带你去面试 06 超参数调优
1700533856
1700533857
1700533858
1700533859
场景描述
1700533860
1700533861
对于很多算法工程师来说，超参数调优是件非常头疼的事。除了根据经验设定所谓的“合理值”之外，一般很难找到合理的方法去寻找超参数的最优取值。而与此同时，超参数对于模型效果的影响又至关重要。有没有一些可行的办法去进行超参数的调优呢？
1700533862