1700533763
1700533764
1700533765
1700533766
1700533767
（a）散列空间
1700533768
1700533769
1700533770
1700533771
1700533772
（b）被稀疏的划分方案
1700533773
1700533774
1700533775
1700533776
1700533777
（c）有偏的划分方案
1700533778
1700533779
1700533780
1700533781
1700533782
（d）正确、无偏的划分方案
1700533783
1700533784
图2.4 A/B测试中的划分方法（黄色为实验组，棕色前对照组）
1700533785
1700533786
1700533787
1700533788
1700533789
百面机器学习：算法工程师带你去面试 [:1700532180]
1700533790
百面机器学习：算法工程师带你去面试 05 模型评估的方法
1700533791
1700533792
1700533793
1700533794
场景描述
1700533795
1700533796
在机器学习中，我们通常把样本分为训练集和测试集，训练集用于训练模型，测试集用于评估模型。在样本划分和模型验证的过程中，存在着不同的抽样方法和验证方法。本小节主要考察面试者是否熟知这些方法及其优缺点、是否能够在不同问题中挑选合适的评估方法。
1700533797
1700533798
知识点
1700533799
1700533800
Holdout检验，交叉验证，自助法（Bootstrap），微积分
1700533801
1700533802
问题1 在模型评估过程中，有哪些主要的验证方法，它们的优缺点是什么?
1700533803
1700533804
难度：★★☆☆☆
1700533805
1700533806
分析与解答
1700533807
1700533808
■ Holdout检验
1700533809
1700533810
Holdout 检验是最简单也是最直接的验证方法，它将原始的样本集合随机划分成训练集和验证集两部分。比方说，对于一个点击率预测模型，我们把样本按照 70%～30% 的比例分成两部分，70% 的样本用于模型训练；30% 的样本用于模型验证，包括绘制ROC曲线、计算精确率和召回率等指标来评估模型性能。
1700533811
1700533812
Holdout 检验的缺点很明显，即在验证集上计算出来的最后评估指标与原始分组有很大关系。为了消除随机性，研究者们引入了“交叉检验”的思想。