1700533739
1700533740
问题2 如何进行线上A/B测试？
1700533741
1700533742
难度：★☆☆☆☆
1700533743
1700533744
分析与解答
1700533745
1700533746
进行A/B测试的主要手段是进行用户分桶，即将用户分成实验组和对照组，对实验组的用户施以新模型，对对照组的用户施以旧模型。在分桶的过程中，要注意样本的独立性和采样方式的无偏性，确保同一个用户每次只能分到同一个桶中，在分桶过程中所选取的user_id需要是一个随机数，这样才能保证桶中的样本是无偏的。
1700533747
1700533748
问题3 如何划分实验组和对照组
1700533749
1700533750
难度：★★☆☆☆
1700533751
1700533752
H公司的算法工程师们最近针对系统中的“美国用户”研发了一套全新的视频推荐模型A，而目前正在使用的针对全体用户的推荐模型是B。在正式上线之前，工程师们希望通过A/B测试来验证新推荐模型的效果。下面有三种实验组和对照组的划分方法，请指出哪种划分方法是正确的？
1700533753
1700533754
（1）根据user_id（user_id完全随机生成）个位数的奇偶性将用户划分为实验组和对照组，对实验组施以推荐模型A，对照组施以推荐模型B；
1700533755
1700533756
（2）将user_id个位数为奇数且为美国用户的作为实验组，其余用户为对照组；
1700533757
1700533758
（3）将user_id个位数为奇数且为美国用户的作为实验组，user_id个位数为偶数的用户作为对照组。
1700533759
1700533760
分析与解答
1700533761
1700533762
上述3种A/B测试的划分方法都不正确。我们用包含关系图来说明三种划分方法，如图2.4所示。方法1（见图2.4（a））没有区分是否为美国用户，实验组和对照组的实验结果均有稀释；方法2（见图2.4（b））的实验组选取无误，并将其余所有用户划分为对照组，导致对照组的结果被稀释；方法3（见图2.4（c））的对照组存在偏差。正确的做法是将所有美国用户根据user_id个位数划分为试验组合对照组（见图2.4（d）），分别施以模型A和B，才能够验证模型A的效果。
1700533763
1700533764
1700533765
1700533766
1700533767
（a）散列空间
1700533768
1700533769
1700533770
1700533771
1700533772
（b）被稀疏的划分方案
1700533773
1700533774
1700533775
1700533776
1700533777
（c）有偏的划分方案
1700533778
1700533779
1700533780
1700533781
1700533782
（d）正确、无偏的划分方案
1700533783
1700533784
图2.4 A/B测试中的划分方法（黄色为实验组，棕色前对照组）
1700533785
1700533786
1700533787
1700533788