打字猴:1.70053373e+09
1700533730 分析与解答
1700533731
1700533732 需要进行在线A/B测试的原因如下。
1700533733
1700533734 (1)离线评估无法完全消除模型过拟合的影响,因此,得出的离线评估结果无法完全替代线上评估结果。
1700533735
1700533736 (2)离线评估无法完全还原线上的工程环境。一般来讲,离线评估往往不会考虑线上环境的延迟、数据丢失、标签数据缺失等情况。因此,离线评估的结果是理想工程环境下的结果。
1700533737
1700533738 (3)线上系统的某些商业指标在离线评估中无法计算。离线评估一般是针对模型本身进行评估,而与模型相关的其他指标,特别是商业指标,往往无法直接获得。比如,上线了新的推荐算法,离线评估往往关注的是ROC曲线、P-R曲线等的改进,而线上评估可以全面了解该推荐算法带来的用户点击率、留存时长、PV访问量等的变化。这些都要由A/B测试来进行全面的评估。
1700533739
1700533740 问题2 如何进行线上A/B测试?
1700533741
1700533742 难度:★☆☆☆☆
1700533743
1700533744 分析与解答
1700533745
1700533746 进行A/B测试的主要手段是进行用户分桶,即将用户分成实验组和对照组,对实验组的用户施以新模型,对对照组的用户施以旧模型。在分桶的过程中,要注意样本的独立性和采样方式的无偏性,确保同一个用户每次只能分到同一个桶中,在分桶过程中所选取的user_id需要是一个随机数,这样才能保证桶中的样本是无偏的。
1700533747
1700533748 问题3 如何划分实验组和对照组
1700533749
1700533750 难度:★★☆☆☆
1700533751
1700533752 H公司的算法工程师们最近针对系统中的“美国用户”研发了一套全新的视频推荐模型A,而目前正在使用的针对全体用户的推荐模型是B。在正式上线之前,工程师们希望通过A/B测试来验证新推荐模型的效果。下面有三种实验组和对照组的划分方法,请指出哪种划分方法是正确的?
1700533753
1700533754 (1)根据user_id(user_id完全随机生成)个位数的奇偶性将用户划分为实验组和对照组,对实验组施以推荐模型A,对照组施以推荐模型B;
1700533755
1700533756 (2)将user_id个位数为奇数且为美国用户的作为实验组,其余用户为对照组;
1700533757
1700533758 (3)将user_id个位数为奇数且为美国用户的作为实验组,user_id个位数为偶数的用户作为对照组。
1700533759
1700533760 分析与解答
1700533761
1700533762 上述3种A/B测试的划分方法都不正确。我们用包含关系图来说明三种划分方法,如图2.4所示。方法1(见图2.4(a))没有区分是否为美国用户,实验组和对照组的实验结果均有稀释;方法2(见图2.4(b))的实验组选取无误,并将其余所有用户划分为对照组,导致对照组的结果被稀释;方法3(见图2.4(c))的对照组存在偏差。正确的做法是将所有美国用户根据user_id个位数划分为试验组合对照组(见图2.4(d)),分别施以模型A和B,才能够验证模型A的效果。
1700533763
1700533764
1700533765
1700533766
1700533767 (a)散列空间
1700533768
1700533769
1700533770
1700533771
1700533772 (b)被稀疏的划分方案
1700533773
1700533774
1700533775
1700533776
1700533777 (c)有偏的划分方案
1700533778
1700533779
[ 上一页 ]  [ :1.70053373e+09 ]  [ 下一页 ]