1702627630
1702627631
也就是说，他们将现有的页面A和改良后的页面B，随机分配给网站的访问者，并且各取10万次的访问量进行分析，结果显示现有的页面A购买率为9.5%，而改良后的页面B购买率为9.6%。
1702627632
1702627633
表3–1 某电子商务企业的A/B测试结果
1702627634
1702627635
购买商品 没购买商品 总计 A（现有） 9500人（9.5%） 90500人（90.5%） 10万人 B（改良） 9600人（9.6%） 90400人（90.4%） 10万人 按照上文内容中的思考方法，采用改良后的页面有可能使销售额提高到原来的1.01倍（9.6%÷9.5%）。也就是说如果这家企业现在的销售额为10亿日元，那么就是提高约1 000万日元，如果是100亿日元的话则有可能增加1亿日元的销售额。而且，他们根本不必进行什么特别的投资，只是对网页进行细微的设计变更即可。由此可见执行人员“沐浴”在一片赞誉声中也是情有可原的。
1702627636
1702627637
但遗憾的是，我们并不知道这个区别究竟是有意义的区别，抑或仅仅是误差？
1702627638
1702627639
卡方检验与p值的登场
1702627640
1702627641
对于像这样的交叉表，要想知道究竟是“有意义的区别”，还是“误差导致的区别”，就需要用到一种被称为“卡方检验”的分析方法。
1702627642
1702627643
对上述A/B测试的结果进行卡方检验之后，发现实际上两者之间没有任何区别，只是因为数据的误差导致出现这种程度（10万人中有100人或者更多）区别的概率为44.7%。
1702627644
1702627645
像这种“实际上没有任何区别，只是因为误差或偶然产生数据差（甚至有可能包括极端的差距）的概率”在统计学上称为p值。
1702627646
1702627647
这个p值越小（一般在5%以下），数据就越准确，证明其不是偶然导致的结果。
1702627648
1702627649
而本应在5%以下的p值在上一个实例中竟然高达44.7%，也就是说使这些试验员“沐浴”在一片赞誉声中的结果，是否真的能够在今后带来上亿日元的销售额，还是一个未知数。
1702627650
1702627651
试验员进行的这种测试，其实就相当于一个人只投了一次硬币刚好正面朝上，因此就欣喜若狂地声称“了不起！我找到了一个能够连续投出正面的魔法硬币”或者“了不起！我拥有了连续使硬币正面朝上的魔法”。
1702627652
1702627653
在不知道这样做究竟有没有意义的情况下，定期对网站进行更改，结果可能是时好时坏，而试验员的工作究竟对增加收益有没有帮助，同样无从得知。
1702627654
1702627655
当然，我不只告诉她“这个区别不知道是否有意义”，还告诉她“就算是0.1%的微小区别，如果实际上确实存在的话，可以通过增加样本数量的方法证明”。之前我们已经知道，数据的样本数量越多，误差就越小。所以，要想通过数据来证明购买率有0.1%的提高，可以将各自的样本数量提高到100万人次再进行分析。
1702627656
1702627657
只要稍微掌握一点统计学的知识，这种程度的计算很快就可以搞定。
1702627658
1702627659
另外，试验员在临走前还说：“今天我学到的东西如果能够让大家都了解，那么公司的业务流程，甚至经营方针恐怕都会发生改变。”当然，我也是这样想的。这家公司虽然在数据应用方面看上去非常先进，但是却陷入了难以找到真正区别的A/B测试的误区。
1702627660
1702627661
只有理解误差，并且将误差考虑进去的结果才有意义。掌握了这种统计学的思考方式，就能够从陷阱和误区之中解脱出来。
1702627662
1702627664
12 值得分析的数据都是与利益明显相关的
1702627665
1702627666
1702627667
1702627668
究竟应该对什么样的数据进行比较分析？
1702627669
1702627670
“进行适当的比较”、“不只进行单纯的收集统计，还清楚误差与p值”，只要掌握了这两点，就能够找到远超经验与直觉的秘籍。
1702627671
1702627672
但是，在打算利用这两点进行数据分析的时候，经常会遇到这样一个问题，那就是“适当的比较”究竟指的是什么，或者更具体一点说“究竟应该如何比较才好呢”。
1702627673
1702627674
在这里，让我们用比较典型的事例来进行分析，首先，“消费金额”和“购买率”是与销量直接相关的重要指标。但是，在商业活动之中需要进行比较的信息不仅限于销量。
1702627675
1702627676
掌握了一定程度的统计学知识之后，我们会知道“如何对数据进行分析”。但是，在实际进行调查研究的时候我们会发现，“如何收集数据进行分析”才是更重要的。很多时候，人们将其称为统计学家的直觉，但仔细分析后我们会发现任何人都能够拥有这种直觉。
1702627677
1702627678
那么，我们究竟应该对什么样的数据进行比较，并且从中找出产生区别的主要因素呢？
1702627679
[
上一页 ]
[ :1.70262763e+09 ]
[
下一页 ]