1702627642
1702627643
对上述A/B测试的结果进行卡方检验之后，发现实际上两者之间没有任何区别，只是因为数据的误差导致出现这种程度（10万人中有100人或者更多）区别的概率为44.7%。
1702627644
1702627645
像这种“实际上没有任何区别，只是因为误差或偶然产生数据差（甚至有可能包括极端的差距）的概率”在统计学上称为p值。
1702627646
1702627647
这个p值越小（一般在5%以下），数据就越准确，证明其不是偶然导致的结果。
1702627648
1702627649
而本应在5%以下的p值在上一个实例中竟然高达44.7%，也就是说使这些试验员“沐浴”在一片赞誉声中的结果，是否真的能够在今后带来上亿日元的销售额，还是一个未知数。
1702627650
1702627651
试验员进行的这种测试，其实就相当于一个人只投了一次硬币刚好正面朝上，因此就欣喜若狂地声称“了不起！我找到了一个能够连续投出正面的魔法硬币”或者“了不起！我拥有了连续使硬币正面朝上的魔法”。
1702627652
1702627653
在不知道这样做究竟有没有意义的情况下，定期对网站进行更改，结果可能是时好时坏，而试验员的工作究竟对增加收益有没有帮助，同样无从得知。
1702627654
1702627655
当然，我不只告诉她“这个区别不知道是否有意义”，还告诉她“就算是0.1%的微小区别，如果实际上确实存在的话，可以通过增加样本数量的方法证明”。之前我们已经知道，数据的样本数量越多，误差就越小。所以，要想通过数据来证明购买率有0.1%的提高，可以将各自的样本数量提高到100万人次再进行分析。
1702627656
1702627657
只要稍微掌握一点统计学的知识，这种程度的计算很快就可以搞定。
1702627658
1702627659
另外，试验员在临走前还说：“今天我学到的东西如果能够让大家都了解，那么公司的业务流程，甚至经营方针恐怕都会发生改变。”当然，我也是这样想的。这家公司虽然在数据应用方面看上去非常先进，但是却陷入了难以找到真正区别的A/B测试的误区。
1702627660
1702627661
只有理解误差，并且将误差考虑进去的结果才有意义。掌握了这种统计学的思考方式，就能够从陷阱和误区之中解脱出来。
1702627662
1702627664
12 值得分析的数据都是与利益明显相关的
1702627665
1702627666
1702627667
1702627668
究竟应该对什么样的数据进行比较分析？
1702627669
1702627670
“进行适当的比较”、“不只进行单纯的收集统计，还清楚误差与p值”，只要掌握了这两点，就能够找到远超经验与直觉的秘籍。
1702627671
1702627672
但是，在打算利用这两点进行数据分析的时候，经常会遇到这样一个问题，那就是“适当的比较”究竟指的是什么，或者更具体一点说“究竟应该如何比较才好呢”。
1702627673
1702627674
在这里，让我们用比较典型的事例来进行分析，首先，“消费金额”和“购买率”是与销量直接相关的重要指标。但是，在商业活动之中需要进行比较的信息不仅限于销量。
1702627675
1702627676
掌握了一定程度的统计学知识之后，我们会知道“如何对数据进行分析”。但是，在实际进行调查研究的时候我们会发现，“如何收集数据进行分析”才是更重要的。很多时候，人们将其称为统计学家的直觉，但仔细分析后我们会发现任何人都能够拥有这种直觉。
1702627677
1702627678
那么，我们究竟应该对什么样的数据进行比较，并且从中找出产生区别的主要因素呢？
1702627679
1702627680
答案其实很简单。只要将“能够达成目标的事物”和“不能够达成目标的事物”进行比较即可。
1702627681
1702627682
不过如果这么说，或许有人会问“所要达成的目标又是什么呢？”对于这个问题我所能给出的回答就是“不知道”，或者，更加绅士的回答是“每个人都不尽相同”。
1702627683
1702627684
比如说在医学和公共卫生领域，“健康长寿的人”与“英年早逝的人”、“持续遭受病痛折磨的人”就是进行比较的对象。而与教育相关的方面则用“学习能力强的孩子”和“不爱学习的孩子”进行比较。“幸福的人”和“不幸福的人”经常被心理学家拿来进行比较。
1702627685
1702627686
以前我曾经写过一本对日本职业足球联赛的数据进行统计分析的书，其中非常明确地表明了在对“取胜的场次”和“平局的场次”或者“失败的场次”进行比较时，各个统计数值分别有哪种相关度。
1702627687
1702627688
通过上述几个例子来看，商业中所要达成的目标就非常明显了。商业的目标就是“获得利益”。
1702627689
1702627690
让我们再仔细地思考一下通往利益这个商业目标的途径，就会发现一些更加明显的因素，比如是否能够扩大顾客的需求，是否能够提高公司内部的生产力（在没有浪费成本的前提下生产商品）。
1702627691
[
上一页 ]
[ :1.702627642e+09 ]
[
下一页 ]