1702627580
实际上，我向这家公司提供的分析报告，并不是单纯的“增加DM投放就会增加销售额”这样的建议，而是更进一步的“投放DM能够增加销售额的顾客和不能增加销售额的顾客之间的区别”，或者“能够增加销售额的DM与不能增加销售额的DM之间的区别”，以及对区别进行判断的方法。
1702627581
1702627582
根据判断方法对DM的发送对象进行划分，这样在几乎没有增加DM发送数量的前提下总销售额却提高了约6%，换成之前的说法就是相当于“赚取60亿日元的秘籍”。
1702627583
1702627584
在此之前，该企业已经知道发送DM能够增加销量，并且了解“对DM有良好反应的顾客特征”，可以说这一切都是建立在这个基础之上的结果。
1702627585
1702627586
所以通过使用实际的数据进行全面的比较，可以将“得到的结果”与具体的利益联系起来，并且能够明确地显示出“现在最应该采取什么行动”这样一个战略性的目标。
1702627587
1702627588
这实际上并不能完全说是统计学的力量。当然，像这样为了对主要因素进行比较而进行的收集统计（统计学术语叫作交叉表统计），也是统计学上非常重要的工具，但仅仅做到这些是远远不够的。
1702627589
1702627590
那么，究竟应该怎么做才能够更加准确地表示出“区别”呢？
1702627591
1702627593
11 真的增加了一亿销售额，还是只是误差？
1702627594
1702627595
1702627596
1702627597
不考虑“误差”的计算都不准确
1702627598
1702627599
在上一节内容中，我们通过单纯的交叉表统计证明了有可能增加销售额的主要因素，并且对可能增加的额度进行了计算，但这些都是不准确的。
1702627600
1702627601
为什么这样说呢？因为这些计算全都没有考虑“误差”因素。
1702627602
1702627603
可以说费希尔时代与之前的统计学之间最大的区别，就在于是否考虑误差。数据究竟有多大的误差，这个误差对真正的结果有多大影响，考虑误差对于结果是否有意义，费希尔最大的贡献就是证明了上述这些问题。
1702627604
1702627605
在上文提到的事例中，“投放DM的群体与未投放DM的群体之间销售额的区别”就是我们真正关心的值。单纯的推测销售额是500日元，但实际上这500日元是包含误差的值。如果今后继续追加数据进行同样的分析，那么这个数值可能是300日元，也可能是1 000日元，甚至有时候可能未投放DM的群体的销售额反而更高。
1702627606
1702627607
最坏的情况是，投放DM的群体与未投放DM的群体之间的销售额几乎没有区别，而得出投放DM的群体平均销售额更高的数据只是误差导致的结果。或者虽然有区别，但是差额甚至不足以弥补投放DM所需的成本。如果在这样的情况下，做出“积极投放DM”的战略决定，那么投放DM所花费的资金就全打水漂儿了。
1702627608
1702627609
A/B测试只是小孩子的把戏
1702627610
1702627611
实际上，除了在上文中提到过的毫无意义的单纯统计之外，像这样不考虑误差的交叉表统计所导致的不准确结果，也经常出现在商业领域。
1702627612
1702627613
以前有一家聘请我做他们统计学讲师的电子商务企业，就非常热衷于进行“A/B测试”。比如，双击改变广告条的大小、改变页面之间的跳转画面、改变页面文字和字体等，对设计细节和功能方面进行变更的时候，总是会进行“哪一种设计看上去更好”的讨论和分析。
1702627614
1702627615
所谓“A/B测试”，是指在对设计或者功能进行更改时，同时提出A方案和B方案进行比较的一种方法。最近在硅谷，为A/B测试提供工具和服务，似乎成了最热门的项目，Adobe公司也斥巨资收购了在这一领域占主导地位的Omniture公司，另外谷歌公司出身并且出任奥巴马总统竞选参谋的丹·西罗克所成立的Optimizely公司，也在这一领域大放异彩，博得世人瞩目。
1702627616
1702627617
绝大多数情况下，A/B测试的方法是在用户访问网站的时候随机打开A方案或B方案的页面，收集一定时间内访问量的数据，然后对A方案和B方案的结果进行比较（无法随机分配的情况下，可以按照一定时间为单位，比如1周时间，分别打开A方案或B方案）。
1702627618
1702627619
用于进行比较的数据包括广告条点击率和商品销量，付费会员的加入率等与利益直接挂钩的数据，判断出A方案与B方案哪个更好之后，接下来就将那个更好的方案正式应用于网站之上。
1702627620
1702627621
另外，同时进行3种或以上的方案比较时，并不称为“A/B/C测试”，而是仍然称为“A/B测试”。顺便说一句，在统计学上像这样的数据选取方法并不叫作“A/B测试”，而是叫作随机对照试验（A方案与B方案的条件改变中不包含随机因素的试验叫作准试验）。
1702627622
1702627623
稍微有点儿跑题了，总之这家电子商务企业每个月都会非常卖力地进行详细的A/B测试。因为每年购买率的改变都会影响上亿日元的销售额，所以这家企业专门成立了研究小组，随时根据购买率的变更情况研究新的网页方案，可以说是一个非常了不起的战略。
1702627624
1702627625
提出增加购买率改变方案的员工，会在公司的例会上得到表扬，负责执行的全体工作人员都会“沐浴”在一片赞誉声中。可以说，他们是一个非常优秀的将数据灵活应用在经营当中的例子。
1702627626
1702627627
但是，这里却存在着一个陷阱，那就是他们没有考虑误差。
1702627628
1702627629
在我作为讲师给他们上完课之后，负责进行A/B测试的小组成员之一向我提出了这样一个问题：A/B测试的结果也能够进行分析吗？她向我提供了一个像表3–1那样的结果（实际数据与此不同）。
[
上一页 ]
[ :1.70262758e+09 ]
[
下一页 ]