1702643761
赤裸裸的统计学：除去大数据的枯燥外衣，呈现真实的数字之美 第10章 统计推断与假设检验
1702643762
1702643763
垃圾邮件过滤、癌症筛查、恐怖分子追捕，我们最不能容忍哪件事锖出错，又有哪件事情是可以“睁一只眼闭一只眼”的？
1702643764
1702643765
我在大四的第二学期选修了统计学课程。那时我对统计学或其他以数学为基础的学科并没有太大的兴趣，但我已经答应了我的父亲选这门课，回报就是可以跟他去苏联旅游10天。就这样，为了一次苏联之旅（当然还有10天的额外假期），我走上了学习统计学这条路。这是一项相当不错的交易，一方面上课之后我发现我对统计学的热爱远远超出了我的想象，另一方面我得以在1988年的春天游览了苏联。
1702643766
1702643767
我的这段往事实际上与本章的内容密切相关。需要指出的是，那个学期的统计学课程我学得并不专心。因为除了各种各样的杂事要处理，我还有一篇论文要赶在学期结束前完成。每周的统计课都要进行小测试，我每次要么不去参加测试、要么考试成绩不及格。期中考试前我突击复习了一下，这门课程才得以勉强过关。但就在离学期结束还有几周的时候，发生了两件事情：第一件事，我终于把论文写完了，这样我就有了大量的空余时间；第二件事，我意识到其实统计学也没有我想象中那么难，因此我拾起了统计学课本，将之前没有做完的习题逐个补上。期末考试的时候，我的成绩是A。
1702643768
1702643769
在这个时候，我的统计学老师（至于他叫什么名字，我早就忘得一干二净了）把我叫到了他的办公室。他具体说了什么，我已经记不太清了，只是隐约记得他说过“你的期末考试成绩比起你的期中考试成绩有了很大的提高”之类的话，但丝毫听不出有任何夸奖的意味，从始至终我心里都感觉不太舒服，觉得老师话中有话，因为他一直在问我到底是怎么做到的，言外之意就是他怀疑我作弊了。现在做了多年老师的我，也终于能体会他那时的想法了，在我教过的所有课程里，几乎所有学生的期中成绩和期末成绩都有着极为显着的相关性。如果某一个学生的期中考试成绩在班上处于中等偏下的水平，而在期末考试中却一举成为班上的佼佼者，这是一件非常不寻常的事。
1702643770
1702643771
我当时的解释是，我提早完成了论文，而且开始重视这门课程（认真阅读了课本，并完成了老师布置的课后作业），他看上去似乎对我的回答感到较为满意。我随后离开了他的办公室，但还是被他的含蓄“指控”搅得心神不宁。
1702643772
1702643773
说出来你们可能不信，通过这么一个小插曲，我们就可以窥见统计推断的优劣。统计学无法确凿地证明任何东西。与之相反，统计推断的力量在于：先发现一些规律和结果，然后再利用概率来证明这些结果的背后最有可能的原因。假设有一个举止怪异的赌徒来到小镇，跟你打了一个赌：如果他用一个骰子掷出6点，那么他可以赢1000美元；但如果他掷出的是其他点数，那么你可以赢500美元。这看上去对你十分有利，但结果是，他连续10次掷骰子的点数都是6点，从你这里赢走了10000美元。
1702643774
1702643775
一种可能的解释是：他的运气实在是太好了。还有一种解释是：他运用了某种不为人知的作弊手段。如果是一个正常的骰子，连续掷出10次6点的概率约为六千万分之一。虽然你无法证明他作弊了，但你至少应该检查一下他所用的骰子。
1702643776
1702643777
当然，有时候最有可能的解释并非正确的解释，极端罕见的事情总会发生。
1702643778
1702643779
南加利福尼亚州的一位名叫琳达•库珀的女士被闪电击中了4次。据美国联邦应急管理局披露的统计数字，被闪电击中一次的概率只有60万分之一。但琳达的保险公司不能因为她受伤的概率在统计学上几乎为零，就拒绝替她支付医疗费。再回到我的统计学课程上来，那位教授的怀疑并非没有道理，他心里清楚，这种情况发生的概率非常低。正是这种思维方式，使得调查人员能够在统考中发现作弊现象，也让美国证券交易委员会嗅到内部交易的蛛丝马迹，并最终将不法的交易人员捉拿归案。但如果一个不太可能发生的事件发生了，在没有其他证据的情况下，我们只能说虽然发生概率很低，但这件不太可能发生的事还是发生了。在本章的后半部分，我们会看到概率也有将人引入歧途的时候。
1702643780
1702643781
至少到目前为止，我们应该对统计推断的功能有一个较为积极的认识，通过对数据的使用，统计推断能够帮助我们解决许多重要的问题。某种新研发的药物在治疗心脏病方面是否有效？手机真的会诱发脑癌吗？必须要注意的是，我并没有声称统计学能够毫不含糊地回答这类问题，而是通过推断，我们可以知道哪些方面是可能的，哪些方面是不太可能的。研究人员无法证明某种新药在治疗心脏病方面确实是有效的，即使他们已经进行了小心谨慎的临床对照试验。毕竟，在治疗组和对照组中，完全有可能出现与药物毫无关系的反应异常的病人。假如治疗组的100位病人中有53位在服用新药之后取到了明显效果，而服用安慰剂的100位对照组病人中只有49位的病情好转，我们就无法立刻得出结论，认为这种新药有效，因为这样的一个结果完全有可能是两个小组自然的概率分配或其他因素所导致的，跟新药没有关系。
1702643782
1702643783
但如果治疗组的100位病人中有91位在服用新药之后取到了明显效果，而服用安慰剂的100位对照组病人中还是只有49位的病情好转，那我们是否就能得出结论呢？治疗组出现的良好效果有可能还是跟新药没有关系，我们也不能排除治疗组的病人们运气实在太好或生命力特别旺盛，但此刻，此类解释正确的可能性要比之前小得多。如果换成统计推断的专业术语，研究人员可能会得出如下结论：（1）假如试验药物没有疗效，则治疗组和对照组之间几乎没有可能会出现如此巨大的差距。（2）因此，试验药物没有积极疗效的可能性很小。（3）那么结论（2）的反面，也就是试验药物具有积极疗效的可能性较大，并且恰巧能解释对照试验的数据结果。
1702643784
1702643785
统计推断是一个让数据说话、让有价值的结论浮出水面的过程。这就是回报！统计学的意义并不是进行无数次高深的数学计算，而是在于更好地洞察社会现象背后的成因。统计推断正是我们之前已经讨论过的两个概念的合体：数据和概率（期间需要来自中心极限定理的一点儿帮助）。在本章的内容中，出于简化计算的目的，我走了一条方法论的“近道”，那就是假设本章出现的所有例子都是数量足够大、正确抽取的样本。这一假设使得中心极限定理能够成立，保证任何一个样本的平均值和标准差与其所在群体的整体平均值和标准差基本相等。
1702643786
1702643787
统计推断绝不仅限于这一简化的假设，但如果从一开始就处理那些规模小或数据不完整的复杂样本，就需要引入过多琐碎的方法论概念和统计工具，这样会分散我们的注意力，反而失去对整体的把握。本章的目标就是单纯地介绍统计推断的巨大作用，并让读者直观地理解其工作原理。一旦大家掌握了这一点，那么在处理更加复杂的问题时也能轻松对待了。
1702643788
1702643789
统计推断过程中最常使用的工具之一就是“假设检验”。事实上，我已经在之前介绍了假设检验的概念，只不过当时还没有将其贴上这一高级的术语标签。如前文所述，就凭数据本身并不能证明任何结论，我们只有通过推理和概率来对可能的解释予以支持或否定。更为精确地说，任何统计推断都是由或含蓄或直接的零假设开始的。先假设一个结论，然后通过统计分析对其进行支持或反驳。如果我们证明零假设不成立，那么相当于承认了其反面结论与真实情况更为接近。举个例子，法庭在审理案件的过程中，首先会假设被告方无罪，而指控方的工作就是说服法官或陪审团来推翻一开始的无罪假设，并接受其反面事实，即被告有罪。从逻辑学来看，如果我们能够证明某个零假设不成立，那么其对立假设（又称备择假设）肯定为真。下面举一个例子。
1702643790
1702643791
零假设：某种新药在预防疟疾方面并没有比安慰剂更加有效。
1702643792
1702643793
对立假设：该新药能够帮助预防疟疾。
1702643794
1702643795
数据：随机选取一个小组服用新药，另一个小组作为对照组服用安慰剂。一段时间过后，服用新药的小组的疟疾发病率要远低于对照组。如果该新药不具备任何疗效，那么出现这一结果的概率是非常低的。因此，我们推翻该新药没有疗效的零假设，承认其对立假设成立，即该新药能够帮助预防疟疾。
1702643796
1702643797
可能这种思维逻辑并不是那么容易理解，没关系，我们再举一个例子。我还是要啰唆一句，零假设和对立假设在逻辑方面是互补的，也就是说，如果其中一个假设为真，则另一个假设为假；如果我们推翻了其中一个假设，那就必须承认另一个假设。
1702643798
1702643799
零假设：为犯人提供戒毒治疗并不能降低他们再次被捕入狱的概率。
1702643800
1702643801
对立假设：犯人在坐牢期间接受戒毒治疗，有助于降低他们出狱后再次被捕入狱的概率。
1702643802
1702643803
数据：犯人被随机分成两组，治疗组接受戒毒治疗，对照组没有接受治疗。（事实上，很多犯人在服刑期间真的接受了戒除毒瘾的医疗帮助。）5年后，两个小组的犯人再次被捕入狱的比例相近。在这个例子中，我们无法推翻零假设。根据这个数据，我们没有理由推翻一开始“戒毒疗法不能有效地阻止犯人再次入狱”的假设。
1702643804
1702643805
研究人员经常会提出一个零假设并希望有朝一日能够推翻它，虽然这听上去有违直觉。在上面的两个例子中，研究的“成功”（寻找到一种新的治疗疟疾的药物以及减少重新犯罪率）都意味着推翻零假设，而真正通过数据做到的只有第一个例子。
1702643806
1702643807
在法庭上，推翻无罪假设的最基本条件是通过定性分析，“在不存在任何疑义的前提下认定被告有罪”，至于法官或陪审团如何理解这句话，那就因人而异了。基本上统计学也是这个道理，但在“排除疑义并定罪”的过程中用到了定量分析。研究人员最常提出的疑问是，如果零假设成立，那么完全是出于巧合的概率有多大？以此类推，医学研究人员会问，如果这一试验药物对治疗心脏病无效（也就是零假设）,那么治疗组有91%的病人病情好转且对照组仅有49%的病人病情好转的概率有多大？假如数据显示零假设基本上不可能成立，比如上述的医学例子，那么我们必须推翻它，并承认其备择假设（该药物对治疗心脏病有作用）成立。
1702643808
1702643809
那么，让我们再回过头来看看本书之前提到过多次的亚特兰大统考作弊丑闻。在这次统考中，由于答题纸上出现了大量“由错变对”的更正痕迹，导致这次考试
[
上一页 ]
[ :1.70264376e+09 ]
[
下一页 ]