1702643470
1702643471
乍一看，回归平均数可能会与“赌徒悖论”相排斥。当学生连续6次抛出的硬币都是反面朝上之后，下一次是不是“应该”正面朝上？他再次抛硬币得到正面向上的概率依旧没变：1/2。他已经连续多次抛出反面朝上的事实并不能增加他下一次抛出正面朝上的概率，每一次抛硬币都是一个独立事件。但是，我们可以期望接下来抛硬币的结果在总体上会和概率学所预测的一致，即半数是正面朝上、半数是反面朝上，而非之前出现的所有结果都是反面朝上。如果一个人一开始抛硬币的结果全都是反面朝上，那么在接下来的10次、20次或100次抛硬币的过程中肯定会出现更多的正面朝上的情况。大数定律告诉我们，抛的次数越多，得到的结果就越接近平均值（如果情况相反，那我们就应该开始怀疑是不是有人作弊）。
1702643472
1702643473
最后还有一个有趣的情况，研究者们发现了一个《商业周刊》现象。当公司高管获得了备受瞩目的高级别奖项，包括被提名为《商业周刊》的“最佳经理人”，他们的公司会在接下来的3年内遭受利润和股价的双重下挫。但是与《体育画报》效应不同的是，这一现象要比回归平均数复杂得多。根据加利福尼亚大学伯克利分校和洛杉矶分校的两位经济学家乌尔里克•马尔门迪尔和杰弗瑞·塔特的研究，当公司CEO们坐到了“超级明星”的位置，他们会被自身的“光环”所影响。他们开始写回忆录，被邀请成为外部董事，甚至开始物色美女为自己的终身幸福作打算（其实两位经济学家只给出了前面两个解释，第三个解释是我自己加的，而且我觉得这个解释同样具有说服力）。马尔门迪尔和塔特写道：“我们的研究表明，媒体主导的超级明星文化会导致行为扭曲，而且扭曲程度要超过单纯的平均值回归。”换言之，如果某位CEO成为《商业周刊》封面人物，请马上抛售其公司的股票。
1702643474
1702643475
统计性歧视。概率会告诉我们某个事件发生的可能性有多大，那么面对一个很有可能会发生的情况，我们到底应不应该做出反应？或者说，什么时候做出反应是可以的，而什么时候做出反应又是不可以的？2003年，欧盟就业社会事务专员安娜•迪曼托波罗提出，保险公司的保费政策不得因为客户的性别不同而有所差别，因为这违反了欧盟的平等对待原则。然而，对于保险公司来说，以性别区分保费的做法仅仅是出于统计学的考虑，与性别歧视无关。男性的车险费用要高一些，这是因为他们出事故的情况较多；女性需要多缴纳养老保险，这是因为她们活的时间更久些。当然，有的女性发生交通事故的比例高于男性，有的男性活得比女性久，但正如上一章所提到的，保险公司并不关心这些，它们只关心统计学意义上的现实，因为只要它们把平均值弄对了，公司就会挣钱。对于欧盟委员会于2012年实施的禁止保费男女有别的政策，有趣的地方在于，相关部门并没有否认性别与保险所承担的风险之间存在关联，但它们只是一直在强调这一基于性别的保费差异是不可能接受的。
1702643476
1702643477
这样的一个政策乍看上去会让我觉得反感，因为政策制定者们似乎眼里只有政治的正确性，对其他一概视而不见。但仔细一想，我又对自己的立场没那么确定了。还记得之前介绍的有关预防犯罪的知识吗？在这个领域，概率学既可以给我们带来神奇，也会增添很多烦恼。通过概率模型，我们得知从墨西哥进入美国的冰毒贩毒者最有可能是年龄为18〜30岁、21点至凌晨驾驶红色皮卡车的西班牙裔男子，但同时我们也知道符合上述标准的绝大多数西班牙裔男子都不是毒贩，那我们应该怎么办？这就是我在上一章描述得天花乱坠的预测分析方法的缺陷所在，至少是缺陷的一个方面。
1702643478
1702643479
概率学告诉我们什么情况更有可能发生、什么情况更不可能发生，这仅仅是概率学的基础，也就是我们在之前几章里一直探讨的，但我们还不能忽视统计学的社会影响。如果我们想要捉拿暴力犯、恐怖分子、贩毒人员，以及其他有可能对社会造成巨大损害的个人，我们就必须动用手中的一切工具，概率只是其中的一种，如果在执法过程中死守着概率不放，而忽略了性别、年龄、种族、家庭、宗教以及国籍等综合因素，那将会犯下幼稚的错误。
1702643480
1702643481
对于这些信息（假设它们在某种程度上具有预测价值）的处理，我们能做什么、应该做什么将会是一个复杂的法律问题，而非单纯的统计问题。每天，我们都会收集到有关更多事物的信息，如果这些数据告诉我们正确的概率要比错误的概率高，我们是否就能堂而皇之地进行歧视了（这就是“统计性歧视”或“理性歧视”概念的由来）？那些会买鸟食的人逾期不还信用卡的概率较低（这是真的！），诸如此类的分析可以应用到生活的方方面面，但是分析应该做到哪种程度？如果我们建立一个能够识别毒贩的模型，正确率为80%，那剩下的20%的无辜的人该怎么办？因为这些人将会无止境地遭到这一模型的骚扰。
1702643482
1702643483
摆在我们面前的一个更大的问题是，数据分析对人们的行为和事件结果的影响已经大大超出了分析人员的想象。对欧盟委员会禁止男女有别的保险费的决定，你可以表示赞成，也可以表示反对，但我可以保证这绝对不会是最后一个让人左右为难的决策。我们总是习惯性地认为数字是“冰冷、确凿的事实”，如果计算无误，那么我们就一定能够得到正确的答案。但一个更为纠结和危险的现实是，有时候正确无误的计算也会将我们带往一个危险、浮躁的方向：我们可以摧毁金融体系，也可以骚扰一个恰好在某个时间出现在某个街头的22岁白人男子，因为根据我们的统计模型，几乎可以确定他打算去买毒品。尽管概率有再多的简洁特性和精准优点，也不能替代人类作为行为主体对其所进行的计算、进行计算的原因所作的思考。
1702643484
1702643485
1702643486
1702643487
1702643489
赤裸裸的统计学：除去大数据的枯燥外衣，呈现真实的数字之美 第8章 数据与偏见
1702643490
1702643491
2012年，《科学》杂志刊登了一项惊人的发现：在求偶期多次遭受雌性果蝇冷落的雄性果蝇会“借酒消愁”。那么，这些果蝇是如何一醉方休的？
1702643492
1702643493
2012年春天，研究人员在权威杂志《科学》上刊登了一项惊人的发现。这项前沿研究表明，多次被雌性果蝇冷落的雄性果蝇也会“借酒消愁”。《纽约时报》头版对这项研究描述道：“这些急于成功的年轻雄性果绳，在面对一群心仪的雌性果蝇时一而再、再而三地遭受打击，结果它们和众多屡次被拒绝的成年男子一样，借助酒精来缓解内心无处释放的欲望。”
1702643494
1702643495
这一研究加深了我们对大脑奖赏系统的了解，从而更好地帮助我们在治疗药物和酒精依赖方面寻找新的治疗方法。一位医学专家将这项研究解读为“回到奖赏回路的起源，探究激发基本行为如性爱、进食和睡眠的原始动力”。
1702643496
1702643497
由于我本人并非这个领域的专家，因此在读到有关果蝇的这项发现时，我的反应略有不同，主要有两点。首先，这篇报道让我回想起我的大学时光。其次，好奇心驱使我不得不问：这些果蝇是如何一醉方休的？是不是研究者们专门定制了一个小型的果蝇酒吧？吧台里是不是有各种各样的果酒以及一只情感丰富的果蝇酒保？背景音乐是美国乡村音乐吗？失意的雄性果蝇们喜欢乡村音乐吗？
1702643498
1702643499
而实验的真相却简单得令人难以置信。一组雄性果蝇可以与正常雌性果蝇自由交配；另一组雄性果蝇所在空间内的雌性果蝇在此之前已经完成了交配，因此它们对雄性果蝇的“猛烈攻势”毫无兴趣。随后，研究人员为这两组雄性果蝇提供了两种喂食棒：一种是普通的果蝇食物——饲料酵母和糖分，另一种是“硬家伙”——除了饲料酵母和糖分，还添加了酒精浓度为15度的酒。那些花了几天时间想要与“性冷淡”的雌性果绳交配的雄性果蝇，显然对烈酒更有兴趣。
1702643500
1702643501
尽管这个实验还存在一些不尽如人意的地方，但得出的结论对于人类来说依然具有重要的意义，实验结果暗示了压力、大脑的化学反应和对酒精的欲望三者之间存在联系。但这样的一个结论并不是统计学的胜利，而是数据的胜利，正是数据让相对基础的统计分析成为可能。这项研究的天才之处在于寻找到了适当的方式，创造了一组性欲得到满足和一组“欲求不满”的雄性果蝇，然后设计了一个能够比较两组果蝇饮食区别的方法。一旦完成了这几个步骤，接下来的数据分析基本上就只有高中科学实验课的难度了。
1702643502
1702643503
数据对于统计学家来说，就像是一个组织有效的进攻锋线面对一个明星四分卫。每一位明星四分卫前面都会站着一群优秀的阻挡队员，虽然他们默默无闻，但没有他们，我们就不会欣赏到四分卫的风采。绝大多数的统计学书籍都想当然地以为读者使用的都是好数据，就像每一本烹饪食谱都觉得你不会购买不新鲜的肉和腐烂的蔬菜一样。即使是最好的食谱，面对变质的食材，也无法“化腐朽为神奇”。数据也是如此，如果基础数据本身就有问题，那么再缜密严谨的分析也是徒劳。
1702643504
1702643505
一般来说，我们会要求数据做3件事。第一，在评价某一大数据构成的人口特点时，我们可能会用到一个具有代表性的数据样本。比如，调查某个领导候选人的民意支持率，我们就需要对一组潜在的选民进行采访，而且他们应该能够代表所在选区的所有选民（必须明确的是，我们并不需要一个代表所有生活在该区域内的居民的样本，而是代表那些最有可能去投票的选民的样本）。统计学最强大的一点就在于，由一个在合理范围内足够大，并且正确抽取的样本推导出来的结论，能够准确地反映整个人口的特点，做到与对全体人口进行普查得到的结果分毫不差。关于统计学的这一神奇之处，本书会在随后的两章里详细解读。
1702643506
1702643507
收集一个人口构成的代表性样本，最便捷的方式就是随机挑选子集（这就是大名鼎鼎的简单随机抽样法）。这一方法的关键在于，相关人口中的每一个人被选为样本的概率必须相同，如果你计划对一个拥有4328名成年人的社区随机抽取100名成年人作为样本，那么你必须保证这4328人中的每一个人都有相同的概率进入最后的100人抽样名单。几乎所有的统计学课本都将其描述为“袋中摸球”，假设在一个大口袋中有6万颗蓝球和4万颗红球，那么从这个大口袋中随机抽取100颗球组成的样本最有可能出现的结果是60颗蓝球和40颗红球。如果我们进行多次抽取，显然每一次的结果会有所不同——有时候是62颗蓝球和38颗红球，有时候是58颗蓝球和42颗红球。但是，出现一个极大偏离原始蓝球和红球组成比例的抽样结果的概率是非常低的。
1702643508
1702643509
必须承认的是，在实际操作中的确存在一些挑战。绝大多数我们所关心的人口组成总是要比一口袋彩球要复杂，如果要对美国成年人口进行电话调查，究竟要怎么做才符合简单随机抽样的定义呢？即使是一个看似简便易行的随机拨打方案也存在着潜在的缺陷，一些人（尤其是低收入者）可能家里没有安装电话，另外一些人（尤其是高收入者）可能更倾向于视频通话，因此这类电话他们会选择拒绝接听。之后的内容中将会介绍民意调查公司在克服这些困难时所采取的策略，以及应对挑战所积累的经验（随着手机的普及，很多挑战变得越来越棘手和复杂）。不管采用什么策略，核心理念就在于：一个合理采集的样本会呈现其背后的人口特点。从直觉出发，就像从一锅汤里舀出一勺进行品尝，如果之前搅拌得充分均匀，那么这小小的一勺汤足以告诉你整锅汤的味道了。
1702643510
1702643511
从统计学教材中，你将会读到有关随机抽样法更为详细的介绍。民意调查和市场分析公司的员工更是不遗余力地投入了大量的时间来研究如何更为经济有效地抽取更有代表性的人口样本。到目前为止，你应该意识到了如下几个重要的点：（1）没有比代表性样本更有用的统计学工具了，统计学要是离了它，马上会黯然失色；（2）获得一个好样本比想象得难，（3）那些耸人听闻的夸张结论，其中有许多都是由于正确的统计方法被应用在了糟糕的样本上，但如果一开始统计方法就是错的，不管样本质量如何，都不会得到应有的结论；（4）样本容量很重要，而且容量越大越好。关于这一点，将会在接下来的章节中具体讲到，直觉可以告诉我们，样本容量越大，那些极端的变量对结果的影响就会越小（一碗汤要比一勺汤更能体现整锅汤的味道）。必须引起注意的是，如果人口组成本身存在问题，即所谓的“偏见”，那么无论样本容量有多大，都无法改变这一“偏见”情况。假设现在你要对美国总统的支持率作一个电话调查，假如你的调查对象只局限于华盛顿的居民，那么他们的意见会跟美国人民的意见有出人，无论你给1000人打电话，还是给10万人打电话，都无法解决这一基础性的问题。事实上，一个存在偏见的大容量样本甚至要比一个存在偏见的小容量样本更具有误导性，因为人们会因为前者包含的样本数量多而盲目“崇拜”其结论。
1702643512
1702643513
我们经常会要求数据做的第二件事是提供比较。新药是不是比原来的治疗方式更有效？接受过职业培训的有犯罪前科的人，再次人狱的可能性会不会比没有接受过职业培训的低？在特许学校上学的孩子在学业上的表现，会不会比在常规的公立学校上学的同龄人好一些？
1702643514
1702643515
在这些例子中，我们的目标在于找到两组比照对象，在保证其基本相似的前提下对其中一组进行“处理”并观察结果。在社会科学的范畴里，“处理”一词的内涵可谓丰富，既可以是遭受求偶挫折的果蝇，也可以是享受所得税返还的工薪族。和其他科学实验类似，我们需要将某个特定的外部干扰或属性隔离开，这正是果蝇实验的精妙所在。研究者们想出了一个方法，设计了一个控制组（参与交配的雄性果蝇）和一个“处理”组（备受打击的雄性果蝇），接下来这两组果蝇在饮食习惯上的区别就可以归因于它们是否遭受过求偶挫折了。
1702643516
1702643517
在自然科学和生物科学领域，处理组和控制组的设计都相对直接。化学家可以通过一支支不同的试管来调节变化，研究反应结果；生物学家通过培养皿也能达到相同的目的。就算是动物实验，在很多时候也比让果蝇喝酒更容易，我们可以将一组老鼠定期放在跑步机上做常规运动，然后将它们放入迷宫中观察其敏锐度，并与另外一组从来没有做过运动的老鼠进行对比。但是，当我们把人牵扯进来的时候，事情就变得复杂了。一个完善的统计分析经常要求有一个处理组和一个控制组，我们不能强制人去做那些实验室老鼠做的事（而且就连让实验室老鼠做这些事都有很多人反对）。年轻时遭受多次脑震荡会在晚年引发严重的神经问题吗？这是一个非常重要的问题，橄榄球运动（以及其他一些运动）的未来有可能会因为这个问题的答案而发生剧变。但这也是一个无法用人体实验来回答的问题，除非我们教会果蝇如何戴头盔，否则我们就必须寻找其他方式来研究头部创伤带来的长期影响。
1702643518
1702643519
在以人为研究对象的实验过程中，一个反复出现的挑战就是如何让控制组和处理组之间只存在一个不同的条件。为此，这类实验所遵循的一条“金科玉律”就是随机取样，即实验对象（可以是人，也可以是学校、医院或任何东西）被随机分配到处理组或控制组。我们无法保证所有的实验对象都是完全相同的，这时，概率便（又一次）成为我们的好朋友。通过随机取样，两组对象的所有相关特性都得到了均匀分配，这其中不仅包括我们能够观察到的特性，如种族、收入等，还包括了那些我们无法衡量或没有考虑到的特性，如耐力、忠诚度等。
[
上一页 ]
[ :1.70264347e+09 ]
[
下一页 ]