1702643460
1702643461
回归平均数（或趋均数回归）。你或许曾经听到过一个叫作“《体育画报》封面诅咒”的说法，即成为《体育画报》封面人物的运动员或团队，在之后比赛中的成绩会出现不同程度的下滑。一种解释是，成为该杂志的封面人物会对接下来的表现产生不利影响。而另一个在统计学上更加说得过去的解释是，能上杂志封面的通常都是那些近期表现尤为出色的运动员或队伍，如20连胜之类的异乎寻常的竞技
1702643462
1702643463
表现，而他们之后的比赛成绩只不过是回归正常水平，这一现象就叫作回归平均数。概率学告诉我们，跟在异常值——在某个方向上远离平均数的数据——之后的更有可能是那些接近（长期积累得出的）平均数的数据。
1702643464
1702643465
回归平均数现象可以用来解释为什么芝加哥小熊队总是花大笔的“冤枉钱”，请一些让球迷们失望的自由球员为其效力。通常，棒球运动员在完成了一个或两个成绩极佳的赛季之后，便获得了谈判加薪的资本，换上一身小熊队的球服并不一定会让这些球员的表现变差（虽然球员表现与球队的训练和管理十分有关），但是小熊队花了大价钱买来的却是这些超级明星超常发挥的“尾端”，每个球星超水平发挥的时间段都是有限的，也就是那么一两年，过了超水平发挥的时间之后，他们的表现便会趋于正常，这也是为什么他们在小熊队效力时会让球迷大失所望——并非因为他们的技术很差，只不过是正常水平而已。
1702643466
1702643467
同样的现象还可以用来解释为什么有些学生在考试中会超常发挥，有时候又会不尽如人意；有些学生明明考得没有平时好，但重考的成绩却又稍稍提升了。要解释这一回归现象，一种思路是学生的考试成绩（无论是文化课还是体育课）基本上是由个人的努力和运气（统计学家称之为“随机误差”）构成的。也就是说，那些在某次考试中超常发挥的学生只不过是交好运了，而那些考试成绩与平时相比大失水准的考生只是运气差了一些。当好运或厄运终于结束时（总有结束的那一天），随之而来的表现就会更加接近平均值。
1702643468
1702643469
假设我正在组建一支抛硬币的明星团队（在认为扔硬币与天赋和能力有关的错误观念的驱使下），我发现了一名连续6次抛硬币都反面朝上的学生，于是我向他伸出了“橄榄枝”——一份价值5000万美元、为期10年的合约。不用说，10年之后我一定会失望至极，因为这名学生在这10年里抛出的硬币只有50%的情况是反面朝上。
1702643470
1702643471
乍一看，回归平均数可能会与“赌徒悖论”相排斥。当学生连续6次抛出的硬币都是反面朝上之后，下一次是不是“应该”正面朝上？他再次抛硬币得到正面向上的概率依旧没变：1/2。他已经连续多次抛出反面朝上的事实并不能增加他下一次抛出正面朝上的概率，每一次抛硬币都是一个独立事件。但是，我们可以期望接下来抛硬币的结果在总体上会和概率学所预测的一致，即半数是正面朝上、半数是反面朝上，而非之前出现的所有结果都是反面朝上。如果一个人一开始抛硬币的结果全都是反面朝上，那么在接下来的10次、20次或100次抛硬币的过程中肯定会出现更多的正面朝上的情况。大数定律告诉我们，抛的次数越多，得到的结果就越接近平均值（如果情况相反，那我们就应该开始怀疑是不是有人作弊）。
1702643472
1702643473
最后还有一个有趣的情况，研究者们发现了一个《商业周刊》现象。当公司高管获得了备受瞩目的高级别奖项，包括被提名为《商业周刊》的“最佳经理人”，他们的公司会在接下来的3年内遭受利润和股价的双重下挫。但是与《体育画报》效应不同的是，这一现象要比回归平均数复杂得多。根据加利福尼亚大学伯克利分校和洛杉矶分校的两位经济学家乌尔里克•马尔门迪尔和杰弗瑞·塔特的研究，当公司CEO们坐到了“超级明星”的位置，他们会被自身的“光环”所影响。他们开始写回忆录，被邀请成为外部董事，甚至开始物色美女为自己的终身幸福作打算（其实两位经济学家只给出了前面两个解释，第三个解释是我自己加的，而且我觉得这个解释同样具有说服力）。马尔门迪尔和塔特写道：“我们的研究表明，媒体主导的超级明星文化会导致行为扭曲，而且扭曲程度要超过单纯的平均值回归。”换言之，如果某位CEO成为《商业周刊》封面人物，请马上抛售其公司的股票。
1702643474
1702643475
统计性歧视。概率会告诉我们某个事件发生的可能性有多大，那么面对一个很有可能会发生的情况，我们到底应不应该做出反应？或者说，什么时候做出反应是可以的，而什么时候做出反应又是不可以的？2003年，欧盟就业社会事务专员安娜•迪曼托波罗提出，保险公司的保费政策不得因为客户的性别不同而有所差别，因为这违反了欧盟的平等对待原则。然而，对于保险公司来说，以性别区分保费的做法仅仅是出于统计学的考虑，与性别歧视无关。男性的车险费用要高一些，这是因为他们出事故的情况较多；女性需要多缴纳养老保险，这是因为她们活的时间更久些。当然，有的女性发生交通事故的比例高于男性，有的男性活得比女性久，但正如上一章所提到的，保险公司并不关心这些，它们只关心统计学意义上的现实，因为只要它们把平均值弄对了，公司就会挣钱。对于欧盟委员会于2012年实施的禁止保费男女有别的政策，有趣的地方在于，相关部门并没有否认性别与保险所承担的风险之间存在关联，但它们只是一直在强调这一基于性别的保费差异是不可能接受的。
1702643476
1702643477
这样的一个政策乍看上去会让我觉得反感，因为政策制定者们似乎眼里只有政治的正确性，对其他一概视而不见。但仔细一想，我又对自己的立场没那么确定了。还记得之前介绍的有关预防犯罪的知识吗？在这个领域，概率学既可以给我们带来神奇，也会增添很多烦恼。通过概率模型，我们得知从墨西哥进入美国的冰毒贩毒者最有可能是年龄为18〜30岁、21点至凌晨驾驶红色皮卡车的西班牙裔男子，但同时我们也知道符合上述标准的绝大多数西班牙裔男子都不是毒贩，那我们应该怎么办？这就是我在上一章描述得天花乱坠的预测分析方法的缺陷所在，至少是缺陷的一个方面。
1702643478
1702643479
概率学告诉我们什么情况更有可能发生、什么情况更不可能发生，这仅仅是概率学的基础，也就是我们在之前几章里一直探讨的，但我们还不能忽视统计学的社会影响。如果我们想要捉拿暴力犯、恐怖分子、贩毒人员，以及其他有可能对社会造成巨大损害的个人，我们就必须动用手中的一切工具，概率只是其中的一种，如果在执法过程中死守着概率不放，而忽略了性别、年龄、种族、家庭、宗教以及国籍等综合因素，那将会犯下幼稚的错误。
1702643480
1702643481
对于这些信息（假设它们在某种程度上具有预测价值）的处理，我们能做什么、应该做什么将会是一个复杂的法律问题，而非单纯的统计问题。每天，我们都会收集到有关更多事物的信息，如果这些数据告诉我们正确的概率要比错误的概率高，我们是否就能堂而皇之地进行歧视了（这就是“统计性歧视”或“理性歧视”概念的由来）？那些会买鸟食的人逾期不还信用卡的概率较低（这是真的！），诸如此类的分析可以应用到生活的方方面面，但是分析应该做到哪种程度？如果我们建立一个能够识别毒贩的模型，正确率为80%，那剩下的20%的无辜的人该怎么办？因为这些人将会无止境地遭到这一模型的骚扰。
1702643482
1702643483
摆在我们面前的一个更大的问题是，数据分析对人们的行为和事件结果的影响已经大大超出了分析人员的想象。对欧盟委员会禁止男女有别的保险费的决定，你可以表示赞成，也可以表示反对，但我可以保证这绝对不会是最后一个让人左右为难的决策。我们总是习惯性地认为数字是“冰冷、确凿的事实”，如果计算无误，那么我们就一定能够得到正确的答案。但一个更为纠结和危险的现实是，有时候正确无误的计算也会将我们带往一个危险、浮躁的方向：我们可以摧毁金融体系，也可以骚扰一个恰好在某个时间出现在某个街头的22岁白人男子，因为根据我们的统计模型，几乎可以确定他打算去买毒品。尽管概率有再多的简洁特性和精准优点，也不能替代人类作为行为主体对其所进行的计算、进行计算的原因所作的思考。
1702643484
1702643485
1702643486
1702643487
1702643489
赤裸裸的统计学：除去大数据的枯燥外衣，呈现真实的数字之美 第8章 数据与偏见
1702643490
1702643491
2012年，《科学》杂志刊登了一项惊人的发现：在求偶期多次遭受雌性果蝇冷落的雄性果蝇会“借酒消愁”。那么，这些果蝇是如何一醉方休的？
1702643492
1702643493
2012年春天，研究人员在权威杂志《科学》上刊登了一项惊人的发现。这项前沿研究表明，多次被雌性果蝇冷落的雄性果蝇也会“借酒消愁”。《纽约时报》头版对这项研究描述道：“这些急于成功的年轻雄性果绳，在面对一群心仪的雌性果蝇时一而再、再而三地遭受打击，结果它们和众多屡次被拒绝的成年男子一样，借助酒精来缓解内心无处释放的欲望。”
1702643494
1702643495
这一研究加深了我们对大脑奖赏系统的了解，从而更好地帮助我们在治疗药物和酒精依赖方面寻找新的治疗方法。一位医学专家将这项研究解读为“回到奖赏回路的起源，探究激发基本行为如性爱、进食和睡眠的原始动力”。
1702643496
1702643497
由于我本人并非这个领域的专家，因此在读到有关果蝇的这项发现时，我的反应略有不同，主要有两点。首先，这篇报道让我回想起我的大学时光。其次，好奇心驱使我不得不问：这些果蝇是如何一醉方休的？是不是研究者们专门定制了一个小型的果蝇酒吧？吧台里是不是有各种各样的果酒以及一只情感丰富的果蝇酒保？背景音乐是美国乡村音乐吗？失意的雄性果蝇们喜欢乡村音乐吗？
1702643498
1702643499
而实验的真相却简单得令人难以置信。一组雄性果蝇可以与正常雌性果蝇自由交配；另一组雄性果蝇所在空间内的雌性果蝇在此之前已经完成了交配，因此它们对雄性果蝇的“猛烈攻势”毫无兴趣。随后，研究人员为这两组雄性果蝇提供了两种喂食棒：一种是普通的果蝇食物——饲料酵母和糖分，另一种是“硬家伙”——除了饲料酵母和糖分，还添加了酒精浓度为15度的酒。那些花了几天时间想要与“性冷淡”的雌性果绳交配的雄性果蝇，显然对烈酒更有兴趣。
1702643500
1702643501
尽管这个实验还存在一些不尽如人意的地方，但得出的结论对于人类来说依然具有重要的意义，实验结果暗示了压力、大脑的化学反应和对酒精的欲望三者之间存在联系。但这样的一个结论并不是统计学的胜利，而是数据的胜利，正是数据让相对基础的统计分析成为可能。这项研究的天才之处在于寻找到了适当的方式，创造了一组性欲得到满足和一组“欲求不满”的雄性果蝇，然后设计了一个能够比较两组果蝇饮食区别的方法。一旦完成了这几个步骤，接下来的数据分析基本上就只有高中科学实验课的难度了。
1702643502
1702643503
数据对于统计学家来说，就像是一个组织有效的进攻锋线面对一个明星四分卫。每一位明星四分卫前面都会站着一群优秀的阻挡队员，虽然他们默默无闻，但没有他们，我们就不会欣赏到四分卫的风采。绝大多数的统计学书籍都想当然地以为读者使用的都是好数据，就像每一本烹饪食谱都觉得你不会购买不新鲜的肉和腐烂的蔬菜一样。即使是最好的食谱，面对变质的食材，也无法“化腐朽为神奇”。数据也是如此，如果基础数据本身就有问题，那么再缜密严谨的分析也是徒劳。
1702643504
1702643505
一般来说，我们会要求数据做3件事。第一，在评价某一大数据构成的人口特点时，我们可能会用到一个具有代表性的数据样本。比如，调查某个领导候选人的民意支持率，我们就需要对一组潜在的选民进行采访，而且他们应该能够代表所在选区的所有选民（必须明确的是，我们并不需要一个代表所有生活在该区域内的居民的样本，而是代表那些最有可能去投票的选民的样本）。统计学最强大的一点就在于，由一个在合理范围内足够大，并且正确抽取的样本推导出来的结论，能够准确地反映整个人口的特点，做到与对全体人口进行普查得到的结果分毫不差。关于统计学的这一神奇之处，本书会在随后的两章里详细解读。
1702643506
1702643507
收集一个人口构成的代表性样本，最便捷的方式就是随机挑选子集（这就是大名鼎鼎的简单随机抽样法）。这一方法的关键在于，相关人口中的每一个人被选为样本的概率必须相同，如果你计划对一个拥有4328名成年人的社区随机抽取100名成年人作为样本，那么你必须保证这4328人中的每一个人都有相同的概率进入最后的100人抽样名单。几乎所有的统计学课本都将其描述为“袋中摸球”，假设在一个大口袋中有6万颗蓝球和4万颗红球，那么从这个大口袋中随机抽取100颗球组成的样本最有可能出现的结果是60颗蓝球和40颗红球。如果我们进行多次抽取，显然每一次的结果会有所不同——有时候是62颗蓝球和38颗红球，有时候是58颗蓝球和42颗红球。但是，出现一个极大偏离原始蓝球和红球组成比例的抽样结果的概率是非常低的。
1702643508
1702643509
必须承认的是，在实际操作中的确存在一些挑战。绝大多数我们所关心的人口组成总是要比一口袋彩球要复杂，如果要对美国成年人口进行电话调查，究竟要怎么做才符合简单随机抽样的定义呢？即使是一个看似简便易行的随机拨打方案也存在着潜在的缺陷，一些人（尤其是低收入者）可能家里没有安装电话，另外一些人（尤其是高收入者）可能更倾向于视频通话，因此这类电话他们会选择拒绝接听。之后的内容中将会介绍民意调查公司在克服这些困难时所采取的策略，以及应对挑战所积累的经验（随着手机的普及，很多挑战变得越来越棘手和复杂）。不管采用什么策略，核心理念就在于：一个合理采集的样本会呈现其背后的人口特点。从直觉出发，就像从一锅汤里舀出一勺进行品尝，如果之前搅拌得充分均匀，那么这小小的一勺汤足以告诉你整锅汤的味道了。
[
上一页 ]
[ :1.70264346e+09 ]
[
下一页 ]