1702627221
看穿一切数字的统计学 [:1702626733]
1702627222
06 准确度令人震惊的抽样调查
1702627223
1702627224
1702627225
1702627226
怎样统计超常的“大数据”？
1702627227
1702627228
诺贝尔经济学奖获得者保罗·克鲁格曼将自从次贷危机以来一直笼罩整个世界的萧条状况称为“第二次全球金融危机”，而第一次“全球金融危机”则是从1929年纽约证券交易所的股价大跌开始的。
1702627229
1702627230
不只美国，除了当时的苏联之外，几乎世界上所有的发达国家都遭到了股价大跌的冲击，国内生产总值（GDP）急剧减少，甚至引发了第二次世界大战这样一个非常严重的结果。小津安二郎以这一时代为背景拍摄了一部影片，讲述一群年轻人在大学毕业以后找不到工作，为了求职而四处奔走的故事，同样的状况在美国也比比皆是。
1702627231
1702627232
与现在基本上1/2的学生都能够考入大学就读不同，那个时代的大学毕业生可以说全是精英中的精英，可是在经济不景气的大环境下，即便是精英分子也同样找不到工作。当时的失业率最高达到25%，如果说现在的日本被称为“就业的冰河期”的话，那么当时的情景简直就是一幅地狱画卷（2012年11月，日本的失业率是4.1%）。
1702627233
1702627234
1702627235
1702627236
1702627237
图2–1 金融危机时美国可怕的失业率
1702627238
1702627239
但是，对当时的美国政府来说，这种状况在某种意义上也是一件好事。由于这些大学毕业生的高失业率，使得国家可以从当时大量学习过统计学的优秀数学家和经济学家中随意挑选最优秀的人才出任政府职员。
1702627240
1702627241
在失业率创纪录地达到24.9%的1939年，美国总统富兰克林·罗斯福领导的新政府为了扭转大萧条的局面，采取了一系列被称为“新政”的政策。也正是在这个时候，政府才能够大量雇用那些走投无路的优秀年轻人，并且将他们的能力充分地发挥出来。我在本书之前的章节中提到过的弗明汉流行病学研究，就是美国总统罗斯福组织实施的项目，而在该项目中负责核心任务的统计学家，就是在这一时期被雇用的优秀年轻人中的一员。
1702627242
1702627243
新政的目标是摆脱大萧条的不利局面，并且降低失业率，为此美国政府需要准确地掌握失业者的人数。不只政治家，就连包括普通民众在内的很多人都认为居高不下的失业率是一个非常严重的问题。但是，针对100万人失业与1 000万人失业所采取的政策应该有根本上的区别。当时对失业者人数的统计却是“300万~1 500万人”这样一个非常模糊的数字。
1702627244
1702627245
值得我们注意的是，只拥有穿孔卡片的弗明汉研究对5 000人进行调查，就已经非常困难，而这件事发生的时间还在弗明汉研究之前。
1702627246
1702627247
对于当时拥有1.2亿~1.3亿人口的美国来说，进行这样的调查就相当于现在对几万亿字节的数据进行处理，毫无疑问，这是一个完全超越常规的“大数据”。
1702627248
1702627249
全面调查与抽样调查，哪种更节约、更高效？
1702627250
1702627251
为了解决这一问题，美国政府当时提出了两种方案。
1702627252
1702627253
一种是美国联邦政府议会提议“所有的失业者有义务在登记卡上填写必要项目，然后到最近的邮局将登记卡邮寄给政府”。
1702627254
1702627255
另一种方案则是由学习过当时最先进统计学理论的年轻人们提出的“随机选取人口总数的0.5%进行抽样调查”。
1702627256
1702627257
美国政府先采用了后一种方案，除了准确的失业率之外，政府还发现社会存在着极大的贫富差距，既占人口总数10%的人竟然拥有占人口总数40%的收入。而得知这一结果的人们却纷纷表示“随机抽选的结果根本没有科学根据，怎么能够证明这个数据是正确的呢”，可见这些人似乎更支持前一种方案。
1702627258
1702627259
但是，假设我们是那个时代的失业者，如果没有任何好处的话，谁会傻到将自己的信息写在登记卡上，然后特意跑到邮局去将这个登记卡邮出去呢？至少我是不会那么做的。如果我是当时的失业者，就算这样做会得到商品券，我都会因为麻烦而放弃，我想当时大多数人应该不知道有这么一回事。
1702627260
1702627261
实际上，确实有非常多的失业者对这项调查不买账，事后也证明这个调查数据远远小于实际失业者的数量。很多失业者认为这样的方式过于麻烦，因为美国政府无法准确掌握怕麻烦的失业者数量，所以由此得到的数据比实际数据少得多也是理所当然的。
1702627262
1702627263
另外，由年轻的统计学家们提出的抽样调查所得出的结果，经过随后十几年的慎重检验，发现其准确程度令人震惊。从1940年将这一调查制度化至今，美国政府已经将利用随机抽样调查作为各种政策方针讨论的基础。
1702627264
1702627265
假设前一种方案的全面调查方式能够得到失业者的支持，那么就要对大概超过1 000万人以上的登记卡进行收集和整理，与之相比，对占总人口数的0.5%的人（约60万~70万人）的调查结果进行收集和整理，两者谁更节约、更高效呢？毫无疑问一定是后者吧。
1702627266
1702627267
后来，美国率先摆脱了大萧条的局面，这究竟是否应该归功于罗斯福与年轻统计学家们的新政，在经济学家中众说纷纭、尚无定论。但不管怎样，由新政主导的大规模公共工程建设开始后，失业率开始下降的事实已经被统计学家们所设计的调查的数据所证实。
1702627268
1702627269
能够在当时有限的财政预算之内，准确地计算出失业率实际下降了多少，可以说完全是当时那些优秀的统计学家们的功劳。
1702627270