1702627231
1702627232
与现在基本上1/2的学生都能够考入大学就读不同，那个时代的大学毕业生可以说全是精英中的精英，可是在经济不景气的大环境下，即便是精英分子也同样找不到工作。当时的失业率最高达到25%，如果说现在的日本被称为“就业的冰河期”的话，那么当时的情景简直就是一幅地狱画卷（2012年11月，日本的失业率是4.1%）。
1702627233
1702627234
1702627235
1702627236
1702627237
图2–1 金融危机时美国可怕的失业率
1702627238
1702627239
但是，对当时的美国政府来说，这种状况在某种意义上也是一件好事。由于这些大学毕业生的高失业率，使得国家可以从当时大量学习过统计学的优秀数学家和经济学家中随意挑选最优秀的人才出任政府职员。
1702627240
1702627241
在失业率创纪录地达到24.9%的1939年，美国总统富兰克林·罗斯福领导的新政府为了扭转大萧条的局面，采取了一系列被称为“新政”的政策。也正是在这个时候，政府才能够大量雇用那些走投无路的优秀年轻人，并且将他们的能力充分地发挥出来。我在本书之前的章节中提到过的弗明汉流行病学研究，就是美国总统罗斯福组织实施的项目，而在该项目中负责核心任务的统计学家，就是在这一时期被雇用的优秀年轻人中的一员。
1702627242
1702627243
新政的目标是摆脱大萧条的不利局面，并且降低失业率，为此美国政府需要准确地掌握失业者的人数。不只政治家，就连包括普通民众在内的很多人都认为居高不下的失业率是一个非常严重的问题。但是，针对100万人失业与1 000万人失业所采取的政策应该有根本上的区别。当时对失业者人数的统计却是“300万~1 500万人”这样一个非常模糊的数字。
1702627244
1702627245
值得我们注意的是，只拥有穿孔卡片的弗明汉研究对5 000人进行调查，就已经非常困难，而这件事发生的时间还在弗明汉研究之前。
1702627246
1702627247
对于当时拥有1.2亿~1.3亿人口的美国来说，进行这样的调查就相当于现在对几万亿字节的数据进行处理，毫无疑问，这是一个完全超越常规的“大数据”。
1702627248
1702627249
全面调查与抽样调查，哪种更节约、更高效？
1702627250
1702627251
为了解决这一问题，美国政府当时提出了两种方案。
1702627252
1702627253
一种是美国联邦政府议会提议“所有的失业者有义务在登记卡上填写必要项目，然后到最近的邮局将登记卡邮寄给政府”。
1702627254
1702627255
另一种方案则是由学习过当时最先进统计学理论的年轻人们提出的“随机选取人口总数的0.5%进行抽样调查”。
1702627256
1702627257
美国政府先采用了后一种方案，除了准确的失业率之外，政府还发现社会存在着极大的贫富差距，既占人口总数10%的人竟然拥有占人口总数40%的收入。而得知这一结果的人们却纷纷表示“随机抽选的结果根本没有科学根据，怎么能够证明这个数据是正确的呢”，可见这些人似乎更支持前一种方案。
1702627258
1702627259
但是，假设我们是那个时代的失业者，如果没有任何好处的话，谁会傻到将自己的信息写在登记卡上，然后特意跑到邮局去将这个登记卡邮出去呢？至少我是不会那么做的。如果我是当时的失业者，就算这样做会得到商品券，我都会因为麻烦而放弃，我想当时大多数人应该不知道有这么一回事。
1702627260
1702627261
实际上，确实有非常多的失业者对这项调查不买账，事后也证明这个调查数据远远小于实际失业者的数量。很多失业者认为这样的方式过于麻烦，因为美国政府无法准确掌握怕麻烦的失业者数量，所以由此得到的数据比实际数据少得多也是理所当然的。
1702627262
1702627263
另外，由年轻的统计学家们提出的抽样调查所得出的结果，经过随后十几年的慎重检验，发现其准确程度令人震惊。从1940年将这一调查制度化至今，美国政府已经将利用随机抽样调查作为各种政策方针讨论的基础。
1702627264
1702627265
假设前一种方案的全面调查方式能够得到失业者的支持，那么就要对大概超过1 000万人以上的登记卡进行收集和整理，与之相比，对占总人口数的0.5%的人（约60万~70万人）的调查结果进行收集和整理，两者谁更节约、更高效呢？毫无疑问一定是后者吧。
1702627266
1702627267
后来，美国率先摆脱了大萧条的局面，这究竟是否应该归功于罗斯福与年轻统计学家们的新政，在经济学家中众说纷纭、尚无定论。但不管怎样，由新政主导的大规模公共工程建设开始后，失业率开始下降的事实已经被统计学家们所设计的调查的数据所证实。
1702627268
1702627269
能够在当时有限的财政预算之内，准确地计算出失业率实际下降了多少，可以说完全是当时那些优秀的统计学家们的功劳。
1702627270
1702627271
后来，这些统计学家们又对消费者物价指数以及工业统计进行了调查，并且针对这些反映一国宏观经济状况的重要指标设计了利用样本进行的定期调查。如果没有统计学家的贡献，后世的经济学家们关于“面对经济萧条的局面应该采取什么政策”的讨论就会缺乏重要的数据基础，那么一切或许都会变成“纸上谈兵”。
1702627272
1702627273
如果日本难以摆脱“第二次全球金融危机”的话，不妨也积极地雇用那些找不到工作的优秀大学毕业生，充分地发挥他们的力量。
1702627274
1702627275
我经常从现代的一些人口中听到“抽样调查的结果根本没有可信度”这样的话，似乎日本的行政部门所掌握的统计能力与80年前的美国相比，没有一丁点儿的进步。
1702627276
1702627277
当然，抽样调查的准确率确实比全面调查要低，但问题在于究竟低多少，以及准确率较低的结果对实际判断和应该采取的行动会产生怎样的影响。反过来说，对判断和行动不会产生影响的准确率是毫无意义的，为了这些毫无意义的准确率所花费的成本都是一种浪费。
1702627278
1702627279
当面对难以处理的庞大数据之时，适当地进行抽样调查可以大幅减少为了获取必要信息所花费的成本，这一点不管在80年前还是现在都是一样的。可即便如此，那些热衷于大数据的商人们还是不断地提倡对大数据原原本本地进行计算。
1702627280