1702627070
04 大数据时代，统计学火了
1702627071
1702627072
1702627073
1702627074
为什么统计学现在这么火？
1702627075
1702627076
为什么直到现在，统计学才在各个领域得到重视呢？
1702627077
1702627078
通过数据之间的关联性、利用因果关系进行推论的现代统计学的基本思考方法，早在20世纪初期就已经确立，主要的统计分析方法则在20世纪60年代全部出现。如今，距离被称为现代统计学之父的罗纳德·艾尔默·费希尔去世已经过了半个世纪。如果统计学真的如前文所说具有如此强大的力量，那为什么在之前的社会中没有被大规模应用呢？实际上这个问题并不在于统计学本身，而是在于能够活用统计学的外部环境发生了变化。
1702627079
1702627080
为了使大家能够更好地理解这一变化，让我对第二节中提到过的将弗明汉居民全部卷入其中的大规模流行病学研究作进一步的详细介绍。
1702627081
1702627082
这项流行病学研究一般被称为弗明汉研究，是在第二次世界大战结束之后不久的1948年，为了查明当时持续增加的心脏病患者的病因而成立的调查。科霍的研究证明了包括霍乱细菌在内的各种细菌是造成传染病的原因，由此产生了利用疫苗和抗生素来进行治疗的方法。但是，在因为细菌感染而死亡的人数减少之后，与细菌没有关系的病症，比如心脏病和癌症以及脑中风等疾病却成了以美国为首的发达国家中死亡率最高的疾病，这也成为当时医学界的一大难题。
1702627083
1702627084
在这样的背景下，以施行新政而闻名的富兰克林·罗斯福总统对此非常重视（顺便说一句，罗斯福总统本人也是死于心脏病），并且由此展开了可以称为人类史上第一次的大规模流行病学研究项目。不管是心脏病还是霍乱，只要是不明原因的病症，要想查明其发病原因，只有进行慎重且大规模的数据采集，并且对采集的数据进行仔细分析。除此之外别无他法。
1702627085
1702627086
弗明汉当时有大约2.8万名居民，其中29~69岁的居民中有5 127人响应了研究小组的号召参加了这项研究，占这部分人数的2/3。因为当时对心脏病的成因几乎没有任何线索，所以除了性别、年龄等基本信息之外，还记录了每个人的过往病史与生活习惯、血压、心电图、血液成分、社会经济学指标等各种各样的项目。当时采集的血液，随着后来检查方法的不断进步又追加了很多检查项目，因此一直冷冻保存至今。
1702627087
1702627088
弗明汉研究一直到今天仍在继续，每当有其他研究出现新进展的时候都会对其进行追加的项目调查，如今参加最初研究的那些人的后代还参加了对遗传因子的调查研究。
1702627089
1702627090
弗明汉研究针对5 000余名对象定期进行检查与询问，调查频率是每两年1次。
1702627091
1702627092
如此大规模而且彻底的调查研究，为什么不每年进行呢？实际上当时的研究者也非常渴望能够做到1年1次。但是，由于当时的技术能力所限，每两年进行一次就已经是调查频率的极限了。
1702627093
1702627094
至于限制调查频率的原因，则是数据输入、管理以及采集所花费的时间和精力。
1702627095
1702627096
弗明汉研究小组在最初进行数据采集时所使用的设备，据说只有一台大型穿孔卡片机。
1702627097
1702627098
说起穿孔卡片，可能很多人连实物都没有见过吧。简单来说就是在一个厚纸片上利用物理手段打孔，根据打孔的位置记录数据。
1702627099
1702627100
首先，人工记录5 000人的生活习惯和血液检查的结果，再将数值转换为穿孔卡片进行保存，检查是否有错误，然后对各个调查项目的平均值和比例进行综合统计。进行这样的工作，每两年一次的频率已经是极限了。
1702627101
1702627102
至于弗明汉研究的目标“找到心脏病的成因”，需要对各个变量和多样的调查项目之间的关联性进行分析，这就需要用到逻辑回归的分析方法（实际上，逻辑回归分析本身就是因弗明汉研究而诞生的方法）。但是，对5 000名研究对象的数据进行分析，就相当于使用5 000个质数的矢量，进行包括对数变换在内的非常繁杂的矩阵计算，只有这样才能够得出最终答案。
1702627103
1702627104
一直到20世纪60年代国际商业机器公司（IBM）发明了大型通用计算机，并且将其应用到研究中之后，弗明汉研究才能够对10年间的调查数据进行分析。
1702627105
1702627106
无聊的“纸和笔的统计学”已经过时了
1702627107
1702627108
从那以后的计算机技术进步，可以说是突飞猛进。
1702627109
1702627110
穿孔卡片上记录的数据可以非常简单地记录在只读光盘（CD–ROM）或者硬盘上，数据输入也可以看着画面非常简单地进行。获得的数据可以通过互联网非常方便地收集和传送，至于统计分析，不仅可以通过个人电脑来进行，甚至连现在的智能手机都能够胜任。
1702627111
1702627112
以前的统计学家们常用的研究方法有两种，或者省去计算的麻烦直接进行类似的准确度较高的推测，或者尽可能少地对数据进行计算并得出准确度较高的推测，但是这些研究方法现在基本上已经不会出现在实际分析当中。随着计算机技术的进步，不管是庞大的数据还是繁杂的计算，都已经不再是统计分析的瓶颈。
1702627113
1702627114
另外，以前的统计学教育只能依靠黑板和粉笔，或者纸和笔，主要以理解算式，对几十个数据进行手工计算和分析为主。但是，现在的统计分析只需要写一个简单的程序，或者使用现成的统计分析工具，对大规模的数据进行实际分析也成为可能。
1702627115
1702627116
虽然我们现在主要使用的统计学思考方法和分析方法，早在几十年前就已经基本完成，但是像现在这样让每个人都能够随时随地地简单使用，还是在20世纪末计算机技术发生革命性进步之后，才得以实现的。
1702627117
1702627118
以前的纸和笔的统计学与现代的计算机统计学之间存在着巨大的差距，现代的统计学家必须在精通数理知识的同时，还掌握计算机技术的应用。
[
上一页 ]
[ :1.702627069e+09 ]
[
下一页 ]