1700506032
数据科学家养成手册 [:1700503544]
1700506033
数据科学家养成手册 8.2 统计就是统共合计
1700506034
1700506035
统计学究竟为我们解决了什么问题？为什么要设置这样一个分支领域呢？
1700506036
1700506037
最早的统计学可以追溯到17世纪英国的政治算术，代表人物是威廉·配第（William Patty，1623年～1687年，如图8-2所示）。他在《政治算术》(3)一书中写道，本书“不用比较级、最高级进行思辨或议论，而是用数字来表达自己想说的问题，借以考察在自然中有可见的根据的原因”。政治算术学派主张用大量观察和数量分析等方法对社会经济现象进行研究，为统计学的发展开辟了广阔的前景。
1700506038
1700506039
1700506040
1700506041
1700506042
图8-2 威廉·配第
1700506043
1700506044
除此之外，还有国势学派、社会统计学派和数理统计学派。
1700506045
1700506046
在学科性质上，凯特勒认为，统计学是一门既研究社会现象，又研究自然现象的方法论科学。从19世纪中叶到20世纪中叶，数理统计学得到了迅速发展。
1700506047
1700506048
英国生物学家高尔顿(4)提出并阐述了相关的概念。皮尔逊(5)提出了计算复相关和偏相关的方法。戈塞特(6)建立了“小样本理论”，即所谓的“t分布”。费歇尔(7)在样本相关系数的分布、方差分析、实验设计等方面的研究中作出了重要贡献。到20世纪中期，数理统计学的基本框架已经形成，数理统计学派成为英美等国统计学界的主流。经过300多年的发展，目前统计学已经成为横跨社会科学和自然科学领域的多科性的科学。
1700506049
1700506050
统计学是有关如何测定、收集和分析反映客观现象总体数量的数据，以便给出正确认识的方法论科学。从横向看，各种统计学都具有上述共同点，因而能够形成一个学科“家族”。从纵向看，统计学方法应用于各种实质性科学，与它们相结合，产生了一系列专门领域的统计学。由此可见，现代统计学可以分为两大类：一类是以抽象的数量为研究对象，研究一般的收集数据、整理数据和分析数据方法的理论统计学；另一类是以各个不同领域的具体数量为研究对象的应用统计学。
1700506051
1700506052
关于统计，对学过这门课但没有深入进行系统性研究的人，以及只是听过这个名字但对此一知半解的人来说，似乎就是算算总数，算算平均值，然后做出报表，用表格和图表对数字进行展示。从日常生活中的应用形式上看，是这个样子不假，然而，很少有人会在这个过程中用科学的方法去实践。统计学究其本质，还是希望通过科学且简洁的方法对数量巨大的群体进行特征归纳与描述，并可以在小范围的试验中以很高的精确性反推全样本的性状。
1700506053
1700506054
最为简单的统计方式就是数量的计算。例如，“今天到场一共45人”，“本次央行量化宽松的额度为4万亿元人民币”，“2014年中国人口数量为13.68亿人”，这样的陈述就是统计数字。但这不是统计学，这些单纯的孤立数字还没有上升到学科的高度。统计学有清晰的边界及对研究对象的定义。
1700506055
1700506056
总体（Population）是包括所研究的全部个体（数据）的集合，它通常由所研究的一些个体组成，例如多个企业构成的集合、多个居民户构成的集合、多个人构成的集合等。每一个组成总体的元素称为个体。在由多个企业构成的总体中，每一个企业就是一个个体；在由多个居民户构成的总体中，每一个居民户就是一个个体；在由多个人构成的总体中，每一个人就是一个个体。总体的范围在一些场合下是容易确定的，在另一些场合下是不容易确定的。在有些场合，总体的数量比较小，在一次实验中可以全部覆盖；而在有些场合，总体的数量极为庞大，无法通过一次实验全部覆盖。
1700506057
1700506058
样本（Sample）是从总体中抽取的一部分元素的集合。构成样本的元素的数目称为样本量（Sample Size）。抽样的目的是根据样本提供的信息推断总体的特征。例如，从一批灯泡中随机抽取100个，这100个灯泡就构成了一个样本，可以根据这100个灯泡的平均使用寿命去推断这批灯泡的平均使用寿命。这种方式在日常生产中使用非常广泛，极大地降低了质量监控的成本，而且对不同批次产品的质量有严格且精确的描述能力。这种“一叶落知天下秋”(8)的哲学思想是统计学在抽样统计一环具体体现出来的优秀特质。
1700506059
1700506060
参数（Parameter）是用来描述总体特征的概括性的数字度量，是研究者想要了解的总体的某种特征值。研究者所关心的参数通常有总体平均数、总体标准差、总体比例等。在统计中，总体参数通常用希腊字母表示。例如，总体平均数用μ表示，总体标准差用σ表示，总体比例用π表示。
1700506061
1700506062
应该说，“统计”二字就是“统共合计”的意思，是一个期望用简洁的表达方式对大量信息进行归纳和抽象的分支科学。而在统计过程中，对总体、样本、参数3个核心特性进行把握，往往能得到很好的实验效果。
1700506063
1700506064
1700506065
1700506066
1700506067
数据科学家养成手册 [:1700503545]
1700506068
数据科学家养成手册 8.3 数据来源
1700506069
1700506070
要想进行统计，首先要确定统计对象，也就是前面我们提到的总体。在这之后，就是从总体中把数据收集上来。
1700506071
1700506072
常用的数据来源有两种。第一种是间接来源，也就是由他人通过调查或实验的方式收集的数据，使用者只是找到它们并加以使用。第二种是直接来源，即通过自己的调查或实验，直接获得第一手数据。
1700506073
1700506074
间接来源的数据一般来说会有很多第三方渠道提供，例如政府统计部门、专业调查机构、专业期刊文献、学术会议资料库提供的数据等，也包括一些单位自己收集并整理的营业记录、消费记录等。只要不是统计分析的实施者亲自获取的数据，都应该算作间接来源的数据。
1700506075
1700506076
间接来源的数据一般来说获取成本比较低，不过局限性也比较大，主要存在的问题有统计口径不一致、时效性不强等，所以在使用前需要对这些数据进行评估，例如数据提供方的信誉度、数据的收集手段、数据的收集时间等，从而最终判定这样一份数据是否可以作为统计分析的对象。
1700506077
1700506078
直接来源的数据，其获取成本通常比较高。在很多情况下，当间接来源的数据无法解决我们要研究的问题时，也只能考虑使用直接来源的数据，就是通过调查方法获得数据，或者通过实验方法获得数据。前者获得的数据叫作调查数据，后者获得的数据叫作实验数据。不论是调查数据还是实验数据，要想获得它们，都需要设计一套严谨的实施过程，从调查、数据产生、数据收集到数据分析，都需要有严格且科学的解释作为保障。
1700506079
1700506080
调查通常以一定范围内的社会人群为总体，实验通常针对具有自然性的现象。基本可以这样认为：需要人对类似答卷作出主观性回答的形式（即使是选择题）都可以称为调查；实验则是对观测现象进行相对客观的记录（例如，读取温度计的读数，以及对实验中符合某种状态的对象进行数量记录等）。在互联网和物联网产品中，通过终端收集的数据通常可以算作实验数据。
1700506081