1704438436
费希尔和他的同代人在本质上对所谓的贝叶斯定理没有异议,因为贝叶斯定理不过是一个简单的数学公式。可贝叶斯定理的应用却让他们十分担忧,对贝叶斯先验概率这一概念格外忧心,他们认为这一概念似乎过于主观。
1704438437
1704438438
于是,费希尔等人力图建立一套统计学方法,为的是让我们不再受到主观偏见的干扰。现在,尽管这种统计学方法偶尔才会用到,但人们通常称之为“频率主义”。
1704438439
1704438440
“频率主义”的隐含意思就是,仅从人口样本(而非所有人口)中收集数据是导致统计学问题中出现不确定性的原因。这一点在政治民调中体现得淋漓尽致。在加利福尼亚州,有800万人要为即将到来的选举投票,如果只选出其中的800人进行抽样调查,结果就会出现人们所说的抽样误差。你在政治民调中看到的误差幅度就是用来量化抽样误差的:从800万人的投票结果中取出800份样本,究竟会出现多大的误差。“频率主义”的统计学方法正是用来量化误差的。
1704438441
1704438442
然而,即使是在政治民调中,抽样误差也并不总能反映事情的全貌。2008年,艾奥瓦州民主党举行了决策会议,而新罕布什尔州进行了美国民主党初选,短暂的间歇时间里,在新罕布什尔州约有15000人接受了调查——对于这个面积比较小的州来说,这个数目实在算得上巨大了,从理论上来讲,这个受访者的数量足以将误差幅度控制在±0.8%。然而,实际的误差却达到了8%左右:民调显示希拉里在这个州的选票数会输给奥巴马8个点,而实际上,希拉里却以领先3个点的优势获胜了。抽样误差——这个“频率主义”唯一可以直接解释的错误类型——在新罕布什尔州的政治民调中可能只是一个小问题。
1704438443
1704438444
同样的,一些民调公司总是显示出对某一党派的倾向:他们可能对2亿美国成年人进行调查,但仍然得不到正确的结果。早在250年前,贝叶斯就解决了这个问题。如果使用的工具本身就带有偏见,那么作了多少测量并不重要,因为你的目标定错了。
1704438445
1704438446
从本质上看,“频率主义”解决统计学问题的方法是极力摆脱使预测出错的最常见原因——人为错误。“频率主义”认为不确定性是实验本身所固有的特质,而非我们认识真实世界的能力中所固有的特质。“频率主义”的方法还意味着,你收集的数据越多,所犯的错误最终就会越趋近于零:这是解决所有问题的充分必要条件。本书中提到的预测问题比较严重的领域中,有用信息都十分稀缺,而收集更多的信息确实非常有价值。然而,如果使用不当,“频率主义”也不一定是通往完美统计的星光大道。正如埃尼迪斯指出的那样,大数据时代似乎只会使研究文献中的假成果问题更加严重。
1704438447
1704438448
不论在理论上还是实践中,“频率主义”的方法都不是很客观,要依赖大量的假设。种种方法总是假定,某一个测量方法中潜在的不确定性遵循贝尔曲线或正态分布,这是正确的假设,却不适用于股票市场。“频率主义”方法要求对样本总体下定义,在政治民调中,这一点十分明确,但在其他许多实际应用中,样本总体却存在很大的随意性。从“9·11”恐怖袭击事件中,人们能得到什么样的样本总体呢?
1704438449
1704438450
然而,更大的问题是,在力求设计完美无瑕的统计程序时,不能受研究者个人偏见的干扰,这就使得“频率主义”的方法总是与真实世界相隔离。这样的方法让研究者忽略了假设的基本环境和合理性,而这正是计算贝叶斯先验概率所必需的。于是,你必然会看到,一些发表了的权威论文中出现了蟾蜍是如何预测地震的,或是塔吉特百货这类大商场如何引起了种族仇恨等话题,并通过“频率主义”测验,最后产生了“具有统计学意义”(但显然是十分荒谬)的研究成果。
1704438451
1704438452
费希尔在其职业生涯末期变得成熟、温和,甚至偶尔还会赞扬贝叶斯一番。在费希尔漫长的职业生涯中,他的一些方法(尽管不包括当今广泛使用的方法)确实在贝叶斯定理和“频率主义”方法之间做出了妥协和让步。然而,在其生命的最后几年,费希尔出现了极为严重的错误判断,这表明了费希尔研究方法的局限性。
1704438453
1704438454
在吸烟和患肺癌之间的关系问题上,费希尔出现了失误。20世纪50年代,人们作了大量研究,有些研究运用标准统计学方法,有些则运用贝叶斯定理,这些研究都表明吸烟与患肺癌有关,这一点在当今社会已被广泛认同。
1704438455
1704438456
费希尔晚年的很大一部分时间都在跟这些结论作斗争,他在《英国医学会杂志》和《自然》等颇具声望的杂志上发表了许多文章,旨在证明这一结论有误。他并不否认吸烟与患肺癌之间的统计学关系十分显著,而正如英国的苹果进口量和结婚率之间的历史关联性一样,他认为这只是把相关性误认为是因果关系,他一度还认为,是肺癌让人们更想吸烟,而不是吸烟引起了肺癌。这一思想明显是让人们无忧无虑地继续吸烟,而忘记了肺癌的困扰。
1704438457
1704438458
许多现在被广泛接受的科学发现,曾一度被视为一派胡言。有时是因为当时的文化禁忌(如伽利略的日心说),但多数时候是因为可用于分析问题的数据并不存在。如果直到20世纪50年代还没有明显的证据证明吸烟与肺癌之间的必然联系,那我们就不应该质疑费希尔。然而,一些学者重新调查了当时已有的迹象并得出结论,这两者之间确实存在必然联系——许多研究人员在许多领域进行了各种统计学测验及临床试验,得出的结论都表明吸烟与肺癌之间存在因果关系。这一个观点迅速成为科学共识。
1704438459
1704438460
那么,费希尔为什么拒不接受这一理论呢?或许他是烟草公司的受薪顾问?或许他本人就是终身烟民?或许费希尔喜欢与别人背道而驰,喜欢备受争议,而且不愿受清教主义的束缚?简而言之,费希尔在许多方面都心存偏见。
1704438461
1704438462
但更大的问题可能是费希尔的统计方法更倾向于假想世界,更注重实验的客观程度——只有收集到足够的数据,所有假设才能通过检验并得出完美的结论。然而,要想达到费希尔要求的那种客观程度,就不得不否认贝叶斯先验概率的必要性,还要与其他混乱的实际环境脱节。这样的方法既不要求也不鼓励我们考虑假设的合理性:认为吸烟引起肺癌与认为蟾蜍可以预测地震这两种观点相类似。费希尔意识到相关性并不总是代表因果关系,这一点是值得赞扬的,但是,费希尔的统计方法并没有鼓励我们认真地考虑哪些相关性是因果关系,哪些不是。费希尔倾其一生都以这样的统计学方法思考问题,也难怪他始终无法辨别相关性与因果关系的区别。
1704438463
1704438464
成功践行贝叶斯定理的体育赌客
1704438465
1704438466
在贝叶斯的世界观里,预测是衡量进步的标尺。我们可能无法得到百分之百的真相,但只有正确的预测才能让我们更加接近真相。
1704438467
1704438468
贝叶斯对赌客十分尊重。和其他早期的概率理论家一样,贝叶斯和拉普拉斯经常利用概率游戏的例子来解释自己的工作。(尽管贝叶斯本人也许不怎么爱打赌,但他更喜欢纸牌或桌球这类大众玩的赌钱游戏。)赌客作(准确的)预测,作(非常准确的)概率预测,当他决定按照自己(更准确)的预测下注时,他的世界观就暴露在所有人面前。对贝叶斯先验概率最实用的定义大概就是下注的胜率。
1704438469
1704438470
乌尔加利斯是典型的“贝叶斯”式赌客,他喜欢精确地对篮球比赛下注,因为他可以用这种方式进行自我检验,也可以检验其下注的准确度。在我们的谈话接近尾声时,乌尔加利斯说道:“如果你是某支球队的总经理,你可能会这样说,这个队员我要了,那个队员我也要了。一天下来,你也不知道这样做是否正确,但我并不是这样做的,每天或每个赛季结束时,我都知道自己的决策是对还是错,因为我知道自己是在赢钱还是在输钱。这个方法相当灵验。”
1704438471
1704438472
乌尔加利斯总是想尽办法搜集篮球信息,因为任何事都可能改变他的概率估值。像乌尔加利斯这样的职业竞技体育赌客,只有在认为胜算达到54%以上时才会下注,因为这样才足以抵消“抽头”(博彩经营者从赌客的赢利中抽的份子钱)和下注风险。凭借着高超的技艺和勤奋的工作,乌尔加利斯跻身当今世界最成功的竞技体育赌客之列,但其下注的准确率仅为57%。要想超过这一数字,比登天还难。
1704438473
1704438474
只要能使乌尔加利斯将自己的胜算从53%提高到56%,哪怕是一条很不起眼的信息也会因此变得关系重大。不管是玩扑克牌还是玩股票,玩家就指望这点薄利维持生计了。费希尔所说的统计学意义,指的是使用任意截点来断定哪些才是“有意义的”研究结果,哪些没有意义并且缺乏研究背景,这对赌客们来说实在太复杂难懂了。
1704438475
1704438476
但这并不是说乌尔加利斯提出假设时,有意地避开了他在统计数据中看到的信息(费希尔有关假设检验的见解有问题,但问题不在于假设本身,而在于他推荐的检验方法)。实际上,这一点对乌尔加利斯的工作至关重要。每个人都能看到统计模型,这些模型很快会在盘分线上体现出来,问题是这些统计模型代表的是信号还是噪声。乌尔加利斯根据其篮球知识提出假设,所以他能更快、更准确地分辨信号和噪声。
1704438477
1704438478
从表8–4中可以看到,乌尔加利斯赌球的方法是一种科学方法,属于纯净馏的一种。首先观察世界,之后提出问题:为什么克利夫兰骑士队不断地赢得比赛?接着,针对这一问题搜集信息,提出假设:这是因为戴维斯正处在合约年,他极力想尽快提高自己的统计数据。乌尔加利斯和物理学家或生物学家的不同之处在于,他以下注的方式验证自己的预测,而科学家们更喜欢通过实验证实自己的预测。
1704438479
1704438480
表8–4 科学方法
1704438481
1704438482
科学方法的步骤
1704438483
1704438484
竞技运动博彩案例
1704438485
[
上一页 ]
[ :1.704438436e+09 ]
[
下一页 ]