1700495964
1700495965
1700495967
算法之美:指导工作与生活的算法 贝叶斯与哥白尼
1700495968
1700495969
在预测未来时,如柏林墙的寿命这类问题,我们需要评估的假设是所有手头上掌握的现象的持续时间:它会持续一个星期,一个月,一年,还是十年?正如我们已经看到的,要应用贝叶斯法则,我们首先需要给每个现象的持续时间分配一个先验概率。事实证明,哥白尼原则正是应用贝叶斯法则并使用了所谓的无信息先验的结果。
1700495970
1700495971
起初,这似乎是一个矛盾。如果贝叶斯法则总是要求我们明确事先的预测和想法,我们又怎么能告诉它,我们没有任何预测结果呢?在彩票抽奖的情况下,为无知进行辩护的一个方法就是被称为“统一先验”的方法,这就是认为每个中奖彩票的比例都是相同的。[1]在柏林墙这一例子中,无信息先验意味着:我们对将要预测的时间范畴一无所知:墙可能会在接下来的5分钟或5年后倒塌。
1700495972
1700495973
除了这些无信息先验,如我们所见,我们供应给贝叶斯法则的唯一一部分数据,事实上就是我们到达柏林墙的时候,它已经存在了8年。任何预测它小于8年寿命的假设都可以被排除,因为这些假设不能解释我们这里的情况。(同样的,一枚双头像硬币就可以排除字那面的可能性。)任何超过8年的预测都是有可能的,但是如果柏林墙要存在100万年,那它将是一个很大的巧合,表明我们几乎是接近它存在的最初起点。因此,即使特别长的寿命不能排除,但它也不大可能出现。
1700495974
1700495975
当贝叶斯法则与所有这些概率结合——更有可能的短时限就拉低了平均预测,可能性更小但也有一定可能性的长时限又将其拉高,哥白尼原则便出现了:如果我们要预测某个事物还将持续存在多久(在对它没有其他任何了解时),我们可以做出的最好的猜测就是,它将再持续已经存在的时间。
1700495976
1700495977
事实上,戈特并不是第一个提出类似哥白尼原则的人。20世纪20年代中期,贝叶斯统计学家哈罗德·杰佛利曾考虑仅仅通过一辆城市有轨电车的序号来确定一个城市有轨电车的数量,并得出了相同的答案:该数字的双倍。一个类似的问题出现得更早,在第二次世界大战期间,同盟国试图估计由德国制造的坦克数量。他们通过所捕获的坦克的序列号,在纯数学估计的基础上进行预测,得出的结果是德国每月生产246辆坦克,而通过广泛的(高度危险的)空中侦察所获得的估计表明,这个数字更接近于1400。而战后,德国记录显示的真实数字是:245。
1700495978
1700495979
在认识到哥白尼原则是无信息先验基础上的贝叶斯法则之后,就可以回答很多关于其有效性的问题。哥白尼原则在我们什么都不知道的情况下似乎是合理的、准确的,如在1969年看到的柏林墙,我们不确定什么时间范畴是合适的。同时,在我们对某一对象的确有所了解时,就会感觉这是完全错误的。预测一个90岁的人能活到180岁是不合理的,这恰恰是因为我们关于人类寿命已经了解了很多——在这种情况下,我们就可以预测得更好。我们给贝叶斯法则带来的先验信息越丰富,我们便能从中得到越有用的预测。
1700495980
1700495981
[1]这正是拉普拉斯定理的最简单的形式:假设有1%或10%的彩票中奖,就跟50%或100%的可能性一样。w+1/n+2这一公式便会天真的建议在你买一注强力球彩票未中奖之后,你就有1/3的机会赢得下一注——但这一结果却如实地反映了彩票这一不为人所知的概率。
1700495982
1700495983
1700495984
1700495985
1700495987
算法之美:指导工作与生活的算法 真实世界的先验……
1700495988
1700495989
从广义上讲,世界上有两种类型的事物:倾向于(或围绕)某种“自然”价值的事物,以及与之相反的事物。
1700495990
1700495991
人类的生命跨度显然是属于前一类。它大体遵循所谓的“正态”的分布,也被称为“高斯”分布(这是以德国数学家卡尔·弗里德里希·高斯命名的),同时因其分布的形状特征也被形象地称为“钟形曲线”。这种形状能很好地表现人类的寿命,例如,美国男性的平均寿命集中在76岁左右,曲线顶端的两边呈现急剧下降的趋势。正态分布往往都有一个适当的比例:一位数的寿命往往会被认为是悲惨的,三位数的寿命是非凡的。自然世界的许多其他事情也都呈现正态分布的趋势,从人的身高、体重、血压,到城市正午的温度,或是果园的果实直径。
1700495992
1700495993
世界上有许多事物看起来似乎并不呈现正态分布,但这只是因为你没有长远地看。例如,美国一个城镇的平均人口是8226人。但是如果你要按人口统计该城镇数量图表,你就不会看到像钟形曲线那样长远才能实现的东西。还有很多小镇的人口远不足8226人,同时,某些重要城镇的人口会比平均人口要大得多。这种模式就是所谓的“幂律分布”,也被称为“无标度分布”,因为他们可以在多个尺度的范围表达数量:一个城市能有几十,数百,数千,数万,数十万,甚至数百万名的居民,所以我们不能以一个单一的数值来定义一个“正常”的城镇有多大。
1700495994
1700495995
幂律分布可以描述在日常生活中一系列与城镇人口分布类似的现象:大多数都低于平均值,少数是超过的。电影的票房收入,其范围可以是从4~10位的数字,这是另一个例子。有些电影根本挣不了那么多钱,但偶尔也有像《泰坦尼克号》这样的高票房电影。
1700495996
1700495997
事实上,一般来说,货币是一个充满权力法则的领域。幂律分布可以描述人民的财富和人民的收入。例如,美国的人均收入是55688美元,但由于收入大致是呈幂律分布的,这样我们便会得知,平均值以下的人会比平均值以上的要多,而平均值以上的人的收入可能高得几乎偏离了图表。事实也的确如此:美国2/3的人口收入低于平均收入,但前1%的人的收入几乎是平均水平的10倍。这1%中的前1%的人的收入又是其余99%的10倍。
1700495998
1700495999
人们常常感叹“富人会变得更富有”,实际上“偏好依附”的过程是产生幂律分布的最可靠的方法之一。我们使用最多的网站往往就是最有可能获得导入链接的网站,拥有最多人追随的网络红人就是最有可能获得新支持者的人,最有声望的公司就是最有可能吸引新客户的公司,最大的城市就是最有可能吸引新居民的城市。在这每一种情况下,幂律分布都会得出这个结果。
1700496000
1700496001
贝叶斯法则告诉我们,在基于有限的证据进行预测时,很少有事情是和好的先验一样重要的,也就是说,我们期望证据可以从分布结果中得出。因此,良好的预测最开始要有良好的直觉,要能感觉到我们何时在处理一个正态分布,何时在处理一个幂律分布。事实证明,贝叶斯法则为我们处理这些情况各提供了一个简单但显著不同的预测经验法则。
1700496002
1700496003
1700496004
1700496005
1700496007
算法之美:指导工作与生活的算法 他们的预测规则
1700496008
1700496009
本·勒纳
1700496010
1700496011
你是指“这会一直”朝好的方向发展吗?
1700496012
1700496013
为了验证哥白尼原则,我们看到,当给贝叶斯法则一个无信息先验时,它会一直预测事物的总寿命为目前寿命的两倍。事实上,无信息先验的可能性有很宽泛的尺度,柏林墙可能继续存在几个月或几千年,这个尺度就是幂律分布。对于任何幂律分布,贝叶斯法则表明,一个合适的预测策略就是相乘法则:将迄今观察到的数量乘以一些常数。对于无信息先验,这个常数一般是2,哥白尼预测的方法由此得来;在其他幂律的情况下,所乘的数将取决于你工作的精确分布。例如,对于电影票房,它正好是1.4。所以,如果你听到一部电影到目前为止已经赚了600万美元,那么你可以猜测,它总共将赚840万美元。如果它现在赚了9000万美元,那么可以预计的最高票房将是1.26亿美元。
[
上一页 ]
[ :1.700495964e+09 ]
[
下一页 ]