1700964819
包括我在内的很多物理学家在第一次遇到贝叶斯概率时通常都会大吃一惊。谈论“置信程度”似乎和物理学传统的观念完全不相容。物理学家往往都会觉得“自然伟大的定律”与主观意识或者个别代理人的信赖毫不相干。相反,频率主义虽脱离现实世界,却成为枯燥无味的学术演讲和课本中的基本内容。贝叶斯理论认为概率能预言单个事件的观测量,频率论者则拒绝接受,他们认为,当为将来的行为做决定时,概率是不相关的。当我看到天气预报说今天下午会有70%的概率下雨时,其实并没有告知我下午一定会发生什么,天气预报并没有帮助我决定是否带雨伞或者什么时候离开家。事实上,天气预报确实是有用的,可以将70%的预测理解为我对下午会发生的事情的“置信程度”,而且天气预报确实影响了我的决定。
1700964820
1700964821
如果将物理学看作人类史诗般的冒险而非收集一些枯燥的事实,那么物理学家也需要不断地做出决定,而且他们的决定是基于已有置信程度。每次评估数据,每次开始新的计算,实验中的每次决定、每次争论和每次下结论,旅途中的每一步都需要在许多选择中做出决定。对单个事件的概率的估计在其中起到重要作用。
1700964822
1700964823
贝叶斯概率和频率论的最大区别莫过于概率的变化。个人的置信程度的变化也就意味着赋予概率的值也会不同。频率论概率一旦定义就不再会变化,抛硬币就是最好的一个例子。但是贝叶斯概率则与人的思想有关,是可以不断变化的。因此除了帮助做决定外,贝叶斯概率也会不断地修正。这种可塑性也正是贝叶斯概率起初的出发点。当获得了新的证据,修改了之前的置信程度时,贝叶斯概率就会发生相应的变化,贝叶斯定理就是反映概率变化的数学描述(回想一下上一节中对那个赌徒我为何改变自己的主意)。
1700964824
1700964825
设想你知道或者假设某个特定事件发生的概率的大小,之后你偶然获得了新的相关的信息,例如,一个新的实验结果或者一些不可预料的新内容。贝叶斯定理告诉你的正是下面这个问题的答案:新的信息是如何改变你的概率估计的?
1700964826
1700964827
贝叶斯定理的价值在于它数学上的严格性。概率即置信度,和“事实”不同,它是可塑的。但是概率和新的信息怎么组合在一起产生一个修正的概率呢?这个步骤由数学公式决定,和勾股定理一样直接且毋庸置疑。
1700964828
1700964829
下面举个例子来说明这个定理。设想有一种癌症,在大众中发病率为0.5%,也就是说平均两百个人中有一个人患有该病。再假设一项新的血液化验能以99%的准确度检测你是否患有此病。医生怀疑你患有此病,因此采集了你的血液样本,并送去检测。几天以后,他打电话告诉你化验结果已经出来,是阳性。
1700964830
1700964831
那么你确实得了这种癌症的概率是多少呢?你应该对此有多担心呢?考虑到这种化验是十分可靠的,你是否应该设想最坏的结果?此时你是否应该通知朋友和家人?你是不是应该再去做其他的测验?你又该如何通过合理评估自己的机会来平复自己越发焦虑的心情?是否存在微弱的希望——你并没有得癌症,只是化验结果是错误的,通常称之为假阳性?
1700964832
1700964833
贝叶斯定理提供给我们一种有序的方法来思考这些问题。它涉及四种不同的概率,每一种都可以表示为0和1之间的数字或者百分比。我们将新的信息,即化验结果为阳性,记成加号+,这个问题中的事件E,即你确实患有该病,记为一个表情符号L。“阳性的结果意味着你确实患有癌症”这句话的置信度对应的数字记为p(+→L)。这就是你应该寻求的数字,这个概率左右着你的感觉。
1700964834
1700964835
第二种贝叶斯定理涉及下面这个事件的概率:给所有人都做了这种化验,且结果都为阳性。我们将它记为p(+)。
1700964836
1700964837
我们还需要第三种概率,记为p(L),它对应着做测验前你得癌症的概率。这只是开始我们提到的这种癌症在大众中的发病率,即0.5%。
1700964838
1700964839
第四种概率是整个计算中的关键。我们将它记为p(L→+)。或许你已经从记号中看出,它在某种程度上是第一种概率的反转。它对应“你确定自己患有这种癌症,化验结果为阳性”的概率。注意,不是“如果我的化验为阳性,那么我确实患有这种癌症的概率是多少”,而是“如果我确实得了癌症,那么化验结果是阳性的概率是多少”混淆这两类问题会产生很多误会。“大多数罪犯都是男性”和“大多数男性都是罪犯”这两个表达的意义是完全不同的,那两个问题的区别也与此类似。
1700964840
1700964841
现在我们已经有了贝叶斯定理的构件。贝叶斯定理就是下面这个简单的等式。
1700964842
1700964843
p(+)×p(+→L)=p(L)×p(L→+)
1700964844
1700964845
直观地看,它非常容易理解。将上面的概率写成百分比的形式,它表达的是一个显然的事实。在所有人中,找出化验结果为阳性的人p(+),在这些人中再筛选出那些确实得了该癌症的人p(+→L)。或者,你可以用另外一种方式,先选出那些确实得癌症的人p(L),在这些人中再筛选出化验结果为阳性的人p(L→+)。两种不同的方式你最终筛选出来的都是同一群人,即那些得了该癌症且测量结果为阳性的人。
1700964846
1700964847
下面我们用具体数字计算。
1700964848
1700964849
这种癌症的发病率为p(L)=0.5%。等式右边的第二项p(L→+)估算的是一个人得了该癌症,化验结果为阳性的可能性。由于这个化验是如此的可靠,可以用p(L→+)≈100%作为很好的近似。当你的医生打电话告诉你坏消息时,正是这个数字引起你的焦虑。知道这个化验是几乎百分之百的准确,大多数人直觉上都会感到阳性的化验结果几乎肯定意味着确诊患有该癌症。但是他们都错了!
1700964850
1700964851
最诡异的是公式中的p(+),它反映的是在人群中做化验后结果为阳性的概率。0.5%的人确实患有该癌症,因此他们的化验结果极有可能为阳性。但是健康人群(整个人群的绝大多数)中的1%会不幸得到一个错误的化验结果——假阳性,因此整个人群的化验结果为阳性的比例p(+)≈1.5%。
1700964852
1700964853
将上面的数字带入等式,左右两边同时除以p(+)。那么在知道你的化验结果为阳性时,你患病的概率为p(+→L)≈0.5%×100%/1.5%=100%/3≈33%。(注意中间一步分子分母中出现的两个%消掉了)。贝叶斯定理告诉你患病的概率只有大约1/3。统计数据告诉你患该病的概率是0.5%,而化验结果本身则暗示你患病的概率是100%,但贝叶斯定理的结果则是一个合理的折中。真叫人宽慰!你需要明智地再做一次化验。由于不太可能恰好两次都是假阳性,重复化验会极大地降低不确定性——更好的结果或者更坏的结果。
1700964854
1700964855
1700964856
1700964857
1700964858
图2.2
1700964859
1700964860
下面这个被奇怪分割的饼状图描绘的是群体数为1万人的真实统计数据,从中你可以得到(大概)的百分比。被标记49和99的那两部分都是化验结果是阳性的人群。由于你在这两类中的其中一种内,但是你并不知道在哪个人群中(见图2.2),因此你患病的概率是1/3,这正是贝叶斯定理预言的结果。对于更一般的情况,+可以用I代替,意思是新的信息,表情符号L用E,意思是某事件。做了这些替换之后,再将等式两边同时除以P(I),我们就得到了贝叶斯定理的常见的形式:
1700964861
1700964862
p(I→E)=p(E)×p(E→I)/p(I)
1700964863
1700964864
在某种程度上来说,这两个条目组成了汉堡的牛排和芝士,而另外两个则组成了汉堡的小面包。等式右边第一项p(E)指没考虑新的信息I时事件E发生的概率。由于这个原因p(E)也被称为先验概率(prior probability)。有时它只是开始不知情状况下的一个猜想,我们期待着反复使用贝叶斯定理可以不断改善它。等式左右边的p(I→E)指事件E在获取新的信息I之后修正过的新(或者后验)概率。另外两项则影响着修正过程。通过简单的规则不断修正先验概率是贝叶斯概率的核心[3]。
1700964865
1700964866
在上面那个癌症例子中,接到医生的电话之前你自己对患病概率的估计——先验概率——是0.5%。知道化验结果之后,你担心自己患病概率几乎上升为100%,这也是不正确的。贝叶斯定理显示这个概率被修正为33%。
1700964867
1700964868
贝叶斯定理的强大之处在于它能够将不同来源的信息组合起来。频率论除了对一些均匀的数据集合外很难做到这一点。上面的例子中先验概率源于人群中大规模的统计研究,然而癌症化验的准确性大概是基于一些特定的临床试验。贝叶斯定理的计算不仅可以利用一些数据资料,甚至历史或者直觉都能帮助代理人选择先验概率然后不断修正。上一节那个会堂中的赌徒例子,据说他连续100次都是正面向上,因此我才会决定不和他赌博,这说明了现实生活中引入新的信息并改变相应的概率估计是非常有用的,只要把概率定义为置信程度。
[
上一页 ]
[ :1.700964819e+09 ]
[
下一页 ]