1701038382
第二节 概率和信息
1701038383
1701038384
几个世纪以来，科学家与数学家都在争论概率的含义。即便今天，仍然存在着不同学派的概率思想，通常简单表示为“客观派”与“主观派”。但是那些标签隐藏了次论据与技术上的细微的差别，使概率论成为一个数学与自然科学中最充满争议和困惑的领域。
1701038385
1701038386
多少有点令人吃惊，概率论的确是基于自然科学的基础，扮演着分析实验数据和理论检验过程中的核心角色。这就是科学所要做的一切。你会认为到如今他们已把问题全部解决。但是，建立科学的秩序有些类似为伊拉克建立一套宪法。研究科学的原理和方法纷繁复杂。事实上，科学（不像数学）不是建立在不可约规则的坚实基础上的。科学就像语法。语法是由使用该语言的本族人在创造词汇和联系词汇时发展出来的规律。一个真正的语法学家不会告诉人们他们应该怎么说，而是整理出人们实际上是如何说的。科学并不是烹调书，提供揭露自然奥秘的菜谱；科学源于方法的集合，成功诠释自然。这就是为什么科学不完全是实验，也不完全是理论，而是两者相互影响的复合体。
1701038387
1701038388
不过，归根结底，理论和实验必须紧密结合在一起，如果科学家对于自然的构想是有意义且有用的。那么在大多数科学领域里你需要数学来验证它们的结合。概率论就是实施检验的工具（对于如何实施检验的不同想法会导致不同的概率概念）。
1701038389
1701038390
在麦克斯韦之前，科学中的概率论主要局限于定量计算诸如测量错误等情况。拉普拉斯和其他学者展示了一种方法来评估在一个确切的置信度下，你的测量值和真实值之间相差多远。拉普拉斯自己运用此方法测量了土星的质量，并推断出真实的土星质量会偏离当前的测量值超过1％的情况只有一万一千分之一（1/11000）的发生概率（而结果是，当今最好的测量方法与拉普拉斯时代最好的方法精确度只相差0.6％）。概率论已经发展成为一个进行评估的相当精确的方法。
1701038391
1701038392
然而，概率本身究竟意味着什么？如果你问那些应该懂的人，你会得到不同的答案。客观主义派坚持认为，一个事件发生的概率是该事件本身的性质。你观察所有情况中事件发生的片断，并籍此测量出它的客观概率。另一方面，主观派的观点认为，概率是一种对于某事件可能会怎么发生的信念。主观派主张测量某事件多久发生一次得到一个频率，而非概率。
1701038393
1701038394
探究这两种论点相对优劣性的辩论并无意义。一些书籍却致力于这些争论，这与博弈论相当无关。事实是，今天流行的观点，至少是在物理学家中，是主观派方法包含了对科学数据进行合理评估的要素。
1701038395
1701038396
主观派统计学经常臣服在贝叶斯的名下。托马斯·贝叶斯是一名英国牧师，于1763年（在他去世后两年）发表的一篇文章中探讨了研究自然的方法。今天被人们熟知的贝叶斯定律的公式就是实践主观派统计学方法的核心之所在（尽管精确的定律实际上是拉普拉斯创立的）。无论如何，贝叶斯的观点在今天都被发扬光大，而且也有很多关于它应该如何被理解和应用的争论（也许是因为，毕竟它是主观的）。
1701038397
1701038398
但是，从实践的观点来看，客观派和主观派概率论的数学方法在任何基础层面上并没有实质性的区别，只是在理解上有差异。正如杰尼斯在半个世纪前指出的，只是在一些情况下使用其中一种而非另一种是因为感觉方便，或更合适些。
1701038399
1701038401
第三节 信息和无知
1701038402
1701038403
在他1957年的文章中，杰尼斯在概率的辩论中支持了主观派的观点。他认为，这两种观点，主观派和客观派，物理学都需要，但是对于一些类型的问题只有主观派方法能解决。
1701038404
1701038405
他争辩道，即便当你对感兴趣的体系一无所知、无从下手的时候，主观派 的方法仍然适用。如果给你一个装满了微粒的盒子，而你对它们毫不知情——不知道它们的质量，不知道它们的组成，也不知道它们的内部结构——你对它们的状态也不甚了解。你知道很多物理定律，但是你不知道对于这个体系该使用哪个定律。换言之，你对于这些微粒的状态的无知已经到达了顶点。
1701038406
1701038407
创立概率论的早期开拓者，如雅格布·伯努利和拉普拉斯，认为，在这种情况下，你必须简单地假设所有的可能性出现的概率是相同的——直到你有理由去做不同的假设。那么，这也许有助于计算，但是假设所有可能性出现概率相同有确实的（理论）基础吗？除了些可以肯定的情况，很明显两种可能性发生概率相同（像硬币有两面一样完美的平衡），杰尼斯说，很多其他的假设可能被同样证明是合理的（或者如他惯称的，任何其他的假设都是同样主观的）。
1701038408
1701038409
然而，借助了在当时来说相当新的信息理论，杰尼斯发现了一种应对这种情形的方法，那个理论正是贝尔实验室的克劳德·夏农（ Claude Shannon）创立的。夏农对如何量化通信很感兴趣，特别是发送信息；通过这种定量方式可以帮助工程师们找到使通信更有效率的办法（毕竟，他供职于一家电信公司）。他发现如果你将通信视作对不确定性的降低过程，那么数学方法就可以很精确地量化信息。在通信开始前，收到任何信息都是可能的，因此不确定性很高；当信息确实被接收后，不确定性就降低了。
1701038410
1701038411
夏农将这种数学方法广泛应用到任何一个信号传导系统中，从摩斯密码到烟雾信号。但是假设，例如你所想要做的就是发送给某人一条单字信息（这个字是从一本标准未删节的字典里选出的，大概字典里收录了50万字）。如果你告诉接收者这个信息中的单字来自该字典的前半部分，那么你就将这个字出现的可能性从50万字减少到了25万字。换言之，你将不确定性减半（这碰巧与一比特信息相符）。
1701038412
1701038413
基于信息降低不确定性的想法，夏农通过它来展示如何量化所有的通信。他发现了一个精确衡量不确定性的量的公式——不确定性越大，量就越大。夏农称其为熵，一个有意与统计物理学及热力学里使用的物理专业术语熵类似的概念。
1701038414
1701038415
物理学家使用的熵是用来度量物理体系混乱度。假设你有一个房间，里面包括分隔开的两个隔间，而且你在左边的隔间里放了100亿个氧分子，而在右边隔间里放了 400亿的氮分子。然后你移除隔间之间的分隔物。这些分子就会全部迅速混合到一起——更加无序——所以这个体系的熵就增加了。但是其他一些事也会随之发生——你不再知道这些分子在哪了。你对它们位置的无知随着熵的增大而增加。夏农展示出他计算通信中熵的公式——作为对无知或不确定性的量度——和统计物理学中描述微粒集合体中增加熵的公式完全如出一辙。
1701038416
1701038417
熵，换言之，与无知几乎等同。熵也是不确定性的同义词。信息理论提供了一种在概率分布中计算不确定性的新的精确的方法。
1701038418
1701038419
因此，当你对于你要研究的体系中的概率一无所知的时候，这里有一条线索指引你该如何去做。选择一个使熵值最大的概率分布！最大熵意味着最大的无知，而且如果你什么都不知道，无知就被限定为最大。假设出最大熵/无知不仅仅是假设；它是对你所处情况的真实陈述。
1701038420
1701038421
杰尼斯提出，这个最大无知的概念应该被提升到作为科学地描述任何事物的基本准则的层面。以他的观点，统计物理学本身便成为对于一个体系进行统计推论的系统。通过使用最大熵的方法，你仍可以使用所有统计物理学提供的计算规则，而无需在基本物理学方面假设任何前提。
1701038422
1701038423
特别地，你现在能够证明这个观念，即所有的可能性出现的概率都是等同的。整体思想为，没有任何一种概率（只要是遵守物理定律的）会被排除。你所获得的信息中没有被明确排除的任何情况都将被视为存在发生的可 能（在标准的统计物理学中，这种特征是无需证据而简单地被假设出的——整体的概率分布基于所有的分子均遵循各自的可能运动状态的概念）。而且，如果你一无所知，你不能说任何一个概率相较于另一个概率更可能出现——这是常识。
1701038424
1701038425
当然，如果你了解一些关于概率的知识，你可以将其融入你使用的概率分布去预测将来的未知。但是如果你对此一无所知，那供你用来预测将来的未知的就只剩一种概率分布了：这就是最大熵、最大不确定性、最大无知。毕竟，这种做法还是有意义的，因为一无所知，事实上，即最大无知。
1701038426
1701038427
听起来有些神奇，即使对面前的物体或人一无所知，你仍然可能做出预测。当然，你的预测可能不一定正确。但是，那仍然是当你不知从何做起时，你所能做的最好预测，你所能找寻的最近似的答案。
1701038428
1701038429
“概率分布将受制于某些限制的熵最大化，这成为解释分布推理使用的关键，”杰尼斯写道，“无论结果是否符合实验，它们仍然代表基于可用信息所能做的最佳预估。”
1701038430
[
上一页 ]
[ :1.701038381e+09 ]
[
下一页 ]