1703442363
这些压缩项目的成功说明信息就像海绵——大部分都是“空气”，只有少量“物质”。只要你保存好其中的物质，就可以将空气挤出去。
1703442364
1703442365
香农的前辈们想要解决的问题是：信息中的“物质”，也就是不能被去除的必要部分是什么？大多数人认为是信息的“含义”。除了“含义”以外，信息中的任何东西都可以去掉。如果没有含义，那么也就没有通信的必要了。
1703442366
1703442367
香农则提出了最激进的观点，他认为含义是无关紧要的。用拉普拉斯（Laplace）的话解释，也就是含义只是一种假设，香农并不需要。香农认为信息反而是与“随机性”相关。这不仅是因为噪音会随意扰乱信息。只有当发送者所说的是接收者原本不知道并且无法预知的信息时，信息才有存在的意义。因为真正的信息是无法预知的，本质上只是一系列随机事件，就像赌博轮盘的旋转或者骰子的滚动一样。
1703442368
1703442369
如果把含义从香农的理论中去除，那么存在于每条信息中不能压缩的物质到底指的是什么呢？香农的结论是这种物质可以用统计学术语来表述。这种物质只与信息符号的不可预知程度有关。
1703442370
1703442371
前阵子，一家电话公司的广告中向人们展示了由于手机噪音而引起的诙谐的误会。一个农场主打电话订购200头牛（oxen）。由于音质不好，对方没有听清，他最后收到200只达克斯猎狗（dachshund）——猎狗根本无法拉犁耕地。还有一个妻子给上班的丈夫打电话，让他回家时带瓶洗发水（shampoo），结果他带回来一头杀人鲸（shamu）！
1703442372
1703442373
或许我们还没意识到，在理解这些广告的幽默之处时，我们其实已经认同了香农的观点。试试分析一下杀人鲸广告中发生的事情：①妻子说“买瓶洗发水”。②丈夫听成了“买头杀人鲸”。③丈夫结束通话，说了声再见，然后回家路上买了一头杀人鲸。
1703442374
1703442375
只有第三个行为是荒谬可笑的。之所以荒谬，是因为“买头杀人鲸”这条信息出现的可能性极低。在现实对话中，我们总是努力猜透彼此的意思。我们对对话发生地点、接下来可能会说的话以及哪些是完全不合逻辑的推论等的认知总是在不断更新。两个人的联系越紧密（人际关系或者文化），推测就越容易。一对结婚很久的夫妇可以把对方想说的话补充完整。儿时最好的朋友之间可能发送的信息里只有三个字，也能让对方兴奋得歇斯底里。
1703442376
1703442377
与陌生人或者不了解你的文化的人说话时使用简略的表达方式是非常不明智的。当传达的是无法预料的信息时，即使接收者是自己的配偶，简明的表达方式也是行不通的。
1703442378
1703442379
假设你真的想让你的配偶买回家一头杀人鲸，你也不能只说“买头杀人鲸”，你需要进一步解释原因。信息的不可能性越高，“可压缩性”就越低，需要的带宽就越多。这就是香农的观点：信息的精华在于其“不可能性”。
1703442380
1703442381
香农不是第一个如此给信息下定义的人。他的两个最重要的前辈都是20世纪20年代在贝尔实验室工作的科学家：哈利·奈奎斯特（Harry Nyquist）和拉尔夫·哈特利（Ralph Hartley）。香农上大学时曾读过哈特利的论文，高度称赞其“对我的生活有重要的影响”。
1703442382
1703442383
随着这些想法的发展，香农需要给信息中这些不可压缩的物质起个名字。奈奎斯特曾用“情报”（intelligence）来表示，哈特利用的是“信息”（information）。在早期的论文中，香农更倾向于奈奎斯特的用词。“情报”暗含军事情报含义，正好符合这项与密码有关的研究工作。“情报”还暗指“含义”，然而，香农的理论恰恰于含义无关。
1703442384
1703442385
普林斯顿高等研究院的约翰·冯·诺依曼建议香农采用“熵”（entropy）这个词。“熵”是一个物理学术语，宽泛地讲就是表示随机性、无序性或者不确定性程度的函数。熵的概念源自蒸汽机的研究。据了解，要想将所有随机热能都转化成有用的能量是不可能的。蒸汽机运行时需要有温度差（热蒸汽将活塞推向冷却空气）。随着时间的变化，温度差会渐渐消失，蒸汽机便会停止工作。物理学家将其描述为熵的增加。著名的热力学第二定律中说，宇宙的熵值一直在增加。事物会停止运动、分裂，然后殆尽。
1703442386
1703442387
冯·诺依曼告诉香农如果采用“熵”这个词，将让别人无力质疑，因为没有人真正了解“熵”的含义。冯·诺依曼的建议并不完全是随口一说。物理学中熵的方程式形式和香农理论中信息的方程式形式一致（都是概率测度的对数）。
1703442388
1703442389
香农采纳了冯·诺依曼的建议。他既采用了“熵”这个词，也采用了这个词常用的代数符号“H”。后来香农给自己在马萨诸塞州的家起名叫“熵之屋”（Entropy House）——所有看过房子室内的人都会认为这个名字非常贴切。
1703442390
1703442391
罗伯特·法诺说：“我不喜欢信息论（information theory）这种叫法，克劳德也不喜欢。”但事实证明人们对“信息”这个词实在太着迷，因此连信息内容的概念也用信息这个词来表示了。
1703442392
1703442393
1703442394
1703442395
1703442397
赌神数学家：战胜拉斯维加斯和金融市场的财富公式 赶时髦
1703442398
1703442399
香农的成就远远超越了他的前辈们。他的研究成果震惊了所有人，当时就像神奇的魔术一样，现在依然如此。
1703442400
1703442401
他的其中一项发现是：通过给信息编码的方式可能将一个通信通道的全部容积充分利用。这一点令人震惊，因为实践中还没有人能够实现类似这样的效果。没有一种传统代码（摩尔斯电码、美国信息交换标准码、简明英语）能够像信息论中所说的如此高效。
1703442402
1703442403
这就好比你要把保龄球装进橘子筐里。你会发现无论你怎么安排保龄球，筐子里还是会有很多空隙，对吗？想象一下紧密摆放保龄球使所有空隙都被填满——筐子里的空间全部被保龄球占满，就保龄球和筐子而言你无法做到这一点，但是香农说信息和通信通道之间可以做到。
1703442404
1703442405
另外一项出人意料的发现与噪音有关。在香农之前，人们认为通过耗费更多的带宽或许可以将噪音降到最低。举例来说，你可以采取预防措施，一条信息发送三遍（买洗发水—买洗发水—买洗发水）。或许另外一个人接收到的信息是：买洗发水—买杀人鲸—买洗发水。通过对比这三个版本，接收者可以确定信息并纠正大多数噪音导致的错误。这样做的缺点是耗费了三倍带宽。
1703442406
1703442407
香农证明你可以鱼和熊掌兼得。对信息进行编码使噪音导致的错误如你所愿降到最低，无论通道多么嘈杂，而且不必耗费额外的带宽，这一点是可以实现的。这一论断挑战了世世代代工程师们的认知常识。罗伯特·法诺评论道：
1703442408
1703442409
让噪音导致的错误概率降到你希望的那么低？从未有人如此想过。他是怎么想到这一点的呢？他是如何开始相信这样的事情的呢？我不知道。但是，几乎所有现代通信工程都是建立在那项研究基础之上。
1703442410
1703442411
起初很难想象怎么将香农的研究结果付诸实践。20世纪40年代时，没有人能够想象出有一天人们边逛超市边用手机打电话的情景。贝尔实验室的约翰·皮尔斯曾怀疑此理论的实际应用价值。皮尔斯建议还是使用更多带宽资源来达到更好的信息传输效果。使用电子编码需要用计算机，与计算机所需的动力相比，安装电缆更加便宜。
1703442412
[
上一页 ]
[ :1.703442363e+09 ]
[
下一页 ]