1701018658
数学文化教程 [:1701013770]
1701018659
数学文化教程 第四节 开创数字时代：仙农创立信息论
1701018660
1701018661
21世纪是信息时代，也被称为数字时代，因为这一时代的基本特征就是信息的数字化：各种信息被转化成一串串二进制数，它们储存在光电磁介质中，然后由功能强大的计算机处理，并通过四通八达的通信网络传送，使我们的世界发生奇妙的变化。
1701018662
1701018663
数字时代已经给我们带来那么多梦幻般的变化，并且还在继续制造更多神奇。而所有这一切的起源，都要追溯到一位名叫仙农的美国人和他所创立的信息论。
1701018664
1701018665
1.从“开关代数”起步
1701018666
1701018667
仙农（Claude Elwood Shannon，1916—2001，图9.4.1）出生于美国密歇根州佩托斯基（Petoskey）镇。“佩托斯基”之名源于当地印第安土著语，意谓“曙光”；这个坐落在密歇根湖边上的美丽小镇，常被美国作家海明威当作一些小说故事的发生地。仙农的父亲是商人，曾经做过一段时期的法官；母亲是中学语文教师，当了几年校长。仙农小时候喜欢机械和电子，制作过模型飞机和遥控小船，甚至做了一套能工作的收发报机。他学习成绩最好的科目是数学。读书空余时间，靠送电报和修收音机赚零花钱。
1701018668
1701018669
1701018670
1701018671
1701018672
▶ 图9.4.1 老年时期的仙农
1701018673
1701018674
1932年从母亲的中学毕业后，仙农考进密执安大学。4年后取得了电气工程和数学双学士学位。然后他来到著名的麻省理工学院，在电气工程系一边做助理研究员一边读研究生课程。1938年获电气工程硕士学位，其学位论文的题目是《继电器与开关电路的符号分析》，此文获得了美国工程师学会的“诺博奖”，当时有人称赞它“可能成为20世纪最重要和最出名的硕士论文”。
1701018675
1701018676
仙农在论文中首次证明了，“布尔代数”中关于“真值函数”[2]的“与”、“或”、“非”逻辑运算，与只有“0”和“1”两个数字符号的“二进制数”算术运算等价；而且可以用布尔代数中的“真”、“假”值或二进制数中的“0”、“1”数字，来表示继电器或电路的“开”、“关”状态；反过来，也可以用后者的开关状态来表示真值函数或二进制数。根据这一结果，他成功地运用布尔代数和二进制数运算的方法简化了继电器和开关电路系统的设计；同时指出，也可以反过来，用继电器和开关电路系统来解决布尔代数或二进制数运算问题。仙农的这些工作开创了一个叫做“数字电路”（也叫“逻辑电路”或“开关电路”）的新电子技术领域。该领域是将来设计各种自动控制系统和制造电子计算机的技术基础，也为后来信息论的创立埋下了伏笔。
1701018677
1701018678
1940年，仙农在麻省理工学院获得数学博士学位，学位论文题目是《理论遗传学代数》，其中试图建立一种描述生物染色体上基因排列和遗传规律的代数方法。随后，他加入了著名的美国电话电报公司贝尔实验室。在第二次世界大战期间，他主要为军方设计火炮控制系统和研究密码学。这两类工作均涉及数据或信息的传送、转换、破解、分析和利用，对它们的研究帮助仙农形成了他的革命性思想。
1701018679
1701018680
2.划时代的贡献
1701018681
1701018682
1948年，仙农发表了那篇划时代的论文——《通信数学理论》。该文的主题是要用数学方法确定通信线路的信息带宽和所传信号的信息量，以保证所设计的线路能够在排除噪声干扰的同时顺利地传送有关信号。为此，仙农给出了两个重要的定义：信息的基本单位和信息熵。
1701018683
1701018684
信息的基本单位是二进制数的位，称为比特（bit）；如果一条通信线路每秒能传送N位二进制数，则该线路的通信带宽就是N/s（比特每秒）。
1701018685
1701018686
其中bit取自英文“二进制数位”（binary digit）的缩写。仙农指出，任何一个具有两种状态的事物，比如说继电器或开关电路，正好能够储存1比特信息。
1701018687
1701018688
1701018689
信息熵的定义 假设在一个概率空间中包含有n件可能事件，它们的发生概率分别是p1，p2，…pn，则定义这些事件的熵为信息熵是描述信源本身统计特性的一个物理量。它是信源的平均不确定度，是信源统计特性的一个客观表征量。不管是否有接收者它总是客观存在的。信息量则往往是针对接收者而言的，所谓接收者获得了信息，是指接收者收到消息后解除了对信源的平均不确定度，它具有相对性。因此，接收的信息量在无干扰时，在数值上就等于信源的信息熵。
1701018690
1701018691
这里，我们不妨联系具体情形做一些解释。中国古代的烽火台（图9.4.2），它能传送两种情况：燃烽火或不燃（相当于1，0）。在没有干扰的情形下，很自然地认为它能够传送1比特的信息量。我们用以2为底的对数加以描写：log22=1。如果有两个烽火台，燃烽火分别表示“敌人来”和“要补给粮草”。那么总共可以可以表达四种情况：
1701018692
1701018693
（1）敌人来，要补给；
1701018694
1701018695
（2）敌人来，不要补给；
1701018696
1701018697
（3）敌人不来，要补给；
1701018698
1701018699
（4）敌人不来，不要补给。
1701018700
1701018701
于是，两个烽火台传送的四种情况，相当的信息量是：log2 4=2（比特）。天才的仙农把信息量和概率联系起来，引入了信息熵的概念。事实上，上述的烽火台可传送的信息量，只在敌人可能来和不来的可能性差不多的情况下才有效。比如，当周幽王为博“褒姒一笑”，随便燃烽火，燃烽火的概率很大了，不稀奇了，传送的信息量也就小了。俗话说“狗咬人”不是新闻，“人咬狗”发生的概率小，才是新闻。仙农的论文里提到：“今天太阳升起”没有多少信息量，“今天日食”则有信息量。隔壁的先生上班去了，没有信息量，隔壁先生如果离婚了，则有一些信息量。于是，仙农指出，事件发生的概率p（E）大，则传送此事件后，接受者能够消除不确定性的量（信息熵） H（E）就会小。这就有信息熵的定义，仍采用以2为底的对数，对各种可能事件发生的概率的对数，乘上相应的概率，加一负号，可以反映这是一个平均不确定性的度量。
1701018702
1701018703
1701018704
1701018705
1701018706
▲ 图9.4.2 长城上的烽火台，古代用于传送军情
1701018707