1701018680
2.划时代的贡献
1701018681
1701018682
1948年，仙农发表了那篇划时代的论文——《通信数学理论》。该文的主题是要用数学方法确定通信线路的信息带宽和所传信号的信息量，以保证所设计的线路能够在排除噪声干扰的同时顺利地传送有关信号。为此，仙农给出了两个重要的定义：信息的基本单位和信息熵。
1701018683
1701018684
信息的基本单位是二进制数的位，称为比特（bit）；如果一条通信线路每秒能传送N位二进制数，则该线路的通信带宽就是N/s（比特每秒）。
1701018685
1701018686
其中bit取自英文“二进制数位”（binary digit）的缩写。仙农指出，任何一个具有两种状态的事物，比如说继电器或开关电路，正好能够储存1比特信息。
1701018687
1701018688
1701018689
信息熵的定义 假设在一个概率空间中包含有n件可能事件，它们的发生概率分别是p1，p2，…pn，则定义这些事件的熵为信息熵是描述信源本身统计特性的一个物理量。它是信源的平均不确定度，是信源统计特性的一个客观表征量。不管是否有接收者它总是客观存在的。信息量则往往是针对接收者而言的，所谓接收者获得了信息，是指接收者收到消息后解除了对信源的平均不确定度，它具有相对性。因此，接收的信息量在无干扰时，在数值上就等于信源的信息熵。
1701018690
1701018691
这里，我们不妨联系具体情形做一些解释。中国古代的烽火台（图9.4.2），它能传送两种情况：燃烽火或不燃（相当于1，0）。在没有干扰的情形下，很自然地认为它能够传送1比特的信息量。我们用以2为底的对数加以描写：log22=1。如果有两个烽火台，燃烽火分别表示“敌人来”和“要补给粮草”。那么总共可以可以表达四种情况：
1701018692
1701018693
（1）敌人来，要补给；
1701018694
1701018695
（2）敌人来，不要补给；
1701018696
1701018697
（3）敌人不来，要补给；
1701018698
1701018699
（4）敌人不来，不要补给。
1701018700
1701018701
于是，两个烽火台传送的四种情况，相当的信息量是：log2 4=2（比特）。天才的仙农把信息量和概率联系起来，引入了信息熵的概念。事实上，上述的烽火台可传送的信息量，只在敌人可能来和不来的可能性差不多的情况下才有效。比如，当周幽王为博“褒姒一笑”，随便燃烽火，燃烽火的概率很大了，不稀奇了，传送的信息量也就小了。俗话说“狗咬人”不是新闻，“人咬狗”发生的概率小，才是新闻。仙农的论文里提到：“今天太阳升起”没有多少信息量，“今天日食”则有信息量。隔壁的先生上班去了，没有信息量，隔壁先生如果离婚了，则有一些信息量。于是，仙农指出，事件发生的概率p（E）大，则传送此事件后，接受者能够消除不确定性的量（信息熵） H（E）就会小。这就有信息熵的定义，仍采用以2为底的对数，对各种可能事件发生的概率的对数，乘上相应的概率，加一负号，可以反映这是一个平均不确定性的度量。
1701018702
1701018703
1701018704
1701018705
1701018706
▲ 图9.4.2 长城上的烽火台，古代用于传送军情
1701018707
1701018708
例如，假定敌人来的概率是1/2，那么不来的概率也是1/2，信息熵定义为
1701018709
1701018710
1701018711
1701018712
1701018713
如果没有干扰，接受者获得的信息量就是信息熵，等于1。
1701018714
1701018715
仙农指出，信息熵刻画了这些可能事件的不确定程度：当其中有一件是确定性事件（即发生概率为1），则其他都是不可能事件（发生概率为0），此时的熵值最小，等于0；当这些事件发生的概率相等（即都为1/n），则此时的熵值最大，等于lg n。所以在等概率可能事件的情况下，其不确定程度最大；并且可能的选择越多（即n越大），则不确定性越大。仙农进一步指出，信息熵与统计力学中的热学熵之间有联系。
1701018716
1701018717
仙农利用以上所给出的定义，成功地解决了有关线路带宽、信号传送和噪声干扰之间关系的一系列问题，由此奠定了现代通信理论基础。
1701018718
1701018719
3.文字与二进制数码
1701018720
1701018721
由于仙农率先把信息量与二进制数的“位”联系起来，这就启发了人们把各种信息转化成二进制数的形式。
1701018722
1701018723
例如，作为文字信息数字化的基础，美国国家标准协会（ANSI）于1968年公布了“美国信息交换标准码”（American Standard Code for Information Interchange，简称ASCII码），其中包括了26个英文字母的数字化表示；中国国家标准局则于1980年了公布《信息交换用汉字编码字符集——基本集》（GB2312-80），其中收录了6763个简体汉字数字化表示；1995年，全国信息技术标准化技术委员会公布的《汉字内码扩展规范》（简称GBK），收录了2万多个汉字的二进制数表示。
1701018724
1701018725
图像、声音和影视信息的数字化要比文字信息的数字化更困难。特别是影视信息，如果直接用二进制数来表示，那么产生的数据量之大，会给进一步处理和利用带来许多麻烦。为此人们设计出各种数据压缩技术，使影视信息的数字化数据量大大减少。而数据压缩所依据的原理就是仙农提出的“信息熵”：因为一幅图像中以及两帧影视图像之间的数据存在明显的相关性，这说明全部数据的“不确定性”即“熵值”远非看上去那么高，所以能够在保持信息完整的同时，用少得多的二进制数来表示它们。
1701018726
1701018727
信息转化成二进制数之后，就可以让功能强大的电子计算机来处理，因为由无数的电子开关电路组成的计算机可以飞快地进行二进制数的运算；数字化信息能够通过通信网络传输，因为通信网络可以发送电子脉冲信号来传输二进制数；数字化信息能够储存在各种磁盘和光盘中，因为磁盘可以通过充消磁而光盘可以通过激光打洞来表示大量的二进制数。
1701018728
1701018729
当以上的一切都成为现实之后，信息时代（或叫做数字时代）就来临了。