1700506594
1700506595
1700506596
1700506597
其中，x代表某一信源，P(xi)代表xi消息产生的概率。
1700506598
1700506599
这个公式通过换算可以知道，哈特莱提出的I=log2m实际上是消息产生概率均等情况下的信息熵的特例。对于一个信源，它产生的消息中如果有某些产生的概率极大，就说明这种消息包含的信息量少；反之，产生概率极小的消息所包含的信息量就大。这种理解带来的深远影响，在后文中会有很多地方有所体现。
1700506600
1700506601
1700506602
1700506603
1700506604
数据科学家养成手册 [:1700503563]
1700506605
数据科学家养成手册 9.3 香农公式
1700506606
1700506607
在通信过程中，信道里的信号由于干扰问题，所以永远都存在误传的概率，这给远程通信带来了困扰。香农通过研究解决了一个非常重要的问题，那就是即使在有一定量噪声的信道环境中，通过对编码的调整，仍然可以获得没有误传的信号，并留下了传世的“香农公式”。
1700506608
1700506609
1700506610
1700506611
1700506612
其中，C是信道容量；B是码源速率的极限值，B=2H，H为信道带宽，单位是赫兹；S是信号功率，单位是瓦特；N是噪声功率，单位是瓦特。
1700506613
1700506614
这个公式定量地揭示了，在噪声功率是N，信号功率是S，带宽是2H的情况下，最大信息传输速率C的计算方法。不要小看这个公式，它为后来制造满足国际通信标准的同轴电缆、以太网线、光纤，以及解决如何基于这些介质进行编码和纠错的问题，提供了坚实的理论基础。
1700506615
1700506616
以我们常用的Wi-Fi信号802.11n为例，所用的频带是2.422～2.462GHz，共40MHz带宽。在信噪比较好的情况下，例如4.2dB(3)，可以这样计算：
1700506617
1700506618
1700506619
1700506620
1700506621
这是在40MHz带宽下802.11n协议的带宽上限值。
1700506622
1700506623
如果发生信噪比降低的情况，例如背景噪声比较大，实际的传输速度就无法达到这个值，这时通常要加入一些冗余信号来进行信道纠错。
1700506624
1700506625
1700506626
1700506627
1700506628
数据科学家养成手册 [:1700503564]
1700506629
数据科学家养成手册 9.4 数字信号
1700506630
1700506631
前面我们提到过，在有了数字信号以后，数据传输中的抗干扰能力和加密能力都变强了。
1700506632
1700506633
先说抗干扰能力。在原先的模拟信号传输中，如果信道中有信号干扰，就会直接作用于信号，这对接收端而言就变得很麻烦，因为信号经过干扰已经发生了变形，也就无法得知原来发送的正确信号是什么了。
1700506634
1700506635
虽然数字信号在信道底层是以和模拟信号“无差别”的方式传输的，但因为数字信号有一定的编码规则，所以可以在传输过程中通过冗余信息来纠错。这种方式以在使用Modem于电话线上传输数字信号的场景中尤为典型。高频的计算机数据信号经过调制后，以小于等于56kbps的速率通过载波带宽为3～8kHz的电话信道传输（如图9-4所示）。
1700506636
1700506637
1700506638
1700506639
1700506640
图9-4 使用4P4C的56kbps调制解调器
1700506641
1700506642
在这种传输中，如果存在干扰，的确有可能使余弦载波在传输的过程中失真，进而导致接收端的误判，即在信噪比较低的情况下把1判断成0或者把0判断成1。为了让通信更为可靠，在保证信息传播不失真的情况下就需要加入一些冗余信息来纠错。例如，在传输一个8bit数字的时候，实际编码只占7位，留1位纠错。
1700506643