1.2.1　信息論的早期醞釀

在人類文明的早期，就已經知道可利用信息或信息傳遞等手段來達到某種目的。例如，古代的烽火臺就是用烽火來傳遞外敵入侵的信息。但是，大量信息的運用還是在有線、無線電通信產生以后。20世紀初，信息論進入了早期醞釀階段。為了提高通信的質量與效率，人們開始從物理和數學兩個方面考慮問題。在物理上，主要研究和改進了通信的物理手段和條件，如不同通信方式（如有線、無線）的采用、發射與接收設備的改進、波段的選擇與信噪比的提高等。在物理技術改進的同時，人們也發現數學理論和工具的使用變得十分重要，通信中的許多問題如果沒有數學的描述就無法說明。到20世紀40年代，信息論的一些基本問題開始形成。

1．早期編碼問題

在有線、無線電通信產生時，編碼技術也隨之產生。早期的編碼有莫爾斯（Morse）碼和波多（Bodo）碼等，它們通過“點”“劃”和“空”等信號表示文字。這些碼雖然原始，但實現了從文字到通信信號的重大轉變。莫爾斯碼和波多碼是最早的編碼方式。中文通信一直采用電報碼方式，先將漢字變成數字，再用電碼發送。

2．通信的有效性和可靠性

隨著通信距離的加大，出現了信號強度的衰減與噪聲干擾等問題。因此，如何克服噪聲干擾就成為通信技術中迫切需要解決的問題。為了解決該問題，人們開始對通信中的各種因素加以分析，結果發現頻帶的加寬可以提高通信效率，而且它的作用比信號強度更為重要。同時又發現在通信技術中，通信的數量與質量存在相互制約關系，例如，犧牲通信的數量可以達到提高通信質量的目的。這種概念雖然符合人們日常生活的經驗（如重復多次說話的內容可讓對方聽得更清楚），但是無法給出理論上的解釋。直到20世紀20年代，奈奎斯特（H.Nyquist）與哈特萊（L.Hartley）提出了解決以上問題的一系列方法，證明了信息傳遞的速率與帶寬成正比，信息的度量與信號的概率分布有關以及可采用對數函數形式對信息大小進行衡量等結果，這些研究成果的出現為香農信息論的建立奠定了基礎。

3．香農熵的其他產生途徑

20世紀40年代，控制論的奠基人維納（N.Wiener）和美國統計學家費希爾（E.Fisher）與香農同時提出信息的一種度量方式，即信息熵的定義。由此說明，信息論的前期醞釀已經成熟。

4．糾錯與檢錯碼的產生

在信息論發展的同時，糾錯、檢錯碼的概念也在逐步形成。人們發現由“點”“劃”和“空”等信號所構成的碼可形成一定的結構，由這些結構可增加抗干擾能力。實際上，抗干擾的碼就是一種有糾錯能力的碼。