1.2　什么是信息論

在通信過程中，信息如何被度量，如何保證信息的有效傳輸，以及如何保證信息在有噪聲的信道中可靠地傳輸，這些都是信息論所研究的問題。其中信息的度量是最重要的問題，香農首次將信息的不確定性作為信息的度量，并在此基礎上提出了信息熵的概念。

香農（Shannon）熵是香農信息論中信息度量的基礎，它與事件發生的概率相聯系，以“不確定性”作為度量的基礎。進一步地，可引入聯合熵、條件熵、互信息、信道容量和率失真函數等概念，它們可看作是信息度量的其他形式。值得注意的是：香農熵雖然是以概率分布構成的不確定性為度量基礎，但是隨著信息科學的不斷發展，香農熵的理解也被日益加深和擴大，新的信息度量與新的學科分支不斷出現，例如，出現了量子信息論中的馮·諾依曼熵等新型熵概念的延伸。

信息論的產生和發展與通信、計算機技術的產生和發展密切相關，信息論的歷史大體可以分為早期醞釀、理論建立與發展以及理論應用與近代發展三個階段，下面將逐一進行介紹。