第1版前言

1948年，美國科學家香農（C.E.Shannon）發表了題為“通信的數學理論”的學術論文，宣告了信息論的誕生。信息論的產生和發展與通信技術、計算機技術的產生與發展密切相關，歷史上大體分為早期醞釀、理論建立與發展以及理論應用與近代發展三個階段。從信息的度量開始，信息的概念和研究范圍在不斷擴大和深化，并迅速滲透到其他相關學科領域。目前，信息論的應用領域從自然科學擴展到經濟、管理科學甚至人文社會科學，其內涵從狹義信息論延展到如今的廣義信息論，發展成為涉及面極廣的信息科學。

信息論研究信息的度量問題，關注信息如何能有效地、可靠地、安全地從信源傳輸到信宿。香農熵是香農信息論中有關信息度量的基礎，它與事件發生的概率相聯系，是平均“不確定性”。在香農熵的基礎上，可進一步引入聯合熵、條件熵、互信息、信道容量和信息率失真函數等概念，它們可視為信息度量的其他形式。值得注意的是：雖然香農熵以概率分布構成的不確定性為度量基礎，但是隨著信息科學的不斷發展，香農熵的理解也被日益加深和擴大，新的信息度量與新的學科分支不斷出現，形成了諸如量子信息論中的馮·諾依曼熵等概念的延伸。

信息論的基礎內容理論性很強。在多年教學過程中，作者觀察到學生的學習難點，以及對所學知識實用性的疑惑。本書力求理論和實際相結合，確保讀者在理解基本概念的基礎上，了解信息論在實際通信中的應用。通過相關應用的MATLAB程序實例，讓讀者體會信息論對實際通信的理論指導。

本書共7章，第1章是緒論，闡述了什么是信息、什么是信息論、信息論的應用及成果，以及信息論的研究范疇。在整體上給出信息論的概念及其應用價值。

第2章介紹信源與信息熵，包括信息論中信源的數學描述，信息熵的定義及概念推廣，涵蓋聯合熵、相對熵及互信息，離散單符號信源的熵、離散序列信源的熵及連續信源熵的計算及表示方法，并給出信息熵的MATLAB程序實現以及信息熵在圖像分割中的應用。本章是后續章節的基礎。

第3章介紹信道與信道容量，在信道數學描述的基礎上，給出信道容量的定義。在此基礎上，給出了離散單符號信道、離散序列信道，以及限時限頻連續信道的容量計算及表示方法，推演了香農容量計算表達式。此外，該章給出了計算信道容量的MATLAB程序實例，以及計算多輸入多輸出（MIMO）系統的容量的程序實例。

第4章介紹信源編碼理論，包括無失真信源編碼理論和限失真信源編碼理論，其中無失真信源編碼理論包括定長編碼定理和變長編碼定理，并在理論基礎上，介紹了具體的無失真信源編碼方法，包括香農碼、赫夫曼碼和算術編碼。本章進一步給出了限失真和信息率失真函數的定義以及具體的限失真編碼方法；同樣，也給出了無失真和限失真編碼方法的MATLAB程序實例。

第5章介紹信道編碼理論，在最佳譯碼準則的基礎上，給出了信道編碼的碼空間表示，并闡述了信道編碼定理，引出常見的信道編碼方法，包括線性分組碼、循環碼和卷積碼。該章也給出具體信道編碼方法的MATLAB程序實例。

第6章介紹網絡信息理論，針對相關信源、多址信道、多址高斯信道和廣播信道，給出它們可達速率區域的定義和計算方法，包括相關信源可達速率區域、多址接入信道容量區域和廣播信道的容量區域。

第7章介紹量子信息理論，論述香農信息理論在量子力學框架下的延伸，介紹量子信息的基本概念，包括量子比特和量子信息熵的定義。在此基礎上，進一步闡述量子信源編碼理論和量子信道編碼理論。

本書由趙生妹編著。在編寫過程中得到了南京郵電大學在校研究生施鵬、王樂、毛錢萍和張文浩等同學的大力幫助，在此對他們表示衷心的感謝。

限于編者水平有限，書中難免存在不妥或謬誤之處，殷切希望讀者指正。

編者

2017年1月