1.2 信息論研究的基本問題和主要內容
1.2.1 信息論研究的基本問題
香農信息論所研究的通信系統基本模型如圖1-2所示。
圖1-2 通信系統模型
這個模型主要包括以下5個部分：
（1）信源
信源是信息的發源地，是信息運動的出發點。信源消息有多種形式，可以是離散的或連續的，也可以是時間序列，它們分別可用離散型隨機變量、連續型隨機變量及隨機過程等數學模型表示。
（2）編碼
編碼是對消息符號進行編碼處理的過程。編碼包括信源編碼、保密編碼、信道編碼三大類，其中，信源編碼是對信源輸出的消息進行適當的變換和處理，以盡可能提高信息傳輸的效率，而信道編碼是為了提高信息傳輸的可靠性而對信息進行的變換和處理。香農信息論分別用幾個重要的定理給出了編碼的理論性能極限，幾十年來鼓舞著一批又一批通信理論工作者為達到這些極限而殫精竭慮、苦苦求索，從而推動了編碼技術研究的空前繁榮。
（3）信道
信道是信息的傳遞媒介。實際的信道有明線、電纜、波導、光纖、無線電波傳播空間等。信息的傳輸不可避免地會引入噪聲和干擾，為了分析方便，通常把系統所有其他部分的干擾和噪聲都等效地折合成信道干擾，這些干擾被看成是一個噪聲源產生的，并疊加于所傳輸的信號上。這樣，信道的輸出是已經疊加了干擾的信號。由于干擾和噪聲均具有隨機性，所以信道的特性同樣可以用概率模型來描述，而噪聲源的統計特性又是劃分信道類型的主要依據。
（4）譯碼
譯碼是把信道輸出的編碼信號進行反變換，以盡可能準確地恢復原始的信源符號。與編碼器相對應的譯碼器也有信源譯碼器和信道譯碼器之分。
（5）信宿
信宿即信息傳輸的目的地。
香農信息論在解決了信息的度量問題之后，主要致力于研究如何提高圖1-2所示的通信系統中信息傳輸的可靠性和有效性。香農編碼定理是信源編碼和信道編碼理論研究的重要指導方針。
信息論解決了通信中的兩個基本問題。首先對于信源編碼，信息論回答了“達到不失真信源壓縮編碼的極限（最低）編碼速率是多少？”這一問題。香農的答復是這個極限速率等于該信源的熵。事實上香農認為每個隨機過程，不管是音樂、語言、圖像，都有一個固有的復雜性，該隨機過程不能被無失真地壓縮到該固有復雜性之下，這個固有復雜性就等于該隨機過程的熵。信息論對通信解決的第二個問題是關于信道編碼方面的。它回答了“無差錯傳輸信息的臨界傳輸速率是多少？”這一問題。在香農以前，人們都認為增加信道的信息傳輸速率總要引起錯誤概率的增加，認為要使錯誤概率為零，則傳輸速率只能為零。但香農卻出人意料地證明，只要信息傳輸速率小于信道容量，傳輸的錯誤概率可以任意地小，反過來如果超過信道容量，則傳輸錯誤是不可避免的。
1.2.2 信息論研究的主要內容
信息論研究的內容大致包括以下幾個方面：
●通信統計理論的研究
主要研究利用統計數學工具來分析信息和信息傳輸的統計規律，其具體內容有信息的度量，如信息速率、熵以及信道的傳輸能力——信道容量。
●信源統計特性的研究
主要包括：文字、字母的統計特性；語音的參數分析和統計特性；圖片及活動圖像的統計特性；其他信源的統計特性。
●收信者接收器官的研究
主要包括：人的聽覺和視覺器官的特性，人的大腦感受和記憶能力的模擬。這些問題的研究與生物學、生理學、心理學的研究密切相關。
●編碼理論與技術的研究
主要包括：信源編碼——用來提高信息傳輸效率，主要是針對信源的統計特性進行編碼，所以有時也稱為有效性編碼；信道編碼——用來提高信息傳輸的可靠性，主要是針對信道統計特性進行編碼。
●提高信息傳輸效率的研究
主要包括：功率的減少、頻帶的壓縮以及傳輸時間的縮短，即快速傳輸問題。
●抗干擾理論與技術的研究
主要包括：各種調制體制的抗干擾特性與理想接收機的實踐。
●噪聲中信號檢測理論與技術的研究
主要包括信號檢測的最佳準則和信號最佳檢測的實踐。
由上述的討論可以看出，信息論的研究內容極為廣泛，是一門新興的邊緣學科。目前，關于信息論研究的內容，一般有以下三種理解：
（1）狹義信息論
以客觀概率信息為研究對象，從通信的信息傳輸問題中總結和開拓出來的理論。主要研究信息的度量、信道容量以及信源和信道編碼理論等問題。這部分內容是信息論的基礎理論，又稱香農基本理論。
（2）一般信息論
主要是研究信息傳輸和處理問題。除了香農理論以外，還包括噪聲理論、信號濾波和預測、統計檢測與估計理論、調制理論以及信息處理理論等。后一部分內容的主要貢獻者是維納（N．Wiener）和柯爾莫哥洛夫（A．N．Kolmogorv）等人。
維納和香農等人都是為了使消息傳送和接收最優化，運用概率論和統計數學的方法來研究如何準確地或近似地再現消息的問題，但他們之間有一個重要的區別。
維納研究的重點是在接收端，研究消息在傳輸過程中受到某些因素（如噪聲、非線性失真等）干擾后，在接收端怎樣把它恢復、再現。在此基礎上，創立了最佳線性濾波理論（維納濾波器）、統計檢測與估計理論、噪聲理論等。
而香農研究的對象則是從信源到信宿之間的全過程，是收、發兩端聯合最優化問題，其重點是編碼。香農指出，只要在傳輸前后對消息進行適當的編碼和譯碼，就能保證在干擾存在時，最佳地傳送消息和準確或近似地再現消息。為此發展了信息度量理論、信道容量理論和編碼理論等。
（3）廣義信息論
廣義信息論是一門綜合性的新興學科，它不僅包含上述兩方面的內容，而且還包括所有與信息有關的自然和科學領域，如心理學、遺傳學、模式識別、計算機翻譯、神經生理學、語言學、語義學等有關信息的問題。概括起來，凡是能夠用廣義通信系統模型描述的過程或系統，都能用信息基本理論來研究。
綜上所述，信息論是一門應用概率論、隨機過程、數理統計和高等代數的方法來研究信息傳輸、提取和處理系統中一般規律的科學；其主要目的是提高信息系統的可靠性、有效性、保密性和認證性，以便達到系統最優化；它的主要內容（或分支）包括香農理論、編碼理論、維納理論、檢測和估計理論、信號設計和處理理論、調制理論、隨機噪聲理論和密碼理論等。