1.5　信息論研究范疇

關(guān)于信息論研究的具體內(nèi)容是一個有爭議的問題。數(shù)學(xué)家認(rèn)為信息論只是概率論的一個分支，這種看法有一定的理由，因?yàn)橄戕r(nóng)信息論確實(shí)為概率論開拓了一個新的分支。某些物理學(xué)家認(rèn)為信息論只是熵的理論，熵的概念確實(shí)是香農(nóng)信息論的基本概念之一，但信息論的全部內(nèi)容要比熵的概念廣泛得多。

歸納起來，信息論研究的主要內(nèi)容包括以下幾方面。

1．通信統(tǒng)計理論的研究

通信統(tǒng)計理論的研究主要是指利用統(tǒng)計數(shù)學(xué)工具，分析信息和信息傳輸?shù)慕y(tǒng)計規(guī)律，包括信息的度量、信息速率與熵以及信道傳輸能力（信道容量）。

2．信源的統(tǒng)計特性

信源的統(tǒng)計特性主要包括文字（如漢字）和字母（如英文）的統(tǒng)計特性、語音的參數(shù)分析和統(tǒng)計特性、圖片及活動圖像（如電視）的統(tǒng)計特性，以及其他信源的統(tǒng)計特性。

3．收信者接收器的研究

收信者接收器的研究內(nèi)容主要包括人的聽覺和視覺器官的特性、人的大腦感受和記憶能力的模擬，且這些問題的研究與生物學(xué)、生理學(xué)和心理學(xué)的研究密切相關(guān)。

4．編碼理論與技術(shù)的研究

編碼理論主要包括有效性編碼和抗干擾編碼。有效性編碼，即針對信源的統(tǒng)計特性進(jìn)行編碼，以提高信息傳輸效率，也稱為信源編碼；抗干擾編碼，即針對信道統(tǒng)計特性進(jìn)行編碼，以提高信息傳輸?shù)目煽啃裕卜Q為信道編碼。

5．提高信息傳輸效率的研究

提高信息傳輸效率的研究內(nèi)容主要包括功率的節(jié)約、頻帶的壓縮及傳輸時間的縮短等。

6．抗干擾理論與技術(shù)的研究

抗干擾理論與技術(shù)的研究內(nèi)容主要包括各種調(diào)制技術(shù)的抗干擾性以及理想接收機(jī)的實(shí)現(xiàn)。

7．噪聲中信號檢測理論與技術(shù)的研究

檢測理論主要包括信號檢測的最佳準(zhǔn)則和信號最佳檢測的實(shí)現(xiàn)。

由此可見，信息論的研究內(nèi)容極為廣泛，是一門新興的邊緣學(xué)科，是當(dāng)代信息科學(xué)的基本和重要的理論基礎(chǔ)。信息論的研究范疇可以概括為以下3方面。

1）信息論基礎(chǔ)

信息論基礎(chǔ)即狹義信息論，主要研究信息的測度、信道容量以及信源和信道編碼理論等問題，即為香農(nóng)基本理論。

2）一般信息論

一般信息論主要研究通信的一般理論，除了香農(nóng)理論以外，還包括噪聲理論、信號濾波和預(yù)測、統(tǒng)計檢測與估計理論、調(diào)制理論以及信息處理理論等。這些理論以美國科學(xué)家維納為代表，其中有突出貢獻(xiàn)的是維納和蘇聯(lián)科學(xué)家科爾莫戈羅夫，主要研究信息傳輸和處理問題。

雖然維納和香農(nóng)等人都是運(yùn)用概率和統(tǒng)計數(shù)學(xué)的方法來研究準(zhǔn)確或近似地再現(xiàn)消息的問題，目的都是為了使消息傳送和接收最優(yōu)，但他們的研究卻有重要的區(qū)別：維納研究的重點(diǎn)是接收端，研究的問題是一個信號（消息）如果在傳輸過程中被某些因素（如噪聲和非線性失真等）所干擾時，接收端怎樣把它恢復(fù)、再現(xiàn)，并從干擾中提取出來，在此基礎(chǔ)上，創(chuàng)立了最佳線性濾波理論（維納濾波器）、統(tǒng)計檢測與估計理論以及噪聲理論等；香農(nóng)研究的對象則是從信源到信宿之間的全過程，是收、發(fā)端聯(lián)合最優(yōu)的問題，其重點(diǎn)是編碼。香農(nóng)指出，只要在傳輸前后對消息進(jìn)行適當(dāng)?shù)木幋a，就能保證在干擾存在的條件下，最佳地傳送和準(zhǔn)確或近似地再現(xiàn)消息。為此發(fā)展了信息測度理論、信道容量理論和編碼理論等。

3）廣義信息論

廣義信息論不僅包括上述狹義信息論和一般信息論兩方面的內(nèi)容，而且包括所有與信息有關(guān)的領(lǐng)域，如心理學(xué)、遺傳學(xué)、神經(jīng)生理學(xué)、語言學(xué)、語義學(xué)，甚至社會學(xué)中有關(guān)信息的問題。

綜上所述，信息論是一門應(yīng)用概率論、隨機(jī)過程、數(shù)理統(tǒng)計和近代代數(shù)的方法，來研究廣義的信息傳輸、提取和處理系統(tǒng)中一般規(guī)律的工程科學(xué)。它的主要目的是提高信息系統(tǒng)的可靠性和有效性，以達(dá)到系統(tǒng)的最優(yōu)；它的主要內(nèi)容（分支）包括香農(nóng)理論、編碼理論、維納理論、檢測和估計理論、信號設(shè)計和處理理論、調(diào)制理論和隨機(jī)噪聲理論等。

由于信息論研究的內(nèi)容極為廣泛，且各分支又具有一定的獨(dú)立性，因此，本書僅闡述信息論的基礎(chǔ)理論，并介紹這些基礎(chǔ)理論的實(shí)際應(yīng)用。