1.2.2　信息論的建立與發(fā)展

信息論的產(chǎn)生以1948年香農(nóng)的奠基性論文《通信的數(shù)學(xué)理論》為起點(diǎn)，迄今已有70多年的歷史。在這70多年中，電子、通信與計(jì)算機(jī)技術(shù)的產(chǎn)業(yè)與市場(chǎng)經(jīng)歷了空前的、大規(guī)模的發(fā)展，信息技術(shù)產(chǎn)品進(jìn)入千家萬(wàn)戶，成為人們工作、學(xué)習(xí)與生活中不可缺少的組成部分。可以毫不夸張地說(shuō)，信息論在這場(chǎng)空前的技術(shù)革命中起到了理論基礎(chǔ)、思想先導(dǎo)與技術(shù)關(guān)鍵的作用。現(xiàn)代的快速通信、多媒體與網(wǎng)絡(luò)技術(shù)、大數(shù)據(jù)處理無(wú)不受益于信息與編碼理論及其相關(guān)學(xué)科（如信號(hào)處理等）的發(fā)展，這些發(fā)展推動(dòng)了信息技術(shù)的革命，也豐富了信息論的內(nèi)容。

自1948年香農(nóng)理論產(chǎn)生以后，信息論大體經(jīng)歷了理論的確立與發(fā)展、理論的應(yīng)用與近代發(fā)展兩個(gè)階段。下面就這些階段的主要內(nèi)容與特點(diǎn)逐一進(jìn)行介紹。

1．香農(nóng)信息論的確立期

人們把1948年到20世紀(jì)60年代這一時(shí)期稱為信息論的確立期，其主要特點(diǎn)是對(duì)香農(nóng)理論的研究和說(shuō)明，包括通信系統(tǒng)的數(shù)學(xué)模型與基本問(wèn)題的說(shuō)明以及對(duì)信息量、香農(nóng)熵的來(lái)源、意義與作用的討論；還包括對(duì)通信基本問(wèn)題的討論，對(duì)信源、信道編碼問(wèn)題的模型、本質(zhì)問(wèn)題與意義的討論，信源、信道編碼的編碼定理及其證明，以及信源、信道編碼的實(shí)現(xiàn)與應(yīng)用問(wèn)題等。

這一階段的主要成果是對(duì)以上問(wèn)題給出了嚴(yán)格的數(shù)學(xué)描述與論證。從信息的度量到通信模型、從編碼問(wèn)題的提出到主要編碼定理的證明等，都是在嚴(yán)格的數(shù)學(xué)推導(dǎo)中完成的。同時(shí)，一系列專(zhuān)著的完成也標(biāo)志著香農(nóng)信息論的確立，如A.Feinstein（1954）、R.G.Gallager（1968）和J.Wolfowitz（1978）等的重要論著，這些著作基本上完成了對(duì)香農(nóng)理論的闡述，在理論上解答了通信中所提出的問(wèn)題。同期，國(guó)內(nèi)學(xué)者也進(jìn)行了大量的、重要的研究工作，為信息論的早期發(fā)展做出了重要貢獻(xiàn)。

在香農(nóng)信息論發(fā)展的同時(shí)，代數(shù)編碼理論也得到迅速發(fā)展。利用群、環(huán)、域與線性子空間理論可將碼賦予一定的代數(shù)結(jié)構(gòu)，這種結(jié)構(gòu)可使通信信號(hào)具有糾錯(cuò)與檢錯(cuò)的能力。代數(shù)碼方面出現(xiàn)了重要經(jīng)典著作，包括W.W.Peterson（1961）、R.M.Fano（1961）和Wozencraft-Reiffen（1961）等的著作。

2．香農(nóng)信息論的發(fā)展期

20世紀(jì)70年代到80年代，信息論處于理論發(fā)展時(shí)期。由于香農(nóng)理論的闡明與通信技術(shù)的發(fā)展，信息論的研究范圍日益擴(kuò)大，這一時(shí)期發(fā)展的主要內(nèi)容在率失真理論與多用戶信息論（或稱網(wǎng)絡(luò)信息論）方面。1959年，香農(nóng)發(fā)表《保真度準(zhǔn)則下的離散信源編碼定理》，首次提出了率失真函數(shù)及率失真信源編碼定理。率失真編碼理論實(shí)際上是一種在允許失真條件下的信源編碼理論，該理論在20世紀(jì)80年代和90年代成為有損數(shù)據(jù)壓縮技術(shù)的理論基礎(chǔ)。另外，多用戶信息論的最早思路也由香農(nóng)提出，在1961年，香農(nóng)發(fā)表了一篇學(xué)術(shù)論文《雙路通信信道》，開(kāi)拓了多用戶信息論的研究。多用戶信息論在20世紀(jì)70年代和80年代得到迅速發(fā)展，成為這一時(shí)期信息論研究的一個(gè)主流課題，例如，20世紀(jì)70年代，R.Ahlswede和Liao找出了多元接入信道的信道容量區(qū)域，接著，J.K.Wolf和D.Slepian將它推廣到具有公共信息的多元接入信道中；另外，T.M.Cover提出了廣播信道，P.Bergmans和R.G.Gallager等分別研究了廣播信道的容量區(qū)域問(wèn)題，指出只有退化廣播信道的容量區(qū)域可以求解。1979年，A.E.Gamal找到了退化中繼信道的容量區(qū)域。此后，各種不同類(lèi)型的多用戶信源、信道模型被提出，許多相關(guān)的編碼定理也得以證明。當(dāng)然，這些模型與當(dāng)時(shí)處于熱點(diǎn)的微波與衛(wèi)星通信密切相關(guān)。