1.2.3　信息論的近期發(fā)展

信息論近期發(fā)展的主要特征是向多學科結合方向發(fā)展，有以下3個重要的發(fā)展方向。

1．信息論與密碼學

通信中的安全與保密問題是通信編碼問題的又一種表示形式。香農在論文《保密通信的信息理論》中首次用信息論觀點對信息保密問題做了全面的論述，給出了“絕對安全”的定義。由香農提出的保密系統模型仍然是近代密碼學的基本模型，其中加密運算中的許多度量性指標，如完全性和剩余度等指標，與信息量密切相關。香農結合絕對安全的定義，推導出實現絕對安全的加密方法，即“一次一密”方法，該方法也是當前DES算法（數據加密標準算法）和RSA算法（非對稱性加密算法）的理論基礎。當今，進入了網絡經濟時代，信息的安全和保密問題更加突出和重要。人們把線性代數、數論和近世代數等引入保密問題的研究，并構成了一個重要分支，稱為密碼學。

2．算法信息論與分形數學

由于香農熵、科爾莫戈羅夫（Kolmogorov）復雜度與豪斯多夫（Hausdorff）維數的等價性在理論上得到證明，從而使信息論、計算機科學與分形理論找到了交叉點。人們發(fā)現香農熵、科爾莫戈羅夫復雜度與豪斯多夫維數都是某種事物復雜性的度量，而且在一定的條件下可以相互等價轉化。由這3種度量分別產生了信息論、計算復雜度與分形理論，它們在本質上有共同之處。三者結合后所產生的新興學科方向具有跨學科的特點，如算法信息論就是信息論與計算復雜性理論融合所產生的新學科。

3．信息論在統計與智能計算中的應用

信息論與統計理論的結合已出現許多突出的成果，其主要特點是統計理論正在從線性問題轉向非線性問題，信息的度量可以作為研究非線性問題的手段。例如，可用互信息取代統計中的相關系數，從而更好地反映兩個隨機變量的相互依賴程度。信息量的統計計算較為復雜，因此在統計中一直沒有得到廣泛的應用。但由于近期大批數據的出現（如金融數據、股票數據和生物數據等），使許多統計計算問題成為可能。信息論也必將在統計中發(fā)揮更大的作用。

1）智能計算中的信息統計問題

信息量與統計量存在許多本質的聯系，在概率分布族所組成的微分流形中，Fisher信息矩陣是Kullback-Laiber熵的偏微分，由此關系所引出的信息幾何理論是智能計算的基礎，出現了一系列重要的智能計算方法，如最大化算法（ExpectationMaximizationAlgorithm，EMA）、ACI算法和Ying-Yang算法。

2）信息計算與組合投資決策

T.Cover把組合投資決策問題轉換成信息論的問題，并在最優(yōu)決策的計算中給出了一個漸近遞推算法，利用熵性質證明了該算法的單調性與收斂性。

3）編碼理論與試驗設計、假設檢驗理論相結合

在信息編碼理論中有許多碼的構造理論與方法，這些碼在一定意義下具有正交性。因此，這些碼可直接用來設計與構造試驗設計表。另外，利用信息編碼定理可以證明假設檢驗中的兩類誤差具有指數下降性，并給出這兩類誤差的下降速度。