第2章
信源與信息熵

2.1　預(yù)備知識

香農(nóng)信息論所研究的信源的最大特性是不確定性。事件發(fā)生的不確定性與事件發(fā)生的概率有關(guān)：

概率越大，不確定性越小，事件發(fā)生以后所含有的信息量就越小。小概率事件的不確定性大，一旦出現(xiàn)必然使人感到意外，因此產(chǎn)生的信息量越大。為了理解信息論中的信息，本章首先介紹概率的概念和性質(zhì)，并在此基礎(chǔ)上，進(jìn)一步描述香農(nóng)信息論中的信源和信息熵。