第2章
信源與信息熵

2.1　預備知識

香農信息論所研究的信源的最大特性是不確定性。事件發生的不確定性與事件發生的概率有關：

概率越大，不確定性越小，事件發生以后所含有的信息量就越小。小概率事件的不確定性大，一旦出現必然使人感到意外，因此產生的信息量越大。為了理解信息論中的信息，本章首先介紹概率的概念和性質，并在此基礎上，進一步描述香農信息論中的信源和信息熵。