2.3 通信信息量度量

通信的目的在于傳遞信息。傳遞信息的多少用“信息量”衡量。消息中所含的信息量I是信息x出現的概率P(x)的函數，即

消息出現的概率越小，它所含的信息量越大；反之信息量越小，且當P(x)=1時，I =0。若干個互相獨立事件構成的消息，所含信息量等于各獨立事件信息量的和，即

從式（2-1）可以看出，若I與P(x)間的關系式為

則信息量的單位取決于式（2-3）中的對數底數α，如果α 2=，則信息量的單位為比特（bit）；如果α=e，則信息量的單位為奈特（nit）；如果α 10=，則信息量的單位為哈特萊。

假設離散消息的出現概率是相等的，需要傳遞的離散消息是在M個消息之中獨立地選擇其一，且認為每一個消息出現的概率是相同的。為了傳遞一個消息，只需采用一個M進制的波形來傳送。也就是說，傳送M個消息之一這一件事與傳送M進制波形之一是完全等價的。M進制中最簡單的情況是M =2，即二進制，在等概率出現時

當M ＞2，則傳送每一波形的信息量應為