§3　矩、協方差和相關系數

一、矩

矩是隨機變量重要的數字特征之一，前面討論的數學期望和方差都是矩的特例。在數理統計中，將會看到矩的應用。

定義3.1　設X為一隨機變量，若E（Xk）（k=1，2，…）存在，稱它為X的k階原點矩，記為αk（簡稱k階矩），即αk=E（Xk）（k=1，2，…）。

顯然，X的數學期望就是X的一階原點矩。

定義3.2　設X為一隨機變量，若

μk=E［X-E（X）］k　（k=1，2，…）

存在，則稱μk為X的k階中心矩。

顯然，X的方差就是X的二階中心矩。

定義3.3　設X為一隨機變量，若μk（k=1，2，3，4）存在，

稱為隨機變量X的偏度系數（skewness），記為γ（X），即

稱為隨機變量X的峰度系數（kurtosis），記為κ（X），即

γ（X）與κ（X）均為無量綱的量。偏度系數γ（X）度量了隨機變量X的分布關于其均值E（X）的不對稱程度；峰度系數κ（X）度量了隨機變量X的分布與正態分布相比較的平坦程度。不難求得，對于正態隨機變量X，有γ（X）=0，κ（X）=0。

二、協方差與相關系數

對于二維隨機變量（X，Y），除了討論X與Y的數學期望和方差外，還需要討論描述X與Y之間相互關系的數字特征。

在證明方差性質（3）中，如果兩個隨機變量X和Y相互獨立時，則有

E{［X-E（X）］［Y-E（Y）］}=0

反之，若E{［X-E（X）］［Y-E（Y）］}≠0，則X與Y不相互獨立，這意味著X與Y之間存在著一定的關系。

定義3.4　設（X，Y）為二維隨機變量，若E{［X-E（X）］［Y-E（Y）］}存在，則稱它為X與Y的協方差，記為Cov（X，Y），即

Cov（X，Y）=E{［X-E（X）］［Y-E（Y）］}

而 　　

稱為隨機變量X與Y的相關系數。

ρXY是一個無量綱的量，通常簡記為ρ。

對協方差我們有下列兩個常用公式

var（X+Y）=var（X）+var（Y）+2Cov（X，Y）　　（3.1）

Cov（X，Y）=E（XY）-E（X）E（Y）　　（3.2）

協方差具有下列性質：

（1）Cov（X，Y）=Cov（Y，X）；

（2）Cov（aX，bY）=abCov（X，Y）　（a，b為常數）；

（3）Cov（X1+X2，Y）=Cov（X1，Y）+Cov（X2，Y）。

下面推導ρXY的兩條重要性質，并說明ρXY的意義。

（1）｜ρXY｜≤1；

（2）若X與Y相互獨立，則ρXY=0；

（3）｜ρXY｜=1的充分必要條件是X與Y依概率1線性相關，即存在兩個常數a和b，且b≠0，使P{Y=bX+a}=1。

證　（1）

即得-1≤ρ（X，Y）≤1，所以｜ρ（X，Y）｜≤1。

（2）當X與Y相互獨立時，Cov（X，Y）=0，則ρXY=0。

（3）如證（3）先分析均方誤差

e=E［Y-（bX+a）］2=E（Y2）+b2E（X2）+a2-2bE（XY）+2abE（X）-2aE（Y）　　（3.3）

若｜ρXY｜=1，欲證存在a和b使成立P{Y=aX+b}=1，先選擇a和b使e取到最小。由

解得駐點 　　

將a0，b0代入式（3.3）得

由假設ρXY=1知

E{［Y-（a0+b0X）］2}=0

由方差的計算公式（2.4），得

因此有　　var［Y-（a0+b0X）］=0

E［Y-（a0+b0X）］=0

由方差的性質（4）可知：P{Y-（a0+b0X）=0}=1，即

P{Y=a0+b0X}=1

反之，若存在a*和b*使

P{Y=a*+b*X}=1

也即　　P{Y-（a*+b*X）=0}=1

那么　　P{［Y-（a*+b*X）］2=0}=1

由方差性質（4）可知（其中C=0）

E{［Y-（a*+b*X）］2}=0

于是

則得　　｜ρXY｜=1

從以上的討論中可以看出，當｜ρXY｜較大時e較小，表明X，Y線性關系較密切，特別當｜ρXY｜=1時，X與Y之間以概率1存在著線性關系。于是ρXY是一個可以用來描述X與Y之間線性關系密切程度的量。換而言之，當｜ρXY｜較大時，通常說X，Y線性相關的程度較好；當｜ρXY｜較小時，反映X與Y線性相關的程度較差。特別當ρXY=0時，稱X和Y不相關。

應當指出，在ρXY存在的條件下，若X和Y相互獨立，則X與Y必不相關，因為此時Cov（X，Y）=0，ρXY=0；但是X與Y不相關，X和Y卻不一定相互獨立，這是因為隨機變量X與Y不存在線性關系，并不說明X與Y不存在其他關系。

【例1】　設二維隨機變量（X，Y）的概率密度為

試驗證X和Y不相關，但X和Y不是相互獨立的。

證　由圖3-3知除在閉單位圓上，其他處f（x，y）≡0，那么

同理 　　

同理　　E（Y）=0

另外 　

所以　　Cov（X，Y）=E（XY）-E（X）E（Y）=0

即　　ρXY=0

這說明隨機變量X與Y不相關，顯然f（x，y）≠fX（x）fY（y），這說明X和Y不相互獨立。

但是當（X，Y）服從二維正態分布時，X和Y相互獨立與X和Y互不相關是等價的。

【例2】　設（X，Y）服從二維正態分布，它的分布密度為

求ρ（X，Y）。

解　由第二章§3例6知（X，Y）的邊緣概率密度為

故得E（X）=μ1，；E（Y）=μ2，。另外

令，，則有

則 　　

這個事實說明，若X與Y相互獨立，X與Y必不相關；反之亦然，即若X與Y不相關時，那么ρ=ρXY=0，此時成立算式f（x，y）=fX（x）fY（y），故知對于二維正態隨機變量（X，Y）來說，X和Y不相關與X和Y相互獨立是等價的。

【例3】　設（X，Y）具有概率密度，求Cov（X，Y）。

解　由于Cov（X，Y）=E（XY）-E（X）E（Y）

　　 又 　　

　　 而 　　 　　 （見圖3-4）

所以　　

又

所以

而

則　　Cov（X，Y）=0

【例4】　已知三個隨機變量X，Y，Z中，E（X）=E（Y）=1，E（Z）=-1，var（X）=var（Y）=var（Z）=1，ρXY=0，，，求E（X+Y+Z），var（X+Y+Z）。

解　E（X+Y+Z）=E（X）+E（Y）+E（Z）=1+1-1=1

又 　　

則　　var（X+Y+Z）=3