第四章　大數(shù)定律和中心極限定理

§1　大數(shù)定律

第一章介紹了頻率的穩(wěn)定性，即當(dāng)隨機(jī)試驗(yàn)次數(shù)n充分大時(shí)，隨機(jī)事件A發(fā)生的頻率總是在一個(gè)常數(shù)p（0≤p≤1）附近擺動(dòng)；另外，在進(jìn)行測量時(shí)，為了提高測量精度，往往進(jìn)行多次測量，用測量的實(shí)測值的平均值近似代替真值。這正是大數(shù)定律的實(shí)際背景。

一、契比曉夫（Chebyshev）不等式

設(shè)隨機(jī)變量X的數(shù)學(xué)期望為E（X），方差為var（X），則對(duì)于任意給定的正數(shù)ε，有

P{｜X-E（X）｜≥ε}≤var（X）/ε2　　（1.1）

或　　P{｜X-E（X）｜<ε}≥1-var（X）/ε2　　（1.2）

上面兩個(gè)不等式稱為契比曉夫不等式。

僅就連續(xù)型隨機(jī)變量的情形予以證明。

　　 證 　　

契比曉夫不等式給出了隨機(jī)變量X的取值落在以其均值E（X）為中心，以ε為半徑的區(qū)間之外的概率的一個(gè)上界估計(jì)，通常稱此估計(jì)為雙側(cè)尾概率估計(jì)。契比曉夫不等式的長處是它并不依賴于隨機(jī)變量X的具體概率分布，有寬泛的適用面，但是估計(jì)的精度不高。

【例1】　設(shè)E（X）=μ，var（X）=σ2，由契比曉夫不等式可得

如果X～N（μ，σ2），那么

可見，知道了隨機(jī)變量X的具體分布后，雙側(cè)尾概率估計(jì)將會(huì)精確得多。

二、經(jīng)典大數(shù)定律

在精密工件測量的實(shí)踐中，往往需要反復(fù)進(jìn)行多次測量。如果每次測量沒有系統(tǒng)偏差，僅有隨機(jī)誤差，為了抵消每次測量所帶有的隨機(jī)誤差，最終測量結(jié)果取作各次測量值的平均值。經(jīng)驗(yàn)表明，只要測量的次數(shù)足夠多，總可以達(dá)到要求的精度。這個(gè)過程的數(shù)學(xué)描述：假定工件的真值為a（永遠(yuǎn)不可知），第k次測量的結(jié)果為隨機(jī)變量Xk，若各次測量相互獨(dú)立，每次測量不存在系統(tǒng)偏差（即期望值為真值），則{Xk}是一個(gè)獨(dú)立同分布，均值為a的隨機(jī)變量序列。當(dāng)n充分大時(shí)，n次測量的平均值

應(yīng)該和真值a“足夠接近”。這一結(jié)果的數(shù)學(xué)結(jié)論就是大數(shù)定律。

定義1.1　設(shè){Xn}是獨(dú)立同分布的隨機(jī)變量序列，如果對(duì)任意的ε>0，恒有

　　 （1.3） 　　

其中，，μ=EXn（不依賴于n），則稱隨機(jī)變量序列{Xn}服從大數(shù)定律。

經(jīng)典大數(shù)定律有幾種不同的形式。

1.契比曉夫大數(shù)定律

定理1.1　設(shè)隨機(jī)變量X1，X2，…，Xn，…相互獨(dú)立，且具有相同的數(shù)學(xué)期望和方差，E（Xk）=μ，var（Xk）=σ2（k=1，2，…，n，…）。則對(duì)任意給定的正數(shù)ε，都有

證　令

則 　　

又因X1，X2，…，Xn，…獨(dú)立，且var（Xk）=σ2。故

由契比曉夫不等式可得

即 　　

又 　　

因而 　　

定理1.2（契比曉夫大數(shù)定律）　設(shè)隨機(jī)變量X1，X2，…，Xn，…相互獨(dú)立，每個(gè)變量分別存在數(shù)學(xué)期望E（X1），E（X2），…，E（Xn），…及方差var（X1），var（X2），…，var（Xn），…，并且這些方差是有界的，即存在某個(gè)正常數(shù)M，使得

var（Xi）<M　（i=1，2，…，n，…）

則對(duì)于任一正數(shù)ε，有

或 　　

證明從略。

定理1.1是契比曉夫大數(shù)定律的特例。

契比曉夫大數(shù)定律表明，在所給條件下，當(dāng)n充分大時(shí)，n個(gè)隨機(jī)變量的算術(shù)平均值偏離其數(shù)學(xué)期望可能性很小。如果測定一物體的某一指標(biāo)值a時(shí)，獨(dú)立地重復(fù)測量得一系列實(shí)測值：X1，X2，…，Xn，求得實(shí)測值的平均值，根據(jù)契比曉夫大數(shù)定律知，當(dāng)n足夠大時(shí)，平均值與真值a之差的絕對(duì)值小于任意指定正數(shù)ε的概率可以充分地接近于1。所以實(shí)用上往往用某物體的某一指標(biāo)的一系列實(shí)測值的算術(shù)平均值作為該指標(biāo)的近似值。

2.貝努利大數(shù)定律

定理1.3（貝努利大數(shù)定律）　設(shè)在n次重復(fù)獨(dú)立試驗(yàn)中事件A發(fā)生Yn次，每次試驗(yàn)事件A發(fā)生的概率為p，則對(duì)任意的正數(shù)ε，總有成立。

證　令（k=1，2，…）

顯然Yn=X1+X2+…+Xn，因?yàn)?span id="mivd6eo" class="italic">Xk只依賴于第k次試驗(yàn)，而各次試驗(yàn)是獨(dú)立的，所以X1，X2，…，Xn相互獨(dú)立，又因?yàn)?span id="5kyqbci" class="italic">Xk服從參數(shù)為p的（0—1）分布，故有E（Xk）=p，var（Xk）=p（1-p）（k=1，2，…）。由定理1.1有

這個(gè)定理以嚴(yán)格的數(shù)學(xué)形式表達(dá)了頻率的穩(wěn)定性。這就是說當(dāng)n很大時(shí)，事件發(fā)生的頻率與概率有較大偏差的可能性很小。在實(shí)際應(yīng)用中，當(dāng)試驗(yàn)次數(shù)很大時(shí)，便可以用事件發(fā)生的頻率來代替事件的概率。

定理1.4（辛欽大數(shù)定律）　設(shè)隨機(jī)變量X1，X2，…，Xn，…相互獨(dú)立，服從同一分布，且具有數(shù)學(xué)期望E（Xk）=μ（k=1，2，…），則對(duì)于任意正數(shù)ε，有

證　略。

顯然，貝努利大數(shù)定律是辛欽大數(shù)定律的特殊情況。

【例2】　設(shè)隨機(jī)變量X服從參數(shù)為2的泊松分布，用契比曉夫不等式估計(jì)P{｜X-2｜<3}。

解　因X服從參數(shù)為2的泊松分布，故

E（X）=2，var（X）=2

由契比曉夫不等式知

三、依概率收斂

定義1.2　設(shè)X1，X2，…，Xn，…是一個(gè)隨機(jī)變量序列，a是一個(gè)常數(shù)，若對(duì)于任意正數(shù)ε，有

　　 （1.4） 　　

則稱隨機(jī)變量序列X1，X2，…，Xn，…依概率收斂于a，記為

性質(zhì)：設(shè)，，又設(shè)函數(shù)g（x，y）在點(diǎn)（a，b）連續(xù)，則

特別地，若g（Xn，Yn）=cXn+dYn，c，d為常數(shù)，則；

若g（Xn，Yn）=XnYn，則

若，Yn≠0，則（b≠0）

由依概率收斂定義，定理1.1可表述如下。

設(shè)隨機(jī)變量X1，X2，…，Xn，…相互獨(dú)立，且具有相同的數(shù)學(xué)期望μ與方差σ2，則序列。

貝努利大數(shù)定律表明事件A發(fā)生的頻率依概率收斂于事件A的概率。