2.3　概率統(tǒng)計(jì)

2.3.1　隨機(jī)事件

自然界的各種現(xiàn)象，按其發(fā)生的結(jié)果，可以分成確定性（或偶然）現(xiàn)象和隨機(jī)（或必然）現(xiàn)象兩類。確定性現(xiàn)象是指在一定條件下必然發(fā)生的現(xiàn)象，只要保持條件不變，任何人重復(fù)實(shí)驗(yàn)或觀察，該現(xiàn)象的結(jié)果總是確定的。隨機(jī)現(xiàn)象是指在一定條件下，可能發(fā)生也可能不發(fā)生的現(xiàn)象。不論何種現(xiàn)象，對(duì)其所進(jìn)行的觀察、實(shí)驗(yàn)統(tǒng)稱為試驗(yàn)（experiment）。

隨機(jī)現(xiàn)象的試驗(yàn)特征是：

? 在一定條件下，其試驗(yàn)的可能結(jié)果不止一個(gè)；

? 一次試驗(yàn)中，可能出現(xiàn)某一結(jié)果，也可能出現(xiàn)另一個(gè)結(jié)果，事先無法預(yù)知；

? 就一次試驗(yàn)而言，其結(jié)果表現(xiàn)出偶然性，但在大量重復(fù)試驗(yàn)下，其試驗(yàn)結(jié)果呈現(xiàn)出某種規(guī)律性。

隨機(jī)現(xiàn)象的這種隱蔽的內(nèi)在規(guī)律性叫做統(tǒng)計(jì)規(guī)律性。要獲得統(tǒng)計(jì)規(guī)律性，必須在相同的條件下，大量重復(fù)地做試驗(yàn)，這類試驗(yàn)稱隨機(jī)試驗(yàn)（random experiment），有時(shí)簡(jiǎn)稱試驗(yàn)。隨機(jī)試驗(yàn)具有三個(gè)特性：

? 試驗(yàn)可以在相同的條件下重復(fù)進(jìn)行；

? 每次試驗(yàn)的可能結(jié)果不止一個(gè)，究竟會(huì)出現(xiàn)哪一個(gè)結(jié)果，試驗(yàn)前不能準(zhǔn)確預(yù)言；

? 試驗(yàn)所有的可能結(jié)果在試驗(yàn)前是明確（已知）的，而每次試驗(yàn)必有其中的一個(gè)結(jié)果出現(xiàn)，而且僅有一個(gè)結(jié)果出現(xiàn)。

試驗(yàn)的每一個(gè)可能的結(jié)果稱為一個(gè)基本事件（basic event）。全體結(jié)果所構(gòu)成的集合稱為隨機(jī)試驗(yàn)的樣本空間（sample space），記為?。樣本空間中的元素稱為樣本點(diǎn)（sample points）。

樣本空間的子集稱為隨機(jī)事件（random event），簡(jiǎn)稱事件。

事件A的對(duì)立事件或補(bǔ)集是指?中不在A中元素組成的集合，記為，=Ω?A。

事件A和B的并（或和）記為A∪ B，是指事件A和事件B中至少有一個(gè)發(fā)生的集合。

事件A和B的積（或交）記為A∩B或AB，是指事件A和事件B同時(shí)發(fā)生的集合。

事件A和B的差記為A-B，是指事件A發(fā)生而事件B不發(fā)生的集合。

由差事件和對(duì)立事件的定義可以得到下列結(jié)論：A?B=。

事件的運(yùn)算滿足以下規(guī)則：

交換律：AB=BA, AB=BA

結(jié)合律：(A∪B)∪C=A∪ (B∪ C)

(AB)C=A(BC)

分配律：(A∪B)∩C=AC∪BC

(A∩B)∪C=(A∪C)∩(B∪ C)

德·摩根（De Morgan）律（對(duì)偶原則）：

2.3.2　概率的定義

隨機(jī)事件A發(fā)生的可能性大小的度量稱為A發(fā)生的概率，記作P(A)。

概率P是定義在樣本空間Ω上的實(shí)數(shù)函數(shù)，滿足如下性質(zhì)：

非負(fù)性：對(duì)于任一事件A，0≤P(A)≤1；

規(guī)范性：P(Ω)=1；

可列加性：對(duì)于樣本空間中的任意不相交的事件A1, A2, …, An：

不可能事件的概率為0，即P(Φ)=0。

如果事件之間存在相交，計(jì)算其概率就需要用到加法公式：

P(A∪B)=P(A)+P(B)?P(A∪B)

特殊地：P(A)+P()=1

還可以導(dǎo)出：P(A?B)=P(A)?P(A∩B)

2.3.3　條件概率和貝葉斯公式

條件概率（兩個(gè)事件先后發(fā)生）：已知事件A發(fā)生條件下，事件B發(fā)生的概率為：

乘法公式（兩個(gè)事件同時(shí)發(fā)生）：P(A∩B)=P(A)P(B|A)

全概率公式（樣本空間某種劃分下的概率）：如果事件B1, B2, …, Bn構(gòu)成樣本空間Ω的一種劃分，且P(Bi)>0, i=1, 2, …, n，則對(duì)于樣本空間Ω中的任一事件A，有：

樣本空間劃分是把所有可能情況都列全，而且不同情況之間沒有交叉重疊，即：

貝葉斯公式（事件發(fā)生后分析各種誘因）：事件B1, B2, …, Bn是樣本空間Ω的一種劃分，對(duì)于Ω中的任一事件A，如果滿足P(A)>0，有：

其中，k=1, 2, …, n。

當(dāng)事件A已經(jīng)發(fā)生后，貝葉斯公式可以用來尋找分析導(dǎo)致事件發(fā)生的原因。把樣本空間Ω看作事件A發(fā)生的各種原因組成的空間，B1, B2, …, Bn表示各種原因，概率P(A|Bk)表示事件Bk導(dǎo)致事件A發(fā)生的概率，P(Bk)是原因Bk發(fā)生的概率，一般是根據(jù)以往的積累數(shù)據(jù)或經(jīng)驗(yàn)得出的，是先于試驗(yàn)就得到的概率，所以稱先驗(yàn)概率。相應(yīng)地，通過試驗(yàn)得到的概率稱后驗(yàn)概率。因此，貝葉斯公式是由“結(jié)果”求“原因”的。

2.3.4　常用概率模型

1. 古典概型

若試驗(yàn)具有以下兩個(gè)特征：

1）有限性。試驗(yàn)的樣本空間Ω是有限集，即

Ω={ω1, ω2, …, ωn}

2）等可能性。每個(gè)樣本點(diǎn)（即基本事件）發(fā)生的可能性都相等，即

則稱此試驗(yàn)為古典概型試驗(yàn)，簡(jiǎn)稱古典概型（classical probability model）。

設(shè)古典概型試驗(yàn)E的樣本空間Ω有n個(gè)樣本點(diǎn)，若事件A包含其中的m個(gè)樣本點(diǎn)，m≤n，則事件A的概率為：

古典概型樣本點(diǎn)計(jì)算中經(jīng)常用到排列和組合公式。

不重復(fù)排列公式：從n個(gè)元素中任取m個(gè)元素，m≤n，按照一定的順序排成一列，其排列數(shù)為：

可重復(fù)排列公式：從n個(gè)不同元素中有放回地抽取m個(gè)元素按照一定的順序排成一列，m≤n，其排列數(shù)為：

nm

圓排列：將n個(gè)元素環(huán)形排列，僅區(qū)分元素之間的相對(duì)位置，這種排列法稱為圓排列，其排列數(shù)為：(n?1)!。

組合公式：從n個(gè)不同元素中取出m個(gè)元素，不計(jì)順序組成一組，其組合數(shù)為：

加法原理：如果完成一件工作有m個(gè)不同的方法，其中任何一個(gè)方法都可以一次完成這件工作。假設(shè)第i個(gè)方法有ni(i=1, 2, …, m)個(gè)方案，則完成該件工作的全部方案有n1+n2+…+nm個(gè)。

乘法原理：如果一件工作先后需m個(gè)步驟才能完成，其中第i個(gè)步驟有ni(i=1, 2, …, m)個(gè)方案，則完成該項(xiàng)工作的方案有n1n2…nm個(gè)。

2. 幾何概型

古典概型的試驗(yàn)結(jié)果是有限多個(gè)，幾何概型的試驗(yàn)結(jié)果為無窮多個(gè)。幾何概型是指具有下列兩個(gè)特征的隨機(jī)試驗(yàn)：

1）有限區(qū)間，無限樣本點(diǎn)：試驗(yàn)的所有可能結(jié)果為無窮多個(gè)樣本點(diǎn)，但其樣本空間Ω表現(xiàn)為直線、平面或三維空間中具有幾何度量的有限區(qū)域；

2）等可能性：試驗(yàn)中每個(gè)基本事件出現(xiàn)的可能性相同，且任意兩個(gè)基本事件不可能同時(shí)發(fā)生。

在幾何概型中，設(shè)樣本空間為Ω，事件A?Ω，則事件A發(fā)生的概率為：

3. 伯努利概型

如果一個(gè)試驗(yàn)只有成功（A）和失敗（）兩種可能的結(jié)果，每次試驗(yàn)成功的概率是一個(gè)常數(shù)P(A)=p。重復(fù)n次試驗(yàn)構(gòu)成一個(gè)過程，這個(gè)過程稱為伯努利過程，每次試驗(yàn)稱為伯努利試驗(yàn)，或伯努利概型。

在n次伯努利試驗(yàn)中，事件A出現(xiàn)k次的概率為：

2.3.5　隨機(jī)變量與概率分布

為了將隨機(jī)事件進(jìn)行量化，需要引入隨機(jī)變量。

設(shè)E是隨機(jī)試驗(yàn)，其樣本空間為Ω={ω}，如果對(duì)于每一個(gè)樣本點(diǎn)ω∈Ω，都有唯一確定的實(shí)數(shù)ξ(ω)與之對(duì)應(yīng)，則稱實(shí)值函數(shù)ξ(ω)為一個(gè)隨機(jī)變量，常用大寫字母X、Y、Z表示。由此，隨機(jī)事件不論與數(shù)量是否直接有關(guān)，都可以用數(shù)量化的方式表達(dá)。

如果隨機(jī)變量X只可能取有限個(gè)或至多可列個(gè)值，則稱X為離散型隨機(jī)變量。取值為0或1的特殊隨機(jī)變量稱為伯努利隨機(jī)變量。

對(duì)于隨機(jī)變量X，若存在一個(gè)定義在（?∞, ∞）內(nèi)的非負(fù)實(shí)值函數(shù)f(x)，使得對(duì)于任意實(shí)數(shù)x，總有

則稱X為連續(xù)型隨機(jī)變量。

設(shè)離散型隨機(jī)變量X所有可能的取值為：{x1, x2, …, xn, …}，每個(gè)值都有一個(gè)相應(yīng)的概率P(X=xk)=pk(k=1, 2, …)，稱為隨機(jī)變量X的分布列，或稱概率函數(shù)。

離散型隨機(jī)變量的分布列滿足：

1）

2）pk≥0, k=1, 2, …。

X的分布函數(shù)為：

連續(xù)型隨機(jī)變量定義中的f(x)稱為概率密度函數(shù)，簡(jiǎn)稱密度函數(shù)。連續(xù)隨機(jī)變量在其任一點(diǎn)取值的概率均為0，對(duì)這個(gè)函數(shù)的積分可以得到X在a和b之間的概率值：

或

F(x)稱為X的分布函數(shù)。

因?yàn)楸硎镜氖歉怕手担裕怕拭芏群瘮?shù)需要滿足：

① f(x)≥0；

②

注意：離散隨機(jī)變量有概率函數(shù)，連續(xù)隨機(jī)變量只有概率密度函數(shù)，概率是由面積表示的，即是由概率密度函數(shù)積分得到的。進(jìn)一步，連續(xù)隨機(jī)變量可以用曲線表示，但是，曲線上的點(diǎn)的高度表示的不是概率值！

如果事件的發(fā)生涉及多個(gè)隨機(jī)變量，需要引入聯(lián)合概率分布。

離散型隨機(jī)變量X和Y的聯(lián)合概率分布為：P(X=xi, Y=yj)=pij, i, j=1, 2, …：

① pij≥0, i, j=1, 2, …；

②

連續(xù)型隨機(jī)變量X和Y的聯(lián)合密度函數(shù)f(x, y)：

① 對(duì)于所有(x, y), f(x, y)≥0；

②

③ 對(duì)于xy平面上的任意區(qū)域S，P[(X, Y)∈S]=∫∫Sf(x, y)dxdy。

2.3.6　隨機(jī)變量的數(shù)字特征

1. 均值（期望值）

如果X是離散的，X的均值或期望值是：

如果X是連續(xù)的，X的均值或期望值是：

2. 方差

隨機(jī)變量X的均值或期望值描述了概率分布的中心位于何處，方差用來描述隨機(jī)變量偏離中心的程度。之所以不用標(biāo)準(zhǔn)差而用平方差，是為了避免出現(xiàn)正負(fù)誤差相互抵消的情況。

如果X是離散的，那么其方差為：

如果X是連續(xù)的，那么其方差為：

x?μ稱為觀測(cè)值對(duì)均值的離差。

隨機(jī)變量X求方差的簡(jiǎn)便計(jì)算公式：

σ2=E(x2)-μ2

3. 協(xié)方差

對(duì)于多個(gè)隨機(jī)變量，用協(xié)方差來分析它們之間的相互影響程度。比如有兩個(gè)隨機(jī)變量X、Y，其組合（X, Y）就組成了一個(gè)二維隨機(jī)變量。這個(gè)二維隨機(jī)變量的方差就是協(xié)方差。

如果X和Y是離散的，那么其協(xié)方差為：

如果X和Y是連續(xù)的，那么其協(xié)方差為：

均值分別為μX和μY的兩個(gè)隨機(jī)變量X、Y的協(xié)方差可以用下列公式計(jì)算：

Cov(X, Y)=E(XY)?μXμY

兩個(gè)隨機(jī)變量X、Y之間的相互影響關(guān)系有如圖2-4所示的正相關(guān)、負(fù)相關(guān)和不相關(guān)三種關(guān)系。

當(dāng)X越大，Y也越大，X越小，Y也越小時(shí)，稱為正相關(guān)，此時(shí)：Cov(X, Y)>0。

當(dāng)X越大，Y反而越小，X越小，Y反而越大時(shí)，稱為負(fù)相關(guān)，此時(shí)：Cov(X, Y)<0。

當(dāng)X的變化不會(huì)引起Y任何變化時(shí)，稱為不相關(guān)，此時(shí)：Cov(X, Y)=0。

如果還需要度量?jī)蓚€(gè)隨機(jī)變量X、Y之間的關(guān)系，可以用相關(guān)系數(shù)：

2.3.7　典型的概率分布

1. 二項(xiàng)分布

n次伯努利試驗(yàn)的成功次數(shù)X稱為二項(xiàng)隨機(jī)變量。這個(gè)離散隨機(jī)變量的概率分布稱為二項(xiàng)分布，即：

如果一個(gè)伯努利試驗(yàn)成功的概率是p，把n次獨(dú)立試驗(yàn)中的成功次數(shù)作為二項(xiàng)隨機(jī)變量X，其概率分布為：

二項(xiàng)分布的概率計(jì)算方法如下：

二項(xiàng)分布的均值和方差為：

μ=np, σ2=npq

2. 多項(xiàng)式分布

如果每次試驗(yàn)可能的結(jié)果多于兩種，二項(xiàng)試驗(yàn)就變成多項(xiàng)式試驗(yàn)了。

多項(xiàng)式分布　如果給定的試驗(yàn)有k種可能結(jié)果E1, E2, …, Ek，對(duì)應(yīng)的概率分別為p1, p2, …, pk，隨機(jī)變量X1, X2, …, Xk分別表示在n次獨(dú)立試驗(yàn)中結(jié)果E1, E2, …, Ek出現(xiàn)的次數(shù)，則X1, X2, …, Xk的概率分布為：

其中，

3. 超幾何分布

二項(xiàng)分布要求試驗(yàn)是獨(dú)立的，即抽樣后取出的樣本在下次試驗(yàn)前必須放回。超幾何分布不要求試驗(yàn)相互獨(dú)立，即是基于不放回抽樣的。

超幾何分布　總數(shù)為N的對(duì)象中，有k件被標(biāo)記為成功，N-k件被標(biāo)記為失敗，隨機(jī)選取n個(gè)對(duì)象作為樣品，超幾何隨機(jī)變量X表示選中標(biāo)記為成功對(duì)象的數(shù)目，它的概率分布為：

超幾何分布h(x;N, n, k)的均值和方差為：

4. 負(fù)二項(xiàng)分布和幾何分布

對(duì)于二項(xiàng)試驗(yàn)，如果不是按試驗(yàn)次數(shù)n去求有x次成功的概率，而是按成功次數(shù)k去求試驗(yàn)次數(shù)x的概率，這類試驗(yàn)稱為負(fù)二項(xiàng)試驗(yàn)。

做X次試驗(yàn)成功了k次，X被稱為負(fù)二項(xiàng)隨機(jī)變量，它的概率分布稱為負(fù)二項(xiàng)分布。

負(fù)二項(xiàng)分布　如果重復(fù)的獨(dú)立試驗(yàn)成功的概率為p，以X表示出現(xiàn)k次此成功結(jié)果所用的試驗(yàn)次數(shù)，此隨機(jī)變量的概率分布為：

幾何分布在伯努利試驗(yàn)中，試驗(yàn)進(jìn)行到第X次才第一次成功，隨機(jī)變量X的概率分布為：

g(x;p)=p(1?p)x?1, x=1, 2, 3, …

由此可見，幾何分布就是k=1時(shí)的負(fù)二項(xiàng)分布。

服從幾何分布的隨機(jī)變量的均值和方差為：

5. 泊松分布

泊松分布適合于描述單位度量區(qū)間內(nèi)隨機(jī)事件發(fā)生的次數(shù)，而且是小概率事件。單位度量區(qū)間包括單位時(shí)間區(qū)間、單位長(zhǎng)度、單位面積、單位體積等。

泊松分布適用的事件有以下特點(diǎn)：

① 這個(gè)事件是一個(gè)小概率事件；

② 事件的每次發(fā)生是獨(dú)立的，不會(huì)相互影響；

③ 事件的概率是穩(wěn)定的。

泊松分布　X表示在給定的時(shí)間間隔或指定區(qū)域t內(nèi)結(jié)果的發(fā)生數(shù)量，則泊松隨機(jī)變量X的概率分布為：

其中，λ表示在單位度量區(qū)間內(nèi)得到結(jié)果的平均數(shù)量，e為歐拉常數(shù)。

當(dāng)二項(xiàng)分布的n很大而p很小時(shí)，且λ=np大小適中時(shí)，泊松分布可作為二項(xiàng)分布的近似公式。

6. 指數(shù)分布

指數(shù)分布是描述泊松過程中事件之間的時(shí)間概率分布。指數(shù)分布X的密度函數(shù)為：

其中λ>0是分布的一個(gè)參數(shù)，常被稱為率參數(shù)（rate parameter），即每單位時(shí)間內(nèi)發(fā)生某事件的次數(shù)。

其分布函數(shù)為：

7. 均勻分布

在任何情況下概率都是一樣的分布稱為均勻分布。均勻分布是用一個(gè)“平坦的”密度函數(shù)描述的，因此在閉區(qū)間[A，B]上的概率是均勻的。

均勻分布　在區(qū)間[A，B]上的連續(xù)均勻分布隨機(jī)變量X的密度函數(shù)為：

均勻分布的均值和方差是：

8. 高斯分布（正態(tài)分布）

如果某個(gè)現(xiàn)象的發(fā)生是由大量偶然因素相互作用的結(jié)果，通常使用正態(tài)分布來描述。“正態(tài)normal”的含義是指不是因?yàn)槟撤N特定原因，而是多種偶然因素造成的事件發(fā)生。或者說，正態(tài)分布的原因“絕大部分是普通，極少數(shù)是特殊”。

正態(tài)分布的曲線是非常漂亮的對(duì)稱鐘形曲線，其形狀由兩個(gè)參數(shù)完全決定：均值μ和標(biāo)準(zhǔn)差σ。經(jīng)驗(yàn)表明，一些物理量和科學(xué)測(cè)量的誤差均符合正態(tài)分布。

正態(tài)分布　均值為μ，方差為σ2的正態(tài)隨機(jī)變量X的密度為：

均值μ=0，標(biāo)準(zhǔn)差σ=1的正態(tài)隨機(jī)變量的分布稱為標(biāo)準(zhǔn)正態(tài)分布n(x;0,1)。

正態(tài)分布的分布函數(shù)為：

其概率值為（正態(tài)曲線下的面積）：

9. 伽瑪分布

正態(tài)分布解決了很多工程和科學(xué)上的問題，但有些情況下還需要其他類型的分布。指數(shù)分布和伽瑪分布在排隊(duì)論和可靠性問題中發(fā)揮了重要作用。

到達(dá)服務(wù)設(shè)施的時(shí)間間隔、部件和系統(tǒng)的失效時(shí)間等，通常用指數(shù)分布來建立模型。指數(shù)分布是伽瑪分布的特例。

伽瑪分布得名于著名的伽瑪函數(shù)：

伽瑪函數(shù)的性質(zhì)：

① Γ(n)=(n?1)(n?2)…(1)Γ(1)，其中n為正整數(shù)；

② Γ(n)=(n?1)其中n為正整數(shù)；

③ Γ(1)=1；

④

伽瑪分布　連續(xù)隨機(jī)變量X服從參數(shù)為α和β的伽瑪分布，若它的密度函數(shù)為：

其中，α>0, β>0。

伽瑪分布的均值和方差為：μ=αβ, σ2=αβ2。

10. 卡方分布

卡方分布主要用來評(píng)估實(shí)際結(jié)果與期望結(jié)果之間的差異是否異常，包括檢驗(yàn)擬合優(yōu)度，即檢驗(yàn)一組給定數(shù)據(jù)與指定分布的吻合程度，以及檢驗(yàn)兩個(gè)變量的獨(dú)立性。

若n個(gè)相互獨(dú)立的隨機(jī)變量ξ1, ξ2, …, ξn均服從標(biāo)準(zhǔn)正態(tài)分布，則這n個(gè)服從標(biāo)準(zhǔn)正態(tài)分布的隨機(jī)變量的平方和構(gòu)成一個(gè)新的隨機(jī)變量，其分布規(guī)律稱為卡方分布。

在伽瑪分布中，令, β=2, v為正整數(shù)，就可得到卡方分布。因此，卡方分布是伽馬分布的另一個(gè)特例，該分布僅有一個(gè)參數(shù)v，稱為自由度。

卡方分布的密度函數(shù)為：

2.3.8　統(tǒng)計(jì)與概率

統(tǒng)計(jì)與概率如同“一對(duì)親兄弟”。老大“概率”天資聰慧，喜歡使用自己的天賦與知識(shí)對(duì)未來事件進(jìn)行預(yù)測(cè)；老二“統(tǒng)計(jì)”踏實(shí)肯干，只顧埋頭收集數(shù)據(jù)，從數(shù)據(jù)中發(fā)現(xiàn)隱藏的規(guī)律。因此，概率使用的是推理方法，而統(tǒng)計(jì)使用的則是歸納方法。

如圖2-5所示，統(tǒng)計(jì)推斷運(yùn)用概率論中的基本概念，基于樣本數(shù)據(jù)進(jìn)行統(tǒng)計(jì)推斷，得出涵蓋總體的結(jié)論；概率論是根據(jù)總體的已知特征，對(duì)樣本數(shù)據(jù)做出判別。

2.3.9　樣本與總體

數(shù)據(jù)是統(tǒng)計(jì)學(xué)的基礎(chǔ)。在統(tǒng)計(jì)學(xué)中，數(shù)據(jù)分成樣本和總體兩類。總體是指一個(gè)試驗(yàn)中所有可能的觀察值，樣本是從總體中抽取的一部分觀測(cè)值。

抽取樣本的過程稱為抽樣。抽樣的準(zhǔn)確與否，直接決定了分析結(jié)果的準(zhǔn)確性。如果是小概率事件的樣本十分稀少，抽樣更加困難。

從總體X中隨機(jī)抽取一部分個(gè)體X1, X2, …, Xn，稱（X1, X2, …, Xn）為取自總體X的容量為n的樣本。若X1, X2, …, Xn相互獨(dú)立，且具有相同的概率分布（每個(gè)觀察值被抽取的概率相等），那么稱（X1, X2, …, Xn）為隨機(jī)樣本，n為樣本容量。

2.3.10　統(tǒng)計(jì)量與抽樣分布

統(tǒng)計(jì)量是隨機(jī)樣本的一個(gè)函數(shù)，如果樣本容量是n，它就是n個(gè)隨機(jī)變量的函數(shù)。

統(tǒng)計(jì)量是一個(gè)僅依賴于樣本的隨機(jī)變量，因此也有概率分布。一個(gè)統(tǒng)計(jì)量的概率分布稱為抽樣分布。一個(gè)統(tǒng)計(jì)量的抽樣分布依賴于總體大小、樣本容量和選擇樣本的方法。

與概率分布一樣，抽樣分布也有描述其分布情況的數(shù)字特征，唯一的區(qū)別是抽樣分布的數(shù)字特征受隨機(jī)樣本的觀測(cè)值影響，而概率分布的數(shù)字特征是恒定的總體參數(shù)。

常用的統(tǒng)計(jì)量包括：

1. 樣本均值

2. 樣本方差

圖2-6是概率與統(tǒng)計(jì)在數(shù)字特征方面的區(qū)別與聯(lián)系。

均值的抽樣分布：當(dāng)樣本容量足夠大時(shí)，樣本均值的抽樣分布近似于一個(gè)均值為μ，方差為的正態(tài)分布！這個(gè)結(jié)論就是中心極限定理。

2.3.11　參數(shù)估計(jì)

參數(shù)估計(jì)是運(yùn)用樣本數(shù)據(jù)對(duì)總體的某些數(shù)字特征，如數(shù)學(xué)期望、方差等參數(shù)做出估計(jì)。

點(diǎn)估計(jì)是利用樣本數(shù)據(jù)計(jì)算得出關(guān)于總體數(shù)字特征的一個(gè)估計(jì)值。常用的點(diǎn)估計(jì)有矩估計(jì)和最大似然估計(jì)。最大似然估計(jì)適用范圍較廣泛。

如果已知總體分布，但其參數(shù)未知，想借助樣本值來估計(jì)出未知參數(shù)，可使用最大似然估計(jì)。因此，最大似然估計(jì)適用于“模型已定，參數(shù)未知”的情況。

設(shè)X的概率密度函數(shù)f(x; θ1, …, θk)為已知，而θ1, …, θk為未知參數(shù)，X1, X2, …, Xn是從總體X中抽取的樣本，x1, x2, …, xn是樣本值，則稱：

為樣本的似然函數(shù)。使似然函數(shù)L達(dá)到最大值的, …, 稱為θ1, …, θk的最大似然估計(jì)。

若L關(guān)于參數(shù)，可微，一般使用似然方程組或?qū)?shù)似然方程組來求最大似然估計(jì), …, ：

或

區(qū)間估計(jì)利用樣本值確定總體參數(shù)所在的區(qū)間，并以一定的概率保證總體參數(shù)不會(huì)超出這個(gè)區(qū)間。

圖2-7給出了參數(shù)估計(jì)形象的思考方法。