第5章　多元回歸分析：OLS的漸近性

5.1　復習筆記

一、一致性

1．定理5.1：OLS的一致性

在假定MLR.1～MLR.4下，對所有的j＝0，1，2，…，k，OLS估計量都是β_j的一致估計。

（1）證明過程

寫下的公式，然后將y_i＝β₁＋β₁X₁＋u_i代入其中便得到：

在分子和分母中應用大數定律，則分別依概率收斂于總體值Cov（x₁，u）和Var（x₁）。給定Var（x₁）≠0，因為Cov（x₁，u）＝0，可以使用概率極限的性質得到：

（2）假定MLR.4＇（零均值和零相關）

對所有的j＝1，2，…，k，都有E（u）＝0和Cov（x₁，u）＝0。

假定MLR.4＇與假定MLR.4的比較：

①假定MLR.4＇是一個更自然的假定，因為它直接得到普通最小二乘估計值。

②使用假定MLR.4的原因

首先，如果E（u｜x₁，x₂，…，x_k）＝0與任何一個x_j相關，那么，在假定MLR.4＇下，普通最小二乘估計量都是有偏誤（但一致）的。

其次，零條件均值假定意味著已經正確地設定了總體回歸函數（PRF）。也就是說，在假定MLR.4下，可以得到解釋變量對y的平均值或期望值的偏效應。如果只使用假定MLR.4＇，那么，β₀＋β₁x₁＋β₂x₂＋…＋β_kx_k就不一定代表了總體回歸函數，也就面臨著x_j的某些非線性函數可能與誤差項相關的可能性。

2．推導OLS的不一致性

誤差項和x₁，x₂，…，x_k中的任何一個相關，通常也會導致所有的OLS估計量都失去其一致性。

總結為：如果誤差與任何一個自變量相關，那么OLS就是有偏而又不一致的估計。它就意味著，隨著樣本容量的增加，偏誤將繼續存在。

的不一致性為：

因為Var（x₁）＞0，所以，若x₁和u正相關，則的不一致性就為正，而若x₁和u負相關，則的不一致性就為負。如果x₁和u之間的協方差相對于x₁的方差很小，那么這種不一致性就可以被忽略。由于u是觀測不到的，所以甚至還不能估計出這個協方差有多大。

二、漸近正態和大樣本推斷

1．定理5.2：OLS的漸近正態性

在高斯-馬爾可夫假定MLR.1～MLR.5下，

（1）

是的漸近方差；斜率系數，

其中是X_j對其余自變量進行回歸所得到的殘差。為漸近正態分布的。

（2）σ²是σ²＝Var（u）的一個一致估計量。

（3）對每個j，都有：

其中，就是通常的OLS標準誤。

定理5.2的重要之處在于，它去掉了正態性假定MLR.6。對誤差分布唯一的限制是，它具有有限方差。還對u假定了零條件均值（MLR.4）和同方差性（MLR.5）。

標準正態分布在式中出現的方式與t_n－k－1分布不同。這是因為這個分布只是一個近似。實際上，由于隨著自由度的變大，t_n－k－1趨近于標準正態分布，所以如下寫法也是合理的：

2．其他大樣本檢驗：拉格朗日乘數統計量

（1）包含k個自變量的多元回歸模型

y＝β₀＋β₁x₁＋…＋β_kx_k＋u

檢驗這些變量中最后q個變量是否都具有零總體參數。

虛擬假設：H₀：β_k－q＋1＝0，…，β_k＝0，它對模型施加了q個排除性約束。

對立假設：這些參數中至少有一個異于零。

LM統計量僅要求估計約束模型。于是，假定進行了如下回歸

式中“～”表示估計值都來自約束模型。表示約束模型的殘差。如果被排除變量x_k－q＋1到x_k在總體中的系數都為零，那么應該與樣本中這些變量中的每一個都不相關，至少近似無關。

進行對x₁，x₂，…，x_k的輔助回歸，輔助回歸是用來計算一個檢驗統計量，但回歸系數沒有直接意義。

樣本容量乘以輔助回歸式的R²，漸近服從一個自由度為q的χ²隨機變量的分布。LM統計量有時也被稱為n－R²統計量。

（2）q個排除性約束的拉格朗日乘數統計量

①將Y對施加限制后的自變量集進行回歸，并保留殘差；

②將對所有自變量進行回歸，并得到R²，記為；

③計算；

④將LM與分布中適當的臨界值c相比較，如果LM＞c，就拒絕虛擬假設。

（3）與F統計量比較

與F統計量不同，無約束模型中的自由度在進行LM檢驗時沒有什么作用。所有起作用的因素只是被檢驗約束的個數（q）、輔助回歸R²的大小（）和樣本容量（n）。無約束模型中的df不起什么作用，這是因為LM統計量的漸近性質。但必須確定將乘以樣本容量以得到LM，如果n很大，看上去較低的值仍可能導致聯合顯著性。

三、OLS的漸近有效性

1．簡單回歸模型

y＝β₀＋β₁x₁＋u

令g（x）為x的任意一個函數，那么u就與g（x）無關。對所有的觀測i，令Z_i＝g（x_i）。假定g（x）和x相關，那么估計量

就是對β₁的一致估計。將y＝β₀＋β₁x₁＋u 代入，并把寫成

在分子和分母中應用大數定律，由于在假定MLR.4下Cov（z，u）＝0，所以有：

2．含有k個回歸元的情形

將OLS的一階條件推廣，可以得到一類一致估計量：

其中，g_j（x_i）表示第i次觀測的所有自變量的任意函數。當g₀（x_i）＝1且對j＝1，2，…，k，g_j（x_i）＝x_ij時，得到OLS估計量。由于可以使用x_ij的任意函數，所以估計量具有無限多的種類。

3．定理5.3：OLS的漸近有效性

在高斯-馬爾可夫假定下，令表示從求解形如上式的方程所得到的估計量，而表示OLS估計量。那么，對j＝0，1，2，…，k，OLS估計量具有最小的漸近方差：