第3章　多元回歸分析：估計

3.1　復習筆記

一、使用多元回歸的動因

1．含有兩個自變量的模型

（1）多元回歸分析

除主要的變量外，把其他可觀測因素也包括在回歸模型中。可以把含有兩個自變量的模型寫成：

y＝β₀＋β₁x₁＋β₂x₂＋u

其中，β₀是截距，β₁度量了在其他條件不變情況下Y相對x₁的變化，而β₂則度量了在其他條件不變情況下Y相對x₂的變化。

多元回歸分析對推廣變量之間的函數關系也有幫助。一個重要的差別是如何對參數進行解釋。

（2）多元回歸分析的假定

在含有兩個自變量的模型中，u與x₁和x₂如何相關的關鍵假定是：

E（u｜x₁，x₂）＝0

對上式的解釋與對簡單回歸分析的假定SLR.4的解釋相似。它意味著，對總體中x₁，x₂和的任何值，無法觀測因素的平均值都等于零。

2．含有k個自變量的模型

（1）多元回歸模型

一般多元性回歸模型在總體中可以寫成：

y＝β₀＋β₁x₁＋β₂x₂＋…＋β_kx_k＋u

其中，β₀為截距（intercept），β₁是與x₁相聯系的參數，β₂是與x₂相聯系的參數，等等。由于有k個自變量和一個截距項，所以方程包含了k＋1個（未知的）總體參數。把這種不同于截距的參數稱為斜率參數。

多元回歸的術語類似于簡單回歸的術語。

（2）多元回歸模型的關鍵假定

用條件期望的形式可以表示為：

E（u｜x₁，x₂，…，x_k）＝0

該假定表示不可觀測的誤差項中的所有因素都與解釋變量無關。任何一個導致u與某個自變量相關的問題，都會導致式假定不成立。

二、普通最小二乘法的操作和解釋

1．如何得到OLS估計值

（1）包含兩個自變量模型的估計

在形式上，被估計的OLS方程為：

普通最小二乘法選擇能最小化殘差平方和的估計值。即要使下式盡可能小：

下標i表示觀測序號。第二個下標只是區別不同自變量的方法。

（2）含有k個自變量模型的估計

OLS方程為：

該方程被稱為OLS回歸線或樣本回歸函數。稱為OLS截距估計值，而把稱為OLS斜率估計值。

所選擇的k＋1個OLS估計值最小化殘差平方和：

使用多元微積分求解可得k＋1個線性方程：

這個方程組通常被稱為OLS一階條件。必須假定上式中的方程只能得到的唯一解。

2．對OLS回歸方程的解釋

（1）包含兩個自變量模型的解釋

①方程中的截距項是Y在x₁＝0和x₂＝0情況下的預測值。在多數情況下，令x₁和x₂都等于零沒有什么意義。

②估計值和具有偏效應或其他情況不變的解釋。從上式中可得：

因此能在給定x₁和x₂的變化的情況下，預測Y的變化。截距項與Y的變化沒有關系。當x₂固定，因而?x₂＝0時，于是，類似地，在保持x₁不變時，。

（2）包含多個自變量模型的解釋

OLS回歸線：

用變化量表示為：

x₁的系數度量的是，在所有其他條件不變的情況下，因提高一個單位的x₁而導致的變化。即在保持x₂，x₃，…，x_k不變的情況下，。因此，在估計x₁對Y的影響時，已經控制了變量x₂，x₃，…，x_k的影響。其他系數與此相似。

3．多元回歸中“保持其他因素不變”的含義

因為多元回歸分析中斜率參數的偏效應解釋可能會導致一些混淆，所以要盡量避免這個問題。多元回歸有效地模擬了對自變量的值不加限制的情況。

多元回歸分析能在非實驗環境中進行自然科學家在受控實驗中所能做的事情：保持其他因素不變。

4．同時改變不止一個自變量

通過方程可以改變一個以上的自變量，并能夠得到由此對因變量的影響。

5．OLS的擬合值和殘差

（1）擬合值和殘差

在得到OLS回歸線式后，對每次觀測都得到一個擬合值或預測值。對觀測，其擬合值為：

在求擬合值，不應該忘記截距項；否則，結果就極具誤導性。

規范地講，對任一觀測i，實際值y_i都不等于預測值；OLS最小化了預測誤差評分的平均值，但對任何一個觀測的預測誤差都沒做說明。第i個觀測的殘差只是像在簡單回歸中那樣，被定義為：

每次觀測都有一個殘差。若，則小于y_i，y_i被預測得過低。若，則大于y_i，y_i被預測得過高。

（2）OLS擬合值和殘差的重要性質

①殘差的樣本平均值為零。

②OLS擬合值和OLS殘差之間的樣本協方差值為零。

③點總位于OLS回歸線上：

6．對多元回歸“排除其他變量影響”的解釋

（1）在簡單回歸分析中，由于回歸中根本就不存在其他變量，所以就不用排除其變量的影響。

（2）考慮k＝2個自變量的情形

一種表示的方式為：

其中，是利用現有樣本將x1對x2進行簡單回歸而得到的OLS殘差，再將Y對進行簡單回歸就能得到。（殘差的樣本均值為零，所以就是通常簡單回歸的斜率參數。）

該表達式還給出的另一種偏效應解釋，即度量了在排除x_i2的影響之后y和x₁之間的樣本關系。

（3）在一個含有k個解釋變量的一般模型中，不變，但殘差來自x₁對x₂，x₃，…，x_k的回歸。度量的是，在排除x₂，x₃，…，x_k等變量的影響后，x₁對y的影響。

7．簡單回歸和多元回歸估計值的比較

（1）簡單回歸和多元回歸估計值的關系

Y對x₁的簡單回歸所得到的回歸估計值與將y對x₁和x₂作OLS回歸時所得到x₁的偏回歸估計值的關系為：

其中，是x_i2對x_i1進行簡單回歸的斜率系數。導致二者區別的一項，是x₂對的偏效應與x₂對x₁進行簡單回歸的斜率之積。

（2）兩者相等的特殊情況

①樣本中x₂對y的偏效應為零，即；

②樣本中x₁和x₂不相關，即。

（3）在含有k個自變量的情形中兩者相等的特殊情況

①從x₂到x_k所有的OLS系數都是零；

②x₁與x₂，x₃，…，x_k都不相關。

實際上，這兩個條件都不太可能成立。但如果所有從x₂到x_k的系數都很小，或者x₁與其他自變量之間的樣本相關關系都不顯著，那么x₁影響Y的簡單回歸估計值和多元回歸估計值可能會很相似。

8．擬合優度

（1）總平方和（SST）、解釋平方和（SSE）和剩余平方和或殘差平方和（SSR）

可以證明SST＝SSE＋SSR，將方程兩邊同時除以SST得到：SSR/SST＋SSE/SST＝1。

（2）擬合優度

①R²被定義為：

R²≡SSE/SST＝1－SSR/SST

而且被解釋為Y_i的樣本變異中被OLS回歸線所解釋的部分。根據定義，R²是一個介于0和1之間的數。

②R²等于y_i的實際值與其擬合值之相關系數的平方。即：

③有關R²的一個重要事實

在回歸中多增加一個自變量后，它絕對不會減小，而且通常會增大。因為在模型中多增加一個回歸元時，按照定義，殘差平方和絕對不會增加。

回歸中增加任何一個變量都不會使R²減小的事實，使得用R²作為判斷是否應該在模型中增加一個或幾個變量的工具很不適當。判斷一個解釋變量是否應放入模型的因素是，這個解釋變量在總體中對y的偏效應是否非零。

9．過原點的回歸

（1）過原點回歸的定義

具體方程如下：

其中，估計值上面的符號“～”用以區別帶截距的OLS回歸。當x₁＝0，x₂＝0，…，x_k＝0時，則預測值也為零。在這種情況下，被稱為從y對x₁，x₂，…，x_k進行過原點的回歸而得到的OLS估計值。

（2）過原點回歸的特點

①OLS殘差的樣本平均不再是零。

②如果R²被定義為R²＝1－SSR/SST，而SSR現在是

R²實際上可能為負。這意味著樣本平均比解釋變量更多地“解釋”了y_i的變異。要么應該在回歸中包含一個截距項，要么斷定解釋變量對Y的解釋很差。

③通過原點的回歸有一個重要缺陷：如果總體模型中的截距項β₀不是零，那么斜率參數的OLS估計量將有偏誤。在某些情況下，這種偏誤可能會很嚴重。當β₀確實是零時，估計帶截距項方程的代價是，OLS斜率估計量的方差會更大。

三、OLS估計量的期望值

以下假定都是對簡單回歸模型假定的直接推廣，而且在這些假定之下，OLS估計量是總體參數的無偏估計。

1．基本假定與OLS的無偏性

（1）假定MLR.1（線性于參數）

總體模型可寫成：

y＝β₀＋β₁x₁＋β₂x₂＋β₃x₃＋…＋β_kx_k＋u

其中β₀，β₁，…，β_k是未知參數（常數），而u則是無法觀測的隨機誤差或隨機干擾。

模型的一個重要特點是，它是參數β₀，β₁，…，β_k的線性函數。

（2）假定MLR.2（隨機抽樣）

有一個包含n次觀測的隨機樣本｛（x_i1，x_i2，…，x_ik，y_i）：i＝1，2，…，n｝，它來自假定MLR.1中的總體模型。

寫出一次特定觀測i的方程：

y_i＝β₀＋β₁x_i1＋β₂x_i2＋…＋β_kx_ik＋u_i

記住i表示觀測次數，x的第二個角標表示變量序號。

借助模型y＝β₀＋β₁x₁＋β₂x₂＋β₃x₃＋…＋β_kx_k＋u ，從y對x₁，x₂，…，x_k的回歸中得到的OLS估計量，現在被看作是β₀，β₁，…，β_k的估計量。

（3）假定MLR.3（不存在完全共線性）

①假定的主要內容

在樣本（因而在總體中），沒有一個自變量是常數，自變量之間也不存在嚴格的線性關系。

如果方程中的一個自變量剛好是其他自變量的一個線性組合，就說這個模型遇到完全共線性的問題，也就不能由OLS來估計。假定MLR.3允許自變量之間存在相關關系，只是不能完全相關。

②自變量完全相關的方式

a．不要在同一個回歸方程中包括以不同單位度量的同一個解釋變量。一個自變量也可能以更微妙的方式成為另一個自變量的倍數。

b．自變量可能完全線性相關的另一種方式是，一個自變量恰好可以表示成其他兩個或多個自變量的線性函數。

（4）假定MLR.4（條件均值為零）

給定自變量的任何值，誤差u的期望值為零，即：

E（u｜x₁，x₂，…，x_k）＝0

①假定MLR.4可能不成立的情況：

a．模型方程中被解釋變量和解釋變量之間的函數關系被錯誤地設定：當一個變量在總體中應該以對數形式出現時，卻使用了其水平值等等。

b．漏掉一個與x₁，x₂，…，x_k中任何一個自變量相關的重要因素，也能導致MLR.4不成立。

c．u還可能以其他方式與一個解釋變量相關。

當假定MLR.4成立時，則模型具有外生解釋變量。如果出于某種原因x仍與u相關，那么x_j就被稱為內生解釋變量。

②假定MLR.4與假定MLR.3相當不同，不能將它們混淆。

假定MLR.3排除了自變量和因變量之間的某些關系，而與u無關。在進行OLS估計時，就會得出假定MLR.3成立與否。

假定MLR.4則限制了u中無法觀測因素與解釋變量之間的關系，是一個關鍵假定。但無法確切地知道，無法觀測因素的平均值是否與解釋變量無關。

（5）定理3.1：OLS的無偏性

在假定MLR.1～MLR.4下，下式對總體參數β_j的任意值都成立

即OLS估計量是總體參數的無偏估計量。

OLS在假定MLR.1～MLR.4下是無偏的，是指，將用來得到OLS估計值的程序用于各種可能的隨機樣本時，這個程序是無偏的。

2．在回歸模型中包含了無關變量

在多元回歸分析中包含一個無關變量或對模型進行過度設定，是指盡管一個（或多個）自變量在總體中對y沒有影響，卻被放到了模型中（即它的總體系數為零）。

在一個多元回歸模型中包含一個或多個無關變量，或對模型進行了過度設定，并不會影響到OLS估計量的無偏性。包含無關變量對OLS估計量的方差具有不利影響。

3．遺漏變量的偏誤：簡單情形

假設遺漏了一個實際上應包括在真實（或總體）模型中的變量，這通常被稱為排除一個有關變量或對模型設定不足的問題。

（1）遺漏變量偏誤

簡單回歸因遺漏一個變量而誤設時所具有的性質。由于模型滿足假定MLR.1～MLR.4，所以和將分別是β₁和β₂的無偏估計量。因此：

則中的偏誤為：

此時的偏誤源自遺漏的解釋變量x₂，所以方程右邊的項時常被稱為遺漏變量偏誤。

（2）無偏的兩種情況

①第一種情況：若β₂＝0，則就是無偏的。

②第二種情況：若，使也是β₁≠0，也是β₁的無偏估計。當且僅當樣本中的x₁和x₂不相關時，才會有。由此可得：若樣本中的x₁和x₂不相關，則就是無偏估計。

若，那么的無偏性無須以x_i2為條件；于是在估計β₁時，只要調整截距，將x₂放在誤差項中并不違背誤差項的條件均值為零的假定。

當x₁和x₂相關時，與x₁和x₂之間的相關系數具有相同的符號：若x₁和x₂正相關，則，若x₁和x₂負相關，則。

（3）偏誤的符號與大小

①偏誤的符號同時取決于β₂和的符號，存在偏誤時的四種可能情形如表3-1所示。

表3-1  遺漏變量時的偏誤匯總表

②偏誤的大小由β₂和的大小決定。

（4）與偏誤有關的術語

在模型漏掉一個變量的背景下，若，就說有向上的偏誤。當時，則有向下的偏誤。

向零的偏誤是指比β₁更接近零的情況。因此，若β₁為正，則向下的偏誤就是向零的偏誤；另一方面，若β₁為負，則向上的偏誤就是向零的偏誤。

4．遺漏變量的偏誤：更一般的情形

一個解釋變量與誤差之間存在相關性，一般會導致所有OLS估計量都產生偏誤。

假設總體模型y＝β₀＋β₁x₁＋β₂x₂＋β₃x₃＋u，滿足假定MLR.1～MLR.4，但遺漏了變量x₃并估計了模型

假設x₂和x₃無關，但x₁和x₃卻相關。此時和通常都是有偏的。唯一的例外是，在x₁和x₂不相關的時候。很難得到和偏誤的方向，因為x₁，x₂和x₃可能會兩兩相關。

一種近似方法在實踐中常常很有用。如果假定x₁和x₂無關，則：

四、OLS估計量的方差

1．同方差性與OLS斜率估計量的抽樣方差

（1）假定MLR.5（同方差性）

給定任意解釋變量值，誤差項u都具有相同的方差。即：

假定MLR.5意味著，以解釋變量為條件，不管解釋變量出現何種組合，誤差項u的方差都是一樣的。如果這個假定不成立，那么模型就像在兩變量情形中一樣表現出異方差性。

假定MLR.1～MLR.5一起被稱為（橫截面回歸的）高斯-馬爾可夫假定。

（2）定理3.2：OLS斜率估計量的抽樣方差

在假定MLR.1～MLR.5之下，以自變量的樣本值為條件，對所有的j＝1，2，…，k，都有：

其中，是x_j的總樣本變異，而則是將x_j對所有其他自變量（并包含一個截距項）進行回歸所得到的R²。

在得到這個公式的過程中，用到了所有高斯-馬爾可夫假定。

2．OLS方差的成分：多重共線性

的方差取決于三個因素：σ²、SST_j和。下標j只是表示自變量中的任意一個。

（1）誤差方差σ²

σ²越大意味著OLS估計量的方差就越大。方程中的“噪音”越多（σ²越大），使得估計任何一個自變量對y的偏效應都越困難，這將通過OLS斜率估計量的較大方差反映出來。由于σ²是總體的一個特征，所以它與樣本容量無關。

對于一個給定的因變量y，確實只有一個辦法減少誤差方差，即在方程中增加更多的解釋變量（將某些因素從誤差項中剔除出來）。

（2）x_j的總樣本變異，SST_j

x_j的總變異越大，就越小。因此，若所有其他條件不變，就估計β_j而言，x_j的樣本方差越大越好。

有一種辦法來提高每個自變量的樣本變異：擴大樣本容量。實際上，當從總體中隨機抽樣時，隨著樣本容量越來越大，SST_j將無限遞增。這是方差中系統地取決于樣本容量的部分。

若SST_j很小，會變得很大。但小的SST_j并不違背假定MLR.3。從技術上講，隨著SST_j趨近于零，可能趨于無窮大。但x_j無樣本變異的這種極端情形（SST_j＝0）卻是假定MLR.3所不允許的。

（3）自變量之間的線性關系，

不同于Y對x₁，x₂，…，x_k回歸所得到的R²：得到的回歸只涉及原模型中的自變量，其中x_j是作為因變量而出現的。

①k＝2的情形：y＝β₀＋β₁x₁＋β₂x₂＋u 。

，其中是x₁對x₂（含截距）進行簡單回歸所得到的R²由于R²度量了擬合優度，所以當值接近于1時，則表明在這個樣本中，x₂解釋了x₁的大部分變動。這就意味著x₁和x₂高度相關。隨著向1逐漸接近，則變得越來越大。因此x₁和x₂之間線性關系的程度越高，OLS斜率估計值的方差就越大。

②在一般情況下，是x_j總變異中可由方程中其他給定的σ²和SST_j最小的自變量加以解釋的部分。對于在時得到，當且僅當x_i與其他每個自變量的樣本相關系數都等于零時，才會發生這種情況。

③另一個極端情形被假定MLR.3所排除，因為意味著，x_j恰好是回歸中某些自變量的線性組合。

④還有一種更重要的情形是“接近”于1的情況。這會導致很大：若則，兩個或多個自變量之間高度（但不完全）相關被稱為多重共線性。

（4）多重共線性的界定和解決方法

①多重共線性的界定

在“接近”于1的情況下估計β_j可能會導致多重共線性時，把“接近”一詞放在引號中，因為不能給出一個絕對的數字來斷定什么情況下多重共線性會成為一個問題。就統計推斷而言，最終問題是與其標準差相比有多大。

很大的可能導致很大的，很小的SST_j也能導致很大的，因此，小樣本容量也能導致很大的抽樣方差。對樣本中自變量間出現高度相關的擔心，實際上無異于對小樣本容量的擔心：二者都會提高。

②結論

雖然不能清楚地界定多重共線性問題，但在所有其他條件都不變的情況下，就估計β_j來說，x_j與其他自變量之間越不相關越好。

另外一個重要問題是，雖然某些自變量之間高度相關，但對模型中其他參數的估計效果而言可能并不重要。

③“解決”多重共線性問題的方法：

a．搜集更多的數據外；

b．對于一個給定的數據集，可以試著從模型中去掉一些其他自變量，以努力消除多重共線性。但去掉總體模型中的一個變量常常會導致偏誤。

3．誤設模型中的方差

在一個回歸模型中是否包含一個特定變量的決策，可以通過分析偏誤和方差之間的替換關系而做出。

將滿足高斯-馬爾可夫假定的真實總體模型寫成：y＝β₀＋β₁x₁＋β₂x₂＋u，

假定x₁和x₂不相關，可以得到如下結論：

（1）當β₂≠0時，是有偏的，是無偏的，而且。

（2）當β₂＝0時，和都是無偏的，而且。

①若β₂＝0，更好。如果x₂對y沒有偏效應，那么將它放在模型中就只會加劇多重共線性問題，從而導致β₁的估計量效率較低。在模型中包括一個無關變量的代價是，β₁的估計量方差較高。

②β₂≠0的情況。不把x₂放到模型中，將導致β₁的估計量有偏誤。

當β₂≠0時，模型中應該包括x₂的原因：

a．中的偏誤不會隨著樣本容量的擴大而縮減；實際上，偏誤不一定服從任何形式，偏誤對任何樣本容量都大致相等。

b．隨著x逐漸變大，和都逐漸縮小至零，這意味著，隨著樣本容量逐漸變大，因增加x₂所導致的多重共線性就會變得沒有那么重要。在大樣本情況下，將更偏好。

c．方差公式取決于樣本中x_i1和x_i2的值，這就為提供了最好的條件。當β₂≠0時，僅取決于x₁的方差比式中的方差更大。

4．估計σ²：OLS估計量的標準誤

（1）殘差和自由度

將每個β_i用其OLS估計量取代后，就得到OLS殘差：

在簡單回歸情形中，這將導致一個有偏估計量。在一般多元回歸情形中，σ²的無偏估計量是：

n－k－1是含有n個觀測和k個自變量的一般OLS問題的自由度。即：df＝n－（k＋1）＝觀測次數－估計參數的個數。

（2）定理3.3：σ²的無偏估計

在高斯-馬爾可夫假定MLR.1～MLR.5下，E（σ²）＝σ²。

的正平方根被稱為回歸標準誤或SER。SER是誤差項之標準差的估計量。（對于給定樣本）在方程中增加另一個自變量時，則可能減小或增加。這是因為當增加另一個解釋變量時，在SSR肯定下降的同時，自由度也減少一個。因為SSR在分子中，而df在分母中，所以事先并不知道哪個作用會占主導地位。

（3）的標準差

為了構造置信區間并進行檢驗，估計的標準差也就是方差的平方根：

由于σ未知，所以用其估計量來取代，則：

如果誤差表現出異方差性，標準誤公式就不是的一個可靠估計量，從而使標準誤無效。

五、OLS的有效性：高斯-馬爾可夫定理

1．最優線性無偏估計量

（1）估計量：它是一個可應用于任何一個數據樣本，并產生一個估計值的規則。

（2）無偏估計量：如果β_j的一個估計量，對任意β₀，β₁，…，β_k都有，那么它就是β_j的一個無偏估計量。

（3）“線性”：β_j的一個估計量是線性的充分必要條件是，它能表示成因變量數據的一個線性函數：

其中每個w_ij都可以是所有自變量樣本值的一個函數。

（4）“最優”：最優被定義為最小方差。

2．定理3.4：高斯-馬爾可夫定理

（1）主要內容

在假定MLR.1～MLR.5下，分別是β₀，β₁，…，β_k的最優線性無偏估計量。

假定MLR.1～MLR.5被稱為（橫截面數據分析的）高斯-馬爾可夫假定。

（2）高斯-馬爾可夫定理的重要性

當這個標準假定集成立時，不需要再去尋找其他無偏估計量：沒有一個會比OLS更好。

如果高斯-馬爾可夫假定中的任何一個不成立，那么這個定理也就不再成立。零條件均值的假定（假定MLR.4）不成立會導致OLS產生偏誤，異方差性（假定MLR.5不成立）雖不致使OLS有偏，但它在線性無偏估計量中不再具有最小方差。