3.2　多重回歸分析中的參數(shù)估計(jì)及其相關(guān)概念的介紹

本小節(jié)以兩個自變量的多重回歸分析為例，說明偏回歸系數(shù)的估計(jì)公式及意義。

我們稱公式（3.4）是因變量Y在自變量X1，X2上的二重回歸模型。它的預(yù)測方程式為

誤差為

類似線性回歸分析，多重回歸的偏回歸系數(shù)也可用最小二乘法求得。最小二乘法的基本思想是令誤差平方和取最小值時求出各個偏回歸系數(shù)的估計(jì)式。這里直接展示最小二乘法的結(jié)果。

β0，β1，β2的估計(jì)式分別為：

觀察上面三個估計(jì)式，我們發(fā)現(xiàn)兩個自變量的偏回歸系數(shù)結(jié)構(gòu)遠(yuǎn)比一個自變量的線性回歸系數(shù)復(fù)雜得多。例如，公式（3.5a）是β1的估計(jì)式b1，等號右邊的第一部分是因變量Y與自變量X1的標(biāo)準(zhǔn)差之比，第二部分包含了因變量Y與X1，X2的相關(guān)系數(shù)ryx1，ryx2及自變量間的相關(guān)系數(shù)rx1x2。

現(xiàn)在對b1稍做變形

式中，等號右邊的第一部分的分母是除去了X2影響后變量X1（記為（X1｜X2））的標(biāo)準(zhǔn)差，而乘號后面的部分是因變量Y與（X1｜X2）的半偏相關(guān)系數(shù)或部分相關(guān)系數(shù)（part correlation co-efficient），于是

它表示X2不變時，X1每增加一個單位，引起因變量Y平均變化的數(shù)量。

同理，對b2的分解也是如此：

它表示X1不變時，X2每增加一個單位，引起因變量Y平均變化的數(shù)量。

公式（3.5a）中，等號右邊的第一部分是因變量Y與自變量X1的標(biāo)準(zhǔn)差之比，如果因變量Y與自變量X1的標(biāo)準(zhǔn)差均為1，這部分的比值等于1。我們把這一條件下的偏回歸系數(shù)稱為標(biāo)準(zhǔn)偏回歸系數(shù)（standardized partial regression coefficient），它們與偏回歸系數(shù)的關(guān)系為

標(biāo)準(zhǔn)偏回歸系數(shù)=偏回歸系數(shù)×（自變量標(biāo)準(zhǔn)差÷因變量標(biāo)準(zhǔn)差）。

那么，公式（3.5a）所對應(yīng)的標(biāo)準(zhǔn)偏回歸系數(shù)可表示為

同樣，b2的標(biāo)準(zhǔn)偏回歸系數(shù)為

顯然，標(biāo)準(zhǔn)偏回歸系數(shù)結(jié)構(gòu)簡單，消除了因變量、自變量方差不一致的影響，成為無單位的多個相關(guān)系數(shù)的函數(shù)，方便比較數(shù)值的大小。

在上面的介紹中，我們第一次接觸了半偏相關(guān)系數(shù)。表達(dá)式為

另外，偏相關(guān)系數(shù)是從兩個變量中排除了同一第三變量的影響后的相關(guān)系數(shù)。表達(dá)式為

圖3.1顯示了半偏相關(guān)與偏相關(guān)系數(shù)的異同。

半偏相關(guān)與偏相關(guān)系數(shù)在多元變量分析中是很常見的概念，SPSS等統(tǒng)計(jì)軟件在估計(jì)多重回歸系數(shù)時，計(jì)算機(jī)會報告這兩類相關(guān)系數(shù)的計(jì)算結(jié)果，希望讀者熟悉它們的統(tǒng)計(jì)意義。

相關(guān)的半偏相關(guān)系數(shù)、偏相關(guān)系數(shù)、標(biāo)準(zhǔn)偏回歸系數(shù)三者的正負(fù)號一致，如果這三個指標(biāo)中有一個等于0，則其余兩個也一定為0。半偏相關(guān)系數(shù)的絕對值不會大于偏相關(guān)系數(shù)和標(biāo)準(zhǔn)偏回歸系數(shù)的絕對值，但是，偏相關(guān)系數(shù)與標(biāo)準(zhǔn)偏回歸系數(shù)的絕對值之間不存在必然的大小關(guān)系。

我們使用p（p≥2）個自變量，對某個因變量Y進(jìn)行多重回歸分析時，它們的每個偏歸系數(shù)的估計(jì)式也可用最小二乘法獲得，但是它們的表達(dá)式就無法像公式（3.5）那么具了，它們可以用更簡潔的矩陣形式來表示。例如，各個X的偏回歸系數(shù)b1，b2，……，bp用一向量表示的話[2]，

截距