顯著差異

學習目標問題 1-13 我們如何知道觀察到的差異是否可推廣到其他人群？

數據是“嘈雜的”。在我們前面提到的實驗中，那些停用臉書賬戶的人患抑郁癥的平均數與那些沒有停用的人的平均數截然不同，這并不是因為兩者之間存在任何真實的差異，只是因為被抽樣者的偶然波動。那么，我們能有多大把握推論觀察到的差異不是研究樣本的偶然結果呢？我們可以探尋差異的可靠性和統計顯著性，以此作為指導。這些推論統計能夠幫助我們確定觀察結果是否可用于推廣到更大的樣本總體（被研究群體中的所有人員）。

觀察到的差異在什么情況下是可靠的？

根據樣本進行推廣時，我們應該牢記三個原則：

1.代表性樣本優于偏態（非代表性）樣本。歸納的最佳依據不是那些特殊而深刻的案例，而是代表性案例。科學研究從來不會對整個人類總體進行隨機抽樣。因此，要牢記一項研究的樣本人群類型。

2.低變異性觀察結果比高變異性觀察結果更可靠。正如前文所述，某籃球運動員的每場比賽得分都十分穩定，基于低變異性數據的平均數更可靠。

3.研究案例越多越好。一位求學心切的準大學生前往兩所大學參觀，各用了一天時間。在第一所大學，該學生隨機聽了兩堂課，發現兩位老師都非常幽默，很有吸引力；而在第二所大學，抽取的兩位老師似乎都很沉悶，沒有吸引力。回到家后，他沒有發現每個院校只抽查兩名老師的樣本規模太小，而是和朋友們聊起了第一所學校的“好老師”和第二所學校的“無聊家伙”。同樣，我們知道這一點，卻也常常忽略了它：基于多數案例的平均數要比僅基于少數案例的平均數更可靠（變異性更低）。發現小規模學校在辦學最成功的學校中占比極高后，一些基金會立馬投資將大規模學校拆分為小規模學校，卻沒有意識到小規模學校在辦學最失敗的學校中占比也極高，因為學生較少的學校辦學成果變化更大（Nisbett, 2015）。同樣，研究案例較多時，平均數會更可靠，研究也會更具可復制性。

要記住的一點：聰明的思考者不會受一些逸事的影響。基于少數非代表性案例的概括是不可靠的。

觀察到的差異在什么情況下具備顯著性？

假如你對攻擊性測試中男性和女性的得分進行了比較，發現男性表現得比女性更具攻擊性。但每個個體都是不同的，你觀察到的性別差異只是一種偶然情況的可能性有多大？

研究人員會采用統計方法來回答這一問題。統計測試首先假設被研究的群體之間不存在差異，這一假設稱為零假設。通過統計數據，我們可以得出結論，觀察到的性別差異太大，不太可能符合零假設。因此，我們會放棄零假設（不存在差異），認為這個結果具有統計顯著性（statistically significant）。這一巨大差異為備擇假設提供了支撐。備擇假設即被研究的群體（如男性和女性）之間在某方面（如攻擊性）確實存在差異。

兩組之間的差異大小（效應量大小）是如何決定統計顯著性的呢？首先，如果兩個樣本的平均數都是對各自群體的可靠測量（如每個樣本都基于多數低變異性觀察結果），那么這兩個樣本之間的任何差異都更可能具有統計顯著性。就上述例子而言，女性和男性攻擊性測試得分的變異性越低，我們對觀察到性別差異的真實性就越有把握。樣本平均數之間的差異很大時，只要樣本是基于多次觀察的結果，我們同樣會對這一差異反映了兩個群體間的真正差異更有把握。

簡而言之，樣本規模以及樣本之間的差異較大時，我們就可以說這樣的差異具有統計顯著性，這意味著我們觀察到的差異可能不只是樣本之間的偶然變異，并且我們也可以放棄零假設。

心理學家對統計顯著性的判斷非常保守，他們就像陪審團一樣，在證明被告有罪之前必須假定其無罪。許多心理測試會給定p值，這一數值是給定樣本數據的情況下零假設為真的概率。對于大多數心理學家來說，排除合理懷疑的證明沒有多少意義，除非零假設為真的概率（p值）小于5%（p < 0.05）。而一些研究人員認為，統計顯著性被過分強調了，“不顯著的”結果并不意味著組間差異完全不存在（正如人們經常假設的那樣）（Amrhein et al., 2019），它只是表明了更大的不確定性。目前，許多心理學家仍在繼續使用p < 0.05的原則，但我們要對此保持關注。

在學習如何做研究時，我們應該牢記，即使樣本足夠大或足夠同質，各研究群組之間的差異仍可能具備“統計顯著性”，卻沒有什么實際意義。它們在統計學上是“顯著的”，但效應量很小。對數十萬頭生子和后生子的智力測試分數進行比較，發現頭生子的平均分數要高于后生的兄弟姐妹，這一趨勢十分顯著（Rohrer et al., 2015; Zajonc & Markus, 1975）。但是，由于這些分數的差別很小，這一“顯著”差異產生的效應很小，沒有什么實際意義。

要記住的一點：統計顯著性只表明在零假設為真的情況下某結果偶然發生的可能性，但并不說明該結果具有任何重要性。

---

[1] 樣本標準差公式：樣本標準差=。