- 罪犯心理測驗理論與技術
- 施柳周
- 3351字
- 2019-11-22 16:53:27
第三節 項目分析
測驗的項目分析包括定性分析和定量分析。定性分析包括考慮內容效度、題目編寫的恰當性和有效性等,重點在于分析測題的內容和形式;定量分析主要是采用統計方法來分析試題的品質。
一、項目的難度
(一)難度的定義
難度,是指項目的難易程度。在能力測驗中通常需要一個反映難度水平的指標,在非能力測驗(如人格測驗)中,類似的指標是“通俗性”。難度的指標通常用通過率表示,即以答對或通過該題的人數百分比來表示,公式為:
其中,P為項目難度,R為答對通過該項目的人數,N為全體被試數。P值越大,難度越低。
(二)難度的計算
1.二分法記分的項目
通過記1分,錯誤記0分,對這類題目可直接用公式P=R/N×100%計算難度。當被試人數較多時,則可根據測驗的總成績將被試分成三組,取最高的27%被試和最低的27%被試作為高分組和低分組,并分別計算通過率,最后求兩個通過率的平均值作為該項目的難度。
公式2-14中,PH和PL分別表示高分組和低分組的通過率。
2.非二分法記分的項目
當測驗項目為問答題或不能用二分法記分的形式時,一般用下面的公式計算難度。
公式2-15中,為所有被試在該項目上的平均得分,Xmax為該項目的滿分。
在對兩個非二分法記分項目進行難度比較時,要對它們分別進行矯正,排除由于猜測作答而致使某些題目通過率增大的可能。矯正公式為:
公式2-16中,CP為矯正后的難度,P為矯正前的難度,K為選項的數目。
(三)難度水平的確定
P值越接近0.00或接近1.00,越無法區分受測者之間能力的差異,鑒別力越低。相反,P值越接近于0.50,鑒別力越高。
項目難度水平的確定取決于測驗的目的和性質。對于校標參照測驗和掌握測驗,可以不考慮難度。對于選拔測驗,應將測驗的項目難度控制在錄取率左右。對于選擇題,難度應該大于猜測概率,最好使試題平均難度接近0.50,而各題難度在0.50±0.20之間。對是非題其難度值應該為0.75最為合適;而對于四選一題,其難度值約為0.63時最為合適。無論何種測驗,一般都應防止被試得滿分,因為滿分的意義是不明確的。
(四)難度對測驗的影響
1.項目難度普遍較大的測驗,分數分布將呈現偏左低分的正偏態;項目難度普遍較小的測驗,分數的分布將呈現右高分的負偏態。一般能力測驗和成就測驗的平均難度在0.50左右為宜,正偏態測驗適合于篩選性測驗,如公務員考試。
2.過難或過易的測驗會使測驗分數相對地集中在低分端或者高分端,從而使分數的全距縮小。項目的難度以集中在0.50左右為最佳,以集中在兩端最差。
二、項目的區分度
(一)區分度的定義
項目區分度,也叫鑒別力,是指測驗項目對被試的心理特性的區分能力,通常用D表示。區分度被用作評價項目質量、篩選項目的主要指標和依據。具有良好區分度的項目,能將不同水平的被試區分開來,即在該項目上水平高的被試得高分、水平低的被試得低分。
區分度實質是評估項目得分與實際能力水平之間的相關度,表現為項目得分與總分的一致性程度。區分度取值范圍介于-1-+1之間,假如項目得分與實際能力水平之間呈負相關,則區分度為負值;若呈正相關,則區分度為正值。相關系數越大,區分度越高。當區分度為負值時,則意味著被試實際能力越高,該項目的得分反而越低;這種情況一般很少發生,如果出現,該項目應該淘汰。
(二)區分度的計算
1.鑒別指數法
當效標成績是連續變量時,可以按測驗總分高低排列答卷,從分數的兩端各選擇27%的被試,分別計算出每道題目上各自的通過率,二者之差便是鑒別指數D。D值越高項目越有效,其公式為:D=PH-PL。當D=1.00時,高分組被試全部通過,低分組被試全部失敗;如果低分組被試全部通過,高分組被試全部失敗,則D=-1.00;如果兩組的通過率相等,則D=0。
但是由于項目鑒別指數法只利用了一部分信息,浪費了很多信息,統計結果準確性差一些。而且當項目與效標之間并非直線關系時,甚至會得出錯誤的結論。
2.相關法
相關法是計算區分度最常用的方法。即以某一項目分數與效標成績或測驗總分的相關作為該項目區分的指標。相關越高,表明項目越具有區分的功能。根據不同的情況,可以使用點二列相關、二列相關、Φ相關和積差相關等。點二列相關適用于一類變量為二分變量、另一類變量為連續變量的成對變量相關的計算。二列相關適用于兩個連續變量,但其中一個變量被人為分成兩類。Φ相關適用于兩個變量均為二分稱名變量,如將測驗總分按及格、不及格或錄取、淘汰劃分,便可計算Φ相關系數。積差相關適用于總體呈正態分布,兩列連續變量為線性關系的成對數據。
3.方差法
方差法探究的是數據的離散程度,被試在某一項目上的得分越分散,則該試題鑒別力越大。
(三)區分度的相對性
區分度的相對性主要體現在以下四個方面:
1.不同計算方法,所得區分值不同。一個測驗的各項目要采用同一種區分度指標。
2.樣本容量大小影響相關法區分度值的大小。樣本容量越小,其統計值越不可靠。
3.分組標準影響鑒別指數。分組越極端,其D值越大。
4.被試樣本的同質性程度影響區分度值的大小。被試團體越同質,即個體之間水平越接近,其測題的區分度值越小。
(四)區分度與難度的關系
測驗項目的難度對測驗項目的鑒別力有一定的影響,難度與區分度有著密切的聯系。難度越接近0.50時,項目潛在的區分度越大,而難度越接近1.00或0.00時,項目潛在的區分度越小。為了使項目具有較高的區分能力,應使所有項目都保持在0.50的難度最為理想。在利用項目分析選擇試題時,應使項目的難度分布廣一些,梯度大一些,使整個測驗的難度分布呈正態分布,且平均水平保持在0.50左右。這樣才能把各種水平的人都區分開來,并且分得比較細。
總體上來說,中等難度的項目區分度最高。一般說來,較難的項目對高水平的被試區分度高,較易的項目對低水平的被試區分度高,中等難度的項目對中等水平的被試區分度高。
三、項目的綜合分析和篩選
題目選項分析,就是對選擇題后面提供的幾個答案的分析。重點分析幾種主要的異常情況,包括:正確答案無人選擇,或少于其他選項的人數;錯誤答案選的人太多;正確選項上的高分組選擇人數少于低分組;錯誤選項上的高分組選擇人數多于低分組;某個選項無人選擇;未答的人數較多。
題目的篩選是一個綜合分析的過程,根據區分度、難度等指標進行篩查,將優質題目保留下來,將不夠好的題目進行改進或者淘汰,最終提升整個量表的品質。
第一,要看區分度。低區分度的題目是不能有效鑒別被試的。根據測驗目的,選擇測題優劣的評鑒標準,一般來說0.30以上比較好。但因為考慮到區分度的相對性,在評價項目的有效性時,應考慮到測驗的目的、功能以及被試團體的總體水平,不能將區分度作為篩選試題的絕對標準。
第二,要考慮難度。難度一般在0.30-0.70之間比較好,但就整個測驗而言,難度應遵從正態分布規律,難度為0.50的測題最多,0.40和0.60的次之,0.30和0.70也需要保留一些。總之,使難度成一個以0.50為平均分的正態分布,難度分布廣一些,梯度大一些,這樣測驗分數才能將各種水平的人區分出來,并且區分得較細。但同時要考慮到量表的信度,難度的分布又不能太廣,這不利于信度。
如果是人格測驗、態度測驗以及心理健康測驗等,所需的則不是難度,一般為0.1-0.3,以保證每個被試都能理解測題的意思。如果是標準參照測驗,則應根據編制測驗時確定的目標來選擇難度。
根據區分度和難度選出合適的測題后,與原來的雙向細目表考慮所選的測題進行對照,分析所代表的行為類別之間的比例是否失調。如果失調,應加以調整。
第三,要進行選項分析。就是對選擇題后面提供的幾個答案的分析。主要的異常情況有:正確答案無人選擇,或少于其他選項的人數;錯誤答案選的人太多;正確選項上的高分組選擇人數少于低分組;錯誤選項上的高分組選擇人數多于低分組;某個選項無人選擇;未答的人數較多。
第四,分析出現上述異常情況的原因,并酌情修改選項或題目。不要輕易丟棄不符合要求的項目,因為:其一,用內部一致性分析求得的區分度不一定能代表試題的效度。其二,區分度指數低的試題不一定表示該題有缺點。要詳細分析區分度低的原因,并保留題目,作為測驗一項重要的學習結果的記錄,以備日后使用。其三,課堂測驗的項目分析資料的有效性是隨時空而變化的,并非固定不變的。其四,研究表明,編制新的項目需要的時間幾乎比修訂現存項目長5倍。
另外,如果做因素分析,還要看題目的負荷量與題目間的相關,對于題目過少的因素,也要考慮刪除。題目的篩選要考慮量表的長度,一個測驗的長度應該根據測驗的時限、對象的年齡、測驗的性質而定。