4.3 題目的編排
在測試題目編寫完成之后,下一步的就是對題目進行編排。經過認真的編寫,測試題可能在內容和形式上初步達到了要求,但還必須根據測量工具的目的、性質與功能,對原始測試題進行選擇和編排。這種選擇和編排過程包括定性的邏輯分析和根據預測的結果進行的定量分析。
測試題的編排方式因測量工具的類型不同而有所差別,下面是題目編排的一般原則:
●將測量相同因素的測試題排列在一起;
●盡可能地將同一類型的測試題組合在一起,這樣只需對每一類型的試題作一次說明,也方便受測者的回答,同時還可以簡化計分工作和對題目的統計分析;
●難度測驗的題目應按由易到難排列,避免某些受測者一開始就因較多題目回答不出而失去信心,這種安排也可以使受測者熟悉反應程序,解除緊張情緒,同時還可避免受測者在難題上耽擱較長時間而影響了后面的回答;
●對于人格測驗,應盡量避免將測量同一特質的題目編排一起,防止受測者猜測出題目所要測查的因素。
測試題的預測試和分析
測試題編排完成并不意味著這項測量工具的編制就此完成。前面對題目的選取只是依靠編寫者的主觀經驗,題目的效果如何還需要進行定量的客觀分析。這時的測試題還只能叫做預備測試題,還需要獲取受測者對這些題目的反應,為進一步篩選題目和為編排測量工具提供客觀依據。也就是說,必須將預備測試題對一定規模的小樣本受測者進行施測,獲得數據以進行校驗、修訂。這一過程稱為測試題的預測試(pilot test)。數據收集上來之后,就應該利用這些數據對題目進行分析,刪除不好的題目或對題目進行修改,這個過程稱為題目分析(thematic analysis),具體內容包括對題目的項目分析和對測驗信度、效度指標的檢查。有時候,題目需要經過多次預測試和分析,不斷修改后才能達到測量學的要求。
對測試題的預測試應注意以下問題:
●預測試對象必須和將來正式測試的對象相似,取樣應注意其代表性,人數不必太多,但不能太少,一般應不少于30人;
●預測試的實施過程和情境應力求與將來正式實施時的情況相似;
●預測試的時限可稍寬些,最好使每個受測者都能將題目答完,以便搜集充分的反應資料,使統計分析的結果更為可靠;
●在預測試過程中,應將受測者的各種反應情況隨時加以記錄。如,記錄在不同時限內一般受測者所完成的題目數、題意不清之處、受測者的態度等,以便在修改測驗時作為參考。
預測試完成后,可以根據預測結果進行題目分析,對每個題目的具體分析稱為項目分析(item analysis),主要是指根據題目的難度、區分度、備選答案的合適度等數量指標來對題目進行分析(詳見第9章“項目分析”)。根據分析結果,再對題目進行選擇,最終編制出較好的測量工具。
測驗使用手冊
任何標準化的測驗都必須提供給用戶相應的說明書,即測驗使用手冊。使用手冊對如何使用該測驗進行說明,同時也是用戶評價和比較測驗優劣的重要依據。
使用手冊的內容一般包括:
●測驗的一般信息:標題名稱、作者、施測形式、記錄形式;
●測驗目的和作用。通常手冊應指出測驗可作何種用途(如選拔、指導、評價),適用對象,以及所測量的內容(如測量何種能力、特質)等;
●測驗編制的理論背景和題目的來源。一些手冊還提供選擇題目的統計指標;
●測驗的實施方法、時間要求及注意事項,包括對施測現場環境的要求、指示語和對主試的訓練要求;
●測驗的標準答案和計分方法;
●常模表、常模適用團體及測驗計分系統、解釋系統,以及樣本的選擇方法;
●測驗的信度資料和效度資料,以及這些資料取得的條件和情境,包括調查的樣本和時間。
使用手冊可以說是測驗的“門面”,其編寫的好壞、形式十分重要。一個測驗的編制、修訂可能花費巨大的時間、精力、財力,但最后的主要表現形式卻很簡單,往往只是一個使用手冊和題本,使用者也只是從中了解測驗的價值。因此,編寫使用手冊一定要慎重,充分體現測驗的功能和意義。