創(chuàng)建用于心理咨詢師職業(yè)資格考試培訓的計算機自適應(yīng)測試

張 宏 陳哲娟 王樹峰 陳聲宇 戴 敏 馬 媛

我國心理疾患防治隊伍包括從事心理疾患預防、咨詢和治療的三類人群。其中，心理咨詢師是指運用心理學以及相關(guān)學科的專業(yè)知識，遵循心理學原則，通過心理咨詢的技術(shù)與方法，幫助求助者解除心理問題的專業(yè)人員。從2002年起，國家開始組織心理咨詢師職業(yè)資格考試，相應(yīng)的心理咨詢師培訓也多以此考試作為內(nèi)容參照。在傳統(tǒng)的培訓領(lǐng)域中，對培訓效果的檢驗一般采用紙筆測驗，也有一些將紙筆測驗計算機化的測試（Computer Based Test，CBT）。而以現(xiàn)代測量理論IRT為基礎(chǔ)的計算機自適應(yīng)測驗（Computer Adaptive Test，CAT）鮮見運用。當前，計算機自適應(yīng)測驗以其能夠為受測者提供更為個性化、快捷和便利的服務(wù)，已經(jīng)成為評價領(lǐng)域發(fā)展的重要方向。在培訓領(lǐng)域中，使用計算機自適應(yīng)測驗則具有更為獨特的優(yōu)越性。本文擬介紹在心理咨詢師考試培訓中如何創(chuàng)建和使用計算機自適應(yīng)測驗，并進一步探討在培訓領(lǐng)域中廣泛使用計算機自適應(yīng)測驗的可能性。

1 基于勝任力的題庫建設(shè)

構(gòu)建心理咨詢師職業(yè)資格考試的題庫是實現(xiàn)計算機自適應(yīng)測試的基礎(chǔ)。

首先，題庫構(gòu)建基于勝任力理論。根據(jù)張愛蓮等對心理咨詢師崗位勝任力的綜述，題庫首先區(qū)分了不同層級的勝任力維度，對頂層勝任力維度的要求屬于宏觀層面的要求，包括了心理咨詢師崗位需要具備的綜合素質(zhì)。其中，對知識結(jié)構(gòu)的要求則屬于微觀層面的要求，以專業(yè)知識大綱為藍圖，描述了每類知識點下包含的能力要求。宏觀維度與微觀維度的結(jié)合，構(gòu)成了心理咨詢師考試培訓題庫的結(jié)構(gòu)框架。在此，最小的勝任力特征被認為代表了某種潛在能力（latent trait）。

其次，題庫構(gòu)建還基于項目反應(yīng)理論。在每一個潛在能力的子庫中，根據(jù)雙參數(shù)模型（2PL），根據(jù)大樣本量計算了題目鑒別率參數(shù)α和題目難度參數(shù)β，為實現(xiàn)計算機自適應(yīng)測試提供了基礎(chǔ)保證。

從題庫規(guī)模上看，目前尚未有明確的研究指出多大的題庫容量可以使得計算機自適應(yīng)測驗達到最優(yōu)化。但題庫的規(guī)模越大，運行計算機自適應(yīng)測驗的效果也會越好。心理咨詢師考試培訓的題庫包含了以往心理咨詢師職業(yè)資格考試的真題及培訓模擬用題，題庫總規(guī)模達到7000道以上，完全能夠滿足計算機自適應(yīng)測試的題目數(shù)量需求（見圖1）。

另一個評價題庫質(zhì)量的指標是題庫中題目的各項參數(shù)分布。一個平衡的題庫應(yīng)該包含各種難度和區(qū)分度等參數(shù)值的題目。以題目難度為例，難度值高的題目能夠?qū)δ芰λ礁叩氖軠y者進行準確估計，而難度值低的題目能夠提供針對能力水平低的受測者的最大信息量。如果題庫包含了太多過難或過易的題目，則會對受測者的能力估計造成偏差。心理咨詢師考試培訓題庫中的試題具有較為平衡的難度值分布（見圖2）。

圖1 題庫與自適應(yīng)測驗

圖2 心理咨詢師考試培訓題庫難度值分布

2 計算機自適應(yīng)測驗

圖3 計算機自適應(yīng)測驗流程

計算機自適應(yīng)測驗是針對能力不同的個體，從題庫中選擇能夠為該個體帶來最大化信息量評估的題目，并準確估計受測者能力水平的測試過程。計算機自適應(yīng)測驗的施測過程（見圖3）既是挑選題目的過程，也是能力估計的過程。它主要包括三個階段：

2.1 測試的初始化

在初始化計算機自適應(yīng)測試時，一般選擇具有最大信息量的題目作為開始。通常在單參數(shù)rasch模型下會選擇難度接近0的題目。由于接受測驗的群體基準能力不同，如果已經(jīng)獲得了相關(guān)受測者能力水平的信息，在心理咨詢師考試培訓自適應(yīng)測試系統(tǒng)中允許管理員調(diào)整初始題目的參數(shù)，以最好的匹配和預估受測者的實際能力水平。

2.2 測試過程

測試過程中第一個核心的環(huán)節(jié)是對受測者能力的估計。一般可以選用的能力估計方法有貝葉斯能力估計和最大似然能力估計。由于最大似然估計在初始階段可能會導致無效解，所以可以結(jié)合使用貝葉斯方法和最大似然法估計能力。貝葉斯方法可以在一開始用先驗分布避免無效解，當至少有一個成功和一個失敗的反應(yīng)模式后，再運用最大似然法，以發(fā)揮最大似然估計不依賴任何先驗分布的優(yōu)勢。

如何挑選下一道題目是測試過程的第二個核心環(huán)節(jié)。許多研究已經(jīng)提出了題目篩選的不同方法（見表1）。

其中，最普遍使用的是最大信息量標準（MFI）。運用這種標準選擇題目，如果已經(jīng)事先計算好信息量矩陣，則挑選題目的速度會非常快。但它也有一個缺點，就是MFI方法依賴之前的能力估計值，這可能造成當前能力估計的偏差，這一點在長度較短的計算機自適應(yīng)測驗中表現(xiàn)的較為顯著。在心理咨詢師考試培訓的計算機自適應(yīng)測試中，使用的選題策略就是最大信息量標準。因為在該測試中，一個勝任力維度模塊的測評一般包含15道以上的題目，所以可以有效避免MFI方法自身的局限性。如果測驗運用的IRT模型比較簡單，那么挑選下一道題目的計算過程也會變得比較簡潔。例如，在單參數(shù)rasch模型中，題目難度是選擇下一道題目的唯一影響因素。所以，在平衡測量精度等影響因素的基礎(chǔ)上，心理咨詢師考試培訓的計算機自適應(yīng)測試盡量使用較為簡潔的IRT模型作為后臺算法支持。

2.3 結(jié)束測驗

在心理咨詢師考試培訓計算機自適應(yīng)測試設(shè)置了三條標準控制在何時結(jié)束測驗。

首先是長度標準。每個模塊都設(shè)置了測驗長度標準，長度分為試題長度和作答時間長度兩項。因為受測者參加測驗的目的是評估培訓過程中自身在心理咨詢師崗位上各項勝任能力的增長情況，測驗不宜過長，特別是不能超過實際心理咨詢師職業(yè)資格考試中的長度，不然會使受測者失去耐心。同時，作答時間過長超出系統(tǒng)設(shè)置的閾值，測驗也會自動終止。

其次是精度標準。在長度標準的范圍內(nèi)，如果能力估計值穩(wěn)定在預先設(shè)置的精度控制范圍內(nèi)，測驗也會終止。此時，受測者可以使用較短的時間較為準確的評估自身的能力水平。測驗的精度是采用標準誤衡量的，越小的標準誤代表精度越高。在測驗管理平臺中，精度是一個可以設(shè)定的參數(shù)。

最后是分類標準。這條標準的設(shè)置是對某個勝任力模塊的評價分為通過和不通過兩類，只用于簡單判斷受測者是否達到了此勝任力模塊評價的最低合格線。這個分類可以用在培訓最初篩查最需要補充的勝任力項目，使培訓做到有的放矢。

表1 CAT中挑選下一道題目的方法

3 功能與特點

將計算機自適應(yīng)測試運用于培訓是評價領(lǐng)域的一次全新嘗試。在接受培訓的情境下，受測者參加評價的目的是了解自身真實的能力水平，而不是尋求通過測評或得到較高的分數(shù)。因此，心理咨詢師考試培訓的計算機自適應(yīng)測試系統(tǒng)，兼具測評定位和認知診斷兩種功能，其評價結(jié)果將直接服務(wù)于加強目標人群的能力建設(shè)。

測評定位功能。這是任何一個測驗必須具備的基本功能。相比較于傳統(tǒng)的紙筆測驗，計算機自適應(yīng)測驗在適當減少考生作答試題的數(shù)量的同時，還能夠有效提高測量精度。

認知診斷功能。計算機自適應(yīng)測驗應(yīng)用于培訓還兼具認知診斷功能。計算機自適應(yīng)測驗可以為受測者提供個性化服務(wù)，根據(jù)不同受測者的能力水平，選擇代表信息量最大的題目，最大限度地估計其能力水平。而且計算機自適應(yīng)測驗還增加評價的靈活性，可以在培訓的任何時刻選擇參加測評，以了解當時的能力狀態(tài)。而且其計分與分數(shù)報告都具有即時性。

此外，心理咨詢師考試培訓題庫一個最大的特點是基于崗位勝任力的測評模式。舉辦心理咨詢師職業(yè)資格考試的目的是為了檢驗參考者是否具備心理咨詢師的基本能力。而在評估培訓效果時，所涉及的能力不僅限于考試大綱的要求，而是對心理咨詢師崗位勝任力的綜合評估。甚至在一些勝任力維度上還超出了當前職業(yè)資格考試能夠考察的范圍。例如，心理咨詢師要求具備一些特定的心理素質(zhì)，這是通常的知識技能測驗所不能覆蓋的，但計算機自適應(yīng)測試已經(jīng)在心理測量，特別是性格測量方面做了大量實踐工作。這也為將來實用型資格考試的改革提供了評價技術(shù)方面的準備。

4 結(jié)語

將計算機自適應(yīng)測試運用于心理咨詢師考試培訓領(lǐng)域是一次全新的嘗試。計算機自適應(yīng)測驗具有明顯優(yōu)于傳統(tǒng)紙筆測驗的特點，且運用在培訓活動中，能夠較快的定位學員的能力水平，不需要過度考慮題目曝光和測量精度的問題。同時，根據(jù)勝任力模型創(chuàng)設(shè)的自適應(yīng)測試還具有認知診斷功能，可以較好的定位學員能力的欠缺方面，為進一步加強針對性的學習提供測試反饋。因此，在未來更為廣泛的培訓領(lǐng)域使用計算機自適應(yīng)測評技術(shù)值得期待。