基于SAT的標準化題庫的設(shè)計構(gòu)建與組卷策略

馮 靜

(三門核電有限公司，浙江 臺州 317112)

1 前言

核電廠中，考試是衡量被考評人員是否達到培訓(xùn)目標、保證人員取得崗位要求的全面工作能力最有效的方式之一，核電廠為之花費大量的人力、物力和時間資源。而低質(zhì)量甚至無效的考試不能客觀反映學(xué)員對培訓(xùn)目標的掌握程度，影響后續(xù)的工作績效期望，并且對電廠運行造成重大風(fēng)險。

考試的有效性很大程度上由試題的質(zhì)量決定，行之有效的辦法是建立一個功能完備、結(jié)構(gòu)合理的標準化題庫，對培訓(xùn)領(lǐng)域的所有試題進行統(tǒng)一管理，不僅有利于提高對試題質(zhì)量和安全性的管控能力，還可以對試題進行動態(tài)的有效性維護，真正實現(xiàn)有評估反饋環(huán)節(jié)的閉環(huán)管理。不僅如此，科學(xué)高效、規(guī)范便捷的題庫管理系統(tǒng)還能夠為教員節(jié)約時間，提高工作效率，為培訓(xùn)、考試、評估等提供多角度、多層次、多功能的服務(wù)。

2 標準化題庫建設(shè)的理論基礎(chǔ)

目前世界上絕大多數(shù)核電廠普遍采用系統(tǒng)化培訓(xùn)方法[3](The Systematic Approach To Training，簡稱SAT)進行人員培訓(xùn)，認為SAT是獲得并保持核電廠人員資格和工作能力，保證人員培訓(xùn)質(zhì)量的最好的培訓(xùn)方法。各國核電廠大多以國際原子能機構(gòu)(IAEA)出版的《建立并保持核電廠人員資格和能力導(dǎo)則》為指引，遵循SAT的原則，根據(jù)自身能力和客觀條件開展培訓(xùn)工作。

SAT是一種培訓(xùn)組織形式，它把整個培訓(xùn)活動分為分析、設(shè)計、開發(fā)、實施和評估五個階段，并在各個階段進行有效反饋。題庫的開發(fā)、使用和改進是系統(tǒng)化培訓(xùn)方法的一部分，橫跨設(shè)計、實施和評估三個階段。首先，在設(shè)計階段，將根據(jù)分析階段輸出的崗位任務(wù)清單、分項任務(wù)清單以及分項任務(wù)需要的知識(Knowledge)、技能(Skill)和態(tài)度(Attitude)，產(chǎn)生最終目標、分解目標，并以這些培訓(xùn)目標為基礎(chǔ)開發(fā)試題；其次，在實施階段，對有培訓(xùn)需求的人員實施培訓(xùn)授課并組織考試，有計劃地開發(fā)考核規(guī)范表并選取試題進行組卷；最后，在評估階段，針對培訓(xùn)實施階段的考核結(jié)果進行定量、系統(tǒng)地分析，分析的結(jié)果不僅能體現(xiàn)培訓(xùn)項目的實施情況，如學(xué)員對培訓(xùn)目標的掌握情況等，還能反映出試題的質(zhì)量、教員的命題水平，并將這些信息反饋到SAT的其他環(huán)節(jié)，以改進培訓(xùn)的質(zhì)量，從而使培訓(xùn)的有效性得到不斷提升[8]。

3 標準化題庫的建立

3.1 出題的依據(jù)

考核的目的是檢驗學(xué)員是否掌握各培訓(xùn)目標。按照系統(tǒng)化培訓(xùn)方法的要求，考核中的試題應(yīng)根據(jù)培訓(xùn)目標進行開發(fā)[1]。因此，有效的考核需要在考題開發(fā)前將培訓(xùn)目標進行仔細地選擇和分類。

三門核電廠培訓(xùn)目標的分類參考Benjamin S. Bloom的培訓(xùn)目標分類表，如圖1所示。

圖1 培訓(xùn)目標分類表Fig.1 Training objectives classification table

Benjamin的培訓(xùn)目標分類表分為6個層級，分別是：

1)知識/記憶用：機械記憶、識別或回憶內(nèi)容，目標中常見的動詞有定義、列出、命名或陳述；

2)理解/理解用：理解內(nèi)容的意義，這一層目標中常見的動詞有說明、識別、解釋、比較等；

3)應(yīng)用/應(yīng)用用：對所學(xué)習(xí)的概念、法則、原理的運用，這里所說的應(yīng)用是初步的直接應(yīng)用，而不是全面地、通過分析、綜合地運用知識，與此目標相關(guān)的概念如：應(yīng)用、論證、操作、實踐、解決等；

4)分析/分析用：信息分解為組成要素部分，從而使各概念間的相互關(guān)系更加明確，詳細地闡明基礎(chǔ)理論和基本原理。相關(guān)動詞有：分析、檢查、辨別等；

5)評估/評估用：判斷或形成關(guān)于信息或情況的觀點，相關(guān)動詞常見有評價、評估、證明等；

6)綜合/創(chuàng)新用：采用不同方法，將不同元素融合成新類型或提出可供選擇的解決方法，這是培訓(xùn)目標的最高層次，相關(guān)動詞有：建立、設(shè)計、計劃等。

各層級從簡單到復(fù)雜。知識、理解和應(yīng)用屬于“較低認知”的層級。應(yīng)用、分析、評估和創(chuàng)新屬于“較高認知”的層級，這類技能對于異?；驊?yīng)急工況下，崗位工作和問題的解決都是非常重要的?？碱}開發(fā)人員應(yīng)清晰地認識到培訓(xùn)目標的各個層級，防止考核的目標層級低于現(xiàn)實崗位工作所需要的層級。

3.2 試題開發(fā)

3.2.1 題型選擇

試題的題型確定，取決于培訓(xùn)目標是針對培養(yǎng)學(xué)員的技能、知識，或者是運用信息的能力[2]。試題類型可以是實際操作、填空題、選擇題、判斷題、匹配題、畫圖/填圖題、簡答題，或者在特殊情況下使用其它類型的試題。試題題型的選擇可以以培訓(xùn)目標的動詞作為指導(dǎo)。

1)技能型動詞建議使用實際操作類型的試題，而知識型動詞建議使用筆試類型試題。比如“啟動”和“停運”是兩個技能型的動詞，建議使用實際操作類型的試題。

2)填空、簡答類型的試題更加適合與需要大量知識的培訓(xùn)目標，比如動詞為“記憶”、“識別”、“列出”。

3)類似“辨別”、“選擇”的動詞適合使用選擇題。

4)培訓(xùn)目標要求學(xué)員“分類”、“聯(lián)系”時適合使用匹配題。

3.2.2 確定題量

根據(jù)培訓(xùn)目標在復(fù)雜程度和重要程度上的打分，來確定試題的題量。復(fù)雜程度和重要程度高的培訓(xùn)目標試題題量更多。一個培訓(xùn)目標至少對應(yīng)一條考題。對標國外同行電廠要求每個培訓(xùn)目標至少兩條考題。原則上，題量越大，題庫功能越完善。

3.3 試題屬性

每道入庫的試題都有自己特定的屬性，首先，試題由題庫系統(tǒng)按照知識結(jié)構(gòu)中的參數(shù)如培訓(xùn)項目、系統(tǒng)、等級進行統(tǒng)一編碼，所有編碼都是唯一的。試題內(nèi)嵌的圖形、公式、圖片等資料與相應(yīng)試題建立唯一的數(shù)據(jù)關(guān)聯(lián)。其它屬性包括：所屬系統(tǒng)/培訓(xùn)項目、對應(yīng)培訓(xùn)目標、題型、題干、答案、試題出處、認知分類、開發(fā)時間、上次使用時間、試題開發(fā)者、難度、區(qū)分度。需要注意的是，難度和區(qū)分度對于剛開發(fā)出的試題需要開發(fā)者在整個題庫的同一量尺上進行預(yù)估，給出一個初始值，經(jīng)過考試抽用后可通過考試分析得到實際值，并經(jīng)過歷次考試不斷修正，是一個動態(tài)維護、趨于真實的過程。

3.3.1 試題難度系數(shù)

難度是指測試試題的難易程度。試題的難度決定了整份試卷的難度及考試成績的分布。試題難度通常采用回答正確人數(shù)除以考試總?cè)藬?shù)來衡量，公式為：

(1)

其中：Pi：為第i題難度系數(shù)；

Xi：為第i題回答正確的人數(shù)；

Y：為總?cè)藬?shù)。

由公式可知，Pi的取值范圍是0≤Pi≤1。

3.3.2 試題區(qū)分系數(shù)

試題區(qū)分系數(shù)是指試題對不同水平學(xué)員加以區(qū)分的能力，采用IAEA和INPO推薦的算法：極端分組法。它是將學(xué)員的成績按總分排序，取前27%的學(xué)員作為高分組，取后27%的學(xué)員作為低分組，然后分別計算第i題的正確人數(shù)，則第i題的區(qū)分系數(shù)為：

(2)

數(shù)值從-1.00到1.00。

3.4 試題評估并反饋

從題庫中抽取出來的試題經(jīng)考試使用后，應(yīng)對其進行分析評估。試題分析是以學(xué)員的卷面數(shù)據(jù)作為信息來源，通過審查每位學(xué)員的答案，評估試題的難度和區(qū)分性和試題選項的有效性的過程。通過評估試題可以判斷學(xué)員是否掌握培訓(xùn)目標，也能用來提高教員的試題開發(fā)技能。分析的結(jié)果能反映出試題的質(zhì)量，識別有問題的試題并提出可行的建議，對于審查和改進試題是非常有價值的。將這些信息反饋給題庫管理維護環(huán)節(jié)，更加可以實現(xiàn)題庫的不斷改進和完善。試題分析主要包括以下三方面。

3.4.1 試題難度

由公式(1)可得到某試題在此次考試中的難度系數(shù)Pi，由公式可知，Pi的取值范圍是0≤Pi≤1，試題越簡單越接近1，試題越困難越接近0。功能完善的題庫應(yīng)保證一定的題量，試題的難度也應(yīng)覆蓋各個層級，但應(yīng)盡量避免出現(xiàn)難度極高或極低的試題，對于得分率極低的高難度試題需要進行評估：題目涉及的培訓(xùn)目標是否超出培訓(xùn)范圍、題目是否存在理解偏差、培訓(xùn)教材是否有誤(如存在設(shè)計變更等)。

難度系數(shù)是題庫中試題的屬性之一，可以在教員組卷時對評估考試整體難度，預(yù)測考試結(jié)果提供幫助。每次考試后的試題分析得到的試題難度系數(shù)反饋回題庫，可以幫助不斷修正該屬性值，實現(xiàn)題庫中試題的動態(tài)維護。

3.4.2 試題區(qū)分度

試題區(qū)分系數(shù)也是題庫中試題的屬性之一，需要通過歷次考試結(jié)束后的試題分析進行反饋，以不斷修正，提高準確性。由公式(2)可知試題區(qū)分系數(shù)數(shù)值從-1.00到1.00。D=1表示高分組全部答對，低分組全錯；D=0表示兩個分組的通過率相等；D=-1表示高分組全部答錯，而低分組全對。由此可知，區(qū)分系數(shù)越小，試題本身的問題可能越大，不能真實反映學(xué)員對培訓(xùn)目標的掌握情況。表1列出了美國核運行研究所(INPO)推薦的標準性考試試題區(qū)分系數(shù)。

表1 試題區(qū)分評價標準

3.4.3 選項分析

選項分析是審查選擇題各選項(正確選項和干擾項)的過程，以驗證選項的合理性。選項分析可以計算每道題的系數(shù)，也可以通過直接審查選項結(jié)果進行分析。通過評估的結(jié)果確定試題是否需要改變。表2給出了描述此過程的一個樣例。

表2 選項分析

以上的例子共50人參加考核，通過給出各選項的選擇人數(shù)及其平均分進行試題選項的評估。如試題1，干擾項C沒有任何考生選擇，雖然并不能說明該試題存在問題，但在后續(xù)的開發(fā)或升版中，可考慮增加選項的迷惑性。而試題3，選擇正確答案C的人數(shù)為40人，這些人的平均分達到18.93分，但是選擇干擾項A的考生平均分也達到了18分的較高分數(shù)，這就需要教員進行試題的重新評估，可能是干擾項A迷惑性太強、干擾項B/D明顯錯誤或是干擾項A本身的缺陷等。

3.5 組卷策略

3.5.1 組卷模式

組卷功能是標準化題庫最重要的應(yīng)用，本題庫考慮實現(xiàn)手動組卷和自動組卷兩種功能。手動組卷方式優(yōu)點是教員選題靈活，自主性強，缺點是當(dāng)題庫題量大時，工作量大，速度慢；自動組卷是計算機根據(jù)教員設(shè)定的參數(shù)要求，從題庫中抽取試題，反復(fù)迭代循環(huán)，組出符合要求的試卷，這種組卷方式要求題庫有足夠大的題量，題型、難度、區(qū)分度、認知分類等屬性參數(shù)覆蓋范圍全面，優(yōu)點是自動化高，速度快，效率高，能大大減輕教員出卷的工作量。這兩種組卷方式的流程如圖2和圖3所示。

圖2 自動組卷流程圖Fig.2 Automatic test paper composition flow chart

3.5.2 自動組卷參數(shù)設(shè)置

組卷實質(zhì)是從整個題庫中選擇出滿足教員設(shè)定的參數(shù)要求的一個試題子集，有了高質(zhì)量的試題以及結(jié)構(gòu)合理的題庫，還必須有正確的組卷策略、優(yōu)良的成卷算法才能成功得到質(zhì)量上乘的試卷[6]。

結(jié)構(gòu)合理的題庫題量豐富且試題的信息全面，屬性多樣，參數(shù)準確且在同一量尺上。如前文所述，標準化題庫中試題的屬性很多，用于選題的參數(shù)主要有：所屬系統(tǒng)/培訓(xùn)項目、對應(yīng)培訓(xùn)目標、題型、難度、區(qū)分度等。自動組卷時，教員首先依據(jù)考核規(guī)范表選定系統(tǒng)/培訓(xùn)項目、培訓(xùn)目標，并設(shè)置培訓(xùn)目標對應(yīng)的考核權(quán)重，實現(xiàn)對考核規(guī)范表計算機化的應(yīng)用。對難度和區(qū)分度的參數(shù)設(shè)置可以避免以往組卷時存在的很大盲目性、考試結(jié)果難以預(yù)測的情況，設(shè)定好總體難度和區(qū)分度組出的試卷可以讓教員對考試有整體的把握和預(yù)期。

試卷的難度是指試卷的平均難易程度。試卷難度的公式為：

(3)

其中：Pi為第i題難度系數(shù)；

Fi為第i題分值權(quán)重；

n為考試總分。

4 標準化題庫的優(yōu)點

1)實現(xiàn)動態(tài)閉環(huán)管理，保證培訓(xùn)有效性。在培訓(xùn)評估階段以學(xué)員的卷面數(shù)據(jù)作為信息來源進行試題分析，結(jié)果能反映出試題的質(zhì)量，對于審查和改進試題非常有價值。將這些信息反饋給題庫管理維護環(huán)節(jié)，形成試題從開發(fā)到使用再到分析，最后將分析結(jié)果進行反饋的一個閉環(huán)流程，對題庫進行動態(tài)維護，能夠?qū)崿F(xiàn)題庫的不斷改進和完善。優(yōu)質(zhì)的題庫是考試有效性的保障，而考試的目的是檢驗學(xué)員是否掌握各培訓(xùn)目標，因此，建立標準化的題庫對于實現(xiàn)培訓(xùn)有效性是至關(guān)重要的；

2)組卷時可客觀地預(yù)測和控制考試的難易。目前的組卷方式，缺乏對結(jié)果的預(yù)判。標準化題庫可以收集試題歷次使用得到的分析數(shù)據(jù)來跟蹤反饋試題的難度值，通過大量的數(shù)據(jù)支撐得到試題的平均難度，以此作為試題的期望難度，就可以在組卷時控制考試的整體難易程度，并且在考試前預(yù)測學(xué)員的總體成績，并將其與真實成績比較，了解培訓(xùn)效果是否達到期望目標，也可以了解培訓(xùn)過程中的改進是否提高了培訓(xùn)效果；

3)標準化題庫的自動組卷應(yīng)用功能方便將考核規(guī)范表[5]的使用納入流程?？茖W(xué)的考試規(guī)范表，可協(xié)助教員合理分布考核內(nèi)容并明確重點，是一種保證考試內(nèi)容合理性的有效管控方法，保證有規(guī)劃有目的地開展考核。如果將其交給學(xué)員，也可減少困擾和誤解；

4)實現(xiàn)教考分離，對教員提出更高要求。打破傳統(tǒng)由任課教員課后出題組卷的模式，試題在培訓(xùn)設(shè)計階段就已開發(fā)好[4]，題庫能夠直接抽取實現(xiàn)自動組卷，迫使教員嚴格按照培訓(xùn)大綱、培訓(xùn)目標授課，注重培訓(xùn)效果，提高教學(xué)質(zhì)量。學(xué)員無法從授課教員處得知考試內(nèi)容，促使其端正學(xué)習(xí)態(tài)度，努力掌握培訓(xùn)目標指向的全面工作能力；

5)保障試題安全和保密性[7]。標準化題庫幫助實現(xiàn)培訓(xùn)領(lǐng)域所有試題的統(tǒng)一管理，由培訓(xùn)管理部門專人維護，可以通過設(shè)置進入權(quán)限來實現(xiàn)。