考試分析在操縱員培訓中的應用與研究

商寅 姜有為

【摘 要】考核是系統(tǒng)化培訓方法實施階段的重要環(huán)節(jié)，是衡量培訓有效性最有效的方式之一，也是最及時的方式。而試卷作為考核的一個重要載體，試卷的分析與評估應得到足夠的重視。本文討論了核電培訓領域中考試分析的現(xiàn)狀及其重要性，介紹了國際原子能機構推薦的考試分析的各項指標及意義，并以此建立了基于Excel的考試分析方法。

【關鍵詞】系統(tǒng)化培訓方法;考試分析;培訓有效性

中圖分類號： F272.92;F426.61文獻標識碼： A 文章編號： 2095-2457（2019）07-0266-003

DOI：10.19694/j.cnki.issn2095-2457.2019.07.111

【Abstract】Assessment is an important part of the implementation stage of systematic training methods. It is one of the most effective ways to measure the effectiveness of training， and it is also the most timely way. As an important carrier of the examination， the examination and evaluation of the examination paper should receive sufficient attention. This paper discusses the status quo and importance of exam analysis in the field of nuclear power training， introduces the indicators and significance of the IAEA-recommended exam analysis， and establishes an Excel-based exam analysis method.

【Key words】Systematic training method; Test analysis; Training effectiveness

0 前言

目前世界上絕大多數(shù)核電廠普遍采用系統(tǒng)化培訓方法（SAT）進行人員培訓。各國核電廠大多以國際原子能機構（IAEA）出版的《建立并保持核電廠人員資格和能力導則》為指引，遵循SAT的原則，根據(jù)自身能力和客觀條件開展培訓工作。SAT是一種培訓組織形式，它把整個培訓活動分為分析、設計、開發(fā)、實施和評估五個階段，并在各個階段進行有效反饋。其中評估是SAT的重要環(huán)節(jié)，通過培訓全過程的評估，對培訓工作進行監(jiān)督和評價，以確保培訓目標的實現(xiàn)，保證核電廠人員取得崗位要求的全面工作的能力。考試分析屬于培訓評估的組成部分，主要是針對培訓實施階段的考核結(jié)果進行定量、系統(tǒng)地分析，將分析結(jié)果反饋到SAT的其他階段，以改進培訓的質(zhì)量，從而使培訓的有效性得到不斷提升。

1 考試分析的現(xiàn)狀及其重要性

1.1 考試分析的現(xiàn)狀

培訓項目的考試分析一般僅統(tǒng)計考試的通過率、平均分及最高分/最低分，可以從總體上定性地了解培訓項目的實施情況，但不足以為改進培訓方式/內(nèi)容、提高培訓有效性提供定量的數(shù)據(jù)依據(jù)。而且，培訓考核從試題開發(fā)到考核評估，主要依托于教員的個人能力及工作經(jīng)驗，缺乏系統(tǒng)的考試分析將導致考核的有效性未得到及時、持續(xù)地驗證及改進。

1.2 考試分析的重要性

考試是檢驗學員學習情況最有效的手段之一。通過考試可以測量學員對培訓目標的掌握情況，獲取有用的信息，而不僅僅是為了得到一些分數(shù)。考試結(jié)果的分析與評價是SAT評估階段的重要環(huán)節(jié)，通過分析可以了解教員的命題水平、授課質(zhì)量和教學效果，了解學員對培訓目標的掌握情況，對優(yōu)化教學內(nèi)容、把握教學水平、提高教學質(zhì)量具有重要意義。

2 考試分析的指標及建立方法

考試分析包括試題和成績的分析，本文選取IAEA所推薦的考試評價指標，采用定量評價和定性評價相結(jié)合的方法，將考試分析中常用的指標分為定量指標和定性指標兩類。下文將通過這兩方面討論各主要指標的內(nèi)容和意義，并以此建立考試分析的方法。

2.1 試題分析

試題分析是以評估試題的難度和區(qū)分性和試題選項的有效性而審查每位學員答案的過程。評估試題可以識別試題的問題并提出可行的建議。它可以判斷學員是否掌握培訓目標，也能用來提高教員的試題開發(fā)技能。試題分析主要包括以下三方面：

（1）試題難度系數(shù)

（3）選項分析

選項分析是審查選擇題各選項的過程，以驗證選項的合理性[2]。像區(qū)分性一樣，選項分析可以計算每道題的系數(shù)，也可以通過直接審查選項結(jié)果進行分析。

以上的例子共50人參加考核，通過給出各選項的選擇人數(shù)及其平均分進行試題選項的評估。如試題1，干擾項C沒有任何考生選擇，雖然并不能說明該試題存在問題，但在后續(xù)的開發(fā)或升版中，可考慮增加選項的迷惑性。而試題3，選擇正確答案C的人數(shù)為40人，這些人的平均分達到18.93分，但是選擇干擾項A的考生平均分也達到了18分的較高分數(shù)，這就需要教員進行試題的重新評估，可能是干擾項A迷惑性太強、干擾項B/D明顯錯誤或是干擾項A本身的缺陷等。

2.2 成績分析

僅有高質(zhì)量的試題，還不一定有高質(zhì)量的考試，所以應追求試卷整體質(zhì)量的優(yōu)化，同時為保證考核的有效性，其主要指標為可靠性、有效性和正態(tài)分布。成績分析是考試分析的重要組成，它主要是對數(shù)據(jù)指標進行計算，包括參考人數(shù)、最高分、最低分、平均分、難度、標準差、信度、效度、成績是否符合正態(tài)分布等。下面簡述主要的數(shù)據(jù)指標：

（1）信度

（2）效度

效度是指一次考試能有效地測量學員的實際學習水平的程度。我們可采用測量內(nèi)容效度來定性推斷考試內(nèi)容的質(zhì)量。主要的方式是通過組織技術專家對考試試題與原定內(nèi)容范圍的吻合程度做出判斷，這其實也是對培訓設計階段開發(fā)試題的反饋。

2.3 考試分析方法的建立及優(yōu)點

2.3.1 考試分析方法的建立

基于上文所述的考試分析指標，建立了旨在用于考試分析的Excel表格?？荚嚪治霰矸譃樵紨?shù)據(jù)子表和4個結(jié)果輸出模塊。

（1）基本信息模塊

基本信息模塊包括考試基本信息和學員排名兩個部分。考試基本信息主要包括學員人數(shù)、題量、平均分、最高分、最低分、通過率和信度系數(shù)等。學員排名包括學員成績單和考試排名。

（2）試卷信息模塊

試卷信息模塊包括試卷分析和成績分布兩個部分。試卷分析包括試卷的難度系數(shù)和區(qū)分系數(shù)等相關信息。成績分布包括學生成績的直方圖、成績分布曲線。

（3）試題信息模塊

試題信息模塊包括試題數(shù)據(jù)、試題數(shù)據(jù)圖和選項分析三個部分。試題數(shù)據(jù)和試題數(shù)據(jù)圖包括各試題的詳細信息，如難度系數(shù)、區(qū)分系數(shù)、正確率等。選項分析主要介紹了單選題各選項的被選情況。

（4）專項信息模塊

專項信息模塊包括分類掌握、分類掌握圖和學員表現(xiàn)三個部分。在系統(tǒng)化培訓方法中，通過培訓目標開發(fā)相應的試題，故試題與培訓目標相對應，可按培訓目標對試題進行分類，總結(jié)學員各類試題的得分，即可了解學員各類培訓目標的完成情況，從而得出學員各方面的能力表現(xiàn)和薄弱點。分類掌握即是根據(jù)試題所屬培訓目標類別，統(tǒng)計各類別的正確率。而學員表現(xiàn)是比較學員與平均水平的差距，得出相應的雷達比較圖。

（5）考試分析報告的生成

考試分析表可根據(jù)考試分析的結(jié)果，自動生成考試分析報告，便于數(shù)據(jù)的存檔和形成相應的書面報告。

2.3.2 考試分析方法的優(yōu)點

（1）建立標準化的試卷評估體系，能科學、準確地分析試卷

試卷分析的指標較多，每個指標的分析計算方法也不完全相同，進行試卷評估，可以得出定量的分析數(shù)據(jù)。通過對考試指標的分析，進而評價考試質(zhì)量，確保測量結(jié)果有意義。

（2）為教員改進教學工作提供依據(jù)

通過試卷分析，教員可以找出教學工作中的薄弱環(huán)節(jié)和學員學習過程中的普遍性問題，在教學中加以改善，以便于因材施教。

（3）減少工作量，節(jié)省時間，提高效率

傳統(tǒng)的考試結(jié)果統(tǒng)計和分析需要占用大量的時間。本考試分析方法僅需錄入考試結(jié)果信息，即可產(chǎn)生相應的試卷、試題分析結(jié)果。

3 結(jié)論

考試是檢驗學員培訓目標掌握情況的最有效手段之一，考試結(jié)果的分析與評價是SAT評估階段的重要環(huán)節(jié)，通過分析可以了解教員的命題水平、授課質(zhì)量和教學效果，了解學員對培訓目標的掌握情況，對改進培訓、提高培訓有效性具有重要意義。

【參考文獻】

[1]Simpson，E.J.，“The Classification of Educational Objectives： Psychomotor Domain，”Illinois Teacher of Home Economics，10（4）， pages 110-144，1966.

[2]The Principles of Training System Development Manual， Addendum II：Examinations：Design，Development and Implementation.（ACAD 88-002）.

[3]郁張海.標準化考試中的試題分析，山西大學學報，2009年第14卷.