主觀題網(wǎng)上閱卷員隊(duì)伍建設(shè)與誤差控制研究

劉建華 馬 睿 郜國民 劉華民

網(wǎng)上閱卷作為國家推進(jìn)考試工作標(biāo)準(zhǔn)化改革的重要環(huán)節(jié)，在我國普通高考、成人高考、公務(wù)員考試、英語四六級(jí)考試等各類重要考試中已被廣泛使用。網(wǎng)上閱卷是利用高速圖像掃描與識(shí)別技術(shù)、網(wǎng)絡(luò)技術(shù)、大型分布式數(shù)據(jù)庫及大容量智能化的網(wǎng)絡(luò)存儲(chǔ)等先進(jìn)的電子技術(shù)和計(jì)算機(jī)技術(shù)進(jìn)行輔助評(píng)卷。在閱卷過程中，閱卷員直接面對(duì)由系統(tǒng)隨機(jī)分發(fā)的考生的答題信息圖像，并通過輸入設(shè)備給出考生的得分，由系統(tǒng)自動(dòng)統(tǒng)計(jì)匯總，大大提高了閱卷效率，也極大的提高了閱卷的保密性。

網(wǎng)上閱卷消除了傳統(tǒng)閱卷過程中的非閱卷誤差，方便了閱卷管理，提供了閱卷質(zhì)量監(jiān)控的新手段，對(duì)于評(píng)分誤差的控制具有重要的現(xiàn)實(shí)意義。縱覽網(wǎng)上閱卷的全過程，在閱卷工作開始之前，做好閱卷員的遴選和培訓(xùn)，將誤差控制的關(guān)口前移，是控制評(píng)分誤差的重點(diǎn)；在閱卷過程中，做好閱卷員的管理和閱卷質(zhì)量監(jiān)控，是控制評(píng)分誤差的關(guān)鍵；在閱卷結(jié)束后，建立閱卷員評(píng)價(jià)體系、模型，并基于閱卷員的原始表現(xiàn)，建立閱卷員信息庫，是控制評(píng)分誤差的支撐。

1 主觀題網(wǎng)上閱卷員的遴選和培訓(xùn)

1.1 閱卷員的遴選

閱卷員的遴選是提高主觀題閱卷質(zhì)量的基礎(chǔ)環(huán)節(jié)，同時(shí)也是最核心的環(huán)節(jié)，遴選出一批責(zé)任心強(qiáng)、業(yè)務(wù)水平高的閱卷員，并保持科學(xué)、合理的結(jié)構(gòu)和比例，事關(guān)整個(gè)閱卷工作的成敗。在具體實(shí)踐中，管理科學(xué)中的履歷分析技術(shù)、勝任特征模型理論等人才選拔理論，是做好閱卷員遴選工作的有效工具。

1.1.1 勝任特征模型理論在網(wǎng)上閱卷員遴選中的應(yīng)用

勝任特征模型也稱為資質(zhì)模型、素質(zhì)模型，是組織行為學(xué)和人力資源管理理論研究的前沿課題之一，其基本原理是辨別優(yōu)秀員工與一般員工在知識(shí)、技能、社會(huì)角色、自我認(rèn)知、特質(zhì)、動(dòng)機(jī)等方面的差異。在網(wǎng)上閱卷員遴選工作中，可根據(jù)勝任特征理論，以閱卷過程中積累下來的原始數(shù)據(jù)為基礎(chǔ)，總結(jié)分析在閱卷工作中表現(xiàn)優(yōu)異的閱卷員的共性特點(diǎn)，結(jié)合網(wǎng)上閱卷工作的特點(diǎn)，構(gòu)建網(wǎng)上閱卷員勝任特征指標(biāo)體系，并通過理論研究、問卷調(diào)查等方法，對(duì)勝任特征指標(biāo)進(jìn)行賦值，建立網(wǎng)上閱卷員勝任特征模型。通過勝任特征模型的考核，讓綜合表現(xiàn)較為突出，適合網(wǎng)上閱卷工作的教師脫穎而出，并將其吸納到網(wǎng)上閱卷員隊(duì)伍中來。

1.1.2 履歷分析在網(wǎng)上閱卷員選拔中的應(yīng)用

履歷分析是通過對(duì)評(píng)價(jià)者的個(gè)人背景、工作與生活經(jīng)歷進(jìn)行分析，來判斷其對(duì)未來崗位適應(yīng)性的一種人才評(píng)估方法。通過履歷分析，可以對(duì)考察對(duì)象的各種素質(zhì)尤其是外在型特征有一個(gè)全面的了解，為進(jìn)一步選拔提供重要依據(jù)。在具體應(yīng)用中，可通過專家訪談法和調(diào)查問卷法篩選、確定履歷分析的項(xiàng)目并確定其權(quán)重，在此基礎(chǔ)上設(shè)計(jì)加權(quán)履歷表。網(wǎng)上閱卷員履歷登記表應(yīng)主要包括如下四個(gè)方面的內(nèi)容：一是基本信息，包括姓名、性別、出生年月、民族、學(xué)歷、學(xué)位、專業(yè)、職稱、婚姻狀況等；二是知識(shí)和工作能力，包括受教育情況、職業(yè)經(jīng)歷、接受培訓(xùn)情況等；三是家庭和社會(huì)關(guān)系，包括家庭成員和主要社會(huì)關(guān)系的基本情況；四是品德素養(yǎng)，包括過去的工作表現(xiàn)、獎(jiǎng)懲情況等。在網(wǎng)上閱卷員的履歷評(píng)估中，適用于履歷評(píng)估三大評(píng)估公式中的混合公式，即（其中P為錄取概率，A為個(gè)人基本情況得分，B為個(gè)人知識(shí)與工作能力得分，C為個(gè)人家庭與社會(huì)關(guān)系得分，D為品德素養(yǎng)得分。P、A、B、C、D的值域?yàn)?～100），其基本思想是可以容忍閱卷員工作能力、工作水平等方面的小缺陷，但對(duì)品德素養(yǎng)等實(shí)行一票否決。

1.2 閱卷員的培訓(xùn)

扎實(shí)、有效的崗前培訓(xùn)是確保閱卷工作平穩(wěn)順利進(jìn)行的根本保證，應(yīng)從源頭抓起，切實(shí)做好四項(xiàng)培訓(xùn)：（1）上崗培訓(xùn)。主要包括思想政治教育、保密條例教育、工作責(zé)任感、榮譽(yù)感教育、閱卷紀(jì)律教育、業(yè)務(wù)知識(shí)培訓(xùn)等。（2）試評(píng)培訓(xùn)。主要包括：評(píng)分細(xì)則的討論、制定、閱卷系統(tǒng)的操作、試評(píng)卷和測試卷的評(píng)閱等。（3）質(zhì)量控制培訓(xùn)。主要包括試卷復(fù)評(píng)、抽查、退回、修改、問題卷處理等。（4）心理壓力和情緒調(diào)節(jié)培訓(xùn)。主要包括放松訓(xùn)練、腹式呼吸訓(xùn)練、肌肉放松訓(xùn)練、漸進(jìn)式放松訓(xùn)練等。

2 主觀題網(wǎng)上閱卷員的管理及閱卷質(zhì)量監(jiān)控

2.1 閱卷員的管理

閱卷期間，閱卷員的思想狀態(tài)、身體狀態(tài)、精神狀態(tài)、心理狀態(tài)的好壞直接影響著閱卷質(zhì)量。為確保閱卷員能夠以最佳狀態(tài)投入到評(píng)卷工作中，在閱卷員管理方面可從如下方面開展工作。

一是要完善閱卷組織機(jī)構(gòu)?？筛鶕?jù)工作需要，在評(píng)卷工作領(lǐng)導(dǎo)小組下設(shè)綜合協(xié)調(diào)組、學(xué)科評(píng)卷組、評(píng)卷質(zhì)檢組、技術(shù)服務(wù)組、后勤保障組、紀(jì)檢監(jiān)察組、安全保衛(wèi)組等機(jī)構(gòu)，明確各工作組職能，確保評(píng)卷工作有序進(jìn)行。二是要強(qiáng)化激勵(lì)機(jī)制。從物質(zhì)、精神等多種方面，激發(fā)評(píng)卷教師的工作積極性，提高整體評(píng)卷效率。這里可引入斯金納的強(qiáng)化理論，綜合使用積極強(qiáng)化（如物質(zhì)獎(jiǎng)勵(lì)、精神獎(jiǎng)勵(lì)、差異激勵(lì)等）和消極強(qiáng)化（如誡勉談話、退出機(jī)制、差異薪酬等），激發(fā)起閱卷員的工作熱情，營造積極、向上、和諧的閱卷環(huán)境。三是要引入心理干預(yù)。長時(shí)間高強(qiáng)度的閱卷工作，極易使閱卷員產(chǎn)生心理上和生理上的疲勞。在疲勞的狀態(tài)下，閱卷員很難保持注意力的穩(wěn)定，進(jìn)而會(huì)對(duì)閱卷質(zhì)量造成重大影響，因此必須采用有效手段，調(diào)節(jié)閱卷員的狀態(tài)。（1）優(yōu)化進(jìn)度管理，控制閱卷節(jié)奏和進(jìn)度。（2）進(jìn)行心理輔導(dǎo)，幫助閱卷員克服驕躁心理、松懈心理、畏懼心理、同情心理、定勢(shì)心理等不良閱卷傾向。（3）尊重人體生物節(jié)律，合理安排工作時(shí)間。

2.2 閱卷質(zhì)量監(jiān)控

相對(duì)于傳統(tǒng)的閱卷形式，網(wǎng)上閱卷的最大優(yōu)點(diǎn)是可以進(jìn)行實(shí)時(shí)的質(zhì)量監(jiān)控。試卷評(píng)閱工作正式開始后，可以通過隨機(jī)抽樣、分段抽樣、自動(dòng)抽樣、等距抽樣等方法對(duì)閱卷員的評(píng)卷質(zhì)量進(jìn)行抽查，對(duì)閱卷員的評(píng)分分布、平均分、標(biāo)準(zhǔn)差、有效度、評(píng)分一致性等數(shù)據(jù)進(jìn)行分析，對(duì)閱卷員的評(píng)閱質(zhì)量進(jìn)行評(píng)估，進(jìn)而確定需要重點(diǎn)抽查的對(duì)象，發(fā)現(xiàn)可能存在的閱卷誤差。

2.2.1 通過一致性檢驗(yàn)發(fā)現(xiàn)誤差

一致性檢驗(yàn)包括閱卷員自身的一致性檢驗(yàn)和閱卷員之間的一致性檢驗(yàn)。閱卷員自身的一致性檢驗(yàn)主要是通過隨機(jī)抽取某一閱卷員已評(píng)試卷的一定比例，返回給該閱卷員重新評(píng)閱，比較兩次評(píng)分結(jié)果是否存在較大誤差。其目的是檢驗(yàn)閱卷員在不同時(shí)段是否能夠保持評(píng)分的一致性和穩(wěn)定性。閱卷員之間的一致性檢驗(yàn)，主要是通過比較閱卷員之間的，以及閱卷員和閱卷組之間的評(píng)分分布、平均分、標(biāo)準(zhǔn)差等數(shù)據(jù)，檢驗(yàn)和評(píng)價(jià)閱卷的閱卷質(zhì)量。在具體閱卷工作中，主要通過監(jiān)控閱卷員之間的一致性檢驗(yàn)，控制評(píng)分誤差。

一是通過評(píng)分分布發(fā)現(xiàn)誤差。評(píng)分分布（比率）是對(duì)評(píng)過的一批試卷中某題得分所作的頻數(shù)分布（這一批分?jǐn)?shù)可以是全體評(píng)卷員的評(píng)分，也可以是一組評(píng)卷員或一位評(píng)卷員的評(píng)分），即該題每個(gè)分?jǐn)?shù)段的試卷份數(shù)所占已評(píng)試卷總數(shù)的比例，比如題組全體閱卷員一共評(píng)出了100份試卷，而其中得1分的試卷有10份，那么1分段的比例就是0.1。閱卷過程中，由于每個(gè)閱卷教師評(píng)閱的試卷是由計(jì)算機(jī)隨機(jī)分發(fā)的，因此在評(píng)出一定數(shù)量的試卷以后，每個(gè)教師閱卷的評(píng)分分布理論上應(yīng)該與總的評(píng)分分布一致，兩者之間越接近說明閱卷的質(zhì)量越好。

如果某位閱卷員的個(gè)人評(píng)分分布與總評(píng)分分布相差較大，就很可能是把握評(píng)分標(biāo)準(zhǔn)不好，出現(xiàn)了評(píng)分誤差。再進(jìn)一步分析，如果是低分段比例過高或高分段比例過高，不太可能是其評(píng)閱的試卷都做得很差或很好，而可能是評(píng)分過嚴(yán)或過寬，偏離了評(píng)分標(biāo)準(zhǔn)，出現(xiàn)誤評(píng)（參見圖1、圖2）。如果是中間分?jǐn)?shù)段的比例過高，那可能是給了“保險(xiǎn)分”，即粗略看出解答既非全對(duì)也非全錯(cuò)，就不再仔細(xì)判斷，而是隨心所欲的給一個(gè)中間分，這時(shí)誤評(píng)的可能性就更高了，而且高分誤差（≥2分的誤差）的可能性很大（參見圖3）。

圖1

圖2

圖3

根據(jù)評(píng)分分布，可以計(jì)算出每位閱卷員的評(píng)分偏離值，其計(jì)算公式為：將第j位閱卷員的評(píng)分偏離值記為Pj，Pj=第j位閱卷員的i分段比率-總體的i分段比率。

在閱卷過程中可以對(duì)每一道題目，設(shè)置一個(gè)評(píng)分偏離值上限。此上限可隨著閱卷進(jìn)程適當(dāng)調(diào)整。當(dāng)某位閱卷員的評(píng)分偏離值大于評(píng)分偏離值上限時(shí)，計(jì)算機(jī)自動(dòng)發(fā)出警示信息，提示質(zhì)檢復(fù)查人員對(duì)該閱卷員進(jìn)行抽查。

不過單純考查閱卷員的總體評(píng)分分布（比率）也有可能出現(xiàn)誤差，比如，評(píng)分忽高忽低時(shí)，其總體評(píng)分分布（比率）就可能是正常的。因此不能只看總體評(píng)分分布（比率），還應(yīng)對(duì)閱卷員的分時(shí)段評(píng)分分布（比率）進(jìn)行對(duì)比，例如以每300份試卷為一個(gè)分段節(jié)點(diǎn)，對(duì)閱卷員每個(gè)分段節(jié)點(diǎn)的評(píng)分分布（比率）進(jìn)行考查，進(jìn)而得出更加客觀準(zhǔn)確的閱卷員評(píng)價(jià)。

閱卷過程中，通過評(píng)卷系統(tǒng)的查詢和過濾功能，可以非常方便的查看每位閱卷員的評(píng)分分布進(jìn)而發(fā)現(xiàn)需要重點(diǎn)復(fù)查的對(duì)象，圖4、圖5、圖6分別為某年高考數(shù)學(xué)科目閱卷過程中，低分段過高、高分段過高和有評(píng)分趨中性的實(shí)證分析。

圖4 低分段過高

圖5 高分段過高

圖6 中間分?jǐn)?shù)段過高

二是通過評(píng)分均值發(fā)現(xiàn)誤差。因?yàn)槊總€(gè)閱卷員每天評(píng)閱的試卷是隨機(jī)分發(fā)的，每個(gè)閱卷員每天的評(píng)分均值理論上應(yīng)該和總體評(píng)分均值是一致的，且每個(gè)閱卷員每天的評(píng)分均值理論上是比較一致的，或者說上下浮動(dòng)的振幅較小。具體實(shí)證分析見圖7、圖8。

圖7為某年高考數(shù)學(xué)某題，小組、全體和每一閱卷員在某一時(shí)段的每日評(píng)分均值曲線。

圖7

通過對(duì)比各閱卷員的每日評(píng)分均值曲線和全體的每日評(píng)分均值曲線，可以準(zhǔn)確定位需要重點(diǎn)復(fù)查的閱卷員。

圖8為某年高考數(shù)學(xué)某題小組、全體和某閱卷員的每日評(píng)分均值曲線。

圖8

通過分析該閱卷員的每日評(píng)分均值曲線可以發(fā)現(xiàn)，該閱卷員評(píng)卷前期的每日評(píng)分均值均低于平均水平，后期則基本一致，這表明該閱卷在閱卷前期對(duì)評(píng)分標(biāo)準(zhǔn)把握的不夠好，評(píng)分過嚴(yán)，打分偏低。

2.2.2 通過綜合質(zhì)量檢驗(yàn)發(fā)現(xiàn)誤差

其主要方法是通過分析評(píng)卷質(zhì)量列表的相關(guān)數(shù)據(jù)，鎖定重點(diǎn)復(fù)查對(duì)象，發(fā)現(xiàn)潛在的的誤差。

表1比較直觀的顯示了某年高考數(shù)學(xué)某題，在某時(shí)間段內(nèi)每位閱卷員的完成量、被抽查量、被抽查率、被退回量、被退回率、被修改量、被修改率、通過量和通過率。

表2則顯示了該時(shí)間段內(nèi)該閱卷組的總完成量、總被抽查量、總退回量、總被修改量、總通過量以及平均完成量、平均被抽查量、平均被抽查率、平均退回量、平均被修改量、平均被修改率、平均通過量和平均通過率。

表1

通過對(duì)比分析上述數(shù)據(jù)，閱卷組的平均被修改率為1.25%，而閱卷員pc0301009的被修改率高達(dá)13.17%、閱卷員pc0301010的被修改率為2.38%，遠(yuǎn)遠(yuǎn)高于平均水平，在復(fù)查時(shí)間有限，無法實(shí)現(xiàn)百分之百復(fù)查的情況下，需重點(diǎn)復(fù)查以上2位閱卷員。

需要注意的是，不論是評(píng)分分布曲線、平均分曲線，還是每日評(píng)分均值曲線、評(píng)卷質(zhì)量列表，以及標(biāo)準(zhǔn)差曲線、每日評(píng)分標(biāo)準(zhǔn)差曲線，都只能從一定程度上反映出閱卷員的閱卷質(zhì)量。只有綜合考核以上幾組數(shù)據(jù)才能比較全面客觀的得出閱卷員總體評(píng)價(jià)。進(jìn)而發(fā)現(xiàn)需要重點(diǎn)抽查的閱卷員，也可相應(yīng)的為閱卷員信息庫建設(shè)、專家型閱卷員的選拔提供可靠依據(jù)。

表2

3 主觀題網(wǎng)上閱卷員的評(píng)價(jià)

閱卷員評(píng)價(jià)是總結(jié)分析閱卷員整體評(píng)卷表現(xiàn)的重要環(huán)節(jié)，是評(píng)定優(yōu)秀閱卷教師和建立閱卷員專家?guī)斓闹匾罁?jù)。在具體操作中可以使用評(píng)卷質(zhì)量監(jiān)控的相關(guān)數(shù)據(jù)和閱卷員評(píng)分分布等數(shù)據(jù)為支撐，對(duì)閱卷員進(jìn)行綜合評(píng)價(jià)。具體操作如下：

3.1 評(píng)價(jià)維度和分級(jí)標(biāo)準(zhǔn)的確定

使用專家意見平均法從各評(píng)價(jià)指標(biāo)中確定綜合評(píng)價(jià)體系中的具體評(píng)價(jià)項(xiàng)目，最終確定了完成量、差錯(cuò)率、評(píng)分分布（比率）3個(gè)評(píng)價(jià)維度。在此基礎(chǔ)上，確定3個(gè)評(píng)價(jià)維度的分級(jí)標(biāo)準(zhǔn)，見表3、表4、表5。

表3 完成量分級(jí)標(biāo)準(zhǔn)

表4 誤差率分級(jí)標(biāo)準(zhǔn)

表5 評(píng)分分布（比率）分級(jí)標(biāo)準(zhǔn)

3.2 評(píng)價(jià)項(xiàng)目權(quán)重的確定

運(yùn)用秩和運(yùn)算法，確定完成量、差錯(cuò)率和評(píng)分分布（比率）的權(quán)重，具體公式如下：設(shè)有n個(gè)專家對(duì)指標(biāo)體系中m個(gè)指標(biāo)進(jìn)行評(píng)定。每一個(gè)專家對(duì)m個(gè)指標(biāo)按他所認(rèn)為的重要程度進(jìn)行排序，每一個(gè)指標(biāo)排在第幾位的序號(hào)叫做該指標(biāo)的秩，把n個(gè)專家所給的秩加起來所得的結(jié)果叫做該指標(biāo)的秩和，用R表示）。

需要注意的是，使用該公式之前要進(jìn)行一致性檢驗(yàn)，檢驗(yàn)公式如下：

經(jīng)過檢驗(yàn)，如果X2≥（m-1），則認(rèn)為n個(gè)專家的看法是一致的。

通過檢驗(yàn)和計(jì)算，確定了完成量的總權(quán)重分值為14分，差錯(cuò)率的總權(quán)重分值為42分，評(píng)分分布（比率）的總權(quán)重分值為44分（以滿分100分計(jì)算）。

3.3 總體評(píng)價(jià)分級(jí)標(biāo)準(zhǔn)的確定

使用專家意見平均法確定完成量、差錯(cuò)率、評(píng)分分布（比率）這三大類項(xiàng)目，優(yōu)秀、良好、合格、不合格的加權(quán)分值，最終形成總體評(píng)價(jià)分級(jí)標(biāo)準(zhǔn)表，見表6。

表6 總體評(píng)價(jià)分級(jí)標(biāo)準(zhǔn)

[1]徐建平.教師勝任力模型與測評(píng)研究[D].北京師范大學(xué)博士畢業(yè)論文，2004.

[2]劉治宏.教學(xué)型高校教師勝任特征模型研究[J].黑龍江高教研究，2011（8）:103-106.

[3]宋濤.網(wǎng)上閱卷閱卷員閱卷質(zhì)量評(píng)價(jià)分析體系及模型研究[D].河南大學(xué)碩士畢業(yè)論文，2010.

[4]閻迪.遼寧省網(wǎng)上閱卷軟件系統(tǒng)項(xiàng)目的研究與應(yīng)用[D].沈陽工業(yè)大學(xué)碩士畢業(yè)論文，2007.

[5]謝隨民，韓棣.淺談閱卷工作中的心理反映[J].菏澤醫(yī)專學(xué)報(bào)，1992，4（2）:72-73.

[6]楊鵬，胡月星.用履歷分析技術(shù)篩選合適人才[J].中國人才，2006（7）:58-59.

[7]張全民.淺析斯金納的強(qiáng)化理論及其在學(xué)校教育中的作用[J].《和田師范?？茖W(xué)校學(xué)報(bào)》（漢文綜合版），2009，28（1）:29-30.

[8]張豐.基于斯金納強(qiáng)化理論的高校教師激勵(lì)機(jī)制研究[J].教育與職業(yè)，2009（21）:41-42.

[9]張昌應(yīng).高考網(wǎng)上評(píng)卷誤差控制的方法與實(shí)施[J].高教探索，2003（3）:77-79.