航海英語會話評估考試網(wǎng)上閱卷系統(tǒng)分析

(上海海事職業(yè)技術(shù)學(xué)院，上海 200120)

航海英語聽力會話評估項目已經(jīng)實施多年，隨著STCW公約馬尼拉修正案的生效，以及隨后的一些履約文件的實施，對船員的航海英語水平的要求也隨之提高，因此提高航海英語聽力和會話網(wǎng)上閱卷系統(tǒng)的科學(xué)性就顯得更加重要。

一、航海英語會話網(wǎng)上閱卷系統(tǒng)的特點及不足

航海英語會話網(wǎng)上閱卷系統(tǒng)(以下簡稱“系統(tǒng)”)的網(wǎng)絡(luò)環(huán)境為局域網(wǎng)(LAN)。考生在考試的過程中將三個部分的答案通過“系統(tǒng)”錄音設(shè)備錄制然后存儲在電腦中。待所有考生考試完畢，每位評估員使用自己的登錄名和密碼登錄“系統(tǒng)”中的評估頁面，待考卷下載完畢后，“系統(tǒng)”即自動地將考生存儲在電腦中的答案隨機地分發(fā)給聯(lián)機在“系統(tǒng)”服務(wù)器上的各評估員終端，供評估員評閱。

1.航海英語會話網(wǎng)上閱卷系統(tǒng)的優(yōu)點

航海英語聽力會話評估項目已經(jīng)實施多年，它是評估船員英語水平的一個重要項目，經(jīng)多次改版升級，英語評估系統(tǒng)在版面設(shè)計、題目難度和主觀題評判方式方面日趨成熟。其中的會話考試部分，利用計算機網(wǎng)絡(luò)存儲考生的答題錄音，并由評估員對考試錄音進行評判。該系統(tǒng)的實施大大提高了閱卷的公正性。

(1)對閱卷行為的實時監(jiān)控[1]

“系統(tǒng)”自動隱藏了所有考生的真實身份，而且評估員批閱的只是考生總共12道題目中的隨機的某幾道題目，此種做法能夠更好地體現(xiàn)公平公正的原則。評估員的閱卷過程經(jīng)歷了以下的幾個步驟：

① 評估員的自我實時監(jiān)督

這種監(jiān)督建立在“系統(tǒng)”自動對評估員所評出分數(shù)的統(tǒng)計分析基礎(chǔ)上。在閱卷過程中，評估員本人只需輕擊鼠標就能在自己的終端屏幕分數(shù)一欄給出該題的分數(shù)，在點擊確定之前，還能對自己給出的評判作出修改。如果給出的分數(shù)在該題的范圍之外，“系統(tǒng)”會在屏幕上進行提示，以便評估員修正。

② 評估員之間的相互修正

在評判有疑問的情況下，評估員可以通過自發(fā)的相互討論的方式，對所給出的分數(shù)進行重新評判。

網(wǎng)上閱卷提高了效率，隨機分發(fā)試卷增加了考試評判的公正性。

(2)對評估員的質(zhì)量控制

首先，海事局對學(xué)院選派的相關(guān)的教師進行資格審批，以確保閱卷工作的質(zhì)量。在閱卷過程中，評估員也會遵循海事局編制的《適任評估大綱和規(guī)范》，對不確定的題目分值相互之間進行討論以取得公正的評判。

2.航海英語會話網(wǎng)上閱卷系統(tǒng)存在的缺陷

雖然“系統(tǒng)”擁有以上諸多優(yōu)點，但筆者發(fā)現(xiàn)該“系統(tǒng)”仍存在一些缺陷。

(1)航海英語口語考試的評分標準

整個會話考試共有三個部分，即朗讀題、口述題和回答問題。評估的要素分別為發(fā)音、朗讀流利程度、內(nèi)容、語法等。評分的標準如表1所示。

在這些評分標準中，只是給了評估員一個大概的分值范圍，沒有具體的評分說明。所以在評估過程中，不同專業(yè)背景的評估員給出的分數(shù)會差別很大。如果是英語專業(yè)教師的評估員，在評估的過程中，他不僅會對考生回答的內(nèi)容作出評判，而且還會考慮到考生的發(fā)音和回答的句子的完整性，如此，考生的分數(shù)就不會很高；如果是專業(yè)教師的評估員，在評估的過程中，他往往更加注重考生回答的關(guān)鍵詞，這樣給出的分數(shù)也相對會高一些。而且還存在著同一位評估員在評分的過程中，連續(xù)數(shù)次對不同考生相同的題目給出相同的分數(shù)的情況。所以在評估之前對評估員進行評判培訓(xùn)尤其顯得重要。

表1 航海英語評估會話部分評估要素及評估標準[2]

例如，在回答問題里有這樣一道題：Can you list some restricted areas on board? 可能有各種各樣答案，有的學(xué)生會說：Yes, I can.像這樣的情況，不同的評估員給出的分數(shù)也會不一樣，具備英語專業(yè)背景的評估員會覺得這個回答不正確，只能在0～2分的分值范圍內(nèi)給分；而具備專業(yè)背景的評估員可能給的分數(shù)會高一些。這就需要評估員在評估之前接受培訓(xùn)，統(tǒng)一思想。我們知道，從英語的文化背景來說：很多的問題都是通過婉轉(zhuǎn)的口氣提出的，這個時候并不需要得到“Yes”或者“No”的回答，而是需要得到問題的正確答案。會話中的第三部分占到60%的分值，這個部分的成績直接關(guān)系到考生會話的整體成績，所以，評估員在打分之前一定要按照標準執(zhí)行，同時，海事局最好能在評估之前對評估員進行培訓(xùn)。

(2)評估員的培訓(xùn)

雖然評估員都是有多年航海英語教學(xué)經(jīng)驗的教師，由于以上出現(xiàn)的問題，海事局有必要對評估員進行培訓(xùn)。培訓(xùn)可以在以下三個方面進行;

① 針對所有評估員的強制性培訓(xùn)。在正式閱卷開始前，“系統(tǒng)”有必要要求所有評估員參加培訓(xùn)，統(tǒng)一思想，對“評分標準”進行講解，對以往的評估過程中的案例進行分析。以此加強評分的規(guī)范性和公正性。

② 對個別評估員強制性培訓(xùn)。海事局主考官可以強制培訓(xùn)那些閱卷期間評分嚴重偏離“評分標準”的評估員。

③ 選擇性培訓(xùn)。在評估的過程中，如果評估員認為有必要，隨時可以進行自我培訓(xùn)。

(3)評估員配員的合理性

筆者在多年的評估實踐中發(fā)現(xiàn)，評估員的評分合理與否與評估員的配員情況存在著很大的關(guān)系。

以每200名考生配備5名評估員為例，平均每個評估員要評估40名考生。由于評估過程主要靠評估員的聽力進行評判，在開始的30min內(nèi)，評估員能夠精力集中地評判每一道題目，而且作出的判斷也比較合理。30min以后，如果不強制要求評估員進行休息，往往會出現(xiàn)視覺疲勞和聽、覺感覺等疲勞問題，這些疲勞現(xiàn)象會導(dǎo)致評估質(zhì)量的下降，集中體現(xiàn)在某些題目的評分出現(xiàn)分數(shù)居中，有些題目的評判不在評分范圍之內(nèi)等現(xiàn)象上。而且由于考生的英語發(fā)音各不相同，有的考生帶有濃重的口音導(dǎo)致在評估的過程中必須反復(fù)幾次進行聽音，延長了評估的時間。如果每一道題目都從頭聽到尾，以這樣的評估速度和配員往往需要一個工作日。所以，制定一個合理的評估員配員標準并且保證該標準的正確實施是保證評估質(zhì)量的一個非常重要的前提。

二、優(yōu)化航海英語會話評估考試網(wǎng)上閱卷系統(tǒng)的建議

為了更加完善航海英語會話評估系統(tǒng)，建議成立課題組，完成以下問題的研究。

(1)完善評估系統(tǒng)

在評估的過程中，評估員經(jīng)常會遇到電腦死機、界面更新太慢等問題，拖延了評估時間。建議海事局相關(guān)部門對該“系統(tǒng)”進行優(yōu)化和升級，確保評估過程能夠正常運轉(zhuǎn)，縮短閱卷的時間。

(2)解決閱卷疲勞問題

閱卷疲勞是指在長時間連續(xù)過度地盯看電腦屏幕和戴耳機全神貫注地收聽考生的答案后引起的視覺、聽覺的疲勞和工作績效下降的現(xiàn)象。長時間的精神高度集中，致使大腦中樞神經(jīng)系統(tǒng)從興奮轉(zhuǎn)為抑制狀態(tài)，導(dǎo)致思維活動遲緩，注意力不集中，動作反應(yīng)遲鈍，從而出現(xiàn)疲勞狀態(tài)，導(dǎo)致閱卷效率和準確性也有所下降。

根據(jù)學(xué)者們在實驗性監(jiān)視作業(yè)中，以準確反應(yīng)、誤反應(yīng)、延遲反應(yīng)以及其他生理反應(yīng)作為指標，研究注意的維持性。他們發(fā)現(xiàn)，基準值的相對下降均發(fā)生在作業(yè)開始后30min內(nèi)，從而說明注意的持續(xù)性不超過30min。因此，“系統(tǒng)”應(yīng)該在評估過程持續(xù)30min后，屏幕上應(yīng)出現(xiàn)強制休息的提醒。除此之外，評估員還可以在評估的過程中自行選擇休息的時間。

由此可以看出，合理配備評估員人數(shù)是解決閱卷疲勞的一個重要手段。

(3)完善評估員的激勵機制

探討這個問題的前提是：每一位評估員應(yīng)具備良好的道德修養(yǎng)，嚴守職業(yè)道德，不徇私舞弊，保持評估公正的客觀公正。除此之外，還應(yīng)具備良好的英語和專業(yè)業(yè)務(wù)水平。[2]

目前的評估員待遇制度已經(jīng)延續(xù)了10年以上了，顯然和目前的用工報酬現(xiàn)狀差距甚大，格式塔學(xué)派心理學(xué)家勒溫的心理學(xué)的場理論認為：人是一個場，包括這個人和他的心理環(huán)境的生活空間(LSP),行為是由這個場決定的。即：

B( 行為 ) = f [ P ( 人 )，E( 環(huán)境 )] = f ( LSP( 生活空間) )[3]

根據(jù)勒溫的這個學(xué)說，可以看出：行為的實職就是人對環(huán)境外在的可觀察的反應(yīng)，是人類內(nèi)在的心里活動的反映，行為是隨人和環(huán)境的改變而改變的。需要和激勵的循環(huán)關(guān)系如圖1所示。

圖1 需要和激勵

圖1可見，一個人有了某種需要，便產(chǎn)生一種激勵狀態(tài)，這時人就會采取某種行為，以達到他的目的。當目的達到后，需要得到滿足，心理緊張狀態(tài)便解除了，隨后又會有新的需要激勵人去努力達到新的目的。

目前的評估閱卷報酬對評估員的激勵作用已經(jīng)微乎其微，建立一個完善的激勵機制并貫徹執(zhí)行也是保障評估質(zhì)量的一個重要前提。

三、結(jié) 語

航海英語聽力會話評估考試體現(xiàn)了每個參加海船適任證書考試船員的英語聽力和口語水平，該項目的網(wǎng)上閱卷評估系統(tǒng)的科學(xué)與否關(guān)系到每一位參加考試學(xué)員的成績是否公正，評判是否合理。建議海事局盡快和相關(guān)的航海院校的資深教師組成專家小組共同探討，制定和完善相關(guān)制度。

[1]王躍武.大學(xué)英語四、六級考試作文網(wǎng)上閱卷實驗研究[J].外語界, 2004(5).

[2]王 濤.船員專業(yè)英語評估隊伍建設(shè)探討[J].航海教育研究,2012(1).

[3]葉 龍，李 森.安全行為學(xué)[M].北京：清華大學(xué)出版社，2005.