實施數(shù)字化口語測試方案及其信度研究

王 虹 王 瑾

摘要:口語測試歷來是語言教學(xué)和語言測試的一個難題。為了適應(yīng)我國高等教育發(fā)展的新形勢,數(shù)字化口語測試成為語言測試新的發(fā)展方向。英語教育工作者要運(yùn)用口語測試的理論和方法,組織有效、可信、實用的大規(guī)模數(shù)字化口語測試。數(shù)字化口語測試的方案設(shè)計要滿足信度的要求,信度要求主要是指該測試施測信度、內(nèi)容信度和評分信度要一致。

關(guān)鍵詞:數(shù)字化;口語測試;信度

中圖分類號:G64文獻(xiàn)標(biāo)志碼:A文章編號:1673-291X(2009)32-0239-02

一、引言

為了適應(yīng)我國高等教育發(fā)展的新形勢,高等學(xué)校正在深化教學(xué)改革,提高英語教學(xué)質(zhì)量,培養(yǎng)學(xué)生的英語綜合應(yīng)用能力,特別是聽說能力。在新的形勢下英語教育工作者要運(yùn)用口語測試的理論和方法,組織有效、可信、實用的大規(guī)?？谡Z測試,科學(xué)、公正地反映學(xué)生的口頭交際能力,而數(shù)字化口語測試即計算機(jī)化口語測試(Computerized Oral Proficiency Test 簡稱COPT)正是解決這一問題的有效途徑。

二、數(shù)字化口語測試(COPT)的發(fā)展?fàn)顩r

隨著社會的發(fā)展,英語學(xué)習(xí)者對英語口語能力的要求以及對此能力進(jìn)行有效的測量的要求也越來越高。在英語專業(yè)和非英語專業(yè)口語測試方面,國內(nèi)許多學(xué)者進(jìn)行了各種口語測試方法的研究和實踐,由傳統(tǒng)的間接性口試(Indirect Oral Test簡稱IOT)和直接型口試(Oral Proficiency Interview 簡稱OPI)發(fā)展成半直接型錄音口試(Semi-Direct Oral Proficiency Test簡稱SOPT)考試(劉潤清,1991)。SOPT是指在語言實驗室內(nèi)進(jìn)行的錄音口試,熊敦禮(2002)等人的研究結(jié)果表明大規(guī)模錄音口試是可行的;金艷(2002)等人研究初步論證了與CET-SET(Spoken English Test)相比,CET-SOPT具有較強(qiáng)的效度、信度和可操作性,因此,可以替代CET -SET。文秋芳(2002)也認(rèn)為,英語專業(yè)八級口試可以采用半直接型錄音口試的方法。隨著教學(xué)改革的深入,基于現(xiàn)代化手段的計算機(jī)化口語考試(COPT)成為眾多學(xué)者研究的熱點。邱東林(2005)等則對口語機(jī)考的利弊做了分析(2005);蔡基剛(2005)對四、六級計算機(jī)口語測試的效度、信度和可操作性進(jìn)行了定性定量的研究;程杰(2007)從定性的角度出發(fā),提出口語考試的數(shù)字化方案正是解決大規(guī)模口語考試人力、物力高消耗的有效辦法之一。

三、數(shù)字化口語測試(COPT)的實施方案

我們看到,由于教育技術(shù)的發(fā)展,口語考試經(jīng)歷了從面試型口試到半直接型口試,現(xiàn)在正在向計算機(jī)化口試(COPT即數(shù)字化口語測試)發(fā)展的歷程(蔡基剛,2005)。目前,根據(jù)大規(guī)模的英語口語考試的需要,數(shù)字化口語考試體系的設(shè)計思想應(yīng)以各高校實際開展的全校性口語考試為依托,實現(xiàn)整個口語考試流程的計算機(jī)輔助操作以及模擬傳統(tǒng)“面對面” 對話進(jìn)行口語考試。數(shù)字化口語考試系統(tǒng)需要實現(xiàn)的是“命題——考務(wù)安排——考試——批閱——公布成績”五大步驟的計算機(jī)輔助操作。

1.考前準(zhǔn)備

在考試之前,試卷命題相關(guān)教師按照要求出好一定套數(shù)的試卷, 并交主考審閱?？紕?wù)管理確定考試試卷和參加本次考試的考生范圍, 安排監(jiān)考教師。同時,進(jìn)行考試軟件安裝、試題庫建設(shè)、考官培訓(xùn)、學(xué)生使用多媒體技術(shù)培訓(xùn)等準(zhǔn)備工作,確保數(shù)字化考試順利進(jìn)行。

2.考試過程

整個考試嚴(yán)格按照統(tǒng)一程序操作。首先,監(jiān)考教師確認(rèn)學(xué)生身份;然后,學(xué)生輸入考號進(jìn)入考試系統(tǒng)并調(diào)試設(shè)備;進(jìn)行完錄音朗讀試聽后,考試正式開始?？荚囘^程一鍵完成,考試過程簡單到只要單擊一次“開始”即可。在考試環(huán)節(jié)中, 將由計算機(jī)擔(dān)當(dāng)傳統(tǒng)的面對面的考官的角色,按順序呈現(xiàn)題目,考生逐一回答,進(jìn)行人機(jī)互動,或考生之間進(jìn)行小組互動,系統(tǒng)同時進(jìn)行錄音。計算機(jī)作為模擬考官,就可以利用網(wǎng)絡(luò)資源材料和形式(如表格、圖片、動畫、電影剪輯等),并利用電腦屏幕的視覺界面和音響效果而使題型變得豐富多彩。最后,電腦自動將學(xué)生口試錄音內(nèi)容打包上傳,考試結(jié)束。

3.考試結(jié)果

主考安排閱卷教師及閱卷時間, 教師在規(guī)定的時間內(nèi)批閱考生答卷?？荚嚱Y(jié)果的批閱可以采用兩種方式完成:一種是集中式批閱,只要組織教師在一間數(shù)字化語音教室集中批閱即可;另一種是遠(yuǎn)程批閱,本系統(tǒng)支持通過上網(wǎng)登陸遠(yuǎn)程閱卷系統(tǒng)。參與閱卷的教師不必集中,只要登錄考試中心的網(wǎng)站即可實現(xiàn)異地閱卷。另外,網(wǎng)上成績處理按系別或班級發(fā)布、統(tǒng)計考生的成績,并將試卷、答卷等考試資料刻成光盤存檔。

四、數(shù)字化口語測試(COPT)的信度

對口語測試來說,信度(reliability)指測試的穩(wěn)定性(劉潤清,1991)。信度表示同一考生在不同的考試條件下,如在不同的考場、面對不同的考官,參加同一項考試后所得到的分?jǐn)?shù)是一致的。信度的要求主要是指:1.施測信度;2.內(nèi)容信度;3.評分信度要一致(蔡基剛,2005)。

1.施測信度

所謂施測信度,是指測試的準(zhǔn)備形式和測試過程要具有可靠性。在施考的條件這方面,數(shù)字化口試具有很高的信度。該測試在統(tǒng)一時間進(jìn)行,所有學(xué)生在條件相等語言實驗室同時考同一套題,同時錄音,保證了測試的公平與保密。避免了傳統(tǒng)口試中題目難度系數(shù)不同,口試題目數(shù)量有限,考生考試先后次序不同而導(dǎo)致的分?jǐn)?shù)差異。數(shù)字化口語測試統(tǒng)一預(yù)先錄音提問,發(fā)音清晰標(biāo)準(zhǔn),問題在屏幕上同時出現(xiàn),盡可能把對聽力的要求降到了最低。考生答題時屏幕上會顯示剩余時間,保證每個考生的發(fā)言時間相同,最大限度地避免了考官、考生和試題、考場等各種主客觀因素等問題。

2.內(nèi)容信度

影響口語測試內(nèi)容信度的因素主要有三方面:內(nèi)容的長度、難度與區(qū)分度。測試的內(nèi)容題目越多,覆蓋面越大;長度越長,其信度越高。比起傳統(tǒng)的口試,數(shù)字化口試的時間很充裕,大約是30分鐘;內(nèi)容覆蓋面較大,話題涉及到學(xué)習(xí)、生活、社會和科學(xué)等方面;題型包括朗讀、人機(jī)對話、故事或圖片復(fù)述以及即席演講,基本滿足了長度要求,因此,它享有很高的信度。

由于測試過易或過難,都會影響區(qū)分度,所以高信度的測試應(yīng)該是有難有易,先易后難。數(shù)字化口試幾個部分的試題從易到難呈逐級遞增,而且從學(xué)生成績的分布也能體現(xiàn)區(qū)分度。該測試還采取措施,以控制試卷的一致性,并提高各套試卷的信度。首先,命題要詳細(xì)?？梢詭椭}人員了解和掌握各題的出題要求, 如所測試的語言功能與語言能力、選材的要求與范圍等,保證多個命題老師的命題在內(nèi)容和難度上盡可能一致。其次,采用科學(xué)的命題方法。傳統(tǒng)方法是每個命題老師負(fù)責(zé)命制整套試卷的方式,可以調(diào)整為每個命題老師命制多套同一題型的題目,使同一命題老師對同一大題的內(nèi)容與難度的一致性做到較好的控制。然后,再經(jīng)過專家對同一題型所有題目的篩選和組合,從難易度、熟悉程度、文化背景知識等多方面進(jìn)行考慮,最后選定試題,組成試卷。以這種方式組卷,各套試題在內(nèi)容和難度上基本能夠保持一致。

3.評分信度

數(shù)字化口語測試的信度高,還有一個至關(guān)重要的原因, 就是評分規(guī)范化。這包括兩個方面評分標(biāo)準(zhǔn)的修訂確立與評分老師的培訓(xùn)。

要提高效度較高的測試的信度, 一個有效的辦法是確定評分標(biāo)準(zhǔn)。設(shè)計評分標(biāo)準(zhǔn)的方法可分為兩類:整體評分法(holistic scoring)和分析評分法(analytic scoring)。整體評分是總體的印象分,可從語言表達(dá)、文化意識、完成任務(wù)的狀況以及交際方式與否等角度來考察;分析評分標(biāo)準(zhǔn)可從語法、詞匯、語音及互動交際等方面分項打分。數(shù)字化口語測試評分采用百分制。每個評分角度又采用百分制,10或15分為間隔分設(shè)優(yōu)良中差四個檔次,分別從語音語調(diào)、流利程度、詞匯語法和交際能力等四個方面去考查學(xué)生的口語能力。評分標(biāo)準(zhǔn)具體,準(zhǔn)確且便于操作。

評分信度取決于評分教師。評分教師經(jīng)過了專業(yè)的口語測試評分培訓(xùn);評分過程中,利用計算機(jī)技術(shù)進(jìn)行實時監(jiān)控和調(diào)整, 以確保評分質(zhì)量;考官閱卷時,設(shè)置差異值。兩位評分教師對同一份答題錄音的打分差異超過標(biāo)準(zhǔn)值, 這份答題錄音將會自動送往第三位評分教師重新評定。評分軟件中這一系列的監(jiān)控手段, 都對評分的質(zhì)量起到了很好的保證作用, 加強(qiáng)了主觀題評分的客觀性。

四、結(jié)束語

目前,隨著人們認(rèn)識到在語言學(xué)習(xí)中培養(yǎng)語言使用能力的重要性和科學(xué)技術(shù)的進(jìn)步,在數(shù)字化語音室進(jìn)行的口語考試誕生了。由于可以同時對大量學(xué)生進(jìn)行口語測試,從而節(jié)省大量的人力、物力、財力和時間,并且考生水平的發(fā)揮不受考官的影響,考試信度較高,這一口語測試手段是適合我國教育實際需要的一種口語測試方法,并且已經(jīng)成為口語教學(xué)和測試的必然趨勢。

參考文獻(xiàn):

[1]劉潤清.語言測試和它的方法[M].北京:外語教學(xué)與研究出版社,1991.

[2]文秋芳.全國英語專業(yè)八級口試的可行性研究[J].外語界,2002,(4).

[3]熊敦禮,陳玉紅,劉澤華,等.大學(xué)英語大規(guī)模錄音口語測試研究[J].外語教學(xué)與研究,2002,(4).

[4]金艷,郭杰克.改革中的大學(xué)英語四、六級考試[J].中國外語,2004,(1).

[5]程杰.口語考試數(shù)字化的背景分析及方案實施初探[J].外語電化教學(xué),2007,(10).

[6]蔡基剛.大學(xué)英語四、六級計算機(jī)口語測試效度、信度和可操作性研究[J].外語界,2005,(4).

[7]邱東林,季佩英,萬江波.大學(xué)英語聽說機(jī)考嘗試[J].外語界,2005,(4).

責(zé)任編輯 張宇霞