測(cè)試環(huán)境下同伴口語(yǔ)水平影響效應(yīng)研究

馬瑞娟

(中北大學(xué)外語(yǔ)系，山西 太原030051)

一、引言

隨著英語(yǔ)教學(xué)改革的深入，口語(yǔ)交際能力表現(xiàn)性評(píng)估近年得到廣泛關(guān)注。它受到受試者、任務(wù)、評(píng)估標(biāo)準(zhǔn)及考官特征等諸多因素的影響。最近的研究多集中于受試者特征對(duì)其表現(xiàn)的影響，如Ockey研究了同組成員自信心對(duì)其他受試者表現(xiàn)的影響［1］;O'Sullivan研究了受試者教育水平及熟悉程度等特征對(duì)口試中受試者表現(xiàn)的影響［2］。這些研究在一定程度上能夠解釋測(cè)試中受試者表現(xiàn)差異的原因。受試者表現(xiàn)差異的原因是多種多樣的，影響因素也不是單一的。盡管目前對(duì)受試者特征方面有很多研究，但仍有許多未探知領(lǐng)域?？谡Z(yǔ)水平也是受試者的特征之一，目前對(duì)這一表現(xiàn)性評(píng)估變量的研究較少。McNamara＆Lumley研究了考官水平和評(píng)分之間的關(guān)系［3］。Purpura研究了高水平和低水平受試者在測(cè)試中策略使用情況［4］。本文提出如下問(wèn)題:成對(duì)錄音口試中，在沒(méi)有考官介入的情況下，受試者的表現(xiàn)是否會(huì)受到同伴口語(yǔ)水平高低的影響?基于目前的研究現(xiàn)狀，本研究將口語(yǔ)水平的影響作為研究重點(diǎn)，旨在研究成對(duì)角色扮演錄音口語(yǔ)測(cè)試中不同口語(yǔ)水平的同伴對(duì)同一受試者的表現(xiàn)是否產(chǎn)生影響。

Foster和Skehan對(duì)語(yǔ)言語(yǔ)法正確性和復(fù)雜性作出了定義［5］，也成為口語(yǔ)交際表現(xiàn)性評(píng)估中衡量語(yǔ)言質(zhì)量的兩個(gè)重要因素。如O'Sullivan應(yīng)用此定義，研究了成對(duì)口試中受試者熟悉程度對(duì)表現(xiàn)的影響［2］。本文采用此定義，從定量和定性兩個(gè)角度分別對(duì)受試者的測(cè)試分?jǐn)?shù)和輸出語(yǔ)言的語(yǔ)法正確性和復(fù)雜性進(jìn)行研究，旨在探討測(cè)試環(huán)境下同伴口語(yǔ)水平對(duì)受試者表現(xiàn)的影響。

二、研究設(shè)計(jì)

(一)研究問(wèn)題

本研究主要回答下述問(wèn)題:第一，高、低分組受試者的口語(yǔ)測(cè)試成績(jī)是否受到同伴口語(yǔ)水平的影響?如果受到影響，成績(jī)有什么樣的趨勢(shì)?第二，高、低分組受試者輸出語(yǔ)言的語(yǔ)法復(fù)雜性是否受到同伴口語(yǔ)水平的影響?語(yǔ)法復(fù)雜性是否具有顯著差異性?第三，高、低分組受試者輸出語(yǔ)言的語(yǔ)法正確性是否受到同伴口語(yǔ)水平的影響?語(yǔ)法正確性是否具有統(tǒng)計(jì)學(xué)意義上的顯著差異性?

(二)研究對(duì)象

參與實(shí)驗(yàn)的是山西大學(xué)外國(guó)語(yǔ)學(xué)院66名英語(yǔ)專業(yè)的本科生，其中56名女生，10名男生，分別來(lái)自3個(gè)不同的班級(jí)，接受英語(yǔ)教育的時(shí)間和學(xué)習(xí)課程大體相同。專業(yè)四級(jí)口語(yǔ)成績(jī)是本研究中劃分高、低分組受試者的依據(jù)，為了減少學(xué)習(xí)效應(yīng)的影響，在專業(yè)四級(jí)口語(yǔ)成績(jī)剛剛揭曉之后即進(jìn)行本實(shí)驗(yàn)。

(三)模擬實(shí)驗(yàn)設(shè)計(jì)

1.考試方式

為了驗(yàn)證英語(yǔ)測(cè)試環(huán)境下同伴口語(yǔ)水平的影響效應(yīng)，本研究進(jìn)行了一次模擬實(shí)驗(yàn)。實(shí)驗(yàn)采用語(yǔ)音實(shí)驗(yàn)室和錄音的方式，在沒(méi)有考官介入的情況下測(cè)試考生的口語(yǔ)能力?？忌獙?duì)著話筒，按照耳機(jī)中所提示的內(nèi)容和考試要求進(jìn)行考試，口試內(nèi)容全部錄音。

2.試題設(shè)計(jì)原則和形式

模擬實(shí)驗(yàn)試題設(shè)計(jì)時(shí)考慮了以下兩個(gè)因素:一是題目難易適中，選題沒(méi)有性別偏頗性。低水平的考生有話可說(shuō)，高水平的考生也能充分表現(xiàn)自己的口語(yǔ)能力，男女生都能順利展開(kāi)話題;二是題目?jī)?nèi)容為考生所熟悉的真實(shí)口頭交際語(yǔ)境。遵循以上試題設(shè)計(jì)原則，本研究采用了專業(yè)四級(jí)口語(yǔ)測(cè)試的題型:兩人一組角色扮演口語(yǔ)測(cè)試。口試內(nèi)容分為兩部分，第一部分為自我介紹，是考前熱身部分，目的是使學(xué)生放松，該部分不計(jì)入成績(jī);第二部分為口試內(nèi)容，計(jì)入成績(jī)。

3.分組原則

根據(jù)受試者的專業(yè)四級(jí)口語(yǔ)成績(jī)，他們被分為高分組和低分組兩組。專業(yè)四級(jí)口語(yǔ)測(cè)試中4分和3分的學(xué)生較少，因此在此研究中2分的學(xué)生屬于高分組，1分的學(xué)生被劃入低分組。根據(jù)學(xué)生的成績(jī)和研究目的，這些學(xué)生分別和不同水平的同伴進(jìn)行口語(yǔ)測(cè)試。

(四)數(shù)據(jù)的收集與分析

模擬實(shí)驗(yàn)在課堂時(shí)間三個(gè)班級(jí)同時(shí)進(jìn)行，受試者剛剛參加了專業(yè)四級(jí)口語(yǔ)測(cè)試，所有學(xué)生熟悉測(cè)試程序，實(shí)驗(yàn)結(jié)束后共回收33份有效錄音材料(兩名學(xué)生的材料在一盤錄音磁帶上)。隨后5名有經(jīng)驗(yàn)的評(píng)分員對(duì)錄音材料進(jìn)行了評(píng)分，評(píng)分量表根據(jù)英語(yǔ)專業(yè)四級(jí)口試使用的評(píng)分量表并依據(jù)研究目的改寫為整體評(píng)分量表和分析評(píng)分量表。為了確保評(píng)分的信度，2名評(píng)分員采用整體評(píng)分法，3名評(píng)分員采用分析評(píng)分法。5名評(píng)分員的成績(jī)平均后得到每名受試者的最后口試成績(jī)。評(píng)分結(jié)束后又對(duì)錄音材料進(jìn)行轉(zhuǎn)寫，所有口試內(nèi)容全部轉(zhuǎn)寫為書(shū)面形式，并對(duì)輸出內(nèi)容的語(yǔ)言特征即語(yǔ)法正確性和語(yǔ)法復(fù)雜性進(jìn)行分析。利用SPSS(Statistical Product and Service Solutions)“統(tǒng)計(jì)產(chǎn)品與服務(wù)解決方案”統(tǒng)計(jì)軟件分別對(duì)低分組和高分組的口試成績(jī)和輸出內(nèi)容的語(yǔ)法正確性和復(fù)雜性進(jìn)行單維方差分析(One-Way ANOVA)。

三、結(jié)果和討論

(一)評(píng)分結(jié)果的相關(guān)性

本研究對(duì)評(píng)分信度要求很高，否則會(huì)直接影響后續(xù)方差分析的質(zhì)量。我們對(duì)評(píng)分員的評(píng)分信度進(jìn)行了相關(guān)計(jì)算，分?jǐn)?shù)呈極其顯著性相關(guān)，可以判斷本次評(píng)分的信度很高。該數(shù)據(jù)有一定的啟示性:對(duì)于口試之類的主觀性考試，同一份材料的評(píng)分最好是由多名評(píng)分員進(jìn)行，并且采取不同的評(píng)分方法即整體評(píng)分法和分析評(píng)分法相結(jié)合，最后計(jì)算其平均分為該考生的最后成績(jī)。

(二)口試成績(jī)的差異

在確保評(píng)分的信度之后，我們運(yùn)用單維方差分析法對(duì)高、低分組的口試成績(jī)差異進(jìn)行了研究。

低分組受試者和高分組同伴進(jìn)行口試時(shí)，平均分、最低分和最高分都比和低分組同伴口試時(shí)有很大提高，而高分組受試者和不同水平的同伴口試時(shí)分?jǐn)?shù)沒(méi)有太大變化。單維方差檢驗(yàn)也證實(shí)了描述統(tǒng)計(jì)數(shù)據(jù)的結(jié)果:低分組受試者受到同伴水平高低的影響，測(cè)試分?jǐn)?shù)具有顯著性差異(p=0.006＜0.05)。低分組和高分組受試者進(jìn)行口試時(shí)，低分組的測(cè)試分?jǐn)?shù)有一定提高。然而高分組受試者和高分組或低分組同伴進(jìn)行口試時(shí)，測(cè)試分?jǐn)?shù)沒(méi)有顯著性變化(p=0.645 ＞0.05)。

(三)語(yǔ)言特征的差異

分析口試成績(jī)之后，通過(guò)轉(zhuǎn)寫錄音材料，隨后又對(duì)口試內(nèi)容的語(yǔ)言特征進(jìn)行研究，研究?jī)?nèi)容為語(yǔ)言語(yǔ)法的正確性和復(fù)雜性。研究依據(jù)為Foster和Skehan對(duì)語(yǔ)法正確性和復(fù)雜性的定義［5］。

結(jié)論如下:低分組和高分組受試者在和不同水平的同伴進(jìn)行口試時(shí)，語(yǔ)言語(yǔ)法的復(fù)雜性均沒(méi)有表現(xiàn)出顯著性差異(p=0.598 ＞0.05，p=0.859 ＞0.05)。對(duì)于低分組受試者，和不同的同伴進(jìn)行口試時(shí)，語(yǔ)法正確性具有顯著性差異(p=0.000＜0.05)。對(duì)于高分組受試者，口試同伴無(wú)論是高分組或低分組學(xué)生，其語(yǔ)法正確性均沒(méi)有顯著性變化(p=0.799 ＞0.05)。

高、低分組受試者和不同水平的同伴口試時(shí)，語(yǔ)言語(yǔ)法復(fù)雜性均沒(méi)有顯著性變化，筆者認(rèn)為可能的原因如下:一是評(píng)分量表中沒(méi)有足夠地提及語(yǔ)法復(fù)雜性，大多數(shù)評(píng)分量表都比較注重語(yǔ)言的正確性;二是在高風(fēng)險(xiǎn)測(cè)試中，受試者使用語(yǔ)言都比較保守;三是語(yǔ)法復(fù)雜性是和風(fēng)險(xiǎn)緊密聯(lián)系的，在此研究中，受試者的口語(yǔ)水平相對(duì)低一些，口試時(shí)他們使用語(yǔ)言缺少變化。

低分組受試者語(yǔ)言語(yǔ)法正確性在兩種不同的情況下有顯著性差異，為了進(jìn)一步研究存在的差異，對(duì)其語(yǔ)言錯(cuò)誤進(jìn)行了進(jìn)一步分析。由于目前語(yǔ)言學(xué)研究中，對(duì)語(yǔ)言特征的分析尚未實(shí)現(xiàn)計(jì)算機(jī)自動(dòng)統(tǒng)計(jì)，仍需要研究人員花大量時(shí)間逐詞逐句統(tǒng)計(jì)分析，鑒于時(shí)間和人力的限制，在接下來(lái)的研究中我們僅對(duì)兩名具有代表性的考生在和不同同伴口試時(shí)的口語(yǔ)記錄進(jìn)行了詳細(xì)分析。分析局限于中國(guó)學(xué)生最易犯的語(yǔ)言錯(cuò)誤。具體來(lái)說(shuō)，這些錯(cuò)誤指的是:動(dòng)詞時(shí)態(tài)、動(dòng)詞結(jié)構(gòu)、主謂一致、人稱代詞、名詞單復(fù)數(shù)、介詞、冠詞、連詞、用詞的準(zhǔn)確性等等。對(duì)比這兩名考生在和不同水平同伴口試中所犯錯(cuò)誤的數(shù)目，經(jīng)對(duì)比發(fā)現(xiàn)，這兩名考生在兩種不同情形下所犯的語(yǔ)言錯(cuò)誤，從量來(lái)看存在較大的差異，即低分組受試者和不同水平的同伴進(jìn)行口試時(shí)，表達(dá)的語(yǔ)言質(zhì)量不同;在和高分組同伴口試時(shí)，在動(dòng)詞時(shí)態(tài)、介詞、冠詞及主謂一致等方面語(yǔ)法正確性有明顯的改進(jìn)。這和前面的語(yǔ)言語(yǔ)法正確性的單維方差分析結(jié)果一致。

四、結(jié)語(yǔ)

上述討論可歸結(jié)如下:第一，由高、低分組測(cè)試分?jǐn)?shù)的描述統(tǒng)計(jì)數(shù)據(jù)和單維方差分析結(jié)果可見(jiàn):低分組受試者受到同伴水平高低的影響，和不同水平的同伴口試時(shí)，測(cè)試分?jǐn)?shù)有顯著性差異。低分組和高分組同伴進(jìn)行口試時(shí)，低分組的測(cè)試分?jǐn)?shù)有所提高。第二，語(yǔ)言特征中有關(guān)語(yǔ)法復(fù)雜性的分析結(jié)果表明:無(wú)論高分組還是低分組受試者，在和不同水平的同伴口試時(shí)語(yǔ)法復(fù)雜性均沒(méi)有顯著性差異。第三，語(yǔ)言特征中有關(guān)語(yǔ)法正確性的分析結(jié)果顯示:低分組受試者和不同的同伴進(jìn)行口試時(shí)，語(yǔ)法正確性有顯著性差異。在動(dòng)詞時(shí)態(tài)、介詞、冠詞及主謂一致等方面，語(yǔ)法正確性有明顯的改進(jìn)，這和測(cè)試分?jǐn)?shù)的研究結(jié)果是一致的。而對(duì)于高分組受試者，口試同伴無(wú)論是高分組或低分組學(xué)生，語(yǔ)法正確性均沒(méi)有顯著性變化。

本討論對(duì)英語(yǔ)口語(yǔ)教學(xué)的啟示是:課堂雙人口語(yǔ)練習(xí)中，教師可根據(jù)學(xué)生的口語(yǔ)水平對(duì)學(xué)生進(jìn)行分組。為了提高低水平學(xué)生的口語(yǔ)交際能力，教師可以嘗試讓這些學(xué)生和高水平的同伴進(jìn)行口語(yǔ)練習(xí)。要強(qiáng)化學(xué)生口語(yǔ)表達(dá)訓(xùn)練，注意學(xué)生口語(yǔ)練習(xí)時(shí)所犯錯(cuò)誤。

本討論的發(fā)現(xiàn)依然是探索性的，因?yàn)槭艿较铝邢拗?一是樣本范圍的限制。盡管本研究是相對(duì)較大的樣本，但樣本具有地域和學(xué)校類別的局限性，會(huì)對(duì)研究結(jié)果產(chǎn)生影響。本研究之外，其他學(xué)校、其他學(xué)生的研究結(jié)果還有待進(jìn)一步證實(shí)。二是高、低分組學(xué)生劃分界線不是很明顯。前面也提到這一點(diǎn)，由于英語(yǔ)專業(yè)四級(jí)口試中4分和3分的學(xué)生較少，此次研究中2分的學(xué)生是高分組，1分的學(xué)生被劃入低分組。高、低分組學(xué)生水平差異不是很大，如果能夠有更多的優(yōu)秀學(xué)生參與實(shí)驗(yàn)，結(jié)果可能會(huì)更加具有說(shuō)服力。三是其它變量控制的限制。本研究的目的是探討口語(yǔ)水平對(duì)口試成績(jī)的影響，在模擬實(shí)驗(yàn)中要控制其它變量的影響。盡管本研究對(duì)其它可能變量的影響作了一定的控制，但最終的研究結(jié)果也肯定存在其它變量的影響。

［1］Ockey G J.The effects of group members'personalities on a test taker's L2 group oral discussion test scores［J］.Language Testing，2009，26:161-186.

［2］O'Sullivan B.Learner acquaintanceship and oral proficiency test pair-task performance［J］.Language Testing，2002，19(3):277-295.

［3］McNamara T F，Lumley T.The effect of interlocutor and assessment mode variables in offshore assessments of speaking skills in occupational settings［J］.Language Testing，1997，14:140-156.

［4］Purpura J E.Investagating the effects of strategy use and second language test performance with high-and lowability test takers:a structural equation modelling approach［J］.Language Testing，1998，15:333-379.

［5］Foster P，Skehan P.The influence of planning and task type on second language performance［J］.Studies in Second Language Acquisition，1996，18:299-323.