大學(xué)英語四級(jí)考試集庫式完形填空［1］的內(nèi)容效度研究

袁慧

(上海外國語大學(xué)研究生部上海200083；上海海洋大學(xué)外國語學(xué)院上海201306）

大學(xué)英語四級(jí)考試集庫式完形填空［1］的內(nèi)容效度研究

袁慧

(上海外國語大學(xué)研究生部上海200083；上海海洋大學(xué)外國語學(xué)院上海201306）

本文旨在研究大學(xué)英語四級(jí)考試集庫式完形填空的內(nèi)容效度，即探索它是否能測(cè)量被試在篇章層次上理解和運(yùn)用單詞的能力。被試為上海某高校438名非英語專業(yè)學(xué)生，研究工具為四個(gè)測(cè)驗(yàn)。其中兩篇測(cè)驗(yàn)（整A和整B）取自大學(xué)英語四級(jí)考試歷年真題。另外兩篇測(cè)驗(yàn)（散A和散B），分別改編自整A和整B。隨機(jī)抽取的高低兩個(gè)水平的被試，分別完成了一個(gè)整篇原文測(cè)驗(yàn)和一個(gè)散句改編測(cè)驗(yàn)。結(jié)果顯示，在整篇原文和散句改編測(cè)驗(yàn)中，高水平被試的成績并沒有體現(xiàn)顯著差異；低水平被試整篇和散句測(cè)驗(yàn)成績有顯著差異。研究表明，可通過提高考點(diǎn)層次、適當(dāng)增加選項(xiàng)的干擾性來提高大學(xué)英語四級(jí)集庫式完形填空的內(nèi)容效度。

大學(xué)英語四級(jí)考試 集庫式完形填空 內(nèi)容效度

2006年大學(xué)英語四級(jí)考試(以下簡(jiǎn)稱CET4)實(shí)行改革，在傳統(tǒng)的分題多項(xiàng)選擇式完形填空之外增加集庫式完形填空這一新題型，旨在“考核學(xué)生篇章語境中的詞匯理解和運(yùn)用能力”[1]。從2013年12月開始，集庫式完形填空獨(dú)挑大梁，完全取消分題多項(xiàng)選擇式完形填空。對(duì)于集庫式完形填空的內(nèi)容效度，即在多大程度上能代表它所要測(cè)量的目標(biāo)，尚未有充分的證據(jù)?；诖?，本研究主要以定量的實(shí)驗(yàn)方法探索該題型的內(nèi)容效度，力求為CET4改革提供更多參考依據(jù)。

一、研究背景

已有的集庫式完形填空效度研究多涉及和其他類型的完形填空對(duì)比。有多種類型對(duì)比，如魏曉紅[2]、史君[3]、劉敬濤[4]對(duì)比集庫式和多項(xiàng)選擇式、開放式完形填空的效度。前兩者的研究表明，集庫式完形填空和開放式完形填空更為相關(guān)，在一定程度上測(cè)試受試的閱讀能力；而且集庫式完形填空的難度和區(qū)分度達(dá)到三者里的最佳值。但劉敬濤的研究結(jié)果略有不同，集庫式完形填空的難度和區(qū)分度處在三類完形測(cè)試中間。

除了上述的多種類型對(duì)比，還有兩兩對(duì)比研究。何蓮珍[5]運(yùn)用相關(guān)矩陣，對(duì)比集庫式與分題選擇式完形填空，指出前者比后者在測(cè)量閱讀能力上有更高的效度。彭苗苗[6]對(duì)比CET4的多項(xiàng)選擇式和集庫式完形填空，也表明集庫式完形填空和閱讀理解能力更相關(guān)，且難度更大、區(qū)分度更高。李麗[7]以25選20的集庫式完形填空為研究對(duì)象做了類似的研究，結(jié)果一致。

和上述研究不同，陳艷君[8][9]通過定量與定性相結(jié)合方法，對(duì)集庫式和分題選擇式完形填空進(jìn)行對(duì)比研究，同樣證明前者的難度和區(qū)分度都大于后者。然而，有聲思維研究結(jié)果顯示受試在答題過程中較多地使用句內(nèi)層面信息，跨句子語篇層面信息的運(yùn)用則相對(duì)較少。

不涉及對(duì)比，高曉瑩[10]和郭麗[11]的研究是專門針對(duì)集庫式完形填空。高曉瑩的研究是唯一運(yùn)用內(nèi)省法和即刻追述法的研究，分析了12名非英語專業(yè)學(xué)生解答該題型的心理過程。其研究表明閱讀水平高的受試在答題過程中似乎更偏重對(duì)篇章的理解，而閱讀水平低的受試更依賴于對(duì)單詞的理解。郭麗的研究探索了CET4集庫式完形填空的內(nèi)容效度，結(jié)果顯示：對(duì)于敘述型文章的完型填空，句與句之間的信息發(fā)揮了較為顯著作用，而高水平組受試最有效地利用了這種篇章層次的線索；而在另一篇百科全書式文章的測(cè)驗(yàn)中，句子之上的線索沒有發(fā)揮顯著效應(yīng)。兩項(xiàng)研究表明，被試的水平以及篇章的類型對(duì)被試是否運(yùn)用篇章層次之上的信息有影響。

綜上所述，目前對(duì)集庫式完形填空的研究多涉及到和其他形式完形填空的對(duì)比，專門針對(duì)CET4集庫式完形填空的效度研究并不多。在對(duì)比研究中，集庫式完形填空多體現(xiàn)出了較高的效度和區(qū)分度，能較好地測(cè)量出被試的綜合能力。但在單獨(dú)針對(duì)CET4集庫式完形填空的研究中，集庫式完形填空并沒有體現(xiàn)較好的內(nèi)容效度。因此，有必要對(duì)集庫式完形填空的效度開展進(jìn)一步研究。

二、研究設(shè)計(jì)

（一）研究問題

本研究主要回答以下兩個(gè)問題：(1)集庫式完形填空是否能測(cè)量受試在篇章層次上理解與運(yùn)用詞匯的能力？(2)不同英語水平的受試在篇章層次上理解與運(yùn)用詞匯的能力是否有區(qū)別？

（二）研究對(duì)象

受試為上海某高校2013級(jí)438名新生，分高低兩個(gè)水平，各兩個(gè)班級(jí)，共四個(gè)班級(jí)參加本實(shí)驗(yàn)。

（三）實(shí)驗(yàn)工具

研究工具為四個(gè)測(cè)驗(yàn)。其中兩個(gè)集庫式完形填空測(cè)驗(yàn)，選自2009年6月和2010年12月CET4，分別是原文整篇測(cè)驗(yàn)A(以下簡(jiǎn)稱“整A”)和原文整篇測(cè)驗(yàn)B(以下簡(jiǎn)稱“整B”)。整A有260個(gè)單詞，共15句，它陳述了一名教師的教學(xué)想法。整B有236個(gè)單詞，共13句，主要闡述基因是人類很多特性的基礎(chǔ)。

表1:整A和整B考察點(diǎn)比較

從以上的考點(diǎn)分析，可以看出整A和整B基本一致。

另外兩篇測(cè)驗(yàn)分別改編自整A和整B。把整A切分成單獨(dú)句子，再剔除5句不包含題項(xiàng)的句子，然后將句子順序打亂，形成了新的測(cè)驗(yàn)——散句測(cè)驗(yàn)A(以下簡(jiǎn)稱“散A”)，由10個(gè)獨(dú)立句子組成，分別編號(hào)。以同樣方法形成散句測(cè)驗(yàn)B(以下簡(jiǎn)稱“散B”)。在供選擇的15個(gè)單詞上，整A和散A，整B和散B是一致的，同樣以字母順序排列，以相同的方式在一個(gè)方框中給出。而且，這四套卷子的題目和詞庫都在同一頁打開，方便測(cè)試對(duì)象。因此整A和散A的區(qū)別在于，前者中的句子是在正常的語篇中出現(xiàn)的，是按原來的自然順序排列的，而散A中句子的自然順序被完全打亂。整B和散B的區(qū)別與整A和散A的區(qū)別一樣。評(píng)分方法是采用唯一選擇法(only word method)。如果被試在整篇和散句的情況下，成績沒有顯著差異，則說明整篇的上下文語境對(duì)被試沒有幫助。

整A和整B兩套試題的難度對(duì)比通過測(cè)試另外不參加本研究的學(xué)生完成。141名學(xué)生同時(shí)做了整A和整B，配對(duì)樣本T檢驗(yàn)結(jié)果表明二者難度不存在顯著性差異(t=-0.032，P＞0.05)。另外56名學(xué)生同時(shí)做了散A和散B，配對(duì)樣本T檢驗(yàn)的結(jié)果表明二者難度也不存在顯著性差異(t=-0.336，P＞0.05)。

(四）數(shù)據(jù)收集與分析

1)對(duì)隨機(jī)抽取的高低水平共4個(gè)班級(jí)學(xué)生的入學(xué)考試成績分別進(jìn)行獨(dú)立樣本T檢驗(yàn)，結(jié)果顯示高水平的兩個(gè)班級(jí)之間在語言水平上不存在差異，低水平的兩個(gè)班級(jí)之間的語言水平也不存在差異。這樣排除了測(cè)試對(duì)象在水平能力上的差異，如果實(shí)驗(yàn)結(jié)果有差異，那也就是試題上的差異，也就是完形填空上的差異。

2)在同一個(gè)時(shí)間段，低水平班級(jí)1(簡(jiǎn)稱L1)在課堂上做整A和散B兩篇試題，低水平班級(jí)2(簡(jiǎn)稱L2)做散A和整B兩篇試題。高水平班級(jí)2(簡(jiǎn)稱H1)在課堂上做整A和散B兩篇試題，高水平班級(jí)2(簡(jiǎn)稱H2)在課堂上做散A和整B兩篇試題。每篇試題的做題時(shí)間嚴(yán)格控制在10分鐘之內(nèi)。測(cè)試之前，為了降低學(xué)生的焦慮感，告訴學(xué)生測(cè)試的分?jǐn)?shù)不計(jì)入課程成績?；厥赵嚲淼挠行Х輸?shù)即參加本研究的人數(shù)如表2所示。

3)四套試題分別有10個(gè)空，每個(gè)空1分。據(jù)此評(píng)分標(biāo)準(zhǔn)得出的成績結(jié)果被輸入SPSS 17.0中，用獨(dú)立樣本T檢驗(yàn)來檢驗(yàn)整A和散A的成績，整B和散B的成績是否存在顯著差異。

表2:總體情況列表

四、研究結(jié)果

（一）低水平兩個(gè)班級(jí)整A和散A成績對(duì)比結(jié)果

表3:低水平兩個(gè)班級(jí)整A和散A成績獨(dú)立樣本T檢驗(yàn)結(jié)果如下所示

檢驗(yàn)結(jié)果顯示，低水平學(xué)生的整A和散A的成績存在顯著性差異(t=-2.942，df=207，P＜0.05)。低水平學(xué)生的散A的成績明顯好于整A的成績。從兩者的標(biāo)準(zhǔn)差來看，整A的標(biāo)準(zhǔn)差高于散A的標(biāo)準(zhǔn)差，說明整A的區(qū)分度高于散A。

（二）低水平兩個(gè)班級(jí)整B和散B成績對(duì)比結(jié)果

表4:低水平整B和散B成績獨(dú)立樣本T檢驗(yàn)結(jié)果如下所示

檢驗(yàn)結(jié)果顯示，低水平學(xué)生的整B和散B的成績存在顯著性差異(t=-5.690，df=207，P＜0.05)。低水平學(xué)生的整B的成績明顯好于散B的成績。從兩者的標(biāo)準(zhǔn)差來看，整B的標(biāo)準(zhǔn)差略高于散B的標(biāo)準(zhǔn)差，說明整B的區(qū)分度略高于散B。

（三）高水平兩個(gè)班級(jí)整A和散A成績對(duì)比結(jié)果

表5:高水平整A和散A成績獨(dú)立樣本T檢驗(yàn)結(jié)果如下所示

檢驗(yàn)的結(jié)果顯示，高水平被試的整A和散A的成績不存在顯著性差異(t=1.924，df=227，P〉0.05)。從兩者的標(biāo)準(zhǔn)差來看，整A的標(biāo)準(zhǔn)差略低于散A的標(biāo)準(zhǔn)差，這說明對(duì)于高水平的英語學(xué)習(xí)者來說，集庫式完形填空的區(qū)分度并不是很好。整A和散A的成績沒有顯著區(qū)別，說明篇章線索并不起作用。

（四）高水平兩個(gè)班級(jí)整B和散B成績對(duì)比結(jié)果

表6:高水平整B和散B成績獨(dú)立樣本T檢驗(yàn)結(jié)果如下所示

檢驗(yàn)的結(jié)果顯示，高水平被試的整B和散B的成績不存在顯著性差異(t=-.826，df=227，P〉0.05)。從兩者的標(biāo)準(zhǔn)差來看，整B的標(biāo)準(zhǔn)差略高于散B標(biāo)準(zhǔn)差。這樣的結(jié)果，也讓我們質(zhì)疑CET4集庫式完形填空的效度，是否真正地檢測(cè)到被試在篇章中理解和運(yùn)用詞匯的能力。

五、討論

對(duì)于整A和散A的測(cè)驗(yàn)成績來說，低水平的被試在散句測(cè)驗(yàn)的情況下，反而成績優(yōu)于在有上下文語境測(cè)驗(yàn)的情況。這說明對(duì)于A測(cè)驗(yàn)，低水平被試不需要利用上下文的線索，同樣能解出答案，甚至于做得更好。高水平被試做兩種形式的A測(cè)驗(yàn)，成績并無顯著差異。綜合兩種情況，可以解釋為被試在做A測(cè)驗(yàn)的過程中并不需要篇章之內(nèi)、句子層次之上的信息。如果被試沒有運(yùn)用篇章之內(nèi)、句子層次之上的信息，那么集庫式完形填空僅僅測(cè)試了學(xué)生詞匯層面的能力。

對(duì)于整B和散B的測(cè)驗(yàn)成績來說，高水平被試做兩種形式的B測(cè)驗(yàn)，成績也并無顯著差異。但低水平被試在有上下文語境的整B測(cè)試中，成績明顯優(yōu)于做散B的情況，這和做A類型的測(cè)試情況不一致。在測(cè)試結(jié)束三天之后？，筆者隨機(jī)抽取了低水平10名學(xué)生進(jìn)行訪談，追述答題整A和整B過程。下面是其中一位受訪者追述答題整B的片段：

“……到最后兩題咯。嗯，我對(duì)eventually和essentially吃不準(zhǔn)，詞義我都懂。一個(gè)是‘最終，最后’的意思，另外一個(gè)是‘實(shí)際上，本質(zhì)上’的意思，……好像放進(jìn)去都對(duì)，可以說‘人最后像一張未……的相片’，也可以說‘人本來就像一張未……的相片’。……，反正一開始瞎選擇啦。后來，反復(fù)看上下文，還是發(fā)現(xiàn)應(yīng)該是‘人本來就像一張未……的相片’……”

對(duì)比了整A和整B的兩篇文章，二者都考察了3道句外語境推斷題(如表1)。但整A設(shè)置干擾選項(xiàng)的迷惑性明顯不及整B。例如，整A第三道題選項(xiàng)especially的干擾項(xiàng)remarkably和daily，明顯不及整B中的eventually和essentially的相似性帶來的混淆大。這就解釋上述的受訪者在回憶整B答題過程中的困惑，由此相應(yīng)地解釋了低水平被試整B成績好于散B，但散A成績好于整A。

而且，數(shù)據(jù)結(jié)果顯示對(duì)于低水平被試來說，整B的平均分6.1917(見表4)高于整A的平均分5.27(見表3)。同樣地，整B的區(qū)分度2.63236(見表4)，也高于整A的區(qū)分度2.270(見表3)。這說明，如果干擾項(xiàng)設(shè)置恰當(dāng)，不僅能夠“考核學(xué)生篇章語境中的詞匯理解和運(yùn)用能力”。

另外一方面，高水平被試在整篇和散句的成績對(duì)比中，均無顯著差異。這也可以從對(duì)高水平學(xué)生的隨機(jī)訪談結(jié)果中得到解釋。下面是一位被試回憶作答整A的片段：

“……在整A的作答中，大多數(shù)情況下，我都是根據(jù)語法，還有詞匯知識(shí)作答?！璭specially這道題，讀起來很順，自然而然就選了它？……。下面一個(gè)題目，不是元音開頭的形容詞都可以全部排除啊。剩下就是emotional和enormous，很明顯單詞mansion前面就只能選擇enormous啦，沒別的選擇啦?！?/p>

訪談的結(jié)果顯示，高水平被試即使是在整篇的情況下，也大多通過句內(nèi)信息作答。因此整篇測(cè)驗(yàn)和散句測(cè)驗(yàn)的兩種形式的作答對(duì)他們的答題成績沒有影響。

六、結(jié)論與啟示

本研究通過改變?cè)囶}形式，研究集庫式完形填空的內(nèi)容效度。結(jié)果表明：對(duì)于較高水平被試來說，篇章信息不起作用；對(duì)于較低水平被試來說，如果設(shè)置的選項(xiàng)干擾性強(qiáng)，篇章信息對(duì)成績有顯著影響。以上的實(shí)驗(yàn)說明CET4集庫式完形填空的內(nèi)容效度還有待于進(jìn)一步提高

未來的改革中，CET4集庫式完形填空測(cè)試可考慮適當(dāng)?shù)靥岣呖键c(diǎn)層次，“語篇層次考點(diǎn)的題目，顯然比單詞層次更能測(cè)試出測(cè)試對(duì)象運(yùn)用語言的真正能力。層次越高，意味著考點(diǎn)的效度越高”？[12]。設(shè)置更有迷惑性的干擾項(xiàng)放入詞庫中供被試選擇，避免被試?yán)谜Z感、猜測(cè)、排除等應(yīng)試技巧。

未來研究中還需要考查其它變量(如刪詞方式、文本難度等)對(duì)集庫式完形填空效度的影響。另外，完形填空是一個(gè)復(fù)雜的心理過程，涉及到一系列的認(rèn)知活動(dòng)。本研究的訪談在測(cè)試三天之后開展，有自身的局限性?？煽紤]用有聲思維或即刻追述法對(duì)受試答題的心理過程進(jìn)行定性研究。從而為提高集庫式完形填空的效度，提供更多真實(shí)的證據(jù)。

[1]全國大學(xué)英語四、六級(jí)考試委員會(huì).大學(xué)英語四級(jí)考試大綱（2006年修訂版）[M].北京：高等教育出版社，2007.

[2]魏曉紅.多項(xiàng)選擇與開放式完形填空的效度對(duì)比研究[D].成都：西南交通大學(xué)碩士學(xué)位論文，2004.

[3]史君.英語閱讀測(cè)試三種完形填空題型的對(duì)比研究[D].清華大學(xué)碩士學(xué)位論文，2005.

[4]劉敬濤.三種完形填空測(cè)量能力的對(duì)比研究[D].北京：首都師范大學(xué)碩士學(xué)位論文，2009.

[5][12]何蓮珍.分題選擇完型填空與集庫式完型填空的對(duì)比試驗(yàn)[J].浙江大學(xué)學(xué)報(bào)，1999（6）：97-102.

[6]彭苗苗.英語四級(jí)考試中集庫式完形填空與選擇式完形填空的效度研究[D].東北師范大學(xué)碩士學(xué)位論文.2009.

[7]李麗.大學(xué)英語測(cè)試中兩種完形填空的效度對(duì)比研究[D].西北大學(xué)碩士學(xué)位論文，2012.

[8]陳艷君.基于答題過程的分析——集庫型完形填空與分題選擇型完形填空的對(duì)比研究[D].廣東：廣東外語外貿(mào)大學(xué)碩士學(xué)位論文，2008.

[9]陳艷君.完形填空測(cè)量能力的效度驗(yàn)證——基于答題過程的分析[J].考試研究，2009（1）：79-93.

[10]高曉瑩.集庫式完型填空答題過程的內(nèi)省法研究[D].重慶：重慶大學(xué)碩士學(xué)位論文，2008

[11]郭麗.集庫式完型填空效度研究[J].中國外語，2010，7（4）：70-76.

[1]在《大學(xué)英語四級(jí)考試大綱（2006修訂版）》中，集庫式完形填空被稱為“選詞填空”。但在目前的研究中，該類型的完形填空多被稱為集庫式完形填空，因此本文沿用此種名稱。

H319

A

1009-8534(2014）05-0124-03

2014-08-25

袁慧，女，上海外國語大學(xué)博士研究生，上海海洋大學(xué)外國語學(xué)院教師。