基于語料庫(kù)的考研英語完形填空內(nèi)容效度研究

吳 琦 劉立香

一、引言

考研英語作為一項(xiàng)人才選拔性考試，是考取碩士研究生的必考科目之一。在我國(guó)，碩士研究生可分為學(xué)術(shù)型碩士（簡(jiǎn)稱學(xué)碩）和專業(yè)型碩士（簡(jiǎn)稱專碩），相應(yīng)的，考研英語也分為考研英語（一）和考研英語（二）。考研英語（一）是學(xué)碩考試用卷，考研英語（二）為專碩考試用卷。 從試卷內(nèi)容上來看，英語（一）和英語（二）試題結(jié)構(gòu)相似，第一大題均為由20 道單項(xiàng)選擇題組成的完型填空。 本文從篇幅以及考試參加人數(shù)方面考慮，僅對(duì)考研英語（一）中的完型填空進(jìn)行探究。完形填空作為一種考查受試者語言綜合運(yùn)用能力的重要題型，自20 世紀(jì)50 年代出現(xiàn)以來就備受各種大型英語考試的青睞， 中考、高考、大學(xué)英語四六級(jí)、專業(yè)英語四八級(jí)、考研英語、全國(guó)大學(xué)生英語競(jìng)賽等都使用此題型，它也被專家稱為障礙性閱讀。 從命題角度來說，完形填空是依據(jù)格式塔心理學(xué)（Gestalt Psychology），即補(bǔ)全心理設(shè)計(jì)的，主要利用了語言冗余（redundancy）現(xiàn)象[1]，其主要的類型可以分為選擇型和填空型，而選擇型完形填空作為一種客觀題型，在閱卷時(shí)可有效避免閱卷人的主觀誤差且評(píng)分效率較高，所以成為目前語言測(cè)試命題中最受歡迎的題型之一。從測(cè)試角度而言，完形填空作為一種使用較廣泛的題型，必須具備良好的內(nèi)容效度， 達(dá)到其預(yù)期的目的，從這一點(diǎn)上來看，完形填空試題的效度在考研英語這種大型的選拔性考試中尤為重要。

二、文獻(xiàn)綜述

通過文獻(xiàn)整理發(fā)現(xiàn)， 自2005 年以來國(guó)內(nèi)對(duì)于內(nèi)容效度的研究呈現(xiàn)快速發(fā)展?fàn)顟B(tài)， 每年均有20篇左右論文發(fā)表。 但從研究材料上來看，多集中在中考英語、高考英語、大學(xué)英語四六級(jí)、英語專業(yè)四八級(jí)上；從研究?jī)?nèi)容上看，多集中于各大考試的閱讀理解題以及聽力題。如黃娟從語篇輸入和預(yù)期回答兩方面對(duì)2014 年至2018 年高考英語全國(guó)卷中的閱讀理解試題進(jìn)行了內(nèi)容效度探究，指出近五年來高考英語全國(guó)卷閱讀理解試題具有較高的內(nèi)容效度，體裁多樣、題材廣泛，同時(shí)也存在部分文章難度偏大、文章排序不夠合理等不足[2]。郝偉麗、馮筠等參照Bachman&Palmer 的考試任務(wù)特征模式，對(duì)2013 年12 月大學(xué)英語四級(jí)考試中的閱讀理解試題進(jìn)行了內(nèi)容效度探究， 并指出CET-4 閱讀理解的設(shè)計(jì)基本符合《考試大綱》的要求，但還需進(jìn)一步改進(jìn)，如均衡各項(xiàng)考查技能以及適當(dāng)控制閱讀難度等[3]。肖超則對(duì)2015 年杭州市和寧波市中考英語試卷聽力測(cè)試的內(nèi)容效度進(jìn)行了分析，研究結(jié)果表明兩市中考英語聽力測(cè)試內(nèi)容緊貼學(xué)生實(shí)際生活，全面考查了聽力技能，但也存在話題和技能重復(fù)考查、題型呈現(xiàn)方式單一等問題[4]。不過，從研究方法上來看，多數(shù)論文研究方法較為單一，僅用到文本分析法，而鄒申、楊任明（2008）經(jīng)過研究明確表明語料庫(kù)對(duì)于研究試題的內(nèi)容效度具有優(yōu)勢(shì)，可以幫助加深對(duì)試題效度的認(rèn)識(shí)[5]。

三、相關(guān)概念界定

（一）內(nèi)容效度

Alderson、Clapham 和Wall 指 出 效 度 可 以 分 為三個(gè)類別，分別是內(nèi)部效度、外部效度以及結(jié)構(gòu)效度，并指出內(nèi)容效度是內(nèi)部效度中最重要的一個(gè)效度[6]。Bachman（1990）對(duì)此也有相同看法，他指出內(nèi)容效度是測(cè)試效度的重要組成部分，包括內(nèi)容關(guān)聯(lián)度（content relevance）和內(nèi)容覆蓋面（content coverage）[7]。一份試題的內(nèi)容效度越高，越能準(zhǔn)確地測(cè)量出試題想要測(cè)量的語言能力；相反，內(nèi)容效度越低，則越偏離測(cè)試目的，帶來越多負(fù)面影響。

（二）考點(diǎn)效度

對(duì)于如何衡量完形填空試題的內(nèi)容效度，李筱菊（1997）在其著作中提出了“考點(diǎn)效度”這一概念，指出考點(diǎn)效度是指在選詞填空時(shí)，詞的取舍需要受什么層次語境的制約；并且認(rèn)為考點(diǎn)效度與考點(diǎn)層次和焦點(diǎn)因素這兩個(gè)方面密切相關(guān)[8]。 考點(diǎn)層次從高到低可以分為：語篇層次（D）、句子層次（S）、詞組層次（P）以及單詞層次（W）。 從考點(diǎn)層次方面來講，高層次蘊(yùn)含著低層次，如對(duì)語篇層次的考查既包含著對(duì)句子層次的考查，也包含著對(duì)單詞層次的考查；而反過來，低層次卻不能包含高層次。 因此，從一定程度上來講，考點(diǎn)層次越高，考點(diǎn)效度就越高，相應(yīng)的，內(nèi)容效度也就越高。焦點(diǎn)因素也就是測(cè)試所要考查的焦點(diǎn)內(nèi)容，包括語法因素（G）、固定搭配因素（C）以及意義因素（M）。一般來講，高層次的考點(diǎn)側(cè)重于考查意義，而低層次的考點(diǎn)往往只涉及單純的語法。

四、研究設(shè)計(jì)

（一）研究材料

選取2010 年至2019 年考研英語（一）完形填空試題作為研究材料，共10 篇語料。 由于2010 年考研英語開始改革，分設(shè)英語（一）和英語（二）試題，因此選取2010 年作為本研究的起點(diǎn)。

（二）研究問題

從試題材料的選擇和題項(xiàng)的設(shè)計(jì)這兩方面出發(fā)，主要的研究問題包括：

①完形填空試題中文本材料的相關(guān)性和代表性如何？

②完形填空試題中考點(diǎn)設(shè)計(jì)的典型性如何？

（三）研究方法

2010-2019 年的考研英語（一）完形填空試題共10 篇文章，200 道題目。本文由兩名研究者按照相同的標(biāo)準(zhǔn)（內(nèi)容效度分析項(xiàng)目）對(duì)其進(jìn)行分析，其間參考兩本市面上較權(quán)威的考研英語真題解析， 待各自完成后再一起核對(duì)， 兩者的一致性達(dá)89%，其中不一致的地方共同協(xié)商討論，直至意見統(tǒng)一。

基于前人的研究成果[9，10]，本研究構(gòu)建了考研英語完型填空試題的內(nèi)容效度分析框架，對(duì)2010-2019 年考研英語（一）中的完形填空試題進(jìn)行內(nèi)容效度評(píng)估（參見表1）。

表1 2010-2019 年考研英語（一）完形填空試題內(nèi)容效度分析項(xiàng)目

（四）研究步驟

首先將2010-2019 十年來考研英語（一）試題中的完形填空試題通過傳圖識(shí)字軟件輸入電腦建立微形語料庫(kù)；再結(jié)合《全國(guó)碩士研究生入學(xué)統(tǒng)一考試英語（一）考試大綱》（以下簡(jiǎn)稱《考試大綱》）[11]，對(duì)十篇文本進(jìn)行體裁和題材的統(tǒng)計(jì)（見表2）；接著運(yùn)用語料庫(kù)檢索軟件worldsmith 對(duì)文本進(jìn)行類符、形符、TTR 等方面的統(tǒng)計(jì)（見表4）；然后根據(jù)“Flesch 易讀度” 公式計(jì)算出文本的易讀度 （見表4），之后將所有的考點(diǎn)按照考查項(xiàng)目進(jìn)行分類（見表5）；最后結(jié)合COCA、BNC 語料庫(kù)對(duì)部分考點(diǎn)的干擾項(xiàng)進(jìn)行典型性分析（見表6、7、8）。

五、研究結(jié)果及討論

（一）文章體裁和題材分析

《考試大綱》要求參加研究生入學(xué)考試的考生能夠讀懂不同體裁和題材的文章，其中體裁包括說明文、議論文、記敘文等，題材包括社會(huì)、人文、科學(xué)等。將2010-2019 十年來完形填空試題的體裁和題材統(tǒng)計(jì)如表2：

表2 2010-2019 年完形填空試題的體裁和題材統(tǒng)計(jì)

由表2 可以看出，2010-2019 年這十年來，考研英語（一）完形填空試題體裁較為穩(wěn)定，以說明文和議論文為主，暫未出現(xiàn)記敘文體裁。 題材涉及面廣，但多以社會(huì)類為主，這類社會(huì)類話題與生活息息相關(guān)， 如2011 年探討笑的作用、2017 年談?wù)摀肀淼姆e極影響等。由以上分析可以看出考研英語（一）完形填空試題的命制沒有超出《考試大綱》所規(guī)定的范圍，相對(duì)來說較為穩(wěn)定，但其覆蓋面不夠大，多為社會(huì)類題材，所以在接下來的試題命制中命題人員可考慮多增加一些人文類題材，特別是關(guān)于中國(guó)優(yōu)秀傳統(tǒng)文化的傳播與發(fā)展，這與當(dāng)今潮流——用英文講好中國(guó)故事相契合。

（二）文本詞匯密度及易讀度分析

文本詞匯是在選擇完形填空試題材料時(shí)要考慮的另一個(gè)重要維度。一般來說，在選擇完形填空試題文本時(shí)除了要考慮體裁和題材外，更應(yīng)該注意文本的語言特征，要選擇難度適中、語言信息豐富、邏輯性強(qiáng)的文本作為完形填空材料。從這一方面來講，文本詞匯的TTR 值具有重要的參考意義，TTR（type-token ratio）是文章的類符-形符比，這一參數(shù)可以用來衡量文本的詞匯密度[12]。 一般來說，文章TTR 值越大，詞匯變化性越高，詞匯密度越大，在一定程度上文章理解難度也就越大。 另外，難易度也是在選擇完形填空文本時(shí)需要考慮的另一個(gè)重要維度，楊惠中曾指出考試所選用的材料難易度應(yīng)適中，太難或太易都測(cè)量不出考生的實(shí)際水平[13]。 難易度可通過易讀度數(shù)值體現(xiàn)，易讀度指文本易于閱讀和理解的程度或性質(zhì)[14]。本文采用現(xiàn)如今被廣泛認(rèn)可的Flesch Reading Ease（RE）作為易讀度的檢測(cè)公式，其中RE=206.84－0.85wl－1.02sl，wl 指每一百個(gè)單詞中的音節(jié)數(shù)，sl 指每個(gè)句子的平均詞數(shù)[15]。目前，office word 軟件自帶Flesch Reading Ease公式， 利用該公式算出的數(shù)值取值區(qū)間為0-100，分?jǐn)?shù)越低，則說明文章越難。其數(shù)值對(duì)應(yīng)的易讀度參考量表如表3 所示：

表3 易讀度參考量表

表4 是利用語料庫(kù)統(tǒng)計(jì)軟件worldsmith 對(duì)2010-2019 年考研英語（一）完形填空試題所采用文本的類符、形符、類符-形符比（TTR）以及利用Flesch 公式計(jì)算所得出的易讀度數(shù)值統(tǒng)計(jì)。

表4 2010-2019 年完形填空試題文本詞匯密度及易讀度統(tǒng)計(jì)

由于完形填空是一種障礙性閱讀，出題者會(huì)在一篇語意連貫的文本中有目的地去掉某些單詞或詞組形成空格，所以在解題時(shí)必須具有充分的可理解性文本信息，而恰當(dāng)?shù)念惙?形符比以及易讀度能夠一定程度上反映出文本的可理解程度，因此在決定一篇材料是否可作為完形填空文本時(shí)可用來參考。由表4 的統(tǒng)計(jì)數(shù)據(jù)可以看出，近十年來研究生入學(xué)考試英語（一）試題中完形填空文本的詞匯密度在57.55%（2012 年）到69.12%（2011 年）間浮動(dòng)，易讀度在41.3（2011 年）到65.9（2019 年）間上下，據(jù)此可以初步判定這十年來2011 年完形填空試題難度相對(duì)較大，其余九年較為穩(wěn)定?？偟膩碚f，這十年來考研英語（一）完形填空試題可理解性適中，難度總體偏難，但由于碩士入學(xué)考試是一種高層次的選拔性考試，所以這種難度范圍是合適的。另一個(gè)值得注意的地方是，自2017 年以來，完形填空閱讀材料難度呈現(xiàn)減小趨勢(shì)，在2019 年試題難度趨向標(biāo)準(zhǔn)。

（三）考點(diǎn)效度分析

利用李筱菊考點(diǎn)效度分析方法對(duì)完形填空考點(diǎn)進(jìn)行考點(diǎn)效度統(tǒng)計(jì)，表5 為2010-2019 考研英語（一） 完形填空200 道選擇題的考點(diǎn)層次和焦點(diǎn)因素統(tǒng)計(jì)表。

表5 2010-2019 年完形填空試題考點(diǎn)效度統(tǒng)計(jì)

由以上統(tǒng)計(jì)數(shù)據(jù)可以看出，近十年來完形填空考點(diǎn)層次多以中高層次為主， 低層次考點(diǎn)涉及較少。在每年的20 道題目中，達(dá)到語篇層次的題目最少為3 道題，最多有7 道題。 考點(diǎn)達(dá)到句子層次最多的是2012 年，有17 題，占總數(shù)85%，最少的也達(dá)到12 題，占60%。從各考點(diǎn)的焦點(diǎn)因素來看，對(duì)意義的考查占據(jù)了絕大部分，多數(shù)達(dá)80%以上。通過以上分析可以發(fā)現(xiàn)，考研英語（一）完形填空試題考點(diǎn)效度較高，在語言層面以高層次的考點(diǎn)考查了學(xué)生的綜合運(yùn)用能力，但要指出的是，在接下來的試題命制中，還需要提高對(duì)語篇層面的考查力度，提高語境層次，只有這樣，才能全方位地提高試題的內(nèi)容效度。

（四）部分考點(diǎn)搭配的頻率分析

由表5 可以看出，2010-2019 十年來考研英語（一）完形填空試題中考查搭配的考點(diǎn)每年至少有兩個(gè)，所以筆者采用隨機(jī)抽樣的方法選擇其中幾個(gè)搭配考點(diǎn)（2016 年第6 題、2017 年第12 題、2018 年第8 題），運(yùn)用COCA、BNC 語料庫(kù)進(jìn)行搭配頻率分析，如表6、表7、表8 所示：

表6 2016 年第6 題各選項(xiàng)在COCA、BNC 中出現(xiàn)的頻率

表7 2017 年第12 題各選項(xiàng)在COCA、BNC 中出現(xiàn)的頻率

由以上三表可知，正確選項(xiàng)與干擾項(xiàng)的搭配在英語國(guó)家語料庫(kù)、美國(guó)當(dāng)代英語語料庫(kù)中出現(xiàn)的頻率不太平衡，有些干擾選項(xiàng)的搭配在兩個(gè)語料庫(kù)中甚至一次都未出現(xiàn)，如2016 第6 題的D 選項(xiàng)以及2017 年第12 題的A 選項(xiàng)；另外，這三題考點(diǎn)其他選項(xiàng)的搭配在語料庫(kù)中出現(xiàn)的頻率也較低，因此可以認(rèn)為這三道題的干擾度可能不太高，因而會(huì)對(duì)題目的內(nèi)容效度產(chǎn)生一定的影響。通過對(duì)COCA、BNC兩個(gè)大型語料庫(kù)的檢索發(fā)現(xiàn)，與marry 搭配出現(xiàn)的最高頻率介詞依次為in、for、into、at、outside、within…， 與severe 搭配出現(xiàn)的最高頻率名詞依次為weather、disabilities、pain、cases、depression、problems…， 與exposure 搭配出現(xiàn)的最高頻率介詞依次為to、of、in、for、on…， 所以這三題的其他三個(gè)干擾項(xiàng)完全可以從語料庫(kù)檢索的最高頻詞中進(jìn)行選擇，如2016 年第6 題的四個(gè)選項(xiàng)可以設(shè)計(jì)為marry in、marry for、marry into、marry within，2018 年第8 題的四個(gè)選項(xiàng)可以設(shè)計(jì)為exposure for、exposure in、exposure of、exposure to。

表8 2018 年第8 題各選項(xiàng)在COCA、BNC 中出現(xiàn)的頻率

五、結(jié)語

本文基于兩個(gè)研究問題主要從試題材料、文本詞匯密度、易讀度、考點(diǎn)效度以及部分考點(diǎn)搭配頻率五方面對(duì)考研英語（一）中完形填空試題的內(nèi)容效度進(jìn)行了分析探究。 研究結(jié)果表明：①文本材料的體裁和題材選擇基本符合《考試大綱》的要求；②考點(diǎn)的設(shè)計(jì)與《考試大綱》的要求基本相符。但也存在一些不足之處，如體裁和題材覆蓋面較窄，試題難度總體偏大，部分考點(diǎn)典型性不高，考點(diǎn)層次有待進(jìn)一步提高等。

基于以上分析，本文嘗試為考研英語（一）完形填空試題命制提供以下建議：

第一，適當(dāng)豐富試題題材。 考試大綱要求參加考研的考生能夠讀懂包括社會(huì)、人文、科學(xué)等各類題材的文章，然而在2010-2019 年考研英語（一）中出現(xiàn)的完形填空題材大多為社會(huì)類，對(duì)文化、科學(xué)、經(jīng)濟(jì)等題材有所忽視， 這不利于拓展學(xué)生的知識(shí)面，不利于全面考查學(xué)生的綜合語言運(yùn)用能力，所以在未來的試題命制中，可適當(dāng)增加一些經(jīng)濟(jì)、管理、人文類，特別是有關(guān)中華優(yōu)秀傳統(tǒng)文化的題材，從多個(gè)領(lǐng)域拓展學(xué)生的知識(shí)面，促進(jìn)學(xué)生綜合語言運(yùn)用能力的發(fā)展。

第二，適當(dāng)提高考點(diǎn)設(shè)計(jì)的層次。 考點(diǎn)層次影響考點(diǎn)效度，考點(diǎn)設(shè)計(jì)的層次越高，考點(diǎn)效度也就越高，相應(yīng)的，內(nèi)容效度也就越高。 然而，通過對(duì)2010-2019 年完形填空試題的分析發(fā)現(xiàn)，相當(dāng)一部分題目只能達(dá)到句子層面，語篇層面的考查相對(duì)來說還比較少，這也許是因?yàn)榫渥踊蛟~組層面的題目相對(duì)比較容易命制，而要突破句子達(dá)到語篇層面則比較費(fèi)事費(fèi)力，但即便如此，考慮到考點(diǎn)效度和試題質(zhì)量，命題者在試題命制過程中，仍需向這方面努力。

第三，適當(dāng)運(yùn)用語料庫(kù)輔助試題命制。近年來，語料庫(kù)在語言測(cè)試中的應(yīng)用受到越來越多學(xué)者的關(guān)注，其作用也愈發(fā)凸顯，建議命題人員在命制試題時(shí)可適當(dāng)運(yùn)用語料庫(kù)資源對(duì)考點(diǎn)設(shè)計(jì)的典型性進(jìn)行檢驗(yàn)，以提高測(cè)試的科學(xué)性和有效性。

本研究也存在一些局限性，如僅對(duì)2010-2019十年間考研英語（一）試題中完形填空試題的內(nèi)容效度進(jìn)行了初步探索， 接下來的研究將擴(kuò)大研究對(duì)象和樣本，對(duì)考研英語（一）試題做更加深入的分析。