基于語料庫的英語專業(yè)四級(jí)完形填空內(nèi)容效度研究
——以2016—2019年試題為例

張珺嘉

(大連外國語大學(xué) 英語學(xué)院，遼寧 大連 116044)

完形填空因考查受試者語言綜合能力一直存在于大型英語考試中，并可劃分為選擇性、填空性完形填空等類型。TEM4完形填空屬于選擇性這一類別，具有考查受試者語言基礎(chǔ)知識(shí)與語篇理解能力、評(píng)分客觀、效率高等特點(diǎn)。

效度作為語言測試的基本出發(fā)點(diǎn)，是衡量語言測試試題質(zhì)量的一個(gè)重要標(biāo)準(zhǔn)。內(nèi)容效度指測試內(nèi)容是否真實(shí)體現(xiàn)所要測量的內(nèi)容。Bachman將內(nèi)容效度劃分為內(nèi)容關(guān)聯(lián)性和內(nèi)容覆蓋面。內(nèi)容關(guān)聯(lián)性是指測試任務(wù)與測試目標(biāo)是否具有相關(guān)性，內(nèi)容覆蓋面則是指測試任務(wù)是否具有代表性[1]。內(nèi)容效度研究對(duì)于命題者和考生都具有一定意義。

1 文獻(xiàn)綜述

目前，研究者們從考點(diǎn)(董曼霞, 2014)[2]、結(jié)構(gòu)(陳曉扣和李紹山, 2016)[3]、內(nèi)容(梅麗, 2010)[4]效度等方面對(duì)完形填空測試效度進(jìn)行了研究。目前TEM4和TEM8研究主要圍繞2016年改革前的測試展開，缺少改革后完形填空新題型的歷時(shí)研究，而利用語料庫的研究更為缺乏。

測試內(nèi)容普遍來源于真實(shí)的語言文本。國內(nèi)學(xué)者利用語料庫開展效度研究的案例較少(鄒申和楊任明, 2008；穆惠峰, 2011；詹先君, 2015)[6-8]，語料庫的作用有待進(jìn)一步挖掘和發(fā)揮。語料庫包含了語言使用過程中真實(shí)存在的語料，因此語料庫資源為語言測試的內(nèi)容效度研究提供了科學(xué)的依據(jù)[5]，具有良好的實(shí)踐意義。

本文的研究問題為：

(1) 2016—2019年TEM4完形填空所選文本是否具有相關(guān)性與代表性？具體特點(diǎn)是什么？

(2) 2016—2019年TEM4完形填空考點(diǎn)設(shè)計(jì)是否具有典型性？具體特點(diǎn)是什么？

2 研究設(shè)計(jì)

2.1 TEM4完形填空題型簡介

TEM4是一項(xiàng)針對(duì)我國英語專業(yè)大二年級(jí)學(xué)生的英語水平考試，既可以測試學(xué)生的綜合能力，又便于評(píng)估教學(xué)的質(zhì)量。根據(jù)2015年《關(guān)于英語專業(yè)四級(jí)考試題型調(diào)整的說明》，完形填空測試這一部分作出了以下調(diào)整：

(1)完型填空測試中共10處空白，每個(gè)空白為一題，要求學(xué)生從所給詞庫的15個(gè)詞匯中選擇最佳答案，改變了改革前四選一的命題方式。該題型的文本材料包含約250個(gè)單詞，題材為考生較熟悉的話題內(nèi)容且難度處于中等水平。

(2)測試時(shí)間由改革前的15分鐘減少到10分鐘。

以上調(diào)整要求命題者設(shè)計(jì)出較為全面檢測考生語言綜合能力的考點(diǎn)，即文章中10處空白與所給詞庫中15個(gè)詞匯。同時(shí)，材料的文本詞匯數(shù)量、題材、難度等方面均與考試說明相符。

2.2 語料選取

由于2015年外語專業(yè)教學(xué)測試委員會(huì)發(fā)出調(diào)整說明，故選取2016年專四完形填空試題作為研究起點(diǎn)，共4套試題。之所以選擇美國當(dāng)代英語語料庫(COCA)和中國學(xué)習(xí)者英語語料庫(CLEC)，是因?yàn)槎呔瑫婧涂谡Z語料，可直接在線檢索，提供了相關(guān)詞匯及其搭配頻率，使研究結(jié)果更具科學(xué)性和說服力。CLEC由中國開發(fā)并包含中國學(xué)生的英語學(xué)習(xí)語料。基于這些代表性較強(qiáng)的語料庫，將所給詞庫詞匯與國內(nèi)外英語語料數(shù)據(jù)庫的情況相匹配，通過頻率檢測試題考查的全面性和典型性。

2.3 數(shù)據(jù)收集與分析

首先建立微型文本語料庫，把2016—2019年專四的完形填空試題手工輸入電腦；結(jié)合考試說明，統(tǒng)計(jì)該文本材料的主要內(nèi)容、體裁和題材。隨后應(yīng)用AntConc 3.5.8這一語料庫檢索軟件統(tǒng)計(jì)文章長度和TTR(類符—形符比)，應(yīng)用word軟件的拼寫檢查項(xiàng)目選擇顯示可讀性。接著按詞類把詞庫中的全部詞匯分類，運(yùn)用計(jì)算機(jī)語料庫資源比較COCA與CLEC中所顯示的數(shù)據(jù)。最后對(duì)詞庫中所考察的部分詞匯搭配進(jìn)行顯著性檢驗(yàn)。

3 研究結(jié)果與討論

3.1 文本材料的相關(guān)性和代表性

3.1.1 體裁和題材

由表1可知，文章體裁比較固定，說明文和議論文各占比50%。試題題材以科技類為主，占比50%；話題多樣性有待豐富，但較為貼合考生的日常生活。比如2018年試題從正面引導(dǎo)考生，提及的回報(bào)法則頗具實(shí)用性和教育意義，既幫助考生擴(kuò)展知識(shí)面，又有益于樹立積極的情感態(tài)度以及正確的世界觀、人生觀和價(jià)值觀，有機(jī)統(tǒng)一語言測試目標(biāo)與“立德樹人”教育理念。

表1 體裁和題材

3.1.2 文本詞匯

文本詞匯，作為顯示文本語言特征的一個(gè)組成部分，其重要性在統(tǒng)計(jì)中不言而喻。文本的詞匯密度一定程度上可以說明文本材料的詞匯難度，采用文本的類符數(shù)除以其形符數(shù)來計(jì)算。計(jì)算結(jié)果的值越大，說明文本密度越大，進(jìn)而證明文本語言特征越復(fù)雜。

由表2可知，近4年詞匯密度在59.6%(2019年)到68.7%(2017年)之間；初步推斷2017年完形填空試題難度較大，2019年較小，其余2年較穩(wěn)定，約在65%左右。4篇文章長度在276—297詞之間，符合調(diào)整說明“約250詞”這一規(guī)定。

表2 文本詞匯

3.1.3 易讀度

易讀度可以表明文章易于理解的程度，與句子的長度、語法的復(fù)雜程度呈現(xiàn)負(fù)相關(guān)，即句子長度越長，語法復(fù)雜程度越高，文章更不易于理解。易讀度的值與文章難度也呈現(xiàn)負(fù)相關(guān)，即數(shù)值越大，文章難度越低，更便于讀者理解。本研究應(yīng)用了word文檔中的顯示可讀性功能對(duì)2016—2019年完形填空文本材料的易讀度進(jìn)行統(tǒng)計(jì)，表3為Flesh易讀度參照量表。

表3 Flesh易讀度參照量表

統(tǒng)計(jì)結(jié)果如表4所示，改革后平均易讀度為50.35，介于難和略難之間。4篇易讀度的數(shù)值相差較大，每年難度值分布不均，應(yīng)給予較平均的難度考察。

表4 易讀度

3.2 考點(diǎn)設(shè)計(jì)的典型性

由表5可知，TEM4這一題型主要側(cè)重于考查動(dòng)詞、名詞的掌握程度，同時(shí)也兼顧到副詞、形容詞和表示上下文邏輯關(guān)系的連詞的考查。從統(tǒng)計(jì)結(jié)果來看，更值得關(guān)注的是，到目前為止，代詞one被連續(xù)考查過2次。因篇幅有限，故利用語料庫對(duì)位列考點(diǎn)第一位的動(dòng)詞搭配頻率進(jìn)行分析。

表5 考點(diǎn)分布

以2019年考題為例，通過COCA語料庫對(duì)考查的4個(gè)動(dòng)詞出現(xiàn)頻率做了統(tǒng)計(jì)。表6統(tǒng)計(jì)結(jié)果顯示，頻率高的H選項(xiàng) making為180 560次，低的J選項(xiàng)resides僅達(dá)2 427次；個(gè)別低頻詞如38題J選項(xiàng)，則為所提供題庫中的正確選項(xiàng)。因此，該年考題中存在所考查的詞匯頻率不平衡的現(xiàn)象。此外，正確選項(xiàng)與干擾項(xiàng)出現(xiàn)的頻率不平衡。運(yùn)用CLEC語料庫檢索發(fā)現(xiàn)選項(xiàng) L和H、G和J的出現(xiàn)頻率比較接近，說明這兩題的干擾度可能均較高。這些詞在兩個(gè)語料庫中檢索結(jié)果不太一樣，COCA語料庫中語料多為小說、雜志和學(xué)術(shù)期刊；CLEC語料庫收集的語料以中國學(xué)生的作文居多，所以CLEC所包含的詞匯遠(yuǎn)不如COCA豐富。鑒于以上兩個(gè)方面，可以初步判斷考點(diǎn)設(shè)計(jì)一定程度上缺乏典型性。

表6 正確選項(xiàng)(HJ)和干擾選項(xiàng)(LG)的頻率對(duì)比

為使研究更加嚴(yán)謹(jǐn)，通過卡方檢驗(yàn)對(duì)比詞匯的出現(xiàn)頻數(shù)確定是否存在顯著性差異。若卡方檢驗(yàn)所示數(shù)值α大于3.84，說明該考點(diǎn)詞匯的出現(xiàn)頻數(shù)在兩個(gè)語料庫間存在明顯差異。參照COCA，統(tǒng)計(jì)發(fā)現(xiàn)38題考點(diǎn)與自建TEM4完形填空文本語料庫的α值大于3.84，由此可見該考點(diǎn)的考查不具有一定的典型性，并對(duì)試題的內(nèi)容效度造成影響。

4 啟示與建議

4.1 針對(duì)TEM4完形填空命題

4.1.1 豐富文章的體裁和題材

這4年中，TEM4所涉及的完形填空文本體裁為說明文和議論文。今后，其他體裁也可納入考查范圍，盡量避免體裁單一。題材以科技類為主，較少涉及其他題材。今后的命題可以嘗試選擇其他話題的文本，拓寬考生的知識(shí)面，發(fā)揮專四測試對(duì)教學(xué)的反撥作用，加強(qiáng)考生的語言能力以及英語學(xué)科素養(yǎng)。

4.1.2 加強(qiáng)文章詞類考查的全面性并控制詞匯難度

近4年的試題考查動(dòng)詞類最多，名詞、形容詞類次之。命題者今后可適當(dāng)平衡各種詞類的考查，兼顧實(shí)詞與虛詞的考查力度，盡可能全面考查所有詞類，加大干擾選項(xiàng)干擾力度。文章長度和文本詞匯均為影響文本理解的重要因素。文本越短，意味著文本提供的信息越少，若在同時(shí)過度增加生詞量的話，無疑會(huì)增加文章的閱讀難度。因此應(yīng)控制文章長度和文本詞匯的難度以保證歷年試題難度的穩(wěn)定性。

文本詞匯會(huì)影響考生對(duì)文本的理解。文本詞匯越少，說明材料提供的有效信息和解題線索越少。如果此時(shí)再增加生詞量，考生對(duì)文本詞匯的認(rèn)知難度也會(huì)提升，進(jìn)而不易于其閱讀理解。因此,命題者需要把握好文章長度、題庫所考察的15個(gè)詞匯以及文本材料的生詞量,以保證每年試題易于理解程度和答題難度的穩(wěn)定性。

4.1.3 運(yùn)用語料庫提高考點(diǎn)設(shè)計(jì)的典型性

今后在設(shè)計(jì)考點(diǎn)時(shí)，命題者可以借助語料庫輔助設(shè)計(jì)出更具典型性的正確選項(xiàng)和更有效的干擾選項(xiàng)。比如，在動(dòng)詞選項(xiàng)設(shè)置時(shí)可在國內(nèi)外大型語料庫中搜索，觀察該詞或者該動(dòng)詞短語搭配的出現(xiàn)頻率，避免選取出現(xiàn)頻率極高或極低的詞匯或短語搭配，以便一定程度上提高試題的內(nèi)容效度，使考查更具有效性。

4.2 針對(duì)大學(xué)英語專業(yè)教學(xué)

4.2.1 提升學(xué)生語言能力

為了更好地發(fā)揮考試評(píng)價(jià)對(duì)大學(xué)英語專業(yè)教學(xué)重要的反撥和導(dǎo)向作用，大學(xué)英語專業(yè)教師應(yīng)該在課上拓展一定量的課外內(nèi)容，加強(qiáng)學(xué)生不同題材和體裁文章的閱讀，以促進(jìn)學(xué)生各領(lǐng)域知識(shí)的學(xué)習(xí)。在課外，教師可以推薦如BBC、VOA等英語材料，擴(kuò)大可理解性語言輸入，提升學(xué)生的綜合語言運(yùn)用能力。

4.2.2 學(xué)習(xí)測試?yán)碚?，利用語料庫提升測試的科學(xué)性

目前越來越多的專家和學(xué)者關(guān)注到語料庫在語言測試中的應(yīng)用。對(duì)于教學(xué)者來說，平時(shí)應(yīng)主動(dòng)學(xué)習(xí)英語測試相關(guān)的理論知識(shí)，掌握試題編制的理論依據(jù)，可以閱讀《英語測試》《英語測試的理論與實(shí)踐》等專業(yè)書籍中有關(guān)正確項(xiàng)和干擾項(xiàng)的設(shè)置技巧、完形填空試題的設(shè)計(jì)等章節(jié)提高自己的理論素養(yǎng)，增強(qiáng)命題的科學(xué)性和有效性。

同時(shí)，語料庫也為測試研究提供了新視角。教師通過研讀語料庫文獻(xiàn)、了解基礎(chǔ)知識(shí)、熟悉基本操作、掌握語料庫檢索等方法，進(jìn)一步應(yīng)用計(jì)算機(jī)資源輔助測試的命題，以保證試題的真實(shí)性，提高測試質(zhì)量。

5 結(jié)語

本文從所選文本的相關(guān)性與代表性、考點(diǎn)設(shè)計(jì)的典型性兩方面對(duì)TEM4完形填空測試進(jìn)行了內(nèi)容效度研究。從文本材料的體裁和題材、文本詞匯以及易讀度考察了前者；通過統(tǒng)計(jì)及對(duì)比部分考點(diǎn)在COCA、CLEC語料庫中的頻率對(duì)后者作出了驗(yàn)證。

實(shí)施測試效度研究對(duì)測試的可持續(xù)發(fā)展具有十分重要的意義[9]。內(nèi)容效度研究，作為效度研究的重要組成部分之一，可以推動(dòng)未來測試命題質(zhì)量的提高。從2016年開始對(duì)TEM4的題型進(jìn)行調(diào)整，由于該測試對(duì)于英專學(xué)生的重要性和影響力，因此對(duì)改革后的試題進(jìn)行內(nèi)容效度研究非常必要。由于本研究僅考慮到從試題內(nèi)容角度而未從考生的答題角度進(jìn)行效度研究，所以不能全面地證明該測試的效度。此外，僅分析了部分考點(diǎn)，所涉及語料較少。因此，本研究具有一定的局限性，有待今后深入研究。