閆玉荷,劉 凌*
(湖北工業(yè)大學(xué)外國語學(xué)院 湖北 武漢 430068)
內(nèi)容效度體現(xiàn)在考試內(nèi)容是否覆蓋了考綱,是否和考試規(guī)范相關(guān)(Bachman, 1990)。國內(nèi)關(guān)于語言測試內(nèi)容效度的研究主要集中于高考和大學(xué)生英語各類等級考試,較少有人分析碩士研究生英語入學(xué)考試的內(nèi)容效度,尤其是研究生入學(xué)考試英語(二)〔簡稱英語(二)〕的內(nèi)容效度。根據(jù)2017-2023 年的考綱,英語(二)考試分為英語知識應(yīng)用、閱讀理解、翻譯和寫作四個部分。其中,閱讀理解A 部分占總分值的40%,超過了其他部分的分值。閱讀理解試題的質(zhì)量引起了國內(nèi)學(xué)者的極大關(guān)注。鄧會(2014)研究了2010-2014 年英語(二)閱讀部分的內(nèi)容效度,研究發(fā)現(xiàn),2010-2014 年英語(二)閱讀理解測試符合大綱要求,內(nèi)容效度較高,但存在閱讀文章的體裁不豐富,題材和閱讀考察技能分布不均等問題。崔炫?。?017)研究了2013-2016 年英語(二)閱讀理解A 部分的內(nèi)容效度,結(jié)果表明,英語(二)閱讀理解文章的題材、體裁、長度和難度與大綱相符,但偏重考查細節(jié)理解,缺少對其他技能的考查。目前尚未有學(xué)者研究2017 年以來英語(二)的閱讀測試內(nèi)容效度,本文將填補這一空白。
英語(二)考試的評價標準是高等學(xué)校非英語專業(yè)本科畢業(yè)生所能達到的及格或及格以上水平,以保證被錄取者具有一定的英語水平,并有利于各高等學(xué)校和科研院擇優(yōu)選拔。英語(二)閱讀理解A 部分的內(nèi)容效度主要指閱讀文章和題項在多大程度上符合考綱的要求,是否能夠測試其所規(guī)定的閱讀能力。2017-2021 年,考綱的考查目標和內(nèi)容無變化,體裁均為“說明文、議論文、記敘文”等,題材均為“經(jīng)濟、管理、社會、文化、科普”等,四篇文章總長度均為1500 詞左右,考查技能均為“理解主旨要義;理解文中的具體信息;理解語篇的結(jié)構(gòu)和上下文的邏輯關(guān)系;根據(jù)上下文推斷重要生詞或詞組的含義;進行一定的判斷和推理;理解作者的意圖、觀點或態(tài)度”;2022 年,文章長度調(diào)整為1500~1600 詞,新增了“理解文章的論證方法,比較不同觀點”的考查目標;2023 年考綱指出“考生應(yīng)能讀懂語言較復(fù)雜的文字材料,包括新聞、評論、報告、論文、專著等類型的文章”,且增加了“教育”和“歷史”為主要題材,不再將“管理”作為主要考查題材,并在2022 年考綱的基礎(chǔ)上,修改了考查技能,并增加了“分析修辭手法、比較事實和態(tài)度”的考查目標。
依據(jù)Bachman和Palmer(2010)的任務(wù)特征框架,以及辜向東和王秋艷(2008)的閱讀理解測試分析項目,結(jié)合考綱,以2017-2023 年英語(二)閱讀理解A部分共28 篇閱讀理解文章和140 道題目為研究對象,從文本輸入、預(yù)期回答和題項設(shè)計三方面分析內(nèi)容效度。文本輸入是指考生需要處理和回答的測試材料,預(yù)期回答是考生對測試任務(wù)做出的反應(yīng)和輸出,題項設(shè)計即題目和選項的設(shè)計。體裁和題材以各版考綱的共同部分為基礎(chǔ),將體裁分為說明文、議論文和記敘文,題材包含經(jīng)濟、管理、科學(xué)、教育、社會、文化和歷史;文章長度主要統(tǒng)計文章總長度、題項長度,文章和題項的總長度;文章難度以生詞率和易讀度為衡量依據(jù),易讀度由易讀度公式計算得出;考查技能包括考綱規(guī)定的八個技能;題項設(shè)計分析考點分布、答案準確性和干擾項干擾。
3.1.1 體裁
記敘文的題材通常接近生活,讀者可運用的相關(guān)知識較豐富,能夠用來理解文章的圖解也比較成熟。說明文通常介紹新穎事物,且結(jié)構(gòu)也比較復(fù)雜(Clinton et al.,2020)。議論文注重解釋事物本質(zhì),呈現(xiàn)作者的觀點和立場,主觀性較強。2017-2023 年,文章以議論文和說明文為主。議論文15 篇,占比53.57%,說明文13 篇,占比46.43%,未考查記敘文。2022 年,4 篇文章均為說明文,體裁單一,其余年份均考查了記敘文和說明文。記敘文是考綱主要考查的體裁之一。另外,讀者閱讀不同體裁文章需要用到的技能不同,理解記敘文比較依賴解碼技能(Graesser et al.,1994),而理解說明文更依賴對話題的熟悉度(Clinton et al.,2020)。因此,英語(二)僅考查議論文和說明文并不符合考綱要求,也不利于測試考生的解碼技能,建議英語(二)選擇更豐富的體裁,以便更全面地考查學(xué)生對不同體裁文章的理解能力。
3.1.2 題材
2017-2022 年,每年均覆蓋3-4 個題材,最??疾榈氖强茖W(xué)和經(jīng)濟題材,分別占總數(shù)的35.71%和25%,沒有文化題材的文章。2023 年只覆蓋了經(jīng)濟和科學(xué)題材,選材不太均衡。題材可能會影響考生表現(xiàn),對題材熟悉的考生將會比對題材不熟悉的考生表現(xiàn)得更好。閱讀文章主要選取科學(xué)和經(jīng)濟題材,有利于關(guān)注科學(xué)和經(jīng)濟知識的考生,但較少選取文化和歷史題材,不利于相關(guān)專業(yè)的考生。建議英語(二)適當增加文化和歷史等題材的文章,使題材更豐富,促進考試公平。
3.1.3 文章長度
如表1 所示,每年的文章總長度維持在1600 詞左右,無太大波動。2017-2021 年考綱規(guī)定,閱讀理解A 部分的4 篇文章總長度為1500 詞左右,這五年的文章總長度均高于考綱要求,2022-2023 年,考綱將文章總長度修改為1500-1600 詞,2022 年文章總長度符合規(guī)定,2023 年文章總長度超過了1600 詞。2017-2020 年,題項長度在700 詞左右,總長度在2300 詞左右。2021-2022 年,題項長度在650 詞左右,總長度在2250 詞左右。2023 年文章總長度、題項長度和總長度均最長。這說明每年閱讀理解的文字材料較多,對考生的閱讀速度有一定要求。
表1 文章的長度統(tǒng)計(單位:詞)
3.1.4 文章難度
研究發(fā)現(xiàn),生詞以派生詞和復(fù)合詞為主,比如parkrun,disconcerting,shortfall,prosocial 等,每年考試的總生詞數(shù)為10 個左右,生詞數(shù)占4 篇文章總詞數(shù)的0.38%-0.62%,不超過1%;從單篇文章看,所有文章的生詞均為1-4 個,只有一篇文章的生詞率超過1%。這表明,每篇文章的生詞數(shù)較低,且每年的生詞率比較穩(wěn)定。
易讀度在50-60 屬于“比較難”的閱讀材料,30-50位于“難”的區(qū)間,0-30 屬于“非常難”。表2 統(tǒng)計了每篇文章的易讀度和每年文章的平均易讀度。由表可知,文章的易讀度集中分布于30-50 區(qū)間,易讀度在這一區(qū)間的文章為總數(shù)的78.57%,14.29%的文章易讀度在50-60 區(qū)間,7.1%的文章易讀度在0-30 區(qū)間。另外,每年的文章易讀度有一定梯度,難度不盡相同。2017-2018 年,各有一篇文章的易讀度在50-60 區(qū)間,屬于“較難”,另外三篇文章的易讀度在30-50 區(qū)間,屬于“難”;2020-2022 年,文章的易讀度也分布在兩個區(qū)間,2020-2021 年,均有1 篇文章的易讀度在50-60,其余3 篇文章的易讀度都在30-50;2022 年,4 篇文章的易讀度也分布于兩個區(qū)間,有兩篇文章的易讀度在0-30 范圍內(nèi),兩篇文章的易讀度在30-50 范圍內(nèi);2019 年和2023 年,所有的文章易讀度雖都在30-50 范圍內(nèi),但具體數(shù)值有所差別。由此可見,英語(二)閱讀文章有一定難度且難度具有梯度性,區(qū)分度較好,有利于測量不同水平考生的閱讀能力,但考綱并沒有明確指出文章應(yīng)維持的難度。建議考綱增加閱讀材料的難易度指標,提高命題科學(xué)性。
表2 文章易讀度指數(shù)
為便于統(tǒng)計,將2017-2021 年考綱的6 項考查技能編號為技能1—技能6,并依據(jù)2022-2023 年考綱新增考查技能,將后2 項技能編號為技能7,技能8。表3 展示了八種閱讀技能在2017-2023 年的分布情況。數(shù)據(jù)顯示,閱讀文章雖考查了各個技能,但每個技能的考查頻率有較大差距。技能2 和技能5 是每年都會考查的技能,技能2為主要考查技能,占總數(shù)的50.71%,技能5 占總數(shù)的15.71%。除此之外,技能3 和技能6 雖不是每年都考查,但也屬于較常考查的技能,分別占總數(shù)的10%和8.57%,其他技能的考查頻率較低。這說明,英語(二)閱讀技能考查范圍較廣,尤其注重考查考生的具體信息理解能力,判斷和推理能力,比較重視考生理解語篇結(jié)構(gòu)和上下文的邏輯關(guān)系的技能,也會在一定程度上要求考生能夠解讀作者的意圖、觀點和態(tài)度,但其他技能考查較少,建議英語(二)適當提高其他閱讀技能的考查頻率,以便更全面地測試考生的閱讀水平。
表3 閱讀技能考查統(tǒng)計
3.3.1 考點分布
研究發(fā)現(xiàn),2017-2023 年閱讀理解A 部分每篇文章考點分布均勻,大部分文章的考點覆蓋了原文的全部段落,少數(shù)文章的考點分布在原文的大部分段落,如2018 年Text 2 共7 段,考點分布了6 段。除此之外,不存在一篇文章的所有考點集中分布在少數(shù)段落的情況。
3.3.2 答案準確性
答案準確性能夠說明答案和原文的貼切程度。2017-2023 年英語(二)閱讀理解A部分的答案和原文密切相關(guān),答案準確性高,通??忌枰獪蚀_理解和概括原文信息才能知道答案。比如,2017 年Text 1 第4 題,With regard to masssports,theauthorholdsthatgovernmentsshould.答案invest in public sports facilities 和原文“providing common goods”很貼切;2019 年Text 1 第4 題,Malti and others have shown that cooperation and sharing .答案can result from either sympathy or guilt 是原文“guilt and sympathy...sharing”的同義表達。
3.3.3 干擾項干擾性
2017-2023 年英語(二)閱讀理解A 部分題目的干擾項設(shè)計靈活,類型豐富,具有較強的干擾性。有的干擾項曲解了原文。例如,2020 年Text1 第3 題,AccordingtoQuinn,the rats released the social robot because they.A 選項tried to practice a means of escape 原文“the researchers ... release them by pressing a lever”提到壓下杠桿不是施救原因,而是施救方式。有的干擾項是原文的雜糅。例如,2021 年Text 4 第5 題,C 選項Vocabulary comprehension needs creativity,原文“In one study...and creativity...”指出,理解詞匯需要反思能力,創(chuàng)造新產(chǎn)品或修辭需要創(chuàng)造力。還有干擾項在原文找不到對應(yīng)信息。例如,2017 年Text 2 第2 題,原文未提及C 選項slows down babies'verbal development;2019年Text 3 第2 題,C 選項the lack of experienced laborers 在原文無跡可尋;2022 年Text 1 第5 題,D 選項moral implication 和原文無關(guān);2023 年Text 2 第5 題,原文未提到A選項is able to cope with staff shortages 和C 選項is in need of a new pricing policy。
2017-2023 年研究生英語入學(xué)考試(二)的閱讀理解A 部分,在文本輸入方面,文章體裁以議論文和說明文為主,沒有考查記敘文,不太符合考綱要求。在題材上,主要選取科學(xué)和經(jīng)濟題材,較少涉及考綱列舉的其他題材,建議增加題材。在文章長度上,除2022 年,每年的文章總長度相比考綱要求更長,文章和題項的總長度也較長,比較考驗考生的閱讀速度。在文章難度上,每年的生詞率都比較穩(wěn)定;文章易讀度分布在三個區(qū)間,總體屬于“難”的范疇,且文章難度具有一定區(qū)分度,既有利于選拔人才,也有利于測量不同水平考生的閱讀能力。值得注意的是,考綱并無對閱讀材料難度的明確描述,建議增加閱讀文章的難易度指標,以提高命題質(zhì)量。閱讀技能考查方面,題項覆蓋了8 大技能,但每種技能的考查頻率差距較大,主要考查考生解讀具體信息、判斷和推理技能,其他技能考查相對較少。建議適當提高其他技能的考查頻率,以便更全面地測試考生的閱讀水平。題項設(shè)計方面,考點分布均勻;答案和原文匹配度高,準確性強;干擾項設(shè)計靈活,類型比較豐富,干擾性較強,考生通常需要準確解讀原文信息排除干擾項。