2015—2017研究生英語(yǔ)入學(xué)考試（一）閱讀部分內(nèi)容效度研究

【摘要】研究生英語(yǔ)入學(xué)考試是大規(guī)模高風(fēng)險(xiǎn)考試，其閱讀部分占總分值60%，對(duì)整個(gè)考試的效度水平影響巨大。本文以考試大綱作為依據(jù)，采用Bachman的任務(wù)特征框架理論以及Flesche易讀度參考量表2015-2017年試卷閱讀部分進(jìn)行內(nèi)容效度分析，發(fā)現(xiàn)在題材和體裁上試題分布并不均勻，偏重議論文和社會(huì)科學(xué)類文章。對(duì)閱讀速度沒(méi)有設(shè)置考察，但是三年的體量相差較大，因此對(duì)閱讀速度的隱含考察也有差異?？勺x性差異也很明顯，呈兩年高一年低的數(shù)據(jù)，同時(shí)閱讀技能考察也偏向淺層次的細(xì)節(jié)查讀，而對(duì)深層次的閱讀能力考察較少。這些數(shù)據(jù)反映出的問(wèn)題必將會(huì)影響考試的公平性和可靠性。

【關(guān)鍵詞】?jī)?nèi)容效度 研究生英語(yǔ)入學(xué)考試 任務(wù)特征框架

【基金項(xiàng)目】X5018013201603，學(xué)術(shù)英語(yǔ)大規(guī)模讀寫測(cè)試的效度研究，校人文社科基金。

【中圖分類號(hào)】H319 【文獻(xiàn)標(biāo)識(shí)碼】A 【文章編號(hào)】2095-3089（2018）45-0120-02

一、研究背景

研究生英語(yǔ)入學(xué)考試（NETEM）是一種尺度相關(guān)——常模參照性考試，是由教育部高等教育司主辦的全國(guó)性教學(xué)考試。其考試性質(zhì)是“為高等學(xué)校和科研院所招收碩士研究生而設(shè)置的具有選拔性質(zhì)的全國(guó)統(tǒng)一入學(xué)考試科目，其目的是科學(xué)、公平、有效地測(cè)試考生，對(duì)英語(yǔ)語(yǔ)言的運(yùn)用能力”[1]根據(jù)2015-2017年NETEM考綱的描述，考試分為聽(tīng)力，閱讀和寫作三個(gè)部分，閱讀部分占到總分比值的60%，占比遠(yuǎn)超“英語(yǔ)知識(shí)運(yùn)用”（10%）和“寫作”（30%）[1]。鑒于此考試是一個(gè)大規(guī)模高風(fēng)險(xiǎn)的考試且關(guān)系到諸多學(xué)子的教育公平，對(duì)其內(nèi)容效度進(jìn)行研究十分必要。

有關(guān)考試內(nèi)容效度的研究在國(guó)內(nèi)外已經(jīng)十分成熟，相關(guān)理論及成果層出不窮。早在1998年楊惠中和Weir.C.J.進(jìn)行了大學(xué)英語(yǔ)四、六級(jí)考試效度研究[2]。他們以1987-1995年的四、六級(jí)考試為材料，通過(guò)對(duì)比考試，實(shí)證研究，問(wèn)卷調(diào)查和座談等形式研究了其構(gòu)念效度，內(nèi)容效度和其他效度；2009年楊惠中做了此項(xiàng)研究的后續(xù)歷時(shí)研究，內(nèi)容涵蓋1996至2007年的閱讀考試，采用Bachman提出的任務(wù)特征框架[3]。他們的研究均證實(shí)四、六級(jí)考試的閱讀部分具有很高的內(nèi)容效度，基本涵蓋大綱的要求。陳燕（2007）[4]研究了2003至2006年閱讀部分多項(xiàng)選擇題的內(nèi)容效度；鄧會(huì)（2014）研究了2010-2014年考研英語(yǔ)（二）閱讀部分的內(nèi)容效度[5]。

本文對(duì)2015-2017年度的研究生英語(yǔ)入學(xué)考試（NETEM）閱讀部分進(jìn)行效度研究，采用Bachman（1990）[6]的任務(wù)特征框架理論，驗(yàn)證試卷內(nèi)容是否符合考試大綱要求，內(nèi)容效度如何。

二、研究方法及結(jié)果

關(guān)于效度和內(nèi)容效度的研究有豐富的理論成果，大部分學(xué)者都認(rèn)可Haynes（1995）[7]提出的定義，即內(nèi)容效度是一種指標(biāo)或程度，旨在衡量某個(gè)有特定目的的測(cè)試其構(gòu)念的相關(guān)度和代表性。而一個(gè)測(cè)試或者測(cè)試工具的代表性是指對(duì)目標(biāo)構(gòu)念的各個(gè)因素的吻合度（Lynn，1986；Nunally&Bernstein;，1994；Suen&Ary;，1989）[8-9]。其中“構(gòu)念”是指目標(biāo)測(cè)試的概念，屬性和各種變量（鄧會(huì)，2014）[5]。

Bachman（1990）[6]提出的任務(wù)特征框架理論是被眾多測(cè)試研究學(xué)者認(rèn)可的，成熟的效度測(cè)量理論。此理論認(rèn)為測(cè)試的內(nèi)容效度有六個(gè)考核標(biāo)準(zhǔn)：測(cè)試環(huán)境，測(cè)試說(shuō)明，文本輸入，預(yù)期回答，以及文本輸入和預(yù)期回答的關(guān)系。

2015-2017年考綱閱讀部分要求變化很小，對(duì)閱讀能力的要求如下：

“考生應(yīng)能讀懂選自各類書(shū)籍和報(bào)刊的不同類型的文字材料（生詞量不超過(guò)所讀材料總詞匯量的3%），還應(yīng)能讀懂與本人學(xué)習(xí)和工作有關(guān)的文獻(xiàn)資料，技術(shù)說(shuō)明和產(chǎn)品介紹等[1]”。

結(jié)合任務(wù)特征模式理論和考綱要求，考慮到NETEM考試的穩(wěn)定性和規(guī)范性，本文著重從文本輸入和預(yù)期回答兩個(gè)方面來(lái)進(jìn)行研究。

1.文本輸入

文本輸入包括體裁，題材，文本長(zhǎng)度，閱讀速度和可讀性五個(gè)方面[6]。

體裁一般分為四個(gè)大類：描寫文（描述人，事物，場(chǎng)景，反映作者的內(nèi)心世界），記敘文（描述事件或人物的發(fā)展），說(shuō)明文（旨在說(shuō)明事物的結(jié)構(gòu)，屬性，特征，范圍等等）和議論文（通過(guò)運(yùn)用抽象的思想來(lái)揭示事物本質(zhì)，使讀者接受作者的思想并有所行動(dòng)）。

題材按常見(jiàn)類型分為自然科學(xué)，社會(huì)科學(xué)和人文科學(xué)。

閱讀速度在考試大綱和考試說(shuō)明中都沒(méi)有明確的要求，而且題型設(shè)置上也沒(méi)有對(duì)閱讀部分的時(shí)間加以單獨(dú)設(shè)計(jì)，所以只能按照閱讀部分占總成績(jī)60%折合。總考試時(shí)間為180分鐘，因此認(rèn)為閱讀部分的總答題時(shí)間為108分鐘。根據(jù)楊惠中和Weir.C.J.[2]的研究結(jié)果，閱讀題中文本閱讀和答題的時(shí)間比例大概是1：0.75，所以本研究認(rèn)為閱讀文本時(shí)間理論上應(yīng)為62分鐘。

從統(tǒng)計(jì)結(jié)果不難看出，近三年的閱讀題材主要集中在議論文，也有少量的說(shuō)明文出現(xiàn)，但是英文四大文體中的描寫文和記敘文則完全沒(méi)有出現(xiàn)。題目選擇則偏社會(huì)科學(xué)，偶爾也有美國(guó)歷史或是狄更斯生平這種主題的人文類閱讀，但是自然科學(xué)類型的材料完全沒(méi)有出現(xiàn)。根據(jù)考試大綱對(duì)閱讀能力的要求“考生應(yīng)能讀懂選自各類書(shū)籍和報(bào)刊的不同類型的文字材料（生詞量不超過(guò)所讀材料總詞匯量的 3%），還應(yīng)能讀懂與本人學(xué)習(xí)或工作有關(guān)的文獻(xiàn)、技術(shù)說(shuō)明和產(chǎn)品介紹等?！?[1]三套題的體裁和題材分布都是不均衡的，沒(méi)有照顧到多樣性。特別是考慮到研究生入學(xué)后需要大量閱讀和使用學(xué)術(shù)英語(yǔ)，在“與本人學(xué)習(xí)或工作有關(guān)的文獻(xiàn)、技術(shù)說(shuō)明和產(chǎn)品介紹等”方面的閱讀材料，應(yīng)有所加強(qiáng)。閱讀篇幅差異也很明顯，16年閱讀題篇幅只有15年和17年的65%左右，因此在閱讀速度要求上也會(huì)不同。

關(guān)于閱讀材料的難度，使用Microsoft的易讀度統(tǒng)計(jì)。結(jié)果顯示，三年閱讀部分難度波動(dòng)比較大（見(jiàn)表二），15年和17年達(dá)到了“較難”的程度，而16年則是在“難”的范圍內(nèi)。同一份試卷內(nèi)不同題目之間的難度差異也很大，特別是17年的翻譯題，難度驟降到18.1。閱讀題難度不穩(wěn)定也是一個(gè)對(duì)信度的干擾因素，雖然易讀性不是衡量文本難度的唯一標(biāo)準(zhǔn)，但是僅此一項(xiàng)的大幅度變化，對(duì)考試信度和公平性也會(huì)帶來(lái)?yè)p害。

2.預(yù)期回答

預(yù)期回答主要研究閱讀能力考查和題型。根據(jù)考綱要求，NETEM應(yīng)該考核的閱讀技能有8項(xiàng)[1]。

1）理解主旨要義；2）理解文中的具體信息；3）理解文中的概念性含義；4）進(jìn)行有關(guān)的判斷、推理和引申；5）根據(jù)上下文推測(cè)生詞的詞義； 6）理解文章的總體結(jié)構(gòu)以及上下文之間的關(guān)系；7）理解作者的意圖、觀點(diǎn)或態(tài)度；8）區(qū)分論點(diǎn)和依據(jù)。

為了統(tǒng)計(jì)方便，我們將這八種技能標(biāo)號(hào)為S1-S8，這八種閱讀技能在三年考題中分布如下：

其中S1、S6和S7考核整體閱讀技能，而S2、S3、S4、S5和S8考查細(xì)節(jié)閱讀技能。

從百分比可以看出，細(xì)節(jié)閱讀技能在考試中占有壓倒性優(yōu)勢(shì)，達(dá)到總體比例的66%，說(shuō)明在考試中，學(xué)生關(guān)注細(xì)節(jié)信息比較容易得到高分，而對(duì)文章整體主旨結(jié)構(gòu)的掌握要求偏低。特別是對(duì)S2的考查，占38%之多。在涉及S2的考題里，學(xué)生只要較好的理解了信息點(diǎn)出現(xiàn)的一句或者幾句話，就可以作對(duì)大部分的閱讀題，而對(duì)文章的整體結(jié)構(gòu)并不需要明確掌握。S3在三年的閱讀題中沒(méi)有明確的考查到，這可能與題材和體裁的偏向性有關(guān)。由于缺乏說(shuō)明文和描寫文，也少見(jiàn)自然科學(xué)類的文章，所以也沒(méi)有涉及理解概念性信息的題目出現(xiàn)。S8的考查也很少，在2017年的最后一題中有間接的考查。這兩種技能的考查程度和考綱要求的有一定差異。

此外，閱讀理解也是一種涉及不同層面的認(rèn)知過(guò)程，根據(jù)Barrett（1974）提出的一個(gè)由易到難的閱讀技能水平。從NETEM的考查技能來(lái)看，目前的考核范圍仍然主要集中在前三個(gè)層次，這三個(gè)層次也被稱為直接陳述信息（explicitly stated information），而對(duì)深層次的閱讀能力考查基本沒(méi)有涉及。

三、結(jié)論

從以上分析可以看出，2015-2017年研究生入學(xué)英語(yǔ)考試（一）的閱讀部分，在體裁上較偏重議論文，說(shuō)明文也有一定涉及，但是描寫文和記敘文完全沒(méi)有，與考綱要求有差異。題材上偏向社會(huì)科學(xué)，自然科學(xué)類文章沒(méi)有涉及，與考綱要求有差異，對(duì)于不同專業(yè)參加考試的考生也顯失公平。在閱讀速度上篇幅差異較大，尤其是16年篇幅明顯偏短；而且題型設(shè)計(jì)里沒(méi)有速度要求的設(shè)置，所以不能排除考生會(huì)以犧牲其他題目的做答時(shí)間為代價(jià)完成閱讀。綜合八種閱讀技能的覆蓋程度，閱讀部分對(duì)查讀的考查十分充分，而對(duì)略讀以及文章總體結(jié)構(gòu)的考查則涉及較少，考查層次偏淺。這些數(shù)據(jù)反映出的問(wèn)題必將會(huì)影響考試的公平性和可靠性。

參考文獻(xiàn)：

[1]教育部.全國(guó)碩士研究生招生考試英語(yǔ)（一）考試大綱： 非英語(yǔ)專業(yè)：高教版2016[M]. 高等教育出版社，2015.

[2]楊惠中.大學(xué)英語(yǔ)四、六級(jí)考試效度研究[M].上海外語(yǔ)教育出版社， 1998.

[3]蔣淑均.大學(xué)英語(yǔ)四、六級(jí)考試閱讀理解測(cè)試內(nèi)容效度研究（1996-2007）[D].重慶大學(xué)，2009.

[4]陳燕.全國(guó)碩士研究生入學(xué)統(tǒng)一考試英語(yǔ)考試的閱讀理解內(nèi)容效度研究[D].西南交通大學(xué)，2007.

[5]鄧會(huì).全國(guó)碩士研究生入學(xué)統(tǒng)一考試英語(yǔ)（二）的閱讀理解內(nèi)容效度研究[D].華中師范大學(xué)，2014.

[6]Bachman，L.F.（1990）.Fundamental Considerations in Language Testing[M].Oxford： Oxford University Press，1990

[7]Haynes，S.N.，&Edward;， S.K， et al. Content Validity in Psychological Assessment： AFunctional Approach to Concepts and Methods[J].American Psychological Association，1995，3，238-247

[8]Lynn，M.R.Determination and Quantification of Content Validity[J]. Nursing Research， 1986，35，382-385

[9]Nunnally， J.C.& Berstein， I.H. Psychometric Theory （3rdED.）[M].New York：McGraw-Hill，1994.

作者簡(jiǎn)介：

牟欣（1978.2.9-），女，漢族，甘肅省蘭州市人，碩士研究生學(xué)歷，講師，研究方向?yàn)榻逃郎y(cè)量，英語(yǔ)測(cè)試的效度與信度，二語(yǔ)習(xí)得的認(rèn)知診斷。