2016年TEM4改革前后閱讀任務(wù)內(nèi)容效度的對(duì)比分析

劉敏 崔婷婷

【摘 要】 本研究以2013-2018年6套TEM4閱讀試題為研究對(duì)象，從語(yǔ)篇輸入及預(yù)期回答兩個(gè)角度對(duì)2016年改革前后的閱讀任務(wù)進(jìn)行對(duì)比分析，以期為TEM4閱讀試題的編寫提供建議，進(jìn)一步促進(jìn)TEM4對(duì)教學(xué)積極的反撥效應(yīng)。

【關(guān)鍵詞】 TEM4閱讀任務(wù);語(yǔ)篇輸入;預(yù)期回答;對(duì)比分析;反撥效應(yīng)

一、研究背景

英語(yǔ)專業(yè)四級(jí)考試（TEM4），作為一項(xiàng)標(biāo)準(zhǔn)參照性教學(xué)檢查類考試，從上世紀(jì)90年代初面向全國(guó)英語(yǔ)專業(yè)二年級(jí)學(xué)生推出，至今已實(shí)施近30年。隨著考試人數(shù)的逐年遞增與考試題型的優(yōu)化改革，TEM4已被公認(rèn)為是一項(xiàng)大規(guī)模標(biāo)準(zhǔn)化的考試。2015年8月，外語(yǔ)專業(yè)教學(xué)測(cè)試委員會(huì)出臺(tái)了《關(guān)于英語(yǔ)專業(yè)四級(jí)考試（TEM4）題型調(diào)整的說(shuō)明》（以下簡(jiǎn)稱《調(diào)整說(shuō)明》）。2016年3月，改革后的TEM4正式實(shí)施。此次改革對(duì)閱讀任務(wù)做了以下調(diào)整：在考試時(shí)間上，閱讀和答題時(shí)長(zhǎng)從25分鐘增加到35分鐘;在考試內(nèi)容上，閱讀文章從4篇減少為3篇;在考題形式上，由傳統(tǒng)的20道選擇題調(diào)整為10道選擇題加5道簡(jiǎn)答題。改革前后閱讀任務(wù)部分的分值與其總權(quán)重均保持不變。[1]

作為效度整體觀的重要組成部分，內(nèi)容效度旨在評(píng)估考試內(nèi)容與考試大綱的吻合程度?？荚噧?nèi)容是否具有覆蓋性和 代表性是評(píng)價(jià)內(nèi)容效度的兩項(xiàng)重要指標(biāo)。Hughes認(rèn)為內(nèi)容效度越高，考試越可能準(zhǔn)確地測(cè)量要考查的能力。反之，如果考試規(guī)范或大綱中所規(guī)定的內(nèi)容沒(méi)有在試題中得到充分體現(xiàn)，這個(gè)考試則不能作為準(zhǔn)確的測(cè)量工具。另外，內(nèi)容效度低的考試還會(huì)產(chǎn)生消極的反撥效應(yīng)，因?yàn)榭荚嚊](méi)有考查的內(nèi)容，在教學(xué)活動(dòng)中往往會(huì)被刻意忽略。[2]因此，內(nèi)容效度既是收集考試效度證據(jù)的一個(gè)重要途徑，也是決定考試能否產(chǎn)生積極的反撥效應(yīng)的一個(gè)重要因素。

國(guó)內(nèi)學(xué)者對(duì)TEM4閱讀任務(wù)的研究多集中在2016年TEM4改革之前，同時(shí)，對(duì)于改革后的試題研究也多以單一年份的試題為對(duì)象。劉寶權(quán)分析了2015年《調(diào)整說(shuō)明》附件中的專四樣題。[3]何錫梗對(duì)比了改革前五年的考題和2016當(dāng)年的閱讀考題。[4]關(guān)于TEM4閱讀任務(wù)的內(nèi)容效度研究雖取得一定成果，但對(duì)改革后的題型分析多集中于2016年考題，分析樣本單一，針對(duì)新舊題型的對(duì)比分析也較為空缺。鑒于TEM4的影響力，以及這次改革在閱讀任務(wù)的題型、題量、和考試時(shí)間上的多方面調(diào)整，從內(nèi)容效度視角對(duì)2016年改革前后的閱讀任務(wù)進(jìn)行對(duì)比分析十分必要。

二、研究設(shè)計(jì)

1、研究目的

本文旨在探討改革后的閱讀試題是否具備更好的內(nèi)容效度、是否改進(jìn)了之前試題中存在的不足，以期為閱讀試題的完善與改進(jìn)提供有價(jià)值的參考。

2、研究對(duì)象

本文以近6年TEM4閱讀理解任務(wù)為研究對(duì)象，其中2013-2015年為改革前的3套試題;2016-2018年為改革后的3套試題?？傆?jì)文章21篇，考題105道。

3、研究框架

本文以Bachman和Palmer提出的任務(wù)特性框架為理論依據(jù)，[5]結(jié)合《調(diào)整說(shuō)明》所規(guī)定的選材原則、測(cè)試要求、目的，制定 TEM4閱讀測(cè)試內(nèi)容效度的分析框架。其中，語(yǔ)篇輸入任務(wù)特征主要包括體裁、題材與語(yǔ)言難度（易讀度）;預(yù)期回答任務(wù)特征主要包括回答類型和技能考察。

三、研究結(jié)果與分析

1、語(yǔ)篇輸入任務(wù)特征

（1）2004版大綱和2016年的《調(diào)整說(shuō)明》均規(guī)定TEM4閱讀材料的體裁應(yīng)多樣化，包括記敘文、描寫文、說(shuō)明文、議論文、廣告、說(shuō)明書、圖表等體裁。[1][6]表1統(tǒng)計(jì)了近6年TEM4閱讀任務(wù)的體裁。可以看出，改革前后閱讀任務(wù)在體裁上的相同點(diǎn)是：議論文與記敘文占比最大，說(shuō)明文與描寫文占比較小。不同點(diǎn)是：調(diào)整后議論文的比例由59%降為45%;說(shuō)明文與描寫文的占比由8%上升為11%。而廣告、說(shuō)明書、圖表這三種應(yīng)用文體在近6年中從未被考察過(guò)。

議論文著重考察考生的批判性思維與思辨能力，確實(shí)是國(guó)內(nèi)標(biāo)準(zhǔn)化考試中占比較大的體裁。但應(yīng)用類文本具有真實(shí)性和實(shí)用性的特點(diǎn)，不應(yīng)被忽略，改革后閱讀材料的選取雖然更加注意體裁分布的合理化，但仍舊未對(duì)應(yīng)用文這一體裁的考察空缺進(jìn)行填補(bǔ)。

（2）《調(diào)整說(shuō)明》規(guī)定TEM4閱讀材料的題材應(yīng)廣泛化，涵蓋社會(huì)、科技、文化、學(xué)習(xí)、常識(shí)、人物傳記等方面。 [1] 《調(diào)整說(shuō)明》在選材上用學(xué)習(xí)取代了2004版大綱中的經(jīng)濟(jì)題材。表2中用“教育”涵蓋“學(xué)習(xí)”這一新增題材和改革前的相關(guān)文章?？傮w來(lái)說(shuō)，改革前后近六年的選材中社會(huì)題材占比最大，21篇文章中有9篇文本是和社會(huì)話題相關(guān)的。改革前的閱讀材料僅次于社會(huì)話題（50%）的是科技和教育，占比分別為17%，文化和人物傳記各有一篇，占比均為8%。

改革后的閱讀材料則是社會(huì)、科技和文化三種話題平分秋色，對(duì)人物傳記和教育話題的考察尚未體現(xiàn)，近六年的考題從未涵蓋常識(shí)類文章。從反撥效應(yīng)角度來(lái)講，題材不夠廣泛會(huì)導(dǎo)致考生選擇性地進(jìn)行“應(yīng)試閱讀”，即只重視頻繁考察的話題，不能積極主動(dòng)地拓寬閱讀面。由此可見，在題材選擇上，改革后的閱讀任務(wù)內(nèi)容效度有所下降，命題人應(yīng)進(jìn)一步拓寬話題的涵蓋面 保持題材的合理均衡。

（3）TEM4閱讀材料的語(yǔ)言難度應(yīng)接近英美國(guó)家出版的語(yǔ)言難度中等的文字材料。[1]易讀度是用于衡量文字材料易于閱讀理解的程度的一個(gè)重要概念，與文字材料的句子長(zhǎng)度、語(yǔ)法復(fù)雜程度等因素密切相關(guān)。[7]本研究采用Flesh易讀度計(jì)算公式對(duì)近6年閱讀試題的難易度進(jìn)行計(jì)算。易讀度數(shù)值越高，文字材料越易于閱讀。表3統(tǒng)計(jì)了每年閱讀材料的總字?jǐn)?shù)、年平均易讀度、改革前后字?jǐn)?shù)和易讀度的總平均值。

2004版大綱和2016年的《調(diào)整說(shuō)明》均規(guī)定TEM4閱讀材料的長(zhǎng)度在1800個(gè)單詞左右。[1][6]改革前每年的閱讀總字?jǐn)?shù)均少于1800字，而改革后總字?jǐn)?shù)則多于1800字。改革前三年閱讀材料的平均難度為61.99，語(yǔ)言難度介于中等（Standard）與偏難（Fairly difficult）之間，稍微偏難;改革后的平均易讀度為63.73，難度有所下降，位于中等難度（Standard）的中間范圍內(nèi)。

可以看出，近六年的試題在閱讀量上呈現(xiàn)遞增趨勢(shì)。文章數(shù)量由改革前的4篇縮減為3篇，但總字?jǐn)?shù)逐年遞增;改革后每篇文章的信息輸入增多，但考試時(shí)間也增加了10分鐘;閱讀材料的難度略微降低。閱讀試題的命制在調(diào)整的基礎(chǔ)上兼顧各方面的均衡。

2、預(yù)期回答

（1）從回答類型來(lái)看，新增的5道簡(jiǎn)答題力圖降低應(yīng)試技巧和猜測(cè)因素對(duì)考察學(xué)生閱讀能力的干擾。在改革后的15道簡(jiǎn)答題中，推斷題占比最高（53%）;細(xì)節(jié)題居于次位（27%），釋義題和大意題分別占13%和7%。簡(jiǎn)答題通過(guò)對(duì)學(xué)生語(yǔ)言輸出能力的考察，不僅有助于提高試題效度，而且能促進(jìn)對(duì)教學(xué)積極的反撥效應(yīng)。

（2）根據(jù)2004版大綱和2016年的《調(diào)整說(shuō)明》，本文將閱讀技能劃分為大意類、細(xì)節(jié)類、釋義類和推斷類。如表4所示，改革前的TEM4閱讀任務(wù)中，細(xì)節(jié)類的題目占比最高，達(dá)到55%;推斷類、釋義類、大意類技能占比差距較小。由此可見，調(diào)整前的TEM4閱讀試題注重對(duì)考生檢索細(xì)節(jié)并整合信息能力的考察。

改革后的閱讀任務(wù)中，細(xì)節(jié)類題目依舊占比最高，但比例由55%下降為38%;同時(shí)，推斷類題目比例由18%上升為36%，大意類題目的考察比例也有所上升。由此可見，改革后的閱讀任務(wù)考察的技能側(cè)重點(diǎn)有所變化，在延續(xù)對(duì)細(xì)節(jié)檢索能力考察的同時(shí)，加大了對(duì)考生推理判斷能力的考察，旨在檢驗(yàn)考生對(duì)文本深層次的理解。因此，改革后的TEM4閱讀試題在閱讀技能考察方面有更高的內(nèi)容效度。

四、總結(jié)與建議

研究結(jié)果表明，改革后TEM4閱讀任務(wù)中體裁分布更為合理，簡(jiǎn)答題的設(shè)計(jì)提高了試題效度，對(duì)閱讀技能的考察比例分布更加均衡，內(nèi)容效度總體上有明顯進(jìn)步。但閱讀任務(wù)的題材涵蓋略為集中，各題材的考察比例分布明顯不均，內(nèi)容效度仍有提升空間。命題人可適當(dāng)增大應(yīng)用文在體裁中的占比，并提高對(duì)教育、常識(shí)等題材的涵蓋度，促進(jìn)試題對(duì)教學(xué)積極的反撥效應(yīng)。

【參考文獻(xiàn)】

[1] 高校外語(yǔ)專業(yè)教學(xué)測(cè)試辦公室.關(guān)于英語(yǔ)專業(yè)四級(jí)考試（TEM4）題型調(diào)整的說(shuō)明[R]. 2016.

[2] Hughes， A. Testing for Language Teachers. Cambridge： Cambridge University Press，1989.

[3] 劉寶權(quán)，胡芳芳.英語(yǔ)專業(yè)四級(jí)閱讀測(cè)試效度研究——以TEM4（2016）新大綱樣題閱讀任務(wù)為例[J].外語(yǔ)電化教學(xué)，2018（1）70-75.

[4] 何錫梗.新考綱下2016年英語(yǔ)專業(yè)四級(jí)考試閱讀理解題的延續(xù)與創(chuàng)新[J].寧德師范學(xué)院學(xué)報(bào)（哲學(xué)社會(huì)科學(xué)版），2016（3）90-94.

[5] Bachman， L. F. & A. S. Palmer. Language Testing in Practice [M]. Oxford： Oxford University Press， 1996.

[6] 高等學(xué)校英語(yǔ)專業(yè)四級(jí)考試大綱修訂小組.高校英語(yǔ)四級(jí)考試大綱（2004年新版）[M].上海：上海外語(yǔ)教育出版社，2004.

[7] 辜向東，關(guān)曉仙.CET閱讀測(cè)試與大學(xué)英語(yǔ)閱讀教材易讀度抽樣研究[J].西安外國(guó)語(yǔ)學(xué)院學(xué)報(bào)，2003（3）39-42.

【作者簡(jiǎn)介】

劉 敏（1977—）女，陜西西安人，博士，西安外國(guó)語(yǔ)大學(xué)英文學(xué)院講師，主要從事語(yǔ)言測(cè)試及英語(yǔ)教學(xué)研究.

崔婷婷（1998—）女，廣東茂名人，西安外國(guó)語(yǔ)大學(xué)英文學(xué)院本科生.