2013—2018年TEM8段落改錯試題的效度分析

【摘要】本文結(jié)合了2013-2018年的TEM 8段落改錯試題，從考點的錯誤性質(zhì)入手，對其內(nèi)容效度進(jìn)行評估。采用了李筱菊提出的考點層次分析法后發(fā)現(xiàn)：這六年內(nèi)的專八段落改錯試題所處層次較高，重點考點范圍主要是語法和意義，考點分布較為合理，即越來越高對穩(wěn)定性有效性的考驗達(dá)到了測試學(xué)生自由靈活運用語言知識的能力，尤其在真實語用環(huán)境下，學(xué)生能找到錯誤并加以更正。

【關(guān)鍵詞】TEM8；段落改錯；效度

【Abstract】This paper combines the TEM 8 proofreading in the year of 2013 to 2018， and evaluates the contents validity. It’s found that the test level of the proofreading was set high in these six years， the main test points were set in grammars and meaning and the distribution of test points were arranged appropriately through level analysis method proposed by Li Xiaojv. That is to say， increasingly high stability and effectiveness have enabled students to test their ability to use language knowledge freely and flexibly. Students can find the errors and correcting them especially in real environment of language in use.

【Key words】Tem 8； proof-reading； validity

【作者簡介】貴文春（1994.04-），湖南衡陽人，桂林理工大學(xué)，研究方向：外國語言學(xué)及應(yīng)用語言學(xué)。

一、前言

全國高校英語八級考試（TEM8），也被稱為“專業(yè)八級”（為英語專業(yè)高年級設(shè)置的成套檢測考試，為測試其語言的熟練運用能力。）長期以來一直被認(rèn)為是考查綜合性大學(xué)英語專業(yè)學(xué)生英語語言綜合運用能力最高水平的考試。自從1991年中國大陸教育部實施TEM8以來，段落改錯在過去八年來一直是必須審查的考試題型。這部分考試的要求是學(xué)生可以“使用語法，詞匯，修辭和其他語言知識來識別給定段落中的語言錯誤，并提出更正方法”?？荚嚨臏y試目的是為了測試學(xué)生在使用語言知識方面的自由度和靈活性。 特別是在語用學(xué)和真是語境中，使學(xué)生發(fā)現(xiàn)錯誤并加以更正。

二、段落改錯命題背景

段落改錯（proofreading，現(xiàn)已更改為language usage）是我國考試中常見的題型。其題目是給出一段或兩段完整的段落，因此有語境可作為參考。其考點的錯誤類型多樣，因此考點的覆蓋面廣。其答案是大部分都是唯一的，因此評分標(biāo)準(zhǔn)較為客觀。所以，段落改錯試題是能有效地測試學(xué)生語言的準(zhǔn)確性。

劉建達(dá)，楊滿珍（2001）認(rèn)為段落改錯對考生的能力測試已超出語法知識范圍，并且可以測試到考生在詞、短語、句子以及語篇各個層次上的知識。

卲曉霞（2006）主要通過將“圖式理論”引入段落改錯過程的闡釋，她認(rèn)為“圖式理論”可解釋段落改錯中過程及選擇機制，考生在段落改錯不同階段需調(diào)用語言和內(nèi)容圖式，并結(jié)合語言中獲得的信息，達(dá)達(dá)到改錯目的。

以上研究都沒有提到段落改錯題型自身的問題：即是否能否反映受試者的語言水平。本文從2013-2018年全國高校英語專業(yè)八級歷年段落改錯真題入手，分析真題是否考了學(xué)生的綜合語言水平；受試答題是否要求語境理解；是否是只要句子層面的理解就能找出錯誤。

三、試題分析

Bachman（1990：130）認(rèn)為，雖然長度本身可能不是影響性能的一個關(guān)鍵方面，但語言樣本越長，下面討論的其他特性的潛在影響就越大。文章長度指的是在專八改錯試題中所給出文章的總詞數(shù)。然而，段落改錯試題要求的不僅僅是受試者的閱讀能力，而是要求受試者在讀出在錯誤的同時更正錯誤。

段落改錯試題詞數(shù)長度表：

從表中我們可以看出，2013至2015年的段落改錯試題詞數(shù)長度有著較大的差距。字?jǐn)?shù)最少的2013年總字?jǐn)?shù)為204詞，詞數(shù)最多的2017年總次數(shù)達(dá)到319詞，總詞數(shù)差距超過100詞。同時，這六年的平均詞數(shù)為242.3詞。

在專業(yè)八級考題大綱中要求到：段落改錯的文章詞數(shù)大概在250詞左右。參照這一標(biāo)準(zhǔn)，其中只有2017年段落改錯的總詞數(shù)超過250詞，其他五年并未達(dá)到這里標(biāo)準(zhǔn)，并且這六年的平均詞數(shù)也少于250詞。因此從段落長度來評判信度的可行的。

1.傳統(tǒng)分析。表1把2013-2018TEM8歷年考試真題的錯誤按詞匯、搭配、語法和語篇分為四類并統(tǒng)計其考點錯誤頻數(shù)。

表中所列詞匯錯誤涉及詞的語義差別以及詞語辨析；搭配錯誤多為動詞搭配，介詞搭配和其他固定搭配；語法錯誤是以句子為單位；語篇標(biāo)準(zhǔn)是至少要求兩個或兩個以上的句子才能找出錯誤的。

從圖中可以看出，2013-2018歷年的段落改錯考試真題中，錯誤類型主要以語法改錯題為主，這類錯誤題數(shù)大都占了總試題數(shù)的一半以上。搭配的詞匯考點都是考詞匯辨析，或是形近詞，與上下文語篇沒有關(guān)系，屬于只要記得準(zhǔn)就能答對的題。表中的詞匯考點是詞匯辨析類型或詞組搭配，屬于搭配使用上的錯誤，但其詞語自身并無語法錯誤，從圖中可見涉及的都很少。最后篇章考點的數(shù)目也很少，并且錯誤幾乎全都集中在容易找見的原因，承接，轉(zhuǎn)折的連詞上。

例如，語法改錯類題：

It’is only in exceptional circumstances （應(yīng)加that）we might become aware of the complexity involved.（2013年TEM8段落改錯第五題）

l What is the explanation for the fact（應(yīng)加that）adults have more difficulty in acquiring additional languages than children have？（2014年TEM8段落改錯第四題）

That is， the spotlight is on what mental capabilities are involving，what（改成how）psychological factors play a role in the learning or acquisition， （2014年TEM8段落改錯第九題）

Often we can indeed infer from the context what a word roughly means， and that is in fact the way（應(yīng)加in）which we usually acquire both（2015年TEM8段落改錯第六題）

But often this opportunity does not exist for the learner of English. So dictionary have been（去掉been） developed for mend the gap.（2015年TEM8段落改錯第十題）

詞匯辨析類題：

I try to infer its meaning from the context. “Plush” was clearly intended as a complimentary（改成 compliment）， a positive evaluation；（2015年TEM8段落改錯第三題）

內(nèi)容效度又稱邏輯效度，是指項目對將要預(yù)測的內(nèi)容范圍取樣的適當(dāng)程度，即測量內(nèi)容給的適當(dāng)性和相符性。在英語專八考試中給的內(nèi)容效度，是指考題是否考了大綱規(guī)定要考的內(nèi)容，或是指考題在多大程度上代表了它所要測量的目標(biāo)（劉建達(dá)，2001）。依據(jù)這個標(biāo)準(zhǔn)，段落改錯的內(nèi)容效度不太高，他的內(nèi)容效度對于語言測試類型的覆蓋并不平均，僅僅只是測試了大學(xué)階段應(yīng)掌握的基礎(chǔ)語法知識。要想設(shè)計和使用合適的語言測試，要準(zhǔn)確定義所測能力及觀察和測量的方法。當(dāng)前的第三代語言測試應(yīng)該是交際語言測試，主要測試交際能力（包括知識、技能、能力），分為語言能力，語篇能力，語用能力（李筱菊，1997）。

從分析上看出，段落改錯的試題表面效度較低，相對于其他題型的難度也較低，因其十分注重意義的準(zhǔn)確表達(dá)，因此在語碼及語言形式上會有較多關(guān)注。語法錯誤的辨析，短語搭配的準(zhǔn)確性，在TEM8這樣不注重語法和詞匯的考試中稍顯偏重。段落改錯是測試語言能力，但這類題型只限制于語法能力的測試。在語篇能力的測試偏輕，并且沒有在整體篇章的基礎(chǔ)上測試其語言能力。因此段落改錯試題在選題上應(yīng)選擇語篇連貫性顯著，上下文互動明顯的短文，并且要提高題目的層次，著重將考試題重點覆蓋在語篇層面和意義的理解辨析上，提高文章深度，可加入修辭方面的辨析題，讓英語專業(yè)學(xué)生的做題水準(zhǔn)并不僅是停留在語法語句和詞語搭配上的修改上，而是將眼光放高到語篇、修辭、文體上。

2.層次分析法。層次分析方法最開始是用于分析完形填空試題的考點效度，主要用來測試完形填空試題的內(nèi)容質(zhì)量。由于完形填空和段落改錯都屬于C類試題，二者有著共同的理論依據(jù)，并且有著許多相似之處，因此英語專業(yè)八級也可用層次分析法進(jìn)行考點效度分析。

此方法是將完型填空的填空或段落改錯題型的錯誤按照語篇Discourse、句子Sentence、詞組Phrase、單詞Word分成四個層次。這四個層次的劃分依據(jù)是在填寫這個詞的時候，需要考慮多廣的上下文，才能作出決定。也就是說這個詞的決定，受什么語境的限制（李筱菊，1997）。同樣在段落改錯中，對錯誤點進(jìn)行曾刪改補的行為受什么層次語境的制約。

將2013-2018年TEM8歷年段落改錯考試真題的錯誤按照這四個層次，將其分成四類并統(tǒng)計其考點錯誤頻數(shù)制作成表（見表2）。

從該表來看，詞匯層面的考點在近六年基本保持一定數(shù)量不變。即使段落改錯是為測試語言學(xué)習(xí)者高水平語言能力，但還是有涉及詞匯層面的測試。由于段落改錯核心是考形式而不是考意義，因此試題對題層次的要求不完全如完心填空那樣，任何情況之下都是越高越好（李筱菊，1997）。除此之外，從表中跟我們可以預(yù)估在今后的專八段落改錯中，詞匯層面的考點仍然會覆蓋1-2道題。

詞組層面的考點少多于詞匯層面的考點。從表中可看出，近六年詞組層面的考點，包括固定表達(dá)、固定搭配或諺語，幾乎都是確定數(shù)量的，但也從未超出過3題。對考生來說這個層次的考點不難，因此即便是必要考點，也會控制其數(shù)量。詞組和語法改錯題大概占到總題量的三分之一，但這并不表示在高級語言考試中，等級低的語法結(jié)構(gòu)就不重要了，在段落改錯題型是以語碼為基礎(chǔ)，而不是意義為基礎(chǔ)。此外，通過表2可以看出，專八段落改錯題是以高級語法結(jié)構(gòu)的句子和語篇改錯占總題量的百分之七十，為主要改錯題型。李筱菊（1997）認(rèn)為，越高級的考試應(yīng)考察越高級的考點?？紤]到這一點，專八跟更側(cè)重于測試考生的語言理解能力，這與高級語言考試的考點目的相一致。因此，專八段落改錯中句子與語篇層面題型數(shù)目所占的高比例保證了專八考試的效度。再者，因為專八中無單項語法題，在短文改錯試題中保留一定數(shù)量對語法知識考察的題目對整套專八試題來說是一種平衡，是科學(xué)合理的。

四、結(jié)論

本文分別通過傳統(tǒng)分析法和層次分析法對2013年至2018年英語專八真題進(jìn)行了分析。通過傳統(tǒng)分析法得出段落改錯的試題表面效度較低，相對于其他題型的難度也較低，因其十分注重意義的準(zhǔn)確表達(dá)，因此在語碼及語言形式上會有較多關(guān)注。在語篇能力的測試偏輕，并且沒有在整體篇章的基礎(chǔ)上測試其語言能力。因此段落改錯試題在選題上應(yīng)選擇語篇連貫性顯著，上下文互動明顯的短文，并且要提高題目的層次。層次分析法得出專八段落改錯中句子與語篇層面題型數(shù)目所占的高比例保證了專八考試的效度。再者，因為專八中無單項語法題，在短文改錯試題中保留一定數(shù)量對語法知識考察的題目對整套專八試題來說是一種平衡，是科學(xué)合理的。

參考文獻(xiàn)：

[1]高等英語專業(yè)八級考試大綱修訂小組編.高等英語專業(yè)八級考試大綱（2004年新版）[M].上海：上海外語教育出版社，2004.

[2]韓景峰.專八成段改錯的效度分析[J].忻州師范學(xué)院學(xué)報， 2007（6）.

[3]李彬彬.TEM8之校對與改錯成績分析及其解題策略[J].懷化學(xué)院學(xué)報，2007（8）.

[4]李莜菊.語言測試科學(xué)與藝術(shù)[M].長沙：湖南教育出版社，1997.

[5]李玉英.淺談TEM8中Proofreading考項的反思性教學(xué)[J].江西師范大學(xué)學(xué)報，2007（4）.

[6]劉會鐲.基于語料庫的TEM8短文改錯內(nèi)容效度分析[D].武漢科技大學(xué)，2010.

[7]劉建達(dá)，楊滿珍.成段改錯試題考了什么[J].現(xiàn)代外語，2001（2）.

[8]婁喜祥.英語專業(yè)八級新舊版短文改錯題信度與效度研究[J].牡丹江師范學(xué)院學(xué)報，2007（3）.

[9]Bachman，L.F.The trait stucture of cloze test scores[M].TESOL Quarterly，1982（16）：61-67.