英文寫作測試中選題的實證研究

喬丹丹

摘 要： 英文寫作測試中，因話題難度無固定評估模式，故選題的相關(guān)研究在語言測試設(shè)計者的研究成果中為數(shù)不多。作者通過問卷調(diào)查、深度訪談及測試的方式進(jìn)行了實證研究，分別找出了學(xué)生對不同類型話題的看法、話題難度感知影響因素，對一般和專業(yè)話題難度進(jìn)行了比較，并提出了寫作測試選題難度評估框架，對今后實施正式測試前的難度評估論證環(huán)節(jié)提出了建議，以期對命題公平性作一實證探索。

關(guān)鍵詞： 選題 英文寫作測試 難度評估

一、引言

寫作話題（Writing topic）盡管對英文寫作測試表現(xiàn)和評分有影響，但話題本身只有少數(shù)測試設(shè)計者和研究者進(jìn)行研究。Ruth & Murphy（1988）認(rèn)為，話題是寫作和評分可靠性之間的橋梁，適當(dāng)?shù)脑掝}能在某種程度上保證書面測試的有效性。一些研究者（Irmscher，1979；Conlan1982）意識到了話題選擇的重要性，他們的研究顯示，可以選擇非特定話題降低話題對考生寫作的負(fù)面影響，個人話題和社會話題都應(yīng)該被考慮，對于具有相似學(xué)術(shù)背景的學(xué)生來說，與他們的專業(yè)相關(guān)的話題可以成為一種選擇。盡管受試者對寫作成績的關(guān)注相對較少，但一些主要國際語言評估的機構(gòu)做出了一些努力以確保寫作的質(zhì)量。雅思（IELTS）寫作測試公開了話題選擇范圍。托福（TOEFL）在其網(wǎng)站上公開了任務(wù)庫，且測試者被明確告知“以下列表中的話題可能出現(xiàn)在您的實際測試中。在進(jìn)行托?？荚囍?，你應(yīng)該熟悉這份清單”。

二、文獻(xiàn)回顧

1903年，Scott富于開創(chuàng)性地強調(diào)了寫作測試中選擇話題時興趣的重要性，把寫作命題分為話題的公告、話題的興趣激發(fā)、寫作欲望的喚起、寫作方法的建議、無謂努力的防止五個步驟。六十多年后，加拿大教育委員會的寫作命題準(zhǔn)則中既強調(diào)了興趣又強調(diào)了能力，Clark等人（1968）提出了作文命題的準(zhǔn)則和四個標(biāo)準(zhǔn)，提出了“一個好的問題應(yīng)該建立在學(xué)生的興趣和能力上”。Irmscher（1979）提出確保命題質(zhì)量的原則，即好的話題應(yīng)該是有目的、有意義的體驗、具體的、在學(xué)生掌握之內(nèi)、鼓勵寫作的話題。他還提出，提出先驗知識、社會文化背景、文化偏好、情感反應(yīng)、資源等話題選擇指導(dǎo)方針。Conlan（1980）提出要避免政治、種族、煽動和無聊話題。Ruth & Murphy（1988）指出，一些個人話題，如對某政治或宗教人物的看法可能過于敏感或煽動，如個人觀看電視或環(huán)境保護(hù)的觀點可能引出一些陳詞濫調(diào)。Irmscher（1979）提出“指派寫作題目是作文老師最重要的事情之一”，他反對給考生一些個人話題，因為他們可能在某種程度上不能真正展示學(xué)生的寫作能力。他認(rèn)為寫作話題應(yīng)該是有意義的，并提出以下五點確保這一質(zhì)量：好的話題應(yīng)該有目的、有意義的體驗、傾向于具體即時的情況、在學(xué)生掌握之內(nèi)、鼓勵學(xué)生寫作。Kitao等人（1990）列出了可答性、知識、動機和寬泛等因素。Bachman（1990）指出，測試得分只有當(dāng)話題難度合適時才真正有意義。Douglas（2000）建議在寫作測試中設(shè)置分專業(yè)子話題。Hamp-Lyons等人（2004）指出，被專家評分員判定為較難的話題，考生并不一定表現(xiàn)較差。Salimi & Fatollahnejad（2012）研究得出，學(xué)習(xí)者對話題的熟悉度影響談判含義的傾向性。

國內(nèi)的情況和英語國家相似。在寫作評價研究中，很少有涉及寫作話題的系統(tǒng)研究。英語專業(yè)考試（TEM）為了避免負(fù)面影響，主要關(guān)注學(xué)校和社會等話題，并利用“情境+標(biāo)題”構(gòu)成話題模式。大學(xué)英語考試（CET）通過實施大范圍的預(yù)測、使用一般性話題和提供大綱以避免話題偏頗。值得注意的是，CET寫作能力的構(gòu)建與TEM的不同。在CET中，發(fā)現(xiàn)和組織信息的能力不如書面英語表達(dá)思想的能力那么重要。在大多數(shù)情況下，學(xué)生只需要為給定的大綱提供簡單的信息。但是在TEM中，產(chǎn)生和組織思想的能力和書面英語表達(dá)思想的能力都是至關(guān)重要的。Chen（1998）認(rèn)為，1995年的話題（兼職工作的優(yōu)點和缺點）比1994年更簡單（電視：好事還是件壞事），因為它更接近學(xué)生的生活。徐永（2006）認(rèn)為，寫作題目的難度影響因素為語言能力、話題知識、篇章知識、試題的指示語、考試時間等。

三、實證研究

為找到評估話題難度的方法，本研究以問卷調(diào)查、深度訪談及測試的方式，在山西省太原學(xué)院、太原工業(yè)學(xué)院、山西建筑職業(yè)技術(shù)學(xué)院、山西藝術(shù)職業(yè)學(xué)院4所高校的100名英語專業(yè)（英語教育專業(yè)和翻譯專業(yè)共31名）及非英語專業(yè)（環(huán)境與安全工程專業(yè)、設(shè)計藝術(shù)專業(yè)、播音主持專業(yè)、裝飾技術(shù)專業(yè)、電氣工程專業(yè)共69名）在校大學(xué)生中進(jìn)行了實證研究。該研究分為三組。

第一組。Ruth & Murphy（1988）認(rèn)為寫作話題分三類：個人話題、社會話題和專業(yè)話題（即關(guān)于學(xué)生研習(xí)領(lǐng)域的話題）。以問卷調(diào)查方式向100名學(xué)生（英語和非英語專業(yè)）提出10個問題，旨在尋找這三類話題的相對難度。采用SPSS對學(xué)生應(yīng)答進(jìn)行分析的結(jié)論是：話題熟悉度和抽象性是影響話題難度的主要因素；沒有證據(jù)表明個人話題比社會話題更容易，也不能表明專業(yè)話題比其他兩個更難；話題熟悉度在確定話題難度方面比內(nèi)容本身發(fā)揮更大的作用。

第二組。本組研究旨在深入探討話題難度是否僅受話題熟悉度和話題抽象性這兩個因素的影響，使用問卷和統(tǒng)計的方式進(jìn)行研究。我們共提供4對寫作題目，69名來自環(huán)境與安全工程專業(yè)、設(shè)計藝術(shù)專業(yè)等非英語專業(yè)的學(xué)生參加了這組研究，他們被要求選出在一對話題中較難的一個并陳述原因。在分析他們的應(yīng)答后，我們看出，話題特性因素及其影響占比為：話題熟悉度（40.8%）、話題抽象性（29.6%）、話題相關(guān)性（14.5%）、話題范圍（8.4%）、情感反應(yīng)（6.7%）。數(shù)據(jù)顯示，前兩項因素的影響力遠(yuǎn)高于其他三項。

第三組。本組研究試圖找出一般話題和專業(yè)話題之間是否存在顯著差異，使用測試和深度訪談的方式進(jìn)行研究。測試環(huán)節(jié)之前實施了評分員培訓(xùn)以提高三位教師的評分員信度，為了避免評分的干擾，三位教師使用分析評分法評分，在內(nèi)容、結(jié)構(gòu)和語言方面分別給分。通過評分員培訓(xùn)，內(nèi)容、結(jié)構(gòu)和語言的評分信度分別為8492、8513、8843，三名評分者的總分信度為8912，三個評分者的平均得分應(yīng)能反映學(xué)生寫作能力的差異。在測試環(huán)節(jié)中，在英語教育專業(yè)和翻譯專業(yè)兩個英語專業(yè)學(xué)生寫作測試中，31名學(xué)生被要求從三個話題中擇一較易者應(yīng)答。話題1是一般性話題，話題2和3與學(xué)生的主修科目有關(guān)。數(shù)據(jù)顯示，17人選擇了專業(yè)話題，14人選擇了一般話題，內(nèi)容分與總分有明顯差異，結(jié)構(gòu)分和語言分很相似。為了更好地理解學(xué)生在這兩類題目上的表現(xiàn)差異，筆者對三個評分因子和總分進(jìn)行T檢驗，分析表明，學(xué)生在內(nèi)容方面存在統(tǒng)計學(xué)上的差異，但結(jié)構(gòu)上的表現(xiàn)卻沒有這種差異，而結(jié)構(gòu)和語言因素可能會使內(nèi)容不同?？傊瑢I(yè)話題的內(nèi)容分較低，但總分沒有顯著差異。深度訪談環(huán)節(jié)中在測試之后立即進(jìn)行，對參加測試的所有31名學(xué)生進(jìn)行訪談，詢問并記錄學(xué)生在選擇話題和寫作時的想法。數(shù)據(jù)表明，學(xué)生在選擇專業(yè)話題還是一般話題時，可能會產(chǎn)生不同的想法（如一般話題比主要話題的分?jǐn)?shù)更高），但結(jié)合測試分析，在寫作的最終評分中沒有發(fā)現(xiàn)與此想法相對應(yīng)的顯著差異，專業(yè)話題的內(nèi)容分較低可能是因為學(xué)生提到的“很少被允許在寫作測試中使用專業(yè)知識”。

研究小結(jié)。綜上所述，本研究第一組找出了學(xué)生對不同類型話題的看法，發(fā)現(xiàn)話題難度受話題熟悉度和抽象性兩個因素的影響。第二組進(jìn)一步找出了話題難度不僅受第一組提到的因素影響，影響學(xué)生對話題難度感知的因素有五個，其中話題熟悉度和抽象性的影響力遠(yuǎn)高于其他因素。第三組比較了一般話題和專業(yè)話題的難度。結(jié)論是：五個影響話題的因素其影響力占比得到數(shù)據(jù)支持，可用于難度評估；一般話題與專業(yè)話題沒有明顯難度差異。

四、寫作話題難度評估建議

基于以上研究結(jié)果，筆者提出了以下評估框架及公式，以幫助命題者更好地評估話題知識難度。話題知識難度（Topic Knowledge Difficulty）評估框架包含話題特性因素及其權(quán)重，參考分值及得分。五個因素分別是話題熟悉度（Topic familiarity）、話題抽象性（Topic abstractness）、話題相關(guān)性（Topic relevance）、話題范圍（Topic scope）、情感反應(yīng)（Emotional reaction），權(quán)重依次為2/2/1/1/1，參考值按因素影響程度分為1/2/3三個分值。具體公式為：P（TKD）=P（TF）*2+P（TA）*2+P（TR）+P（TS）+P（ER）。

在五個話題特性中，因TF和TA的影響力幾乎成倍，故他們的權(quán)重是其他因素的兩倍。根據(jù)這個公式，TKD最小值為7，最大為21。評估參考范圍：TKD<14，話題容易；TKD=14，話題適合；TKD>14，話題難。作為應(yīng)用檢驗，在實證研究第二組中，公式可以用來評價4對話題中的其中1對。話題A要求考生討論高等教育的目的，話題B要求提出改變所在城市的建議。經(jīng)計算話題A難度為12，B為14。結(jié)論為：這對話題不會給考生帶來很大挑戰(zhàn)，B比A更難。

五、選題應(yīng)用建議

本研究提出的寫作話題難度評估框架雖較為粗略，但它既有理論分析又有實證證據(jù)，在一定程度上反映了寫作話題的真實難度。然而，該框架僅在命題者使用話題前的判斷提供參考，在具體選題應(yīng)用中仍需進(jìn)一步論證后方可正式使用。論證方式可以幾個專家命題者一起討論，提出難度相近的幾個子話題，再通過問卷調(diào)查、面試或試測獲得學(xué)生的反饋意見。當(dāng)判斷子話題難度和試測論證這兩步全部實施后，所選話題經(jīng)過嚴(yán)密的證實，可用于正式測試，這樣的話題通常對學(xué)生提出挑戰(zhàn)，使其發(fā)揮真實的寫作水平，有助于提高寫作命題的公平性。

參考文獻(xiàn)：

[1]Ruth， L. & S. Murphy. Designing tasks for the assessment of writing[M]. Ablex， 1988.

[2]Salimi， A. & Fatollahnejad， S.. Iranian Intermediate EFL Learners Written Performance in TBLT[J]. Theory & Practice in Language Studies， 2012.

[3]Bachman L.F. & Palmer Adrian S.. 語言測試實踐[M].上海：上海外語教育出版社，1999.