基于Bachman的測試使用論證理論的外語寫作能力研究

孫琪，張威

（東北大學，遼寧沈陽 110819）

Lyle Bachman教授是語言測試方面的專家，他的測試使用論證理論（Assessment-use-argument）為外語測試提供了指導，具有里程碑式的意義。外語教師在設(shè)計外語測試時，應(yīng)該具備一定的測試素養(yǎng)（test literacy）。AUA理論可以用來指導外語教學測試，為受試者的外語水平提供更加科學的評估。該研究設(shè)計選取在通過大學英語四級后進行學術(shù)英語寫作訓練的大學二年級學生作為研究對象，通過將學期初和學期末的寫作測試中的構(gòu)念對比，發(fā)現(xiàn)了學術(shù)英語寫作過程（procedure）對英語寫作能力的提高。

1 研究背景

學術(shù)英語是大學英語教學轉(zhuǎn)型的重要內(nèi)容之一，其目的在于培養(yǎng)學生的學術(shù)素養(yǎng)，提高學術(shù)論文的寫作水平。學術(shù)英語教學包括幾個模塊，其中包括學術(shù)寫作的過程、學術(shù)閱讀技巧、聽講座的能力，做筆記（Note-taking）的技巧等內(nèi)容。其中涉及聽說讀寫譯的相關(guān)能力，以及由通用英語向?qū)W術(shù)英語過渡的認知和比較 （孫琪，2017）。這樣一個龐雜的系統(tǒng)的核心是什么？是學術(shù)英語寫作。教學的大部分的內(nèi)容圍繞著學術(shù)英語寫作的過程而進行。另外，學術(shù)英語寫作和雅思寫作從內(nèi)容和形式上極為相似。其中的圖表寫作和雅思寫作的Task1完全一致。學術(shù)英語寫作的過程包括對題目進行分析、找出關(guān)鍵詞、閱讀相關(guān)的文獻、主旨閱讀、做閱讀筆記、組織觀點、列提綱、起草論點論據(jù)、修改內(nèi)容等步驟。其中還夾雜著使用正確的時態(tài)、典型表達、從句等語法內(nèi)容。該研究是基于在學術(shù)英語教學的過程中進行的一項歷時研究。歷時研究是語言研究中常用的一種研究方法。

2 理論依據(jù)

Bachman&Palmer于2010年提出測試使用論證（AUA）的理論框架。此理論是Bachman吸收Messicak等人的“效驗即舉證”的思想，并擴展Kane等人基于論證的效驗方法，提出了適用于行為測評及其他測試或測量的“基于論證的效度構(gòu)建框架”這一框架把測評行為和基于測評結(jié)果做出的決策聯(lián)系在一起，形成一個AUA框架鏈（徐啟龍，2012）。測試效度論證包括如何運用質(zhì)化和量化的各種方法，運用恰當、有效的測試工具對受試的語言能力進行測量，并能對測試表現(xiàn)做出合理的解釋和使用，即效驗理論。效度論證主要包括六大要素:主張(claim)：對受試能力的解釋;依據(jù)(data):受試在測評過程中的行為及測評過程的特征;理據(jù)(warrant):陳述基于數(shù)據(jù)的觀點的合理性;支撐依據(jù)(backing):用來支撐根據(jù)的理論或現(xiàn)有的證據(jù)；反駁(rebuttal):與預(yù)期結(jié)論相反的解釋;反駁依據(jù)(rebuttals):用于反證的證據(jù)。

在《語言測評實踐：現(xiàn)實世界中的測試開發(fā)與使用論證》一書中提到，測試的主要目的是收集信息用于決策，這些決策一定對測試利益攸關(guān)者帶來影響。衡量一項測試的使用是否達到了預(yù)期目的，無非就是衡量測試使用者所做的決策能否為相關(guān)人員帶來“有益影響”這些決策依照什么得出？要依照對考生語言能力的“解讀”，這些解讀要參照測試記錄，二測試記錄由考生的完成的語言測試任務(wù)的作答表現(xiàn)得出，因此，形成了一個完整的鏈條。這就是AUA理論的雛形（韓寶成、羅凱洲，2015）。這五個環(huán)節(jié)之間的關(guān)系是逐層推理、緊密聯(lián)系的，每一層都需要經(jīng)過“主張-證據(jù)”論證，上一輪推理過程的“主張”經(jīng)過理據(jù)與反駁的驗證即成為下一輪推理的“證據(jù)”，其中測試表現(xiàn)本身不需要論證，只是為測試論證過程提供證據(jù)(戴瑜、李廉，2018）。

辜向東（2008）用圖表解釋了測試使用論證和測試效度論證之間的關(guān)系。測試的設(shè)計與開發(fā)要建立在受試的能力之上，這種主張要有一定的理據(jù)，測試的結(jié)果是對考生能力的解釋，這種解釋也要有意義性、關(guān)聯(lián)性、充分性、無偏性、概括性，然后測試能夠推廣到目標語言使用域（TLU）。

3 研究設(shè)計

該研究在設(shè)計時，以Bachman使用論證理論為設(shè)計依據(jù)，考慮到理論指導實踐的原則，指出了AUA理論的六要素在該文中的應(yīng)用。該部分由研究問題、受試、研究材料的收集以及研究步驟幾部分組成。

3.1 研究問題

（1）學術(shù)英語寫作過程中的要素是否在此次考試中得以考查？我們對學生的學術(shù)英語寫作能力的推斷是什么？

（2）受試對測評任務(wù)反應(yīng)的交互性如何？測評任務(wù)在多大程度上涉及了擬測能力？

（3）測試結(jié)果的概化域是什么？測試能夠推廣到目標語言使用域？

（4）受試者在接受測評任務(wù)時的反應(yīng)是否是真實的？與接受現(xiàn)實世界任務(wù)是的反應(yīng)是否是一致的？

3.2 受試

東北大學學術(shù)英語一授課對象來自不同專業(yè)四個班級的175名大學二年級本科生，在此之前他們都通過了大學英語四級測試，且分數(shù)都在425～560分之間。根據(jù)前測的成績分別將一高一低的組合組成了實驗班和對照班，使實驗對象處于同一水平，同時，由于基于寫作平臺iwrite 2.0進行了水平前測，因此測試的結(jié)果比較可信（主張）。

3.3 研究材料的收集

通過收集學期初的基于iwrite平臺中的寫作語料對比期末考試系統(tǒng)中學生寫作的語料，并對比主要客觀因素的差異包括：平均分、錯誤類型統(tǒng)計（主謂一致錯誤，拼寫錯誤，搭配錯誤，語用錯誤）、客觀特征統(tǒng)計:（型符（token）、字符(type)、詞群(family)，TTR(Type Token Ratio)，LTTR(Local Type Token Ratio)，Lemma(詞型還原)作為衡量學生寫作水平的要素。平臺自動標記錯誤數(shù)量，并得出所占百分比。主謂一致錯誤是指，主語的單復(fù)數(shù)搭配動詞原型第三人稱單復(fù)數(shù)的錯誤，例如And the lowest percentage are between 18 and 25 at about 16%。主語單詞應(yīng)該搭配系動詞的單數(shù)形式is。搭配（collocation）是學術(shù)英語教學中的語法重點，學術(shù)寫作中的搭配包括動詞副詞的搭配和形容詞名詞的搭配。如圖表作文中用于描述圖形變化的短語：rise sharply，steady rise，drop slightly，slow decrease etc.語用錯誤包括連詞缺失、慣用語錯誤等。客觀特征統(tǒng)計中Lemma指英文單詞的權(quán)威、詞典及引用形式。如went的詞元是go.這一統(tǒng)計量，常用于語料庫研究中的頻率統(tǒng)計；TTR:類符/形符比，它是衡量文本中詞匯密度的常用方法；LTTR:Local TTR，本地化的類符/形符比（依據(jù)）。

3.4 研究步驟

步驟一：筆者布置兩篇作文，一篇為圖表作文，題目是British People Giving Money to Charity by Age Range for the Years 1990 and 2010。另外一篇是Describe the Process of Writing Academic Essay.這兩篇作文一篇在學期初完成，一篇在學期中完成。作為前測研究，分析學生在寫作方面的水平，是歷時研究的起點。筆者選取外研社的iwrite2.0寫作平臺進行寫作測試，讓四個班分別通過兩種方式進行，其中的實驗班要求使用學術(shù)英語的寫作步驟進行，而對照班的學生則不提出任何具體的要求。觀測學生寫作水平的差異（理據(jù)）。

步驟二：通過一個學期的學術(shù)英語水平訓練，讓學生在期末考試中再完成一篇作文，以觀測學生的期末寫作成績的變化。通過比較研究和歷時研究追蹤學生的英語寫作水平的變化。

4 研究結(jié)果

兩次作文通過iwrite寫作平臺得到的實驗班和對照班的平均成績都為10.5分 （滿分15分）。因此將錯誤統(tǒng)計中的拼寫錯誤和標點錯誤作為主要統(tǒng)計量，拼寫錯誤和標點錯誤占比越高說明犯得低級錯誤越多，則表明寫作水平較差。研究結(jié)果表明實驗一班的拼寫錯誤和標點錯誤占比72%，實驗二班82%，對照班則為70%和71%。因此，通過寫作指導并不能拉開學生之間的分數(shù)差距（反駁）。

期末測試的寫作是基于學術(shù)英語一題庫中出現(xiàn)的一系列寫作題目展開的，其中的題目圍繞著科學、教育、社科、生活等熱點話題如government overspending of space exploration;addiction to online shopping。但是出現(xiàn)差異的原因是什么還有待于進一步探索。例如，筆者在課堂教學中發(fā)現(xiàn)對照班的課堂氛圍并不是很活躍，相反實驗班有較好的課堂氣氛和學習熱情（反駁的理由）。因此，下一步的研究應(yīng)該包括學習熱情或?qū)W習氣氛對英語成績的影響。測試過程中的交互性較好，通過對寫作文本的觀察，所有的受試均能較好地完成任務(wù)，測試內(nèi)容與教學實際高度趨同，因此并在很大程度上測試了擬測能力。

根據(jù)學生的期末成績分數(shù)統(tǒng)計表明學生經(jīng)過一個學期的學術(shù)英語訓練，成績都有所提高，但是提高的幅度稍有差異，對照班成績明顯高于實驗班，證明學術(shù)英語的各個學習環(huán)節(jié)能夠有效地提高學生的寫作水平。測試內(nèi)容與測試構(gòu)念高度相關(guān)，測試的內(nèi)容和形式不偏袒任何考生，每個考生的機會均等。測試反應(yīng)的交互性良好，所有考生都完成了測試，考試平臺的反饋真實。測評反映和現(xiàn)實世界任務(wù)中的反應(yīng)一致，測試有可能推廣到目標語言使用域。