英語寫作評分量表研究

房雅琨

(西安外國語大學(xué)英文學(xué)院，陜西 西安 710100)

一、引言

評分是語言測試中的重要一環(huán)，而評分量表是評分過程的核心。寫作評分量表，有時也被稱為寫作評分標(biāo)準(zhǔn)，它體現(xiàn)了寫作測試的構(gòu)念，其設(shè)計對分?jǐn)?shù)的普遍性、對考生能力預(yù)測的精確性、對分?jǐn)?shù)的信度有著直接的影響。評分量表可用于基于形成性評估方法的教學(xué)(Panadero＆Jonsson，2013)，在寫作過程中使用評分量表有助于學(xué)習(xí)者提升寫作質(zhì)量(Greenberg，2015)。鑒于評分量表在寫作評估中的重要地位，文章對英語寫作評分量表的幾個關(guān)鍵問題進(jìn)行了梳理和討論，分析了評分量表的功能，評分量表的四個類別及各自的特點，量表設(shè)計的方法和典型案例，以期為我國英語寫作測試評分量表的研究及實踐提供參考。

二、評分量表的目的和功能

明確量表的功能十分重要，根據(jù)量表的目的和功能，Alderson(1991)將評分量表劃分為三類，對于不同的類別，描述語會用不同的方式來表達(dá)。

(1)面向建構(gòu)者的量表，其功能是指導(dǎo)測試開發(fā)人員在學(xué)生適當(dāng)?shù)乃较略O(shè)計測試任務(wù)和教學(xué)大綱，并提供一套測試規(guī)范，說明在特定的水平下應(yīng)該衡量哪些語言技能，描述語通常表述為學(xué)習(xí)者可能遇到的交際寫作任務(wù)。

(2)面向評分者的量表，具有指導(dǎo)評分過程的功能，評分者需要將寫作文本與量表描述語進(jìn)行比較。描述語通常表述為預(yù)期的某一水平的學(xué)生寫作質(zhì)量的各側(cè)面，并被作為不同評分者的共同標(biāo)準(zhǔn)，從而提高測試的信度和效度。

(3)面向使用者的量表，具有報告功能，用于報告考生在任何給定級別下的典型的或可能做出的行為信息，使測試使用者能夠解讀測試結(jié)果。

這三類適用于不同利益相關(guān)群體的量表提供不同的信息，使用不同的措辭。例如，用于開發(fā)測試任務(wù)的面向建構(gòu)者的量表可能包括一些技術(shù)語言和專門詞匯，這些對于測試使用者(包括學(xué)生和教師)來說可能是難以解釋的(Montee＆Malone，2013)。Alderson認(rèn)為，用來評定第二語言行為表現(xiàn)的量表應(yīng)該是面向評分者的，也就是說，他們應(yīng)該把重點放在考生表現(xiàn)中體現(xiàn)的語言能力的各個側(cè)面。但同一個評分量表可以融合不同的功能，例如著名的 FSI scale，the ILR scale，the ASLPR scale，the ACTFL scale。Pollitt＆ Murray(1996)對Alderson的上述分類進(jìn)行了擴(kuò)展，增加了一個以診斷為導(dǎo)向的量表分類，其功能是向教師和學(xué)生傳遞診斷信息。

三、評分量表的四種類型

在確定了量表的功能之后，量表設(shè)計者需要決定使用哪種形式的評分方法。從形式來看，評分量表可以分為四類:整體式評分量表，分析式評分量表，關(guān)鍵屬性評分量表，多屬性評分量表(Hyland，2003)。不同類型評分量表的區(qū)分主要依據(jù)兩個特征:①該評分量表是針對某個特定的寫作任務(wù)與語境的，還是適用于不同的寫作任務(wù)與語境；②每個寫作文本最終得到了一個整體分?jǐn)?shù)，還是多個分?jǐn)?shù)。

整體式評分量表要求評分員形成對寫作表現(xiàn)的總體印象，并將其與量表上最合適的等級相匹配，給寫作文本打一個綜合分?jǐn)?shù)。每個等級都從詞匯范圍、語法準(zhǔn)確性、流利性等幾個維度來描述學(xué)習(xí)者的寫作表現(xiàn)。國外的 TOEFL考試，國內(nèi)的CET-4、CET-6考試，研究生英語入學(xué)考試的作文評閱，都采用了此類量表。整體式評分標(biāo)準(zhǔn)背后基于的原理是，寫作是一個單一的實體，這最好通過整合寫作內(nèi)在品質(zhì)的單一分?jǐn)?shù)來捕捉(Hyland，2003，p.227；Knoch，2009)。 它們大多采用正向的描述語，強調(diào)寫作者的優(yōu)勢(Cohen，1994；White，1984)。該評分方法與真實的閱讀過程相似(White，1984)，可以最大限度地減少評分員必須做出的決定，從而節(jié)省評分時間。

在分析式評分量表中，量表設(shè)計者確定幾個突出的寫作特征作為評分維度，例如詞匯、內(nèi)容、語法和組織，并根據(jù)寫作質(zhì)量對每個維度進(jìn)行評分，最終計算總分。典型的量表有Jacobs等人開發(fā)的“以英語為第二語言的作文評分標(biāo)準(zhǔn)”(the ESL Composition Profile，Jacobs，Zinkgraf，Wormuth，Hartfiel＆Hughey，1981)，雅思考試寫作評分量表，以及國內(nèi)的TEM-8寫作評分量表。分項式評分量表能夠針對學(xué)生寫作的強項和弱項進(jìn)行反饋，并且詳細(xì)記錄了學(xué)習(xí)者獲得某個分?jǐn)?shù)的原因。相比于整體式量表，分析式量表信度更高(Knoch，2009；李航，2015；孫海洋，韓寶成，2013；席仲恩，汪順玉，2010)。

Llyod-Jones和Carl Klaus于1977年為National Assessment of Educational Progress(NEAP)開發(fā)了關(guān)鍵屬性評分量表(Lloyd-Jones，1977)，此類評分量表為某個特定的寫作任務(wù)設(shè)計，評分的依據(jù)是寫作者成功完成該寫作任務(wù)的程度。量表設(shè)計者識別出完成給定任務(wù)或提示所需要的主要語言功能或修辭特征，評分決策則基于該特征的完成程度(Davis，2018)，例如“說服讀者”“任務(wù)完成度”，圍繞這一特征確定量表每一級的描述語。由于此類量表是為每一項任務(wù)專門設(shè)計、依賴于語境的，評分結(jié)果不能推廣到其他寫作任務(wù)，因此被認(rèn)為是費時費力的 (Shaw ＆ Weir，2007，p.149；Knoch，2009)。

Hamp-Lyons(1991)設(shè)計了多屬性評分量表。它基于主要特征評分的概念，用于向?qū)W習(xí)者或教師、家長等利益相關(guān)者提供關(guān)于成績的診斷性反饋，該量表同樣適用于特定的語境和任務(wù)，不能在其他任務(wù)中重復(fù)使用。多特征評分量表與分析式評分量表相似，因為它也有多個評分的維度。它們的不同之處在于，分析式評分量表包含的更多的是傳統(tǒng)的和通用的維度，而多特征評分量表則側(cè)重于完成給定任務(wù)所需的具體特征，維度的制定是為了與寫作提示保持一致。

量表類型的選擇將取決于測試目的，測試結(jié)果將如何使用，以及當(dāng)?shù)氐膶嶋H條件?？紤]到關(guān)鍵屬性評分量表和多屬性評分量表的局限性，整體式和分析式量表的應(yīng)用更加廣泛。

四、設(shè)計評分量表的方法

評分量表的設(shè)計是一個迭代的過程。Fulcher，Davidson和Kemp(2011)將評分量表的設(shè)計方法分為測量驅(qū)動法(the measurement-driven approach)和考生表現(xiàn)數(shù)據(jù)驅(qū)動法(the performance data-based approach)。前者強調(diào)描述語在量表上的等級順序。考生的寫作表現(xiàn)不作為量表設(shè)計的來源，而是在事后作為量表各個等級的參照樣本。最為典型的是“直覺法”(a priori method)，該方法依賴專家的知識和經(jīng)驗設(shè)計評分量表?，F(xiàn)在較為流行的還有“標(biāo)準(zhǔn)分級描述語”方法(Scaling descriptors，North＆Schneider，1998)，收集其他現(xiàn)有量表中的描述語，教師利用這些描述語對學(xué)習(xí)者的能力進(jìn)行感知，通過Rasch模型對描述語難度進(jìn)行分析。測量驅(qū)動法指導(dǎo)下設(shè)計的量表，常被批評為缺乏語言使用和二語習(xí)得的理論基礎(chǔ)，還存在描述語較為抽象、不夠豐富的問題(Fulcher et al.，2011；North ＆ Schneider，1998，pp.242-243)。

考生表現(xiàn)數(shù)據(jù)驅(qū)動法在量表設(shè)計過程中重視對寫作表現(xiàn)的觀察，并對其進(jìn)行詳細(xì)描述，將其作為建立量表各等級之間差異的參考。具有代表性的是Fulcher(1996)的研究，量表設(shè)計者收集考生樣本并對其進(jìn)行打分，通過話語分析識別出關(guān)鍵特征，通過判別式分析得出每個特征的等級數(shù)量。該研究針對口語任務(wù)設(shè)計，但同樣也適用于寫作量表的編制。另一個代表是“經(jīng)驗導(dǎo)出的、二元選擇的、邊界定義的量表”(the empirically derived，binarychoice，boundary definition scales，EBBs)，評分過程由一系列二元決策問題驅(qū)動(Upshur＆Turner，1995)。Fulcher等(2011)將以上兩種方法結(jié)合，設(shè)計了“考生表現(xiàn)決策樹”(performance decision trees，PDTs)?？忌憩F(xiàn)數(shù)據(jù)驅(qū)動法指導(dǎo)下設(shè)計出的量表包含了對特定領(lǐng)域和體裁下寫作表現(xiàn)的描述，因此僅僅適用于創(chuàng)建該量表的語境。

五、結(jié)語

評分量表的目的是指導(dǎo)評分過程，幫助評分者做出可靠的判斷。文章回顧了英語寫作評分量表的一些關(guān)鍵問題。評分量表主要面向測試建構(gòu)者、評分者、使用者三類群體，用來評定第二語言行為表現(xiàn)的量表應(yīng)該是面向評分者的。評分量表可以分為整體式評分量表、分析式評分量表、關(guān)鍵屬性評分量表、多屬性評分量表四種類型。量表設(shè)計的主流方法可以分為測量驅(qū)動法和考生表現(xiàn)數(shù)據(jù)驅(qū)動法。未來研究應(yīng)該進(jìn)一步探討如何整合不同類型的評分量表，評分量表設(shè)計和效度驗證方法的優(yōu)化或新方法的選擇。