英語寫作中同伴互評評分量表設計初探

尹元（山西傳媒學院基礎(chǔ)部，山西榆次，030619）

?

英語寫作中同伴互評評分量表設計初探

尹元
（山西傳媒學院基礎(chǔ)部，山西榆次，030619）

［摘要］按照五個步驟為英語專業(yè)寫作課堂同伴互評設計評分量表：制定評分細則；設定量表等級，描述各等級并賦值；分配權(quán)重；修訂評分細則；效驗評分標準。結(jié)果表明，設計的三級二十項分析性評分量表具有一定有效性和可行性。

［關(guān)鍵詞］同伴互評；課堂評分標準；英語寫作

一、研究背景

同伴互評是過程寫作教學法的必要環(huán)節(jié)之一，指的是在寫作過程中同伴之間相互審閱，并提出反饋意見的一種教學活動。近年來，同伴互評因其特有的優(yōu)勢已被廣泛應用到英語寫作教學中。不少研究者探討了同伴互評在大學英語寫作中實施的有效性和可行性。研究表明，同伴互評能夠提高學生的自主學習能力（Lee，1998）[1]，激發(fā)學生的寫作興趣（張春玲，2008）[2]；學生通過閱讀同伴作文發(fā)現(xiàn)問題的過程，可以幫助他們樹立文本輸出過程中的讀者意識（Keh，1990）[3]；實施同伴互評可促使學生在討論、反思過程中分析問題、解決問題，有利于培養(yǎng)學生的思辨能力（劉建達，2013）[4]。此外，同伴互評可以極大地減輕教師批閱作文的工作負擔。

在實施寫作同伴互評活動的過程中，評分標準是不可或缺的一部分。一方面，作為評閱者的學生需要一個統(tǒng)一的、便于操作的評分標準，以保證評分過程的客觀公正、有據(jù)可依；另一方面，被評閱者通過評分標準及評分報告，能清楚地了解自己作文的優(yōu)點和問題，進而采取相應修正訓練，不斷提高寫作水平。然而，目前已有的英語寫作評分標準是針對大規(guī)模測試的，不適用于課堂測試。白麗茹（2012）[5]嘗試編制了針對大學英語基礎(chǔ)寫作中記敘文和說明文的同伴互評反饋模式測量評價表。本研究設計的英語寫作課堂評分標準為師生提供了清晰完整的教學反饋信息，且易于理解、便于操作。

二、研究設計

Weigle（2002）[6]從信度、結(jié)構(gòu)效度、實用性、作用和真實性等方面總結(jié)了整體評分量表和分析評分量表的優(yōu)缺點。根據(jù)比較結(jié)果，我們認為分析評分量表能提供較詳細的診斷信息，更適用于課堂測試。因此，我們?yōu)閷懽魍榛ピu設計了分析性評分量表，設計過程包括五個步驟：制定評分細則；確定量表等級，描述各等級并賦值；分配權(quán)重；修訂評分細則；效驗評分標準。

（一）評分細則的制定

在制定評分量表細則過程中，我們著重考慮了兩個方面的因素一是英語專業(yè)寫作教學大綱（2000）[7]的要求。大綱除對字數(shù)、寫作速度及應用文和畢業(yè)論文的要求外，明確說明了英語短文寫作方面的入學要求（無嚴重語法錯誤，意義表達清楚）、二級要求（內(nèi)容切題，條理清楚，語言正確）、四級要求（內(nèi)容切題，結(jié)構(gòu)嚴謹，條理清楚，語法正確，語言通順，表達得體）、六級要求（語言正確，表達得體，具有一定的思想深度）和八級要求（內(nèi)容充實，語言通順，用詞恰當，表達得體）。由此，我們概括出英語專業(yè)寫作教學的目標是從內(nèi)容、結(jié)構(gòu)、語法和語言等方面來設定的。二是英語專業(yè)四、八級作文評分標準。從評分標準可以看出，國內(nèi)較為權(quán)威英語測試寫作評分標準包括：能夠按照題目要求完成內(nèi)容相關(guān)、體裁正確的文章；能夠按照英語語言習慣合理組織文章；能夠?qū)懗稣Z法正確的句子；能夠根據(jù)寫作目的和目標讀者選擇恰當?shù)谋磉_；能夠正確使用標點符號、大小寫及拼寫等。綜合考慮，我們提煉出寫作評分的五條標準：內(nèi)容、組織、語言、體裁和機制。

結(jié)合英語寫作課堂教學及文章基本構(gòu)成要素，我們從詞匯、語句、段落、篇章、任務要求、對讀者的吸引力和寫作格式等方面具體描述了五條標準，共25條細則?；谶@些細則，我們設計了五分制量表調(diào)查問卷，邀請了17名大學英語教師參與問卷調(diào)查，要求他們結(jié)合自己的作文評改經(jīng)驗，根據(jù)細則的重要程度進行打分。得分相對低（平均分低于3.00）的細則被剔除（第3、12、25項），其余22條細則的描述性統(tǒng)計見表1。

表1　 22條評分細則的描述性統(tǒng)計數(shù)據(jù)（N=17）

（二）評分細則等級的確定

考慮到該評分量表主要為學生互評設計，而學生的等級區(qū)分能力遜于有經(jīng)驗的專業(yè)教師，三級評分量表更易于學生把握，因此，每項評分細則被劃分為優(yōu)、中、差三個等級。在描述評分細則時，我們采用了《Classroom Assessment for Student Learning》（R.J. Stiggins, et al.，2004）一書中提到的方法。具體做法如下：從山西省五所高校隨機選取150名學生就同一題目（My View on Online Shopping）完成作文，再請兩名有教學經(jīng)驗的英語教師將這些文章按22條細則粗略分成優(yōu)、中、差三類，并提供每篇文章的歸類依據(jù)。我們將分類依據(jù)整理、合并、修改，形成了21條評分細則、三個不同等級的描述。

該評分標準擬用于不同體裁的英語作文評分。英語作文體裁根據(jù)語篇形式，可以分為記敘文、描寫文、說明文和議論文（Weigle，2002）[6]，四種體裁在功能、組織和語言上均有不同，具體差別見表2。在寫作評分中，我們應根據(jù)體裁的不同，調(diào)整評分細則。本研究以議論文為例。

表2　四種作文體裁之間的區(qū)別

注：引自Designing Tasks for the Assessment of Writing （Ruth & Murphy，1988）。

（三）權(quán)重

關(guān)于寫作評分標準的權(quán)重，學界有不同的觀點。Hamp-Lyons（1991）認為，如果同一標準中某一評分細則的權(quán)重高于其他評分細則，采用整體評分法更合適。Weigle（2002）[6]認為，給寫作評分細則分配不同的權(quán)重可能會給最終得分帶來不利影響，并給基于分數(shù)的決策以及數(shù)據(jù)分析帶來問題。另一種較為普遍的觀點認為，與形式、規(guī)范等相比，評判性思考技能（如內(nèi)容）應被賦予更大的權(quán)重（Jacobs，et al.，1981）。

作文評分標準的權(quán)重體現(xiàn)的是各細則的重要程度。在實際應用中，我們建議教師根據(jù)不同教學內(nèi)容來確定權(quán)重，這樣最終成績更能體現(xiàn)課堂教學的實效。為了方便采集數(shù)據(jù)，我們采用的是等值權(quán)重。

（四）評分細則的修訂

該評分量表擬應用到同伴互評中。在最后階段，我們考慮了學生評分員使用該量表的感受和建議，隨機選取了山西某高校10名英語專業(yè)二年級學生參與修訂實驗。我們將評分標準、評分報告和一份學生作文樣本分別發(fā)給10名學生參與者。在沒有進行培訓的前提下，要求學生根據(jù)所給標準對作文進行評分，并填寫評分報告。評分完成后，要求學生書面回答：在使用評分標準過程中是否遇到困難？如有，請說明。根據(jù)學生的反饋意見，我們對評分標準作了如下修改：刪除了“內(nèi)容創(chuàng)新性”這一細則；“用詞恰當”這一細則表述不夠明確，進一步補充了“在特定語境下能從近義詞中做出正確選擇”。

三、評分標準的效驗

初步成型的評分標準需要進行最終定稿前的試測，以此來判斷該標準是否具有信度和效度。我們主要效驗了量表的評分效度（信度）、效標關(guān)聯(lián)效度和結(jié)果效度。

（一）參與者描述

參與效驗量表的是山西某高校英語專業(yè)大三的30名學生，他們已經(jīng)通過英語專業(yè)四級考試，且在寫作教師指導下進行過同伴互評訓練。

（二）評分員的培訓

由于寫作評分是主觀性評分，評分員之間和評分員內(nèi)部不可避免會出現(xiàn)不一致。Bachman和Palmer（1996）認為，導致這種不一致性的主要原因在于：（1）對評分量表的理解不同；（2）對評分標準的寬嚴把握不同；（3）對評分標準以外因素的考慮不同。他們提出，解決這個問題最有效的方式之一是對評分員進行培訓。我們對評分員進行了兩小時的培訓，幫助其理解和熟悉評分量表。我們?yōu)樵u分員逐一詳細解釋了每條細則的含義，評分員根據(jù)評分標準獨立為同一篇習作評分，并按要求給出每條細則的分數(shù)和總分，同時記錄評分依據(jù)。若在評分過程中遇到問題，評分員可以與教師和同學討論。學生評分完成后，我們給出教師的評分結(jié)果，并做出相應解釋。最后，學生評分員和我們共同討論評分差異。通過培訓，評分員進一步明確和統(tǒng)一了評分量表的使用。

（三）數(shù)據(jù)的收集與分析

受試的30名學生在課后完成我們布置的作文題目（My View on Income Gap），作文樣本收集后，統(tǒng)一編號，但不署名。數(shù)據(jù)的收集過程，具體分為三個階段。第一步，將評分量表（附錄1）、評分報告（附錄2）和作文樣本隨機分發(fā)給受試者（要避免學生拿到自己的作文），每人一份。要求學生在50分鐘內(nèi)按照評分量表為作文評分，并填寫評分報告。在評分過程中，允許學生互相討論或者請教老師，但不許在原稿上標注任何評論和分數(shù)。評分完成后，與同桌互換作文，再評一份。這樣，每份作文有兩個評分，兩個成績的平均分為最終學生評分。第二步，30份作文樣本分別由兩位英語教師按專業(yè)英語四級作文評分標準評分，兩位教師的平均分為最終教師評分。第三步，選取其中15名學生，按專業(yè)四級考試成績分為三組，每組5名。75分以上為高分組，67-75分為中等成績組，67分以下為低分組。三組學生按第一步評分要求為30份作文樣本評分。所收集的數(shù)據(jù)通過SPSS15.0軟件進行處理。

（四）效驗結(jié)果與討論

1.描述性統(tǒng)計。從表3可以看出，作文樣本中修辭平均分最低（0.95），標點和大小寫最高（4.9）；標準差顯示，各細則離散趨勢較小，因為每條細則只有三個等級，且各等級間分差較??；偏值和峰值顯示，除主題句、篇題句、修辭和標點及大小寫外，其他各項都呈正態(tài)分布。忽略樣本大小的影響，我們認為原因在于受試學生對主題句、篇題句、標點及大小寫掌握較好，對于修辭的應用較差。

表3　評分細則的描述性統(tǒng)計（N=30）

2.內(nèi)部信度，即評分員內(nèi)部一致性。本研究中，信度是通過計算阿爾法系數(shù)效驗的，表4顯示了高、中、低三組學生評分員的相關(guān)性。平均分從低分組評分員到高分組評分員逐漸增加，而標準差逐漸降低。三個學生評分組之間的相關(guān)系數(shù)（0.984 8）較高，原因有三方面：一是因為三組學生均通過了專業(yè)英語四級考試，英語水平相差不大，由自身語言能力對評分造成的影響不大；二是由于評分前進行了認真、充分的培訓，一定程度上減小了評分誤差；三是說明所設計的評分量表細則表述詳盡，有效減少了學生評分員在理解量表時的不一致。

表4　不同水平學生評分的相關(guān)性（N=30）

3.效標關(guān)聯(lián)效度。效標關(guān)聯(lián)效度是指測驗分數(shù)與某一外部效標間的一致性程度，即測驗結(jié)果能夠代表或預測效標行為的有效性和準確性程度（Bachman & Palmer，1996）。本研究中，我們檢測的是所設計的評分量表與專業(yè)四級評分標準之間的一致程度。使用SPSS15.0計算教師評分和學生評分的斯皮爾曼相關(guān)系數(shù)（見表5），其中，教師使用的是英語專業(yè)四級作文評分標準，學生使用本研究設計的評分量表。效驗結(jié)果表明，相關(guān)系數(shù)為0.767（p＜0.01），相關(guān)度較高。這表明，兩個評分標準所測量的內(nèi)部特質(zhì)基本一致，兩者具有較高的效標關(guān)聯(lián)效度。

4.后果效度。后果效度用以度量測試對于社會、學校和個人的作用及影響。本研究中，我們與參與實驗的兩位教師和六名同學進行了訪談。教師們認為，使用新的評分量表后，學生評分過程更加順利；通過閱讀評分報告單，他們能夠明確學生寫作中存在的問題；詳細的評分報告有助于為下一步教學提供診斷信息；學生的評分態(tài)度和責任心會影響評分結(jié)果。學生們普遍認為，使用評分量表參與評分過程使他們進一步明確了寫作要求，發(fā)現(xiàn)同伴寫作存在問題的同時，對照檢查自己是否存在同樣問題；通過對照量表，和老師及同學討論解決問題，思路更清晰，印象更深。

表5　教師評分和學生評分的相關(guān)性

從效驗結(jié)果可以看出，不同英語水平的學生使用該量表評分并未出現(xiàn)較大不一致，即內(nèi)部信度較高。師生評分的相關(guān)系數(shù)較高，表明研究設計的寫作評分量表與英語專業(yè)四級寫作評分標準所測的寫作特質(zhì)基本一致。訪談結(jié)果進一步說明，使用新評分量表的同伴互評可以產(chǎn)生積極的后效?？傊?，新設計的評分標準在一定程度上是有效可信的。

四、結(jié)語

新評分標準對英語寫作教學和測試改革有重要意義。首先，它能為師生提供更完整詳實的反饋信息，有助于學生了解自己寫作的長處和問題，教師可利用獲得的反饋有針對性施教。其次，它能提高學生寫作互評的能力，使課堂寫作互評成為可能，既減輕教師評改負擔，又使學生成為課堂活動的中心，從而提高英語課堂寫作教學和評價的效率。盡管設計力求考慮周密，但本研究仍是探索性的，有必要對不同實驗對象進一步進行大樣本的實證研究，從而避免對研究結(jié)果的誤用。

［參考文獻］

［1］I.Lee.Supporting greater autonomy in language teaching［J］.ELT Journal,1998（4）:282-289.

［2］張春玲.在英語教學中開展同伴互評的探索性研究［J］.首都經(jīng)濟貿(mào)易大學學報，2008（2）：126-128.

［3］C.L.Keh.Feedback in the Writing Process:a Model and Methods for Implementation［J］.ELT Journal,1990（44）:294-304.

［4］劉建達.創(chuàng)新英語專業(yè)測評體系，引領(lǐng)學生思辨能力發(fā)展［J］.中國外語，2013（1）: 4-9.

［5］白麗茹.大學英語寫作中同伴互評反饋模式測量評價表的編制［J］.現(xiàn)代外語，2012（2）: 184-192.

［6］Weigle,S.C.Assessing Writing［M］.Cambridge:Cambridge University Press,2002:95-142.

［7］高等學校外語專業(yè)教學指導委員會英語組.高等學校英語專業(yè)英語教學大綱［Z］.北京：外語教學與研究出版社，2000：8-11．

［責任編輯：康光磊］

The Design of a Rating Scale for Peer Assessment in EFL Writing Classroom

YIN Yuan

（Department of Basic Courses, Communication Universityof Shanxi, Yuci 030619, China）

Key Words：peer assessment; rating criteria in classroom; EFL writing

Abstract：This paper intends to design a rating scale for peer assessment in EFL writing classroom. It’s was developed through five phases: formulating the detailed rating rules of writing; setting the number of rates, describing their performance standards and assigning a numerical value; assigning the weight properly; making the revision; making the validation. The research shows that the three-level analytic rating scale that including twenty items is reliable and practical to some extent.

[中圖分類號］G642

[文獻標識碼］A

[文章編號］2095-106X（2016）01-0062-04

DOI編碼：10.13782/j.cnki. 2095-106X.2016.01.014

［收稿日期］2016-01-20

［基金項目］山西省軟科學研究項目“通識教育理念下英語專業(yè)綜合英語教材處理研究”（507）

［作者簡介］尹元（1985-），女，山西原平人，山西傳媒學院基礎(chǔ)部教師，主要研究方向是應用語言學及語言測試。