英語寫作同伴評價準確性和自我修改差異研究

辛　聲

(電子科技大學中山學院　外國語學院， 廣東　中山　528402)

?

英語寫作同伴評價準確性和自我修改差異研究

辛聲

(電子科技大學中山學院外國語學院， 廣東中山528402)

通過一項同伴評閱和修改實驗，量化對比高水平和低水平學生評價準確性和自我修改差異。研究發(fā)現(xiàn)：相比教師評價，學生評價不甚準確且區(qū)分度不高，高低水平組差異不顯著，高水平組對語言形式的判斷更為準確。自我修改數(shù)據(jù)表明：高水平學生更注重語言形式的表層修改，而低水平學生的意義修改量更大。研究結果為有效開展英語寫作同伴互評和差別化指導提供了實證支持和教學建議。

英語寫作； 同伴評價； 準確性； 自我修改

一、引　言

長期以來，中國英語寫作教學以產(chǎn)品為教學目標，注重結果產(chǎn)出，由于存在教師批改費力、學生進步緩慢的弊端，飽受詬病，過程寫作教學法的興起和應用使這種局面得到一定程度的改觀。過程寫作法重視從計劃到成品的成文過程，學生在同伴或師生互動中，經(jīng)歷若干輪給出評閱、接受反饋、再次修改的過程，形成對文本的新認識，最終促進寫作能力的提升。作為互評的兩個過程，“評價他人”和“評后修改”密不可分?！霸u價他人”以及由此引發(fā)的“自我評價”反映出學生對作文“注意”的方向和程度，而修改則反映學生“注意”之后語言表達重構的結果。然而，目前對學生評價的研究居多，大都是從測試的角度比較自我評價、同伴評價和教師評價的準確性差異，對評后修改的研究少見，尚不能全面反映同伴互評全過程的特點。將學生評價和修改特點結合考量，能更全面地了解同伴互評模式下學生對語言的感知和運用特點，為有效組織互評活動提供參考。

二、文獻綜述

20世紀60年代過程寫作法在美國興起，近20年來國內(nèi)外對其理論基礎和實踐運用的研究方興未艾。“過程寫作法將寫作視為一個有交際目的的、復雜的、非線性的交互過程”(張省林，2006)，將語言學習置于計劃、起草、互評、修改等多個環(huán)節(jié)中。學生在與外界的互動中反復推敲、修改作品，實質上也是對自己觀點逐步完善、重新思考，并與潛在的目標讀者反復“協(xié)商”的結果。這一過程體現(xiàn)了社會交互活動在語言建構意義時的重要作用，符合社會文化論(Vygotsky，1978)語言、思維、社會交互密不可分的觀點。另外，作為典型的輸出活動，過程寫作法也充分體現(xiàn)了注意、假設檢驗、元語言反思的功能(Swain，1995)。

同伴互評是過程寫作法的重要環(huán)節(jié)，在同伴介入的語言調控過程中，學生可以共享最近發(fā)展區(qū)(Zone of Proximal Development，ZPD)，獲取臨近資源(proximal resource)，引發(fā)協(xié)同效應(alignment effect)，有利于減少焦慮(郭燕、秦曉晴，2010)，提升自我效能感(吳育紅，2013)、讀者意識和學習自主性(蔡基剛，2011)。學生評價時對語言的注意、協(xié)商和修改有利于獲得新的語言感知和認識，構建對自我文本的重新認識和思考，促進自我語言能力的提升并進而提高自己的寫作能力(Tsui、 Ng，2000；Lundstrom、 Baker，2009)。

但是，針對同伴評價準確性的研究發(fā)現(xiàn)同伴評價準確性不足，如Carson、Nelson(1996)發(fā)現(xiàn)中國學生傾向于保持組內(nèi)和諧而不愿對同伴習作提出批評意見。劉建達(2002)發(fā)現(xiàn)中國低水平學生基本不能正確評價同伴作文，而高水平學生在結構和內(nèi)容方面的評估與老師接近，在語言方面不甚準確。Matsuno(2009)對日本91名英語學習者的實證研究發(fā)現(xiàn)，不論高水平還是低水平學習者對同伴作文的評價都非常“寬容”，他們對好作文評分偏低，對差作文評分偏高。Min(2006)總結道：“學生對同伴作文傾向于做出橡皮圖章式的評價”。

評價同伴文本之后，寫作者能否根據(jù)其自身語言知識和能力，基于對所評習作的注意，以及參與互評的多種互動關系的影響，對自己的習作做出修改呢？Min(2005)發(fā)現(xiàn)，學生可從評閱他人作文的過程中獲得自我調控的能力，即反思自己的問題并自行找出解決辦法。Rollinson(2005)表示，培訓學生成為更好的評閱者能夠使其獲得評價并改進自身作文的能力。因此，即使不收到任何反饋，學生也可以從評閱過程中獲取有益信息，對自己的作文做出修改。這種修改在很大程度上反映了評閱者注意、假設檢驗和元語言反思的特征。Kali、Ronen(2008)進而指出，學生的水平差異影響他們對作文的評估，并對互評之后的反饋接受程度或修改有非常重要的影響。但是，目前將不同水平學生評價和評后修改特點結合的研究幾近空白。

具有參考價值的是，對英語母語者的自發(fā)修改研究發(fā)現(xiàn)，高水平寫作者意義和篇章修改較多，低水平寫作者則主要關注語言表層問題(Faigley、Witte，1981；Fitzgerald，1992)。國內(nèi)高彩鳳等(2008)對英語專業(yè)學生修改過程的研究發(fā)現(xiàn)，高水平者傾向于改善文本可讀性，而低水平者意義修改更多，高水平者修改成功率更高。但以上發(fā)現(xiàn)均只聚焦于修改的單一過程，在同伴評閱模式下，評閱和修改是先后關聯(lián)、不可分割的兩個過程。因此，將不同水平學生評閱準確性和修改差異結合考察，將有助于了解不同水平學生二語寫作隱性過程(張省林，2006)的差異，有利于教師對同伴互評進行差別指導和監(jiān)控，提升小組互評互改的效果。

三、實驗設計

(一)研究問題

本研究采用量化研究方法，分析在一次同伴評閱任務中，不同水平二語學習者作文評價和修改的特點，具體研究問題為：

1.與教師評價相比，學生評閱者是否能夠準確評價同伴的作文？不同水平的學生在評價準確性上有何差異？

2. 評閱后修改自己作文時，不同水平的學生有何差異？

(二)實驗對象

選取廣東某高校英語專業(yè)二年級兩個平行班學生共75人為實驗對象，實驗前兩個班學生參加CET4考試的“總分”和“翻譯寫作分”經(jīng)獨立樣本t檢驗無顯著差異。按CET總分高低取前后各27%為高水平組和低水平組，各20人。獨立樣本t檢驗表明，高水平組CET4總分(t=9.89，p=0.000)和翻譯寫作分(t=4.76，p=0.000)顯著高于低水平組。兩個班《綜合英語》課由同一教師任教，實驗在此課程內(nèi)實施。

(三)實驗工具

1.作文評價表。在參考蔡基剛(2011)、白麗茹(2012)編制的作文評價量表的基礎上，根據(jù)《英語專業(yè)四級考試要求》和評價標準，擬定“專業(yè)四級議論文評價量表”。評價表由結構、內(nèi)容、語言3部分構成，每部分5項，共15項，每項均有對應的詳細要求，采用李克特5級計分法對每個單項計分，從1至5分別代表“較差”、“需改進”、“一般”、“較好”、“很好”。另外設置總評分以比較學生是否能夠從總體上準確評價作文。

2.評價材料。3名往屆學生的練習作文(記為X、Y、Z，題為“Should College Students Hire Cleaners?”)，不做任何修改，被選為實驗的評價材料。邀請7位經(jīng)驗豐富的英語專業(yè)一線教師按照評價表為3篇習作打分。去掉總評分最高和最低者，剩余5位教師評分的Cronbach ɑ系數(shù)為0.932，一致性很高。5位教師的總分和分項平均值如表1所示?？梢钥闯觯處熣J為X、Y水平相當，Z三個方面均存不足，評分最低。

表1　韓中日FTA競爭現(xiàn)狀

(四)實驗過程

實驗前任課教師向學生講解專四議論文的特點、寫作要求和評價標準，并以練習作文為例，兩班互換進行同伴評閱，教師同時講解評價表的使用方法并解答學生疑問，這一階段不統(tǒng)計任何數(shù)據(jù)。一周后正式實驗時，學生撰寫與評價材料題目一致的作文，課下完成并收集初稿。之后組織學生對3篇評價材料進行評分，為了模擬真實的評價情境，教師告知學生所評材料是另一班級3位同學撰寫的初稿。學生評分時須獨立完成，用時約30分鐘。評價完成后，學生在3天內(nèi)修改自己的初稿并上交。采用Microsoft Word的文本精細對比功能比對初稿與修改稿，按表層和意義修改分別統(tǒng)計修改點數(shù)、詞數(shù)，并對修改功能和修改有效性編碼以得到修改數(shù)據(jù)。評分和修改數(shù)據(jù)錄入SPSS 20.0進行分析。

四、實驗結果

(一)高、低水平組評價差異

在總分和分項分共12項評分比較中，未發(fā)現(xiàn)高低水平組評分有顯著差異。分別將兩組每項評分與教師評分進行單樣本t檢驗，發(fā)現(xiàn)共有3項總評分、高水平組有2項語言部分評分與教師評分無顯著差異，除此之外，其余項目均有顯著差異(見表2)。觀察兩組評分和教師評分折線圖(圖1)，兩組的評分折線圖比教師評分平緩，反映出學生對作文的評價區(qū)分度不如教師，值得注意的是高水平組的評價折線大部分位于低水平組下方。

表2　高/低水平組與教師評分對比

注：高水平組，n=20；低水平組，n=20；*表示p<.05，**表示p<.01；與教師評價無顯著差異的數(shù)據(jù)加下劃線顯示。

圖1高/低水平組作文評分與教師評分對比折線圖

(二)高、低水平組修改差異

使用修改量、修改效果、修改功能來對比學生修改差異。修改量采用Cho(2010)的方法記錄修改點詞數(shù)的變化，如“增加”以增加的詞數(shù)計，“刪除”以刪除的詞數(shù)計，“替換”以原文和修改稿之間的多者計。修改效果根據(jù)學生每一處修改相對于原文的改善效果來判斷(Conrad、Goldstein，1999)，修改后優(yōu)于原文為有效修改，修改后劣于或與原文效果無差別為無效修改。在進行修改量和修改效果比較時，進一步區(qū)分為表層修改(Surface Changes)和意義修改(Text-Base Changes)兩類(Min，2006；Cho，2010)。表層修改指不改變句意的修改，如拼寫、時態(tài)、單復數(shù)、標點或保持句意不變情況下的增加、刪除、替換等；意義修改改變句意或句群的意義，或導致文章摘要變化。修改功能按照Falvey(1993)(Min，2006)的方法分為語法糾錯(grammatical)、形式提升(cosmetic)、文本連貫(texture)、冗余刪除(unnecessary expression)和信息增加(explicature)5類，相比從修改形式上分為添加、刪除、替換等的分類法，這種分類法更能反映作者的修改目的。將修改稿中做出的獨立于其它部分的改動記為1個修改點，記錄其修改量，并邀請兩位教師對修改效果和功能分別編碼，一致率達94.0%，不一致的協(xié)商后確定。

1.修改量差異

表3列出了高水平組和低水平組的初稿和修改稿詞數(shù)、總修改量和按表層和意義分類的修改量。獨立樣本t檢驗發(fā)現(xiàn)兩組學生的初稿詞數(shù)(t=-0.744，p=0.46)和修改稿詞數(shù)(t=-1.291，p=0.20)無顯著差異，配對樣本t檢驗發(fā)現(xiàn)每組的初稿和修改稿之間也無詞數(shù)上的顯著差異。由于修改點數(shù)和修改詞數(shù)屬于計數(shù)數(shù)據(jù)且呈非正態(tài)分布，故采用泊松對數(shù)線性回歸比較組間差異。對總修改點數(shù)的泊松回歸顯示，兩組之間差異顯著(Wald2=8.66，p=0.003)，低水平組期望回歸系數(shù)取值為1時，高水平組為1.347，表明高水平組修改點更多；使用相同方法比較總修改詞數(shù)，高水平組修改詞數(shù)(回歸系數(shù)0.789，p=0.000)顯著低于低水平組；進一步按表層和意義修改分類計算修改點和修改詞數(shù)，發(fā)現(xiàn)兩組在意義修改點數(shù)上無顯著差異(p=0.076)，但是高水平組在表層修改點數(shù)(回歸系數(shù)1.615，p=0.000)、詞數(shù)(回歸系數(shù)1.444，p=0.000)上均顯著高于低水平組，在意義修改詞數(shù)上(回歸系數(shù)0.538，p=0.000)顯著低于低水平組。以上數(shù)據(jù)說明，從修改點數(shù)來看，高水平組學生比低水平組學生做出了更多的修改，主要體現(xiàn)在表層修改上；而低水平組學生做出的意義改動詞數(shù)幾乎是高水平組的2倍，直接導致低水平組在總修改詞數(shù)上超過了高水平組。

表3　高/低水平組作文修改量統(tǒng)計數(shù)據(jù)

2.修改效果差異

表4列出了有效修改點數(shù)與總修改點數(shù)的比例，總體來看，高水平組的總有效修改率高于低水平組；高水平組的表層有效修改率略高，而低水平組意義有效修率略高。

表4　高/低水平組修改效果比較

3.修改功能差異

比較兩組修改功能的差異，發(fā)現(xiàn)高水平組更多使用“形式提升”來改善初稿，在所有修改點中比例達到28.7%，較低水平組高9.3個百分點。而低水平組在體現(xiàn)意義修改的“冗余刪除”和“信息增加”的比例上均高于高水平組，總計高出近6個百分點，數(shù)據(jù)見表5。

表5　高/低水平組修改功能比較

五、討　論

(一)學生評分準確性及其差異

學生評分結果表明：高、低水平組對3篇同伴作文的總分評價與教師評價在趨勢上保持基本一致，但評價區(qū)分度不高；高低水平組評分無顯著差異，高水平學生在語言形式上的評價更為準確。學生與教師總分評價趨勢一致但區(qū)分度不如教師，說明學生具有初步的從整體上分辨作文優(yōu)劣的能力，印證了Min(2006)“橡皮圖章”的結論。學生評分區(qū)分度不如教師評分的可能原因有：一是作為初學者，學生尚不具備與老師相同的基于量表的判斷水平，需要進一步指導和訓練；二是受中國傳統(tǒng)文化的影響，出于保持“和諧”的心理，學生不愿對來自“同伴”的作文給出過低的評價(Carson、Nelson，1996；Nelson、Carson，1998)。

高水平組的評分略低于低水平組，但兩組評分沒有顯著差異，表明高低水平組評價能力相似，即享有相似ZPD。這一結果與劉建達(2002)的研究結果有差異，他的研究對象中，高水平者是英語專業(yè)二年級學生，低水平者是以英語為第二外語的日語專業(yè)學生，兩組在學習水平、學習目標和教學模式上的差別較大，學生ZPD差異巨大。而本研究中高水平組比低水平組評分只是略微偏低，推測是由于高水平學生注意到了更多的語言錯誤和中式英語現(xiàn)象而降低評分。高水平組有兩項語言方面的評分與教師無差異，而且在訪談的10個高水平學生中，有6人提到評價時主要關注語法準確性、詞匯、結構、中式英語等。這說明高水平學生對語言形式的評價更準確，他們更重視語言使用方面的問題，一旦發(fā)現(xiàn)作文中存在過多的語言形式失誤，就傾向于降低對其的總體評價，而低水平學生受自身語言水平限制，往往看不出形式失誤。

(二)學生評后修改差異

修改數(shù)據(jù)的對比結果說明：高水平學生的修改點比低水平學生多，高水平學生更傾向于進行表層修改，而低水平學生意義修改量更大；高水平學生修改成功率略高。此結果與英語母語者寫作修改研究有差異，但與高彩鳳等(2008)的研究結果類似。根據(jù)社會文化論(Vygotsky，1978)，社會交際本身就是學習過程，在交際激活的ZPD內(nèi)，學習者將語言活動的外部構建轉化為內(nèi)部認知手段，得以更好地認識自己的現(xiàn)在水平并拓展自己的能力。評閱時，評價者的讀者身份、被評作品、評價標準之間的互動促使評閱者注意差距、獲取有益資源、檢驗并反思自己的作品并最終付諸修改。但是，由于學生自身語言水平的差異，不同水平學生的注意和反思是有區(qū)別的，高水平學生在評閱階段更多注意語言形式方面的問題，如語法錯誤、中式英語、低頻詞和特殊結構等，進而在“假設檢驗”階段更多地進行語言形式修改，甚至在本來沒有錯誤的地方使用“形式提升”來美化作文；低水平學生在評閱階段則發(fā)現(xiàn)了更多自己寫作內(nèi)容上的不足，進行意義修改較多，即替換論點、論據(jù)，加入新內(nèi)容。這表明在評價同伴作文后，高水平學生注意到的是自己語言形式上的不足，而低水平學生則認為自己的內(nèi)容選擇不佳。另外，兩組進行表層修改點數(shù)的比例(高水平組85.2%，低水平組71.8%)仍然遠超意義修改，與Hanjani、Li(2014)的研究結果比例接近，這可歸因于長期以來以結果為導向的寫作教學，學生對語言準確性較為重視，并且修改表層錯誤對學生來說更加容易。低水平學生的修改成功率低于高水平組也印證了低水平學生在語言方面評價不夠準確的特點。

六、教學啟示

在同伴互評這一互動過程中，學習者、輸入、輸出之間的互動協(xié)同不斷發(fā)生，產(chǎn)生語言學習的“拉平效應”，“水平低的學習者將得益于協(xié)同的拉平效應，語言水平提高快”(王初明，2012)。利用不同水平學生的差異可將學生搭配成小組進行互評反饋，目前已有研究(Cho，2010；蓋淑華、周小春，2013；Hanjani、Li，2014)證明高低搭配小組的促學效果相對于其它分組模式效果更好。值得注意的是，本研究中高水平學生的修改存在對語言形式“矯枉過正”的現(xiàn)象，即不顧語境地使用更復雜的詞匯和結構，應培養(yǎng)其在特定語境下選擇適當表達方式的能力；另外，低水平學生往往由于水平不足或信心缺失，寫作時容易局限在自己的“舒適區(qū)”(Comfort Zone)，即便有很好的想法在寫作初稿時也不敢表達，但是修改時卻會學習他人較好的論點論據(jù)，因此應通過寫前計劃、論據(jù)篩選等手段指導低水平學生優(yōu)選內(nèi)容。

但是，參與同伴互評的學生都只是二語學習者，即便是高水平學習者也與本族語者這一理想互動對象相距甚遠，“拉平效應”未免會打折扣，甚至有可能產(chǎn)生向低水平學習者負向拉平的效果。本實驗還發(fā)現(xiàn)，囿于學生實際水平和互評材料來自同伴的特點，學生實際上無法注意到寫作深層次的問題，不論高水平還是低水平學生，他們多傾向于表層修改，在內(nèi)容合理性和邏輯關系上的改善不足，這就導致學生自我修改不一定提高作文質量。因此，就目前國內(nèi)英語寫作教學現(xiàn)狀來看，同伴互評可以扮演寫作初期的“過濾”功能，即減少語言形式失誤，促進文稿初步完善，完全使用同伴互評而忽視教師評價的做法是不可取的。同時，教師作為互評的組織者，應加強對學生的評價培訓(Min，2006)，并通過講評范文或示范評改引導學生注意除語言運用之外的結構和內(nèi)容問題，提高互評的促學效果。

白麗茹．2012．大學英語寫作中同伴互評反饋模式測量評價表的編制[J]．現(xiàn)代外語(2)：184-192．

蔡基剛．2011．中國大學生英語寫作在線同伴反饋和教師反饋對比研究[J]．外語界(2)：65-72．

蓋淑華，周小春．2013．基于動態(tài)系統(tǒng)理論的同伴反饋實證研究——社會文化觀視角[J]．外語與外語教學(2)：36-40．

高彩鳳，徐浩，白瑞芳．2008．不同水平的中國英語專業(yè)學生寫作過程的對比研究[J]．中國外語教育(3)：48-56．

郭燕，秦曉晴．2010．中國非英語專業(yè)大學生的外語寫作焦慮測試報告及其對寫作教學的啟示[J]．外語界(2)：54-62，82．

劉建達．2002．學生英文寫作能力的自我評估[J]．現(xiàn)代外語(3)：241-249．

王初明．2012．讀后續(xù)寫——提高外語學習效率的一種有效方法[J]．外語界(5)：2-7．

吳育紅．2013．同伴互評對自我效能感的影響——一項基于大學英語寫作的實證研究[J]．山東外語教學(6)：68-72．

張省林．2006．論過程寫作法中的隱性過程[J]．外語與外語教學(4)：28-30．

CARSON J，NELSON G．1996．Chinese Students’ Perceptions of ESL Peer Response Group Interaction[J]．Journal of Second Language Writing，5(1)：1-19．

CHO K，MACARTHUR C．2010．Student Revision with Peer and Expert Reviewing[J]．Learning and Instruction，20(4)：328-338．

CONRAD S M，GOLDSTEIN L M．1999．ESL Student Revision after Teacher-Written Comments：Text，Contexts，and Individuals[J]．Journal of Second Language Writing，8(2)：147-179．

FAIGLEY L，WITTE S．1981．Analyzing Revision[J]．College Composition and Communication，32(4)：400-414．

FITZGERALD J．1992．Towards Knowledge in Writing：Illustrationsfrom Revision Studies[M]．New York：Springer-Verlag．

HANJANI A M，LI L．2014．Exploring L2 Writers’ Collaborative Revision Interactions and Their Writing Performance[J]．System(44)：101-114．

KALI Y，RONEN M．2008．Assessing the Assessors：Added Value in Web-Based Multi-Cycle Peer Assessment in Higher Education[J]．Research and Practice in Technology Enhanced Learning，3(1)：3-32．

LUNDSTROM K，BAKER W．2009．To Give Is Better than to Receive：The Benefits of Peer Review to the Reviewer’s Own Writing[J]．Journal of Second Language Writing，18(1)：30-43．

MATSUNOS．2009．Self-，Peer-，and Teacher-Assessments in Japanese University EFL Writing Classrooms[J]．Language Testing，26(1):75-100．

MIN H T．2005．Training Students to Become Successful Peer Reviewers[J]．System，33(2)：293-308．

MIN H T．2006．The Effects of Trained Peer Review on EFL Students’ Revision Types and Writing Quality[J]．Journal of Second Language Writing，15(2)：118-141．

NELSON G L，CARSON J G．1998．ESL Students’Perceptions of Effectiveness in Peer Response Groups[J]．Journal of Second Language Writing，7(2)，113-131．

ROLLINSON P．2005．Using Peer Feedback in the ESL Writing Class[J]．ELT Journal，59(1)：23-30．

SWAIN M．1995．Three Functions of Output in Second Language Learning[C]∥COOK G，SEIDLHOFER B(eds.)．Principles & Practice in Applied Linguistics．Oxford：Oxford University Press：125-144．

TSUI A B M，NG M．2000．Do Secondary L2 Writers Benefit from Peer Comments?[J]．Journal of Second Language Writing，9(2)：147-170．

VYGOTSKY L S．1978．Mind in Society:The Development of Higher Psychological Processes[M]．Cambridge，MA：Harvard University Press．

[責任編輯:許蓮華]

Peer Assessment Accuracy and Self-revision Differences of English Writing

XIN Sheng

(FacultyofForeignLanguages,UniversityofElectronicScienceandTechnologyofChinaZhongshanInstitute,Zhongshan,Guangdong528402,China)

Aquantitative approach had been adopted in peer review and revision experiment to compare the accuracy of assessment between high- and low-proficiency students and their revision differences. It was found that compared with teachers’ assessment, students’ assessment was of relatively lower accuracy and discrimination. Although high-proficiency students had more accurate judgments on linguistic forms, there were no significant differences between high- and low-proficiency students’ assessment. The data of self-revision revealed that high-proficiency students made more revisions than low-proficiency students, and high-proficiency students made more surface changes concerning linguistic forms, while low-proficiency students made more text-based changes. The results provided empirical evidence and pedagogical suggestions for the effective practice of peer review and differential instruction in English writing.

peer assessment; accuracy; revision; English writing

2016-02-16

辛聲(1981-)，男，山西太原人，碩士，電子科技大學中山學院外國語學院講師，研究方向為二語習得和寫作教學。

H08

A

1672-0962(2016)04-0064-07