在線寫作自動評改系統(tǒng)在大學英語寫作教學中的應用研究

[摘要]作文批改與反饋是英語寫作教學的一個重要環(huán)節(jié)，對提高學生的英語寫作能力有著不可低估的作用。將在線寫作自動評改系統(tǒng)與課堂教學整合是英語寫作教學改革的重要途徑。本研究以句酷批改網(wǎng)為例，以學生的作文樣本為研究語料，以問卷調(diào)查和訪談等為研究手段，著重探析了在線寫作自動評改系統(tǒng)的有效性，并提出應增強在線自動評改系統(tǒng)的智能性及構建多元寫作反饋機制。

[關鍵詞]在線寫作自動評改系統(tǒng)：英語寫作教學；反饋

[中圖分類號]G40-057 [文獻標識碼]A [論文編號]1009-8097（2012）10-0067-05

一、引言

作文批改與反饋（feedback）是英語寫作教學的一個重要環(huán)節(jié)，其目的是向?qū)懽髡咛峁┬薷淖魑牡男畔?，使其明白自己作文的“組織邏輯性不強”，或“內(nèi)容發(fā)展不夠”，或“用詞和時態(tài)等錯誤”。這些信息有的是針對學習者作文表層錯誤的糾錯性反饋（corrective feedback）；有的是面向作文語篇層面（如內(nèi)容和組織結(jié)構）的反饋；評語和評分也是信息反饋的重要方面。有研究表明，學生依據(jù)反饋信息對作文進行修改，是第二寫作過程，對提高學生的語言能力有著極重要的作用例。

傳統(tǒng)反饋多以紙質(zhì)形式呈現(xiàn)，很多教師由于教學任務繁重，對學生的作文批改常常流于形式，給學生的反饋非常有限；大部分學生無法從教師提供的反饋中看到自己作文中實際存在的問題，更遑論進行第二寫作過程。

隨著現(xiàn)代教育技術的發(fā)展，人們對利用網(wǎng)絡平臺提升學生的寫作興趣、寫作方法以及寫作應用能力等進行了有益的教學實驗和探索。例如，郭曉英研究了博客環(huán)境下寫作能力的培養(yǎng)模式，而張文霞等、楊永林介紹了清華大學外語系研發(fā)的“易得”寫作軟件的理論背景、技術探索和系統(tǒng)設計過程。但對利用在線寫作評改系統(tǒng)加強英語作文反饋的研究還不多見。

二、在線寫作自動評改系統(tǒng)的技術特點及其應用

1.技術特點

所謂自動寫作評改系統(tǒng)（Automated Essay Scoring，AES），就是利用計算機技術對作文進行評估與評分。該方向的研究至今已歷時近四十年，在此過程中，采用了統(tǒng)計、自然語言處理及人工智能等方面的最新成果，并于1999年進入實際應用階段。自動作文評改系統(tǒng)的研究與應用在國內(nèi)外已成為計算機輔助外語寫作教學的熱點。

國外研發(fā)成功并投入使用的自動評改系統(tǒng)有十余種，其中最具代表性的是EG（Project Essay Grade）、IEA（IntelligentEssay Assessor）和E-rater。它們各具特色，PEG重語言形式，IEA重作文內(nèi)容，E-rater則既重形式又重內(nèi)容，但這些自動評改系統(tǒng)多應用于以英語為母語的寫作評估與反饋中，對中國學生的英文寫作適用性不太強。

目前在國內(nèi)多所高校推廣使用的句酷批改網(wǎng)（http：//www.pigai.org，以下簡稱批改網(wǎng)）是一種網(wǎng)上智能批改系統(tǒng)，以SAAS（軟件即服務）的方式為教師和英語學習者提供英語作文的在線自動批改服務，旨在為學生提供一個寫作環(huán)境，給出實時評分與診斷性反饋，激發(fā)學生積極修改作文，不斷提高寫作能力；同時還能減輕教師的作文批改工作量，并幫助教師更加直觀地了解學生的英文寫作水平。

句酷批改網(wǎng)具有以下特點：

（1）使用便捷

教師登錄批改網(wǎng)，布置作文，寫明要求，系統(tǒng)生成作文號；學生獲得作文號后，在學生帳戶頁面搜索作文號，找到教師布置的作文題目進行寫作并提交；

（2）反饋及時

系統(tǒng)對學生作文進行分析，自動識別詞匯、搭配、語法等常見錯誤，實時給出修改建議和分數(shù)。

（3）按句點評

系統(tǒng)除了指出作文每一句中存在的拼寫、語法、詞匯、搭配錯誤外，還分析錯誤類型，為學生用戶提供特定知識點的擴展訓練、搭配推薦、參考例句等，為學生提供全面的寫作指導，幫助學生自主學習。

（4）抄襲檢測

句酷批改網(wǎng)在學生提交作文后，以句子為單位，查驗該作文是否與本班其他同學作文有內(nèi)容重復、與本校學生作文是否有重復、與語料庫是否有重復、與互聯(lián)網(wǎng)網(wǎng)頁內(nèi)容是否有重復，并提供重復度指標供教師參考。

（5）進度報告

進步報告記錄了一個學校、一個班級或某個具體學生寫作能力的成長過程。該報告有利于學校和老師掌握學校、班級學生總體薄弱點和個體薄弱點，了解各知識點掌握程度的變化趨勢，為學校和教師進行英語教學的安排提供數(shù)據(jù)支持。

2.在英語寫作教學中的應用

自2011年下半年以來，批改網(wǎng)在我校英語教學中得到推廣使用。在使用過程中，教師和學生發(fā)現(xiàn)，批改網(wǎng)確實具有上述優(yōu)點，但也發(fā)現(xiàn)了一些問題（如批改網(wǎng)評分與教師評分很多時候不一致）。因此，有必要對以批改網(wǎng)代表的在線寫作自動評價系統(tǒng)做一番研究，分析其在英文寫作教學中的適切性與局限性，以便使教師和學生更科學合理地使用該工具。

三、在線寫作自動評改系統(tǒng)的有效性研究

1.研究問題

本研究旨在探討以批改網(wǎng)為代表的在線寫作自動評改系統(tǒng)對提高學生英語寫作能力的有效性。鑒于此，具體研究問題為：（1）大學一年級學生英文寫作中主要存在什么問題？（2）作為一種在線自動評改系統(tǒng)，批改網(wǎng)能否幫助學生提高英語寫作水平？在哪一方面對學生幫助最大？（3）人工批改與在線工具批改具有什么明顯差異？（4）批改網(wǎng)在作文評改與反饋方面還存在哪些局限性？如何改進？

2.研究對象

為了客觀、準確地反映實際情況，本研究在抽取研究對象時，考慮了專業(yè)特點、學生的寫作能力、在線寫作經(jīng)歷等因素，選取了英語專業(yè)本科一年級兩個自然班（27人+28人）以及非英語專業(yè)本科一年級3個自然班（33人+35人+38人），共161人。這些學生都必須每周在線提交一篇作文，并由批改網(wǎng)提供反饋意見與評分。

3.研究工具

針對研究問題，本研究采用了作文樣本分析、問卷調(diào)查、訪談等研究工具。

（1）作文樣本（writing samples）。對每個自然班采用隨機抽樣的方式選取作文各5篇，總共25篇，由批改網(wǎng)與任課教師分別批改，對比分析兩者在批改形式、批改側(cè)重點、批改結(jié)果、評語、分數(shù)等幾個方面的異同點。

（2）問卷調(diào)查（questionnaire）。學生在進行了為期10周的批改網(wǎng)寫作訓練后做了該項問卷調(diào)查。該問卷共有30題，主要涵蓋4個方面的內(nèi)容：①對英文寫作目的、英文寫作中包含的重要因素以及自己英文寫作水平的總體認知；②對自己作文中的錯誤如何糾正的看法；③使用批改網(wǎng)的具體情況；④對批改網(wǎng)的評價以及使用批改網(wǎng)后的效果。

（3）訪談（interview）。本研究還分別對教師和學生進行了半結(jié)構訪談（semi-structured interview），更深入地了解教師和學生對批改網(wǎng)的評價以及在使用過程中出現(xiàn)的問題。接受訪談的教師為4位任課教師：學生為每個班的批改網(wǎng)系統(tǒng)中記載的成績好、中、差各2名學生，共10名學生。

4.研究結(jié)果

（1）問卷調(diào)查的結(jié)果。

1）學生對自己英語寫作水平的認知。在152份有效問卷中，大多數(shù)學生認為自己的英語寫作水平一般或較差；在被問及到作文中的主要問題時，學生的回答較為多樣：42.7%的學生認為是思想表達不清，37.5%的學生認為是前后不連貫，整體性差；63.2%的學生認為是用詞不當或詞匯單調(diào)；67.1%的學生認為是語法錯誤多，56.6%的學生認為是句型單一（見表1）。多數(shù)學生認為自己在詞匯、語法、句型方面有待提高。

2）對自己作文中的錯誤如何糾正的看法。

在回答喜歡老師面批還是書面批改時，152份有效問卷中，絕大多數(shù)學生喜歡教師個別式面批；而在教師書面批改中，59.9%的學生喜歡教師詳細評點語法及用詞上的錯誤，喜歡教師“標出錯處、留待學生改正”的只占21.1%；只有少數(shù)學生喜歡教師“簡單談談大體印象”這種方式或“只寫出分數(shù)或等級”（見表2）。

3）學生使用批改網(wǎng)的情況。

大多數(shù)學生（86.8%）很希望并很有信心（78.3%）能通過使用批改網(wǎng)提高自己的英語寫作水平，對此有很大的期待；但很多學生（65.1%）只是在老師要求時才使用批改網(wǎng)寫作文；一些學生（47.4%）會根據(jù)批改網(wǎng)提供的點評重新修改自己的作文直至得到滿意的分數(shù)。

4）學生對批改網(wǎng)的評價及使用的效果。

從表3可以看出，被試學生認為，批改網(wǎng)最大的優(yōu)勢是批改及時，其次是能很快獲知自己作文的分數(shù)?！鞍淳潼c評”也被很多學生認為是批改網(wǎng)較大的優(yōu)勢，但對“提供同義詞、擴大了詞匯量”和“提供評語，能了解作文的每一項情況”，不贊同的學生數(shù)明顯上升。

被試學生認為，批改網(wǎng)最大的問題是提供的詞匯和語法方面的反饋較多，但關于作文的思想內(nèi)容、邏輯性和連貫性以及篇章結(jié)構方面提供的反饋較少。

從表4可以看出，近一半左右（48%）的學生對使用批改網(wǎng)持非常喜歡和比較喜歡的態(tài)度；一些學生（36.2%）會根據(jù)批改網(wǎng)提供的點評意見反復修改自己的作文，直至滿意的分數(shù)；批改網(wǎng)對學生作文中的詞匯和語法幫助最大。

（2）作文樣本分析結(jié)果。

為了更深入地了解批改網(wǎng)的優(yōu)點與不足，我們對人工批改與網(wǎng)絡批改進行了定量和定性分析。

首先，我們按錯誤類型對25份作文樣本進行了統(tǒng)計，具體包括以下幾個參數(shù)：1）思想內(nèi)容（主題是否明確、有新意；文章是否跑題）；2）篇章結(jié)構（內(nèi)容是否分引言、正文和結(jié)尾，是否分段論述，是否有中心思想句和主題句）；3）連貫性（段落是否銜接良好）；4）語法（主謂一致、名詞單復數(shù)、動詞時態(tài)、冠詞等）；5）句型（句子的結(jié)構是否正確）；6）詞法（用詞是否正確、貼切，搭配是否合理）；7）寫作常規(guī)（大小寫、標點符號、拼寫等）。根據(jù)的錯誤性質(zhì)不同，這些參數(shù)予以不同的加權，有的1個錯是1個百分點：1=1%，有的是3個錯算1個百分點：3=1%。統(tǒng)計結(jié)果見表5。

其次，我們還對作文樣本做了詳細的定性分析，其結(jié)果發(fā)現(xiàn)：1）批改網(wǎng)給出的反饋信息多為提示性的，內(nèi)容比較寬泛，不夠具體；而教師給出的反饋信息則比較直觀明了。大多教師不僅劃出作文中的錯誤，還給出了修改建議，或直接修改錯誤點；2）批改網(wǎng)提供大量近義詞辨析，而教師評改則較少提供類似信息；3）批改網(wǎng)大多不改變學生作文中的原有句型，而教師評改則更加靈活。

例如，針對學生作文中的錯誤句“In China，English is took to be a foreigh language which many student choosed to learn”，兩者的反饋信息各有側(cè)重（見表6）

5.分析與討論

從上述研究結(jié)果可以看出，絕大多數(shù)學生喜歡教師個別式面批，或詳細評點語法及用詞上的錯誤，但一般情況下，由于教師教學工作量大，難以滿足每個學生的這一需求。批改網(wǎng)能充分滿足學生個性化評改和反饋的需求，并在詞匯、語法層面給予學生比較充分的評改與反饋，因此，大多數(shù)學生喜歡使用批改網(wǎng)，并會根據(jù)批改網(wǎng)的點評意見反復修改自己的作文，直至得到滿意的分數(shù)。這對提高學生的寫作能力起到了積極的作用，因為過程寫作理論認為，寫作過程是非直線性的。一篇結(jié)構完整、表達清楚、讀者易懂的作品最終得以完成，需要經(jīng)過反復思考，反復修改。

然而，目前自動寫作評改系統(tǒng)對學生作文的評價主要集中在詞匯層面和部分較為成熟的語法分析。由此，自動寫作評改系統(tǒng)的評分只是對作文中語言使用的一個大概的評估，無法準確地評估作文的內(nèi)在質(zhì)量，如寫作的流暢性、句子結(jié)構的復雜度、文章的措辭、內(nèi)部的邏輯性與關聯(lián)性等，因而也就無法全面評估學生的英文寫作水平。

針對這一問題，可采取以下兩種方法彌補其不足。

第一，信息技術人員與應用語言學家共同努力，提升在線自動評改系統(tǒng)的信度。充分利用人工智能技術，尤其是自然語言處理及智能語言輔導技術，構建新的寫作自動評改系統(tǒng)模型（見圖4），使之不僅能提供每篇作文的總分，還能提供寫作內(nèi)容、篇章結(jié)構、語體、詞匯、語法及格式規(guī)范的各單項分及個性化反饋，更多關注對文章思想內(nèi)容的評估。

第二，在大學英語寫作教學中構建多元反饋機制。建立一種融教師反饋、自動評改工具反饋及利用網(wǎng)絡平臺的同伴反饋（peerfeedback，即同學間互相評改作文）的多元反饋機制，以彌補單一反饋模式的不足。有研究表明，同伴反饋能（1）增強學生的讀者意識；（2）提高學生學習和掌握英語寫作技巧的積極性；（3）提高學生的文章質(zhì)量意識：（4）明顯提高學生作文內(nèi)容和語言質(zhì)量；（5）幫助學生形成英語學習社群。利用網(wǎng)絡平臺進行同伴反饋是較好的彌補手段。

四、結(jié)語

在線寫作自動評改系統(tǒng)的實時反饋有效激發(fā)了學生的寫作興趣，增加了作文的修改頻次，達到了以評促學的目的，凸現(xiàn)了過程寫作學習法的重要性。由于系統(tǒng)自身的技術特點，在詞匯和語法層面給予學生的幫助較大，但在篇章結(jié)構、內(nèi)容邏輯性和連貫性層面的優(yōu)勢并不明顯。因此，既要增強評改系統(tǒng)的智能性；也要補充其他反饋手段，以彌補其不足。

本研究時間短，調(diào)查范圍也有限，因此具有一定的局限性。后續(xù)研究將擴大研究范圍，更深入地探討在線自動評改系統(tǒng)在寫作教學中的應用效果及對學生寫作能力的影響。

基金項目：本文為江蘇省教育廳2012年度高校哲學社會科學研究基金項目‘‘基于網(wǎng)絡平臺的人際互動與話語結(jié)構研究”（編號2012SJB740024）、江蘇省現(xiàn)代教育技術研究2012年度重點課題"Blackboard網(wǎng)絡課程管理系統(tǒng)支持下的整合型外語教學研究”（編號2012-R-21572）、南通大學2011年度教學研究課題“基于Blackboard網(wǎng)絡平臺的《綜合英語》立體式教學的行動研究”（編號2011826）的階段性研究成果。

作者簡介：石曉玲，南通大學外國語學院副教授、碩士生導師。研究方向：語言與文化，應用語言學，計算機輔助外語教學。

收稿日期：2012年5月21日

編輯：李婷