網(wǎng)絡(luò)自動評分系統(tǒng)在大學(xué)英語寫作中的應(yīng)用研究——以順德職業(yè)技術(shù)學(xué)院為例

甘麗華，趙幫華

(順德職業(yè)技術(shù)學(xué)院外語學(xué)院，廣東 佛山 528333；重慶廣播電視大學(xué)文法學(xué)院，重慶 400052)

?

網(wǎng)絡(luò)自動評分系統(tǒng)在大學(xué)英語寫作中的應(yīng)用研究
——以順德職業(yè)技術(shù)學(xué)院為例

甘麗華，趙幫華

(順德職業(yè)技術(shù)學(xué)院外語學(xué)院，廣東 佛山 528333；重慶廣播電視大學(xué)文法學(xué)院，重慶 400052)

寫作反饋是英語寫作教學(xué)的重要環(huán)節(jié)，對提高學(xué)生的英語寫作能力起著不可低估的作用。調(diào)查研究發(fā)現(xiàn)，過半的學(xué)生傾向于使用句酷批改網(wǎng)，并會根據(jù)修改意見和分數(shù)多次修改自己的文章，直至得到滿意的分數(shù)，學(xué)生的寫作能力也會在這個過程中逐步得到提高。但句酷批改平臺應(yīng)及時更新語料庫，逐步提高智能化水平，并提供高水平的人工服務(wù)，以提高評閱的信度。

網(wǎng)絡(luò)自動評分系統(tǒng)；英語寫作教學(xué)；反饋

一 引言

寫作是一種重要的語言輸出形式，能客觀全面地顯示學(xué)習(xí)者的語言綜合應(yīng)用能力和認知水平。然而，在外語學(xué)習(xí)的聽、說、讀、寫、譯五項基本能力中，寫是較難培養(yǎng)的能力之一。一直以來我國大學(xué)英語寫作教學(xué)現(xiàn)狀不容樂觀，有研究者統(tǒng)計，歷年四、六級考試中，寫作成績普遍偏低[1]。重要原因之一是缺乏對學(xué)生所寫內(nèi)容的即時有效的反饋。目前在我國英語寫作教學(xué)中，學(xué)生作文的反饋形式主要是來自教師的終結(jié)性書面反饋。緩慢且籠統(tǒng)的評價難以給學(xué)生提供可用于改進的診斷性信息，不利于學(xué)生寫作水平的提高。

隨著文字語言處理技術(shù)的興起和發(fā)展，寫作自動評分系統(tǒng)得到研制和采用。應(yīng)用寫作自動評價系統(tǒng)研究起源于美國，到目前為止，美國已有AutoScore，Bookette，CRASETM，E-rater，Intelligent Essay Assessor，IntelliMetric， Light-SIDE，Lexile，Project Essay Grade( PEG) 9種英語寫作自動評分系統(tǒng)。國外調(diào)查研究表明，學(xué)習(xí)者希望他們的作文能得到即時反饋，然后由他們自己嘗試運用各種策略加以改正[2-7]。國內(nèi)對寫作自動評價系統(tǒng)的研究與國外相比起步較晚。近年來的研究發(fā)現(xiàn)，即時全面的寫作反饋有助于提高學(xué)生的語言正確率和寫作水平[8][9-11]。國內(nèi)一些學(xué)者對適合中國學(xué)生的英語寫作自動評分系統(tǒng)做了有益探索[11-13]。他們研制的英語考試作文自動評分系統(tǒng)是基于人工評判的大量中國大學(xué)生作文語料庫建立的評分模型，從語言、內(nèi)容和組織結(jié)構(gòu)三方面對作文進行評價。本文在前人的研究基礎(chǔ)上，就大數(shù)據(jù)背景下采用句酷批改平臺對大學(xué)非英語專業(yè)學(xué)生的寫作動機和能力的影響進行實踐與理論方面探討和研究。

二 研究設(shè)計

(一)研究問題

本研究旨在探討網(wǎng)絡(luò)自動評分系統(tǒng)對大學(xué)非英語專業(yè)學(xué)生英語寫作動機和能力發(fā)展的影響。鑒于此，研究問題包括：(1)在線寫作反饋對學(xué)生英語寫作能力的發(fā)展有何影響？(2)在線寫作反饋是否影響學(xué)生英語寫作學(xué)習(xí)動機？(3)人工批改與在線工具批改具有什么明顯差異？

(二)研究對象

本研究選取了順德職業(yè)技術(shù)學(xué)院非英語專業(yè)一年級的學(xué)生118人為實驗對象，其中男生58人，女生60人。實驗組學(xué)生每周在線提交一篇作文，由批改網(wǎng)提供反饋意見與評分，第二周根據(jù)句酷批改網(wǎng)提供的反饋意見修改上一周提交的作文，并再次上傳句酷網(wǎng)進行機器評分。

(三)研究工具

針對研究問題，本研究采用了樣本分析、問卷調(diào)查和訪談等研究工具。

1.樣本分析

在實驗對象的作文中隨機抽取50篇，分別進行機器批改和人工批改，對比分析兩者在批改能力方面的差異。

2.問卷調(diào)查

學(xué)生在進行為期36周的句酷網(wǎng)寫作訓(xùn)練之后接受此問卷調(diào)查。該問卷共有8個大題，主要涵蓋兩個方面的內(nèi)容：①實驗組學(xué)生英語寫作學(xué)習(xí)動機和理念的變化；②在線寫作反饋對學(xué)生英語寫作能力發(fā)展的影響。

3.訪談

項目組分別對教師和學(xué)生進行半結(jié)構(gòu)性訪談，進一步摸清教師和學(xué)生對句酷網(wǎng)的使用感受以及在使用過程中出現(xiàn)的各種問題。接受訪談的教師是實驗班的任課教師；學(xué)生為每個班的在句酷網(wǎng)評閱系統(tǒng)中成績記載為高分、中等、低分的各2名，共計18名。

(四)研究結(jié)果

1. 問卷調(diào)查的結(jié)果

(1)在線寫作對學(xué)生英語寫作動機的影響

表1 在線寫作反饋對學(xué)生英語寫作學(xué)習(xí)動機的影響

在參加網(wǎng)絡(luò)寫作活動之前，22.9%的學(xué)生喜歡英語寫作，一半以上的學(xué)生覺得興趣一般，17%的學(xué)生對英語寫作表示反感。實驗結(jié)束后，我們再次進行了調(diào)查，發(fā)現(xiàn)有56.8%的學(xué)生認為英語寫作的興趣有不同程度的提高，興趣一般和反感的同學(xué)比例則有所下降(見表1)。

(2)學(xué)生心目中的最佳批改方式

在回答喜歡老師批改還是網(wǎng)絡(luò)批改時，118份有效問卷中，絕大多數(shù)學(xué)生喜歡句酷平臺的網(wǎng)絡(luò)批改，主要原因是相對于教師批改來說，周期較短。在選擇教師批改的18位同學(xué)中，72.2% 的學(xué)生喜歡教師詳評語法錯誤，16.7%的學(xué)生希望教師指出其布局謀篇問題，而剩下11.1%的學(xué)生則喜歡教師寫出分數(shù)或等級(見表2)。

表2 學(xué)生心目中的最佳批改方式

(3)在線寫作平臺的優(yōu)點與缺陷

從表3可以看出，被試學(xué)生認為，批改網(wǎng)最大的優(yōu)勢首先是批閱周期較短，讓學(xué)生能夠在短時間內(nèi)得到反饋。其次是每句話都提供修改意見，再次就是提供相關(guān)詞匯(同義詞和易混淆詞匯等)，增強學(xué)生對詞匯使用的敏感度。參與調(diào)查的學(xué)生們認為，批改網(wǎng)最大的問題是人機交互感受不到與教師近距離交流的親近感。其次便是句酷批改網(wǎng)提供的語法方面的修改意見較多，但關(guān)于文章的謀篇布局和邏輯性等方面提供的修改意見較少。

超過一半的學(xué)生(52.5%)喜歡句酷批改網(wǎng)；超過三分之一的學(xué)生(35.6%)會根據(jù)句酷平臺提出的修改意見反復(fù)修改自己的作文，直至得到滿意的分數(shù)；大多數(shù)學(xué)生(79.7%)認為句酷批改網(wǎng)對作文中的詞匯和語法水平提高幫助最大，對文章的內(nèi)在邏輯性、連貫性等方面幫助較小(見表4)。

2.隨機抽樣分析結(jié)果

(4)學(xué)生對在線寫作平臺的評價及使用的效果

表4 學(xué)生對在線寫作平臺的評價

表5 教師批改反饋與在線自動評改系統(tǒng)

通過對人工批閱與機器批閱進行定量和定性分析，我們將更徹底地了解句酷批改網(wǎng)的優(yōu)勢與缺陷。首先，我們按錯誤類型對50篇文章進行了統(tǒng)計分析，具體包括以下幾個考查項：1)基本錯誤(大小寫、標點、拼寫等)；2)用詞(用詞是否正確、是否符合語境)；3)語法(各種搭配是否正確)；4)銜接與連貫(連詞運用是否得當)；5)文章結(jié)構(gòu)(結(jié)構(gòu)是否完整)；6)文章立意(是否偏題跑題)。根據(jù)的錯誤性質(zhì)不同，這些考查項予以不同的加權(quán)，有的是1個錯算1個百分點：1=1%，有的是2個錯算1個百分點：2= 1%。統(tǒng)計結(jié)果見表5。

另外，通過對學(xué)生的文章樣本做細致的定性分析，發(fā)現(xiàn)：1)句酷批改網(wǎng)經(jīng)常指出標點符號后缺空格，但由于書寫原因，教師一般只會指出標點運用是否得當；2)機器批閱對錯誤拼寫的單詞識別率高于教師批改；3)句酷網(wǎng)在“學(xué)習(xí)提示”中經(jīng)常給出易混淆的詞語，教師一般不會這樣做；4)句酷網(wǎng)通過語料庫比對判定學(xué)生的語法搭配是否規(guī)范，用詞是否地道，這種方式容易產(chǎn)生誤判，而教師批閱中很少出現(xiàn)這樣的問題。例如，針對學(xué)生作文中的錯誤句子“The first,AI can automatically adjust the room tempereture,automatic switch lamp”，兩者的反饋信息各有側(cè)重(見表 6)。

表6 句酷批改網(wǎng)與教師提供的反饋信息對比

(五)分析與討論

從統(tǒng)計結(jié)果可以看出，大部分學(xué)生(85.0%)選擇句酷批改網(wǎng)評閱自己的作文，一方面它能夠詳細指出語法錯誤，另一方面，批改用時較短。相比之下，教師認真批改每一份作文則耗時較長。過半的學(xué)生會根據(jù)修改意見和分數(shù)多次修改自己的文章，直至得到滿意的分數(shù)。學(xué)生的寫作能力也會在這個過程中逐步得到提高。

但是，目前以句酷網(wǎng)為代表的機器評閱系統(tǒng)對學(xué)生作文的修改意見主要集中在詞匯層面和基本的語法分析，對于詞匯搭配和選取的修改意見則來源于語料庫的比對。因而，機器評閱系統(tǒng)不能非常準確地評估作文的內(nèi)在質(zhì)量，如寫作的銜接與連貫性、內(nèi)在的邏輯性和關(guān)聯(lián)性等。

受限于科技的發(fā)展水平，目前無法徹底解決這一問題，但可以從以下幾個方面來彌補。第一，句酷批改網(wǎng)應(yīng)該不斷豐富、及時更新語料庫，認真審視教師和學(xué)生提出的誤判案例，優(yōu)化批閱平臺。第二，計算機技術(shù)人員與語言研究者通力合作，繼續(xù)提升批改網(wǎng)的智能化水平，讓智能平臺既可以評閱詞匯語法，也可以評閱篇章結(jié)構(gòu)。此舉不僅能提高智能批改的水平，也能提高機器翻譯的水平。第三，提供有效的人工服務(wù)，方便學(xué)生及時解決疑難問題。

三 結(jié)語

本研究采取定性加定量的研究方法，以順德職業(yè)技術(shù)學(xué)院2015級非英語專業(yè)一年級的118名學(xué)生為研究對象，探討了網(wǎng)絡(luò)自動評分系統(tǒng)對學(xué)生英語寫作的影響。研究發(fā)現(xiàn)：(1) 通過在線寫作的訓(xùn)練，學(xué)生對英語寫作的興趣有顯著提高，對英語科目的學(xué)習(xí)興趣也有所提高；(2) 以句酷網(wǎng)為代表的在線批閱平臺對語法和詞匯的批閱能力較強，但對篇章結(jié)構(gòu)的批閱能力與人工相比則相差甚遠。因此，在線批閱平臺應(yīng)及時更新語料庫，逐步提高智能化水平，并提供高水平的人工服務(wù)，以提高評閱的信度。

本研究以大學(xué)非英語專業(yè)學(xué)生為實驗對象，通過一年多的調(diào)查研究，剖析在線寫作反饋對英語寫作動機和能力的影響，研究結(jié)果可為大學(xué)英語寫作教學(xué)改革提供指導(dǎo)和借鑒。

[1][8]陳鳳.一項關(guān)于句酷批改網(wǎng)在大學(xué)英語寫作教學(xué)中的應(yīng)用研究[J].東華理工大學(xué)學(xué)報(社會科學(xué)版)，2014，(2).

[2]Ferris D R. The case for grammar correction in L2 writing classes: A response to Truscott[J].Journal of Second Language Writing，1999，(1).

[3]Kubota M. Error correction strategies used by learners of Japanese when revising a writing task[J].System, 2001，( 4)．

[4]Lee I. L2 writing teachers’ perspectives，practices and problems regarding error feedback[J].Assessing Writing，2003，( 3)．

[5]Grimes D.Assessing automated assessment: Essay evaluation software in the classroom[EB/OL].ftp://ftp.ics.uci.edu/pub/grimesd/AutoAssessment.pdf.

[6]Shermis M D，Hamner B.Contrasting state of the art automated scoring of essays[A].M D Shermis，J Burstein.Handbook of automated essay evalution[C].New York: Routledge，2013．

[7]Weigle S C.English as a second language writingand automated essay evaluation[A].M D Shermis，J Burstein.Handbook of automated essay evalution[C].New York: Routledge，2013．

[9]郭翠紅,秦曉晴. 國外二語學(xué)習(xí)者作文書面反饋研究——研究的視角及對大學(xué)英語作文評改的啟示[J]. 解放軍外國語學(xué)院學(xué)報，2006，(5).

[10]葛詩利,陳瀟瀟.中國EFL學(xué)習(xí)者自動作文評分探索[J].外語界，2007，(5).

[11]李金輝.使用潛伏語義分析理論研究計算機改中國學(xué)生英語作文[D].廣州：廣東外語外貿(mào)大學(xué)博士學(xué)位論文，2009.

[12]梁茂成.中國學(xué)生英語作文自動評分模型的構(gòu)建[M].北京：外語教學(xué)與研究出版社，2010.

[13]梁茂成.大規(guī)?？荚囉⒄Z作文自動評分系統(tǒng)的研制[M].北京：高等教育出版社，2011.

(責(zé)任編校：簡小烜)

Application of Online Automatic Scoring System in College English Writing

GAN Lihua, ZHAO Banghua

(Department of Foreign Languages, Shunde Polytechnic, Foshan Guangdong 528333, China; School of Arts and Law, Chongqing Radio and TV University, Chongqing 400052, China)

Writing feedback is an important part of English writing teaching, which plays an important role in improving students’ English writing ability. It is found in the investigation that more than half of the students tend to use Pigaiwang (http://www.pigai.org) and repeatedly modify their articles based on the revision comments and scores until they get satisfactory results. Students’ writing ability is gradually developed in this process. However, the corpus should be updated in time on Pigaiwang, the level of intelligence should be gradually enhanced and high level of human services should be provided in order to improve the reliability of evaluation.

online automatic scoring system; English writing teaching; feedback

2016-08-22

教育部職業(yè)院校外語類專業(yè)教學(xué)指導(dǎo)委員會項目“基于大數(shù)據(jù)的高職英語寫作反饋研究”，編號：GZGZ5414-49。

甘麗華(1975— ) ，女，廣東翁源人，順德職業(yè)技術(shù)學(xué)院外語學(xué)院教授，碩士。研究方向：應(yīng)用語言學(xué)及英語教學(xué)法。趙幫華(1984— )，男，安徽阜陽人，重慶廣播電視大學(xué)文法學(xué)院講師，碩士。研究方向：心理語言學(xué)、認知語言學(xué)。

G642.0

A

1008-4681(2016)06-0157-04