自動(dòng)作文評(píng)分系統(tǒng)對(duì)大學(xué)生英語寫作能力的影響實(shí)證研究

宋毅寧

[摘 要]將自動(dòng)作文評(píng)分系統(tǒng)與寫作教學(xué)進(jìn)行整合是大學(xué)英語教學(xué)改革的一大著力點(diǎn)與突破口，通過實(shí)證研究探討以批改網(wǎng)為代表的本土化自動(dòng)作文評(píng)分系統(tǒng)對(duì)大學(xué)生寫作能力的影響。教學(xué)實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)不僅能從整體上提高大學(xué)生的寫作水平，還能對(duì)除篇章結(jié)構(gòu)之外的三個(gè)分項(xiàng)維度產(chǎn)生積極影響，尤其是詞匯和句子的分項(xiàng)成績提高極為顯著，而其影響程度與大學(xué)生的英語水平成負(fù)相關(guān)。

[關(guān)鍵詞]自動(dòng)作文評(píng)分系統(tǒng);大學(xué)英語寫作教學(xué);寫作能力;實(shí)證研究

[中圖分類號(hào)] H319 [文獻(xiàn)標(biāo)識(shí)碼] A [文章編號(hào)] 2095-3437（2019）10-0132-03

大學(xué)英語作為大學(xué)生的一門必修基礎(chǔ)課程是我國高等教育的一個(gè)重要組成部分，隨著“互聯(lián)網(wǎng)+”理念的深入人心和人工智能及云技術(shù)的普及，傳統(tǒng)的大學(xué)英語教學(xué)模式已越來越無法適應(yīng)和滿足“數(shù)字化原生代”學(xué)生的學(xué)習(xí)需求。在英語聽、說、讀、寫、譯五項(xiàng)基本技能中，寫作存在的問題尤為突出。很多院校不僅沒有開設(shè)獨(dú)立的寫作課，沒有專門的寫作教材，缺乏開展寫作訓(xùn)練的軟硬件條件，師生比例也極為懸殊。教師教學(xué)任務(wù)過于繁重必然會(huì)導(dǎo)致寫作訓(xùn)練不足。教師反饋不及時(shí)、不充分等問題，會(huì)挫傷學(xué)生的寫作積極性，影響學(xué)生寫作能力的發(fā)展。國家教育部2007年公布的《大學(xué)英語課程教學(xué)要求（試行）》中明確提出高等學(xué)校應(yīng)當(dāng)充分利用多媒體、網(wǎng)絡(luò)技術(shù)發(fā)展帶來的契機(jī)，改進(jìn)原來的以教師講授為主的單一課堂教學(xué)模式。新的教學(xué)模式應(yīng)以現(xiàn)代信息技術(shù)特別是網(wǎng)絡(luò)技術(shù)為支撐，使英語教學(xué)朝著個(gè)性化學(xué)習(xí)、不受時(shí)間和地點(diǎn)限制的學(xué)習(xí)、主動(dòng)學(xué)習(xí)的方向發(fā)展。

在大數(shù)據(jù)時(shí)代的背景下，將現(xiàn)代信息技術(shù)與寫作教學(xué)進(jìn)行有機(jī)整合成為大學(xué)英語教學(xué)改革的著力點(diǎn)和突破口， 將自動(dòng)作文評(píng)分系統(tǒng)融入寫作教學(xué)成為新的研究趨勢(shì)。

一、自動(dòng)作文評(píng)分系統(tǒng)概述

自動(dòng)作文評(píng)分系統(tǒng) （Automated Essay Scoring System， AESS）是建立在建構(gòu)主義理論、形成性評(píng)價(jià)理論和過程寫作法理論之上的利用計(jì)算機(jī)技術(shù)對(duì)作文進(jìn)行評(píng)估和計(jì)分的系統(tǒng) （Shermis & Burstein， 2003）。國外自動(dòng)作文評(píng)分系統(tǒng)的發(fā)展主要經(jīng)歷了兩個(gè)階段：第一階段從20世紀(jì)60年代到20世紀(jì)末，主要用于大規(guī)模水平考試的作文評(píng)分，典型代表有Page Essay Grade （PEG），Intelligent Essay Assessor （IEA），Electronic Essay Rater （E-rater），Criterion，Intellimetric，Bayesian Essay Test Scoring System （BETSS）等。第二階段始于21世紀(jì)初，自動(dòng)作文評(píng)分系統(tǒng)被逐漸應(yīng)用于課程的形成性評(píng)價(jià)之中，除了自動(dòng)評(píng)分之外，還具備了對(duì)作文進(jìn)行錯(cuò)誤分析﹑維度分析﹑個(gè)性化反饋﹑寫作輔助等功能，主要代表有My Access！， Criterion， Writing Roadmap （WRM）等（唐錦蘭、吳一安，2012）。

國外的自動(dòng)作文評(píng)分系統(tǒng)主要針對(duì)英語本族語使用者，并不適用于以英語為外語的學(xué)習(xí)者。近幾年來以梁茂成（2005），李亞男（2006），曹亦薇、楊晨（2007），葛詩利、陳瀟瀟（2007），蔣學(xué)清、蔡靜、唐錦蘭（2011）等為代表的國內(nèi)學(xué)者對(duì)自動(dòng)作文評(píng)分系統(tǒng)進(jìn)行了研究，部分學(xué)者甚至對(duì)研制適合于中國英語學(xué)習(xí)者實(shí)際情況的自動(dòng)作文評(píng)分系統(tǒng)進(jìn)行了有益的嘗試。目前國內(nèi)自主研發(fā)的本土化自動(dòng)作文評(píng)分系統(tǒng)主要有高等教育出版社和清華大學(xué)開發(fā)的體驗(yàn)英語寫作教學(xué)資源平臺(tái)，北京詞網(wǎng)科技有限公司開發(fā)的批改網(wǎng)，杭州增慧網(wǎng)絡(luò)科技有限公司旗下的冰果網(wǎng)等。

本研究所依托的自動(dòng)作文評(píng)分系統(tǒng)批改網(wǎng)基于語料庫語言學(xué)、人工智能和計(jì)算機(jī)云技術(shù)，其運(yùn)作理念是將作文從詞匯、句子、篇章結(jié)構(gòu)、內(nèi)容相關(guān)四個(gè)維度與批改網(wǎng)建立的英語本族語語料庫做對(duì)比，通過一定的算法形成分?jǐn)?shù)和評(píng)語。在學(xué)生界面上，學(xué)生提交作文后系統(tǒng)會(huì)給出整體評(píng)分、分項(xiàng)評(píng)分、綜合評(píng)語、按句點(diǎn)評(píng)和詳盡的體檢報(bào)告。除了完成教師發(fā)布的寫作任務(wù)外，學(xué)生還可以進(jìn)行作文自測(cè)，參與作文PK，登錄寫作聯(lián)盟、寫作論壇等板塊進(jìn)行自主學(xué)習(xí)。在教師界面上，教師可以進(jìn)行班級(jí)管理，發(fā)布寫作任務(wù)。寫作任務(wù)完成后可以得到包括分?jǐn)?shù)分布、錯(cuò)誤統(tǒng)計(jì)、數(shù)據(jù)比對(duì)、維度分析、薄弱點(diǎn)分析等的診斷報(bào)告，還可以推薦優(yōu)秀作文供學(xué)生學(xué)習(xí)鑒賞。學(xué)生提交的作文達(dá)到一定數(shù)量后教師還可以開通個(gè)人網(wǎng)站，上傳各類寫作資源供學(xué)生瀏覽下載。

二、研究設(shè)計(jì)

（一）研究目的和研究問題

本研究是將自動(dòng)作文評(píng)分系統(tǒng)融入大學(xué)英語寫作教學(xué)的一項(xiàng)實(shí)證研究，具體研究問題包括：自動(dòng)作文評(píng)分系統(tǒng)在寫作教學(xué)中的應(yīng)用對(duì)大學(xué)生的整體寫作能力有何影響？自動(dòng)作文評(píng)分系統(tǒng)在寫作教學(xué)中的應(yīng)用對(duì)大學(xué)生的分項(xiàng)寫作能力有何影響？自動(dòng)作文評(píng)分系統(tǒng)在寫作教學(xué)中的應(yīng)用對(duì)不同英語水平的大學(xué)生在寫作能力上的影響有何差異？

（二）研究對(duì)象

本研究的研究對(duì)象是華北地區(qū)某高校非英語專業(yè)一年級(jí)隨機(jī)抽樣的某個(gè)自然班的38名學(xué)生，其中男生24人，女生14人。為了探究自動(dòng)作文評(píng)分系統(tǒng)對(duì)不同水平的大學(xué)生的影響，研究者依據(jù)學(xué)生的高考英語成績、大學(xué)英語一次期末考試成績及一次英語寫作測(cè)驗(yàn)成績這3項(xiàng)成績均值，進(jìn)一步將該班學(xué)生按英語水平分為高、中、低3組，其中高分組12人，中分組13人，低分組13人。該班學(xué)生由研究者本人授課，教學(xué)實(shí)驗(yàn)歷時(shí)5個(gè)月。

（三）研究的方法和工具

根據(jù)研究問題的實(shí)際情況，本研究主要采用了基于教學(xué)實(shí)驗(yàn)的量化研究方法，主要的研究工具包括在批改網(wǎng)上完成的實(shí)驗(yàn)的前后兩次測(cè)試成績和數(shù)據(jù)分析軟件SPSS17.0。

（四）數(shù)據(jù)收集

本次教學(xué)實(shí)驗(yàn)采用量化研究中的準(zhǔn)實(shí)驗(yàn)研究設(shè)計(jì)，共分為以下3個(gè)階段。

1.前測(cè)階段

在師生注冊(cè)并生成班級(jí)信息之后，研究者組織學(xué)生在計(jì)算機(jī)房進(jìn)行了本次實(shí)驗(yàn)的前測(cè)。要求學(xué)生以My View on Online Shopping為題在40分鐘內(nèi)完成一篇120至150詞的議論文，滿分15分，打分公式為大學(xué)英語四級(jí)打分公式。同時(shí)教師開啟相似度檢驗(yàn)，禁止粘貼、百寶箱、顯示排名等功能。

2.實(shí)驗(yàn)階段

實(shí)驗(yàn)期間研究者每3到4周向參與實(shí)驗(yàn)的學(xué)生發(fā)布一次寫作任務(wù)，作文題目都是從學(xué)生正在學(xué)習(xí)的《新標(biāo)準(zhǔn)大學(xué)英語2》中每單元的主題提煉而來，寫作要求與前測(cè)保持一致，限期1周完成。

正式寫作前，研究者在課堂上組織學(xué)生進(jìn)行寫前準(zhǔn)備，采用頭腦風(fēng)暴、提問法、擬提綱等方法幫助學(xué)生積極投入寫作活動(dòng)。正式寫作時(shí)，學(xué)生可根據(jù)系統(tǒng)提供的反饋信息反復(fù)修改并多次提交。研究者在作文提交時(shí)間截止后登錄批改網(wǎng)查看提交情況，適當(dāng)添加人工評(píng)閱意見，并根據(jù)系統(tǒng)提供的診斷報(bào)告對(duì)作文整體情況進(jìn)行講評(píng)。

3.后測(cè)階段

4次寫作練習(xí)結(jié)束后，在計(jì)算機(jī)房進(jìn)行了本次實(shí)驗(yàn)的后測(cè)，要求學(xué)生在40分鐘內(nèi)就“Never go out there to see what happens，go out there to make something happen.”這句名言展開論述，具體寫作要求仍然與前測(cè)保持一致。為了減少多次寫作練習(xí)后學(xué)生寫作成績自然提高所造成的影響，后測(cè)的作文難度要稍大于前測(cè)的。

三、研究結(jié)果及其分析

（一）自動(dòng)作文評(píng)分系統(tǒng)的應(yīng)用對(duì)大學(xué)生整體和分項(xiàng)的寫作能力的影響

批改網(wǎng)評(píng)分采用整體評(píng)分和分項(xiàng)評(píng)分相結(jié)合的混合評(píng)分方法，分項(xiàng)評(píng)分分別從詞匯﹑句子﹑篇章結(jié)構(gòu)﹑內(nèi)容相關(guān)4個(gè)維度來進(jìn)行，各個(gè)維度的得分加權(quán)后構(gòu)成整體評(píng)分。為了回答前2個(gè)研究問題，研究者運(yùn)用SPSS17.0對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行描述性統(tǒng)計(jì)分析和獨(dú)立樣本T檢驗(yàn)，縱向比較實(shí)驗(yàn)前后測(cè)的總分及各維度分?jǐn)?shù)。

由表2數(shù)據(jù)可知，參與實(shí)驗(yàn)的學(xué)生后測(cè)成績均值比前測(cè)提高了1.316，達(dá)到了統(tǒng)計(jì)意義上的非常顯著性差異（P<.01），這說明自動(dòng)作文評(píng)分系統(tǒng)融入教學(xué)有效提高了大學(xué)生的整體寫作水平。

表3數(shù)據(jù)顯示，4個(gè)分項(xiàng)維度中有3個(gè)維度的前后測(cè)結(jié)果達(dá)到了統(tǒng)計(jì)學(xué)意義上的非常顯著性差異（P<.01），其中成績提高幅度最大的是句子層面，其次是詞匯層面、內(nèi)容相關(guān)層面，篇章結(jié)構(gòu)層面不但沒有提高反而出現(xiàn)了小幅下降。

據(jù)研究者分析，學(xué)生在句子和詞匯層面的顯著進(jìn)步主要是由于以下幾方面的原因：一是系統(tǒng)自帶語法和詞匯檢測(cè)功能，在按句點(diǎn)評(píng)中會(huì)通過各類標(biāo)簽有針對(duì)性地指出句子中的語法錯(cuò)誤、拼寫錯(cuò)誤、標(biāo)點(diǎn)符號(hào)錯(cuò)誤、中式英語等，以便于學(xué)生在修改過程中有的放矢、穩(wěn)步提高，也會(huì)鞭策學(xué)生在寫作中更加注意表層語言的精準(zhǔn)表達(dá)。二是學(xué)生在批改網(wǎng)寫作時(shí)可借助系統(tǒng)自帶的類似在線詞典的“百寶箱”功能查看單詞拼寫、釋義、同義詞、例句等，這種方便快捷的寫作輔助工具對(duì)于單詞量匱乏且沒有養(yǎng)成查閱紙質(zhì)詞典習(xí)慣的學(xué)生大有裨益。

研究數(shù)據(jù)中令研究者頗為訝異的是學(xué)生在內(nèi)容相關(guān)維度取得了極高的分?jǐn)?shù)，有些甚至達(dá)到了滿分。研究者嘗試聯(lián)系批改網(wǎng)的技術(shù)人員以了解該項(xiàng)維度的評(píng)分機(jī)制，但相關(guān)人員以內(nèi)部機(jī)密為由未能予以確切說明。研究者轉(zhuǎn)而從其他功能著手分析，發(fā)現(xiàn)批改網(wǎng)于2016年下半年新增了跑題檢驗(yàn)功能，該功能是通過關(guān)鍵詞匹配法，抽取教師上傳范文中或者相同題目下學(xué)生作文中的關(guān)鍵詞，計(jì)算出與學(xué)生作文中的關(guān)鍵詞的匹配度，從而判斷作文有沒有跑題。跑題與內(nèi)容相關(guān)是一組相反的概念，據(jù)研究者推測(cè)內(nèi)容相關(guān)維度極有可能是遵循同樣的原理，但僅憑關(guān)鍵詞來判斷作文內(nèi)容是否切題未免有失偏頗，該項(xiàng)評(píng)判標(biāo)準(zhǔn)的信度和效度尚待科學(xué)驗(yàn)證。

篇章結(jié)構(gòu)層面是4個(gè)維度中唯一不升反降的，雖然其下降幅度沒有達(dá)到顯著水平（P>.01），但也說明了自動(dòng)評(píng)分系統(tǒng)在提高學(xué)生謀篇布局能力上的不足。一方面，批改網(wǎng)對(duì)作文的反饋重于遣詞造句方面，對(duì)篇章結(jié)構(gòu)的反饋極少且十分寬泛;另一方面，后測(cè)作文在難度上要稍高于前幾次，這導(dǎo)致很多學(xué)生作文結(jié)構(gòu)松散，條理不清，分?jǐn)?shù)偏低。

（二）自動(dòng)作文評(píng)分系統(tǒng)的應(yīng)用對(duì)不同英語水平的大學(xué)生寫作能力的影響

為了進(jìn)一步判定自動(dòng)作文評(píng)分系統(tǒng)對(duì)英語水平高、中、低3組的影響程度，研究者運(yùn)用SPSS17.0分別對(duì)這3組的前后測(cè)成績進(jìn)行獨(dú)立樣本T檢驗(yàn)。

表4數(shù)據(jù)說明，這3組的后測(cè)成績與前測(cè)成績相比均有不同程度的提高，其中低分組在3個(gè)組中進(jìn)步最大，后測(cè)比前測(cè)均值高出1.577，達(dá)到統(tǒng)計(jì)學(xué)意義上的非常顯著（P<.01）;中分組進(jìn)步幅度次之，均值提高了1.346，達(dá)到了非常顯著性差異（P<.01）;高分組后測(cè)比前測(cè)均值只高出0.625，雖然進(jìn)步幅度達(dá)到了顯著性差異（P<.05），但在3個(gè)組中差異最小。由此可以得出初步結(jié)論，自動(dòng)作文評(píng)分系統(tǒng)應(yīng)用于寫作教學(xué)對(duì)不同英語水平大學(xué)生的寫作能力都有積極影響，寫作成績提高幅度低分組>中分組>高分組，這說明其影響程度與大學(xué)生的英語水平呈負(fù)相關(guān)。究其原因，研究者認(rèn)為主要是由于低分組學(xué)生在詞匯和句子層面犯的錯(cuò)誤較多，易于被系統(tǒng)識(shí)別反饋，從而做出有效修改;而高分組學(xué)生的表層語言錯(cuò)誤較少，作文思想內(nèi)容和篇章結(jié)構(gòu)本身就難以在短期內(nèi)提高，系統(tǒng)提供的幫助也較少。而且低分組學(xué)生往往字跡潦草，卷面凌亂，在線寫作則能有效規(guī)避此類問題引起的失分。

四、結(jié)語

本研究是對(duì)自動(dòng)作文評(píng)分系統(tǒng)介入大學(xué)英語寫作教學(xué)進(jìn)行的初步探索。與以往偏重于組間對(duì)比實(shí)驗(yàn)的研究不同的是，本研究著重探討系統(tǒng)對(duì)學(xué)生分項(xiàng)寫作能力的影響以及對(duì)不同英語水平學(xué)生影響的差異，這也是本研究的創(chuàng)新之處。在量化研究基礎(chǔ)上，本研究發(fā)現(xiàn)該系統(tǒng)能從整體和分項(xiàng)維度上提高大學(xué)生的寫作水平，尤其是在詞匯和句子維度提高顯著，而對(duì)學(xué)生的影響程度與其英語水平成負(fù)相關(guān)。由于研究周期較短，實(shí)驗(yàn)對(duì)象數(shù)量較少，本研究還存在許多有待完善的地方。如何將該研究繼續(xù)向縱深推進(jìn)，建立一個(gè)個(gè)性化、智能化、交互式、數(shù)字化的寫作平臺(tái)，最終服務(wù)于提升大學(xué)生寫作興趣和寫作水平的終極目標(biāo)將是研究者下一步的研究課題。

[ 參 考 文 獻(xiàn) ]

[1] 吳一安，唐錦蘭.融入自動(dòng)評(píng)價(jià)系統(tǒng)的英語寫作實(shí)驗(yàn)教學(xué)對(duì)高校英語教師的影響研究[J]. 外語電化教學(xué)，2012（2）：3-10.

[2] 梁茂成. 中國學(xué)生英語作文自動(dòng)評(píng)分模型的構(gòu)建[M]. 北京： 外語教學(xué)與研究出版社，2011.

[3] 梁茂成，文秋芳. 國外作文自動(dòng)評(píng)分系統(tǒng)評(píng)述及啟示[J]. 外語電化教學(xué)，2007（5）： 18-24.

[4] 李亞男. 漢語作為第二語言測(cè)試的作文自動(dòng)評(píng)分研究[D]. 北京：北京語言大學(xué)， 2006.

[5] 曹亦薇，楊晨. 使用潛語義分析的漢語作文自動(dòng)評(píng)分研究[J]. 考試研究，2007（1）：63-71.

[6] 葛詩利，陳瀟瀟. 國外自動(dòng)作文評(píng)分技術(shù)研究[J].外語電化教學(xué)， 2007（5）：25-29.

[7] 蔣學(xué)清，蔡靜，唐錦蘭. 探析自動(dòng)作文評(píng)價(jià)系統(tǒng)對(duì)大學(xué)生英語寫作能力發(fā)展的影響[J]. 山東外語教學(xué)，2011（6）： 36-43.

[8] 莫函蓓. 新媒體時(shí)代大學(xué)生應(yīng)用寫作行為的嬗變及策略[J].大學(xué)教育，2017（6）： 103-104+108.

[9] 孫宏兵. 動(dòng)態(tài)評(píng)價(jià)理論在非專業(yè)大學(xué)英語寫作教學(xué)中的應(yīng)用[J]. 大學(xué)教育，2018（4）： 100-101+118.

[責(zé)任編輯：龐丹丹]