大數(shù)據(jù)時(shí)代基于在線自動(dòng)評(píng)改的英語(yǔ)寫作反饋研究*

張威 蔡文育 （哈爾濱理工大學(xué)）

一 研究背景

英語(yǔ)寫作作為一種重要的語(yǔ)言輸出，是測(cè)試學(xué)生綜合能力和認(rèn)知水平的一種非常有用的方法，也是英語(yǔ)學(xué)習(xí)者聽、說(shuō)、讀、寫、譯這五種語(yǔ)言應(yīng)用能力中最難以培養(yǎng)的。在傳統(tǒng)的英語(yǔ)寫作教學(xué)過(guò)程中，學(xué)生寫作水平的提高主要依靠自身練習(xí)與教師引導(dǎo)，教師要從內(nèi)容、詞匯、語(yǔ)法、篇章結(jié)構(gòu)、格式規(guī)范等各方面對(duì)學(xué)生的作文進(jìn)行評(píng)改，長(zhǎng)期以來(lái)學(xué)生和教師都投入了大量的時(shí)間和精力，但是收效甚微。在全國(guó)大學(xué)英語(yǔ)四、六級(jí)考試中，學(xué)生的聽力和閱讀成績(jī)?cè)诮陙?lái)都有較明顯進(jìn)步，而寫作成績(jī)卻少有提高。這是由于大班授課、寫作練習(xí)及評(píng)改不足、反饋不及時(shí)、主觀性較強(qiáng)等多種原因造成的。因此,張雪梅(2006:28)認(rèn)為由于現(xiàn)行教學(xué)中的教師反饋質(zhì)量不高、教學(xué)針對(duì)性不強(qiáng),我國(guó)大學(xué)英語(yǔ)寫作存在著費(fèi)時(shí)、低效的現(xiàn)象。

教育部于2016年頒布的《大學(xué)英語(yǔ)教學(xué)指南》為下一步的大學(xué)英語(yǔ)寫作教學(xué)改革指明了方向，“大學(xué)英語(yǔ)應(yīng)大力推進(jìn)最新信息技術(shù)與課程教學(xué)的融合，繼續(xù)發(fā)揮現(xiàn)代教育技術(shù)，特別是信息技術(shù)在外語(yǔ)教學(xué)中的重要作用。大學(xué)英語(yǔ)教師要與時(shí)俱進(jìn)，在具體的課堂設(shè)計(jì)與實(shí)施過(guò)程中，融入并合理使用信息技術(shù)元素”。鑒于此，主動(dòng)適應(yīng)大數(shù)據(jù)、“互聯(lián)網(wǎng)+”時(shí)代下大學(xué)英語(yǔ)教學(xué)發(fā)展的需求，充分利用現(xiàn)代信息技術(shù)手段提高教學(xué)效果，深入促進(jìn)教育信息化的發(fā)展及寫作教學(xué)的轉(zhuǎn)變，實(shí)現(xiàn)教育與信息技術(shù)相互交融及創(chuàng)新發(fā)展，已成為高等院校未來(lái)發(fā)展的必然趨勢(shì)。

二 國(guó)外寫作在線自動(dòng)評(píng)改系統(tǒng)的發(fā)展

所謂自動(dòng)寫作評(píng)改系統(tǒng)（Automated Essay Evaluation System，AEES），是指使用專門的計(jì)算機(jī)程序?yàn)榻逃h(huán)境中的作文自動(dòng)評(píng)估與評(píng)分。自動(dòng)寫作評(píng)分是一種教育評(píng)估的方法，也是一種自然語(yǔ)言處理的應(yīng)用。這個(gè)方向的研究始于美國(guó)上世紀(jì)60年代，其在國(guó)外主要經(jīng)歷了三個(gè)發(fā)展階段。

第一階段是第一套自動(dòng)寫作評(píng)分系統(tǒng)PEG（Project Essay Grade），由美國(guó)杜克大學(xué)Ellis Page 等人于1966年開發(fā)（Page，2003），Page 是第一個(gè)探索、記錄和驗(yàn)證基于計(jì)算機(jī)的寫作評(píng)估的人，因其開拓性的研究，Page 被視為“自動(dòng)寫作評(píng)分系統(tǒng)之父”。Page 使用回歸模型，將文本的表面特征（如：文本長(zhǎng)度、詞長(zhǎng)和標(biāo)點(diǎn)符號(hào)）作為自變量，將論文得分作為因變量來(lái)衡量作文，不涉及內(nèi)容、組織、體裁等。

第二階段是由美國(guó)科羅拉多州皮爾遜知識(shí)技術(shù)公司于20世紀(jì)90年代研發(fā)的IEA（Intelligent Essay Assessor）、美國(guó)教育考試服務(wù)中心（Educational Testing Service，簡(jiǎn)稱ETS）研發(fā)的E-rater 和美國(guó)新澤西州Vantage 學(xué)習(xí)公司研發(fā)的IntelliMetric，這幾個(gè)系統(tǒng)對(duì)寫作的評(píng)估更為系統(tǒng)化，增加了詞法、句法、語(yǔ)篇及結(jié)構(gòu)的分析。IEA 基于潛在語(yǔ)義分析（Latent Semantic Analysis）分析隱藏在文本中的潛在的語(yǔ)義結(jié)構(gòu)（Semantic Structure），即所有詞匯項(xiàng)（terms）的語(yǔ)義之和?；趯?duì)大量文本（通常為數(shù)千到數(shù)百萬(wàn)字）的統(tǒng)計(jì)分析，LSA 得出高維語(yǔ)義空間，單詞和段落在該語(yǔ)義空間中表示為矢量，待評(píng)分作文可以通過(guò)這些LSA 矢量來(lái)表征，與已知寫作質(zhì)量的作文進(jìn)行比較，它們的相似性通過(guò)語(yǔ)義空間中包含角度的余弦來(lái)度量，兩文之間的角度越小，語(yǔ)義或概念內(nèi)容則越相似，并基于它們的相似性得出作文評(píng)分(Similarity Score)；E-rater 利用了統(tǒng)計(jì)技術(shù)、矢量空間模型技術(shù)和自然語(yǔ)言處理技術(shù)，既能像PEG 那樣評(píng)判作文的語(yǔ)言形式，又能像IEA 那樣評(píng)判作文的內(nèi)容質(zhì)量，還能對(duì)作文的篇章結(jié)構(gòu)進(jìn)行分析。E-rater 圍繞這三個(gè)主要方面（即三個(gè)模塊）分析和評(píng)判作文質(zhì)量，分別是話語(yǔ)結(jié)構(gòu)（Discourse）（即篇章結(jié)構(gòu)）分析模塊、句法多樣性（Syntactic Variety）（即語(yǔ)言形式）分析模塊、內(nèi)容（Content）分析模塊（唐冬寧, 張威2017）；IntelliMetric 則更為先進(jìn)，以基于大腦或基于思維的認(rèn)知模型為基礎(chǔ)，借鑒了認(rèn)知加工，人工智能，自然語(yǔ)言理解和計(jì)算語(yǔ)言學(xué)的傳統(tǒng)。能分析400 多種語(yǔ)義、句法和話語(yǔ)層次的特征，能提供整體評(píng)分以及中心思想與一致性、文章展開與細(xì)節(jié)描述、文章組織與結(jié)構(gòu)、句子結(jié)構(gòu)、技巧及慣用規(guī)則這五大類特征的分?jǐn)?shù)。

第三階段是2000年以來(lái)，基于上述評(píng)分系統(tǒng)開發(fā)的My Access！、Criterion、Bayesian Essay Test Scoring System(BETSY)、Hot Online Essay Scoring 和Writing Roadmap 等系統(tǒng)，這幾個(gè)系統(tǒng)不僅可以反饋寫作分?jǐn)?shù)、詞匯和語(yǔ)法，還能夠有針對(duì)性和個(gè)性化地反饋寫作的內(nèi)容質(zhì)量、篇章組織及格式規(guī)范，因此它們?cè)诿绹?guó)的課堂教學(xué)中也成為重要的形成性評(píng)價(jià)工具，但它們主要針對(duì)英語(yǔ)本族語(yǔ)學(xué)習(xí)者。

三 國(guó)內(nèi)寫作在線自動(dòng)評(píng)改系統(tǒng)的發(fā)展與不足

國(guó)內(nèi)對(duì)寫作自動(dòng)評(píng)改系統(tǒng)的研究始于20世紀(jì)初，主要側(cè)重介紹與探討。最早涉足該領(lǐng)域者是梁茂成（2005），他在研制適合中國(guó)學(xué)生的英語(yǔ)寫作自動(dòng)評(píng)分系統(tǒng)方面進(jìn)行了大膽的探索。李亞男（2006）將自動(dòng)評(píng)改技術(shù)用于中國(guó)少數(shù)民族漢語(yǔ)水平測(cè)試的寫作研究中。曹亦薇和楊晨（2007）是第一個(gè)使用潛語(yǔ)義分析技術(shù)對(duì)漢語(yǔ)作文進(jìn)行自動(dòng)評(píng)分研究的開創(chuàng)者，并得出潛語(yǔ)義分析在漢語(yǔ)寫作的自動(dòng)評(píng)分中起著至關(guān)重要作用這一結(jié)論。韓寧（2009）介紹并評(píng)價(jià)了美國(guó)英語(yǔ)考試及教學(xué)中最流行的七個(gè)寫作自動(dòng)評(píng)分系統(tǒng)。梁茂成（2011）開發(fā)了大型英語(yǔ)考試寫作自動(dòng)評(píng)分系統(tǒng)，即EFL Essay Evaluator1.0。該系統(tǒng)把1000 多篇人工評(píng)分的中國(guó)大學(xué)生議論和說(shuō)明文體的英語(yǔ)命題作文文本作為語(yǔ)料庫(kù)，對(duì)前期的評(píng)分模型進(jìn)行驗(yàn)證和優(yōu)化，從而建立出系統(tǒng)架構(gòu)，其主要圍繞作文的語(yǔ)言質(zhì)量、內(nèi)容質(zhì)量以及篇章結(jié)構(gòu)這三個(gè)方面進(jìn)行評(píng)判。

目前，國(guó)內(nèi)已出現(xiàn)了一些商用自動(dòng)評(píng)改系統(tǒng)，廣泛使用的主流系統(tǒng)有句酷批改網(wǎng)、冰果英語(yǔ)智能作文評(píng)閱系統(tǒng)、TRP 教學(xué)資源平臺(tái)、iWrite2.0 英語(yǔ)寫作教學(xué)與評(píng)閱系統(tǒng)和易改英語(yǔ)等。與國(guó)外寫作自動(dòng)評(píng)改系統(tǒng)60 多年的發(fā)展歷史相比，國(guó)內(nèi)在這一領(lǐng)域的研究還比較薄弱和短暫，且研究主題相對(duì)單一和滯后，多以漢語(yǔ)寫作自動(dòng)評(píng)改系統(tǒng)的研究為主。針對(duì)英語(yǔ)寫作自動(dòng)評(píng)改系統(tǒng)的實(shí)證研究數(shù)量不多，多為介紹西方的成果和技術(shù)的理論研究。

國(guó)內(nèi)的英語(yǔ)寫作自動(dòng)評(píng)改系統(tǒng)也存在著一些不足之處，如：沒(méi)有對(duì)作文的內(nèi)容質(zhì)量進(jìn)行分析，且訓(xùn)練樣本有限，實(shí)用價(jià)值不高；無(wú)法對(duì)文章的語(yǔ)義內(nèi)容進(jìn)行有效的評(píng)估，而且可以通過(guò)寫一些優(yōu)美的句子欺騙系統(tǒng)獲取高分；機(jī)器評(píng)分與人工評(píng)分有較大出入，常出現(xiàn)高分低判、低分高判等問(wèn)題。該領(lǐng)域的研究面臨著前所未有的機(jī)遇，也面臨著諸多挑戰(zhàn)。

四 大數(shù)據(jù)視野下自動(dòng)評(píng)改系統(tǒng)的應(yīng)用價(jià)值與發(fā)展前景

在大規(guī)模外語(yǔ)標(biāo)準(zhǔn)化測(cè)試中，寫作部分通常必須由兩位及以上人工評(píng)分員打分，造成了批閱成本很高，使得一些國(guó)家在標(biāo)準(zhǔn)考試中已放棄了重要的寫作測(cè)試。目前，自動(dòng)評(píng)改系統(tǒng)還處在人機(jī)耦合的階段。如果在標(biāo)準(zhǔn)化測(cè)試中，用機(jī)器人評(píng)分員取代其中一位必要的人工評(píng)分員，若機(jī)器人與人工評(píng)分員的意見截然不同，則此作文將被標(biāo)記并轉(zhuǎn)發(fā)給另一位人工評(píng)分員做進(jìn)一步的評(píng)估，那么既可以保證評(píng)分質(zhì)量，又可以提高評(píng)分效率。

EdX 總裁Anant Agarwal 稱，智能自動(dòng)評(píng)分的優(yōu)點(diǎn)不僅僅是能節(jié)省寶貴的時(shí)間，新技術(shù)所實(shí)現(xiàn)的即時(shí)反饋對(duì)學(xué)習(xí)也有積極影響。在傳統(tǒng)教學(xué)模式中，由于大班授課的壓力，許多寫作課教師難以提供即時(shí)有效的反饋，作文的評(píng)改常流于形式。而寫作自動(dòng)評(píng)改系統(tǒng)的使用可以使師生實(shí)現(xiàn)即時(shí)溝通，第一時(shí)間有針對(duì)性地討論問(wèn)題，并及時(shí)反饋效果。學(xué)生的寫作成果也可以作為分析學(xué)生語(yǔ)言能力發(fā)展的重要數(shù)據(jù)，反映他們語(yǔ)言水平的發(fā)展情況，實(shí)現(xiàn)學(xué)習(xí)過(guò)程和結(jié)果的動(dòng)態(tài)管理。

總之，運(yùn)用自動(dòng)評(píng)改系統(tǒng)進(jìn)行英語(yǔ)寫作教學(xué)，可以提高學(xué)生學(xué)習(xí)的主動(dòng)性，實(shí)現(xiàn)學(xué)生的自主學(xué)習(xí)。但寫作自動(dòng)評(píng)改系統(tǒng)(AEES)的開發(fā)是一項(xiàng)全新且富有挑戰(zhàn)性的復(fù)雜技術(shù)，研究涉及諸多領(lǐng)域。鑒于此，國(guó)內(nèi)相關(guān)領(lǐng)域的工作者應(yīng)遵循跨學(xué)科發(fā)展的理念、多學(xué)科交叉協(xié)作，高校與企業(yè)緊密合作、積極互動(dòng)，將計(jì)算語(yǔ)言學(xué)、二語(yǔ)寫作的研究成果與大數(shù)據(jù)、人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等技術(shù)整合，將國(guó)外先進(jìn)的技術(shù)引入中國(guó)英語(yǔ)學(xué)習(xí)者的寫作自動(dòng)評(píng)改系統(tǒng)中去，為我國(guó)的英語(yǔ)寫作教學(xué)提供一個(gè)強(qiáng)有力的輔助工具。