大數(shù)據(jù)時(shí)代基于在線自動(dòng)評(píng)改的英語寫作反饋研究

張威 蔡文育

[摘 要] 本文以教育部頒布的《大學(xué)英語教學(xué)指南》中關(guān)于大學(xué)英語課堂教學(xué)要與現(xiàn)代信息技術(shù)相結(jié)合的相關(guān)精神為指導(dǎo)，回顧及梳理了國內(nèi)外英語寫作研究與實(shí)踐領(lǐng)域中主要成果及主流寫作自動(dòng)評(píng)改系統(tǒng)的特點(diǎn)與不足，展望了未來大規(guī)模外語測試中人機(jī)結(jié)合作文評(píng)閱的前景，并提出要多學(xué)科交叉，校企協(xié)作，將計(jì)算語言學(xué)、二語寫作研究成果與大數(shù)據(jù)、人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)技術(shù)整合的建議，以期進(jìn)一步提升自動(dòng)評(píng)改系統(tǒng)的準(zhǔn)確度。

[關(guān)鍵詞] 大數(shù)據(jù);自動(dòng)評(píng)改;英語寫作;反饋

[中圖分類號(hào)] G642? ?[文獻(xiàn)標(biāo)志碼] A [文章編號(hào)] 1008-2549（2019） 04-0102-02

一 研究背景

英語寫作作為一種重要的語言輸出，是測試學(xué)生綜合能力和認(rèn)知水平的一種非常有用的方法，也是英語學(xué)習(xí)者聽、說、讀、寫、譯這五種語言應(yīng)用能力中最難以培養(yǎng)的。在傳統(tǒng)的英語寫作教學(xué)過程中，學(xué)生寫作水平的提高主要依靠自身練習(xí)與教師引導(dǎo)，教師要從內(nèi)容、詞匯、語法、篇章結(jié)構(gòu)、格式規(guī)范等各方面對(duì)學(xué)生的作文進(jìn)行評(píng)改，長期以來學(xué)生和教師都投入了大量的時(shí)間和精力，但是收效甚微。在全國大學(xué)英語四、六級(jí)考試中，學(xué)生的聽力和閱讀成績?cè)诮陙矶加休^明顯進(jìn)步，而寫作成績卻少有提高。這是由于大班授課、寫作練習(xí)及評(píng)改不足、反饋不及時(shí)、主觀性較強(qiáng)等多種原因造成的。因此，張雪梅（2006：28）認(rèn)為由于現(xiàn)行教學(xué)中的教師反饋質(zhì)量不高、教學(xué)針對(duì)性不強(qiáng)，我國大學(xué)英語寫作存在著費(fèi)時(shí)、低效的現(xiàn)象。

教育部于2016年頒布的《大學(xué)英語教學(xué)指南》為下一步的大學(xué)英語寫作教學(xué)改革指明了方向，“大學(xué)英語應(yīng)大力推進(jìn)最新信息技術(shù)與課程教學(xué)的融合，繼續(xù)發(fā)揮現(xiàn)代教育技術(shù)，特別是信息技術(shù)在外語教學(xué)中的重要作用。大學(xué)英語教師要與時(shí)俱進(jìn)，在具體的課堂設(shè)計(jì)與實(shí)施過程中，融入并合理使用信息技術(shù)元素”。鑒于此，主動(dòng)適應(yīng)大數(shù)據(jù)、“互聯(lián)網(wǎng)+”時(shí)代下大學(xué)英語教學(xué)發(fā)展的需求，充分利用現(xiàn)代信息技術(shù)手段提高教學(xué)效果，深入促進(jìn)教育信息化的發(fā)展及寫作教學(xué)的轉(zhuǎn)變，實(shí)現(xiàn)教育與信息技術(shù)相互交融及創(chuàng)新發(fā)展，已成為高等院校未來發(fā)展的必然趨勢。

二 國外寫作在線自動(dòng)評(píng)改系統(tǒng)的發(fā)展

所謂自動(dòng)寫作評(píng)改系統(tǒng)（Automated Essay Evaluation System，AEES），是指使用專門的計(jì)算機(jī)程序?yàn)榻逃h(huán)境中的作文自動(dòng)評(píng)估與評(píng)分。自動(dòng)寫作評(píng)分是一種教育評(píng)估的方法，也是一種自然語言處理的應(yīng)用。這個(gè)方向的研究始于美國上世紀(jì)60年代，其在國外主要經(jīng)歷了三個(gè)發(fā)展階段。

第一階段是第一套自動(dòng)寫作評(píng)分系統(tǒng)PEG（Project Essay Grade），由美國杜克大學(xué)Ellis Page等人于1966年開發(fā)（Page，2003），Page是第一個(gè)探索、記錄和驗(yàn)證基于計(jì)算機(jī)的寫作評(píng)估的人，因其開拓性的研究，Page被視為“自動(dòng)寫作評(píng)分系統(tǒng)之父”。Page使用回歸模型，將文本的表面特征（如：文本長度、詞長和標(biāo)點(diǎn)符號(hào)）作為自變量，將論文得分作為因變量來衡量作文，不涉及內(nèi)容、組織、體裁等。

第二階段是由美國科羅拉多州皮爾遜知識(shí)技術(shù)公司于20世紀(jì)90年代研發(fā)的IEA（Intelligent Essay Assessor）、美國教育考試服務(wù)中心（Educational Testing Service，簡稱ETS）研發(fā)的 E-rater和美國新澤西州Vantage學(xué)習(xí)公司研發(fā)的IntelliMetric，這幾個(gè)系統(tǒng)對(duì)寫作的評(píng)估更為系統(tǒng)化，增加了詞法、句法、語篇及結(jié)構(gòu)的分析。IEA基于潛在語義分析（Latent Semantic Analysis）分析隱藏在文本中的潛在的語義結(jié)構(gòu)（Semantic Structure），即所有詞匯項(xiàng)（terms）的語義之和?；趯?duì)大量文本（通常為數(shù)千到數(shù)百萬字）的統(tǒng)計(jì)分析，LSA得出高維語義空間，單詞和段落在該語義空間中表示為矢量，待評(píng)分作文可以通過這些LSA矢量來表征，與已知寫作質(zhì)量的作文進(jìn)行比較，它們的相似性通過語義空間中包含角度的余弦來度量，兩文之間的角度越小，語義或概念內(nèi)容則越相似，并基于它們的相似性得出作文評(píng)分（Similarity Score）;E-rater利用了統(tǒng)計(jì)技術(shù)、矢量空間模型技術(shù)和自然語言處理技術(shù)，既能像 PEG 那樣評(píng)判作文的語言形式，又能像 IEA 那樣評(píng)判作文的內(nèi)容質(zhì)量，還能對(duì)作文的篇章結(jié)構(gòu)進(jìn)行分析。E-rater 圍繞這三個(gè)主要方面（即三個(gè)模塊）分析和評(píng)判作文質(zhì)量，分別是話語結(jié)構(gòu)（Discourse）（即篇章結(jié)構(gòu)）分析模塊、句法多樣性（Syntactic Variety）（即語言形式）分析模塊、內(nèi)容（Content）分析模塊（唐冬寧， 張威 2017）;IntelliMetric則更為先進(jìn)，以基于大腦或基于思維的認(rèn)知模型為基礎(chǔ)，借鑒了認(rèn)知加工，人工智能，自然語言理解和計(jì)算語言學(xué)的傳統(tǒng)。能分析400多種語義、句法和話語層次的特征，能提供整體評(píng)分以及中心思想與一致性、文章展開與細(xì)節(jié)描述、文章組織與結(jié)構(gòu)、句子結(jié)構(gòu)、技巧及慣用規(guī)則這五大類特征的分?jǐn)?shù)。

第三階段是2000年以來，基于上述評(píng)分系統(tǒng)開發(fā)的My Access！、Criterion、Bayesian Essay Test Scoring System（BETSY）、Hot Online Essay Scoring和Writing Roadmap等系統(tǒng)，這幾個(gè)系統(tǒng)不僅可以反饋寫作分?jǐn)?shù)、詞匯和語法，還能夠有針對(duì)性和個(gè)性化地反饋寫作的內(nèi)容質(zhì)量、篇章組織及格式規(guī)范，因此它們?cè)诿绹恼n堂教學(xué)中也成為重要的形成性評(píng)價(jià)工具，但它們主要針對(duì)英語本族語學(xué)習(xí)者。

三 國內(nèi)寫作在線自動(dòng)評(píng)改系統(tǒng)的發(fā)展與不足

國內(nèi)對(duì)寫作自動(dòng)評(píng)改系統(tǒng)的研究始于20世紀(jì)初，主要側(cè)重介紹與探討。最早涉足該領(lǐng)域者是梁茂成（2005），他在研制適合中國學(xué)生的英語寫作自動(dòng)評(píng)分系統(tǒng)方面進(jìn)行了大膽的探索。李亞男（2006）將自動(dòng)評(píng)改技術(shù)用于中國少數(shù)民族漢語水平測試的寫作研究中。曹亦薇和楊晨（2007）是第一個(gè)使用潛語義分析技術(shù)對(duì)漢語作文進(jìn)行自動(dòng)評(píng)分研究的開創(chuàng)者，并得出潛語義分析在漢語寫作的自動(dòng)評(píng)分中起著至關(guān)重要作用這一結(jié)論。韓寧（2009）介紹并評(píng)價(jià)了美國英語考試及教學(xué)中最流行的七個(gè)寫作自動(dòng)評(píng)分系統(tǒng)。梁茂成（2011）開發(fā)了大型英語考試寫作自動(dòng)評(píng)分系統(tǒng)，即EFL Essay Evaluator1.0。該系統(tǒng)把1000多篇人工評(píng)分的中國大學(xué)生議論和說明文體的英語命題作文文本作為語料庫，對(duì)前期的評(píng)分模型進(jìn)行驗(yàn)證和優(yōu)化，從而建立出系統(tǒng)架構(gòu)，其主要圍繞作文的語言質(zhì)量、內(nèi)容質(zhì)量以及篇章結(jié)構(gòu)這三個(gè)方面進(jìn)行評(píng)判。