外語(yǔ)教學(xué)中的作文自動(dòng)評(píng)價(jià)系統(tǒng)研究述評(píng)*

王利娜

（上海健康醫(yī)學(xué)院,上海 201318）

隨著語(yǔ)言處理、信息提取等方面技術(shù)的不斷進(jìn)步，作文自動(dòng)評(píng)價(jià)系統(tǒng)（Automated Writing Evaluation）得以開(kāi)發(fā)應(yīng)用。作文自動(dòng)評(píng)價(jià)系統(tǒng)是一種計(jì)算機(jī)應(yīng)用軟件，能夠自動(dòng)生成作文評(píng)分，并且/或者在語(yǔ)言、內(nèi)容、篇章結(jié)構(gòu)、技術(shù)規(guī)范等方面對(duì)作文進(jìn)行反饋。常見(jiàn)的作文自動(dòng)評(píng)價(jià)系統(tǒng)有Criterion、MY Access!、句酷批改網(wǎng)、iWrite英語(yǔ)寫(xiě)作教學(xué)與評(píng)閱系統(tǒng)等?！洞髮W(xué)英語(yǔ)教學(xué)指南（2020版）》指出：大學(xué)英語(yǔ)應(yīng)大力推進(jìn)最新信息技術(shù)與課程教學(xué)的融合……使學(xué)習(xí)者朝著主動(dòng)學(xué)習(xí)、自主學(xué)習(xí)和個(gè)性化學(xué)習(xí)方向發(fā)展[1]。另外，近幾年國(guó)內(nèi)外很多高校采取線上線下相結(jié)合的教學(xué)方式，也使得作文自動(dòng)評(píng)價(jià)系統(tǒng)的應(yīng)用更加廣泛。有關(guān)作文自動(dòng)評(píng)價(jià)系統(tǒng)的理論和實(shí)證研究也成為近幾年外語(yǔ)教學(xué)領(lǐng)域的研究熱點(diǎn)。本文將從對(duì)作文自動(dòng)評(píng)價(jià)系統(tǒng)的介紹及評(píng)價(jià)、教師和學(xué)習(xí)者對(duì)作文自動(dòng)評(píng)價(jià)系統(tǒng)的態(tài)度調(diào)查研究、教師和學(xué)習(xí)者對(duì)作文自動(dòng)評(píng)價(jià)系統(tǒng)的具體應(yīng)用研究、基于作文自動(dòng)評(píng)價(jià)系統(tǒng)的在線反饋有效性實(shí)證研究四個(gè)方面對(duì)外語(yǔ)教學(xué)中的作文自動(dòng)評(píng)價(jià)系統(tǒng)研究進(jìn)行述評(píng)。

一、作文自動(dòng)評(píng)價(jià)系統(tǒng)的介紹及評(píng)價(jià)

目前國(guó)內(nèi)外比較流行的作文自動(dòng)評(píng)價(jià)系統(tǒng)有E-rater，Criterion，My Access!，句酷批改網(wǎng)，iWrite等。梁茂成和文秋芳（2007）介紹了國(guó)外三種作文自動(dòng)評(píng)價(jià)系統(tǒng)：Project Essay Grade，Intelligent Essay Assessor和E-rater。Project Essay Grade重語(yǔ)言形式，擅長(zhǎng)對(duì)語(yǔ)言質(zhì)量的分析，但是對(duì)語(yǔ)言內(nèi)容不做分析。Intelligent Essay Assessor重作文內(nèi)容，擅長(zhǎng)對(duì)作文內(nèi)容質(zhì)量的分析，但是不分析作文的語(yǔ)言質(zhì)量，對(duì)篇章結(jié)構(gòu)也不作分析。而E-rater既重語(yǔ)言形式和作文內(nèi)容，又重篇章結(jié)構(gòu)。其語(yǔ)言、內(nèi)容和篇章結(jié)構(gòu)三個(gè)模塊與人工評(píng)分要素更為吻合，但是它對(duì)作文的內(nèi)容質(zhì)量分析存在不足，而對(duì)篇章結(jié)構(gòu)的分析也拘泥于文本的表層特征，其對(duì)語(yǔ)言質(zhì)量的分析也不夠全面[2]。兩位學(xué)者在分析這三種國(guó)外作文自動(dòng)評(píng)價(jià)系統(tǒng)的長(zhǎng)處和不足的基礎(chǔ)上，提出了對(duì)我國(guó)自主開(kāi)發(fā)作文自動(dòng)評(píng)價(jià)系統(tǒng)的啟示。王穎和李振陽(yáng)（2012）介紹了E-rater,Criterion,My Access!三種作文自動(dòng)評(píng)價(jià)系統(tǒng)，并對(duì)其進(jìn)行了評(píng)價(jià)[3]。

二、教師和學(xué)習(xí)者對(duì)作文自動(dòng)評(píng)價(jià)系統(tǒng)的態(tài)度調(diào)查研究

教師和學(xué)習(xí)者對(duì)作文自動(dòng)評(píng)價(jià)系統(tǒng)的態(tài)度在一定程度上會(huì)影響到他們對(duì)作文自動(dòng)評(píng)價(jià)系統(tǒng)的具體應(yīng)用及其使用效果。已有研究表明，教師和學(xué)習(xí)者對(duì)作文自動(dòng)評(píng)價(jià)系統(tǒng)的態(tài)度有很大不同。Lai（2010）調(diào)查了22名英語(yǔ)為外語(yǔ)的學(xué)習(xí)者對(duì)同伴反饋和My Access!反饋的態(tài)度，結(jié)果表明相較于作文自動(dòng)評(píng)價(jià)系統(tǒng)，學(xué)習(xí)者更傾向于同伴反饋。在虛擬課堂中，學(xué)習(xí)者沒(méi)有辦法體會(huì)到人性化的教學(xué)。大多數(shù)學(xué)習(xí)者認(rèn)為作文自動(dòng)評(píng)價(jià)系統(tǒng)反饋過(guò)于籠統(tǒng)，無(wú)法據(jù)此作出修改，他們對(duì)作文自動(dòng)評(píng)價(jià)系統(tǒng)做出的模糊的、固定的有時(shí)還是重復(fù)的反饋并不滿意[4]。李奕華（2015）通過(guò)問(wèn)卷調(diào)查發(fā)現(xiàn)學(xué)習(xí)者對(duì)句酷批改網(wǎng)的評(píng)分結(jié)果的滿意度較低。學(xué)習(xí)者認(rèn)為句酷批改網(wǎng)僅從語(yǔ)言上評(píng)價(jià)寫(xiě)作，無(wú)法評(píng)價(jià)內(nèi)容的相關(guān)性和結(jié)構(gòu)的合理性，并且關(guān)于寫(xiě)作的建議也比較空泛。但是，由于基于句酷批改網(wǎng)的線上反饋方式使學(xué)習(xí)者無(wú)需與教師面對(duì)面，這能夠在一定程度上緩解他們的寫(xiě)作焦慮[5]。Li et al.（2015）就Criterion在教學(xué)中的應(yīng)用對(duì)學(xué)習(xí)者和教師進(jìn)行了訪談。教師肯定了此系統(tǒng)對(duì)學(xué)習(xí)者寫(xiě)作的積極作用。但是學(xué)習(xí)者中的觀點(diǎn)卻不一致，這與學(xué)習(xí)者的語(yǔ)言水平以及教師對(duì)作文自動(dòng)評(píng)價(jià)系統(tǒng)的觀點(diǎn)及具體使用相關(guān)[6]。也有研究表明學(xué)習(xí)者對(duì)作文自動(dòng)評(píng)價(jià)系統(tǒng)持肯定態(tài)度。張珊珊和徐錦芬（2019）發(fā)現(xiàn)不同水平的學(xué)習(xí)者對(duì)句酷批改網(wǎng)提供的在線自動(dòng)反饋是否有效態(tài)度不同，低水平組學(xué)習(xí)者感知有效性得分高于高水平組學(xué)習(xí)者的得分[7]。綜上所述，教師和學(xué)習(xí)者對(duì)作文自動(dòng)評(píng)價(jià)系統(tǒng)的接受度有所不同，對(duì)其是否能夠有效促進(jìn)外語(yǔ)教學(xué)也意見(jiàn)不一，這有待未來(lái)研究進(jìn)一步考察。

三、教師和學(xué)習(xí)者對(duì)作文自動(dòng)評(píng)價(jià)系統(tǒng)的具體應(yīng)用研究

教師和學(xué)習(xí)者對(duì)作文自動(dòng)評(píng)價(jià)系統(tǒng)的態(tài)度及其對(duì)教學(xué)技術(shù)的掌握程度在一定程度上會(huì)影響到他們?cè)诮虒W(xué)中對(duì)作文自動(dòng)評(píng)價(jià)系統(tǒng)的具體應(yīng)用。Chen &Cheng（2008）通過(guò)對(duì)教師和學(xué)習(xí)者的訪談，調(diào)查了臺(tái)灣三個(gè)大學(xué)英語(yǔ)寫(xiě)作課堂上教師和學(xué)習(xí)者對(duì)My Access！的使用情況。他們發(fā)現(xiàn)學(xué)習(xí)者在初期的草稿和修改的過(guò)程中對(duì)作文自動(dòng)評(píng)價(jià)系統(tǒng)的使用更為積極。但是，如果不對(duì)學(xué)習(xí)者使用My Access!加以輔助的話，會(huì)使學(xué)習(xí)者產(chǎn)生挫折感，并限制他們的寫(xiě)作學(xué)習(xí)[8]。另外，教師對(duì)作文自動(dòng)評(píng)價(jià)系統(tǒng)的使用態(tài)度和技能，以及學(xué)習(xí)者的特點(diǎn)及寫(xiě)作學(xué)習(xí)的目標(biāo)，也會(huì)影響到他們對(duì)作文自動(dòng)評(píng)價(jià)系統(tǒng)的具體應(yīng)用。盧鹿（2016）采用有聲思維和回溯訪談的方法，研究了學(xué)習(xí)者基于句酷批改網(wǎng)的二語(yǔ)寫(xiě)作過(guò)程。研究發(fā)現(xiàn)學(xué)習(xí)者能夠充分關(guān)注句酷批改網(wǎng)做出的自動(dòng)反饋信息，學(xué)習(xí)者的作文修改過(guò)程經(jīng)歷了分析問(wèn)題、修改語(yǔ)言和檢驗(yàn)成效三個(gè)階段[9]。Ranalli（2021）通過(guò)屏幕截圖、刺激回憶以及訪談的方式調(diào)查了學(xué)習(xí)者使用Grammarly的參與度，以及學(xué)習(xí)者對(duì)其反饋的信任程度。結(jié)果發(fā)現(xiàn)，學(xué)習(xí)者更傾向于把Grammarly當(dāng)成是校對(duì)工具而不是反饋工具[10]。這可能是因?yàn)樵撓到y(tǒng)對(duì)大部分錯(cuò)誤都給出了具體的修正方法，因此學(xué)習(xí)者幾乎不需要再自行更正。而學(xué)習(xí)者對(duì)Grammarly的信任程度也決定了其對(duì)Grammarly反饋的參與度。

四、基于作文自動(dòng)評(píng)價(jià)系統(tǒng)的在線反饋有效性實(shí)證研究

隨著作文自動(dòng)評(píng)價(jià)系統(tǒng)的應(yīng)用越來(lái)越廣泛，對(duì)其有效性的實(shí)證研究也不斷涌現(xiàn)。Attali（2004）研究了Criterion提供的反饋是否有助于學(xué)習(xí)者后續(xù)作文的修改。結(jié)果表明學(xué)習(xí)者在一定程度上能夠理解并關(guān)注到Criterion做出的反饋，并且在后續(xù)作文稿中糾正錯(cuò)誤[11]。此研究將學(xué)習(xí)者提交作文稿的次數(shù)作為衡量學(xué)習(xí)者作文自動(dòng)評(píng)價(jià)系統(tǒng)使用情況的指標(biāo)。學(xué)習(xí)者作文稿提交的次數(shù)可以粗略估計(jì)學(xué)習(xí)者使用作文自動(dòng)評(píng)價(jià)系統(tǒng)的頻率，但是僅根據(jù)學(xué)習(xí)者作文稿提交次數(shù)判斷學(xué)習(xí)者是否受益于作文自動(dòng)評(píng)價(jià)系統(tǒng)是不準(zhǔn)確的。Li et al.（2015）同樣考察了Criterion在以英語(yǔ)為二語(yǔ)的寫(xiě)作教學(xué)中的使用情況。結(jié)果發(fā)現(xiàn)，Criterion可以促進(jìn)學(xué)習(xí)者作文稿修訂次數(shù)的增加，基于Criterion的反饋有助于提升初稿到終稿的準(zhǔn)確性[6]。相較于Attali（2004）的研究，他們不但考察了學(xué)習(xí)者作文稿修訂的次數(shù)，還把作文準(zhǔn)確性也納入統(tǒng)計(jì)，結(jié)果更加令人信服。

近些年來(lái)，國(guó)內(nèi)學(xué)者對(duì)作文自動(dòng)評(píng)價(jià)系統(tǒng)在我國(guó)英語(yǔ)寫(xiě)作教學(xué)中的效果也進(jìn)行了探索。呂婷婷等（2015）研究了大學(xué)英語(yǔ)寫(xiě)作教學(xué)中數(shù)字化寫(xiě)作資源平臺(tái)的作用。結(jié)果表明，這一平臺(tái)的自動(dòng)反饋能夠促進(jìn)學(xué)習(xí)者的英語(yǔ)寫(xiě)作學(xué)習(xí)。他們提出在產(chǎn)出性詞匯的知識(shí)深度層面，需要加強(qiáng)對(duì)語(yǔ)境的智能化理解，并完善深層次的語(yǔ)義反饋[12]。李奕華（2015）以90名英語(yǔ)專(zhuān)業(yè)本科生為研究對(duì)象進(jìn)行了實(shí)證研究。結(jié)果發(fā)現(xiàn)單純的句酷批改網(wǎng)自動(dòng)評(píng)分反饋對(duì)學(xué)習(xí)者整體寫(xiě)作水平提高的效果較小，教師干預(yù)下的句酷批改網(wǎng)自動(dòng)評(píng)分反饋方式更能提高學(xué)習(xí)者的寫(xiě)作水平[5]。張華（2019）的研究同樣證實(shí)了相較于在線自動(dòng)反饋，人機(jī)多元反饋更有利于學(xué)習(xí)者寫(xiě)作質(zhì)量的提高[13]。龔偉等（2019）分析了不同水平組學(xué)習(xí)者在32周的時(shí)間里在句酷批改網(wǎng)上的作文完成情況，發(fā)現(xiàn)基于句酷批改網(wǎng)的作文自動(dòng)評(píng)價(jià)有利于學(xué)習(xí)者語(yǔ)言復(fù)雜性的發(fā)展，有無(wú)混合教師人工批閱對(duì)句法復(fù)雜性的影響大于詞匯復(fù)雜性的影響[14]。張珊珊和徐錦芬（2019）研究了句酷批改網(wǎng)對(duì)不同水平學(xué)習(xí)者寫(xiě)作的影響，結(jié)果發(fā)現(xiàn)在線自動(dòng)反饋影響寫(xiě)作過(guò)程，促進(jìn)多稿多改，但是僅對(duì)低水平學(xué)習(xí)者有幫助，而高水平學(xué)習(xí)者的寫(xiě)作水平并無(wú)提高。張亞和趙永剛（2020）的實(shí)證研究發(fā)現(xiàn)句酷批改網(wǎng)反饋能夠顯著提升學(xué)習(xí)者的英語(yǔ)寫(xiě)作水平，但句酷批改網(wǎng)組寫(xiě)作水平的提升幅度小于教師口頭反饋組，大于教師書(shū)面反饋組。但是，各組之間的差異并不顯著。句酷批改網(wǎng)對(duì)學(xué)習(xí)者寫(xiě)作詞匯句法維度的提升效果最好[15]。由此可見(jiàn)，目前為止對(duì)于外語(yǔ)寫(xiě)作教學(xué)過(guò)程中基于作文自動(dòng)評(píng)價(jià)系統(tǒng)的線上反饋是否能夠有效促進(jìn)外語(yǔ)寫(xiě)作教學(xué)還沒(méi)有形成定論。

結(jié)語(yǔ)

本文從對(duì)作文自動(dòng)評(píng)價(jià)系統(tǒng)的介紹及評(píng)價(jià)、教師和學(xué)習(xí)者對(duì)作文自動(dòng)評(píng)價(jià)系統(tǒng)的態(tài)度調(diào)查研究、教師和學(xué)習(xí)者對(duì)作文自動(dòng)評(píng)價(jià)系統(tǒng)的具體應(yīng)用研究以及基于作文自動(dòng)評(píng)價(jià)系統(tǒng)的在線反饋有效性實(shí)證研究四個(gè)方面對(duì)外語(yǔ)教學(xué)中的作文自動(dòng)評(píng)價(jià)系統(tǒng)研究進(jìn)行了述評(píng)。研究發(fā)現(xiàn)，教師和學(xué)習(xí)者對(duì)作文自動(dòng)評(píng)價(jià)系統(tǒng)的接受度有所不同，對(duì)其是否能夠有效促進(jìn)外語(yǔ)教學(xué)的效果也意見(jiàn)不一。教師和學(xué)習(xí)者對(duì)待作文自動(dòng)評(píng)價(jià)系統(tǒng)的態(tài)度在一定程度上會(huì)影響到教學(xué)中對(duì)作文自動(dòng)評(píng)價(jià)系統(tǒng)的具體應(yīng)用以及線上反饋的效果。另外，由于作文自動(dòng)評(píng)價(jià)系統(tǒng)技術(shù)和設(shè)計(jì)本身具有局限性，語(yǔ)言教師需要更加批判性地認(rèn)識(shí)到，作文自動(dòng)評(píng)價(jià)系統(tǒng)的實(shí)施需要經(jīng)過(guò)深思熟慮的教學(xué)設(shè)計(jì)。如何有效實(shí)施基于作文自動(dòng)評(píng)價(jià)系統(tǒng)的線上反饋是實(shí)現(xiàn)作文自動(dòng)評(píng)價(jià)系統(tǒng)促進(jìn)學(xué)習(xí)者寫(xiě)作水平提升的關(guān)鍵之所在。但是，目前針對(duì)外語(yǔ)教學(xué)過(guò)程中基于作文自動(dòng)評(píng)價(jià)系統(tǒng)的線上反饋是否能夠有效促進(jìn)外語(yǔ)教學(xué)尚未形成定論。基于作文自動(dòng)評(píng)價(jià)系統(tǒng)的大學(xué)英語(yǔ)寫(xiě)作教學(xué)在線反饋的最優(yōu)模式也有待進(jìn)一步挖掘。