自動(dòng)寫作評(píng)估系統(tǒng)輔助二語寫作反饋研究

摘 要：為了研究人工智能自動(dòng)寫作評(píng)估系統(tǒng)輔助二語寫作反饋的情況，借助批改網(wǎng)自動(dòng)寫作評(píng)估系統(tǒng)對本科生英語作文進(jìn)行評(píng)估反饋，并與教師人工書面反饋進(jìn)行比較，發(fā)現(xiàn)了自動(dòng)寫作評(píng)估系統(tǒng)的優(yōu)缺點(diǎn)。寫作反饋的準(zhǔn)確性不高是自動(dòng)寫作評(píng)估系統(tǒng)的缺點(diǎn)。教師需要靈活運(yùn)用自動(dòng)寫作評(píng)估系統(tǒng)輔助寫作教學(xué)，避免過度依賴自動(dòng)寫作評(píng)估系統(tǒng)，為學(xué)生提供全面合理的寫作反饋和建議，從而提高寫作教學(xué)的有效性。

關(guān)鍵詞：自動(dòng)寫作評(píng)估系統(tǒng)；輔助；二語寫作；反饋；批改網(wǎng)

作者簡介：曹艷艷（1976-），女，山東臨沭人，華東師范大學(xué)外語學(xué)院，講師，碩士，研究方向：大學(xué)英語教學(xué)；趙國霞，江蘇鹽城人，華東師范大學(xué)外語學(xué)院，講師，碩士，研究方向：大學(xué)英語教學(xué)。

近年來，隨著人工智能技術(shù)的迅猛發(fā)展，人工智能自動(dòng)寫作評(píng)估（automated writing evaluation， 簡稱AWE）系統(tǒng)在二語寫作反饋中得到了廣泛應(yīng)用。相較于人工評(píng)閱，AWE系統(tǒng)在二語寫作反饋方面具有海量評(píng)閱、即時(shí)反饋的優(yōu)勢，其對詞匯、搭配、句式、結(jié)構(gòu)和標(biāo)點(diǎn)符號(hào)的規(guī)范使用反饋比較準(zhǔn)確。但也有一些研究者質(zhì)疑AWE系統(tǒng)的使用效果。例如，Chen 與 Cheng以及Kepner認(rèn)為，AWE系統(tǒng)會(huì)對學(xué)生的寫作準(zhǔn)確性和學(xué)習(xí)自主性帶來負(fù)面影響。有的研究者認(rèn)為，AWE系統(tǒng)只能機(jī)械性地提供模糊且重復(fù)的反饋，對創(chuàng)造性和靈活性的寫作任務(wù)沒有太大幫助。本研究以非英語專業(yè)本科生的三次命題作文為語料，將批改網(wǎng)AWE系統(tǒng)反饋和教師書面糾錯(cuò)反饋進(jìn)行對比，借助實(shí)例探究AWE系統(tǒng)輔助二語寫作反饋的情況，探討教師在人工智能時(shí)代外語教學(xué)中的角色轉(zhuǎn)變，為將AWE系統(tǒng)更好地應(yīng)用于寫作教學(xué)實(shí)踐提供參考。

一、教師書面糾錯(cuò)反饋與AWE系統(tǒng)反饋

教師書面糾錯(cuò)反饋（written corrective feedback，簡稱WCF）是二語寫作教學(xué)中必不可少的環(huán)節(jié)，是教師對學(xué)生的寫作實(shí)踐進(jìn)行一對一指導(dǎo)的主要方式。有效的WCF能夠幫助學(xué)生提高寫作水平和語言質(zhì)量。AWE系統(tǒng)采用自然語言處理和語義分析技術(shù)，通過提取書面文本的語言、結(jié)構(gòu)、語義和修辭特征來檢測文稿質(zhì)量。批改網(wǎng)的原理是通過對比學(xué)生作文和標(biāo)準(zhǔn)語料庫之間的距離，并通過一定的算法將之映射成分?jǐn)?shù)和點(diǎn)評(píng)，并提供反饋和建議。在寫作教學(xué)實(shí)踐中，教師書面糾錯(cuò)反饋和AWE系統(tǒng)反饋各自起到什么作用，如何調(diào)整教師角色以使寫作反饋得到優(yōu)化，促進(jìn)寫作教學(xué)有效性得以提升是值得探討的話題。

二、研究設(shè)計(jì)

本研究選取華東師范大學(xué)正在學(xué)習(xí)通用學(xué)術(shù)英語寫作這門課程的5個(gè)教學(xué)班共138名學(xué)生作為研究對象。該課程是為非英語專業(yè)本科生開設(shè)的一門公共英語基礎(chǔ)必修課程，課程內(nèi)容涵蓋寫作的基本流程、語言的有效使用以及基本的寫作策略，具體包括傳統(tǒng)文章的五段式結(jié)構(gòu)，段落的組織與銜接，寫作的四大基本原則（unity、support、coherence、sentence skills）、記敘文、議論文、說明文圖表的寫作，如何避免邏輯謬誤。

選取學(xué)生的三次命題作文（共414篇）作為語料，包括兩篇議論文，一篇圖表寫作，每篇議論文至少200詞，圖表寫作至少150詞，合計(jì)約8.2萬詞。具體研究步驟為：第一步，學(xué)生在一周時(shí)間內(nèi)自主完成命題作文，并提交到批改網(wǎng)。第二步，學(xué)生根據(jù)批改網(wǎng)AWE系統(tǒng)的即時(shí)反饋進(jìn)行第一次修改。第三步，學(xué)生把修改稿打印出來，交給任課教師進(jìn)行人工書面批閱。第四步，教師書面糾錯(cuò)反饋，學(xué)生進(jìn)行第二次修改。第五步，教師比較學(xué)生的兩次修改稿，分析AWE系統(tǒng)反饋和人工反饋的總體效果，并選取有代表性的作文進(jìn)行重點(diǎn)舉例分析。

三、結(jié)果分析與討論

首先，根據(jù)批改網(wǎng)AWE系統(tǒng)提供的診斷結(jié)果，繪制了表1和表2，進(jìn)行了結(jié)果分析與討論。

批改網(wǎng)AWE系統(tǒng)提供的診斷結(jié)果包括份數(shù)、平均修改次數(shù)、拼寫正確率、語法正確率、人機(jī)互動(dòng)累計(jì)次數(shù)、得分、段落數(shù)、平均詞長、詞匯豐富度、詞匯難度、從句密度和平均句長共12項(xiàng)指標(biāo)。

（一）結(jié)果分析

分析診斷結(jié)果可知：1.根據(jù)人機(jī)互動(dòng)累計(jì)次數(shù)，三次寫作任務(wù)平均互動(dòng)次數(shù)分別為8.18、4.33、5.09，平均修改次數(shù)分別為5.18、3.33、4.09?？梢哉f，AWE系統(tǒng)極大減輕了教師批閱作文的工作量，方便學(xué)生隨時(shí)根據(jù)系統(tǒng)反饋進(jìn)行作文修改，有效提高了寫作反饋效率和學(xué)生寫作的準(zhǔn)確性和自主性，可以作為教師人工評(píng)閱的有力輔助與補(bǔ)充。劉淑君等認(rèn)為，人工智能在教育領(lǐng)域的應(yīng)用在一定程度上彌補(bǔ)了教師書面反饋的局限。2.詞匯豐富度、詞匯難度、從句密度、拼寫正確率、語法正確率、平均句長、平均詞長、段落數(shù)和得分的數(shù)據(jù)，可以為教師書面糾錯(cuò)提供一定的參考，有助于教師及時(shí)高效地掌握學(xué)生作文中普遍存在的問題，提高了教師進(jìn)行寫作輔導(dǎo)面授和書面反饋的針對性，提高了寫作反饋效率。比如，根據(jù)表2，教師可以迅速知道學(xué)生作文的主要薄弱點(diǎn)在標(biāo)點(diǎn)、句子和搭配的準(zhǔn)確使用上，需要針對這些方面加強(qiáng)指導(dǎo)與訓(xùn)練。3.根據(jù)段落數(shù)，教師可以判斷出學(xué)生普遍掌握了議論文傳統(tǒng)五段式和圖表寫作二至三段式的結(jié)構(gòu)要求，達(dá)到了寫作結(jié)構(gòu)方面的基本教學(xué)要求。

批改網(wǎng)AWE系統(tǒng)的不足之處有以下幾點(diǎn)：1.個(gè)別診斷項(xiàng)目分類不清。例如，在終版錯(cuò)誤統(tǒng)計(jì)中，除了標(biāo)點(diǎn)、句子、搭配和名詞、動(dòng)詞、形容詞等各類詞性之外，系統(tǒng)還有一項(xiàng)名為“單詞”的指標(biāo)，這個(gè)指標(biāo)和其他項(xiàng)的關(guān)系不明，系統(tǒng)頁面也未提供這一指標(biāo)的注釋，令人迷惑。2.個(gè)別系統(tǒng)反饋建議提示語籠統(tǒng)模糊，甚至有誤。例如，學(xué)生原文為“Once our development stagnates， we will soon out of resources.”。系統(tǒng)反饋提示： 請檢查stagnates，確認(rèn)動(dòng)詞用法正確。教師反饋為：本句的錯(cuò)誤在于out of resources之前缺少實(shí)義動(dòng)詞。再如，學(xué)生原文為“Hence， it's harmful to use lying flat philosophy as an excuse for laziness.”。系統(tǒng)反饋提示：請檢查use lying，確認(rèn)動(dòng)詞用法正確，該動(dòng)詞后面一般接不定式。教師反饋為：試著用更加豐富多樣的詞匯替換use，如何？可以看出，系統(tǒng)反饋出現(xiàn)了斷句錯(cuò)誤，提供了錯(cuò)誤的反饋提示，而教師反饋中使用了間接反饋，用問句的方式啟發(fā)學(xué)生思考使用更豐富、更貼切的詞匯。3.系統(tǒng)特別不擅長根據(jù)教師設(shè)定的具體命題要求靈活評(píng)閱非傳統(tǒng)五段式文章。比如，針對圖表寫作，AWE系統(tǒng)生硬套用五段式的評(píng)分標(biāo)準(zhǔn)，導(dǎo)致對二至三段式的圖表寫作評(píng)分普遍比人工評(píng)閱偏低，不能準(zhǔn)確反映學(xué)生圖表寫作的真實(shí)水平，反饋的效果大打折扣，導(dǎo)致學(xué)生對AWE系統(tǒng)的有效性產(chǎn)生負(fù)面的評(píng)價(jià)。4.AWE系統(tǒng)傾向于給包含復(fù)雜的長難句式、較長的詞匯甚至生僻詞匯的作文更高的分?jǐn)?shù)，對使用平實(shí)的詞匯、文風(fēng)簡潔的作文給的分?jǐn)?shù)不高。而簡潔恰恰是英文寫作需要遵循的重要準(zhǔn)則。教師人工書面反饋傾向于從語言、內(nèi)容、組織與銜接、邏輯、主題句與主旨句和具體論據(jù)支撐方面進(jìn)行較全面的評(píng)價(jià)，而對標(biāo)點(diǎn)、文本格式等僅作部分語言提示，不會(huì)全部一一標(biāo)注。因篇幅有限，在此不進(jìn)行作文全文的舉例展示。

（二）討論與建議

根據(jù)以上分析，筆者建議：1.批改網(wǎng)AWE系統(tǒng)亟需強(qiáng)化對個(gè)性化、創(chuàng)造性寫作要求的呼應(yīng)。應(yīng)該在大數(shù)據(jù)語料庫的建設(shè)上下功夫，收錄海量和全面的語料，提高算法精準(zhǔn)性，準(zhǔn)確把握語言使用規(guī)范和寫作策略，從而提高寫作反饋的準(zhǔn)確性，杜絕錯(cuò)誤反饋的出現(xiàn)。2.診斷指標(biāo)分類需更加科學(xué)合理。比如，在錯(cuò)誤統(tǒng)計(jì)及舉例中，應(yīng)提供更清晰和準(zhǔn)確的診斷數(shù)據(jù)及實(shí)例，并且提供明確的分類依據(jù)，杜絕模糊分類對師生的困擾。3.教師進(jìn)行人工書面糾錯(cuò)反饋的時(shí)候，要充分考慮到AWE系統(tǒng)的局限性，揚(yáng)長避短，既充分利用AWE系統(tǒng)即時(shí)反饋的特點(diǎn)，給學(xué)生提供更加快捷便利的反饋，又要針對目前AWE系統(tǒng)的部分反饋不準(zhǔn)確，甚至存在錯(cuò)誤的情況，在人工書面評(píng)閱時(shí)為學(xué)生提供正確的指導(dǎo)并答疑解惑，避免過度依賴AWE的反饋建議及得分。4.教師需要利用AWE系統(tǒng)的強(qiáng)大統(tǒng)計(jì)功能，分析學(xué)生普遍存在的薄弱點(diǎn)，進(jìn)行有針對性的聚焦型反饋。Suzuki和Benson等認(rèn)為，聚焦型反饋在提高學(xué)生寫作準(zhǔn)確度方面更為有效。尤其是針對圖表寫作和個(gè)性化命題作文，要通過人工評(píng)閱糾正AWE系統(tǒng)存在的評(píng)分失真的情況，對學(xué)生作文提供全面合理的反饋與建議。5.教師需要在教學(xué)實(shí)踐中積極探索在AWE系統(tǒng)輔助下教師的新角色，因勢利導(dǎo)，突出人工反饋在創(chuàng)造性、個(gè)性化作文評(píng)估中的優(yōu)勢作用。

四、結(jié)語

本研究中，除了人工書面反饋，教師在通用學(xué)術(shù)英語寫作課程中還使用批改網(wǎng)AWE系統(tǒng)輔助提供學(xué)生作文反饋。AWE系統(tǒng)的即時(shí)反饋和建議，提高了寫作反饋效率，激發(fā)了學(xué)生寫作的積極性和自主性，幫助教師從繁重的人工評(píng)閱中脫身。魏爽認(rèn)為，計(jì)算機(jī)技術(shù)和人工智能的發(fā)展革新了以教師為主體的二語寫作反饋方式，亦對教師在傳統(tǒng)寫作反饋中所扮演的權(quán)威角色帶來新的挑戰(zhàn)。教師不再需要把過多精力放在拼寫、標(biāo)點(diǎn)、格式和語法糾錯(cuò)上。面對新情況，教師需要適時(shí)轉(zhuǎn)變角色，借助AWE系統(tǒng)的強(qiáng)大數(shù)據(jù)統(tǒng)計(jì)功能，在書面糾錯(cuò)及面授輔導(dǎo)時(shí)，聚焦學(xué)生的普遍薄弱點(diǎn)，側(cè)重在文章內(nèi)容、主題句、主旨句、組織與銜接、使用具體和充足的論據(jù)支撐方面進(jìn)行針對性強(qiáng)的指導(dǎo)，促進(jìn)學(xué)生寫作能力的穩(wěn)步提高和寫作教學(xué)有效性的提升。目前批改網(wǎng)AWE系統(tǒng)仍有改進(jìn)空間，需要加強(qiáng)寫作反饋的準(zhǔn)確性，以更好地滿足師生在二語寫作反饋方面的需求。

參考文獻(xiàn)：

[1]CHEN C， CHENG W." Beyond the design of automated writing evaluation： Pedagogical practices and perceived learning effectiveness in EFL writing classes[J]. Language Learning amp; Technology， 2008（2）：94-112.

[2]KEPNER C. An experiment in the relationship of types of written feedback to the development of second-language writing skills[J]. The Modern Language Journal， 1991（75）：305-313.

[3]劉淑君，李艷，何躍偉，王婧婧.智能作文反饋能提升中學(xué)寫作教學(xué)效果嗎？[J].華東師范大學(xué)學(xué)報(bào)（教育科學(xué)版），2022（9）：90-104.

[4]SUZUKI W， NASSAJI H， SATO K. The effects of feedback explicitness and type of target structure on accuracy in revision and new pieces of writing[J]. System， 2019（81）：135-145.

[5]BENSON S， DEKEYSER R. Effects of written corrective feedback and language aptitude on verb tense accuracy[J]. Language Teaching Research， 2019（23）：702-726.

[6]魏爽，李璐遙.人工智能輔助二語寫作反饋研究：以ChatGPT為例[J].中國外語，2023（3）：33-40.