基于句酷批改網(wǎng)的學(xué)習(xí)者寫(xiě)作水平反饋效果研究

王文芳

摘 要：句酷批改網(wǎng)是一款國(guó)內(nèi)眾多高校采用的自動(dòng)作文評(píng)閱系統(tǒng)，為英語(yǔ)寫(xiě)作教學(xué)提供輔助方式。本研究采用個(gè)案分析比較了高分檔和低分檔共10篇作文人/機(jī)評(píng)閱的一致性，結(jié)合系統(tǒng)對(duì)兩檔作文的反饋，探討句酷批改網(wǎng)對(duì)學(xué)習(xí)者寫(xiě)作水平的反饋效果。結(jié)果發(fā)現(xiàn)，與低分檔作文相比，高分檔作文人/機(jī)評(píng)閱一致性較高，系統(tǒng)打分能夠反映學(xué)生真實(shí)的寫(xiě)作水平。因此，在教學(xué)過(guò)程中，只有教師和學(xué)生相互配合才能使自動(dòng)作文評(píng)閱系統(tǒng)真正成為學(xué)生英語(yǔ)學(xué)習(xí)的好導(dǎo)師，老師教學(xué)的好助手。

關(guān)鍵詞：自動(dòng)作文評(píng)閱 個(gè)案分析 反饋

一、引言

隨著教育技術(shù)的發(fā)展，計(jì)算機(jī)自動(dòng)作文評(píng)閱系統(tǒng)越來(lái)越廣泛地應(yīng)用到二語(yǔ)寫(xiě)作教學(xué)中。它替代了人工評(píng)閱和反饋，減輕了教師批改作文的負(fù)擔(dān)，為寫(xiě)作教學(xué)提供了輔助方式。句酷批改網(wǎng)是國(guó)內(nèi)開(kāi)發(fā)研制的一款基于語(yǔ)料庫(kù)和云計(jì)算的英語(yǔ)作文自動(dòng)批改在線服務(wù)系統(tǒng)。通過(guò)計(jì)算學(xué)生作文和標(biāo)準(zhǔn)語(yǔ)料庫(kù)之間的距離系統(tǒng)自動(dòng)生成得分。每篇作文的分?jǐn)?shù)由192個(gè)子維度構(gòu)成，加權(quán)平均后從詞匯、句子、篇章和內(nèi)容四個(gè)維度進(jìn)行全面評(píng)價(jià)，并反饋句子錯(cuò)誤、搭配統(tǒng)計(jì)、詞匯辨析等信息，學(xué)生可根據(jù)反饋多次修改作文，直至滿意為止。本文將通過(guò)個(gè)案分析的方法，對(duì)句酷批改網(wǎng)（簡(jiǎn)稱(chēng)“句酷”）對(duì)學(xué)習(xí)者寫(xiě)作水平的反饋效果進(jìn)行探討和分析，并提供合理的教學(xué)建議。

二、研究設(shè)計(jì)

本研究的研究對(duì)象為就讀于某高校英語(yǔ)專(zhuān)業(yè)二年級(jí)學(xué)生，他們被要求就“reality TV show”的話題在線提交一篇作文。系統(tǒng)共收到40篇作文，由句酷按照英語(yǔ)專(zhuān)業(yè)四級(jí)寫(xiě)作打分方式提供反饋和修改。根據(jù)系統(tǒng)分?jǐn)?shù)選取高分檔和低分檔各5篇作文，交由老師評(píng)閱，然后進(jìn)行人/機(jī)評(píng)閱一致性對(duì)比。我們還比較了高分和低分兩檔中人/機(jī)一致性較低的兩篇作文的句酷系統(tǒng)評(píng)價(jià)、按句點(diǎn)評(píng)和反饋類(lèi)型，對(duì)系統(tǒng)的優(yōu)點(diǎn)和偏差加以分析和說(shuō)明。本研究旨在回答以下問(wèn)題：（1）人/機(jī)評(píng)閱是否具有一致性？（2）系統(tǒng)評(píng)閱的反饋效果如何？是否反映學(xué)習(xí)者寫(xiě)作水平？ （3）對(duì)寫(xiě)作教學(xué)有什么啟示？

三、研究結(jié)果和討論

（一）人/機(jī)評(píng)閱一致性

10篇高分檔和低分檔作文由機(jī)器和人工按照20分制打分，就評(píng)閱結(jié)果來(lái)看，人/機(jī)評(píng)閱沒(méi)有完全一致的分?jǐn)?shù)，總體來(lái)說(shuō)機(jī)器評(píng)閱的分?jǐn)?shù)比人工評(píng)閱的分?jǐn)?shù)高，尤其是在評(píng)閱低分檔作文時(shí)這一結(jié)果更為明顯。如表一所示，高分檔作文中40%人/機(jī)評(píng)閱完全一致，60%缺乏一致性。而低分檔作文一致性檢驗(yàn)結(jié)果發(fā)現(xiàn)，80%的人/機(jī)評(píng)閱完全不一致。

句酷是根據(jù)系統(tǒng)設(shè)定的幾個(gè)維度評(píng)閱作文，它們的占比為詞匯32%，句子21，篇章結(jié)構(gòu)18%，內(nèi)容相關(guān)5%及其他24%?？赡苡捎谙到y(tǒng)對(duì)篇章、搭配和內(nèi)容的識(shí)別能力有限，對(duì)低分檔作文中邏輯不清楚，語(yǔ)義模糊，不知所云之處無(wú)法完全辨別，只要達(dá)到系統(tǒng)設(shè)定的維度標(biāo)準(zhǔn)即可獲得較好的分?jǐn)?shù)；而人工評(píng)閱時(shí)會(huì)綜合考慮以上維度，使得低分檔作文分?jǐn)?shù)較機(jī)器評(píng)閱低，人/機(jī)評(píng)閱的一致性較差。

（二）高低分作文反饋

為了進(jìn)一步探究系統(tǒng)的反饋效果，我們就兩篇作文樣本進(jìn)行了系統(tǒng)反饋的比較。表一是兩篇作文的總體評(píng)價(jià)。從總體評(píng)價(jià)來(lái)說(shuō)，盡管高分作文比低分作文較多正面反饋，但是并沒(méi)有明顯的差別，低分作文的總體評(píng)價(jià)中缺乏負(fù)面反饋，無(wú)法體現(xiàn)出兩檔作文質(zhì)量上的差異。另外，總體評(píng)價(jià)偏重詞匯和句子層面，涉及篇章結(jié)構(gòu)和內(nèi)容相關(guān)的評(píng)語(yǔ)較少，對(duì)作文質(zhì)量的評(píng)價(jià)不夠全面。比如，低分作文不符合寫(xiě)作任務(wù)的三段式要求，只有一段文字內(nèi)容，然而該作文的篇章缺陷未能在總體評(píng)價(jià)中體現(xiàn)，因此句酷在篇章或內(nèi)容等復(fù)雜的評(píng)價(jià)維度上還有所欠缺。

除此之外，我們還比較了系統(tǒng)對(duì)兩篇作文的按句點(diǎn)評(píng)，分為正面反饋和負(fù)面反饋兩種類(lèi)型。正面反饋有推薦表達(dá)、學(xué)習(xí)提示、拓展辨析和閃光短語(yǔ)，而負(fù)面反饋包括搭配錯(cuò)誤、語(yǔ)法錯(cuò)誤、句子錯(cuò)誤和各類(lèi)詞性錯(cuò)誤。研究發(fā)現(xiàn)，高分作文的正面反饋有22項(xiàng)，負(fù)面反饋4項(xiàng)；低分作文有19項(xiàng)正面反饋，與高分作文相差不大，但是負(fù)面反饋有12項(xiàng)，遠(yuǎn)遠(yuǎn)高于高分作文，這或許是該作文系統(tǒng)打分較低的原因之一。例如：

[拓展辨析] 動(dòng)名搭配 contain...information 在語(yǔ)料庫(kù)中出現(xiàn)過(guò)407次；

[學(xué)習(xí)提示] 易混詞匯： walk， stride， stroll， strut， pace 均有“行走，徒步”之意。

Walk： 最常用詞，中性詞，指除跑、跳之外所有移步的動(dòng)作。

Stride： 著重步子大而且節(jié)奏有力，流露出匆忙、煩惱、得意等情緒。

Stroll： 多指走走停停，步子緩慢，悠閑自得，漫無(wú)目的。

Strut： 指大搖大擺地走，含過(guò)分自信或自高自大意味。

Pace： 指踱步，走步。

[搭配錯(cuò)誤] people be indifference疑似搭配有誤

[語(yǔ)法錯(cuò)誤] is means： 語(yǔ)法不規(guī)范，建議檢查

[句子錯(cuò)誤] 不同單句之間常用連詞連接

這些反饋對(duì)學(xué)生的寫(xiě)作產(chǎn)生積極的影響，正面反饋能抓住學(xué)生作文中的閃光點(diǎn)，和語(yǔ)料庫(kù)進(jìn)行比對(duì)，增強(qiáng)學(xué)生寫(xiě)作時(shí)的自信心；同時(shí)，系統(tǒng)提供的近義詞辨析使得學(xué)生更為熟練地理解和運(yùn)用易混淆的詞匯。而負(fù)面反饋能夠幫助學(xué)生及時(shí)發(fā)現(xiàn)和辨別錯(cuò)誤，對(duì)這些錯(cuò)誤加以糾正，從而提高他們語(yǔ)言運(yùn)用能力。然而，系統(tǒng)反饋也存在不少問(wèn)題，我們就兩篇作文樣本中的出現(xiàn)的部分問(wèn)題做了比較：

高分作文：

（1）While a huge amount of people deem reality TV relaxing and interesting as an important social glue… （搭配錯(cuò)誤：amount和people）

（2）Thinking of if someone might know that they need to be more concerned about the world， but…（語(yǔ)法錯(cuò)誤：but連接并列分句）

（3）…， this moment no reality TV can capture （句子錯(cuò)誤：倒裝句不合適）

（4）…reality TV creates an idealized state… （原為冠詞錯(cuò)誤：an多余；其實(shí)an用法正確）

低分作文：

（1）Reality show， refers to by ordinary people in the scene， according to the rule of the game， for a define purpose， make their own actions， at the same time was recorded and made TV program and define it as the true story of a specific virtual space， to full range， real close post editing shoot and take people as the core of the drama is made into program. （原為主謂一致、 make…actions語(yǔ)法錯(cuò)誤和搭配錯(cuò)誤）

（2） there is no story and arrangement， the audience can see the protagonist in the reality show that is ordinary people in ordinary life， in the face of the game or the most real state of life. （原為句子錯(cuò)誤：首字母未大寫(xiě)）

通過(guò)比較以上問(wèn)題發(fā)現(xiàn)，高分作文中出現(xiàn)了表達(dá)無(wú)誤系統(tǒng)卻給出負(fù)面反饋或者未識(shí)別表達(dá)錯(cuò)誤的情況，不過(guò)這些錯(cuò)誤屬于詞匯和句子層面，不涉及篇章和內(nèi)容，因此雖然人工評(píng)閱分?jǐn)?shù)較機(jī)器評(píng)閱分?jǐn)?shù)低，但相差不大。與高分作文相反，低分作文的反饋問(wèn)題大多屬于篇章和內(nèi)容層面，該作文邏輯混亂，語(yǔ)義不清，表達(dá)不符合英語(yǔ)習(xí)慣，15分的系統(tǒng)打分與作文的實(shí)際質(zhì)量不符，與人工評(píng)閱分?jǐn)?shù)相差較大。因此，我們可以看出，對(duì)于含有詞匯和句子層面錯(cuò)誤的作文系統(tǒng)打分基本反映了學(xué)習(xí)者的寫(xiě)作水平，而系統(tǒng)對(duì)篇章和內(nèi)容有問(wèn)題的作文打分的可信度有所欠缺。

四、教學(xué)啟示和結(jié)語(yǔ)

通過(guò)以上的分析和討論，我們發(fā)現(xiàn)，由于系統(tǒng)對(duì)高分檔作文反饋詞匯搭配和句子問(wèn)題較為全面，人/機(jī)評(píng)閱一致性較高，系統(tǒng)打分能夠反映學(xué)生真實(shí)的寫(xiě)作水平；但是低分檔作文的問(wèn)題較多集中于篇章、語(yǔ)義和內(nèi)容層面，系統(tǒng)無(wú)法完全識(shí)別，打分尚不能完全反映出學(xué)生的真實(shí)寫(xiě)作水平。有鑒于此，自動(dòng)作文評(píng)閱系統(tǒng)只能成為寫(xiě)作教學(xué)的輔助方式，而不能主導(dǎo)教學(xué)活動(dòng)。

另外，在寫(xiě)作教學(xué)過(guò)程中還應(yīng)注意：對(duì)教師而言，有了自動(dòng)評(píng)閱系統(tǒng)的幫助，教師對(duì)作文的評(píng)閱要做到有的放矢，更多地關(guān)注系統(tǒng)評(píng)閱的薄弱環(huán)節(jié)，即篇章、語(yǔ)義和內(nèi)容，有針對(duì)性地指出相關(guān)問(wèn)題，提升學(xué)生的批判性思考能力。對(duì)學(xué)生來(lái)說(shuō)，因?yàn)橄到y(tǒng)對(duì)于詞匯和句子層面的反饋較全面，所以要有效地利用系統(tǒng)的反饋，修改作文中出現(xiàn)的錯(cuò)誤，切實(shí)提高他們的英語(yǔ)表達(dá)能力。只有教師和學(xué)生相互配合才能使自動(dòng)作文評(píng)閱系統(tǒng)真正成為學(xué)生英語(yǔ)學(xué)習(xí)的好導(dǎo)師，老師教學(xué)的好助手。

注釋

① 括號(hào)中數(shù)字依次為人/機(jī)評(píng)閱分?jǐn)?shù)相差和評(píng)分檔次相差.

參考文獻(xiàn)

[1] 陳鳳.一項(xiàng)關(guān)于句酷批改網(wǎng)在大學(xué)英語(yǔ)寫(xiě)作教學(xué)中的應(yīng)用研究[J].東華理工大學(xué)學(xué)報(bào)：社會(huì)科學(xué)版，2104（6）：173-177.

[2] 黃紹瑩，張荔.自動(dòng)作文評(píng)閱系統(tǒng)對(duì)不同水平學(xué)習(xí)者英語(yǔ)寫(xiě)作能力的影響——基于句酷批改網(wǎng)的研究[J].外語(yǔ)與翻譯，2015（4）：70-76.

[3] 蔣艷，馬武林.中國(guó)英語(yǔ)寫(xiě)作教學(xué)智能導(dǎo)師系統(tǒng)：成就與挑戰(zhàn)——以句酷批改網(wǎng)為例[J].電化教育研究，2013（7）：76-81.

[4] 李霞，鐘蘭鳳.作文自動(dòng)評(píng)價(jià)系統(tǒng)在大學(xué)英語(yǔ)寫(xiě)作教學(xué)中的實(shí)證研究——以句酷批改網(wǎng)為例[J]. 教學(xué)研究，2017（1）：57-61.

[5] 張荔，盛越.自動(dòng)作文評(píng)閱系統(tǒng)反饋效果個(gè)案研究[J].外語(yǔ)電化教學(xué)，2015（5）：38-44.