國(guó)內(nèi)外作文自動(dòng)評(píng)分系統(tǒng)研究綜述

陳淑芬

摘 要：由于計(jì)算機(jī)和互聯(lián)網(wǎng)技術(shù)已廣泛應(yīng)用于語(yǔ)言教學(xué)，大學(xué)英語(yǔ)寫作教學(xué)開始探索網(wǎng)絡(luò)環(huán)境下的教學(xué)的新途徑，作文自動(dòng)評(píng)分系統(tǒng)（Automated Essay Scoring System，AES）是教學(xué)改革的必然產(chǎn)物。本文介紹了AES，并回顧了國(guó)內(nèi)外對(duì)AES的先行研究。

關(guān)鍵詞：作文自動(dòng)評(píng)分系統(tǒng)（AES）;英語(yǔ)寫作;研究綜述

隨著科學(xué)技術(shù)的飛速發(fā)展，計(jì)算機(jī)技術(shù)已廣泛應(yīng)用于EFL / ESL教學(xué)。同時(shí)，基于云計(jì)算和語(yǔ)言數(shù)據(jù)庫(kù)的AES應(yīng)運(yùn)而生，并已應(yīng)用于中國(guó)高校英語(yǔ)寫作教學(xué)之中。

1 自動(dòng)作文評(píng)分系統(tǒng)概述

作文自動(dòng)評(píng)分系統(tǒng)（AES）是基于設(shè)定好的計(jì)算機(jī)程序?qū)τ⒄Z(yǔ)作文進(jìn)行評(píng)分和評(píng)估的系統(tǒng) （Shermis and Burstein， 2003），并已廣泛用于大規(guī)?？荚?，例如TOEFL，GMAT和GRE。

AES于二十世紀(jì)六十年代在國(guó)外興起，研究人員已經(jīng)研究和開發(fā)了該系統(tǒng)50多年。最初的AES由Ellis Page于1966年開發(fā)，名為Project Essay Grade （PEG）。到了二十世紀(jì)八十年代，出現(xiàn)了Writers Workbench和Writers helper兩款A(yù)ES。這兩款系統(tǒng)不僅可以為文章打分，而且還向作者提供反饋。二十世紀(jì)九十年代，又有三款A(yù)ES相繼出世，分別是Intelligent Essay Assessor，E-rater和IntelliMetric，它們可以提供更多不同的評(píng)估維度，并且進(jìn)行更系統(tǒng)的評(píng)估。

21世紀(jì)， Writing Roadmap， Write to Learn 和My Access！，這些更加先進(jìn)的AES借助人工智能和深度學(xué)習(xí)技術(shù)，在教育領(lǐng)域中流行起來(lái)。這些系統(tǒng)能夠執(zhí)行與以前的AES類似的功能，同時(shí)又增加了一些新功能。

上述AES都是又由外國(guó)專家學(xué)者所開發(fā)的，而在中國(guó)，AES的發(fā)展起步較晚，因此市場(chǎng)上的AES產(chǎn)品較少。在中國(guó)比較受歡迎的AES包括句酷批改網(wǎng)，冰果英語(yǔ)，新視野大學(xué)英語(yǔ)和體驗(yàn)英語(yǔ)。

2 國(guó)內(nèi)外作文自動(dòng)評(píng)分系統(tǒng)相關(guān)研究

由于AES技術(shù)的快速發(fā)展和其強(qiáng)大的功能，在過(guò)去的50年中，國(guó)內(nèi)外對(duì)該系統(tǒng)的理論和實(shí)證研究都在顯著增加。

2.1 國(guó)外作文自動(dòng)評(píng)分系統(tǒng)相關(guān)研究

早在上個(gè)世紀(jì)，國(guó)外就開發(fā)了AES。目前在美國(guó)和一些歐洲國(guó)家和地區(qū)，AES已經(jīng)被用作大型考試和外語(yǔ)教學(xué)中作文評(píng)分的可靠評(píng)估工具。在國(guó)外，關(guān)于AES的研究主要集中于系統(tǒng)的信度和效度以及是否能提高學(xué)生的寫作能力。

關(guān)于AES的信度和效度，基于大語(yǔ)料庫(kù)的機(jī)器反饋具有及時(shí)性和有效性，因此該系統(tǒng)有較高的評(píng)分效度和信度。Attali和Burstein（2004）指出，AES作為機(jī)器是沒(méi)有主觀因素的，所以它的作文評(píng)分比手動(dòng)作文評(píng)分更加穩(wěn)定。 Mcnamara和Crossley（2015）使用作文自動(dòng)評(píng)分系統(tǒng)Intellimetric評(píng)估大量英語(yǔ)作文，并對(duì)作文類型進(jìn)行分類，以探索機(jī)器評(píng)估與教師評(píng)估的一致性，實(shí)驗(yàn)結(jié)果表明機(jī)器評(píng)分與手動(dòng)評(píng)分具有較高的一致性。

關(guān)于AES對(duì)提高學(xué)生寫作水平是否具有可靠性和有效性，一些學(xué)者對(duì)此持積極態(tài)度。他們認(rèn)為該系統(tǒng)可以有效評(píng)估學(xué)生的論文并提高學(xué)生的寫作能力。學(xué)生可以通過(guò)使用作文自動(dòng)評(píng)分系統(tǒng)Write to Learn來(lái)修改自己的作文，在修改的過(guò)程中提高自己的作文成績(jī)（Foltz&Laham&Landauer，1999）。此外，另一款作文自動(dòng)評(píng)分系統(tǒng)Criterion在大學(xué)英語(yǔ)寫作班上進(jìn)行的一項(xiàng)實(shí)驗(yàn)中被證實(shí)該系統(tǒng)對(duì)學(xué)生作文的質(zhì)量產(chǎn)生積極影響（Choi&Lee，2010）。但是，另有一些學(xué)者和專家質(zhì)疑AES。Shermis（2004）使用My Access！ 作為實(shí)驗(yàn)工具，從同一個(gè)班級(jí)中隨機(jī)選擇實(shí)驗(yàn)組和對(duì)照組，并比較了兩組的寫作水平，結(jié)果顯示兩組之間的寫作分?jǐn)?shù)并沒(méi)有顯著差異。換句話說(shuō)，該系統(tǒng)無(wú)法提高學(xué)生的寫作技能。

2.2 國(guó)內(nèi)作文自動(dòng)評(píng)分系統(tǒng)相關(guān)研究

與國(guó)外相比，國(guó)內(nèi)對(duì)AES的研究起步較晚。相關(guān)研究主要集中在系統(tǒng)的開發(fā)，系統(tǒng)在評(píng)估作文功能上的有效性以及機(jī)器反饋對(duì)提高學(xué)生寫作成績(jī)的有效性。

在早期的國(guó)內(nèi)研究中，一些學(xué)者只是介紹和比較了近幾十年來(lái)國(guó)內(nèi)外的AES。梁茂成和文秋芳（2007）評(píng)估并比較了國(guó)外具有代表性的三款作文自動(dòng)評(píng)分系統(tǒng)PEG，IEA和E-rater，指出了它們的優(yōu)缺點(diǎn)。葛詩(shī)利和陳瀟瀟（2007）回顧了國(guó)外AES的發(fā)展，此外，他們還研究了一些為中國(guó)英語(yǔ)學(xué)習(xí)者設(shè)計(jì)的AES。這些研究為中國(guó)開發(fā)自己的AES提供了理論基礎(chǔ)。

隨著國(guó)內(nèi)AES的開發(fā)和應(yīng)用，學(xué)者們開始使用中國(guó)學(xué)生的英語(yǔ)作文作為研究語(yǔ)料來(lái)探索機(jī)器評(píng)分和人工評(píng)分之間的相關(guān)性。唐進(jìn)（2011）指出，作文自動(dòng)評(píng)分系統(tǒng)BETSY的評(píng)分與人工評(píng)分有著顯著的相關(guān)性。王建（2015）研究了句酷批改網(wǎng)評(píng)分的有效性，他發(fā)現(xiàn)句酷批改網(wǎng)評(píng)分無(wú)法可靠地評(píng)估大學(xué)英語(yǔ)等級(jí)考試中的英語(yǔ)作文，盡管機(jī)器評(píng)分和人工評(píng)分一致性處于中等水平。

一些學(xué)者進(jìn)行了實(shí)證研究，探索不同類型的AES對(duì)英語(yǔ)學(xué)習(xí)者寫作能力和寫作動(dòng)機(jī)的影響。例如，石曉玲（2012）得出以下結(jié)論：句酷批改網(wǎng)的實(shí)時(shí)反饋有效地激發(fā)了學(xué)生的寫作興趣，增加了學(xué)生寫作練習(xí)的頻率，并達(dá)到了以評(píng)促學(xué)的理念。高越（2012）根據(jù)實(shí)證研究發(fā)現(xiàn)AES的反饋意見(jiàn)提供了有效的語(yǔ)言輸入，因此使用體驗(yàn)英語(yǔ)寫作教學(xué)資源平臺(tái)對(duì)學(xué)生寫作能力的提高很有幫助。

回顧以往的研究，盡管許多學(xué)者對(duì)AES進(jìn)行了大量的實(shí)證研究，但大多數(shù)研究集中在AES的發(fā)展和AES在實(shí)際應(yīng)用中的有效性方面。作者希望以后的研究能更多地關(guān)注AES和英語(yǔ)寫作的教與學(xué)之間的關(guān)系。

參考文獻(xiàn)

[1]葛詩(shī)利，陳瀟瀟.國(guó)外自動(dòng)作文評(píng)分技術(shù)研究[J].外語(yǔ)電化教學(xué)，2007（5）：25-29.

[2]梁茂成，文秋芳.國(guó)外作文自動(dòng)評(píng)分系統(tǒng)評(píng)述及啟示[J].外語(yǔ)電化教學(xué)，2007（05）：19-25.

[3]王建.作文自動(dòng)評(píng)分系統(tǒng)效度研究[D].海南大學(xué)，2015.