自動作文評分系統(tǒng)應(yīng)用于大學(xué)英語寫作教學(xué)的調(diào)查分析

鐘建玲，李 勇

(1.華南農(nóng)業(yè)大學(xué) 外國語學(xué)院，廣東 廣州 510642；2.廣西大學(xué) 外國語學(xué)院，廣西 南寧 530004)

?

自動作文評分系統(tǒng)應(yīng)用于大學(xué)英語寫作教學(xué)的調(diào)查分析

鐘建玲1，李 勇2

(1.華南農(nóng)業(yè)大學(xué) 外國語學(xué)院，廣東 廣州 510642；2.廣西大學(xué) 外國語學(xué)院，廣西 南寧 530004)

本研究主要針對非英語專業(yè)學(xué)生，通過問卷調(diào)查和訪談，了解他們對英語自動作文評分系統(tǒng)的使用情況及滿意度。研究結(jié)果表明，學(xué)生普遍對該評分系統(tǒng)比較滿意。自動評分系統(tǒng)可以有效增加學(xué)生修改作文的頻次，但對作文的思想內(nèi)容、結(jié)構(gòu)方面的反饋有待完善。教師應(yīng)加強引導(dǎo)，建立多元反饋機制，以充分發(fā)揮人工評改和智能評改的優(yōu)勢，促進(jìn)學(xué)生寫作興趣和能力的提高。

大學(xué)英語寫作；自動作文評分系統(tǒng)；調(diào)查分析

一、自動作文評分系統(tǒng)簡介和研究問題

《大學(xué)英語課程教學(xué)要求》明確要求，在大學(xué)英語教學(xué)中使用信息技術(shù)提高教學(xué)效果，使英語教學(xué)不受時間和地點的限制，朝著個性化、自主式學(xué)習(xí)方向發(fā)展。隨著計算機和互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展和普及，教育信息技術(shù)已經(jīng)廣泛應(yīng)用于高校英語教學(xué)，在國內(nèi)外，自動作文評改系統(tǒng)的研究與應(yīng)用也成為計算機輔助外語寫作教學(xué)的熱點。

自動作文評分就是利用計算機技術(shù)對作文進(jìn)行評估與記分(Shermis & Burstein 2003 )。該方向的研究至今已歷時近40年，在此過程中，采用了統(tǒng)計、自然語言處理及人工智能等方面的最新成果(Dikli 2006 )，并于1999年進(jìn)人實際應(yīng)用階段(Kukich 2000 )。自動評分系統(tǒng)具有可靠性、客觀性、經(jīng)濟性、即時性、互動性等優(yōu)點，因此，被越來越廣泛地應(yīng)用于寫作教學(xué)領(lǐng)域。目前國外比較成熟的自動作文評分系統(tǒng)有Project Essay Grade (PEG)、Intelligent Essay Assessor (IEA)、Electronic EssayRater (E-rater) 、IntellMi etricTM和Bayesian Essay Test Scoring system(BETSY)和Larkey的系統(tǒng)。國內(nèi)最早涉足自動作文評分領(lǐng)域的是梁茂成(2005),其研究方向是中國學(xué)生英語作文的自動評分。[1]據(jù)筆者所知，目前在國內(nèi)使用的作文自動評分系統(tǒng)主要有“冰果英語智能作文評閱系統(tǒng)”和 “句酷批改網(wǎng)”( pigai．org)。那么，在實際英語寫作教學(xué)中，學(xué)生對于應(yīng)用自動作文評分系統(tǒng)評價如何? 自動作文評分系統(tǒng)能否實現(xiàn)以上的寫作教學(xué)理念？帶著這些問題，筆者對句酷批改網(wǎng)的應(yīng)用情況做了一次調(diào)查研究。

本研究主要針對以下三個問題：(1)大學(xué)生英語寫作中的主要問題；(2)學(xué)生對批改網(wǎng)應(yīng)用于大學(xué)英語寫作教學(xué)的態(tài)度和評價；(3)批改網(wǎng)在作文評改與反饋方面的優(yōu)點和不足。

二、研究方法

(一)研究對象 參加本次試驗的對象是筆者執(zhí)教的2011級、大學(xué)二年級的非英語專業(yè)學(xué)生，共有60人，由兩個小自然班組成。該班學(xué)生經(jīng)過一年多的大學(xué)英語學(xué)習(xí)，已掌握了基本的英語段落展開方式和作文的組織結(jié)構(gòu)。由于本學(xué)期要參加四級英語考試，學(xué)生有大量習(xí)作的需求。

(二)研究工具——句酷自動作文評分系統(tǒng) 本次調(diào)查主要針對句酷作文自動評分系統(tǒng)(http://www.pigai.org，以下簡稱批改網(wǎng))進(jìn)行。據(jù)報告，批改網(wǎng)是目前中國最大的英語寫作平臺，已經(jīng)有超過1000所高校在使用該系統(tǒng)。根據(jù)批改網(wǎng)的介紹，與傳統(tǒng)人工批改方式相比，句酷批改網(wǎng)有以下特色：(1)簡單錯誤自動批改；(2)重復(fù)錯誤只改一次；(3)作文分?jǐn)?shù)立等可得；(4)按句點評一目了然。句酷批改網(wǎng)能指出作文每一句中存在的拼寫、語法、詞匯、搭配錯誤，并一一給出修改建議，作文存在的錯誤一目了然。批改網(wǎng)還為學(xué)生用戶提供特定知識點的擴展訓(xùn)練、搭配推薦、參考例句等，為學(xué)生提供全面的寫作指導(dǎo)，幫助學(xué)生自主學(xué)習(xí)。除此之外，句酷還有檢測抄襲的功能和提供進(jìn)步報告，詳細(xì)記錄每個學(xué)校、每個班級每個學(xué)生寫作能力的提升過程，有助于老師掌握學(xué)生總體薄弱點，為及時調(diào)整教學(xué)計劃提供依據(jù)。[2]

(三)數(shù)據(jù)收集 本研究歷時一個學(xué)期，研究數(shù)據(jù)來自兩個方面。第一，實驗前、后的學(xué)生調(diào)查問卷。問卷在參照已有的相關(guān)論述和調(diào)查問卷[3-4]的基礎(chǔ)上，結(jié)合自身教學(xué)實踐設(shè)計而成。2份問卷都分別由10個封閉性問題組成，均為多項選擇題形式，要求學(xué)生根據(jù)自己的意愿做出選擇。前期調(diào)查主要包括4個方面的內(nèi)容：(1)關(guān)于英文寫作目的、態(tài)度、包含的重要因素以及對自己英文寫作水平的總體認(rèn)知；(2)對教師已批改過作文的反饋；(3)對原有英語寫作教學(xué)方式的看法；(4)對應(yīng)用自動作文評分系統(tǒng)的效果預(yù)期。后期調(diào)查問卷目的在于了解在應(yīng)用自動作文評分系統(tǒng)之后，學(xué)生寫作能力和興趣方面的變化以及學(xué)生對系統(tǒng)使用方面的評價和反饋等等。

具體調(diào)查時間分別是 2012 年 9 月和2013 年 6 月，發(fā)放問卷是在課堂上進(jìn)行的，并當(dāng)場收回。發(fā)出問卷 59 份，回收 59 份，合格率為100%。收集的數(shù)據(jù)以百分比的形式呈現(xiàn)，具體見表1和表2。第二，訪談(interview)。本研究還和學(xué)生進(jìn)行了半結(jié)構(gòu)訪談(semi-structured interview)，目的在于進(jìn)一步了解系統(tǒng)使用方面的具體情況。接受訪談的學(xué)生為在批改網(wǎng)系統(tǒng)中記載的成績好、中、差各5名學(xué)生，共15名學(xué)生。

三、結(jié)果和討論

(一)前期問卷調(diào)查的結(jié)果 調(diào)查結(jié)果表明，學(xué)生的寫作動機不強。84.2%的同學(xué)的寫作目的是為了通過考試或完成學(xué)業(yè)。除了老師布置的作業(yè)之外，只有9.1%的同學(xué)會進(jìn)行每月一次的寫作練習(xí), 進(jìn)行2周一次的或一周一次的練習(xí)的比例為12.7%，大部分同學(xué)(72.7%)沒有進(jìn)行過寫作練習(xí)。74.5%的同學(xué)表示在作文發(fā)下來之后，會閱讀老師的評語，但不重寫。只有20%的同學(xué)會在閱讀反饋后重寫一次。5.5%的同學(xué)選擇了“不閱讀反饋，也不重寫”。這意味著，這部分同學(xué)只是僅僅把寫作當(dāng)成一次作業(yè)來完成。

表1

寫作中最重要的因素是什么？對此，同學(xué)們的選擇各有不同。63.7%的同學(xué)認(rèn)為詞匯和語法最重要；40%的同學(xué)認(rèn)為是篇章內(nèi)容；另有43.6%的同學(xué)認(rèn)為是篇章的組織結(jié)構(gòu)。54.5%的同學(xué)認(rèn)為詞匯缺乏是他們寫作過程中的主要困難，而36.4%的同學(xué)則認(rèn)為是句子表達(dá)不清，10.9%的同學(xué)認(rèn)為自己寫作時語法混亂；30.9%的同學(xué)認(rèn)為自己在文章內(nèi)容方面不足，而還有21.8%的同學(xué)則認(rèn)為自己組織表達(dá)上有困難。由此看出，詞匯、語法、句型是多數(shù)學(xué)生寫作中的主要障礙，絕大部分學(xué)生(83.7%)認(rèn)為自己英語寫作水平一般或較差。

(2)對目前寫作教學(xué)的看法及對自動作文評分系統(tǒng)的使用預(yù)期。67.5%的同學(xué)認(rèn)為目前的寫作教學(xué)對自己提高寫作能力幫助有限，7.3%的同學(xué)認(rèn)為沒有幫助。對于自動作文評分系統(tǒng)能否幫助他們提高寫作能力，較多的同學(xué)持懷疑態(tài)度，8%的同學(xué)表示信心一般，9.1%的同學(xué)覺得沒有信心，選擇“非常有信心”或“較有信心”的同學(xué)比例總共32.4%。由此看來，從一開始及在后續(xù)的教學(xué)中，英語老師就需要不斷地向?qū)W生積極宣傳自動作文評分系統(tǒng)的優(yōu)點，讓更多的學(xué)生接受作文評分系統(tǒng)并從中受益。

(二)后期問卷調(diào)查結(jié)果 數(shù)據(jù)顯示，相比于之前的數(shù)據(jù)，選擇“閱讀反饋，不重寫“的學(xué)生比例從74.5%下降到了49.1%，“閱讀反饋，并重寫”的比例從20%上升到了41.8%?！安婚喿x反饋，也不重寫”的比例下降為0%。這真是令人驚喜的一個變化，證明了自動評改系統(tǒng)的實時反饋確實在一定程度上增加了學(xué)生修改作文的頻次，達(dá)到了以評促學(xué)的目的，凸現(xiàn)了過程寫作學(xué)習(xí)法的重要性。至于系統(tǒng)能否提升學(xué)生英語寫作的興趣，12.7%的同學(xué)認(rèn)為有較大的提升。超過一半的同學(xué)(56.4%)的學(xué)生則認(rèn)為提升較小。因此，怎樣才能更好地利用系統(tǒng)提高學(xué)生的寫作能力還有待更多的老師繼續(xù)摸索。

表2

基于計算機網(wǎng)絡(luò)的寫作教學(xué)模式：78.1%的同學(xué)認(rèn)為在詞匯和語法方面對自己語言能力的提高最大，27.3%的同學(xué)認(rèn)為在篇章語言和語言結(jié)構(gòu)方面對自己幫助較大。對于問題“你喜歡自動作文評分系統(tǒng)中的給出的哪部分反饋？”， 41.8%的同學(xué)選擇了詞匯，60%的同學(xué)選擇了語法，選擇篇章結(jié)構(gòu)方面的同學(xué)只有7.3%， 18.2%的同學(xué)選擇了組織結(jié)構(gòu)。10.9%的同學(xué)認(rèn)為該系統(tǒng)非常好或和很好，認(rèn)為較好的同學(xué)達(dá)到了41.8%。

(三)訪談結(jié)果及分析 訪談主要在學(xué)期結(jié)束前2周，課間或其他時間進(jìn)行。訪談問題：(1)你在應(yīng)用英語自動作文評分系統(tǒng)的過程中碰到哪些困難？(2) 你喜歡英語自動作文評分系統(tǒng)的哪些方面，有哪些不足?(3)你認(rèn)為有了批改網(wǎng)，是不是就不需要老師再評改學(xué)生作文了？ (4)對于更好地發(fā)揮英語自動作文評分系統(tǒng)的作用，你有哪些建議？

在15名參加訪談的學(xué)生中，8名學(xué)生對批改網(wǎng)表示很滿意或較滿意，認(rèn)可以上提到的那些關(guān)于批改網(wǎng)的優(yōu)點。4名同學(xué)認(rèn)為系統(tǒng)一般，還存在著很多缺陷。3名同學(xué)認(rèn)為不好。

學(xué)生針對問題(1)的回答大概可以分成兩類情形，一是因電腦操作技術(shù)或系統(tǒng)方面造成的困難。如“打字有困難，比寫要慢，面對電腦不知道該怎么寫”；“把握不住什么時候該打空格或經(jīng)常忘打標(biāo)點符號”；“忘記密碼”等等。二是因為系統(tǒng)本身存在的缺陷導(dǎo)致的問題。問題主要集中在以下幾個方面：(1)有時候系統(tǒng)指出語法有誤，但并不能說明錯在哪里，比較糾結(jié)。不如老師修改的那樣，反饋準(zhǔn)確。(2)有些修改并非完全準(zhǔn)確，給出的解釋又亂又不全面；(3)對文章結(jié)構(gòu)和內(nèi)容不太注重，無法判斷；(4)有時感覺評語千篇一律，死板或不可信；(4)對部分句子的解釋不明不白，有些又太多都看不過來。

與多項選擇題中反映出來的情況一致，學(xué)生普遍表示喜歡系統(tǒng)的以下方面： (1)操作簡單，反饋及時；(2)喜歡詞匯和短語部分，可以促進(jìn)自己多學(xué)習(xí)使用高級詞匯或短語；(3)喜歡語法糾正部分。因為有時自己并不能看出錯在哪里。系統(tǒng)指出來后就可以認(rèn)真校對。(4)練習(xí)機會很多而且自己可以把握練習(xí)時間。在網(wǎng)上，不但可以練習(xí)任課老師布置的作文，還可以根據(jù)自己的興趣練習(xí)批改網(wǎng)上其他老師布置的作文題目。

少數(shù)同學(xué)認(rèn)為：(1)這個系統(tǒng)沒有什么讓他們喜歡的：評分有些生硬，評析不清楚，對提高自己寫作用處不大；(2)有時候根據(jù)意見進(jìn)行改正，改后分?jǐn)?shù)更低了，比較打擊信心和興趣。也有同學(xué)反映，部分指出來的中式英語并不準(zhǔn)確。這也反映出，為了降低批改網(wǎng)上不恰當(dāng)?shù)狞c評對學(xué)生帶來的不良影響，教師有必要經(jīng)常抽查系統(tǒng)上作文的批改情況，添加人工批閱意見，以解決學(xué)生們的困惑。

所有受訪同學(xué)認(rèn)為，教師的反饋還是必不可少。有同學(xué)說，“每次好像不管我怎么寫，系統(tǒng)給出來的分?jǐn)?shù)都比較高，但是總覺得這分?jǐn)?shù)不那么可信。如果是老師改的話，可能沒有這么高的分?jǐn)?shù)?！?學(xué)生普遍認(rèn)為，對于系統(tǒng)的反饋自己不太能理解或?qū)τ谧约旱男薷那‘?dāng)與否，自己無法確定，類似這樣的情形還是要老師批改過心里才踏實。

針對問題(4)，同學(xué)們積極建言，主要包括以下方面：(1)中式英語給出建議；(2)修改后增加詞匯、語法、句法、文章結(jié)構(gòu)各方面的綜合評分和分析；(3)能了解所有學(xué)生的平均成績，從而知道自己的成績在整個班級所處的位置；(4)建立基于主題的語料庫，提供好詞好句、優(yōu)秀范文或判分例文，以便對比自己的作文質(zhì)量；(5)對系統(tǒng)的使用不要做硬性的要求；讓學(xué)生自主使用可能更好地發(fā)揮系統(tǒng)的作用；(6)希望對文章修改次數(shù)不要做統(tǒng)計；(7)讓學(xué)生兩周或3周寫一篇題目自定的文章；(8)建立獎勵機制，對優(yōu)秀作文或好詞好句進(jìn)行積分嘉獎以激發(fā)學(xué)生習(xí)作的積極性。

從以上結(jié)果可以看出，學(xué)生普遍接受在大學(xué)英語寫作教學(xué)中應(yīng)用作文自動評分系統(tǒng)，這也大大緩解了教師的作文批改負(fù)擔(dān)。由于在辨別單詞、語法和標(biāo)點錯誤方面,系統(tǒng)的準(zhǔn)確性高于人工評判，因此，此類錯誤可以放手交給系統(tǒng)處理,這樣教師就可以將更多的精力用于指導(dǎo)作文思想內(nèi)容和遣詞造句等系統(tǒng)目前仍然比較薄弱的處理環(huán)節(jié)。更重要的是，系統(tǒng)的使用有助于培養(yǎng)學(xué)生的自主寫作能力。它不但解決了教師欲布置大量練習(xí)卻無力批改的難題，還能對學(xué)生的寫作學(xué)習(xí)進(jìn)行過程性診斷，幫助發(fā)展對學(xué)習(xí)過程的自我監(jiān)控、調(diào)整和評估能力，提高自主學(xué)習(xí)能力,從而更好地實現(xiàn)“促學(xué)評價”(assessment for learning)的目標(biāo)。[5]

其次，由于系統(tǒng)自身的技術(shù)特點，在詞匯和語法層面給予學(xué)生的幫助較大，但在篇章結(jié)構(gòu)、內(nèi)容邏輯性和連貫性方面存在不足。[6]因此，只有增強評改系統(tǒng)的智能性并努力補充其他反饋手段才能彌補其不足。

最后，針對學(xué)生在系統(tǒng)使用過程當(dāng)中出現(xiàn)的種種問題，提出以下整改建議：(1)根據(jù)收集上來的反饋和建議，信息技術(shù)人員與應(yīng)用語言學(xué)家共同努力，及時進(jìn)行語料庫的更新，不斷提高評改系統(tǒng)的信度和智能性。[4]

(2)必須加強教師的引導(dǎo)。引導(dǎo)可以從以下幾方面進(jìn)行：A. 引導(dǎo)學(xué)生更客觀地看待自動作文評改系統(tǒng)。機器畢竟不是人腦，指望自動評改系統(tǒng)能像教師一樣做出反饋，顯然是不現(xiàn)實的。但是，系統(tǒng)的優(yōu)勢也是顯而易見的，充分發(fā)揮這些優(yōu)勢，使其為我所用，這樣收獲更大。B. 努力提高學(xué)生的自覺寫作意識，讓他們認(rèn)識到寫作能力的提高不是一蹴而就的，平時一定要注重語言積累，勤于練筆，反復(fù)修改，比較揣摩才能進(jìn)步更快。C.寫作策略的引導(dǎo)。大部分學(xué)生沒有自我糾錯的意識，寫作策略較差。老師可以讓學(xué)生課后互評作文，加強協(xié)作學(xué)習(xí)意識。

(3) 加強師生交流，深入了解學(xué)生。在系統(tǒng)使用過程中，由于系統(tǒng)不夠完善或?qū)W生自身的因素，學(xué)生必然會碰到這樣那樣的問題。因此，最好建立暢通的師生交流渠道。否則學(xué)生的困惑或問題長期不能得到解答就會失去進(jìn)一步寫作或修改作文的興趣。在系統(tǒng)的環(huán)境下，如何有效維持學(xué)生寫作動機和興趣，依然是教師必須探索的問題。

(4)建立多元反饋機制以彌補單一反饋模式的不足。在新建的多元反饋機制中，可以有效地集教師反饋、自動評改工具反饋及利用網(wǎng)絡(luò)平臺的同伴反饋(peer feedback，即同學(xué)間互相評改作文)為一體。

國家中長期教育改革和發(fā)展規(guī)劃綱要》(2010-2020年) 專辟一章強調(diào)信息技術(shù)在教學(xué)中的應(yīng)用，指出“信息技術(shù)對教育發(fā)展具有革命性影響，必須予以高度重視。[7]長期以來，由于寫作訓(xùn)練不足，反饋不及時，學(xué)生對寫作認(rèn)識的不足和積極性的欠缺等因素，學(xué)生寫作水平提高緩慢。寫作自動評價系統(tǒng)的應(yīng)用無疑較好地體現(xiàn)了過程寫作法的教學(xué)理念，在這一系統(tǒng)下，學(xué)生多寫多修改成為了可能，大大激發(fā)了他們的主觀能動性和寫作熱情。但正如王守仁教授指出的那樣，“基于計算機和課堂的新教學(xué)模式能否成功，在很大程度上取決于教師能否將教學(xué)軟件的使用與課堂教學(xué)有機地結(jié)合起來。”[8]通過本次研究，筆者了解到了一些關(guān)于句酷批改網(wǎng)使用的具體情況。不足之處是，本次研究時間短，調(diào)查的范圍較小，存在著一定的局限性。而且，寫作自動評價系統(tǒng)應(yīng)用于高校寫作教學(xué)仍然處于起步階段，怎樣才能將智能評改與人工評改有效結(jié)合，最終達(dá)到提高學(xué)生學(xué)生能力的目的，還有待更多的老師在實踐中不斷摸索。

[1]陳瀟瀟,葛詩利.自動作文評分研究綜述[J].解放軍外國語學(xué)院學(xué)報，2008，(5).

[2]http://baike.so.com/doc/5383391.html

[3]陳蕓.大學(xué)英語寫作教學(xué)中應(yīng)用自動作文評分系統(tǒng)的調(diào)查分析[J].語文學(xué)刊(外語教育與教學(xué))，2011，(11).

[4]石曉玲.在線寫作自動評改系統(tǒng)在大學(xué)英語寫作教學(xué)中的應(yīng)用研究——以句酷批改網(wǎng)為例[J].現(xiàn)代教育技術(shù)，2012，(10).

[5]蔣學(xué)清, 蔡靜,唐錦蘭.探析自動作文評價系統(tǒng)對大學(xué)生英語寫作能力發(fā)展的影響[J].山東外語教學(xué),2011,(6).

[6]葛詩利,陳瀟瀟.大學(xué)英語作文自動評分研究中的問題及對策[J].山東外語教學(xué)，2009，(3).

[7]教育部．國家中長期教育改革和發(fā)展規(guī)劃綱要( 2010-2020)[Z].2010.

[8]王守仁． 進(jìn)一步推進(jìn)和實施大學(xué)英語教學(xué)改革———關(guān)于《大學(xué)英語課程教學(xué)要求( 試行) 》的修訂[J]．中國外語，2008，(1)．

責(zé)任編輯 付友華

H319

A

1003-8078(2014)04-0167-04

2014-03-11

10.3969/j.issn.1003-8078.2014.04.51

鐘建玲(1973-)，女，華南農(nóng)業(yè)大學(xué)外國語學(xué)院講師，碩士；李勇(1973-)，男，廣西大學(xué)外國語學(xué)院講師，碩士。

華南農(nóng)業(yè)大學(xué)2012年教改課題，課題編號：JG12091。