大學(xué)英語寫作教學(xué)中在線寫作自動(dòng)評(píng)價(jià)系統(tǒng)應(yīng)用研究

張雙祥

(惠州學(xué)院 外語系，廣東 惠州516007)

英語寫作教學(xué)一直是國內(nèi)大學(xué)英語教學(xué)的一個(gè)薄弱環(huán)節(jié)，大學(xué)生的英語寫作能力亟待提高［1］。一方面，學(xué)生覺得英語寫作很難，對(duì)寫作有畏難情緒，另一方面，寫作教師覺得教學(xué)效果不佳，費(fèi)力教學(xué)很長(zhǎng)一段時(shí)間卻看不到學(xué)生水平的提高，尤其是作文批改成了他們最頭痛的事情。由于學(xué)生多，作文批改量大，批改周期長(zhǎng)，使得學(xué)生英語寫作機(jī)會(huì)相應(yīng)減少，反過來又制約著學(xué)生寫作水平的提高［2-3］。在這種背景下，在線寫作自動(dòng)評(píng)價(jià)(Automated Writing Evaluation;Automated Essay Scoring)系統(tǒng)就應(yīng)運(yùn)而生，它的出現(xiàn)大大減輕了教師批閱作文的負(fù)擔(dān)，增加了學(xué)生英語寫作的機(jī)會(huì)，受到了廣大師生的青睞。

寫作自動(dòng)評(píng)價(jià)系統(tǒng)進(jìn)入實(shí)際應(yīng)用階段至今已有十多年的歷史，盡管國內(nèi)有學(xué)者也使用自動(dòng)評(píng)價(jià)系統(tǒng)Writing Roadmap 等進(jìn)行寫作研究［4-5］，梁茂成也研制了大規(guī)模英語考試作文自動(dòng)評(píng)分系統(tǒng)EFL Essay Evaluator (EEE)1．0［6］，但目前國內(nèi)使用較多的還是句酷英語作文批改網(wǎng)和冰果英語智能作文評(píng)閱系統(tǒng)。

關(guān)于寫作自動(dòng)評(píng)價(jià)系統(tǒng)在大學(xué)英語寫作中的研究在國內(nèi)并不多見。唐錦蘭等對(duì)該類研究做了述評(píng)，發(fā)現(xiàn)國內(nèi)這一研究剛起步，偏重于介紹性、探討性［3］。對(duì)于該類系統(tǒng)在課堂教學(xué)中的應(yīng)用和效果的研究比較少見。葛詩利等探討了大學(xué)英語作文自動(dòng)評(píng)分研究中的問題及對(duì)策［7］;蔣學(xué)清等使用在線英語寫作自動(dòng)評(píng)價(jià)系統(tǒng)Writing Roadmap 2．0 研究了自動(dòng)作文評(píng)分系統(tǒng)對(duì)大學(xué)生英語寫作能力發(fā)展的影響，發(fā)現(xiàn)形成性評(píng)價(jià)方式和具有自動(dòng)反饋功能的在線寫作工具在發(fā)展非母語英語學(xué)習(xí)者的寫作能力方面可以發(fā)揮積極的作用［5］;石曉玲以句酷批改網(wǎng)為例研究了在線寫作自動(dòng)評(píng)改系統(tǒng)在大學(xué)英語寫作教學(xué)中的應(yīng)用，著重探析了在線寫作自動(dòng)評(píng)改系統(tǒng)的有效性［8］;吳一安等研究了融入自動(dòng)評(píng)價(jià)系統(tǒng)的英語寫作實(shí)驗(yàn)教學(xué)對(duì)高校英語教師的影響，重點(diǎn)關(guān)注參與教師在寫作教學(xué)中融入自動(dòng)評(píng)價(jià)系統(tǒng)Writing Roadmap 的體驗(yàn)［4］。本文擬以冰果英語智能作文評(píng)閱系統(tǒng)(以下簡(jiǎn)稱冰果系統(tǒng))為例，研究自動(dòng)評(píng)價(jià)系統(tǒng)在寫作教學(xué)中的應(yīng)用及其效果。冰果系統(tǒng)目前已在國內(nèi)幾百所高校使用。研究者所在學(xué)校已經(jīng)推廣使用一年多，發(fā)現(xiàn)它具有在線寫作評(píng)價(jià)系統(tǒng)使用便利、反饋及時(shí)、抄襲檢測(cè)、個(gè)性化反饋等功能外，還存在著一些問題。本研究就是為了找出問題，更好地為師生提供服務(wù)。

1 研究設(shè)計(jì)

1．1 研究問題

本研究探討冰果系統(tǒng)在大學(xué)英語寫作教學(xué)中的應(yīng)用效果，具體的研究問題是:1)學(xué)生對(duì)冰果系統(tǒng)的接受程度;2)冰果系統(tǒng)在學(xué)生英語寫作中應(yīng)用效果;在哪些方面幫助最大;3)該系統(tǒng)的優(yōu)點(diǎn)和缺陷;4)冰果系統(tǒng)評(píng)閱與教師評(píng)閱作文的區(qū)別。

1．2 研究對(duì)象

本研究選取某大學(xué)非英語專業(yè)二年級(jí)4 個(gè)班共計(jì)122 名學(xué)生參與。要求這些學(xué)生每一周完成一篇作文提交冰果系統(tǒng)評(píng)閱。

1．3 研究工具

問卷調(diào)查。在學(xué)生進(jìn)行了為期16 周的冰果系統(tǒng)寫作評(píng)閱后發(fā)放問卷給學(xué)生，共回收有效問卷116 份。該問卷共有28 個(gè)問題，涵蓋了以下四個(gè)方面的內(nèi)容:1)對(duì)自己寫作水平的總體評(píng)價(jià);2)對(duì)冰果系統(tǒng)的接受程度;3)對(duì)學(xué)生英語寫作水平提高的效果;4)該系統(tǒng)的優(yōu)點(diǎn)和缺陷。

訪談。訪談提綱結(jié)合研究問題制定，圍繞問卷結(jié)果進(jìn)行。訪談是半開放式的，主要有以下幾個(gè)問題:你作文中的主要問題是什么;你是否喜歡使用冰果系統(tǒng);你覺得冰果系統(tǒng)對(duì)你寫作的幫助有多大;冰果系統(tǒng)與傳統(tǒng)的教師批閱相比有哪些優(yōu)點(diǎn);你覺得冰果系統(tǒng)還有哪些需要改進(jìn)的地方等等。研究者對(duì)每個(gè)班按作文成績(jī)優(yōu)、中、差三類分別隨機(jī)抽取3 名學(xué)生共12 名學(xué)生進(jìn)行。

作文樣本。為了回答第四個(gè)問題，研究者在第十篇作文后每個(gè)班隨機(jī)抽取3 篇任課教師評(píng)閱作文稿和相對(duì)應(yīng)的系統(tǒng)評(píng)閱作文稿，然后將兩者對(duì)比，主要對(duì)比了評(píng)分情況、評(píng)閱的側(cè)重點(diǎn)和評(píng)語。

2 研究結(jié)果

2．1 問卷調(diào)查結(jié)果

關(guān)于學(xué)生對(duì)自己作文水平的評(píng)價(jià)(表1)，斯科特量表均值是2．69，說明絕大多數(shù)學(xué)生對(duì)自己的英語寫作水平的評(píng)價(jià)是一般及以下，他們對(duì)自己的寫作水平缺乏信心。其中只有4 人(3．4%)認(rèn)為自己的寫作水平好，有29 人(25%)認(rèn)為自己的寫作水平差或很差。

表1 學(xué)生對(duì)自己英語寫作水平的評(píng)價(jià)(N=116)

關(guān)于英語寫作中的主要問題(多選題)，116 人中有71．6%的學(xué)生認(rèn)為自己的作文中語法錯(cuò)誤較多，75．9%的學(xué)生認(rèn)為自己的作文詞匯是主要問題，相對(duì)來說，只有54．3%和49．1%的學(xué)生認(rèn)為作文的結(jié)構(gòu)不合理或思想內(nèi)容有問題，遠(yuǎn)不如語法詞匯方面的問題嚴(yán)重。

關(guān)于學(xué)生對(duì)冰果系統(tǒng)的接受程度(表2)，斯科特量表均值是3．16，說明絕大多數(shù)學(xué)生(87．1%)對(duì)此持一般或喜歡的態(tài)度，其中29．3%的學(xué)生非常喜歡或喜歡該系統(tǒng)，有12．9%的學(xué)生持完全否定的態(tài)度，另外還有57．8%的學(xué)生態(tài)度為一般，說明他們對(duì)系統(tǒng)的效果持觀望態(tài)度，對(duì)系統(tǒng)能否給自己提供真正有效的幫助缺乏信心。

表2 學(xué)生對(duì)冰果系統(tǒng)的接受程度(N=116)

關(guān)于冰果系統(tǒng)效果的評(píng)價(jià)(表3)，學(xué)生的態(tài)度與接受程度基本一致，斯科特量表均值為3．18，說明絕大多數(shù)學(xué)生(87．0%)持一般或肯定的態(tài)度，有13．0%的學(xué)生持否定的態(tài)度。

表3 學(xué)生對(duì)冰果系統(tǒng)的效果評(píng)價(jià)(N=116)

關(guān)于冰果系統(tǒng)評(píng)閱作文的優(yōu)點(diǎn)(多選題)，76．7%的學(xué)生認(rèn)為冰果系統(tǒng)的評(píng)分比較準(zhǔn)確，84．5%的學(xué)生認(rèn)為它批改及時(shí)，46．6%的學(xué)生認(rèn)可冰果的評(píng)語，尤其值得一提的是67．2%的學(xué)生認(rèn)為冰果能夠提供同伴的多種版本的范文供自己模仿是其一大亮點(diǎn)。對(duì)于冰果系統(tǒng)的最大問題，絕大多數(shù)學(xué)生(70．7%)認(rèn)為，冰果提供的反饋比較籠統(tǒng)不夠詳細(xì)明確是最大問題，只有29．3%的學(xué)生認(rèn)為上網(wǎng)不便、不習(xí)慣網(wǎng)上寫作、費(fèi)時(shí)麻煩或者評(píng)分不準(zhǔn)確等是其最大問題。

2．2 訪談結(jié)果

在受訪的12 位學(xué)生中，只有2 位作文低分的學(xué)生不接受冰果系統(tǒng)并不認(rèn)可其寫作中的效果，他們的理由是冰果系統(tǒng)沒有詳盡的語法和詞匯用法錯(cuò)誤的分析和解釋。對(duì)于這一點(diǎn)，其他受訪學(xué)生也不滿意，但他們之所以支持冰果系統(tǒng)是因?yàn)樗麄兎浅？粗厮容^準(zhǔn)確的評(píng)分和系統(tǒng)，增加了他們寫作訓(xùn)練的機(jī)會(huì)，“我們一學(xué)期可以寫十五六篇作文，這在以前是不可能的!”另外，他們覺得以同學(xué)的優(yōu)秀作文為范文也使他們有了學(xué)習(xí)的榜樣，更加容易接受?！翱吹轿疑嵊训淖魑某闪朔段?，我覺得我也可以!”尤其是4 名作文優(yōu)秀的受訪學(xué)生說他們非?？粗亟處煱阉麄兊淖魑漠?dāng)作范文給同學(xué)，這提升了他們的學(xué)習(xí)信心，每次作文都很用心，所以成績(jī)有了穩(wěn)定提高。所有12 名學(xué)生對(duì)該系統(tǒng)反饋中基本不指出語法和詞匯的錯(cuò)誤不能接受，這也印證了問卷調(diào)查的結(jié)果。

訪談中作文成績(jī)中或差的學(xué)生普遍認(rèn)為語法和詞匯問題是他們作文中的主要問題，但他們對(duì)內(nèi)容和結(jié)構(gòu)不以為然，他們認(rèn)為自己關(guān)鍵是缺乏英語語言的積累，而他們自信自己的中文的作文還不錯(cuò)。而四位優(yōu)秀作文學(xué)生認(rèn)為他們的作文仍然不能避免語法和詞匯問題，但他們有時(shí)候作文不能得高分是結(jié)構(gòu)不合理或內(nèi)容不佳造成的。

教師評(píng)閱和冰果系統(tǒng)相比較，他們覺得前者的劣勢(shì)是周期長(zhǎng)，評(píng)語簡(jiǎn)單籠統(tǒng)，一般只標(biāo)出錯(cuò)誤，所以效果不明顯;而后者的優(yōu)勢(shì)是評(píng)分較準(zhǔn)確，周期短，評(píng)語詳盡，有拼寫抄襲檢查，可以增加寫作訓(xùn)練的機(jī)會(huì)，但最大缺陷是較少涉及語法和詞匯問題。他們認(rèn)為最好的評(píng)閱方式應(yīng)該是教師當(dāng)面評(píng)改，雖然他們知道這并不現(xiàn)實(shí)。他們建議先用冰果系統(tǒng)，然后再由教師人工點(diǎn)評(píng)或評(píng)閱，如果系統(tǒng)可以做到的話，建議增加學(xué)生相互評(píng)改的環(huán)節(jié)，如何把三者有效地結(jié)合可能是教師應(yīng)該考慮的問題。

2．3 作文樣本分析

對(duì)照12 篇作文的教師批改稿和冰果系統(tǒng)評(píng)閱稿，我們發(fā)現(xiàn)教師評(píng)閱多對(duì)錯(cuò)誤做出標(biāo)記，評(píng)語也較簡(jiǎn)單，多為鼓勵(lì)性的話語，評(píng)分基本與系統(tǒng)一致。系統(tǒng)主要標(biāo)出拼寫錯(cuò)誤，有涉及詞匯、結(jié)構(gòu)、內(nèi)容等多方面的評(píng)語。例如，有同一篇作文，系統(tǒng)打分是12．5 分(作文滿分15 分)，給出的評(píng)語是“Good job． The language you use in your writing is generally accurate． What I can say is congratulations on a job nicely done with big words and good sentence structures．The topic is very well developed in your essay．”而教師的打分是12 分，給出的評(píng)語是“Well done． Keep going like this!”

3 分析與討論

從上述結(jié)果可以看出，學(xué)生對(duì)自己的作文水平普遍缺乏信心，而且以語法和詞匯問題為多。這與前人的研究結(jié)果相似［1］［2］［8］。對(duì)于冰果系統(tǒng)的接受程度，研究表明盡管只有少數(shù)學(xué)生持否定態(tài)度，但也只有29．3%的學(xué)生持肯定態(tài)度，大多數(shù)學(xué)生還是持保留觀望態(tài)度，這主要是因?yàn)樵撓到y(tǒng)的反饋不夠清晰，尤其是缺乏詞匯和語法的詳細(xì)反饋所致，當(dāng)然，還有學(xué)生不習(xí)慣電腦寫作、學(xué)校沒有提供自主學(xué)習(xí)中心所以不方便上網(wǎng)等原因。寫作自動(dòng)評(píng)價(jià)系統(tǒng)“內(nèi)容太泛，不夠具體”而使得學(xué)生對(duì)系統(tǒng)持保留態(tài)度前人研究中也有提及［9］。受試者對(duì)于冰果系統(tǒng)的優(yōu)點(diǎn)的一致觀點(diǎn)是批改及時(shí)，評(píng)分較準(zhǔn)確，這也是所有寫作自動(dòng)評(píng)價(jià)系統(tǒng)的普遍優(yōu)點(diǎn)，正是這些優(yōu)點(diǎn)激發(fā)了學(xué)生的寫作興趣，滿足了過程學(xué)習(xí)的需求，達(dá)到了“以評(píng)促學(xué)”的目的［5］。還有一點(diǎn)值得教師重視，那就是學(xué)生對(duì)于系統(tǒng)提供的多種版本的同伴優(yōu)秀范文很感興趣，它可以使學(xué)生學(xué)有榜樣，趕有目標(biāo)。此外，冰果系統(tǒng)的較詳盡的評(píng)語也是其一大亮點(diǎn)。

從訪談中可以看出，學(xué)生還是普遍認(rèn)為系統(tǒng)評(píng)閱不能代替教師，還是應(yīng)以系統(tǒng)評(píng)閱結(jié)合教師評(píng)閱為佳［8］。綜合起來，研究認(rèn)為今后冰果系統(tǒng)評(píng)閱作文需要從三個(gè)方面加強(qiáng):一是產(chǎn)品開發(fā)技術(shù)人員以及語言專家應(yīng)進(jìn)一步優(yōu)化系統(tǒng)，特別是增加較詳盡的語法和詞匯糾錯(cuò)功能，繼續(xù)提高系統(tǒng)的信度。二是在結(jié)合系統(tǒng)評(píng)閱和教師人工評(píng)閱方面提供更加人性化友好的操作界面，教師重點(diǎn)把握文章的內(nèi)容和結(jié)構(gòu)，避免系統(tǒng)明顯的評(píng)分失誤。三是增加在線評(píng)價(jià)中同伴評(píng)價(jià)的功能或模式，形成更加開放的、多種反饋結(jié)合的評(píng)價(jià)機(jī)制。

總之，冰果智能評(píng)價(jià)系統(tǒng)總體而言為多數(shù)學(xué)生所接受且有較好的效果，但仍然有許多需要完善的不如人意的地方。產(chǎn)品開發(fā)方應(yīng)進(jìn)一步完善優(yōu)化系統(tǒng)，教師也應(yīng)該發(fā)揮自己的主導(dǎo)作用，創(chuàng)造性地運(yùn)用系統(tǒng)，通過結(jié)合系統(tǒng)評(píng)閱、教師評(píng)閱以及學(xué)生同伴評(píng)閱來提升評(píng)改效果。

［1］金 艷．標(biāo)準(zhǔn)化語言測(cè)試的教學(xué)評(píng)價(jià)功能［C］．在北京交通大學(xué)“與專家面對(duì)面”活動(dòng)上的講座，2010．

［2］張雪梅．大學(xué)英語寫作教學(xué)現(xiàn)狀之調(diào)查［J］．外語界，2006(5):28 -32．

［3］唐錦蘭，吳一安．在線英語寫作自動(dòng)評(píng)價(jià)系統(tǒng)應(yīng)用研究述評(píng)［J］．外語教學(xué)與研究，2011(2):273 -282．

［4］吳一安，唐錦蘭．融入自動(dòng)評(píng)價(jià)系統(tǒng)的英語寫作實(shí)驗(yàn)教學(xué)對(duì)高校英語教師的影響研究［J］． 外語電化教學(xué)，2012(7):3 -10．

［5］蔣學(xué)清，蔡 靜，唐錦蘭． 探析自動(dòng)作文評(píng)分系統(tǒng)對(duì)大學(xué)生英語寫作能力發(fā)展的影響［J］． 山東外語教學(xué)，2011(6):36 -43．

［6］梁茂成．大規(guī)?？荚囉⒄Z作文自動(dòng)評(píng)分系統(tǒng)的研制［M］．北京:高等教育出版社，2011．

［7］葛詩利，陳瀟瀟．大學(xué)英語作文自動(dòng)評(píng)分研究中的問題及對(duì)策［J］．山東外語教學(xué)，2009(3):21 -26．

［8］石曉玲．在線寫作自動(dòng)評(píng)改系統(tǒng)在大學(xué)英語寫作教學(xué)中的應(yīng)用研究——以句酷批改網(wǎng)為例［J］．現(xiàn)代教育技術(shù)，2012(10):67 -71．

［9］Chen E，Cheng E．Beyond the design of automated writing evaluation:Pedagogical practices and perceived learning effectiveness in EFL writing classes［J］． Language Learning ＆Technology，2008 (12):94 -112．