網(wǎng)絡(luò)視閾下的高職英語寫作評價模式研究
——以句酷批改網(wǎng)為例

李林株

(福建商業(yè)高等?？茖W(xué)校外語系，福建 福州 350012)

?

網(wǎng)絡(luò)視閾下的高職英語寫作評價模式研究
——以句酷批改網(wǎng)為例

李林株

(福建商業(yè)高等專科學(xué)校外語系，福建 福州 350012)

寫作評價是寫作教學(xué)的重要環(huán)節(jié),直接影響到學(xué)生的寫作動機(jī)和寫作態(tài)度。傳統(tǒng)的高職英語寫作評價模式比較單一,且存在較多缺陷。以句酷批改網(wǎng)為代表的自動作文評分系統(tǒng)的應(yīng)用極大地解決了這些問題,但自動作文評分系統(tǒng)也存在明顯的不足。因此應(yīng)建立多元化的英語寫作評價模式,并充分發(fā)揮網(wǎng)絡(luò)的優(yōu)勢,增強(qiáng)師生間的互動,加強(qiáng)對學(xué)生寫作過程的指導(dǎo)、監(jiān)督和激勵,以提高學(xué)生的英語寫作水平和能力。

英語寫作;評價模式;自動作文評分系統(tǒng);句酷批改網(wǎng)

寫作是英語學(xué)習(xí)中“聽、說、讀、寫、譯”五項(xiàng)基本技能之一，是英語習(xí)得過程中的重要環(huán)節(jié)，它不僅能直接體現(xiàn)一個人的語言綜合應(yīng)用能力，還能反映一個人的邏輯思維和分析能力。寫作評價是寫作教學(xué)的重要環(huán)節(jié)，它直接影響到學(xué)生的寫作動機(jī)和寫作態(tài)度。因此，科學(xué)、客觀、綜合地評價學(xué)生的英語寫作水平和能力，改進(jìn)英語寫作評價模式，并用評價的反饋信息有效地指導(dǎo)學(xué)生寫作，提高學(xué)生的英語寫作水平，是從事大學(xué)英語教學(xué)和研究的人員所關(guān)注和研究的熱點(diǎn)。

一、傳統(tǒng)的英語寫作評價模式及其缺陷

傳統(tǒng)的高職英語寫作評價模式一般是學(xué)生提交紙質(zhì)或者電子文稿，教師逐字逐句批改，給出分?jǐn)?shù)，然后點(diǎn)評寫作中的典型錯誤。這種評價模式比較單一，也存在一些明顯的缺陷：第一，批改速度慢，教師負(fù)擔(dān)重；第二，過多地注重詞匯、語法等方面的錯誤，忽視了對學(xué)生寫作過程的關(guān)注；第三，教師與學(xué)生缺乏直接交流，無法了解學(xué)生的寫作思維過程；第四，教師對學(xué)生作文的評判“往往以主觀印象為主，缺乏統(tǒng)一、標(biāo)準(zhǔn)、科學(xué)、客觀的尺度”[1]；第五，學(xué)生往往只關(guān)注分?jǐn)?shù)，對批改中反饋的問題很少進(jìn)一步探討、修改。而研究表明，學(xué)生依據(jù)反饋信息對作文進(jìn)行整改的第二寫作過程，對提高學(xué)生的語言能力有著極重要的作用[2]。這些問題都直接影響了學(xué)生寫作的積極性，制約了學(xué)生英語寫作能力的提高。

二、國內(nèi)外自動作文評分系統(tǒng)概述

近年來，隨著計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)的發(fā)展，語言測試正逐漸走向智能化，其中自動作文評分系統(tǒng)(Automated Essay Scoring, AES)的研發(fā)和應(yīng)用帶來了寫作評價模式的變革。國外成熟的自動作文評分系統(tǒng)主要有Project Essay Grade(PEG), Intelligent Essay Assessor(IEA), Electronic Essay Rater(E-rater), IntelliMetricTM, Bayesian Essay Test Scoring sYstem(BETSY)等。這些評分系統(tǒng)大都只針對英語作為母語的作文評分，只有E-rater系統(tǒng)可用于評判英語作為外語(EFL)的作文，并已應(yīng)用于托福考試的作文評分。但“該系統(tǒng)最大的問題是不能判別語法正確，但內(nèi)容空洞的作文”[3]，再加之“該系統(tǒng)使用起來價格昂貴，對中國學(xué)生作文的評價針對性不強(qiáng)，其評分方法只適用于大規(guī)模的考試，并不適合小規(guī)模的課堂教學(xué)寫作等，導(dǎo)致其無法實(shí)際應(yīng)用于我國大學(xué)英語寫作教學(xué)和測試中”[4]。

隨著英語學(xué)習(xí)者和各種大規(guī)模考試參與人數(shù)的增加，國內(nèi)對自動作文評分系統(tǒng)的需求也日益強(qiáng)烈。目前已開發(fā)的自動作文評分系統(tǒng)有由梁茂成教授主持并獲得國家專利的“大規(guī)?？荚囉⒄Z作文自動評分系統(tǒng)”“《新視野大學(xué)英語》作文自動評分系統(tǒng)” “冰果英語智能作文評閱系統(tǒng)” “句酷批改網(wǎng)”，部分系統(tǒng)已在一些高校中得到應(yīng)用，但仍處于試驗(yàn)和探索階段。

本文試圖以這幾種系統(tǒng)中目前應(yīng)用最為廣泛的句酷批改網(wǎng)為例，探討基于網(wǎng)絡(luò)的高職英語寫作評價模式，為英語語言研究和語言教學(xué)研究提供新的研究視角和研究工具。

三、句酷批改網(wǎng)的特點(diǎn)及優(yōu)勢

句酷批改網(wǎng)是由北京詞網(wǎng)科技有限公司研發(fā)的英語自動作文評分系統(tǒng)，提供基于云計(jì)算的英語作文自動批改在線服務(wù)，通過計(jì)算學(xué)生作文和標(biāo)準(zhǔn)語料庫之間的距離，即時生成作文分?jǐn)?shù)和語言及內(nèi)容分析結(jié)果?！芭木W(wǎng)”自2011年6月上線后，吸引了包括清華大學(xué)、北京大學(xué)、復(fù)旦大學(xué)等5000所內(nèi)地和港澳臺學(xué)校使用，注冊教師達(dá)8萬人，注冊學(xué)生1330萬人，批改作文191,700,000余篇[5]。

句酷批改網(wǎng)具有以下特點(diǎn)和優(yōu)勢：

(一)使用便捷、反饋及時、評閱效率高。

(二)通過計(jì)算學(xué)生作文與標(biāo)準(zhǔn)語料庫之間的距離生成分?jǐn)?shù)，評分不受人為因素影響，較為客觀。

(三)按句點(diǎn)評，自動識別拼寫、詞匯、語法、標(biāo)點(diǎn)、搭配等簡單錯誤。學(xué)生可以根據(jù)系統(tǒng)的反饋進(jìn)行多次修改提交，并結(jié)合“學(xué)習(xí)提示”進(jìn)行自主學(xué)習(xí)。人機(jī)互動，有利于激發(fā)學(xué)生的寫作興趣和積極性，提高學(xué)生的寫作水平和自主學(xué)習(xí)能力。同時也減輕了教師的工作量，教師無需花費(fèi)大量的時間改正繁瑣的小錯誤，而是把精力集中在審查評閱作文的主題、內(nèi)容、結(jié)構(gòu)、組織等更重要的方面。

(四)提供抄襲檢測功能，能有效檢測學(xué)生提交的作文與本班其他同學(xué)的作文或與語料庫、互聯(lián)網(wǎng)的內(nèi)容是否有重復(fù)，并提供相似度供教師參考。

(五)提供各種數(shù)據(jù)分析，如學(xué)生表現(xiàn)(包括得分排行和修改排行)、成長軌跡、分?jǐn)?shù)分布、錯誤統(tǒng)計(jì)等，有利于教師掌握學(xué)生的總體答題情況、薄弱環(huán)節(jié)，了解學(xué)生的學(xué)習(xí)態(tài)度，監(jiān)控學(xué)生的寫作過程，為及時調(diào)整教學(xué)計(jì)劃、改進(jìn)教學(xué)方法提供依據(jù)。

(六)教師可將布置的作文分享到微博、微信或QQ空間，學(xué)生可直接點(diǎn)擊相關(guān)鏈接提交作文，有利于增強(qiáng)師生間的互動，提高學(xué)生寫作的積極性。

(七)提供在線寫法指導(dǎo)講座，定期舉辦英語寫作大賽，為各類英語寫作比賽提供技術(shù)支持。如正在舉行的“2016百萬同題寫作活動”，已吸引超過萬名教師引用，7萬余名學(xué)生答題，這無疑為英語學(xué)習(xí)者和愛好者提供了更廣闊的自主學(xué)習(xí)平臺和拓展空間，也成為英語寫作課堂教學(xué)的有益補(bǔ)充和延伸。

四、基于句酷批改網(wǎng)的高職英語寫作評價模式的實(shí)證研究

(一)研究的主要問題

1.句酷批改網(wǎng)在多大程度上可以用來預(yù)測作文得分？即句酷批改網(wǎng)的效度如何？

2.句酷批改網(wǎng)與人工評閱得分之間是否有顯著的差異？

(二)研究對象

參與本次研究的對象均為福建商業(yè)高等專科學(xué)校二年級的學(xué)生，分別是商務(wù)英語專業(yè)學(xué)習(xí)《英語應(yīng)用文寫作》課程的學(xué)生156名(其中12級54名、13級48名、14級54名)和非英語專業(yè)(13級企業(yè)管理)學(xué)習(xí)《公共英語》課程的學(xué)生20名。

(三)研究工具

句酷批改網(wǎng)

(四)研究方法

教師在句酷批改網(wǎng)上布置作文-學(xué)生提交作文-教師對學(xué)生提交的作文進(jìn)行人工評閱-教師運(yùn)用SPSS數(shù)據(jù)統(tǒng)計(jì)軟件將人工評閱的結(jié)果與句酷批改網(wǎng)的評閱結(jié)果進(jìn)行比較分析，見表1。

參與人工評閱的3名教師長期從事高職英語寫作課程的教學(xué)和理論研究，積累了豐富的寫作教學(xué)經(jīng)驗(yàn)，熟悉評分規(guī)則，能夠較為準(zhǔn)確地把握作文的命題，給予公正的評分，并且已將句酷批改網(wǎng)應(yīng)用于英語寫作教學(xué)3年，積累了一定的前期數(shù)據(jù)。

(五)研究結(jié)果

皮爾遜相關(guān)系數(shù)≥0.01即為具有相關(guān)性，數(shù)字越大，相關(guān)性越高。從表1中可以看出，這四篇作文的句酷批改網(wǎng)評閱與人工評閱的皮爾遜相關(guān)系數(shù)均大于0.8，表明二者有顯著的相關(guān)性。表1的數(shù)據(jù)表明，將句酷批改網(wǎng)應(yīng)用于高職英語寫作的評價模式中是相當(dāng)有效和可信的，在很大程度上可以幫助教師減輕批閱作文的工作量，為綜合評價學(xué)生的寫作水平和能力提供有效的參考依據(jù)。

表1　四篇作文的句酷批改網(wǎng)評閱與人工評閱對比

除此之外，筆者還發(fā)現(xiàn)：1.句酷批改網(wǎng)評閱的平均分?jǐn)?shù)普遍高于人工評閱的平均分?jǐn)?shù)；2.對于高職英語專業(yè)中常見的應(yīng)用文寫作，句酷批改網(wǎng)評閱和人工評閱的平均分?jǐn)?shù)相差不大，但在具體作文的評分上卻出現(xiàn)較大的差異。一篇文不對題的文章與一篇緊扣主題的文章相比，句酷批改網(wǎng)評分高的情況時有出現(xiàn)。值得注意的是，這種誤判的情況更多地出現(xiàn)在英語應(yīng)用文文體的寫作中，在非應(yīng)用文文體寫作中誤判的情況相對較少。

(六)總結(jié)

從以上實(shí)證研究中，筆者總結(jié)出句酷批改網(wǎng)存在的不足：

1．句酷批改網(wǎng)雖然能按句點(diǎn)評，指出簡單錯誤，但卻不能給出具體的修改建議。

2．句酷批改網(wǎng)更多關(guān)注的是詞匯、語法、句子等形式方面的變量[6]，尚不能準(zhǔn)確地判斷文章與主題的相關(guān)性、內(nèi)在的邏輯性和連貫性[7]，更不能像人一樣去欣賞文章語言的優(yōu)美、幽默、流暢性等能反映文章內(nèi)在質(zhì)量[3]的東西，因此無法全面準(zhǔn)確地評估學(xué)生的英語寫作水平，有時還存在前文中所提到的誤判現(xiàn)象。

3．句酷批改網(wǎng)的智能性還需進(jìn)一步提高。它不能判斷高職英語應(yīng)用文寫作的格式是否規(guī)范，對教師布置作文的主題也不能準(zhǔn)確地識別。例如，筆者布置了一篇感謝信的寫作，而機(jī)器模擬提交的則是一篇關(guān)于英語和漢語誰更重要的文章。

4．教師在句酷批改網(wǎng)布置高職英語應(yīng)用文寫作中常見的圖表類作文操作上還存在一定的困難，如何便捷地將圖表呈現(xiàn)在寫作要求中還需要系統(tǒng)功能進(jìn)一步完善。

五、充分發(fā)揮自動作文評分系統(tǒng)在英語寫作教學(xué)中的作用

以句酷批改網(wǎng)為代表的自動作文評分系統(tǒng)是網(wǎng)絡(luò)時代計(jì)算機(jī)與語言結(jié)合的協(xié)同創(chuàng)新，一方面可以有效提升英語寫作教學(xué)的效率，增強(qiáng)教學(xué)的互動性，另一方面也為語言研究、語言教學(xué)研究提供了新的研究視角和研究工具，值得被廣大院校引進(jìn)、推廣和應(yīng)用。但正如上文中所提到的，該系統(tǒng)還存在明顯的缺陷，無法完全取代傳統(tǒng)的人工評閱模式。為了最大限度地發(fā)揮自動作文評分系統(tǒng)的作用，筆者提出如下建議：

(一)建立基于網(wǎng)絡(luò)的多元化高職英語寫作評價模式，將智能評閱與人工評閱相結(jié)合，教師評閱與學(xué)生自評、互評相結(jié)合，課堂重點(diǎn)示范評閱與課后全體評閱相結(jié)合，形成性評估與終結(jié)性評估相結(jié)合，充分發(fā)揮學(xué)生的能動性，使每一個學(xué)生都參與到“寫作—修改—評閱—再修改—再評閱”的過程中來，從而不斷提高學(xué)生的英語寫作水平和思維能力。

(二)充分發(fā)揮網(wǎng)絡(luò)便利性、即時性的優(yōu)勢，通過微博、微信、QQ等多種方式，增強(qiáng)師生間的互動，加強(qiáng)對學(xué)生寫作過程的指導(dǎo)、監(jiān)督和激勵，及時解決學(xué)生在寫作過程中遇到的問題，把英語學(xué)習(xí)和討論延伸到課外。

(三)協(xié)同語言專家、計(jì)算機(jī)專家、邏輯專家和教學(xué)專家的努力，進(jìn)一步提高自動作文評分系統(tǒng)的智能性和可操作性。合理構(gòu)建完善語料庫，更多地從語篇組織、結(jié)構(gòu)、邏輯連貫性等方面綜合評估學(xué)生的英語寫作水平。

[1]李志雪， 李紹山．對國內(nèi)英語寫作研究現(xiàn)狀的思考—對八種外語類核心期刊十年(1993-2002)的統(tǒng)計(jì)分析[J]．外語界，2003，(06)：55-60．

[2]何萬貫．第二寫作過程研究[J]．現(xiàn)代外語，2007，(04)：375-386．

[3]陳瀟瀟，葛詩利．自動作文評分研究綜述[J]．解放軍外國語學(xué)院學(xué)報，2008，(05)：78-83．

[4]葛詩利，陳瀟瀟．文本聚類在大學(xué)英語作文自動評分中的應(yīng)用[J]．計(jì)算機(jī)工程與應(yīng)用，2009，45(06)：145-148．

[5]句酷批改網(wǎng)．實(shí)時日志[EB/OL] ．(2016-05-20)[2016-05-12]. http://www.pigai.org/?a=pad3.

[6]Page, E. B. Project Essay Grade: PEG [C]//M. D. Shemis & J. Burstein. Automated Essay Scoring: A Cross-disciplinary Perspective. Mahwah, NJ: Lawrence Erlbaum Associates, 2003: 43-54．

[7]楊冬梅．大學(xué)英語智能寫作評分系統(tǒng)中教師監(jiān)控策略[J]．湖北廣播電視大學(xué)學(xué)報，2013，(09)：132-133．

(責(zé)任編輯：練秀明)

Research on English Essay Assessing Model from the Perspective of the Internet in Higher Vocational and Technical College: A Case Study of Pigai

LI Lin-zhu

(Foreign Languages Department, Fujian Commercial College, Fuzhou 350012, China)

Essay scoring is significant in teaching the course of writing, as it influences the motivation and attitude of the students directly. The traditional college English essay assessing model is rather monotonous and has lots of weaknesses. In recent years, the application of such Automated Essay Scoring (AES) as Pigai has greatly solved the problems occurring in the traditional model. However, the research shows AES has both advantages and disadvantages. Therefore, we must develop a diversified English essay assessing model and give full play to the Internet to increase the interaction between the teacher and students, and to strengthen the guidance, supervision and stimulating of the students so as to promote their writing ability in English.

English essay； assessing model; automated essay scoring; Pigai

2016-05-20

福建商業(yè)高等?？茖W(xué)校2014年校級課題“基于網(wǎng)絡(luò)的高職英語寫作評價模式研究—以句酷批改網(wǎng)為例”(SZ201407B)；2015年教育部職業(yè)院校外語類專業(yè)教學(xué)指導(dǎo)委員會(簡稱“外語教指委”) “基于大數(shù)據(jù)的高職英語寫作教學(xué)創(chuàng)新研究課題”中的重點(diǎn)課題“基于大數(shù)據(jù)的高職學(xué)生英語寫作評價模式探究—以句酷批改網(wǎng)為例”(GZGZ5414-05)。

李林株(1978-)，女，四川劍閣人，講師，碩士。研究方向：外國語言學(xué)及應(yīng)用語言學(xué)。

H319

A

1008-4940(2016)04-0085-05