句酷評價手段影響大學(xué)生英語寫作的實證研究

鄒玉梅，江　翠

(江西師范大學(xué) 外國語學(xué)院，江西 南昌　330022)

句酷評價手段影響大學(xué)生英語寫作的實證研究

鄒玉梅，江翠

(江西師范大學(xué) 外國語學(xué)院，江西 南昌330022)

摘要：句酷批改網(wǎng)是一個用計算機自動批改英語作文的在線系統(tǒng)。隨著現(xiàn)代技術(shù)的發(fā)展以及大學(xué)英語課程要求對基于計算機英語教學(xué)的重視，在線寫作已廣泛地運用于大學(xué)英語教學(xué)中，國內(nèi)外也出現(xiàn)了各種作文自動評分系統(tǒng)。擬先介紹“句酷批改網(wǎng)”的在線寫作系統(tǒng)，以江西省某高校三個班的學(xué)生使用句酷批改網(wǎng)的情況進行實證分析，進而討論該評價手段對大學(xué)生英語寫作的影響。

關(guān)鍵詞：句酷批改網(wǎng)；在線評價；英語寫作；教師反饋

作者簡介：鄒玉梅，碩士，講師，江西師范大學(xué)。研究方向：二語習(xí)得。 曹書，講師，牡丹江師范學(xué)院應(yīng)用英語學(xué)院。研究方向：經(jīng)濟法學(xué)和法律翻譯。

江翠，碩士，江西師范大學(xué)。研究方向：二語習(xí)得。

基金項目：2015年江西師范大學(xué)研究生創(chuàng)新基金課題“形成性評價在英語在線寫作中的運用”(編號：YJS2015051)。

文章編號：1672-6758(2015)11-0101-4

中圖分類號：H319

文獻標(biāo)識碼：標(biāo)識碼：A

Abstract：Juku Correcting Network is an online system to correct English compositions automatically. With the development of modern technology and the college English curriculum requirements on the attention of computer-based English teaching, online writing has been widely used in college English teaching, various automatic scoring system has also emerged home and abroad. This study will introduce the online writing system of “Juku Correcting System” and conduct empirical analysis based on three-class students’ situation of using Juku correcting network in Jiangxi province, and then discuss the impact of this evaluation methods on college students’ English writing.

寫作能力是語言發(fā)展的一個重要組成部分，外語寫作能力表現(xiàn)為個人使用語言進行交際的能力，即“用移動而又恰當(dāng)?shù)木浞▉硐到y(tǒng)地闡述一系列邏輯思想。(轉(zhuǎn)引自欒新華，2012 ，Gaudiani,1981)英語寫作旨在考查學(xué)習(xí)者的語言輸出能力，其中包括詞匯的使用情況、詞組搭配、表達連貫、謀篇布局等方面的技能，是對學(xué)習(xí)者語言綜合能力的考量?！熬淇崤木W(wǎng)”主要利用現(xiàn)有的語料庫，對學(xué)生的作文從詞匯、搭配、拼寫、表達、標(biāo)點等多方面給出批閱建議，并及時生成作文分數(shù)。

國外代表性的作文自動評分系統(tǒng)主要有PEG(Project Essay Grade)、IEA(Intelligent Essay Assessor)和E—rater 。(梁茂成等，2007)梁茂成(2005)構(gòu)建的中國學(xué)生英語作文自動評分模型綜合了上述三個主流英語作文自動評分系統(tǒng)的優(yōu)點, 從語言、內(nèi)容和結(jié)構(gòu)三個方面衡量作文質(zhì)量。國內(nèi)則有“大規(guī)?？荚囉⒄Z作文自動評分系統(tǒng)”，“《新視野大學(xué)英語》作文自動評分系統(tǒng)”“冰果英語智能作文評閱系統(tǒng)”以及北京辭網(wǎng)科技推出的“句酷批改網(wǎng)”。(王曉豐，2014)國內(nèi)目前運用較多的智能作文評改和網(wǎng)絡(luò)寫作教學(xué)方式主要有博客、清華大學(xué)的“易得”，以及國內(nèi)多所高校推廣使用的“句酷批改網(wǎng)”。(陳鳳，2014)

一句酷評價介紹

“句酷批改網(wǎng)”以下簡稱“句酷”是一款基于云計算的英語作文自動批改在線服務(wù)，通過計算學(xué)生作文和標(biāo)準(zhǔn)語料庫之間的距離，即時生成學(xué)生作文的得分和語言及內(nèi)容分析結(jié)果，體驗網(wǎng)址http:// www.pigai.org. 句酷批改網(wǎng)是一個機改英語作文的在線系統(tǒng)?！熬淇崤木W(wǎng)”的原理是通過對比學(xué)生作文和標(biāo)準(zhǔn)語料庫之間的距離，并通過一定的算法將之映射成分數(shù)和點評。(倪穎穎，2014) 就像醫(yī)生使用CT機一樣，教師可以用批改網(wǎng)自動掃描學(xué)生作文的各種參數(shù)，進而做出更精準(zhǔn)更客觀的判斷和點評。(摘自批改網(wǎng))

1.數(shù)據(jù)分析。

系統(tǒng)會統(tǒng)計出幾個作文號下學(xué)生作文中用到的各類詞性的使用比例、頻次、百分比；目前各類詞性包括：動詞、名詞、形容詞、代詞、介詞、副詞、連詞和標(biāo)點符號。用戶可以通過對作文號中出現(xiàn)的各種詞性比例把控文章的問題及了解學(xué)生寫作練習(xí)時較常用到的哪種詞性，以及這些詞性具體是以哪種形式出現(xiàn)在學(xué)生的作文中的。下面將以2014級應(yīng)用英語班25名同學(xué)的作文how I deal with stress(2015年專四大作文題目)為例進行分析，如圖1所示。

圖1　學(xué)生作文詞頻分布比對(%)

2.數(shù)據(jù)比對。

用戶可以將單篇作文與全部作文中的各類數(shù)據(jù)進行對比。目前數(shù)據(jù)對比支持：單詞統(tǒng)計比對、詞性分布比對、搭配統(tǒng)計比對、句長分布比對、動詞頻次比對。也可以進行兩個學(xué)生之間的比對。通過對比，能夠幫助學(xué)習(xí)者直觀地了解到自己同別人的差距或者優(yōu)勢，從而對自己的學(xué)習(xí)進行更有效的把控，如圖2所示。

圖2　學(xué)號82522114001學(xué)生的作文搭配統(tǒng)計比對(%)

3.錯誤分析。

句酷在線批改基于現(xiàn)有的語料，從句子層面對學(xué)生的作文逐句進行分析評閱，主要從句子規(guī)范、搭配以及詞性錯誤的角度進行分析，如圖3所示。

圖3　學(xué)生作文錯誤分析

4.維度分析。

句酷系統(tǒng)從評判學(xué)生作文的192個測評維度中挑選出幾個大維度(可定制)，比如“類符形符比”“拼寫正確率”“平均詞長”“平均句長”“從句總數(shù)”，并列出學(xué)生在各個維度上的測量值，為分析作文提供數(shù)據(jù)參考。通過作文數(shù)據(jù)在各個維度的不同表現(xiàn)，可以明確作文的薄弱點所在，并且可以對學(xué)習(xí)的整體情況進行把控，如圖4所示。

圖4　學(xué)生作文句長分布比對(%)HT〗

二研究設(shè)計

1.研究問題。

本研究是探討“句酷批改網(wǎng)”這種在線評價手段對大學(xué)生英語寫作的影響。具體的研究問題是：(1)學(xué)生是否接受“句酷批改網(wǎng)”的作文批改方式，是否樂意繼續(xù)使用“句酷批改網(wǎng)”完成寫作任務(wù)；(2)“句酷批改網(wǎng)”對學(xué)生的寫作有什么影響；(3)學(xué)生對“句酷”評價提供的反饋態(tài)度怎樣。

2.研究對象。

本研究選取了江西省某高校2014級商務(wù)英語(1),(2)班及應(yīng)用英語班共117名學(xué)生為期13周的作文，受試按照教師布置的作文每周完成一篇，提交句酷批改網(wǎng)在線評閱，生成評閱成績。本研究受試為第一次使用“句酷”進行作文寫作，每周輸入作文號，即可搜到教師布置的作文及其寫作要求，學(xué)生在線完成寫作任務(wù)，及時提交，生成作文成績及批改意見，學(xué)生可根據(jù)批閱意見進行修改后再次提交，生成新的作文成績。教師每周會記錄學(xué)生的在線寫作表現(xiàn)，并納入綜合英語平時成績的考評中。

3.問卷調(diào)查。

為了了解學(xué)生使用“句酷”的情況，學(xué)生是否樂意繼續(xù)使用“句酷”及其“句酷”對學(xué)生作文寫作的影響等問題，我們對100名受試者進行了問卷調(diào)查(參考了陳慰的問卷，見附件1)，(陳慰，2013)根據(jù)該研究的需要，選擇了問卷中的八道選擇題。其中1—2題主要調(diào)查學(xué)生對句酷作文批改方式的態(tài)度如何，是否愿意繼續(xù)使用句酷批改網(wǎng)進行在線寫作；3—5題是了解句酷評價手段對學(xué)生英語寫作的影響；6—8題是為了調(diào)查學(xué)生對句酷評價反饋的態(tài)度。問卷設(shè)計采用五級量表，從完全同意到完全不同意。

本研究共發(fā)出100份問卷，收回有效問卷96份。運用SPSS16.0對96份問卷進行頻率分析，得出分析結(jié)果。

三研究結(jié)果與分析

1.學(xué)生對“句酷批改網(wǎng)”作文批改方式的態(tài)度。

96名研究對象的問卷調(diào)查結(jié)果(表1)表明，學(xué)生對句酷評價手段持積極的態(tài)度，81%的受訪者喜歡使用“句酷”作文的批改方式，67%的學(xué)生認為句酷批改網(wǎng)的批改方式對自己的作文有影響。

2.句酷評價手段對學(xué)生寫作的影響。

從表2的數(shù)據(jù)可以看出，句酷評價手段對學(xué)生的作文有積極的影響，58(60.5%)名學(xué)生覺得句酷評價方式使寫作更有趣了。51(54%)名學(xué)生認為句酷使寫作更省時省力了，56(58.3%)名學(xué)生在句酷的幫助下，作文分數(shù)有了明顯的提高。

表1　學(xué)生對作文批改方式的態(tài)度 人數(shù)(百分比%)

表2　句酷評價手段對學(xué)生寫作的影響 人數(shù)(百分比%)

3.學(xué)生對句酷評價反饋的態(tài)度。

從表3的數(shù)據(jù)可以看出，大部分學(xué)生對句酷評價反饋持積極態(tài)度，77(80.2%)名學(xué)生會根據(jù)句酷的批閱意見重新修改作文，57(59.3%)名學(xué)生對句酷提供的作文反饋都能很好地理解，44(45.8%)名學(xué)生會對不理解的評語不予理會，僅根據(jù)評閱意見進行修改。

表3　學(xué)生對句酷評價反饋的態(tài)度 人數(shù)(百分比%)

4.句酷評價手段存在的問題。

從問卷數(shù)據(jù)的結(jié)果顯示，絕大多數(shù)學(xué)生對句酷的作文批閱方式持肯定的態(tài)度，且認為對自己的作文寫作有一定的影響，但仍有17(17.8%)名學(xué)生認為不清楚或者是不同意句酷的作文批閱方式。對于句酷的反饋，39名(40.7%)學(xué)生不清楚或者不能很好地理解句酷給出的反饋意見，44名(45.8%)學(xué)生不予理會，學(xué)生仍然缺乏自主學(xué)習(xí)的意識。同時也要看到句酷網(wǎng)的局限性：對于寫作的篇章結(jié)構(gòu)，思想內(nèi)容，邏輯性和連貫性還是無法做到準(zhǔn)確評估(楊莉，2015)。

四結(jié)論

就寫作教學(xué)而言，在我國各級英語教學(xué)中，教師作文批改負擔(dān)重，很難保證每個學(xué)生都能得到教師及時有效地反饋。(欒新華，2012)在大學(xué)英語寫作教學(xué)中引入“句酷批改”在線寫作和批閱平臺，極大地減輕了英語教師課后作業(yè)的批改量，且句酷反饋及時，學(xué)生可根據(jù)反饋進行修改后再次提交。句酷批改平臺方便教師管理班級，掌握學(xué)生寫作進度，通過該系統(tǒng)創(chuàng)建班級，輸入學(xué)生學(xué)號，教師還可以在線選擇作文題，參閱平行高校的寫作題，資源共享。句酷批改網(wǎng)是輔助教師批改英語作文的在線服務(wù)系統(tǒng)，能夠有效減輕教師批改英語作文的工作量，提高學(xué)生的英語寫作能力。但句酷也有其自身的局限，如不能對文章進行通篇把握，作者的寫作思想等不能有效捕捉。以下是清華大學(xué)深度使用句酷批改網(wǎng)的案例：

清華大學(xué)使用句酷的案例可以給我們有效使用句酷提供很多的啟示，在句酷使用過程中，教師應(yīng)介入在線批閱情況，鼓勵學(xué)生多次提交，多次修改，在過程中進步成長，并且鼓勵學(xué)生自評及互評，讓學(xué)生學(xué)會反思自身的寫作情況，同時通過批閱其他同學(xué)的作文提高自身的作文質(zhì)量。

參考文獻

[1]陳鳳.一項關(guān)于句酷批改網(wǎng)在大學(xué)英語寫作中的應(yīng)用研究[J]. 東華理工大學(xué)學(xué)報(社會科學(xué)版)，2014(2).

[2]陳慰. 基于自動評分系統(tǒng)的大學(xué)英語作文反饋研究——以句酷批改網(wǎng)為例 [D].重慶大學(xué)，2013.

[3]葛詩利，陳瀟瀟.大學(xué)英語作文自動評分研究中的問題及對策[J]. 山東外語教學(xué)，2009(3) .

[4]葛詩利，陳瀟瀟.中國ESL學(xué)習(xí)者自動作文評分探索[J]. 外語界，2007(5).

[5]顧成華，王麗. 基于句酷批改網(wǎng)的大學(xué)英語；寫作教學(xué)實證研究 [J].揚州大學(xué)學(xué)報(高教研究所)，2012(4).

[6]梁茂成，文秋芳.國外作文自動評分系統(tǒng)評述及啟示[J]. 外語電化教學(xué)，2007(117).

[7]梁茂成.中國學(xué)生英語作文自動評分模型的構(gòu)建[D] .南京:南京大學(xué),2005.

[8]劉永厚.英語專業(yè)寫作小組同伴反饋和教師反饋效果研究 [J]. 外語界，2015(1).

[9]欒新華.在線寫作自動評價系統(tǒng)對大學(xué)生英語寫作能力的影響 [D].延邊大學(xué)，2012.

[10]倪穎穎，文衛(wèi)霞.網(wǎng)絡(luò)英語寫作教學(xué)模式述評及探索—句酷批改網(wǎng)的引入 [J]. 雞西大學(xué)學(xué)報，2014(9).

[11]王金銓，文秋芳.國內(nèi)外機器自動評分系統(tǒng)評述——兼論對中國學(xué)生翻譯自動評分系統(tǒng)的啟示 [J]. 外國語，2010(1).

[12]楊莉.基于語料庫的大學(xué)英語寫作教學(xué)研究——以句酷批改網(wǎng)為例[J].語言文字探索，2015年3月下半月.

[13]楊曉瓊，戴運財. 基于批改網(wǎng)的大學(xué)英語自主寫作教學(xué)模式實踐研究[J].外語電化教學(xué)，2015(162).

[14]張雙祥.大學(xué)英語寫作教學(xué)中在線寫作自動評價系統(tǒng)應(yīng)用研究 [J].當(dāng)代教育理論與實踐，2014(11).

[15]張荔，盛越.自動作文評閱系統(tǒng)反饋效果個案研究[J].外語電化教學(xué)，2015(163).

The Empirical Study of the Impact of Juku Evaluation Means on College Students’ English Writing

Zou Yumei, Jiang Cui

(School of Foreign Languages Jiangxi Normal University，Nanchang, Jiangxi 330022，China)

Key words：Juku Correcting Network;online evaluation; English writing; teacher’s feedback

Class No.:H319Document Mark：A

(責(zé)任編輯：鄭英玲)

韓竹林，講師，牡丹江師范學(xué)院應(yīng)用英語學(xué)院。研究方向：翻譯學(xué)和英語教學(xué)。

柳溪萌，助教，牡丹江師范學(xué)院應(yīng)用英語學(xué)院。研究方向：國際商務(wù)和商務(wù)英語。