自動評分系統(tǒng)對高職高專寫作教學的效果研究

林靜

（泰州職業(yè)技術(shù)學院 基礎(chǔ)科學部，江蘇 泰州 225300）

?

自動評分系統(tǒng)對高職高專寫作教學的效果研究

林靜

（泰州職業(yè)技術(shù)學院 基礎(chǔ)科學部，江蘇 泰州 225300）

摘要：本研究分析了句酷批改網(wǎng)對高職高專寫作教學的影響及效果，比較在線反饋與教師反饋在培養(yǎng)學生寫作能力方面的異同。研究結(jié)果顯示，在線反饋對高職高專英語教學產(chǎn)生了一定的影響，能激發(fā)學生的學習動機和學習興趣；在線反饋的顯著性差異主要體現(xiàn)在高、中水平的學生身上。

關(guān)鍵詞：寫作教學；在線反饋；教師反饋

高職高專英語教學中，寫作有其特殊的地位?！陡呗毟邔＝逃⒄Z課程教學基本要求》明確指出：英語教學要“注重培養(yǎng)實際使用語言的技能”［1］。這里所說的技能就是培養(yǎng)學生利用英語語言知識進行交際的能力。在英語語言學習的四大技能中，寫作一直以來都是英語綜合運用能力的體現(xiàn)，并且是一個復雜的過程，“在這一過程中，學生始終是學習的主體，提高其寫作方面的自我認知水平并進行有效修改的一個關(guān)鍵保障就是對他們所寫內(nèi)容的反饋”［2］。二十世紀七十年代以來，隨著過程教學法的產(chǎn)生，反饋在英語寫作中的作用與日俱增?！胺答伿亲x者向作者的輸入，它的功能是向作者提供修改作文的信息”［3］。而在高職高專英語教學中落后的教學方法往往遏制了學生英語水平的提高。高職高專英語教學往往是大班授課，以筆者所在學校為例，授課班級少則數(shù)十人，多則上百人，每個教師每學期至少要教3～4個班級；此外，高職高專的英語課程屬于基礎(chǔ)課，課時較少，學生要在規(guī)定的時間內(nèi)掌握聽、說、讀、寫四大技能，不論對教師還是學生都是極大的難題。就寫作學習而言，因教師的負擔重，難以及時有效地對學生進行反饋，所以學生寫作水平提高緩慢，有時甚至挫傷學生的寫作積極性。目前寫作的反饋方式除了教師反饋外，關(guān)于同伴反饋的研究也較多。但由于學習者自身英語水平和寫作水平的不同，同伴反饋在實際運用中總會有不盡人意的地方。計算機科學和網(wǎng)絡(luò)技術(shù)的發(fā)展不斷挑戰(zhàn)大學英語教學模式，而基于寫作教學就出現(xiàn)了自動作文評分系統(tǒng)，因而，隨著信息技術(shù)的進步及發(fā)展，利用計算機對大學英語作文進行評分和反饋已經(jīng)成為未來反饋研究的新的方向和趨勢。

1　研究綜述

從上世紀60年代起，國外研究者就開始研究寫作自動評價系統(tǒng)，到目前大致可分為三個階段：一是上世紀60年代，由美國杜克大學開發(fā)的PEG（Project Essay Grader）；二是上世紀90年代，美國的ETS和科羅拉多大學分別研制出的E-rater （Electronic Essay Rater）和IEA（Intelligent Essay Assessor）；第三階段出現(xiàn)在本世紀初，主要的評價系統(tǒng)有My Access，Criterion，Hot Online Essay Scoring和Writing Roadmap。

在國外，在線自動評價系統(tǒng)的研究以美國為首，研究方向主要有兩個：一是研究在線評價系統(tǒng)與寫作成績的關(guān)系；二是研究在線評價系統(tǒng)在寫作課的應(yīng)用。前者的代表人物有Elliot&Mikulas和Shermis。Elliot&Mikulas的研究發(fā)現(xiàn)自動評價系統(tǒng)My Access對學生寫作成績的提高有積極的影響［4］，但在研究中沒有對照組，因而實驗結(jié)果缺乏可信度；Shermis用隨機抽樣的方式對來自同一個班級的實驗組和對照組的學生進行比對研究，實驗結(jié)果顯示兩組學生沒有差異［5］。此外，Vantage Learning和White分別利用My Access和Writing Roadmap 2.0對學生進行研究，研究結(jié)果都顯示了利用在線評價系統(tǒng)的確能提高學生的寫作成績［6-7］。對在線評價系統(tǒng)在寫作課的應(yīng)用方面的研究較少，主要有Attali，Hoon，Waeschauer&Grimes，他們的研究都顯示學生對利用自動評價系統(tǒng)進行修改的次數(shù)較少［8-10］。

相比國外，國內(nèi)對在線自動評價系統(tǒng)的研究剛起步，文秋芳對國外的PEG、IEA和E-rater進行了比較分析后認為PEG重語言形式，IEA重作文內(nèi)容，E-rater既重形式又重內(nèi)容，同時她還探討了國外在線自動評價系統(tǒng)對國內(nèi)教學的啟示［11-12］。王穎綜述了在二語寫作中運用計算機反饋，但并未探討自動評分系統(tǒng)對學生寫作的影響［13］；王淑雯也只是系統(tǒng)介紹了Writing Roadmap 2.0在大學英語教學中的運用，分析了該系統(tǒng)的優(yōu)勢和存在的問題［14］。

綜上所述，我們不難發(fā)現(xiàn)：在實驗中，研究背景、研究對象以及研究方法的不同都會影響實驗的結(jié)論。此外，我們也發(fā)現(xiàn)，目前國內(nèi)外的研究對象大多是本科生，同時上述評分系統(tǒng)都是英文反饋，針對英語基礎(chǔ)薄弱的高職高專的學生并不適用。目前很多國內(nèi)高校開始采用由北京詞網(wǎng)科技有限公司開發(fā)的句酷批改網(wǎng)（www.pigai.org），該系統(tǒng)能從內(nèi)容、結(jié)構(gòu)、詞語、語法等方面對學生作文進行診斷性反饋分析，并通過與語料庫比對給出實時評分，此外學生還可根據(jù)修改建議自主修改，多次提交。鑒于批改網(wǎng)的優(yōu)越性及廣泛使用性，本文試圖在高職高專類非英語專業(yè)學生中研究基于批改網(wǎng)的在線反饋和教師反饋對高職類學生寫作課堂及學習效果的影響差異。

2　研究設(shè)計

2.1研究問題

本研究采用對比方法，比較在線反饋和教師反饋在培養(yǎng)學生寫作能力方面的異同，分析其產(chǎn)生的原因。具體研究以下兩個問題：

（1）在線反饋和教師反饋對提高學生的寫作能力會產(chǎn)生什么樣的影響？為什么會有這些影響？

（2）何種層次的學生（高、中、低水平）受在線反饋的影響更為顯著？原因是什么？

2.2研究對象及過程

受試者是江蘇省某職業(yè)技術(shù)學院15級藥學專業(yè)兩個班的109名學生。該專業(yè)學生在入校時進行過分級考試，分為A級，B級和C級。實驗對象是B級的兩個班的學生。實驗前對兩班學生進行了前測，其中一個班級定為控制班（CC），另一個班是實驗班（EC）?？刂瓢嘤?4名學生（男生10人、女生44人），其中江蘇37人，其余學生分別來自甘肅（6人），內(nèi)蒙古（2人），四川（5人），廣東（1人），安徽（2人）和山西（1人）；實驗班有55名學生（男生17人，女生38人），其中36人來自江蘇，其余包括甘肅9人，內(nèi)蒙古2人，四川4人，廣東1人，安徽2人以及山西1人。

實驗班的學生在開展在線反饋之前，進行了為期3周的培訓，熟悉句酷批改網(wǎng)的使用方法，了解寫作中常見錯誤類型以及相應(yīng)的寫作技巧。之后是持續(xù)12周的訓練過程，每兩周完成一次練習。在兩周中，學生可根據(jù)修改意見反復修改提交。學生提交作文后，教師及時查閱并進行相關(guān)的記錄，每次寫作任務(wù)結(jié)束前教師在課堂統(tǒng)一對學生的作文進行詳細講解，并要求學生再次進行修改。最終，每個作文題學生都要經(jīng)歷寫作——在線反饋——修改（可進行多次）——教師評價——再次修改五個過程。

與實驗班學生相比，控制班學生的培訓過程減少了熟悉句酷批改網(wǎng)的使用方法。從第四周開始，進入到教師反饋階段。學生完成作文后交給教師，教師給學生標出錯誤類型，然后將一稿發(fā)給學生要求根據(jù)反饋意見進行修改，學生修改完畢，教師批閱二稿，標出沒有正確修改的部分，然后將二稿返還給學生，教師統(tǒng)計學生的典型錯誤在班級進行詳細講解后，學生再次修改。所以控制班學生經(jīng)歷寫作——教師反饋——修改——教師反饋——再次修改五個過程。

12周的訓練過程中，學生共完成6篇文章的寫作，實驗結(jié)束后，對學生進行了后測。

2.3研究工具

本研究的使用工具主要包括測試、問卷以及訪談。實驗班和控制班學生前測和后測的成績、以及問卷調(diào)查的數(shù)據(jù)分別運用SPSS19.0軟件進行了分析。

（1）前測和后測。在實驗開始前，筆者所在院校的教師根據(jù)學生的水平選擇了兩個難度相當?shù)淖魑念}。為了保證數(shù)據(jù)的準確性，在實驗之前兩篇作文都在100名學生中進行測試，保證題目的難易程度相當。前測是為了了解實驗班和控制班學生的寫作水平是否一致，而后測是為了驗證經(jīng)過實驗，兩班學生的寫作水平能否提高。兩篇作文的總分都是20分。

（2）問卷調(diào)查。實驗班和控制班的學生在參與本學期的實驗后都填寫了一份問卷。問卷的設(shè)計參考邵名莉［14］以及林靜［1］實驗中問卷的內(nèi)容，并結(jié)合本研究的實際情況修改。問卷由13個李克特五分量表式問題組成，涉及學生的學習動機和自主學習等方面的內(nèi)容。

（3）訪談。在實驗末，研究者根據(jù)后測成績從兩班各抽6名學生參加訪談，分別代表高、中、低水平的學生，要求學生根據(jù)實際情況回答。為了避免被訪談?wù)咧g相互影響，研究者對每名學生進行單獨訪談，整個訪談過程進行了錄音并整理成文字。

3　結(jié)果與討論

3.1在線反饋能提高學生的寫作能力

在前測中，實驗班和控制班的均分分別為9.82和9.83，p值為0.984（見表1），前測成績的分析顯示實驗班和控制班學生的英語水平在實驗前無差異，而在后測中，兩班學生的成績有了明顯的提高，均分分別是14.18和12.74，實驗班成績提高幅度大于控制班，并且兩班成績差異顯著（p=0.005＜0.05）。

表1　實驗班（EC）和控制班（EC）前測、后測成績比對

3.2在線反饋能激發(fā)學生的學習動機

問卷調(diào)查中的1～6項（見表2）涉及本學期在兩班學生中開展不同的寫作教學模式能否激發(fā)學生的英語學習動機。通過比對1～5題的數(shù)據(jù)，我們得出結(jié)論，與教師反饋的課堂模式相比，在線反饋能更大地激發(fā)學生的學習動機（p＜0.05）。在實驗班的課堂中，學生根據(jù)批改網(wǎng)的反饋信息進行在線修改的過程中消除了緊張感，在不斷提交作文的過程中，看到成績的曲線變化有成就感和滿足感，提高了寫作的興趣。問卷調(diào)查中第6題主要了解學生是否能按照批改意見進行修改，數(shù)據(jù)顯示兩班學生平均值較低，無明顯差異（p＞0.05），通過訪談了解到，高職高專學生的寫作能力和寫作信心普遍較低，同時在線反饋有時候提供的信息較籠統(tǒng)，很多無法理解。

表2　實驗班（EC）和控制班（EC）學習動機比對

通過對學生自主學習能力的分析顯示（見表3），實驗班中的學生養(yǎng)成了積極主動探究問題的習慣（題目7），并且能在課后利用網(wǎng)絡(luò)等資源解決寫作過程中碰到的問題（題目12）。然而分析也顯示，批改網(wǎng)對學生自主能力的提高有其局限性，與教師反饋的模式相比，學生的修改仍然停留在表層，如詞匯和語法（題目8、9），而對于句型結(jié)構(gòu)以及篇章修改的能力顯示不足（p值分別是0.177和0.269）。而針對最后一個題目的分析顯示，學生無論對教師反饋或批改網(wǎng)的反饋意見并不能區(qū)分是否正確，因而有些錯誤不能進行修改，這一結(jié)論和上表中題目6的分析結(jié)論是一致的。

表3　實驗班（EC）和控制班（EC）自主學習能力比對

續(xù)表

3.3在線反饋對高、中水平學生的影響較大

為了了解兩種反饋方式對不同層次的學生會產(chǎn)生什么樣的影響，研究者根據(jù)后測成績從兩班各挑選6名學生分別代表高、中、低水平的學生，通過訪談，發(fā)現(xiàn)高、中水平的學生更喜歡在線反饋的寫作模式，這類學生的學習基礎(chǔ)較好，他們認為教師反饋不如在線反饋及時，通過在線提交能立刻知道分數(shù)以及一些修改意見，同時他們的自覺性也較高，愿意反復提交文章，把寫作當成游戲，不斷挑戰(zhàn)，直至達到自己滿意的分數(shù)。而低水平學生只能修改詞匯部分錯誤，并且最初對寫作平臺有新鮮感，因而積極性較高，但隨著任務(wù)的增多，包括看到寫作的成績總是在低分徘徊，學生漸漸失去興趣，每次寫作文都變成了應(yīng)付任務(wù)。所以這類學生往往更喜歡教師反饋的寫作模式，認為教師能當面指出錯誤，包括如何去修改，并且教師的反饋更清晰明了。

4　結(jié)論與啟示

（1）與教師反饋相比，在線反饋能提高學生的寫作能力，學生修改文章的次數(shù)遠遠大于教師反饋的寫作模式。在線反饋給學生提供了一個相對私密的交際空間，避免教師當面指正錯誤所帶來的尷尬，同時它的及時性也是教師反饋所不能比擬的，學生可在短時間內(nèi)多次提交、多次修改，這種便捷友好的交際模式能有助于學生克服寫作帶來的焦慮感，同時也增強了學生的寫作信心。此外，學生利用在線反饋能減少詞匯和語法方面的錯誤，而在句型結(jié)構(gòu)以及語篇等方面的修改與教師反饋差異不大。

（2）在線反饋的顯著性差異主要體現(xiàn)在高、中水平的學生身上。寫作是一項具有挑戰(zhàn)的任務(wù)，作文質(zhì)量的高低不僅取決于學生的基本功，還要求學生有足夠的耐心和責任感。高、中水平的學生語言基礎(chǔ)較好，更愿意完成有挑戰(zhàn)的任務(wù)，他們的學習動機和學習目標更加明確，在不需要教師監(jiān)管的情況下能認真完成任務(wù)。而低水平學生首先缺乏學習的自覺性，在沒有教師批改的情況下，他們更容易懈怠，再加上基礎(chǔ)薄弱，所以寫作的熱情和積極性都較低。

本研究的結(jié)論顯示，在線反饋是一種有效的學習模式，可在高職類學校推廣。但在使用過程中，教師要充分考慮高職學生的特點，不能完全放手，要加強對學生的監(jiān)督和檢查，因而教師可將在線反饋和教師反饋有機地結(jié)合起來，既能減輕教師的負擔，同時也能提高學生的學習效率。此外在寫作教學中應(yīng)對低水平學生進行更多的干預，降低學生的焦慮感，提高學習興趣。但由于本研究的數(shù)據(jù)來源于同一所學校的受試學生，樣本量偏小，同時實驗的周期相對較短，今后可延長實驗周期，擴大實驗范圍，更好地發(fā)揮在線反饋在高職高專教學中的應(yīng)用。

參考文獻：

［1］林靜.同伴評價在高職高專翻譯教學中的效果研究［J］.南京工業(yè)職業(yè)技術(shù)學院學報，2015（1）：46-50.

［2］王淑雯.利用自動評分系統(tǒng)進行在線英語寫作反饋［J］.成人教育，2011（8）：115-116.

［3］Keh，Claudia L.Feedback in the writing process：a model and methods for implementation［J］.English Language Teachers Journal，1990，44（4）：294-304.

［4］Elliot，S&C.Mikulas.The impact of My access！used on student writing performance：A technology overview and four studies［C］//Paper presented at the annual meeting of national council on measurement in education.San Diego，CA.America，April 2004.

［5］Sherimis M.，J.Burstein&L，Bliss.The impact of automated essay scoring on high stakes writing assessment. ［C］//Paper presented at the annual meeting of national council on measurement in education.San Diego. CA.America，April 2004.

［6］Vantage Learning.MY access！efficacy report［EB/OL］. （2010-08-08）［2016-02-06］.http：//www.vantagelearning.com/school/research/myaccess.htmal.

［7］White，L.，N.Hixson，J.D’Brot&J，et al.Impact of writing roadmap 2.0 on WESTNET2 online writing assessment scores［EB/OL］.（2010-09-20）［2015-02-06］. http：//wvde.state.wv.us./oaa/pd/research/Research% 20Brief%20-%20WRM2.0%lmpact%20FINAL% 2001.27.10.pdf（accessed 20/09/2010）.

［8］Attali，Y.Expolring the feedback and revision feature of criterion［C］//Paper presented at the annual meeting of national council on measurement in education.San

Diego，CA.America，April 2004.

［9］Hoon，T.Online automated essay assessment：Potentials for writing development［EB/OL］.（2010-08-09）［2016-02-06］.http：//ausweb.scu.edu.au/aw06/papers/ referred/tan3/paper.html（accessed09/08/2010）.

［10］Waeschauer，M&D Grimes.Automated writing assessment in classroom.An International Journal，2008（3）：22-36.

［11］梁茂成，文秋芳.國外作文自動評分系統(tǒng)評述及啟示［J］.外語電化教育，2007（5）：18-24.

［12］梁茂成.中國學生英語作文自動評分模型的構(gòu)建［M］.北京：外語教學與研究出版社，2010.

［13］王穎.二語寫作中的反饋研究述評［J］.山東大學學報，2007（5）：48-52.

［14］邵名莉.同伴評價在英語專業(yè)寫作教學中的運用研究［J］.外語教學理論與實踐，2009，（2）：47-53.

（責任編輯楊荔晴）

中圖分類號：G642

文獻標志碼：A

文章編號：1671-0142（2016）03-0008-04

作者簡介：林靜（1975-），女，江蘇無錫人，副教授.

基金項目：江蘇省教育廳2015年高等教育教改研究課題（2015JSJG605，課題負責人：李紅梅）；泰州職業(yè)技術(shù)學院2015年度科研項目（TZYKY-15-18，項目主持人：林靜）.

A Study of Online Feedback on Students’Writing Teaching at Higher Vocational Colleges

LIN Jing
（Taizhou Polytechnic College，Taizhou Jiangsu 225300，China）

Abstract:ract:The essay analyzes the effect of writing feedback provided by JUKU.It discusses the similarities and differences between online feedback and teacher feedback.As has been turned out，online feedback teaching mode does not only have positive impact on students’writing teaching at higher vocational colleges，but also helps to motivate students and foster their autonomous learning.The high and intermediate achievers are significantly affected by the implementation of online feedback.

Key words:ds:writing teaching；online feedback；teacher feedback