自動(dòng)評(píng)價(jià)系統(tǒng)與大學(xué)生英語(yǔ)寫作質(zhì)量

冷兆杰，于志濤

(山東理工大學(xué) 外國(guó)語(yǔ)學(xué)院，山東 淄博 255000)

自動(dòng)評(píng)價(jià)系統(tǒng)與大學(xué)生英語(yǔ)寫作質(zhì)量

冷兆杰，于志濤

(山東理工大學(xué) 外國(guó)語(yǔ)學(xué)院，山東 淄博 255000)

自動(dòng)寫作評(píng)分系統(tǒng)是網(wǎng)絡(luò)技術(shù)應(yīng)用于外語(yǔ)寫作教學(xué)一個(gè)典型的表現(xiàn)。借助句酷批改網(wǎng)在大學(xué)生中進(jìn)行在線自動(dòng)寫作實(shí)驗(yàn)，旨在探討句酷批改網(wǎng)的自動(dòng)反饋功能對(duì)大學(xué)生英語(yǔ)寫作質(zhì)量的影響。以非英語(yǔ)專業(yè)的兩個(gè)班為實(shí)驗(yàn)班和對(duì)照班，通過(guò)為期14周的教學(xué)實(shí)驗(yàn)，采用基于句酷自動(dòng)評(píng)價(jià)系統(tǒng)的大學(xué)英語(yǔ)寫作教學(xué)模式和傳統(tǒng)大學(xué)英語(yǔ)寫作教學(xué)模式，分別對(duì)實(shí)驗(yàn)班和對(duì)照班進(jìn)行英語(yǔ)寫作教學(xué)。對(duì)實(shí)驗(yàn)數(shù)據(jù)用SPSS17.0進(jìn)行統(tǒng)計(jì)分析，結(jié)果顯示：實(shí)驗(yàn)班在寫作成績(jī)及主要寫作質(zhì)量指標(biāo)上都顯著高于對(duì)照班；在線自我多次修改可以明顯提高作文成績(jī)，但作文修改次數(shù)與作文最終分?jǐn)?shù)之間相關(guān)性不大。研究結(jié)果表明，句酷自動(dòng)評(píng)價(jià)系統(tǒng)不僅對(duì)提高大學(xué)生英語(yǔ)寫作質(zhì)量產(chǎn)生積極影響，同時(shí)在大學(xué)英語(yǔ)寫作教學(xué)上也發(fā)揮重要的作用。

大學(xué)英語(yǔ)；自動(dòng)評(píng)價(jià)系統(tǒng)；英語(yǔ)寫作質(zhì)量

一、引言

教育信息化日新月異的飛速發(fā)展和普及，使得網(wǎng)絡(luò)技術(shù)對(duì)高等教育的輔助教學(xué)作用日益凸顯。自動(dòng)寫作評(píng)分系統(tǒng)(automated essay scoring，以下簡(jiǎn)稱AES)就是網(wǎng)絡(luò)技術(shù)應(yīng)用于外語(yǔ)寫作教學(xué)的一個(gè)典型表現(xiàn)[1]62-67。國(guó)內(nèi)學(xué)者在逐漸關(guān)注并進(jìn)行作文自動(dòng)評(píng)分系統(tǒng)的研究之后，自主研發(fā)出了寫作評(píng)分平臺(tái)。北京詞網(wǎng)科技有限公司研發(fā)的“句酷批改網(wǎng)”就是其中一例，該平臺(tái)提供在線即時(shí)反饋、同伴互評(píng)、教師手動(dòng)評(píng)分和過(guò)程監(jiān)管等功能，目前已經(jīng)在國(guó)內(nèi)多所高校推廣使用。但關(guān)于該平臺(tái)對(duì)大學(xué)生寫作質(zhì)量的實(shí)證研究并不多見(jiàn)。為此，本研究借助句酷批改網(wǎng)，在大學(xué)生中進(jìn)行在線自動(dòng)英語(yǔ)寫作實(shí)驗(yàn)，旨在探討句酷批改網(wǎng)的自動(dòng)反饋功能對(duì)大學(xué)生英語(yǔ)寫作質(zhì)量的影響。

二、文獻(xiàn)綜述

(一)自動(dòng)寫作評(píng)價(jià)系統(tǒng)(AES)

AES是依據(jù)有效、公正和可靠的原則，利用計(jì)算機(jī)專業(yè)化的程序?qū)ψ魑奈谋咎卣鬟M(jìn)行評(píng)估與打分。AES的研發(fā)是機(jī)輔語(yǔ)言測(cè)試走向智能化的具體體現(xiàn)[2]23-40。目前國(guó)外最著名的AES系統(tǒng)包括IEA(Intelligent Essay Assessor)、E-rater(Electronic Essay Rater)和PEG(Project Essay Grader)[3]25-39。IEA是基于一種潛在語(yǔ)義分析軟件的運(yùn)用，對(duì)文本的文體特征和語(yǔ)法進(jìn)行評(píng)估，也可對(duì)其用詞、組織結(jié)構(gòu)、思想內(nèi)容等進(jìn)行診斷性和評(píng)估性評(píng)價(jià)與反饋，更多關(guān)注文章內(nèi)容的質(zhì)量特征，并能發(fā)現(xiàn)抄襲現(xiàn)象[4]87-112。E-rater采用基于微軟自然語(yǔ)言處理的工具包和語(yǔ)料庫(kù)的建模方法，從作文的句法多樣性、思想的組織和詞匯的豐富性等方面分析文章的語(yǔ)言學(xué)特征，然后對(duì)照人工評(píng)分的標(biāo)準(zhǔn)對(duì)作文進(jìn)行評(píng)分。但是該系統(tǒng)最大的問(wèn)題是不能判別內(nèi)容跑題但沒(méi)有語(yǔ)法錯(cuò)誤的作文[5]3-29。PEG使用代理量度標(biāo)準(zhǔn)(proxy measures)來(lái)衡量作文的內(nèi)在質(zhì)量，更多關(guān)注作文的表層結(jié)構(gòu)，完全依靠對(duì)文章的淺層語(yǔ)言學(xué)特征的分析對(duì)作文進(jìn)行評(píng)分，根本沒(méi)有涉及文章內(nèi)容[6]319-330。其目的是使大規(guī)模作文評(píng)分過(guò)程更實(shí)際有效[7]37。但內(nèi)在質(zhì)量，如寫作的流暢性、句子結(jié)構(gòu)的復(fù)雜度、文章的措辭等難以用計(jì)算機(jī)直接測(cè)量。該系統(tǒng)不足之處就是寫作者會(huì)利用對(duì)寫作技巧的間接測(cè)量欺騙計(jì)算機(jī)，如寫出文理不通的長(zhǎng)句以獲取句法結(jié)構(gòu)復(fù)雜的高分[8]27-31。PEG雖重視語(yǔ)言質(zhì)量，卻對(duì)文章內(nèi)容有所忽略；IEA重視寫作內(nèi)容，但對(duì)文體的篇章結(jié)構(gòu)和語(yǔ)言分析不足；E-rater則能較好地兼顧語(yǔ)言、內(nèi)容及篇章結(jié)構(gòu)[9]18-24。但這些評(píng)分系統(tǒng)主要使用于英語(yǔ)本族語(yǔ)者，對(duì)中國(guó)英語(yǔ)學(xué)習(xí)者的英語(yǔ)寫作不太適用。

近年來(lái)，國(guó)內(nèi)有部分學(xué)者在積極探索研發(fā)適合中國(guó)學(xué)生的寫作自動(dòng)評(píng)價(jià)系統(tǒng)，梁茂成的大規(guī)?？荚囉⒄Z(yǔ)作文自動(dòng)評(píng)分系統(tǒng)就是其中主要的研制案例。該系統(tǒng)基于大量人工評(píng)分的中國(guó)學(xué)生作文語(yǔ)料庫(kù)建立評(píng)分模型，兼取PEG和IEA之長(zhǎng)，對(duì)作文從語(yǔ)言、內(nèi)容和架構(gòu)三個(gè)方面進(jìn)行評(píng)價(jià)，取得了較高的評(píng)分準(zhǔn)確率[10]82。除此之外，還有一些有待商榷的在線英語(yǔ)自動(dòng)評(píng)分系統(tǒng)，目前運(yùn)用較多的有博客、“易得”及當(dāng)前在國(guó)內(nèi)多所高校推廣使用的句酷批改網(wǎng)。部分學(xué)者對(duì)此類軟件的教學(xué)效果進(jìn)行了有益的探索和實(shí)驗(yàn)研究。楊永林介紹了清華大學(xué)外語(yǔ)系研發(fā)的“易得”寫作軟件的理論背景、應(yīng)用功能、技術(shù)探索和系統(tǒng)設(shè)計(jì)過(guò)程[11]3-9。葛詩(shī)利和陳瀟瀟針對(duì)大學(xué)英語(yǔ)作文自動(dòng)評(píng)分研究中存在的問(wèn)題提出了如何使自動(dòng)評(píng)分高效而準(zhǔn)確的對(duì)策[12]21-26。石曉玲以句酷批改網(wǎng)為實(shí)驗(yàn)工具，對(duì)在線自動(dòng)評(píng)改系統(tǒng)在英語(yǔ)寫作教學(xué)中的應(yīng)用模式進(jìn)行了積極探討[13]67-71。吳一安等著重分析了融入自動(dòng)評(píng)價(jià)系統(tǒng)的英語(yǔ)寫作實(shí)驗(yàn)教學(xué)對(duì)高校英語(yǔ)教師的影響[14]3-10。由于句酷批改網(wǎng)2012年初才開(kāi)始投入使用，目前對(duì)這種全新的智能評(píng)改系統(tǒng)在大學(xué)英語(yǔ)寫作課堂教學(xué)中的應(yīng)用和效果的調(diào)查研究屈指可數(shù)。

(二)句酷評(píng)價(jià)系統(tǒng)簡(jiǎn)介

本研究所涉及的句酷批改網(wǎng)是北京詞網(wǎng)科技有限公司研發(fā)的一套基于語(yǔ)料庫(kù)和云計(jì)算的英語(yǔ)寫作自動(dòng)批改在線服務(wù)系統(tǒng)，目的在于減輕教師的作文批改工作量，幫助教師更加直觀地了解學(xué)生的寫作進(jìn)程及英文寫作水平，同時(shí)也能激勵(lì)和指導(dǎo)學(xué)生積極修改作文，培養(yǎng)自主學(xué)習(xí)能力，提高其英語(yǔ)寫作水平。該系統(tǒng)具有使用便捷、即刻反饋、按句點(diǎn)評(píng)、弱點(diǎn)分析、抄襲檢測(cè)等功能，越來(lái)越受到高校教師的認(rèn)可。教師在線布置，學(xué)生在線寫作，根據(jù)要求完成后立即提交，學(xué)生只需等待幾秒鐘，就能得到系統(tǒng)給出的成績(jī)、按句點(diǎn)評(píng)和綜合評(píng)語(yǔ)等反饋信息。系統(tǒng)在指出作文每一句中存在的拼寫、語(yǔ)法、詞匯、搭配等錯(cuò)誤的同時(shí)，逐一給出修改建議，學(xué)生如能根據(jù)反饋修改后再次提交，會(huì)得到比先前更高的分?jǐn)?shù)和評(píng)價(jià)。另外，還為學(xué)生提供了包括詞匯拼寫、句法檢查、同義詞提示、搭配推薦、標(biāo)點(diǎn)警示、參考例句等一系列的提示和建議，為學(xué)生提供全面的寫作指導(dǎo)，便于學(xué)生有效創(chuàng)作，自主修改。系統(tǒng)還為老師提供了學(xué)生成長(zhǎng)軌跡記錄報(bào)告，把學(xué)生的整個(gè)寫作過(guò)程、寫作時(shí)間、在線學(xué)習(xí)的痕跡、修改軌跡和提交的次數(shù)等數(shù)據(jù)記錄下來(lái)。通過(guò)統(tǒng)計(jì)、分析、歸納這些數(shù)據(jù)，教師可以更好地了解學(xué)生英語(yǔ)寫作的狀況，發(fā)現(xiàn)學(xué)生寫作練習(xí)時(shí)常遇到的共性問(wèn)題以及相關(guān)缺點(diǎn)，并可據(jù)此科學(xué)地調(diào)整教學(xué)方案，對(duì)學(xué)生作文進(jìn)行客觀且有針對(duì)性的輔導(dǎo)。

三、研究設(shè)計(jì)

(一)研究問(wèn)題

本研究擬解決以下問(wèn)題：

第一，自動(dòng)評(píng)價(jià)系統(tǒng)(句酷批改網(wǎng))是否會(huì)明顯提高寫作成績(jī)？

第二，自動(dòng)評(píng)價(jià)系統(tǒng)對(duì)作文字?jǐn)?shù)、詞匯、語(yǔ)法、篇章結(jié)構(gòu)等寫作質(zhì)量指標(biāo)是否有影響?

第三，根據(jù)句酷反饋進(jìn)行的自主修改對(duì)作文平均成績(jī)是否有影響？

第四，作文自主修改的次數(shù)與最終成績(jī)之間有何關(guān)系？

(二)研究對(duì)象

本研究選取的對(duì)象為山東理工大學(xué)2015級(jí)非英語(yǔ)專業(yè)兩個(gè)教學(xué)自然班，共120名學(xué)生，這兩個(gè)班被隨機(jī)定為實(shí)驗(yàn)班和對(duì)照班，每班60人，其中男生73人，女生47人。在實(shí)驗(yàn)周期，兩個(gè)班的教學(xué)進(jìn)度、課堂內(nèi)容和授課方法保持一致。

(三)研究工具

本研究采用的工具為學(xué)生的作文成績(jī)，包括兩個(gè)班實(shí)驗(yàn)前測(cè)、后測(cè)的寫作成績(jī)。前測(cè)和后測(cè)所用的作文試題均采用英語(yǔ)四、六級(jí)考試中常用的議論文體裁，字?jǐn)?shù)要求不少于200詞，寫作時(shí)間為50分鐘，滿分為100分。

考慮到人工閱卷工作量大、效率低等客觀因素以及不可避免的人為主觀因素，可能會(huì)導(dǎo)致評(píng)卷結(jié)果的不合理，影響實(shí)驗(yàn)的效度和信度。因此，本研究?jī)蓚€(gè)班前測(cè)和后測(cè)的作文使用了句酷批改網(wǎng)進(jìn)行在線評(píng)閱。教師利用該系統(tǒng)的教師管理系統(tǒng)關(guān)閉相關(guān)的寫作輔助功能，要求學(xué)生現(xiàn)場(chǎng)定時(shí)寫作，然后原樣錄入計(jì)算機(jī)，提交句酷批改網(wǎng)進(jìn)行評(píng)分。

(四)研究過(guò)程

本研究的實(shí)驗(yàn)周期為期14周，學(xué)生先后完成7篇寫作任務(wù)，每一篇作文的修改時(shí)間均控制在二周。為確保實(shí)驗(yàn)相對(duì)真實(shí)有效，兩個(gè)班寫作練習(xí)的題目及寫作時(shí)間安排是相同的?？紤]到學(xué)生的專業(yè)差異，所選寫作話題都屬通識(shí)性內(nèi)容，適合不同水平的寫作學(xué)習(xí)者。

實(shí)驗(yàn)班利用句酷批改網(wǎng)在線寫作平臺(tái)進(jìn)行英語(yǔ)寫作，教師不對(duì)寫作任務(wù)進(jìn)行其他任何講解和評(píng)價(jià)。在實(shí)驗(yàn)周期，研究者經(jīng)常提醒學(xué)生按時(shí)提交作文及修改作文，學(xué)生根據(jù)系統(tǒng)的反饋功能進(jìn)行自主多稿修改，多次提交，直到最終的分?jǐn)?shù)滿意為止。

對(duì)照班進(jìn)行的是教師書面評(píng)語(yǔ)反饋為主的傳統(tǒng)寫作教學(xué)模式。在學(xué)生第一稿完成后，教師便從組織結(jié)構(gòu)、思想內(nèi)容、詞匯運(yùn)用、拼寫及語(yǔ)法等方面，對(duì)學(xué)生的作文進(jìn)行全面批改。批改后發(fā)回給學(xué)生，要求學(xué)生按照教師的書面點(diǎn)評(píng)重新修改，但是由于人工批改耗時(shí)、工作量大，對(duì)修改后的作文教師將很難重新批閱。

(五)數(shù)據(jù)收集

筆者分別提取了兩個(gè)班實(shí)驗(yàn)前后兩次寫作的測(cè)試成績(jī)，以及實(shí)驗(yàn)班第七次作文的提交次數(shù)、作文分?jǐn)?shù)、作文字?jǐn)?shù)、詞匯豐富度、平均句長(zhǎng)、從句總數(shù)、篇章連次數(shù)等信息，采取Word和Excel等軟件進(jìn)行存儲(chǔ)整理，并使用SPSS17.0對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析，運(yùn)用獨(dú)立樣本T檢驗(yàn)兩個(gè)班作文成績(jī)是否存在顯著差異，運(yùn)用配對(duì)樣本T檢驗(yàn)分析自動(dòng)作文修改對(duì)作文平均成績(jī)的影響，運(yùn)用皮爾遜相關(guān)性(Pearson Correlation)分析檢驗(yàn)作文修改的次數(shù)與最終成績(jī)的關(guān)系。

四、研究結(jié)果與分析

(一)自動(dòng)評(píng)價(jià)系統(tǒng)對(duì)寫作成績(jī)的影響

1.實(shí)驗(yàn)班、對(duì)照班前測(cè)作文成績(jī)對(duì)比分析

如表1所示，就前測(cè)成績(jī)而言，實(shí)驗(yàn)班和對(duì)照班在相同分?jǐn)?shù)段上人數(shù)非常接近，說(shuō)明在相同分?jǐn)?shù)段上，兩個(gè)班的成績(jī)差距不大。實(shí)驗(yàn)班前測(cè)作文分?jǐn)?shù)的均值為69.28，對(duì)照班的均值為69.52，分差為0.24，差距甚微。獨(dú)立樣本T檢驗(yàn)可以看出前測(cè)雙尾T檢驗(yàn)的顯著性概率為P=0.714，大于0.05的顯著水平。說(shuō)明前測(cè)對(duì)照班和實(shí)驗(yàn)班無(wú)顯著性差異，可以認(rèn)為這兩個(gè)班英語(yǔ)水平相當(dāng)，符合實(shí)驗(yàn)條件。

表1 實(shí)驗(yàn)班對(duì)照班前測(cè)作文成績(jī)對(duì)比分析(單位：篇)

2.實(shí)驗(yàn)班、對(duì)照班后測(cè)作文成績(jī)對(duì)比分析

表2顯示，在實(shí)驗(yàn)后測(cè)，實(shí)驗(yàn)班所有作文均達(dá)到了70分或者70分以上，其中70—79.5分?jǐn)?shù)段作文降至29篇(前測(cè)37篇);80—89.5分?jǐn)?shù)段增至26篇(前測(cè)13篇)，占樣本總數(shù)的43.33%;90—100高分段升至5篇(前測(cè)1篇)，占樣本總數(shù)的8.33%。對(duì)照班60—69.5分作文2篇;70—79.5分?jǐn)?shù)段作文35篇；80—89.5分?jǐn)?shù)段21篇，占樣本總數(shù)的35%;90—100高分段僅2篇，占樣本總數(shù)的3.33%。實(shí)驗(yàn)班作文分?jǐn)?shù)的均值為76.41，而對(duì)照班的為73.26，兩個(gè)班的平均分已經(jīng)有了3.15分的差距。從兩個(gè)班的獨(dú)立樣本T檢驗(yàn)看出，后測(cè)顯著性概率為P=0.000，遠(yuǎn)小于0.05，說(shuō)明后測(cè)兩個(gè)班成績(jī)差異顯著，具有統(tǒng)計(jì)學(xué)的意義。由此可見(jiàn)，句酷評(píng)價(jià)系統(tǒng)會(huì)明顯提高寫作成績(jī)。

表2 實(shí)驗(yàn)班對(duì)照班后測(cè)作文成績(jī)對(duì)比分析(單位：篇)

(二)自動(dòng)評(píng)價(jià)系統(tǒng)對(duì)寫作質(zhì)量指標(biāo)的影響

英語(yǔ)作文的寫作質(zhì)量應(yīng)依據(jù)文本的字?jǐn)?shù)、詞匯豐富度、語(yǔ)法正確率、句子長(zhǎng)度、從句密度及篇章連次數(shù)等多個(gè)質(zhì)量指標(biāo)進(jìn)行綜合考評(píng)。為了進(jìn)一步了解實(shí)驗(yàn)班和對(duì)照班在寫作質(zhì)量提高上的差異，在兩個(gè)班的后測(cè)作文中每個(gè)班隨機(jī)抽出30篇作文作為樣本進(jìn)行了獨(dú)立樣本T檢驗(yàn)(見(jiàn)表3)。

表3 兩個(gè)班后測(cè)作文質(zhì)量指標(biāo)描述性統(tǒng)計(jì)*批改網(wǎng)評(píng)分引擎共有192個(gè)評(píng)分指標(biāo)，本研究中只選取部分指標(biāo)進(jìn)行分析。為使指標(biāo)測(cè)量數(shù)據(jù)直觀且可比，已將指標(biāo)測(cè)量數(shù)據(jù)轉(zhuǎn)化為對(duì)應(yīng)百分制分?jǐn)?shù)。特別聲明，在特定評(píng)分標(biāo)準(zhǔn)中各指標(biāo)權(quán)重不同，故總分為各指標(biāo)得分加權(quán)平均結(jié)果，而非直接求和結(jié)果。

由表3看出，實(shí)驗(yàn)后，除了平均句長(zhǎng)這一指標(biāo)，實(shí)驗(yàn)班其他質(zhì)量指標(biāo)的均值都比對(duì)照班的要高，尤其在詞匯豐富度、語(yǔ)法正確率和從句密度這三個(gè)指標(biāo)上的提高最為明顯。

王初明等認(rèn)為寫長(zhǎng)作文有助于提高學(xué)生的英語(yǔ)水平[15]207-212。另外，《大學(xué)英語(yǔ)教學(xué)要求》對(duì)寫作能力所規(guī)定的一般、較高和更高的等次要求也反映在字?jǐn)?shù)上，依次為半小時(shí)寫出120詞、160詞和200詞的英語(yǔ)短文。這說(shuō)明作文字?jǐn)?shù)是衡量寫作能力的一個(gè)主要指標(biāo)。本研究在作文字?jǐn)?shù)這一指標(biāo)上，實(shí)驗(yàn)班為87.35分，對(duì)照班為83.12分。獨(dú)立樣本T檢驗(yàn)數(shù)據(jù)顯示，實(shí)驗(yàn)班作文的長(zhǎng)度比對(duì)照班有了顯著增加(P=0.003)。

詞匯豐富度主要用來(lái)衡量學(xué)生作文中使用不同單詞的比重有多高，這一數(shù)值越大說(shuō)明學(xué)生使用詞匯的范圍越寬。詞匯豐富度能夠較全面反映語(yǔ)言學(xué)習(xí)者的詞匯使用情況。表3的數(shù)據(jù)顯示，在詞匯豐富度方面，實(shí)驗(yàn)班的均值比對(duì)照班高出了6.87分。獨(dú)立樣本T檢驗(yàn)可以看出后測(cè)詞匯豐富度顯著性概率為P=0.000，小于0.05，兩個(gè)班差異顯著，說(shuō)明實(shí)驗(yàn)班詞匯豐富度有顯著提高，學(xué)生對(duì)學(xué)術(shù)詞匯及高級(jí)詞匯的使用比率增大，更注重詞匯選擇的多樣性。因?yàn)樵诿看翁峤蛔魑暮缶淇崤木W(wǎng)都會(huì)給出低頻詞匯和高頻詞匯提示，并提供一些高分詞匯及習(xí)慣搭配供學(xué)生借鑒。

句子語(yǔ)法正確率也是衡量寫作質(zhì)量的重要指標(biāo)。實(shí)驗(yàn)班在該指標(biāo)上比對(duì)照班高出了7.44分，有較明顯增長(zhǎng)。獨(dú)立樣本T檢驗(yàn)數(shù)據(jù)顯示，顯著性概率為P=0.000，小于0.05，差異顯著，具有統(tǒng)計(jì)學(xué)的意義。究其原因，句酷系統(tǒng)最大的優(yōu)點(diǎn)就是能夠自動(dòng)識(shí)別學(xué)生作文中常見(jiàn)的語(yǔ)言錯(cuò)誤，給出及時(shí)的反饋及修改提示，學(xué)生按照系統(tǒng)反饋進(jìn)行修改極大地提高了句子語(yǔ)法的準(zhǔn)確度。與批改網(wǎng)的及時(shí)反饋相比，現(xiàn)實(shí)中學(xué)生從老師那里得到對(duì)英語(yǔ)作文的反饋相對(duì)遲滯，學(xué)生上交的英文作文往往要在半月之后才有批復(fù)，收到反饋時(shí)很多學(xué)生甚至都忘記了當(dāng)時(shí)的寫作內(nèi)容。

雖然長(zhǎng)難句的使用能夠考查學(xué)生的語(yǔ)法功底，而且平均句長(zhǎng)也屬于寫作的一個(gè)質(zhì)量指標(biāo)，但是并不意味著所寫的長(zhǎng)難句越多，作文分?jǐn)?shù)就一定越高。也就是說(shuō)，作文的質(zhì)量并不是句子越長(zhǎng)分?jǐn)?shù)越高，關(guān)鍵是看句子的應(yīng)用是否準(zhǔn)確和句式的多樣化。從表3的數(shù)據(jù)來(lái)看，實(shí)驗(yàn)班平均句長(zhǎng)的均值比對(duì)照班低了2.04分，且兩個(gè)班作文平均句長(zhǎng)的差異未達(dá)到統(tǒng)計(jì)學(xué)上的顯著水平(P=0.397>0.05)，可見(jiàn)兩個(gè)班的平均句長(zhǎng)沒(méi)有顯著的差別。

從句密度是考核寫作質(zhì)量的另一個(gè)重要指標(biāo)。數(shù)據(jù)顯示在這一指標(biāo)上，實(shí)驗(yàn)班的均值為85.24分，對(duì)照班為77.86分，均差7.38分。研究者發(fā)現(xiàn)，實(shí)驗(yàn)后實(shí)驗(yàn)班從句總數(shù)相比對(duì)照班得到顯著增加，學(xué)生在接受句酷自動(dòng)反饋后簡(jiǎn)單句使用量明顯減少，從句的平均使用量均有大幅提高，作文中句式更加豐富，且兩個(gè)班的差異達(dá)到顯著性水平(P=0.001<0.05)，表明句酷評(píng)價(jià)在一定程度上有助于提高學(xué)生使用不同類型從句的能力。

句子的銜接緊密、段落關(guān)系的明晰連貫，往往決定一篇文章的質(zhì)量。連接詞作為銜接和連貫的手段之一，也是作為衡量一篇文章好壞的又一個(gè)關(guān)鍵性指標(biāo)。盡管本研究中兩個(gè)班篇章連詞數(shù)的變化不大，但差異也達(dá)到了統(tǒng)計(jì)意義上的顯著水平(P=0.049)。

綜上所述，實(shí)驗(yàn)班后測(cè)的作文質(zhì)量在字?jǐn)?shù)、詞匯豐富度、語(yǔ)法正確率、從句密度以及篇章連詞數(shù)等關(guān)鍵指標(biāo)上均有顯著提高，但在非關(guān)鍵指標(biāo)平均句長(zhǎng)上沒(méi)有顯著差異。

(三)自主作文修改對(duì)作文平均成績(jī)的影響

在沒(méi)有教師批改和反饋的情況下，學(xué)生的平均作文分?jǐn)?shù)在自我多次修改后是否會(huì)得到顯著提高呢？筆者將實(shí)驗(yàn)班第七次網(wǎng)上寫作任務(wù)作為研究樣本，通過(guò)對(duì)提交的60篇作文的初始成績(jī)與最終成績(jī)進(jìn)行配對(duì)樣本T檢驗(yàn)，得到表4的結(jié)果。

表4 初始成績(jī)與最終成績(jī)的配對(duì)樣本T檢驗(yàn)

表4顯示，本次寫作任務(wù)平均初次成績(jī)?yōu)?2.36分，平均最終成績(jī)?yōu)?0.12分，均差7.76分，雙尾t檢驗(yàn)的顯著性概率為P=0.000，說(shuō)明學(xué)生的作文平均分?jǐn)?shù)在自我多次修改后得到顯著提高。

圖1 修改次數(shù)分布情況

圖1數(shù)據(jù)表明，參與此次寫作活動(dòng)的學(xué)生作文平均修改次數(shù)為4.16，即在老師看到其最終版本之前，學(xué)生已經(jīng)自主修改了4.16次。修改2次及以上的篇數(shù)為53篇，占比88.33%；5%的學(xué)生修改文章超過(guò)40次以上，說(shuō)明有越來(lái)越多的學(xué)生愿意根據(jù)系統(tǒng)提供的反饋來(lái)修改作文。

(四)作文自主修改的次數(shù)與最終成績(jī)的關(guān)系

那么作文成績(jī)的末首次分差與自我修改次數(shù)是不是有相關(guān)性？換句話說(shuō)，學(xué)生根據(jù)系統(tǒng)的反饋?zhàn)灾餍薷淖魑氖遣皇谴螖?shù)越多成績(jī)?cè)礁吣?？?duì)此，我們通過(guò)分析實(shí)驗(yàn)班第七次作文的末首次分差與自主修改次數(shù)的皮爾遜關(guān)聯(lián)系數(shù)，來(lái)加以說(shuō)明。

由研究數(shù)據(jù)可知，60篇作文的末首次分差與自主修改次數(shù)的關(guān)聯(lián)系數(shù)只有0.216，相關(guān)性不強(qiáng)，且顯著性水平達(dá)到0.763，已遠(yuǎn)遠(yuǎn)大于0.05。由此可見(jiàn)，作文成績(jī)的能否提高與學(xué)生自主修改的次數(shù)相關(guān)性不大。研究者發(fā)現(xiàn)導(dǎo)致這種情況的主要原因在于：第一，有些受試抱著“闖關(guān)游戲”的心理，受功利性目的驅(qū)使，有效修改的幅度很小，大多只會(huì)修改單詞拼寫、措辭和簡(jiǎn)單語(yǔ)法等淺層面就提交，看與前次作文分?jǐn)?shù)的差別。鐘彩順認(rèn)為低層次語(yǔ)言層面的自主修改，對(duì)作文質(zhì)量的影響有限[16]81-88。其次，修改次數(shù)的增加，導(dǎo)致作文已經(jīng)達(dá)到受試英語(yǔ)寫作水平的上限，即使再多的修改對(duì)作文成績(jī)的提高影響不大。

五、結(jié)論

本研究發(fā)現(xiàn)，相比教師書面反饋為主的英語(yǔ)寫作教學(xué)，句酷自動(dòng)評(píng)閱系統(tǒng)支持下的英語(yǔ)寫作教學(xué)對(duì)更好地提高大學(xué)生英語(yǔ)寫作成績(jī)和寫作質(zhì)量，都有積極的作用和影響，尤其是對(duì)作文長(zhǎng)度、詞匯豐富度、語(yǔ)法正確率和從句密度的影響尤為顯著，但是對(duì)句子長(zhǎng)度的影響并不顯著。本研究還發(fā)現(xiàn)，在句酷自動(dòng)評(píng)閱環(huán)境中，在自我多次修改后學(xué)生的平均作文分?jǐn)?shù)會(huì)得到顯著提高，但是自我修改的次數(shù)與作文最終成績(jī)的提高相關(guān)性不大，相比于修改次數(shù)，修改質(zhì)量更為重要。

綜上所述，句酷自動(dòng)評(píng)閱系統(tǒng)以現(xiàn)代信息技術(shù)，特別是網(wǎng)絡(luò)技術(shù)為支撐，使英語(yǔ)的教與學(xué)不受時(shí)間地點(diǎn)的限制，朝著個(gè)性化和自主式學(xué)習(xí)的方向發(fā)展。隨著網(wǎng)絡(luò)技術(shù)的快速發(fā)展和推廣，自動(dòng)作文評(píng)閱系統(tǒng)定將被廣泛地應(yīng)用到英語(yǔ)寫作教學(xué)中去，它不僅很大程度上減輕了教師的教學(xué)負(fù)擔(dān)，而且能給學(xué)生提供個(gè)性化的寫作指導(dǎo)和反饋，進(jìn)而更加有利于培養(yǎng)學(xué)生自主學(xué)習(xí)的興趣與能力，從本質(zhì)上激發(fā)出其學(xué)習(xí)潛能，實(shí)現(xiàn)大學(xué)生英語(yǔ)寫作水平提高的終極目標(biāo)，因此句酷自動(dòng)評(píng)閱系統(tǒng)能夠在大學(xué)英語(yǔ)寫作教學(xué)中發(fā)揮重要的作用。

[1]翁克山，李青.ACMC環(huán)境下英語(yǔ)寫作同儕互評(píng)質(zhì)量與效能研究[J]．解放軍外國(guó)語(yǔ)學(xué)院學(xué)報(bào)，2013，36(4)．

[2]Chung,G.K.& Baker,E.L.Issues in the Reliability and Validity of Automated Scoring of Constructed Responses[M]// Shermis,M.D.& Burstein,J.(eds.).Automated Essay Scoring:A Cross-Disciplinary Perspective.Mahwah,NJ:Lawrence Erlbaum Associates, 2003．

[3]Ramineni,C.& Williamson,D.M.Automated Essay Scoring:Psychometric Guidelines and Practices[J].Assessing Writing,2013,18(1).

[4]Landauer,T.K.,Laham,D.& Foltz,P.W.Automated Essay Scoring and Annotation of Essays with the Intelligent Essay Assessor[M]//Shermis,M.D & Burstein,J.(eds.).Automated Essay Scoring: A Cross-Disciplinary Perspective. Mahwah,NJ: Lawrence Erlbaum Associates, 2003.

[5]Attali,Y.& Burstein,J.Automated Essay Scoring with E-Rater V.2[J].Journal of Technology,Learning,and Assessment,2006,4(3).

[6]Valenti,S.,Neri,F.& Cucchiarelli,A.An Overview of Current Research on Automated Essay Grading[J].Journal of Information Technology Education,2003,24(2).

[7]Page,E.B.Project Essay Grade:PEG[M]// Shermis,M.D.& Burstein,J.(eds.).Automated Essay Scoring:A Cross-Disciplinary Perspective.Mahwah,NJ:Lawrence Erlbaum Associates,2003．

[8]Kukich,K.Beyond Automated Essay Scoring[J].IEEE Intelligent Systems,2000,15(5).

[9]梁茂成,文秋芳.國(guó)外作文自動(dòng)評(píng)分系統(tǒng)評(píng)述及啟示[J].外語(yǔ)電化教學(xué)，2007，(5)．

[10]梁茂成.大規(guī)?？荚囉⒄Z(yǔ)作文自動(dòng)評(píng)分系統(tǒng)的研制[M].北京:高等教育出版社，2011．

[11]楊永林.宏大敘事與技術(shù)精巧——再論“易得”文章利器的妙用[J].外語(yǔ)電化教學(xué)，2006，(1)．

[12]葛詩(shī)利，陳瀟瀟.大學(xué)英語(yǔ)作文自動(dòng)評(píng)分研究中的問(wèn)題及對(duì)策[J].山東外語(yǔ)教學(xué)，2009，30(3)．

[13]石曉玲.在線寫作自動(dòng)評(píng)改系統(tǒng)在大學(xué)英語(yǔ)寫作教學(xué)中的應(yīng)用研究——以句酷批改網(wǎng)為例[J].現(xiàn)代教育技術(shù)，2012，22(10)．

[14]吳一安，唐錦蘭.融入自動(dòng)評(píng)價(jià)系統(tǒng)的英語(yǔ)寫作實(shí)驗(yàn)教學(xué)對(duì)高校英語(yǔ)教師的影響研究[J].外語(yǔ)電化教學(xué)，2012，(4)．

[15]王初明，牛瑞英，鄭小湘.以寫促學(xué)——一項(xiàng)英語(yǔ)寫作教學(xué)改革的試驗(yàn)[J].外語(yǔ)教學(xué)與研究，2000，32(3)．

[16]鐘彩順.基于在線自動(dòng)反饋的自主寫作修改研究[J].解放軍外國(guó)語(yǔ)學(xué)院學(xué)報(bào)，2015，38(4).

(責(zé)任編輯 李逢超)

2017-04-01

山東省社科基金項(xiàng)目“應(yīng)用型人才培養(yǎng)背景下大學(xué)英語(yǔ)多元化教學(xué)改革的研究與實(shí)踐”(15CWZJ17)；山東省教育科學(xué)廳級(jí)項(xiàng)目“元話語(yǔ)理論在大學(xué)英語(yǔ)口語(yǔ)教學(xué)中的應(yīng)用研究”(YBW15008)。

冷兆杰，女，山東萊陽(yáng)人，山東理工大學(xué)外國(guó)語(yǔ)學(xué)院副教授，英語(yǔ)語(yǔ)言文學(xué)碩士；于志濤，男，山東高青人，山東理工大學(xué)外國(guó)語(yǔ)學(xué)院副教授，教育學(xué)碩士。

H319

A

1672-0040(2017)04-0107-06