“批改網(wǎng)”對不同水平非英語專業(yè)學生英語寫作水平的影響

張 敏

（西華師范大學 公共外語學院，四川 南充637009）

英語寫作是衡量學生英語綜合水平和應用能力的重要指標。但是，長期以來，傳統(tǒng)的大學英語寫作教學收效甚微，教學效果差強人意。在全國大學英語四、六級考試中，聽和讀的成績近年來都有比較明顯的提高，但是，寫作成績卻少有改善[1]。一方面，由于近年來各高校紛紛擴招，大學英語教學通常是大班教學，學生人數(shù)眾多，教師教學任務繁重，因此，很難做到仔細評閱作文。很多時候，教師的作文評閱只是流于形式：許多教師評閱時只是給個分數(shù)或等級，缺少持續(xù)性評價；由于學生英語水平參差不齊，寫作水平相差較大，教師難以從語法、句法、篇章結(jié)構(gòu)、內(nèi)容等方面進行細致的點評；此外，教師評價多是指出作文的不足之處，很少給予學生鼓勵性的評價語，甚至部分教師不能及時給予反饋。另一方面，大學生對英語寫作普遍缺乏熱情，認為“費時低效”，因此常常是被動接受寫作任務，敷衍了事，消極怠工，最終阻礙其英語寫作水平的切實提高[2]。為了緩解教師的作文批閱壓力，同時培養(yǎng)大學生的自主學習能力，許多高校在大學英語寫作教學中紛紛使用各種在線寫作系統(tǒng)。這樣的在線寫作系統(tǒng)對于提高不同水平的非英語專業(yè)學生的寫作水平究竟有多大幫助是廣大教育工作者和英語學習者關注的話題。因此，探究自動寫作評分系統(tǒng)對不同水平非英語專業(yè)學生寫作水平的影響就顯得非常必要。

一、自動寫作評分系統(tǒng)簡介

自動寫作評分（Automated Essay Scoring）系統(tǒng)的研發(fā)是機輔語言測試走向智能化的體現(xiàn)。該系統(tǒng)利用專業(yè)化的計算機程序，依據(jù)有效性、公正性和可靠性對教學中的作文文本特征進行評估與記分[3]。該系統(tǒng)的研發(fā)始于20世紀60年代的美國，到90年代進入實際應用階段。目前國外較著名的AES系統(tǒng)有Project Essay Grade(PEG)、Intelligent Essay Assessor(IEA)、Electronic Essay Rater(E-rater)、IntellMetric、Bayesian Essay Test Scoring System(BETSY)等[4]。PEG基于對一篇文章語言特征的分析來評估作文的水平，但不涉及作文內(nèi)容[5]。后來的評分系統(tǒng)如E-rater和IntellMetric使用統(tǒng)計和自然語言處理的技術提取作文的語言學特征，對照人工評分的標準作文集進行打分，增加了對文本內(nèi)容和結(jié)構(gòu)的分析，評價更加科學。IEA利用潛在語義分析技術，考慮到詞義和語境因素，更側(cè)重于對文本內(nèi)容的評價[6]。

目前國內(nèi)覆蓋面較廣的是北京詞網(wǎng)科技有限公司開發(fā)的“句酷批改網(wǎng)”和外語教學與研究出版社的“i-write”?！熬淇崤木W(wǎng)”使用與E-rater和IntellMetric相似的技術，采用基于語料庫的方法建模，通過測試樣本作文與語料庫建模作文的差距來給作文評分[7]。2015年和2016年批改網(wǎng)組織了兩次全國范圍內(nèi)的百萬同題寫作大賽，得到了許多高校大學生的積極響應。這說明當代大學生愿意嘗試新型的教學模式，這從主觀意識層面為自動寫作評分系統(tǒng)進入高校大學英語課堂提供了保障。

關于自動寫作評分系統(tǒng)的早期研究主要集中在評分系統(tǒng)自身的效度上，即系統(tǒng)評分與人工評分的相似度。隨著系統(tǒng)的逐漸完善，關注系統(tǒng)在教學中的實際應用的研究也逐漸豐富起來。研究者發(fā)現(xiàn)：無論是對于中小學生還是大學生，在線自動寫作評分系統(tǒng)都能在一定程度上促進其寫作成績的提高，在糾正語言錯誤方面起到積極作用[8]。但是針對批改網(wǎng)對非英語專業(yè)不同水平學生寫作水平影響的實證研究尚不多。

二、研究過程

（一）研究問題

通過一段時間的“批改網(wǎng)”寫作練習，本研究探討以下兩個問題：該寫作模式對不同水平非英語專業(yè)學生的英語寫作成績會產(chǎn)生怎樣的影響？從作文的字數(shù)、語法、詞匯、篇章結(jié)構(gòu)等衡量寫作質(zhì)量的要素來看，“批改網(wǎng)”對不同水平學習者會產(chǎn)生怎樣的影響？

（二）研究對象

本次調(diào)查以四川省某高校一年級非英語專業(yè)121名本科生為研究對象。根據(jù)他們高考英語成績分組，115分以下90分以上的被試為一般水平組，115分及以上的被試為較高水平組。其中，一般水平組65人，較高水平組56人。

（三）研究過程

2016年11月，教師布置名為“on Children’Independence”的作文，要求學生利用“批改網(wǎng)”在半個月內(nèi)完成一篇120～200詞之間的議論文。教師要求學生在最初三天內(nèi)只是完成作文的初稿，不能進行修改，以便研究人員及時記錄初次作文的相關數(shù)據(jù)。該數(shù)據(jù)即為本次實驗的前測資料。在此后的幾個月內(nèi)，任課教師每個月在“批改網(wǎng)”上布置一次寫作任務，要求被試借助批改網(wǎng)的反饋，對作文進行自我修改，直到自己對作文滿意為止。2017年4月，任課教師要求學生半個月內(nèi)在“批改網(wǎng)”上完成名為“Fighting against Drunk Driving”的作文，字數(shù)在120～200詞之間，在截止日期前，學生可以不斷對文章進行修改。最后，研究人員收集該作文的最后一次相關數(shù)據(jù)，作為本次實驗的后測數(shù)據(jù)。通過對比首末次作文的成績及相關數(shù)據(jù)檢測批改網(wǎng)對不同水平大學生英語寫作水平的影響。

（四）數(shù)據(jù)收集

在規(guī)定時間內(nèi)絕大多數(shù)被試均按要求完成了各次寫作練習。但是，17名被試沒有每次都完成寫作任務，為了確保本研究結(jié)果的真實性，這部分同學沒有列入最后的研究對象。在收集到的數(shù)據(jù)中，有15人的作文被系統(tǒng)判斷為“相似”或“跑題”，對于這部分作文，研究人員進行了人工評閱，得出的結(jié)論與系統(tǒng)一致。因此，筆者將這15篇作文判為不合格作文，從數(shù)據(jù)中剔除出去。最后，本次研究共收集到合格的作文89篇，其中一般水平組45篇，較高水平組44篇，將文本的相關信息，如作文分數(shù)、字數(shù)、平均詞長、平均句長、從句總數(shù)、篇章連詞、高頻詞匯、學術詞匯等輸入電腦，借助SPSS 19.0進行數(shù)據(jù)分析。

三、數(shù)據(jù)分析

（一）首末次作文分數(shù)對比

從表1可以看出，一般水平學習者和較高水平學習者都可以借助批改網(wǎng)的反饋，對作文進行修改，從而提高作文分數(shù)。一般水平組被試首次作文平均成績是71.36分，末次作文平均成績?yōu)?8.64分，平均分提高了7.28分，且形成顯著性差異（t=-7.058,p＜0.001）。較高水平組被試平均分由73.40分提高到了79.84分，平均分增加了6.44分，該差異呈現(xiàn)出極大的顯著性（p＜0.001)?？梢姡敶怯⒄Z專業(yè)大學生已經(jīng)具備一定的自主學習能力，他們可以借助批改網(wǎng)的修改建議進行自我修改，提高寫作分數(shù)。

表1 首末次作文分數(shù)對比

（二）寫作質(zhì)量前后對比

評價一篇作文不能只看成績，作文字數(shù)、詞匯、句型、內(nèi)容等都是評價寫作水平的重要指標。

1.字數(shù)對比

字數(shù)是衡量寫作水平的重要指標，想要充分地表達思想，字數(shù)是保障。2007年教育部頒布的《大學英語課程教學要求》對非英語專業(yè)本科生的英語書面表達能力要求分為三個層次，即一般要求、較高要求和更高要求。一般要求就是學生能在半小時內(nèi)寫出不少于120詞的短文，較高要求即學生能在半小時內(nèi)寫出不少于160詞的短文，更高要求即學生能在半小時內(nèi)寫出不少于200詞的短文[9]。如表2所示，在本次研究中，一般水平組被試首次作文平均詞數(shù)為137，末次作文平均詞數(shù)為154，增加了7個單詞，該差異為顯著性差異（t=-2.783，p＜0.001）。較高水平組被試首次作文平均詞數(shù)為145，末次作文詞數(shù)為151，平均字數(shù)增加了6個單詞，但該差異不具有顯著性(p＞0.05)?？梢?，無論是一般水平的學習者還是高水平的學習者，他們經(jīng)過一段時間的在線寫作練習后，都可以提高文本的詞數(shù)，但是，一般水平學習者提高的幅度更大。

表2 首末次作文字數(shù)對比

2.詞匯使用對比

寫文章猶如砌房子，詞匯則如同磚頭。只有選擇好的磚頭才可以砌出漂亮、堅固的樓房。詞匯是寫作的基礎[10]，詞匯的選擇對文章質(zhì)量有著重大影響。本研究考察了被試作文中的高頻詞匯和學術詞匯。高頻詞匯為常用詞匯，學術詞匯則多為低頻詞匯。顧名思義，高頻詞匯使用范圍更廣，頻率更高、更常見，而學術詞匯則更長更難，使用頻率較低。如表3所示，在本次研究中，兩組被試末次作文的高頻詞匯使用量都有所下降，且呈現(xiàn)出顯著性差異（p＜0.01)，在學術詞匯的使用上，兩組被試在修改后均有所增加，并且呈現(xiàn)出顯著性差異（p＜0.01）。但是，在平均詞長上，一般水平組被試的末次作文有所下降，而較高水平組被試的末次作文卻有所增加。但是兩者均未構(gòu)成顯著性差異（p＞0.05）。平均詞長雖然不是衡量作文質(zhì)量的重要指標，但是它可以在一定程度上反映出學習者的用詞難度、復雜度。一般認為詞匯越長難度越大[7]。

表3 首末次作文詞匯使用對比

筆者認為出現(xiàn)該現(xiàn)象的原因在于批改網(wǎng)對于詞匯的選擇給出了詳細的建議，被試根據(jù)修改意見，意識到學術詞匯使用的重要性，因此盡量選用了較難的、不常見的新單詞，從而增加文章用詞的復雜度和豐富度。在詞匯的選擇上，兩組被試都取得了明顯的進步，這再次證明當代大學生具有較強的自主學習能力。

篇章連詞的正確使用可以極大地增強文章的連貫性和可讀性。因此，篇章連詞是衡量寫作質(zhì)量的一個重要指標。但是許多學習者在寫作過程中，往往會忽略連詞的使用。本次研究中一般水平組的末次作文中篇章連詞的使用比首次作文有所下降，但未形成顯著性差異（p＞0.05），而較高水平組末次作文篇章連詞的使用雖然有所增加，但沒有形成顯著性差異（p＞0.05），如表4所示。這充分說明被試在作文修改中對篇章連詞的使用仍然沒有給予應有的重視，而是把修改的重點放在了詞匯層面。這可能是由于被試長期的學習習慣所致：偏重對單詞、語法的學習，而缺乏對文章整體的把握。當然，這與“批改網(wǎng)”側(cè)重對詞匯層面的反饋不無關系。有研究者曾指出：“批改網(wǎng)”對文章提出的修改建議多是詞匯層面，而對文章篇章結(jié)構(gòu)、文體修辭等方面的評價不足[11]。由于批改網(wǎng)在這方面給出的反饋不夠，而一般水平組由于自身英語水平有限，所以未能很好地從文章整體把握上增加連詞的使用，而較高水平組雖然有所增加，但是該方面的能力還有待提高。因此，教師在借助批改網(wǎng)等在線寫作系統(tǒng)進行寫作練習時，還需要從文章整體的把握上加強對學生的指導。

表4 篇章連詞使用對比

3.從句的使用對比

從句的使用情況是衡量寫作水平的一個重要指標。從句的適量使用可以在一定程度上增強文章的連貫性和可讀性，避免文章過于零散。英語文章比中文緊湊，因此，從句的使用情況與使用者的英語水平有很大的關聯(lián)。從表5可以看出，一般水平組末次作文的從句總數(shù)稍有增加，但并未呈現(xiàn)出顯著性差異（p＞0.05）?？梢?，根據(jù)在線反饋，一般水平組開始有意識地增加從句的使用，但是鑒于現(xiàn)有的英語水平，其提高的幅度不大。另一方面，較高水平組末次作文的從句總數(shù)卻有所下降。針對這一現(xiàn)象，筆者與部分被試進行訪談，發(fā)現(xiàn)部分較高水平組學習者對于借助批改網(wǎng)進行寫作練習雖然一開始是積極肯定的態(tài)度，但是隨著練習次數(shù)的增加，逐漸持否定態(tài)度，他們認為“詞數(shù)越多，批改網(wǎng)給出的分數(shù)就越高，這與四六級作文評分不一樣”。所以，經(jīng)過多次在線寫作練習后，他們對該寫作模式逐漸失去了興趣，消極對待寫作任務。由此可見，較高水平組英語學習者具有較強的批判思維能力，在選擇學習資料方面，他們更具有獨立意識，這也可看做是他們對于英語學習更自信的表現(xiàn)。因此，在批改網(wǎng)的使用過程中，教師應該加強對學生學習方法的指導，充分研究學生的心理傾向[12]，及時了解他們在使用過程中遇到的困難，幫助他們合理利用教學輔助系統(tǒng)取得更大的進步。

表5 首末次作文從句使用對比

4.句長及詞數(shù)對比

平均句長雖然不是衡量寫作水平的重要指標，但是，它可以在一定程度上反映出文章句型的變化及難易程度。在本次研究中，一般水平組末次文作文的平均句長有所下降，最長句詞數(shù)略有增加（p＞0.05），最短句詞數(shù)有所下降，但都沒有形成顯著性差異（p＞0.05），較高水平組的末次作文平均句長、最長句詞數(shù)及最短句詞數(shù)均有所下降，未形成顯著性差異（p＞0.05），如表6所示。在訪談中，被試反映批改網(wǎng)雖然給出的反饋非常豐富，但多是詞語選擇、同義詞區(qū)分、詞法搭配方面的內(nèi)容，過多的詞匯信息反而會讓他們覺得困惑。而在語法、句法、內(nèi)容等方面，批改網(wǎng)只是給出一個整體的評價，并未詳細地指出具體的錯誤和修改方法?；蛟S正是由于缺乏句法方面的反饋，所以導致兩組被試在句法層面表現(xiàn)欠佳。當然，這與被試的寫作態(tài)度有一定的關聯(lián)。如上所述，到寫作練習后期，許多學生對批改網(wǎng)這種寫作方式失去了興趣，故而導致其消極怠工，影響了寫作質(zhì)量的提高。

表6 首末次作文平均句長及詞數(shù)對比

四、結(jié)語

在信息技術迅速發(fā)展和普及的今天，外語教學現(xiàn)代化已經(jīng)成為發(fā)展趨勢，在線寫作系統(tǒng)在各高校大學英語教學中得到廣泛使用。雖然不同水平的非英語專業(yè)學生可以根據(jù)在線反饋進行自我修改，提高寫作成績，在一定程度上提升寫作質(zhì)量，但是，鑒于學生的英語水平和長期以來養(yǎng)成的學習習慣，在在線寫作系統(tǒng)的使用過程中，教師的指導是非常必要的。從學習方法到學生的薄弱環(huán)節(jié)，如句法、篇章掌握等，教師都應該加大指導力度。任何技術都只是教學的輔助手段，切記不能完全依賴在線寫作系統(tǒng)而忽略了對學生應有的指導，只有人機結(jié)合才能事半功倍。

[1]唐錦蘭,吳一安.寫作自動評價系統(tǒng)在大學英語教學中的應用研究[J].外語與外語教學,2012(4):53-59.

[2]秦朝霞.國內(nèi)大學英語寫作研究現(xiàn)狀及發(fā)展趨勢分析[J].現(xiàn)代外語,2009(2):195-204.

[3]CHUNG G K,BAKER E L.Issues in the reliability and validity of automated scoring of constructed responses[C]//SHERMIS M D,BURSTEIN J.Automatic essay scoring:a cross-disciplinary perspective.Mahwah,NJ:Lawrence Erlbaum Associates,2003:23-40.

[4]陳瀟瀟,葛詩利.自動作文評分研究綜述[J].解放軍外國語學院學報,2008(5):78-83.

[5]PAGE E B.Project essay grade:PEG[C]//SHERMIS M D,BURSTEIN J.Automatic essay scoring:a cross-disciplinary perspective.Mahwah,NJ:Lawrence Erlbaum Associates,2003:43-54.

[6]LANDAUER T K,LAHAM D,FOLTI P W.Automated scoring and annotation of essays with the Intelligent Essay Assessor[C]//SHERMIS M D,BURSTEIN J.Automatic essay scoring:a cross-disciplinary perspective.Mahwah,NJ:Lawrence Erlbaum Associates,2003:87-112.

[7]胡學文.在線作文自我修改對大學生英語寫作結(jié)果的影響[J].外語電化教學,2015(3):45-49.

[8]吳一安,唐錦蘭.融入自動評價系統(tǒng)的英語寫作實驗教學對高校英語教師的影響研究[J].外語電化教學,2012(4):3-10.

[9]教育部高等教育司.大學英語課程教學要求[M].上海：上海外語教育出版社，2007：3-4.

[10]段廷婷,楊敏.英語寫作的有效性教學策略實踐研究[J].重慶文理學院學報(社會科學版),2015(3):140-143.

[11]何旭良.句酷批改網(wǎng)英語作文評分的信度和效度研究[J].現(xiàn)代教育技術,2013(5):64-67.

[12]郭艷紅.教育敘事研究在大學英語后續(xù)課程中的應用——以英美報刊選讀課程為例[J].重慶高教研究,2013(1):63-67.