寫作智能評閱系統(tǒng)在大學(xué)英語寫作教學(xué)中的應(yīng)用研究述評

摘 要：本文對2010年至今國內(nèi)寫作智能評閱系統(tǒng)在大學(xué)英語寫作教學(xué)中的應(yīng)用研究進(jìn)行了分析，相關(guān)研究涉及系統(tǒng)信度、反饋語及反饋效果、新型大學(xué)英語寫作教學(xué)模式構(gòu)建等方面。文章對相關(guān)研究從研究方法、研究對象和推廣性等方面加以概述，指出現(xiàn)有研究的問題所在和此領(lǐng)域未來研究方向。

關(guān)鍵詞：智能評閱；大學(xué)英語；寫作教學(xué)；

作者簡介：管姍姍，碩士，南京曉莊學(xué)院外國語學(xué)院講師，研究方向為英語語言學(xué)及應(yīng)用語言學(xué)。（江蘇 南京 210036）

基金項目：本文系江蘇高校哲學(xué)社會科學(xué)研究項目“基于PBL的ESP教學(xué)行動研究”（編號：2016SJA740013）階段性研究成果。

中圖分類號：G642.0 文獻(xiàn)標(biāo)識碼：A 文章編號：1671-0568（2018）29-0102-04

寫作技能是英語學(xué)習(xí)四大基本技能之一，是英語教學(xué)重點之一。然而，面對大學(xué)英語課堂大班教學(xué)、教師評閱量大難以及時反饋、學(xué)生學(xué)習(xí)動力不足的現(xiàn)實，英語寫作一直以來存在費時低效的教學(xué)困擾。隨著計算機(jī)技術(shù)和語料庫語言學(xué)的發(fā)展，智能評閱系統(tǒng)進(jìn)入寫作教學(xué)領(lǐng)域。相比人工評分，自動寫作評價在終結(jié)性寫作考試中可節(jié)約大量人力、物力和財力。國外寫作智能評閱系統(tǒng)從20世紀(jì)60年代起步，國內(nèi)起步較晚但近年來發(fā)展迅猛。國內(nèi)寫作智能評閱系統(tǒng)在英語寫作的形成性評估和提高學(xué)生自主學(xué)習(xí)能力方面起到了相當(dāng)重要的作用。研究寫作智能評閱系統(tǒng)在大學(xué)英語寫作課堂的應(yīng)用有利于構(gòu)建機(jī)器評閱和人工評閱相結(jié)合的寫作教學(xué)模式，有利于探索高效率新型大學(xué)英語寫作課堂。通覽相關(guān)文獻(xiàn)，對國內(nèi)外寫作智能評閱系統(tǒng)的綜述性評述以梁茂成、文秋芳[1]和唐錦蘭、吳一安[2]為代表，此后此類研究尤其對國內(nèi)寫作智能評閱系統(tǒng)的綜述性評述直缺乏。信息技術(shù)日新月異，21世紀(jì)初的研究已不能代表當(dāng)前發(fā)展。國內(nèi)寫作智能評閱系統(tǒng)近年來發(fā)展迅速，其在大學(xué)英語寫作教學(xué)中的應(yīng)用呈現(xiàn)廣泛而深入的趨勢。

一、寫作智能評閱系統(tǒng)的發(fā)展歷程

寫作智能評閱系統(tǒng)的發(fā)展經(jīng)歷了單一分?jǐn)?shù)評定、合作分?jǐn)?shù)評定和人機(jī)交互評改三個階段[3]。單一分?jǐn)?shù)評定階段以1966年杜克大學(xué)教授Page等人推出的人類歷史上第一個作文自動評分系統(tǒng)PEG為代表和開端，在作文自動評分史上有著里程碑的意義。這一階段的評分系統(tǒng)旨在嘗試解決大規(guī)模寫作考試自動評分問題，快速獲得終結(jié)性分?jǐn)?shù)。然而，由于當(dāng)時計算機(jī)和語言學(xué)發(fā)展的局限性，PEG的評價體系只重視語言形式而忽視內(nèi)容，忽視了作文主題、組織和體裁等語義層面，其評價的是寫作的間接因素。因此，該系統(tǒng)1968年即宣告擱置，進(jìn)入了長達(dá)20年的休眠期。此階段另一代表性系統(tǒng)為IEA[4]，此系統(tǒng)注重作文內(nèi)容的評定，以范文為訓(xùn)練集，比較作文和范文的相似性，在一定程度上解決了作文內(nèi)容評定問題。合作分?jǐn)?shù)評價階段出現(xiàn)在20世紀(jì)90年代后，代表系統(tǒng)IntelliMetric，E-rater，BETSY等，尤以E-rater在TOEFL等大型考試中的應(yīng)用而聞名。此階段系統(tǒng)評分從形式和內(nèi)容兩方面對作文進(jìn)行評價，注重評分過程中的質(zhì)量控制，將機(jī)器評分和人工評分結(jié)合起來，機(jī)器注重語言特征，人工更注重高層次的寫作技巧，在評分信度上較之第一階段有了大幅度提升。第三階段人際交互評改是近十多年才出現(xiàn)的寫作智能評閱系統(tǒng)，以注重評分轉(zhuǎn)向注重學(xué)習(xí)者自主學(xué)習(xí)和錯誤診斷反饋，更好地實現(xiàn)“促學(xué)評價”，并最終達(dá)到“評估即為學(xué)”。國內(nèi)以“句酷批改網(wǎng)”和“iwrite”為代表，學(xué)生提交作文可立即獲得評分和錯誤反饋，學(xué)生可多次修改并重新獲得評分。

縱觀2010年以后的國內(nèi)相關(guān)文獻(xiàn)，有關(guān)寫作智能評閱系統(tǒng)的研究大致可分為三大類：一是對相關(guān)系統(tǒng)評分信度的研究，研究系統(tǒng)評分結(jié)果與人工評分的一致性；二是研究國內(nèi)寫作智能評閱系統(tǒng)對大學(xué)生寫作水平的影響，研究寫作智能評閱系統(tǒng)對大學(xué)生寫作詞匯、語法、句法等方面能力的影響；三是基于國內(nèi)寫作智能評閱系統(tǒng)對大學(xué)英語寫作課堂的作用，研究構(gòu)建寫作智能評閱系統(tǒng)與大學(xué)英語寫作課堂教學(xué)相混合的新型教學(xué)模式。

二、寫作智能評閱系統(tǒng)信度研究

國內(nèi)有關(guān)寫作智能評閱系統(tǒng)的信度研究文獻(xiàn)為數(shù)不多，現(xiàn)有相關(guān)文獻(xiàn)表明，國內(nèi)寫作智能評閱系統(tǒng)的評分信度較高。在“批改網(wǎng)”評分信度研究方面，何旭良[5]對30篇作文進(jìn)行人機(jī)評分對比研究后認(rèn)為，“句酷批改網(wǎng)”與人工評分一致性高，但評分顯著偏高。張荔等[6]對兩套CET作文評分標(biāo)準(zhǔn)樣卷共10篇作文進(jìn)行人機(jī)評閱，二者結(jié)果呈現(xiàn)很高的相關(guān)性。有國內(nèi)研究者[7]對“句酷網(wǎng)”和“冰果”這兩個平臺的評分效度差異進(jìn)行了實證研究。對大學(xué)非英語專業(yè)3種題型作文文本的分析結(jié)果表明：“句酷網(wǎng)”和“冰果”的自動評定成績和人工評定成績之間存在顯著的正相關(guān)關(guān)系，相關(guān)程度存在差異，兩個平臺對不同類型作文的評定成績效度之間也有差異。對“iwrite”系統(tǒng)評分信度研究方面，李艷玲、田夏春[8]通過對645篇同題作文人工評分和“iwrite”系統(tǒng)評分對比，認(rèn)為“iwrite”系統(tǒng)評分信度高，達(dá)到可推廣水平。

以上研究在一定范圍內(nèi)對相關(guān)系統(tǒng)進(jìn)行了信度分析，但樣本量不夠大，作文題型不夠豐富，實驗結(jié)果的普遍性受到影響。大數(shù)據(jù)下國內(nèi)寫作智能評閱系統(tǒng)的信度分析將是未來研究的重點之一。

三、寫作智能評閱系統(tǒng)反饋語及反饋效果研究

在“句酷批改網(wǎng)”評閱反饋語方面國內(nèi)研究較為豐富，研究方法上多采用量化或者質(zhì)性的調(diào)查方法。石曉玲[9]通過對大一共161人的問卷和訪談，對“句酷批改網(wǎng)”的評閱反饋語和評分進(jìn)行了實證研究，認(rèn)為其在詞匯、語法方面的反饋較多，而在思想內(nèi)容、邏輯性和連貫性以及篇章結(jié)構(gòu)上的反饋較少。有將近一半（48%）的學(xué)生對“句酷批改網(wǎng)”持歡迎態(tài)度，認(rèn)為其具有批改和反饋及時的優(yōu)勢，對語法和詞匯方面的提高幫助最大。該研究問卷調(diào)查和訪談設(shè)計全面合理，研究結(jié)果有一定說服力。但介于信息技術(shù)的快速更新，該研究時效性稍欠缺，必然與當(dāng)前不斷更新的相關(guān)系統(tǒng)研究之間有一定差距。蔣艷，馬武林[10]指出句酷批改網(wǎng)作為智能導(dǎo)師系統(tǒng)所面臨的挑戰(zhàn)。如：只能從語言上判斷水平，不能從語義上判斷內(nèi)容，無法對作文內(nèi)容錯誤進(jìn)行識別、部分語言錯誤無法識別。該研究泛泛而談，介紹全面但缺乏較科學(xué)的研究方法，因此是研究結(jié)果的可信度不高。

何旭良[11]以篇章個案分析的形式研究發(fā)現(xiàn)，“句酷批改網(wǎng)”的智能反饋主要集中于詞匯和語法層面，在內(nèi)容、篇章結(jié)構(gòu)、修辭、內(nèi)容邏輯性和連貫性方面反饋不夠。此論文僅選取一篇作文分析，研究結(jié)果參考價值不高。侯芬[12]以3個英語班級共105名學(xué)生為受試對象，將“批改網(wǎng)”融入大學(xué)英語寫作教學(xué)，進(jìn)行了為期14周的教學(xué)實驗，用問卷調(diào)查和個案研究的方法探討了“句酷批改網(wǎng)”對提高大學(xué)生英語寫作能力的有效性。結(jié)果表明，大多數(shù)學(xué)生對批改網(wǎng)的使用持肯定態(tài)度。與過去的相關(guān)研究結(jié)果類似，批改網(wǎng)系統(tǒng)更多關(guān)注語法、拼寫、句型、搭配等方面的反饋，在篇章結(jié)構(gòu)、邏輯性和連貫性方面反饋不夠。該研究采用實證研究方法，使用了問卷調(diào)查和分析作文樣本，研究結(jié)果有參考價值。胡學(xué)文[13]以45名大學(xué)非英語專業(yè)二年級學(xué)生為研究對象，考察了“句酷批改網(wǎng)”在線反饋對大學(xué)生英語寫作結(jié)果的影響。該研究的基本數(shù)據(jù)來自于“句酷批改網(wǎng)”保存的各種記錄，研究者使用SPSS7.0軟件對相關(guān)數(shù)據(jù)進(jìn)行處理。研究結(jié)果表明，“句酷批改網(wǎng)”上學(xué)生對作文的多次自我修改能顯著提高作文質(zhì)量，但修改的次數(shù)與作文成績的提高不存在相關(guān)關(guān)系，修改質(zhì)量更具意義。該研究旨在考察大學(xué)生寫作自我修改對作文質(zhì)量的影響，研究問題清晰有意義，但兩周的實驗時間對于研究修改次數(shù)與寫作水平提高之間的關(guān)系沒有意義。

周麗[14]從英語寫作應(yīng)用研究角度出發(fā)，通過對某南方理工科高校的對照班和實驗班的實證研究，通過句法能力的分析來探討“批改網(wǎng)”對大學(xué)生英語寫作能力的影響。通過一學(xué)年的實驗發(fā)現(xiàn)，在線寫作平臺在時間與空間上為學(xué)生提供了較之傳統(tǒng)寫作更多的便利，但在提升學(xué)生的并列復(fù)句、狀語、表語、同位語從句、形容詞、名詞短語等寫作能力方面需要與傳統(tǒng)課堂教學(xué)相結(jié)合。該研究在細(xì)化“批改網(wǎng)”對寫作能力提高方面的影響有創(chuàng)新意義。李霞、鐘蘭鳳[15]采用了定量和定性研究相結(jié)合的研究方法對“句酷批改網(wǎng)”對大學(xué)英語寫作教學(xué)的有效性進(jìn)行了實證研究。實驗對象為118名大學(xué)生，分實驗組和對照組，在長達(dá)兩學(xué)期的寫作課批改中中，分別給予在線反饋和人工反饋。實驗結(jié)果表明，實驗組的寫作成績顯著高于對照組。此外，教師觀察和問卷調(diào)查表明，多數(shù)學(xué)生對“句酷批改網(wǎng)”持歡迎態(tài)度，認(rèn)為對寫作水平的提高很有幫助，能提高寫作興趣和自主寫作意識。

綜上研究，國內(nèi)寫作智能評閱系統(tǒng)在詞匯、語法方面的反饋較多、修改建議較具體，但其在內(nèi)容和連貫性方面反饋不足。多數(shù)學(xué)生對寫作智能評閱系統(tǒng)持接受態(tài)度，認(rèn)為對寫作水平提高有幫助。

四、寫作智能評閱系統(tǒng)在新型大學(xué)英語寫作教學(xué)模式構(gòu)建中的應(yīng)用研究

國內(nèi)寫作智能評閱系統(tǒng)基于上述相關(guān)研究，目前國內(nèi)寫作智能評價系統(tǒng)的評分信度較高，但評閱反饋較多集中在詞匯和語法層面，在內(nèi)容、篇章結(jié)構(gòu)、修辭以及篇章的銜接和連貫方面反饋不夠。因此，大學(xué)英語自主寫作教學(xué)模式應(yīng)該強(qiáng)調(diào)寫作智能評閱系統(tǒng)與教師反饋、同伴互評相結(jié)合。研究主要集中于“句酷批改網(wǎng)”。張文霞、黃靜[16]認(rèn)為，信息技術(shù)應(yīng)該和英語教學(xué)高度融合，采取自動譏評、助教評議、教師總評、同學(xué)互評、反思自評相結(jié)合的方式。楊曉瓊、戴運財[17]以135名學(xué)生為實驗對象，采用問卷調(diào)查、訪談和實驗法，對基于批改網(wǎng)的大學(xué)英語自主寫作教學(xué)模式進(jìn)行了實踐研究。研究結(jié)果表明，“句酷批改網(wǎng)”在提高學(xué)生寫作興趣和能力方面有積極意義，有助于培養(yǎng)學(xué)生自主學(xué)習(xí)能力；同時，批改網(wǎng)在內(nèi)容、篇章結(jié)構(gòu)和邏輯等方面的反饋不足要求教師充分利用點評功能對學(xué)生作文進(jìn)行及時點評。批改網(wǎng)在線及時反饋、同伴反饋和教師反饋在大學(xué)英語寫作教學(xué)中應(yīng)充分結(jié)合，學(xué)生的自主寫作能力及寫作教學(xué)質(zhì)量才會得以切實提高。

黃紅兵[18]以“句酷批改網(wǎng)”為在線作文自動評分工具，結(jié)合計算機(jī)輔助大學(xué)英語教學(xué)原理和形成性評價理論，在相關(guān)文獻(xiàn)梳理與分析基礎(chǔ)上提出在線大學(xué)英語寫作形成性評價“三階模型”。即作文經(jīng)過“初稿、修訂稿、定稿”三個階段，在初稿和修改稿階段，教師在自動作文評分反饋和同學(xué)評價基礎(chǔ)上，有針對性地做出綜合評價，學(xué)生以即時評價和同學(xué)評價為參考、以教師評價為準(zhǔn)繩修改作文。實驗證明該模型可為大學(xué)生在線英語寫作提供有效的反饋、減輕教師作文批閱負(fù)擔(dān)，也能有效促進(jìn)大學(xué)生英語寫作水平提升。甘容輝、何彩順[19]在梳理學(xué)習(xí)分析的概念、要素和模型、主要分析工具和方法的基礎(chǔ)上，闡述了學(xué)習(xí)分析技術(shù)于外語教學(xué)中的應(yīng)用，即“句酷批改網(wǎng)”運用學(xué)習(xí)分析促進(jìn)個性化教學(xué)的案例分析，提出了學(xué)習(xí)分析在外語教學(xué)中的建模構(gòu)想，展望了學(xué)習(xí)分析在外語教學(xué)應(yīng)用中的可行性。唐錦蘭[20]為期一學(xué)年的教學(xué)實驗以及調(diào)查問卷和訪談數(shù)據(jù)表明，實驗教學(xué)有助于學(xué)生寫作能力的發(fā)展和自主學(xué)習(xí)能力的提高； 寫作教學(xué)重點從關(guān)注語言錯誤到關(guān)注內(nèi)容的挖掘和表達(dá)，從關(guān)注結(jié)果到關(guān)注寫作教學(xué)過程和寫作教法；在此過程中，師生的角色發(fā)生變化。本文在此項研究基礎(chǔ)上建構(gòu)了將自動評價系統(tǒng)融入寫作課程的教學(xué)模型。

五、問題和展望

首先，目前對寫作智能評閱系統(tǒng)在大學(xué)英語寫作教學(xué)中的應(yīng)用研究主要集中在對“句酷批改網(wǎng)”的研究上，對目前國內(nèi)應(yīng)用逐漸廣泛，技術(shù)不斷在開發(fā)中的“iwrite”系統(tǒng)的研究寥寥無幾。作為該系統(tǒng)的主要開發(fā)人梁茂成，十多年來一直致力于此系統(tǒng)的開發(fā)和運用，從最初對中國學(xué)生英語作文自動評分模型的構(gòu)建[21]到該系統(tǒng)用于近幾年的“外研社杯”全國大學(xué)英語寫作競賽等大規(guī)模作文評閱和在部分高校的推廣使用，“iwrite”系統(tǒng)的使用前景廣闊、對“iwrite”系統(tǒng)的研究可能會成為今后幾年的研究熱點。

其次，目前相關(guān)研究主要集中于寫作智能評閱系統(tǒng)反饋語的總體效果研究，對涉及其具體對大學(xué)生寫作某方面能力的影響研究很有限，只有周麗[22]研究了英語在線寫作平臺對大學(xué)生寫作句法能力的影響和Zhihong Lu&Zhenxiao Li[23]研究了“句酷批改網(wǎng)”對學(xué)習(xí)者詞匯運用能力的影響等。

最后，目前相關(guān)研究只提出構(gòu)建基于寫作智能評閱系統(tǒng)的大學(xué)英語自主寫作教學(xué)模式，是一種粗線條的展望和推測，并沒有提出如何將寫作智能評閱系統(tǒng)和教師點評、同伴互評結(jié)合起來，哪種結(jié)合方式才是適合中國大學(xué)生寫作學(xué)習(xí)的具體模式。

參考文獻(xiàn)：

[1] 梁茂成，文秋芳.國外作文自動評分系統(tǒng)評述及啟示[J].外語電化教學(xué)，2007，（5）：18-24.

[2] 唐錦蘭，吳一安.在線英語寫作自動評價系統(tǒng)應(yīng)用研究述評[J].外語教學(xué)與研究，2011，43（2）：273-282.

[3] 王勃然，金檀，趙雯.自動寫作評價研究與實踐五十年——從單一、合作到交互[J].外語研究，2015，（5）：50-56.

[4] 梁茂成，文秋芳.國外作文自動評分系統(tǒng)評述及啟示[J].外語電化教學(xué)，2007，（5）：18-24.

[5] 何旭良.句酷批改網(wǎng)英語作文評分的信度和效度研究[J].現(xiàn)代教育技術(shù)，2013，23（5）：64-67.

[6] 張荔，盛越.自動作文評閱系統(tǒng)反饋效果個案研究[J].外語電化教學(xué)，2015，（3）：38-44.

[7] 楊曉瓊，戴運財.基于批改網(wǎng)的大學(xué)英語自主寫作教學(xué)模式實踐研究[J].外語電化教學(xué)，2015，（2）：17-23.

[8] 李艷玲，田夏春.iWrite 2.0在線英語作文評分信度研究[J].現(xiàn)代教育技術(shù)，2018，（2）：75-80.

[9] 石曉玲.在線寫作自動評改系統(tǒng)在大學(xué)英語寫作教學(xué)中的應(yīng)用研究——以句酷批改網(wǎng)為例[J].現(xiàn)代教育技術(shù)，2012，（10）：67-71.

[10] 蔣艷，馬武林.中國英語寫作教學(xué)智能導(dǎo)師系統(tǒng)：成就與挑戰(zhàn)——以句酷批改網(wǎng)為例[J].電化教育研究，2013，（7）：76-81.

[11] 何旭良.句酷批改網(wǎng)英語作文評分的信度和效度研究[J].現(xiàn)代教育技術(shù)，2013，23（5）：64-67.

[12] 侯芬.在線寫作自動評估系統(tǒng)在大學(xué)英語寫作教學(xué)中的應(yīng)用——以句酷批改網(wǎng)為例[J].中國教育信息化，2015，（16）：24-27.

[13] 胡學(xué)文.在線作文自我修改對大學(xué)生英語寫作結(jié)果的影響[J].外語電化教學(xué)，2015，（3）：45-49.

[14] 周麗.英語在線寫作平臺對大學(xué)生寫作句法能力的影響[J].外語電化教學(xué)，2015，（5）：26-29.

[15] 李霞，鐘蘭.作文自動評價系統(tǒng)在大學(xué)英語寫作教學(xué)中的實證研究——以句酷批改網(wǎng)為例[J].教學(xué)研究，2017，（1）：57-61.

[16] 張文霞，黃靜.構(gòu)建信息技術(shù)在大學(xué)英語課程中的運用框架[J].現(xiàn)代教育技術(shù)，2014，（1）：75-83.

[17] 楊曉瓊，戴運財.基于批改網(wǎng)的大學(xué)英語自主寫作教學(xué)模式實踐研究[J].外語電化教學(xué)，2015，（2）：17-23.

[18] 黃紅兵.在線大學(xué)英語寫作形成性評價模型構(gòu)建研究[J].現(xiàn)代教育技術(shù)，2015，（1）：79-86.

[19] 甘容輝，何高大.大數(shù)據(jù)時代學(xué)習(xí)分析與外語教學(xué)研究展望[J].外語電化教學(xué)，2016，（3）：40-45.

[20] 唐錦蘭.探究寫作自動評價系統(tǒng)在英語教學(xué)中的應(yīng)用模式[J].外語教學(xué)理論與實踐，2014，（1）：49-57.

[21] 梁茂成.中國學(xué)生英語作文自動評分模型的構(gòu)建[J].北京：外語教學(xué)與研究出版社，2010，20–41.

[22] 周麗.英語在線寫作平臺對大學(xué)生寫作句法能力的影響[J]外語電化教學(xué)，2015，（5）：26-29.

[23] Lu，Z.&Li，Z.Exploring EFL Learners Lexical Application in AWE-based Writing[J].CALL Communities and Culture，2016.

責(zé)任編輯 秦俊嫄