基于自動評分系統(tǒng)的在線作文自我修改特征研究

白蕓

摘要：自然語言處理技術(shù)、人工智能及語料庫技術(shù)的發(fā)展使得自動評價系統(tǒng)（AES系統(tǒng)）逐漸被應(yīng)用于二語寫作教學(xué)，為學(xué)習(xí)者提供基于網(wǎng)絡(luò)的寫作環(huán)境、實時評分和診斷性反饋。通過對中國學(xué)習(xí)者在線寫作的初稿、終稿及自動評分系統(tǒng)給出的相應(yīng)反饋進行對比分析，探究學(xué)生在線作文自我修改的特征，并就AES系統(tǒng)輔助寫作教學(xué)給出了參考建議。

關(guān)鍵詞：在線作文自我修改 自動評分系統(tǒng) 英語寫作

中圖分類號：H319? 文獻標識碼：A? 文章編號：1009-5349（2020）15-0157-02

英語寫作在英語學(xué)習(xí)中起著非常重要的作用。隨著過程寫作方法被引入到第二語言寫作領(lǐng)域，反饋成了寫作教學(xué)的重要組成部分[1]。而研究表明，使用AES系統(tǒng)不僅能夠提高教師批改作文的效率，而且能提升作文質(zhì)量和提高學(xué)習(xí)者的英語寫作能力[2]。本研究的數(shù)據(jù)主要來源于“句酷批改網(wǎng)”?！熬淇崤木W(wǎng)”是目前國內(nèi)較有代表性的作文自動評分系統(tǒng)之一。

一、研究背景

Carroll（1994）將語言輸入分成兩類：一類輸入和二類輸入。前者指學(xué)習(xí)者從周圍環(huán)境中獲得的正確的目的語語言輸入;后者則指包括清楚的或含蓄的反饋在內(nèi)的否定輸入，主要是對學(xué)習(xí)者有關(guān)語言學(xué)習(xí)的假設(shè)進行修正的輸入。即自主進行對比分析，意識到其中的不同或錯誤，從而引發(fā)對其已有知識的再分析與再建構(gòu)，錯誤也就促進了變化和學(xué)習(xí)的發(fā)生[3]。因此，反饋也是一種語言輸入，且只有學(xué)習(xí)者自己的識別能使反饋有意義。同Schmidt（1990）提出的注意假說——只有被學(xué)習(xí)者注意到的語言信息才能被吸收[4]。

因此，本研究中，將學(xué)習(xí)者在獲得AES反饋后進行的進一步反饋，即二類輸入，稱為自我反饋。在線作文自我修改即學(xué)習(xí)者通過不斷地自我反饋來反復(fù)修改作文的過程。假設(shè)學(xué)習(xí)者可以注意到來自AES系統(tǒng)的反饋，并有效地進行自我反饋，則可習(xí)得語言。如此，學(xué)習(xí)者是否能注意到AES系統(tǒng)提供的信息繼而進行有效的自我反饋？在線作文自我修改過程存在哪些特征？如何有效使用AES系統(tǒng)輔助寫作教學(xué)？這些問題就顯得尤為重要。然而，國內(nèi)目前鮮有這方面的研究。已有的研究發(fā)現(xiàn)，AES系統(tǒng)可以激發(fā)更多的自我修改，因為存在學(xué)生不信任AES反饋的情況[5]。圍繞以上問題，本研究采用對比分析法，對學(xué)生在線寫作的初稿、終稿及相應(yīng)的AES反饋進行了分析，以期能為將來的在線作文自我修改和AES反饋相關(guān)研究提供參考和啟發(fā)。

二、數(shù)據(jù)收集與分析

本研究中使用的原始數(shù)據(jù)來自“句酷批改網(wǎng)”的“四川百萬同題數(shù)據(jù)”。在開展“四川百萬同題數(shù)據(jù)”線上英語寫作活動期間，學(xué)生在“句酷批改網(wǎng)”上就同一主題進行寫作、修改和提交作文，并進行自主學(xué)習(xí)。學(xué)生可不斷修改和提交作文直到滿意為止。本研究選用的作文題目“How Will AI Affect Our Life”由北京大學(xué)提供，此題主要關(guān)注中國學(xué)生在大數(shù)據(jù)時代背景下對人工智能的思考與態(tài)度。

研究中使用的180份作文樣本（初稿和終稿）均來自優(yōu)秀組織學(xué)校。篩選條件如下：（1）修改次數(shù)不少于30;（2）不存在抄襲嫌疑。最終數(shù)據(jù)文件包含每篇作文的以下信息：初稿、終稿、提交次數(shù)、作文編號及初稿和終稿分數(shù)。研究者對每篇作文的初稿、終稿及相應(yīng)的AES反饋進行了人工分析。分析內(nèi)容主要為詞匯部分，包括拼寫錯誤、詞匯誤用、警示信息、修改建議及拓展內(nèi)容等。

三、結(jié)果與討論

研究發(fā)現(xiàn)，“句酷批改網(wǎng)”給出的所有詞匯錯誤反饋中，最常見且準確的是拼寫錯誤。但系統(tǒng)無法根據(jù)語境判斷詞匯是否使用正確，且該網(wǎng)給出的反饋信息也并不完全正確，部分信息較模糊，甚至?xí)貜?fù)提示同一個錯誤。當(dāng)句子較為復(fù)雜或句中錯誤較多時，系統(tǒng)基本無法識別拼寫以外的錯誤。部分典型修改案例如表1（見下頁）所示。

文本03初稿句3.2的反饋并未提示句中存在多余的單詞is的問題。其終稿中句子中的terrible被用于修飾代詞，卻被警示為“terrible疑為形容詞誤用為副詞”。但學(xué)生僅刪除了is，并且未修改terrible。從文本07句4.6的修改信息來看，學(xué)生對系統(tǒng)未識別的錯誤進行了修改。文本34初稿句1.1的時態(tài)錯誤被系統(tǒng)誤判為名詞錯誤，而學(xué)生通過自我反饋將change改為convert，但最終系統(tǒng)和學(xué)生都沒有意識到真正的錯誤。文本55初稿句1.4的反饋反復(fù)提示情態(tài)動詞誤用，但因為反饋信息模糊，導(dǎo)致學(xué)生錯誤地刪除了will。初稿句2.3中單詞collection被誤用作動詞，但是系統(tǒng)并未給出提示，其終稿反饋中提示了collection的誤用問題，但學(xué)生并未進行修改。

結(jié)果顯示，學(xué)生基本能根據(jù)反饋更正拼寫錯誤等易識別的錯誤。但并非所有修改行為都是按照AES系統(tǒng)反饋進行的，部分學(xué)生能夠根據(jù)已有知識識別并忽略部分錯誤反饋信息，或?qū)ο到y(tǒng)沒有識別出的錯誤進行正確修改。這表明學(xué)生在修改過程中實現(xiàn)了有效的自我反饋，并不完全依賴AES反饋。但也存在學(xué)生被錯誤或模糊的反饋信息誤導(dǎo)的情況。因為部分學(xué)生完全信任AES反饋或缺乏相關(guān)英語知識，所以無法辨別反饋信息的對錯。此外，研究還發(fā)現(xiàn)，學(xué)生在線作文修改過程中，通常只關(guān)注錯誤提示的相關(guān)反饋，而忽略建議和警示內(nèi)容。不排除大部分學(xué)生只想快速更正錯誤并完成自己的作文的可能性。

四、結(jié)語

本研究通過對90篇在線作文的初稿、終稿及對應(yīng)的AES反饋進行分析發(fā)現(xiàn)，AES系統(tǒng)對詞匯部分的反饋，最常見且準確的是拼寫錯誤。但系統(tǒng)給出的反饋信息并非完全可靠。針對在線作文自我修改過程的特征，得出如下結(jié)論：（1）學(xué)習(xí)者能夠注意到AES反饋信息并修改易識別的詞匯錯誤，如拼寫錯誤;（2）學(xué)習(xí)者并不完全依賴AES反饋，且能進行有效的自我反饋;（3）AES反饋在某種程度上對學(xué)習(xí)者的自我反饋有負面影響;（4）學(xué)習(xí)者通常只關(guān)注對寫作錯誤的反饋，易忽略系統(tǒng)給出的建議和警示信息。

因此，AES系統(tǒng)更適用于作文修改的初始階段，用于識別簡單的詞匯拼寫和搭配錯誤等。這不但可以促使學(xué)生進行自我修改，還可以節(jié)省教師的時間，使其有更多精力去關(guān)注作文內(nèi)容和結(jié)構(gòu)。但在使用AES系統(tǒng)輔助寫作教學(xué)之前，教師需指導(dǎo)學(xué)生正確地使用AES系統(tǒng)進行在線寫作。同時，教師應(yīng)讓學(xué)生知道AES反饋并非完全可信，應(yīng)將已學(xué)知識和系統(tǒng)反饋相結(jié)合來修改作文。最后，教師應(yīng)引導(dǎo)學(xué)生更多地關(guān)注AES系統(tǒng)提供的建議和警示部分，以擴展學(xué)生的語言知識面，培養(yǎng)學(xué)生的自主學(xué)習(xí)能力。

參考文獻：

[1]郭翠紅，秦曉晴.國外二語學(xué)習(xí)者作文書面反饋研究[J].解放軍外國語學(xué)院學(xué)報，2006（5）：59-63.

[2]楊曉瓊，戴運財.基于批改網(wǎng)的大學(xué)英語自主寫作教學(xué)模式實踐研究[J].外語電化教學(xué)，2015（2）：17-23.

[3]Carroll S，Swain M. Explicit and Implicit Negative Feedback：An empirical study of the learning of linguistic generalizations[J].Studies in Second Language Acquisition，1993（15）：357-386.

[4]Schmidt R.The Role of Consciousness in Second Language Learning[J].Applied Linguistics，1990（11）：129-158.

[5]武永，張文霞.作文自動評價系統(tǒng)和教師反饋對大學(xué)生英語作文修改的影響研究[J].中國外語教育，2016（1）：12-19，91.

責(zé)任編輯：張蕊