AES技術(shù)下大學(xué)英語寫作趨勢大數(shù)據(jù)分析與未來展望
——基于2018—2020年百萬同題英文寫作大數(shù)據(jù)報告

胡宏恩

(福建農(nóng)林大學(xué)金山學(xué)院，福州 350007)

互聯(lián)網(wǎng)時代，信息技術(shù)的廣泛運(yùn)用和交叉學(xué)科的跨越式發(fā)展給現(xiàn)代教育帶來了巨大沖擊和挑戰(zhàn)，既有的教學(xué)方式、學(xué)習(xí)方式、評價方式乃至教學(xué)研究方式已無法滿足新時代對人才培養(yǎng)的要求，2010年發(fā)布的《國家中長期教育改革和發(fā)展規(guī)劃綱要》就明確提出要“強(qiáng)化信息技術(shù)運(yùn)用,提高教師運(yùn)用信息技術(shù)水平，更新教學(xué)觀念，改進(jìn)教學(xué)方法，提高教學(xué)效果。鼓勵學(xué)生利用信息手段主動學(xué)習(xí)、自主學(xué)習(xí)，增強(qiáng)運(yùn)用信息技術(shù)分析解決問題能力”。鑒于此背景，我們有必要研究大數(shù)據(jù)背景下英文自動批改技術(shù)(AES)的特點(diǎn)和發(fā)展趨勢，為大學(xué)英文寫作提供綜合性的學(xué)情分析和未來展望。

一、大數(shù)據(jù)時代的外語教育

大數(shù)據(jù)(Big Data)又被稱之為巨量資料，指的是海量、高增長率和多樣化信息資產(chǎn)。不同于以往的信息處理，對這一海量數(shù)據(jù)的集合的有效處理往往能帶來更強(qiáng)的決策力和敏銳的洞察力。在教學(xué)實踐中，數(shù)據(jù)能告訴教學(xué)研究者學(xué)習(xí)者的學(xué)習(xí)行為、學(xué)習(xí)進(jìn)程、學(xué)習(xí)策略以及學(xué)習(xí)態(tài)度等特點(diǎn)與動態(tài)變化，同時教師的教學(xué)行為、評價效度等因素也將通過數(shù)據(jù)得以量化顯現(xiàn)。大數(shù)據(jù)背景下的外語教學(xué)，教師的角色將徹底轉(zhuǎn)變?yōu)閷W(xué)習(xí)引導(dǎo)者，而學(xué)生將成為完全的核心，自我的發(fā)展空間將在大數(shù)據(jù)時代得到全面拓展，大數(shù)據(jù)的細(xì)節(jié)能夠讓學(xué)習(xí)者性格、認(rèn)知傾向、動機(jī)類型等因素得到顯性展示，教師的教學(xué)理念、認(rèn)知方式、互動風(fēng)格、反饋特點(diǎn)等因素也可以得到有效的數(shù)據(jù)分析[1]。

在寫作教學(xué)上，大數(shù)據(jù)對于英文寫作教學(xué)的改變將是巨大且充滿極大潛能的，有學(xué)者認(rèn)為“大數(shù)據(jù)時代特點(diǎn)為大學(xué)英語寫作教學(xué)，包括寫作教學(xué)資源、寫作目的、寫作內(nèi)容與組織、寫作輔助手段與工具、寫作評估以及寫作能力的內(nèi)涵都帶來了從觀念到行為上多方面的變化”[2]。以批改網(wǎng)組織的百萬同題活動為例，累計參與人數(shù)已超過700萬人，其中高校學(xué)生約占93%。其每年發(fā)布的百萬同題英文寫作大數(shù)據(jù)報告對英文寫作教學(xué)尤其是中國高校英語寫作大數(shù)據(jù)的收集與研究有著重要意義。

二、基于語料庫交互式AES技術(shù)對英文寫作批改的影響

自動寫作批改技術(shù)(Automated Essay Scoring,以下簡稱AES)即利用計算機(jī)技術(shù)對作文進(jìn)行評估與評分。總體而言，近60年來AES技術(shù)經(jīng)歷了單一分?jǐn)?shù)評定—合作分?jǐn)?shù)評定—人機(jī)交互評改三個階段[3]。不同于前代AES技術(shù)，以批改網(wǎng)為代表的基于語料庫交互式AES作為AES的最新研發(fā)成果，其具有以下幾個特點(diǎn)。

1.實現(xiàn)了“所學(xué)評估”(assessment of learning)到評估即為學(xué)(assessment as learning)的歷史性轉(zhuǎn)變。評價體系從以評價學(xué)生所學(xué)為特點(diǎn)的第一階段，發(fā)展成以促進(jìn)學(xué)生學(xué)習(xí)為特點(diǎn)的第二階段，并最終向著評估即為學(xué)的境界發(fā)展。這也符合Stufflebeam所倡導(dǎo)的：評價的目的不在于證明而在于改善。

2.個性化，多維度的終結(jié)性和形成性反饋。以批改網(wǎng)為例，其對詞匯的子維度、句子的子維度、篇章結(jié)構(gòu)的子維度以及內(nèi)容的子維度進(jìn)行劃分共可以得到總計192個維度且未來子維度數(shù)量還將不斷細(xì)化。此外，交互式AES的構(gòu)思—擬稿—評估—反饋—修改—再反饋—再修改的循環(huán)式寫作也滿足了過程性評估的需求。

3.基于互聯(lián)網(wǎng)語料庫的即時反饋和逐句點(diǎn)評。目前國內(nèi)交互式AES評價主要是基于互聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)下的語料庫，通過比較學(xué)生作文和互聯(lián)網(wǎng)大數(shù)據(jù)語料庫之間的距離，并通過一定的算法將之映射成分?jǐn)?shù)和點(diǎn)評。所提供的即時反饋和逐句點(diǎn)評有助于學(xué)生自主借助網(wǎng)絡(luò)進(jìn)行搜索、選擇、創(chuàng)新，提高其自我糾錯能力，實現(xiàn)建構(gòu)主義發(fā)展教學(xué)觀。

三、2018—2020年大學(xué)生百萬同題英文寫作數(shù)據(jù)分析

1.自主學(xué)習(xí)效用趨于穩(wěn)定上升。經(jīng)統(tǒng)計，近三年平均修改次數(shù)逐年上升，由2018年的平均修改次數(shù)6.6次，上升為了2020年的8.6次，人機(jī)互動學(xué)習(xí)效率有明顯提高。如圖1所示，985&211高校與普通高校學(xué)生的終稿得分均有明顯提升，分?jǐn)?shù)提升幅度均保持在5%以上，體現(xiàn)自主學(xué)習(xí)效用日趨明顯，這也符合過程化寫作理論，該理論主張“好的修改”優(yōu)于“好的作文”。在多稿寫作中，通過構(gòu)思、撰寫、反饋、修改、編輯等步驟完成了寫作所涉及的循環(huán)、線性認(rèn)知的過程[4]。

2.校際差異進(jìn)一步縮小。如圖2所示，相較于普通高校，985&211高校學(xué)生雖在詞匯難度，句子長度，從句密度以及文章長度方面均保持一定優(yōu)勢，但近三年，其在上述維度的優(yōu)勢正在急劇縮小，在句子長度方面，普通高校甚至已經(jīng)實現(xiàn)了反超。這體現(xiàn)了近年普通高校英語教學(xué)水平經(jīng)過一系列教學(xué)改革后取得了明顯進(jìn)步，學(xué)生在顯性的語言指標(biāo)(如文章長度、句子長度、從句密度)上均與985&211高校無明顯差異。

3.在修飾詞比例上校際差異持續(xù)擴(kuò)大。如圖2所示，在修飾詞比例上，985&211高校優(yōu)勢逐年擴(kuò)大(0.65%-7.41%)。修飾詞比例是指起修飾作用的形容詞、副詞在句子中所占比例，數(shù)值越高則表述可能更為具體。詞匯豐富度(lexical richness)是評價學(xué)習(xí)者總體語言水平的重要指標(biāo)，可以評估作者詞匯運(yùn)用的深度和廣度，其影響因素包括了詞匯多樣性(lexical variation)、詞匯密度(lexical density)、詞匯復(fù)雜度(lexical sophistication)[5]。而形容詞多樣性則是詞匯豐富度的多維特征之一。在修飾詞使用比例上校際差異的持續(xù)擴(kuò)大提醒普通高校教師要積極引導(dǎo)學(xué)生在寫作中注重表達(dá)的適度與準(zhǔn)確性，同時還要注重提升修飾詞使用的豐富性。

四、AES技術(shù)提升與未來展望

(一)AES技術(shù)提升

當(dāng)前AES偏重點(diǎn)評表層微觀語言錯誤。受限于當(dāng)前技術(shù)因素、寫作理念、語義理論等多方因素，對表層微觀的語言錯誤的高點(diǎn)評率不僅是AES的優(yōu)勢，同時也是其主要的局限因素。通過統(tǒng)計近三年共有的錯誤類型數(shù)據(jù)發(fā)現(xiàn)，所能識別并形成數(shù)據(jù)展示的53個維度均為語言表層因素，而構(gòu)成人類眼中“好文章”的要素，例如“邏輯、清晰度、內(nèi)容與主題關(guān)聯(lián)度、修辭風(fēng)格(如幽默或反諷)、論證方式[6]”等要素均未轉(zhuǎn)化為可視的數(shù)據(jù)展現(xiàn)。如圖3所示，單詞拼寫(25.31%)、單詞大小寫(14.59%)、主謂一致(8.32%)均為最常見的錯誤類型。語言的表層錯誤高識別率雖能體現(xiàn)當(dāng)前AES的技術(shù)優(yōu)勢，但從側(cè)面反映了當(dāng)前AES技術(shù)的短板，即對作文的宏觀語言方面(內(nèi)容、語篇)無法進(jìn)行有效的識別與評估。Hutchison指出，相比于語法、結(jié)構(gòu)等方面，當(dāng)前AES技術(shù)對于文章的趣味性、與主題的相關(guān)性等抽象內(nèi)在因素的評判有很大的提升空間[7]。

對于不同水平學(xué)習(xí)者的運(yùn)用效果有明顯不同。以批改網(wǎng)為代表的基于語料庫交互式的AES的局限性在于對于較低水平的寫作者幫助明顯，而對于較高水平的寫作者反撥作用相對有限，對于較低水平的錯誤修正效果好，對于較復(fù)雜的錯誤修正效果不佳。有研究者通過實驗發(fā)現(xiàn)，使用AES系統(tǒng)的實驗組在作文結(jié)構(gòu)，語法，單詞拼寫和標(biāo)點(diǎn)運(yùn)用方面的分?jǐn)?shù)顯著高于不使用軟件的對照組，但是在思想內(nèi)容方面的提高卻不顯著[8]。如圖4所示，對于較低水平錯誤(例如拼寫類錯誤)其平均修正率高達(dá)60.6%，與搭配類錯誤平均修正率(33.5%)差異明顯，顯示了AES對于較低水平錯誤的修改幫助要遠(yuǎn)大于較復(fù)雜錯誤的修正幫助，而搭配類錯誤目前系統(tǒng)仍無法給出建議，需要教師的介入給予指導(dǎo)，也體現(xiàn)了AES在搭配類錯誤校正的短板。

圖1 錯誤類型修正率(2018—2020)

系統(tǒng)所提供的評語較為程序化，不少學(xué)生反映，系統(tǒng)對于不同題目、不同題材的作文所提供的評價無明顯差異，如結(jié)構(gòu)不清晰，所使用的詞匯不高階，疑似中式英語[9]，這從側(cè)面也佐證了當(dāng)前AES評價效度受限于寫作題材，這是由于當(dāng)前AES系統(tǒng)研發(fā)方向主要為說明文、議論文和紀(jì)要，從近三年百萬同題活動的比賽題目均為議論文也可見一斑。

(二)AES運(yùn)用的未來展望

在研發(fā)方面，AES技術(shù)研發(fā)應(yīng)是寫作教師、軟件開發(fā)人員、認(rèn)知心理學(xué)家與信息技術(shù)工程師協(xié)同合作的過程，需體現(xiàn)多學(xué)科視角，而當(dāng)前AES技術(shù)仍側(cè)重于計算機(jī)語言學(xué)視角，而非寫作研究學(xué)視角；其多被運(yùn)用于說明文、議論文和紀(jì)要，較少運(yùn)用其他文體。未來研發(fā)將更多運(yùn)用多維視角和跨學(xué)科對話以提供更為客觀全面的學(xué)情報告數(shù)據(jù)。

在教師角色方面，在互聯(lián)網(wǎng)大數(shù)據(jù)時代，學(xué)生可獲得的數(shù)據(jù)資源并不比教師少，教師的主要角色將徹底從知識資源的傳遞者轉(zhuǎn)變?yōu)樽灾鲗W(xué)習(xí)資源的整合者和自主學(xué)習(xí)策略的引導(dǎo)者，教師將充分利用多樣化數(shù)字資源，激發(fā)學(xué)生對話題的探究和批判思維，提高自主學(xué)習(xí)的效度，并根據(jù)學(xué)生需求，給予個性化支持與反饋。在寫作教學(xué)方面，教師角色將成為數(shù)字資源整合者，AES寫作數(shù)據(jù)的分析者、數(shù)據(jù)驅(qū)動精準(zhǔn)教學(xué)的設(shè)計者和學(xué)生寫作水平專業(yè)測評人。

在人機(jī)協(xié)作領(lǐng)域，由于對內(nèi)容維度的測量(例如審題立意、謀篇布局、論證和修辭層面)處于初級階段，未能提供對上述高階特征進(jìn)行有效科學(xué)識別的理據(jù)，因此對學(xué)生進(jìn)行智能個性化的輔導(dǎo)仍然無法實現(xiàn)，相信在未來很長的一段時間里，教師與AES共同協(xié)作分工將是AES運(yùn)用的主流，AES側(cè)重于可量化的語法、句法、詞匯維度的評分，而教師將側(cè)重內(nèi)容維度的評價。當(dāng)然，隨著自然語言處理等技術(shù)的發(fā)展，新一代AES的算法將更加契合核心寫作構(gòu)念，從而更具意義，更有解釋價值。可以預(yù)見，后續(xù)的AES交互技術(shù)將引入學(xué)生協(xié)作寫作和互評機(jī)制，或者AES協(xié)助教師挑選出典型樣本以供教師精細(xì)批改，為評改教學(xué)提供展示。個性化和人機(jī)交互將愈來愈成為大數(shù)據(jù)時代寫作教學(xué)的方向。

五、結(jié)語

AES技術(shù)經(jīng)歷了50年的發(fā)展至今，從關(guān)注可行性與信度(評價準(zhǔn)確度與速度)，演化為關(guān)注效度(語義與修辭特征)，而以批改網(wǎng)為代表的基于互聯(lián)網(wǎng)大數(shù)據(jù)的交互式批改技術(shù)在兼顧前代技術(shù)特點(diǎn)的基礎(chǔ)上，關(guān)注評價的后效(能否激發(fā)學(xué)生的有效寫作學(xué)習(xí))，回歸了寫作評估的本質(zhì)，即能否促進(jìn)寫作者的個性化發(fā)展。

近三年的百萬同題英文寫作大數(shù)據(jù)報告為我們提供了AES角度下的大學(xué)生英文寫作的學(xué)情變化，同時也從側(cè)面反映了當(dāng)前AES技術(shù)還存在的問題，面臨的諸多挑戰(zhàn)。比如不少教師對于AES是否會促進(jìn)寫作的形式主義的擔(dān)憂，評價體系過于強(qiáng)調(diào)寫作的表層特征，最終淪為為機(jī)器而寫作的寫作者。但隨著未來更多人工智能與自然語言處理技術(shù)的運(yùn)用，文本分析質(zhì)量與維度也將充滿新的可能，為大學(xué)英文寫作教學(xué)與評價提供更加科學(xué)有效的新路徑。