論大學(xué)英語(yǔ)作文在線自動(dòng)批改的維度缺失和人工干預(yù)

楊昌周　彭思祥

摘 要：英語(yǔ)作文在線自動(dòng)批改成為學(xué)生提高寫作水平和高校進(jìn)行“百萬(wàn)同題”作文競(jìng)賽的海選幫手，但經(jīng)分析可知，此評(píng)價(jià)系統(tǒng)對(duì)作文進(jìn)行質(zhì)量反饋時(shí)和提出修改建議時(shí)側(cè)重于語(yǔ)言圖式，較少關(guān)注形式圖式，缺失對(duì)內(nèi)容圖式的關(guān)注，因此，應(yīng)該進(jìn)行人工干預(yù)，在海選評(píng)價(jià)中隨競(jìng)賽級(jí)別的提高而增加人工干預(yù)的權(quán)重，在提高學(xué)生寫作訓(xùn)練中適當(dāng)?shù)卦黾尤斯づ牡呐⒑同F(xiàn)場(chǎng)點(diǎn)評(píng)。

關(guān)鍵詞：大學(xué)英語(yǔ)寫作；作文在線自動(dòng)批改；作文評(píng)價(jià)；圖式

隨著社會(huì)科技的發(fā)展，現(xiàn)代教育技術(shù)和教育教學(xué)深度融合的理念漸入人心，英語(yǔ)作文批改網(wǎng)無(wú)疑是踐行此理念的行動(dòng)之一。英語(yǔ)作文批改網(wǎng)是一款基于云計(jì)算智能批改英語(yǔ)作文的在線服務(wù)系統(tǒng)，它通過(guò)計(jì)算學(xué)生作文和標(biāo)準(zhǔn)語(yǔ)料庫(kù)之間的距離，即時(shí)生成學(xué)生作文的得分和語(yǔ)言及內(nèi)容分析結(jié)果，除了給作文自動(dòng)打分外，還提供作文的整體評(píng)語(yǔ)，并在詞匯、語(yǔ)法、用詞、表達(dá)不規(guī)范的地方給予反饋提示，給學(xué)生修改的建議，以提高學(xué)生的英語(yǔ)寫作水平。它不但及時(shí)反饋學(xué)生的作文質(zhì)量和提供改進(jìn)建議，而且還減輕了英語(yǔ)教師的工作量。同時(shí)，此評(píng)價(jià)系統(tǒng)成為了高校進(jìn)行“百萬(wàn)同題”作文競(jìng)賽的海選幫手。那么，英語(yǔ)教師在培養(yǎng)學(xué)生的寫作能力上是否可以籍此利器而高枕無(wú)憂呢？作文競(jìng)賽中海選的評(píng)比結(jié)果的信度如何呢？這需要對(duì)在線批改的評(píng)價(jià)維度是否涵蓋了作文的質(zhì)量指標(biāo)進(jìn)行考察和審視。

一、作文質(zhì)量的核心評(píng)價(jià)維度

作文是傳遞信息和闡述意義的符號(hào)性載體，此載體內(nèi)部要素指向同一旨意并且相互聯(lián)系，涉及到三個(gè)方面：語(yǔ)言圖式，信息圖式和形式圖式，語(yǔ)言圖式指語(yǔ)言項(xiàng)目，包括詞匯、短語(yǔ)、句子、語(yǔ)法等方面；信息圖式指符號(hào)所表達(dá)的信息結(jié)構(gòu)和世界圖式；形式圖式表示語(yǔ)言符號(hào)傳遞信息所采用的語(yǔ)言組織形式。因此，判斷作文的質(zhì)量，涉及三個(gè)維度：語(yǔ)言知識(shí)、信息內(nèi)容和結(jié)構(gòu)形式。語(yǔ)言知識(shí)涉及詞匯、短語(yǔ)、句式、句法、語(yǔ)法等。信息內(nèi)容包括內(nèi)涵、結(jié)構(gòu)和容量。內(nèi)涵要切題，具價(jià)值性、教育性、創(chuàng)造性。結(jié)構(gòu)指信息項(xiàng)目之間具有條理性和邏輯性，容量指信息含量豐富，不能過(guò)于簡(jiǎn)略，支持材料要豐富生動(dòng)。結(jié)構(gòu)形式指語(yǔ)言組織形式要符合規(guī)范，遵循已有的信息傳遞模式，體現(xiàn)出連貫性和銜接性。

二、在線作文自動(dòng)批改的評(píng)價(jià)維度

為了了解在線作文自動(dòng)批改的評(píng)價(jià)維度，研究通過(guò)分析在線批改界面中呈現(xiàn)的評(píng)價(jià)話語(yǔ)和修改建議，提煉出評(píng)價(jià)維度。通過(guò)分析可知，提交在英語(yǔ)作文批改網(wǎng)上的每一篇得到反饋，反饋方式包括評(píng)價(jià)和提出修改建議，評(píng)價(jià)有總體評(píng)價(jià)和按句點(diǎn)評(píng)。在總體評(píng)價(jià)中，評(píng)價(jià)維度主要有格式、詞匯、銜接詞、短語(yǔ)、句子和結(jié)構(gòu)。在按句點(diǎn)評(píng)中，既包括錯(cuò)誤分析，又包括改進(jìn)建議，建議方式包括推薦表達(dá)、拓展辨析、近義詞表達(dá)學(xué)習(xí)、學(xué)習(xí)提示，詳情見下表1所示。

三、在線作文自動(dòng)批改的維度缺失表現(xiàn)

根據(jù)作文質(zhì)量評(píng)價(jià)維度可知，在線作文自動(dòng)批改主要集中于語(yǔ)言圖式評(píng)價(jià)，較少涉及形式圖式評(píng)價(jià)，缺失內(nèi)容圖式評(píng)價(jià)。

在語(yǔ)言圖式評(píng)價(jià)上，評(píng)價(jià)項(xiàng)目主要涉及書寫格式、詞匯的難易度、短語(yǔ)搭配、句式復(fù)雜度、句子規(guī)范度。在語(yǔ)言圖式方面的修改建議中，主要集中于詞匯層面，通過(guò)推薦表達(dá)、拓展辨析、近義詞學(xué)習(xí)和易混詞提示等方式完成。在語(yǔ)言圖式的評(píng)價(jià)上，在線自動(dòng)批改做得很精細(xì)，單詞的拼寫是否正確等細(xì)節(jié)可以得到精確檢測(cè)。

在形式圖式評(píng)價(jià)上，評(píng)價(jià)項(xiàng)目主要涉及格式規(guī)范、過(guò)渡詞和銜接詞的使用以及整體結(jié)構(gòu)質(zhì)量。對(duì)格式規(guī)范問(wèn)題檢測(cè)很精準(zhǔn)。對(duì)形式圖式的評(píng)價(jià)方式體現(xiàn)為通過(guò)對(duì)“過(guò)渡詞”和“銜接詞”的使用是否豐富、合理進(jìn)行描述，或者用“結(jié)構(gòu)嚴(yán)謹(jǐn)”或“行文流暢…”之類的詞進(jìn)行描述。從中看出，在形式圖式評(píng)價(jià)上存在以下不足。

其一，對(duì)語(yǔ)篇結(jié)構(gòu)的評(píng)價(jià)較少。在總體評(píng)價(jià)的話語(yǔ)里，“過(guò)渡詞”和“銜接詞”出現(xiàn)頻次較高，對(duì)整體結(jié)構(gòu)進(jìn)行評(píng)價(jià)較少。其二，對(duì)語(yǔ)篇結(jié)構(gòu)的評(píng)價(jià)用語(yǔ)較為模糊。在結(jié)構(gòu)層次的評(píng)價(jià)中，例如“結(jié)構(gòu)嚴(yán)謹(jǐn)”“行文流暢”“結(jié)構(gòu)不錯(cuò)”等描述用詞，涵意大而籠統(tǒng)，難以精確定位文章在結(jié)構(gòu)上的優(yōu)點(diǎn)和缺點(diǎn)所在。即使高頻使用的“過(guò)渡詞”和“銜接詞”，在信息傳遞上也較模糊，“豐富的”“恰當(dāng)好處”“簡(jiǎn)單的”等限定詞難以指明努力方向。其三、缺乏結(jié)構(gòu)層次的修改建議。修改建議集中于單詞和短語(yǔ)的推薦表達(dá)，雖然在總體評(píng)語(yǔ)里面有關(guān)于銜接詞、過(guò)渡詞和結(jié)構(gòu)的概述，但是在修改意見里缺乏關(guān)于這些方面的具體修改意見，缺乏對(duì)語(yǔ)義連貫和語(yǔ)篇銜接關(guān)注，對(duì)語(yǔ)篇的語(yǔ)義斷裂和邏輯凌亂等現(xiàn)象不予提及。

在內(nèi)容圖式上，缺乏對(duì)作文內(nèi)容、意義、價(jià)值等方面的評(píng)價(jià)，對(duì)作文的信息豐富程度、思想深度和教育啟迪性等方面沒(méi)有提及?？梢哉f(shuō)，在線自動(dòng)批改作文側(cè)重于形式，而忽視了內(nèi)涵。

總之，在線作文自動(dòng)批改評(píng)價(jià)系統(tǒng)為學(xué)生寫作提供了即時(shí)反饋，并提出了修改建議，成為學(xué)生自學(xué)英語(yǔ)寫作的好幫手，特別是在寫作基礎(chǔ)階段，對(duì)作文中的詞匯、句式、句法、語(yǔ)法等語(yǔ)言項(xiàng)目進(jìn)行了詳細(xì)評(píng)價(jià)和提出修改策略。這一點(diǎn)甚至比人工修改更加詳細(xì)，尤其是在同義推薦表達(dá)上，其源于語(yǔ)料庫(kù)的資源比人工修改能提供更多的備選項(xiàng)目，這無(wú)疑為豐富學(xué)生的語(yǔ)言表達(dá)提供了堅(jiān)實(shí)的支撐。然而，如果英語(yǔ)寫作進(jìn)入了中階或高階階段，以語(yǔ)言圖式為聚焦點(diǎn)的評(píng)價(jià)信度就受到了影響，如果說(shuō)，兩篇作文在語(yǔ)言項(xiàng)目上差異性不顯著，那么就應(yīng)該從形式圖式去評(píng)價(jià)內(nèi)容的整體性、邏輯性、連貫性等，以及從內(nèi)容維度卻評(píng)判信息的豐富性、內(nèi)涵的深刻性和價(jià)值的啟迪性等。因此，對(duì)在線作文自動(dòng)批改進(jìn)行人工干預(yù)是必要的。

四、對(duì)在線作文自動(dòng)批改的人工干預(yù)措施

在線作文自動(dòng)批改評(píng)價(jià)系統(tǒng)為學(xué)生寫作提供了即時(shí)反饋，為基礎(chǔ)階段寫作提供了語(yǔ)言表達(dá)方面的修改建議，這種及時(shí)反饋縮短了自我強(qiáng)化時(shí)間，加深了學(xué)習(xí)效果。但是，這種基于語(yǔ)料庫(kù)而進(jìn)行的語(yǔ)言圖式的單維度評(píng)價(jià)不足以評(píng)價(jià)優(yōu)質(zhì)作文，也不利于產(chǎn)生優(yōu)質(zhì)作文，如果將作文在線自動(dòng)批改作為作文競(jìng)賽的助手，那么，其可信度是否得以保證？如果要加人工批改，各自的權(quán)重應(yīng)該為多少？因此，如果需要人工修改對(duì)在線自動(dòng)批改進(jìn)行干預(yù)，那么就需要進(jìn)行科學(xué)的研究，干預(yù)性研究方案包括以下內(nèi)容。

首先，組建人工批改隊(duì)伍，對(duì)每個(gè)批改老師在同一批改對(duì)象上的評(píng)價(jià)分?jǐn)?shù)是否具有一致性，同時(shí)，在間隔若干時(shí)間后，同一批改樣本進(jìn)行再次批改，以檢驗(yàn)批改分?jǐn)?shù)的穩(wěn)定性，從橫向和縱向上確定批改分?jǐn)?shù)的效度和信度。

其次，在保證人工批改的信度和效度的基礎(chǔ)上，進(jìn)行作文在線批改和人工批改的對(duì)比研究，比較兩者之間的差異性是否達(dá)到顯著水平。這種比較要按照作文水平來(lái)進(jìn)行，檢驗(yàn)兩者的批改分?jǐn)?shù)在不同層次的作文上是否存在差異的顯著性。非英語(yǔ)專業(yè)的一、二學(xué)生為第一層次，英語(yǔ)專業(yè)的一、二學(xué)生為第二層，英語(yǔ)專業(yè)的三、四學(xué)生為第三層。通過(guò)對(duì)比研究，看在線自動(dòng)批改的分?jǐn)?shù)與人工批改的分?jǐn)?shù)的差異顯著性是否明顯。

如果兩者的分?jǐn)?shù)差異不顯著，就認(rèn)可在線自動(dòng)批改的評(píng)價(jià)結(jié)果。如果兩者的分?jǐn)?shù)差異顯著，需要分析存在差異的評(píng)價(jià)維度有哪些，思考如何通過(guò)各個(gè)維度的權(quán)重分配來(lái)盡量降低這種差異導(dǎo)致的不公平。例如，如果在線自動(dòng)批改側(cè)重于語(yǔ)言圖式，即詞匯、語(yǔ)法、句子等是否規(guī)范，而人工批改側(cè)重于內(nèi)容圖式和形式圖式，即內(nèi)容信息量、深度、價(jià)值、教育性以及語(yǔ)篇的連貫性和銜接性，那么就對(duì)語(yǔ)言圖式、內(nèi)容圖式和形式圖式進(jìn)行權(quán)重分配，因?yàn)闄?quán)重分配會(huì)隨著作文等級(jí)的上升而調(diào)整，作文等級(jí)越高，其在語(yǔ)言圖式上得分越趨相同，此維度的區(qū)分度就越低，因此，對(duì)等級(jí)高的作文，內(nèi)容圖式和形式圖式所占的分?jǐn)?shù)權(quán)重就越大。根據(jù)此權(quán)重分配方案，綜合在線自動(dòng)批改的分?jǐn)?shù)和人工批改的分?jǐn)?shù)，得出較為合理的分?jǐn)?shù)。

當(dāng)然，如果即使兩者差異明顯，但是同一批改行為的內(nèi)部差異性相似，也就是雖然人工批改分?jǐn)?shù)和在線自動(dòng)批改分?jǐn)?shù)雖然不同，但是他們對(duì)某樣本群體所作的等級(jí)鑒定是一樣的，那么，就可以在競(jìng)賽活動(dòng)的海選層次上承認(rèn)在線自動(dòng)批改的評(píng)價(jià)結(jié)果。

總之，在線作文自動(dòng)批改為提高學(xué)生英語(yǔ)寫作提供了良好資源，成為進(jìn)行“百萬(wàn)同題”的作文競(jìng)賽的有益幫手，其評(píng)價(jià)維度的缺失也不容小覷，應(yīng)該加以合理的人工干預(yù)。

基金項(xiàng)目：2016年貴州省本科教學(xué)工程項(xiàng)目（專業(yè)綜合改革試點(diǎn)）“英語(yǔ)專業(yè)綜合改革試點(diǎn)”（20161114021）。

作者簡(jiǎn)介：楊昌周，凱里學(xué)院外國(guó)語(yǔ)學(xué)院講師，博士，研究方向：英語(yǔ)課程與教學(xué)論；彭思祥，凱里學(xué)院外國(guó)語(yǔ)學(xué)院教授，博士，研究方向：應(yīng)用語(yǔ)言學(xué)。