基于寫作自動(dòng)評(píng)閱系統(tǒng)的大學(xué)生英語寫作能力反饋效果研究*

郭楚生，楊 柳

(湖南理工學(xué)院 外語學(xué)院，湖南 岳陽 414006)

1 引言

反饋是英語教學(xué)環(huán)節(jié)的重要組成，也是國(guó)內(nèi)各高校二語寫作課題研究的關(guān)鍵。傳統(tǒng)的英語寫作課題教學(xué)中，由于人工評(píng)閱的速度較慢，往往不能及時(shí)反饋結(jié)果，學(xué)生信息接收較為滯后[1]。而相對(duì)于人工評(píng)閱而言，寫作自動(dòng)評(píng)閱系統(tǒng)(AuTomaTic WriTing EvaluaTion，以下簡(jiǎn)稱“AWE”)有利于指導(dǎo)學(xué)生作文寫作，并及時(shí)予學(xué)生得分評(píng)價(jià)，減輕了教師的工作負(fù)擔(dān)[2]?；贏WE系統(tǒng)的反饋方法可以在英文寫作教學(xué)中能夠得到更加廣泛的運(yùn)用。20世紀(jì)90年代以來，國(guó)外關(guān)于高校自動(dòng)評(píng)閱系統(tǒng)的研究已想當(dāng)成熟[3]。盡管相對(duì)于國(guó)外而言，國(guó)內(nèi)起步較遲，但仍有不少研究者重點(diǎn)關(guān)注寫作自動(dòng)評(píng)閱系統(tǒng)反饋在二語作文教學(xué)過程中的實(shí)際應(yīng)用，主要研究重點(diǎn)在以下幾方面：一是寫作自動(dòng)評(píng)閱系統(tǒng)反饋與人工評(píng)分之間的基本一致性，從而可以驗(yàn)證其是否能夠充分地運(yùn)用為一種有效測(cè)試手段[4]。二是高校高度重視寫作自動(dòng)評(píng)閱系統(tǒng)關(guān)于反饋對(duì)于內(nèi)容修改的直接影響[5]。三是寫作自動(dòng)評(píng)閱系統(tǒng)反饋對(duì)學(xué)生寫作能力的影響，大量研究結(jié)果證明，寫作自動(dòng)評(píng)閱系統(tǒng)可以有效幫助學(xué)生提高其英語寫作水平[6]。本文主要通過問卷調(diào)查統(tǒng)計(jì)問卷與模擬實(shí)驗(yàn)，探究了基于自動(dòng)化的評(píng)閱測(cè)試體系的方式，反映其對(duì)高校學(xué)生英語書面閱讀寫作技巧能力培養(yǎng)的重要意義。

2 研究背景

2.1 句法復(fù)雜度

句法復(fù)雜度單從字面意思來看，指的是句子語法的復(fù)雜程度，其次指語言在生產(chǎn)的過程中所呈現(xiàn)的復(fù)雜程度[7]。其主要表現(xiàn)在句法結(jié)構(gòu)的多元性。句法復(fù)雜度能夠較為直觀地反映出學(xué)習(xí)者的實(shí)際學(xué)習(xí)效果[8]。句法復(fù)雜程度表現(xiàn)在兩方面，一方面是以T 單位形式為代表的較為表層的指標(biāo)，一方面是T 單位形式為代表的較為深層的指標(biāo)。句法的復(fù)雜度可以人工方式批閱或IT手段進(jìn)行標(biāo)注，但兩者相比較而言，人工批閱耗時(shí)較長(zhǎng)且出錯(cuò)率頻[9]。句法復(fù)雜度標(biāo)注軟件的進(jìn)一步開發(fā)，使得越來越多自動(dòng)批注網(wǎng)站的識(shí)別精準(zhǔn)度也不斷提升。從當(dāng)前我國(guó)自動(dòng)評(píng)閱系統(tǒng)使用人數(shù)來看，使用較廣的主要有Coh-Metrix、D-level 和 DL2SCA。而其中，L2SCA 的識(shí)別準(zhǔn)確率最高，達(dá)到83%以上[10]。本課題研究通過L2SCA 系統(tǒng)對(duì)學(xué)生作文句法結(jié)構(gòu)進(jìn)行分析，見表1。

表1 句子復(fù)雜度測(cè)量指標(biāo)

2.2 寫作自動(dòng)評(píng)閱系統(tǒng)

自動(dòng)作文審查評(píng)分系統(tǒng)是基于互聯(lián)網(wǎng)和計(jì)算機(jī)技術(shù)建立的一種自動(dòng)評(píng)分系統(tǒng)，用來對(duì)自己的作文進(jìn)行批注和評(píng)分[6]。20世紀(jì)中期，Ellis Page團(tuán)隊(duì)開發(fā)出第一款評(píng)閱系統(tǒng)，即Project Essay Grade(PEG)。該系統(tǒng)的開發(fā)設(shè)計(jì)旨在降低教師的批閱負(fù)擔(dān)。隨著信息技術(shù)的的不斷發(fā)展，AWE系統(tǒng)也進(jìn)一步得到優(yōu)化和改善。發(fā)展至今，除了PEG之外，國(guó)外運(yùn)用得比較廣泛且具有代表性的是AWE系統(tǒng)，該系統(tǒng)主要是先通過運(yùn)用自然語言處理器等技術(shù)手段，準(zhǔn)確地分析文章的數(shù)據(jù)測(cè)量和特征得分值，而后再通過運(yùn)用多元回歸的計(jì)算方式方法來計(jì)算文章的測(cè)量得分。不同的教學(xué)系統(tǒng)在實(shí)際應(yīng)用中所采取的技術(shù)特點(diǎn)和設(shè)計(jì)指標(biāo)方式可能會(huì)略微不同，但主要都指的是系統(tǒng)包括常用單詞、句子、篇章及常識(shí)錯(cuò)誤等幾種應(yīng)用類型。有些不僅能夠直接評(píng)價(jià)學(xué)生作文的綜合分?jǐn)?shù)，甚至可以向?qū)W生反饋并幫助其糾正意見。然而，這些寫作體系大多數(shù)都是專門針對(duì)二語學(xué)習(xí)的體系寫作，較少有的是專門針對(duì)第三語的體系寫作[11]。

所以，這些學(xué)習(xí)系統(tǒng)不一定適用于EFL的學(xué)習(xí)者。而國(guó)內(nèi)普遍用到的AWE 系統(tǒng)主要有“i-write”系統(tǒng)和“句酷批改網(wǎng)”。其中，句酷批改網(wǎng)是通過云計(jì)算算力支撐和海量數(shù)據(jù)庫的一款批改系統(tǒng)，采用了通過語料庫自動(dòng)建模的操作方式，將海量樣品英語作文和通過語料庫功能進(jìn)行自動(dòng)建模的英語作文進(jìn)行數(shù)據(jù)對(duì)比，并經(jīng)由數(shù)據(jù)映射后進(jìn)行轉(zhuǎn)化而成為大學(xué)生英語作文測(cè)試分?jǐn)?shù)和作文評(píng)價(jià)。批改點(diǎn)評(píng)網(wǎng)站針對(duì)學(xué)生所提交的作文，除了及時(shí)地對(duì)其給出較整體的教學(xué)反饋之外，還從句子拼讀、詞匯、語法等多個(gè)維度方面針對(duì)寫作內(nèi)容進(jìn)行點(diǎn)評(píng)，并及時(shí)給出具體的修改點(diǎn)評(píng)意見。

3 研究設(shè)計(jì)

3.1 研究問題

第一，寫作自動(dòng)評(píng)閱系統(tǒng)的反饋結(jié)果是否會(huì)對(duì)學(xué)生在英語寫作中的句型和詞匯復(fù)雜程度產(chǎn)生影響？

第二，不同水平的學(xué)生對(duì)于句法和指標(biāo)的認(rèn)識(shí)是否存在顯著性的差異？若有，這些差別主要表現(xiàn)在什么樣的指標(biāo)維度上？

3.2研究對(duì)象

本課題研究主要是針對(duì)湖南市某高校不同年級(jí)、水平的64名非英語專業(yè)的大一、大二新生，由同一位教師所講授的2個(gè)平行課堂中153名學(xué)生挑選而成。研究人員使用學(xué)生分級(jí)考核成績(jī)與作文成績(jī)相比的標(biāo)準(zhǔn)來評(píng)價(jià)其英語書寫能力。分級(jí)評(píng)估考核主要包括了聽力、字符、語法及閱讀四項(xiàng)內(nèi)容，用于評(píng)估除了寫作成績(jī)以外的其他各個(gè)方面的英語能力。以評(píng)分較高的前32名學(xué)生劃分入高水平組，后32名學(xué)生劃入中等水平小組，而后對(duì)兩組收拾組所預(yù)估的分值及實(shí)際評(píng)分分別進(jìn)行獨(dú)立樣本T 檢驗(yàn)，結(jié)果表明，前者表現(xiàn)為T =-6.683，p<0.05，后者表現(xiàn)為T =-12.67，p<0.05，兩者均存在顯著性。

3.3 研究過程

本研究項(xiàng)目作者所參與研究的語料分別是64名學(xué)生的英語作文。在這個(gè)課題正式實(shí)施的前兩周，學(xué)生們每周都會(huì)接受關(guān)于句酷批改網(wǎng)如何使用的培訓(xùn)。學(xué)生們?cè)谕瓿蓪懽骱髮⒆魑奶峤恢凉倬W(wǎng)，然后根據(jù)本次批改的反饋信息進(jìn)行編輯修改，并在修改完成后再次提交，整個(gè)修改過程可以反復(fù)進(jìn)行直到學(xué)生對(duì)分?jǐn)?shù)滿意。在課題即將結(jié)束的時(shí)候，研究者預(yù)留了一周的時(shí)間隨機(jī)訪談20名學(xué)生，全程采用保密的形式。

3.4 數(shù)據(jù)分析

本課題研究主要從句法復(fù)雜度與表現(xiàn)形式多樣兩方面進(jìn)行，主要對(duì)大二學(xué)生作文提交初稿與終稿在的句法應(yīng)用特征。首先，通過L2SCA 算出句法復(fù)雜度；其次，利用 SPSS20.0軟件，對(duì)兩組受試者寫作的句法復(fù)雜度進(jìn)行比較；再次，針對(duì)受訪者的訪談結(jié)果進(jìn)行文字轉(zhuǎn)化整理，確定內(nèi)容分析類別及主題；最后，在前三步的基礎(chǔ)上，展開了定量與定性的分析和討論。

4 研究結(jié)果與討論

4.1 句法描述性統(tǒng)計(jì)

如表2所示，在對(duì)句法復(fù)雜度的描述分析中可發(fā)現(xiàn)，將64名中第一名受訪者所提交的作文初稿與終稿進(jìn)行比對(duì)，其結(jié)果是表2中所列的14項(xiàng)指標(biāo)的句法復(fù)雜度對(duì)比中初稿明顯低于終稿。這從側(cè)面反映出，寫作自動(dòng)評(píng)閱系統(tǒng)對(duì)非英語專業(yè)學(xué)生的英語寫作水平具有一定促進(jìn)作用。與初稿相比，終稿句子結(jié)構(gòu)較為復(fù)雜，且運(yùn)用的句式較為復(fù)雜、短語數(shù)量也相對(duì)較多。為進(jìn)一步驗(yàn)證這些差異之間是否存在顯著性，研究者將所收集到的數(shù)據(jù)進(jìn)行分類整理后進(jìn)行了綜合檢驗(yàn)，見表3。

表2 句法復(fù)雜度描述統(tǒng)計(jì)結(jié)果

表3 句法復(fù)雜度配對(duì)樣本t檢驗(yàn)結(jié)果

根據(jù)表3，可發(fā)現(xiàn)，終稿結(jié)果相對(duì)與初稿而言，其句子結(jié)構(gòu)復(fù)雜度和用于從屬名詞結(jié)構(gòu)的句子數(shù)量都與之類似，但語言產(chǎn)出的單位名字長(zhǎng)度較短，名詞的復(fù)合并列短語名詞數(shù)量更多。

4.2 不同的英語層次學(xué)生寫作文句型的復(fù)雜程度有所差異

為能夠更加深入驗(yàn)證不同英語學(xué)習(xí)水平學(xué)生在英語寫作中句子復(fù)雜度間的差異，本研究將對(duì)提交至系統(tǒng)的初稿進(jìn)行樣本T 檢驗(yàn)。

通過表4發(fā)現(xiàn)，不同專業(yè)英語不同層次的學(xué)生用于寫英語作文時(shí)的初稿句法T單位數(shù)量與作文子句中從段到節(jié)中的數(shù)量之間往往存在著顯著的差異(T=-2.469，df=32，p<0.05；T=-2.498，df=32，p<0.05)；較低水平學(xué)生用于寫英語作文初稿句法的結(jié)構(gòu)復(fù)雜程度指標(biāo)明顯低于較高專業(yè)水平的英語學(xué)生(MD=-0.117；MD=-0.122)。較低水平的學(xué)生在學(xué)習(xí)句法類型綜合運(yùn)用復(fù)雜程度、語言句法產(chǎn)出結(jié)構(gòu)單元、句子句法綜合運(yùn)用復(fù)雜程度、并列結(jié)構(gòu)單元個(gè)數(shù)以及語言短語句法綜合運(yùn)用復(fù)雜程度等各個(gè)方面都幾乎未能達(dá)到明顯的差異。

表4 不同英語水平作文初稿的句法復(fù)雜度樣本t檢驗(yàn)結(jié)果

通過表5進(jìn)行分析，結(jié)果表明，不同英語水平的學(xué)生所提交的作文終稿呈現(xiàn)顯著差異，在寫作自動(dòng)評(píng)閱系統(tǒng)反饋意見后，學(xué)生針對(duì)意見內(nèi)容進(jìn)行修改后，將高水平組與低水平組對(duì)句法結(jié)構(gòu)復(fù)雜度修改情況進(jìn)行比對(duì)，高水平組修改質(zhì)量明顯高于中等水平組。為此，本課題研究認(rèn)為，句酷批改網(wǎng)的投入使用，能夠?qū)τ⒄Z學(xué)習(xí)能力較強(qiáng)的學(xué)生產(chǎn)生影響較大，而對(duì)于英語能力偏低的學(xué)生影響不大。

表5 不同英語水平作文終稿的句法復(fù)雜度樣本t檢驗(yàn)結(jié)果

4.3 對(duì)句酷批改網(wǎng)的反饋

本次實(shí)驗(yàn)的最后一周，研究者通過引導(dǎo)學(xué)生半開放式的網(wǎng)絡(luò)訪問，針對(duì)學(xué)生批改網(wǎng)絡(luò)所反映的實(shí)際使用深有體會(huì)。研究中還特別發(fā)現(xiàn)，整體情況來看，大多數(shù)學(xué)生都很滿意于批改網(wǎng)的使用。90%的同學(xué)都表示自動(dòng)作文反饋可以最大限度地來激勵(lì)自己有效地從作文單詞、語法、句型等各個(gè)不同維度切入去修改自己的作文，從而提高自身的作文效能感。根據(jù)這次專題訪談的調(diào)查結(jié)果，筆者將廣大學(xué)生對(duì)批改網(wǎng)的綜合評(píng)估結(jié)果歸結(jié)到了以下三個(gè)主要層次：

第一，減少學(xué)生寫作的低效能。批改網(wǎng)的及時(shí)反饋在一定程度上扮演者教學(xué)直到的角色，能夠幫助學(xué)生發(fā)現(xiàn)在寫作中存在的不足，大大減少了學(xué)生對(duì)于英語寫作的焦慮。

第二，批改網(wǎng)根據(jù)寫作情況進(jìn)行點(diǎn)評(píng)，學(xué)生可以隨時(shí)進(jìn)行多次修改，并能通過網(wǎng)絡(luò)及時(shí)反饋的在句子結(jié)構(gòu)等問題的篩選，學(xué)生能夠得到有效性的提高。

第三，批改網(wǎng)尚需進(jìn)行優(yōu)化和升級(jí)。批改網(wǎng)雖在詞匯、句法等方面對(duì)寫作文本提出了具體建議，但在文章內(nèi)容、結(jié)構(gòu)等方面的反饋還較為模糊，有待進(jìn)一步完善。

5 結(jié)語

英語課程一直以來是高等教育的重要組成，隨著經(jīng)濟(jì)全球化的深入，各高校也越來越重視英語教學(xué)，寫作一直是英語課程中教與學(xué)的重難點(diǎn)，是對(duì)于英語基礎(chǔ)知識(shí)的總結(jié)和綜合運(yùn)用。對(duì)于提升大學(xué)生的英語書面寫作質(zhì)量的評(píng)估標(biāo)準(zhǔn)就顯得非常重要，反饋也是提升大學(xué)生的英語書面寫作素養(yǎng)的重要手段。作為信息化的產(chǎn)物，寫作自動(dòng)評(píng)閱系統(tǒng)的應(yīng)用和發(fā)展極大地提升了人工評(píng)閱手段對(duì)于英語寫作反饋的效率，這不僅給大學(xué)生們提供了豐富的知識(shí)學(xué)習(xí)資源，也在某種程度上減輕了教師的教學(xué)壓力。自動(dòng)評(píng)閱體驗(yàn)系統(tǒng)對(duì)于英語寫作教學(xué)和反饋工作等方面的應(yīng)用具有很大的前景，且能夠進(jìn)一步推動(dòng)我國(guó)高校英語教學(xué)走向信息化、個(gè)人化和自主式的發(fā)展。