自動(dòng)寫作評(píng)分系統(tǒng)對(duì)作文句法復(fù)雜度的影響

陳小芳

(浙江師范大學(xué) 外語學(xué)院，浙江 金華 321004)

自動(dòng)寫作評(píng)分系統(tǒng)對(duì)作文句法復(fù)雜度的影響

陳小芳

(浙江師范大學(xué) 外語學(xué)院，浙江 金華 321004)

句法復(fù)雜度可以反映出學(xué)生的英語水平。借助句法復(fù)雜度分析器(L2SCA)對(duì)學(xué)生提交的初稿與終稿文本的分析，從句法復(fù)雜度的角度探討了自動(dòng)寫作評(píng)分系統(tǒng)對(duì)學(xué)生作文輸出的影響。T檢驗(yàn)進(jìn)一步證實(shí)自動(dòng)寫作評(píng)分系統(tǒng)會(huì)促使學(xué)生產(chǎn)出更為復(fù)雜的句子，尤其在字?jǐn)?shù)和從屬從句的運(yùn)用上更為明顯。

自動(dòng)寫作評(píng)分系統(tǒng)；句法復(fù)雜度；L2SCA；從屬從句

引言

寫作是語言輸出的一個(gè)重要部分，然而，對(duì)多數(shù)外語教師來說，寫作評(píng)價(jià)是一項(xiàng)艱巨而又費(fèi)時(shí)的工作。為提高對(duì)學(xué)生寫作評(píng)價(jià)的效率，自動(dòng)寫作評(píng)分系統(tǒng)應(yīng)運(yùn)而生。20世紀(jì)90年代研發(fā)了許多自動(dòng)評(píng)分系統(tǒng)，如PEG ( Project Essay Grade), E-rater, Intellimetric, 以及IEA (Intelligent Essay Assessor) 。[1]與人工評(píng)價(jià)相比，自動(dòng)寫作評(píng)分系統(tǒng)能從多方面對(duì)學(xué)生的作文做出較為客觀的評(píng)價(jià)。它不僅可以提高評(píng)分效率，而且可以從根本上消除由人工評(píng)價(jià)造成的差異，能較好地控制評(píng)分誤差。[2]因此，自動(dòng)寫作評(píng)分系統(tǒng)被越來越多地使用到語言考試和外語教學(xué)中。如從1999年開始，美國教育服務(wù)中心已經(jīng)開始把E-rater運(yùn)用到GMAT和TOEFL。許多大規(guī)?？荚嚨臄?shù)據(jù)也已經(jīng)證明E-rater具有極高的信度。[1]

近幾年來，越來越多的大學(xué)英語教師開始使用自動(dòng)寫作評(píng)分系統(tǒng)以協(xié)助英語寫作教學(xué)。國內(nèi)很常用的一個(gè)在線自動(dòng)寫作評(píng)分系統(tǒng)就是批改網(wǎng)。這是一個(gè)基于語料庫的在線作文自動(dòng)評(píng)分系統(tǒng)，它不僅可以給學(xué)生的作文進(jìn)行實(shí)時(shí)評(píng)分，還會(huì)給學(xué)生提供評(píng)語以及如何改進(jìn)每一句中的詞匯和搭配等的建議。

隨著自動(dòng)寫作評(píng)分系統(tǒng)的廣泛運(yùn)用，國內(nèi)已經(jīng)有很多教師開始關(guān)注它們對(duì)大學(xué)生英語寫作的影響。例如，石曉玲以句酷批改網(wǎng)為例研究了自動(dòng)寫作評(píng)分系統(tǒng)對(duì)英語寫作的影響，發(fā)現(xiàn)評(píng)分系統(tǒng)“有效地激發(fā)了學(xué)生的寫作興趣”。[3]張雙祥研究了冰果智能作文評(píng)閱系統(tǒng)在大學(xué)英語寫作中的應(yīng)用效果，提出盡管系統(tǒng)效果較好，但還是應(yīng)該和教師評(píng)閱以及同伴互評(píng)相結(jié)合。[4]楊曉瓊和戴運(yùn)財(cái)則從自我效能和學(xué)習(xí)動(dòng)機(jī)方面研究了批改網(wǎng)對(duì)大學(xué)英語寫作的影響，發(fā)現(xiàn)批改網(wǎng)的使用有助于“提高學(xué)生的自主英語寫作能力”。[5]可以說，國內(nèi)對(duì)自動(dòng)寫作評(píng)分系統(tǒng)的研究已經(jīng)取得一定的成果，但現(xiàn)有的研究中很少有從學(xué)生作文的句法復(fù)雜度角度進(jìn)行分析。

一、句法復(fù)雜度

句法復(fù)雜度，也稱為句法熟悉度或語言復(fù)雜度，指語言產(chǎn)出中句子結(jié)構(gòu)的形式以及形式的復(fù)雜度。句法復(fù)雜度在二語研究中非常重要，因?yàn)檎Z言的發(fā)展勢(shì)必會(huì)引起二語學(xué)習(xí)者的句法知識(shí)庫的增長(zhǎng)以及改進(jìn)該學(xué)習(xí)者在不同的場(chǎng)合正確運(yùn)用這些知識(shí)的能力。[6]因此，研究學(xué)生作文的句法復(fù)雜度就可以大致了解他們的句法構(gòu)建能力。

目前常用的句法復(fù)雜度的測(cè)量工具有Flesch-Kincaid Grade Level、Coh-Metrix和L2SCA。Flesch-Kincaid主要通過測(cè)量單詞和句子的長(zhǎng)度來判斷句子的難易度，從而確定文章的可讀性。盡管它操作簡(jiǎn)單，但它不能測(cè)量語篇意義、銜接和文體的差異。[7]Coh-Metrix 是由美國多名語言學(xué)家共同開發(fā)的在線文本分析工具，可以多方面分析語篇層面的詞性、詞頻、語義內(nèi)容、情景模式、詞匯多樣性、潛在語義分析、共指等多種語言特征。[7]

本研究采用的是賓夕法尼亞州立大學(xué)陸小飛博士研發(fā)的在線句法復(fù)雜度分析器(L2 Syntactic Complexity Analyzer, L2SCA)。句法復(fù)雜度具有四個(gè)主要的多維度特征：整體復(fù)雜度；并列子句；從屬子句和短語復(fù)雜度。這四個(gè)多維度特征主要是通過字?jǐn)?shù)(W)、句子(S)、動(dòng)詞詞組(VP)、從句(C)、T單位(T)、從屬從句(DC)、復(fù)雜T單位(CT)、并列詞組(CP)、復(fù)雜名詞性短語(CN)等來體現(xiàn)。句法復(fù)雜度分析器中共有5類14個(gè)測(cè)量指標(biāo)：第一類是單位長(zhǎng)度，即平均子句長(zhǎng)度(MLC)、平均句子長(zhǎng)度(MLS)以及平均T單位長(zhǎng)度(MLTU)。第二類是句子復(fù)雜度，即每個(gè)句子中的子句數(shù)量 (C/S)。第三類是從屬子句使用量：每個(gè)T單位中的子句數(shù)量(C/T)，每個(gè)T單位中的復(fù)雜T單位數(shù)量(CT/T), 每個(gè)子句中的從屬子句數(shù)量 (DC/C)，每個(gè)T單位中的從屬子句數(shù)量(DC/T)。第三類是并列結(jié)構(gòu)使用量：每個(gè)子句中的并列短語數(shù)量(CP/C)，每個(gè)T單位中的并列短語數(shù)量(CP/T)，每個(gè)句子中的T單位數(shù)量 (T/S)。最后一類是特定短語結(jié)構(gòu)：并列子句中的復(fù)雜名詞性短語數(shù)量 (CN/C)，每個(gè)T單位中復(fù)雜名詞性短語數(shù)量(CN/T)以及每個(gè)T單位中的動(dòng)詞短語數(shù)量(VP/T)。[8]

二、研究設(shè)計(jì)

1.研究問題

本實(shí)驗(yàn)意在探討自動(dòng)寫作評(píng)分系統(tǒng)對(duì)非英語專業(yè)學(xué)生的作文輸出是否有影響。如果有，又會(huì)體現(xiàn)在哪些方面。具體來說，就是要回答以下兩個(gè)問題：

(1)非英語專業(yè)學(xué)生是否會(huì)有效利用自動(dòng)寫作評(píng)分系統(tǒng)的反饋對(duì)自己的作文進(jìn)行修改？

(2)自動(dòng)寫作評(píng)分系統(tǒng)對(duì)非英語專業(yè)學(xué)生的作文輸出在句法復(fù)雜度上會(huì)產(chǎn)生哪些變化？

2. 研究對(duì)象

共103名材料中文和機(jī)械設(shè)計(jì)專業(yè)的大一學(xué)生參加了本次實(shí)驗(yàn)。這些學(xué)生中94%的同學(xué)已通過了大學(xué)英語四級(jí)。在參加實(shí)驗(yàn)之前，所有的受試者均沒有使用自動(dòng)寫作評(píng)分系統(tǒng)的經(jīng)歷。

3.研究工具

研究者主要通過L2SCA統(tǒng)計(jì)分析學(xué)生作文的句法復(fù)雜度，并運(yùn)用SPSS中的t檢驗(yàn)探討自動(dòng)寫作評(píng)分系統(tǒng)對(duì)非英語專業(yè)學(xué)生作文輸出的主要影響。

4.研究過程

學(xué)生按照六級(jí)要求寫一篇150個(gè)單詞左右的“Modern Technology and Human Intimacy”的命題作文。作文寫完后，學(xué)生上傳到批改網(wǎng)，由系統(tǒng)自動(dòng)對(duì)學(xué)生的作文做出評(píng)分。為了解自動(dòng)寫作評(píng)分系統(tǒng)對(duì)學(xué)生作文輸出的影響，在本次實(shí)驗(yàn)中，教師不對(duì)學(xué)生的作文進(jìn)行人工評(píng)閱和在線反饋。為了鼓勵(lì)受試者更好地利用自動(dòng)寫作評(píng)分系統(tǒng)所給的反饋，從而對(duì)自己的作文做出相應(yīng)的修改，實(shí)驗(yàn)開始前，受試者就被告知這篇作文的終稿將以適當(dāng)?shù)谋壤{入平時(shí)成績(jī)。學(xué)生在提交作文后，在截止期內(nèi)可以根據(jù)自動(dòng)寫作評(píng)分系統(tǒng)所給的反饋意見進(jìn)行無限次的修改。

5.數(shù)據(jù)收集和分析

截止期后，研究者收集了批改網(wǎng)上提供的一系列數(shù)據(jù)：學(xué)生的第一次作文、分?jǐn)?shù)、最后一次作文和分?jǐn)?shù)以及修改次數(shù)。通過分析這些數(shù)據(jù)，初步了解自動(dòng)寫作評(píng)分系統(tǒng)對(duì)學(xué)生作文輸出是否有促進(jìn)作用。在確定自動(dòng)寫作評(píng)分系統(tǒng)會(huì)影響作文輸出后，研究者選擇了批改網(wǎng)上作文初稿和終稿分?jǐn)?shù)差距在5分以上的學(xué)生的兩次作文，運(yùn)用句法復(fù)雜度分析器和SPSS進(jìn)行更為深入的分析研究。

三、研究發(fā)現(xiàn)

研究者首先對(duì)自動(dòng)寫作評(píng)分系統(tǒng)的使用率進(jìn)行了統(tǒng)計(jì)，結(jié)果發(fā)現(xiàn)：大部分學(xué)生都會(huì)利用自動(dòng)評(píng)分系統(tǒng)提出的反饋對(duì)自己的作文作出進(jìn)一步的修改。

1.非英語專業(yè)學(xué)生利用自動(dòng)寫作評(píng)分系統(tǒng)的反饋進(jìn)行作文修改的情況

在這103名學(xué)生中，有11名同學(xué)沒對(duì)自己的作文做任何的修改，只提交了一次。利用評(píng)分系統(tǒng)進(jìn)行修改的學(xué)生共92名，占89.32%。

剔除了只提交過一次的11篇作文后，共得到了92名184篇作文。統(tǒng)計(jì)發(fā)現(xiàn): 終稿的文章篇幅比初稿有所增加，從初稿的平均每篇187個(gè)單詞增加到了每篇約198個(gè)單詞。初稿的平均分是87.42分，終稿的平均分是92.84，人均修改次數(shù)為11.95次。除了2名受試者的終稿分?jǐn)?shù)比初稿更低外，其他90名受試者的作文分?jǐn)?shù)都有不同程度的提高。從分?jǐn)?shù)以及修改次數(shù)上來看，絕大多數(shù)學(xué)生還是較好地利用了自動(dòng)評(píng)分系統(tǒng)并對(duì)自己的作文進(jìn)行了改進(jìn)。換言之，自動(dòng)寫作評(píng)分系統(tǒng)對(duì)學(xué)生的作文輸出具有一定的促進(jìn)作用。

2.作文自動(dòng)評(píng)分系統(tǒng)對(duì)句法復(fù)雜度的影響

在研究過程中，研究者發(fā)現(xiàn)學(xué)生的每一處改動(dòng)，尤其是標(biāo)點(diǎn)以及拼寫的改動(dòng)都會(huì)影響到自動(dòng)評(píng)分系統(tǒng)給出的分?jǐn)?shù)。因此，為了更為客觀地了解自動(dòng)評(píng)分系統(tǒng)對(duì)學(xué)生作文的句法復(fù)雜度的具體影響，盡可能降低單純因?yàn)楦淖儤?biāo)點(diǎn)而變化的分?jǐn)?shù)的影響，研究者只選取了前后兩次分?jǐn)?shù)相差在5分以上的84篇作文，借助二語句法復(fù)雜度分析器，統(tǒng)計(jì)了前后兩次作文的多維度特征(表1)和14個(gè)測(cè)量指標(biāo)(表2)。

表1 初稿與終稿在多維度特征上的差異

從表1可以看出，除了動(dòng)詞詞組(VP)數(shù)量在終稿中有所降低外,其他所有指標(biāo)都比初稿要高，特別是字?jǐn)?shù)(W)、從句(C)、從屬從句(DC)和復(fù)雜名詞性短語(CN)。數(shù)量增加最多的是復(fù)雜名詞性短語，從原先的949上升到1104。復(fù)雜名詞性短語指的是含有以下一個(gè)或多個(gè)成分的名詞短語：前置形容詞，后置介詞短語和后置定語。[9]復(fù)雜名詞性短語的數(shù)量增加說明學(xué)生在修改作文過程中更加注重對(duì)高級(jí)語言的運(yùn)用。從句和從屬從句的數(shù)量增加也證實(shí)了這一點(diǎn)。相對(duì)而言，句子(S)、T單位(T)、復(fù)雜T單位(CT)、并列詞組(CP)的數(shù)量增加并不明顯。這說明在線自動(dòng)寫作評(píng)分系統(tǒng)對(duì)非英語專業(yè)學(xué)生的作文輸出有一定的促進(jìn)作用，雖然句子和T單位數(shù)量變化不大，但句子較之初稿更加復(fù)雜，在復(fù)雜名詞性短語和從句尤其是從屬從句的運(yùn)用上更為明顯。

表2 兩次作文的句法復(fù)雜度測(cè)量指標(biāo)

表2顯示：在終稿的14個(gè)句法復(fù)雜度的測(cè)量指標(biāo)中，只有平均子句長(zhǎng)度(MLC)高于初稿，這同樣說明學(xué)生的終稿在語篇長(zhǎng)度上比初稿有改進(jìn)。每個(gè)T單位中的動(dòng)詞詞組數(shù)量(VP/T)幾乎沒什么改變。其余12個(gè)指標(biāo)終稿都比初稿低，這主要是因?yàn)閷W(xué)生的終稿在句子和從句的數(shù)量上都比初稿有所增加。

為了進(jìn)一步確定初稿與終稿的這些差異是否具有顯著性，所有84篇作文的多維度特征與14個(gè)測(cè)量指標(biāo)均被輸入SPSS 19進(jìn)行t檢驗(yàn)。結(jié)果表明：盡管復(fù)雜名詞性短語數(shù)量增加最明顯，但t檢驗(yàn)顯示它的t值為-0.079, p = 0.432,大于0.05，因此，復(fù)雜名詞性短語的數(shù)量改變并不具有顯著性差異。

在多維度特征上，共有4項(xiàng)指數(shù)具有顯著性差異，其中字?jǐn)?shù)t(82)=-3.108，p=.003；句子t(82)=-5.563，p=0；T單位t(82)=-5.351，p=0。從屬從句t(82)=3.294，p=.001。而在14個(gè)測(cè)量指標(biāo)中，除了MLC、CP/C和CN/C外的11項(xiàng)指標(biāo)均具有顯著性差異，其中CP/T的p=.008，其他10項(xiàng)的p值均小于0.001。這說明自動(dòng)評(píng)分系統(tǒng)對(duì)學(xué)生的作文輸出在句法復(fù)雜度上具有顯著的影響。

四、結(jié)果與討論

經(jīng)過L2SCA統(tǒng)計(jì)分析，約90%的同學(xué)會(huì)利用自動(dòng)寫作評(píng)分系統(tǒng)所給出的分?jǐn)?shù)及其反饋對(duì)作文進(jìn)行進(jìn)一步的改進(jìn)。而對(duì)沒有利用自動(dòng)寫作評(píng)分系統(tǒng)進(jìn)行作文修改的11名同學(xué)中，有10位同學(xué)的分?jǐn)?shù)已經(jīng)在90分以上。這說明自動(dòng)寫作評(píng)分系統(tǒng)的反饋是否能被充分利用，在某種程度上還取決于它給出的實(shí)時(shí)分?jǐn)?shù)。一旦學(xué)生覺得提升空間不大，他們運(yùn)用自動(dòng)寫作評(píng)分的反饋進(jìn)行作文修改的概率就會(huì)降低。

對(duì)于利用評(píng)分系統(tǒng)進(jìn)行多次修改的學(xué)生來說，一方面可能因?yàn)橛蟹謹(jǐn)?shù)的刺激，另一方面也因?yàn)樵u(píng)分系統(tǒng)給出了比較詳細(xì)的改進(jìn)方式。學(xué)生可以自行修改或者選擇系統(tǒng)提供的修改意見對(duì)文章進(jìn)行潤(rùn)色。某種意義上，這大大降低了學(xué)生修改作文的難度，讓學(xué)生更愿意去改進(jìn)作文。因而，大學(xué)英語教師可以充分利用這種自動(dòng)評(píng)分系統(tǒng)，督促學(xué)生加強(qiáng)寫作訓(xùn)練。

通過比較分析分?jǐn)?shù)差異較大的作文，可以進(jìn)一步發(fā)現(xiàn)：從句法復(fù)雜度的角度看，自動(dòng)寫作評(píng)分系統(tǒng)主要有助于幫助學(xué)生提高文章的篇幅，尤其是復(fù)雜名詞性短語和從屬從句的運(yùn)用，但在并列詞組的運(yùn)用上并無多大改變。t檢驗(yàn)表明復(fù)雜名詞性短語數(shù)量的差異并不具有顯著性，而句子、T單位和從屬從句的增加則有顯著性的差異。這說明單純地按照系統(tǒng)提供的詞匯進(jìn)行作文的修改，并不能明顯改變句子的復(fù)雜度。相對(duì)而言，一篇作文如果要取得更好的分?jǐn)?shù)，學(xué)生應(yīng)該更加關(guān)注句式結(jié)構(gòu)上的復(fù)雜性。而這恐怕是很多同學(xué)在運(yùn)用自動(dòng)評(píng)分系統(tǒng)時(shí)容易忽略的一點(diǎn)。因此，在寫作教學(xué)中，教師最好同時(shí)進(jìn)行人工反饋，引導(dǎo)學(xué)生加強(qiáng)對(duì)句子結(jié)構(gòu)的關(guān)注，多運(yùn)用不同的句式。只有這樣，才能最終提高寫作質(zhì)量。

五、結(jié)論

本次研究發(fā)現(xiàn)，如果給予適當(dāng)?shù)募?lì)，絕大多數(shù)學(xué)生會(huì)充分利用自動(dòng)寫作評(píng)分系統(tǒng)對(duì)習(xí)作進(jìn)行多次修改，直至達(dá)到自己滿意的分?jǐn)?shù)為止。從句法復(fù)雜度的角度看，自動(dòng)寫作評(píng)分系統(tǒng)對(duì)學(xué)生作文的促進(jìn)作用主要體現(xiàn)在文章的字?jǐn)?shù)的增加以及復(fù)雜名詞性短語的運(yùn)用。此外，學(xué)生在修改作文過程中，也會(huì)改進(jìn)句子尤其是從屬從句的使用。

當(dāng)然，本次實(shí)驗(yàn)還有待完善，例如，如果結(jié)合人工反饋，學(xué)生的作文在句法復(fù)雜度上是否會(huì)有更明顯的改進(jìn)？不同體裁的文章在句法復(fù)雜度上是否也會(huì)有所不同？此外，實(shí)驗(yàn)過程也較短。但不管如何，有一點(diǎn)是不容置疑的，那就是，如果好好加以利用，自動(dòng)寫作評(píng)分系統(tǒng)必將提高大學(xué)英語寫作教學(xué)的效果。

[1]Attali, Y. amp; Burstein, J. Automated Essay Scoring With e-rater V.2 [J].Journal of Technology, Learning, and Assessment, 2006, 4(3): 1-31.

[2]楊晨，曹亦薇.作文自動(dòng)評(píng)分的現(xiàn)狀與展望[J].中學(xué)語文教學(xué)，2012(3):78.

[3]石曉玲. 在線寫作自動(dòng)評(píng)改系統(tǒng)在大學(xué)英語寫作教學(xué)中的應(yīng)用研究——以句酷批改網(wǎng)為例[J].現(xiàn)代教育技術(shù)，2012(10)：67-71.

[4]張雙祥. 大學(xué)英語寫作教學(xué)中在線寫作自動(dòng)評(píng)價(jià)系統(tǒng)應(yīng)用研究[J].當(dāng)代教育理論與實(shí)踐，2014(11)：100-102.

[5]楊曉瓊，戴運(yùn)財(cái). 基于批改網(wǎng)的大學(xué)英語自主寫作教學(xué)模式實(shí)踐研究[J].外語電化教學(xué)，2015(2)：17-23.

[6]Ortega. Syntactic complexity measures and their relationship to L2 proficiency: a research synthesis of college-level L2 writing [J]. Applied Linguistics, 2003(4): 492-518.

[7]Arthur, C. Graesser. et al. Coh-Metrix: Providing Multilevel Analyses of Text Characteristics [J]. Education Researcher, 2011(5): 223-234.

[8]陸小飛，許琪. 二語句法復(fù)雜度分析器及其在二語寫作中的應(yīng)用[J].外語教學(xué)與研究，2016(3)：409-420.

[9]Yang, W. et al. Different topics, different discourse: Relationships among writing topic, measures of syntactic complexity, and judgments of writing quality [J]. Journal of Second Language Writing，2015(28)：53-67.

ClassNo.:H315DocumentMark：A

(責(zé)任編輯：蔡雪嵐)

EffectofanAutomatedWritingScoringSystemonSyntacticSyntacticComplexity

Chen Xiaofang

(College of Foreign Languages of Zhejiang Normal University, Jinhua, Zhejiang 321004, China)

Syntactic complexity can reflect a student’s English proficiency. Using L2 Syntactic Complexity Analyzer (L2SCA) to make a contrastive analysis between the first draft and the final version of students’ writings, this paper analyzes the effect of an automated writing scoring system on students’ writing output from the perspective of syntactic complexity. The t test further proves that the automated writing scoring system could enable students to produce more complicated sentences, particularly in the use of more words and dependent clauses (DC).

automated writing scoring system； syntactic complexity; L2SCA; DC

陳小芳，碩士，講師，浙江師范大學(xué)外語學(xué)院。

2096-3874(2017)11-0122-04

H315

A