基于語言學(xué)特征的小學(xué)生作文流暢性自動評價

吳恩慈 田俊華

一、問題提出

作文的流暢性反映了文章的通順程度和作者語言的規(guī)范性，是寫作能力及發(fā)展的一個基本組成部分，也是作文評價中的一項重要指標(biāo)。因此，研究作文流暢性對于提高作文評價的有效性、提升學(xué)生寫作水平來說意義重大?！读x務(wù)教育語文課程標(biāo)準(zhǔn)（2011 年版）》[1]指出，小學(xué)生在作文寫作方面主要處于寫話（第一學(xué)段，1~2 年級）和習(xí)作（第二、三學(xué)段，3~6 年級）階段，對學(xué)生的要求主要體現(xiàn)在語言通順、表達清晰、正確使用標(biāo)點等較為淺層的方面。因此在小學(xué)生作文評改工作中，作文的流暢程度是一個具有較高優(yōu)先級的評價維度。

在現(xiàn)階段的漢語作文教學(xué)中，作文的評改模式仍然以傳統(tǒng)的教師人工評價為主。然而小學(xué)階段寫作練習(xí)量大、頻率高的特點，導(dǎo)致了人工評價具有以下缺點：（1）工作量大，教師負擔(dān)過重；（2）主觀性強，容易促使“印象固化”效應(yīng)產(chǎn)生，從而影響作文評價的準(zhǔn)確性和客觀性；（3）反饋周期較長，從而造成學(xué)生印象淡化、積極性降低等負面效應(yīng)。

傳統(tǒng)作文評價模式的不足和信息技術(shù)的進步，促成了作文自動化評價領(lǐng)域的產(chǎn)生和發(fā)展。作文自動評價（automated essay evaluation，以下簡稱AEE）是以自然語言處理（natural language processing，以下簡稱NLP）為主的人工智能技術(shù)在教育應(yīng)用領(lǐng)域的一個研究分支，它的研究目標(biāo)是實現(xiàn)作文評閱的自動化，從而有效減輕人工負擔(dān)，并提升評價的客觀性。AEE 的基本思想是：（1）篩選并提取作文文本中能夠表征作文質(zhì)量的一系列特征；（2）選取合適的評價模型；（3）利用抽取的特征訓(xùn)練評價模型；（4）使用構(gòu)建的模型實現(xiàn)自動化的作文評閱。主流AEE 系統(tǒng)的架構(gòu)如圖1 所示。

然而，迄今為止，絕大多數(shù)作文自動評價的相關(guān)研究都以英語作文為研究對象，且主要以文章的整體質(zhì)量為評價對象，少有對文章某一方面的深入探討。正如前文所述，作文的語言流暢性是評價小學(xué)生作文質(zhì)量的重要標(biāo)準(zhǔn)之一。而且，作為語言自動處理領(lǐng)域的一個重要指標(biāo)，流暢性能夠反映出文章作者的思考、組織和表達能力。[2]作文流暢性研究的核心問題在于如何將流暢性這樣抽象的概念具體化，并用科學(xué)合理的方法對其進行測量。Latif 指出，“流暢性”這個術(shù)語在應(yīng)用語言學(xué)研究中引起了很多爭論，相比于閱讀和言語流暢性，作文流暢性的定義更加多樣化。[3]Wolfe 將寫作流暢性描述為“語言輸出的舒適度和語言復(fù)述的容易程度”[4]；Yang 在進行二語寫作流暢性自動評價的研究中，將作文流暢性定義為“作文的通順程度及文章語言的規(guī)范度”[5]；同樣在二語習(xí)得領(lǐng)域，Polio 認為作文流暢性是指“文章語言與母語使用者寫作用語的接近程度”[6]。從已有定義可以看出，多數(shù)研究對于作文流暢性的界定傾向于作文的通順程度以及文章語言的規(guī)范性，因此本文將沿用這樣的定義。

本文在借鑒AEE 的研究思路和方法的基礎(chǔ)上，以小學(xué)生漢語作文為對象，采用文本分類的思想，篩選并提取能夠表征小學(xué)生作文流暢程度的語言學(xué)特征，進一步借助機器學(xué)習(xí)算法構(gòu)建分類模型，將文章按照流暢性分為三個等級，用“自動輸出流暢性等級”的形式來實現(xiàn)作文流暢性的自動評價。

圖1 主流AEE 系統(tǒng)架構(gòu)圖

二、研究背景

在寫作研究或語言教學(xué)等人文學(xué)科領(lǐng)域中，與作文流暢性相關(guān)的研究重點關(guān)注語言特點的分析、評價指標(biāo)的選取等理論層面。Latif 等[3]指出了作文流暢性（writing fluency）在很大程度上是基于語言流暢性（speaking fluency）來評價的，并總結(jié)了兩者在評價指標(biāo)選取上的異同，最后對作文流暢性的科學(xué)有效測量給出了相應(yīng)的意見。Plakans 等人[7]從復(fù)雜性、準(zhǔn)確性和流暢性（complexity、accuracy and fluency，以下簡稱 CAF）三個方面來評價學(xué)生作文，指出作文的流暢性與復(fù)雜性、準(zhǔn)確性在評價指標(biāo)的選取上互有重疊。安福勇[8]借鑒了英語中經(jīng)典的T 單位測量方法，首次將T 單位作為CSL（Chinese as a second language，漢語作為第二語言）學(xué)習(xí)者作文流暢性測量指標(biāo)，并通過實證研究證明了T 單位對于漢語作文流暢性的評價是有效的。

而在計算語言學(xué)（computational linguistics，CL）或NLP 領(lǐng)域，相關(guān)研究重點關(guān)注的是如何利用統(tǒng)計學(xué)思想或機器學(xué)習(xí)等方法來從技術(shù)上解決流暢性的自動評價問題。Yang[5]以英語作文為研究對象，以AEE 的基本理論和技術(shù)路線為基礎(chǔ)，從詞匯、句式多樣性、句子復(fù)雜度和語法關(guān)系這幾個方面選取流暢性特征，并取得了較為理想的效果。Mutton A 等[9]采用基于句法解析器評價句子流暢性的思想，提出了一種基于支持向量機（support vector machine，SVM）的流暢性評價方法GLEU，實驗結(jié)果表明，GLEU 與人工評價結(jié)果的相關(guān)度高于各個獨立解析器。Ahn E 等[10]使用基于規(guī)則的語法轉(zhuǎn)換（rule-based grammatical transformation）結(jié)合概率句法解析（probabilistic parsing）的方法來提升文本（英文）的流暢性，該研究提出的領(lǐng)域無關(guān)性（domain-independent）語法轉(zhuǎn)換規(guī)則為本研究選取作文流暢性特征提供了一定的借鑒意義。Liu D 等[11]提出了一種基于改進的n-gram 模型的、不依賴標(biāo)準(zhǔn)參照的統(tǒng)計學(xué)方法，實現(xiàn)了句子流暢性的自動評價。然而該研究雖不依賴標(biāo)準(zhǔn)參照，但有效的n-gram 模型仍需要大量且合適的語料去訓(xùn)練。類比于本研究，若想訓(xùn)練出一個性能良好的n-gram 模型用于計算作文中的句子概率，需要大規(guī)模地收集高質(zhì)量的小學(xué)生作文語料，這將是一個長期而浩大的工程。YuH等[12]提出了一種基于熵（entropy-based）的方法來從句子層面對翻譯結(jié)果的流暢性進行自動評價，用熵來表示機器翻譯結(jié)果與標(biāo)準(zhǔn)譯文之間匹配詞的分布情況（熵越低，表明分布越集中，翻譯結(jié)果越流暢）。

三、流暢性特征的分析與提取

由于本研究主要從語言形式的角度來評價作文流暢性，因此我們從總篇、段落、句子、短語、詞匯和語法錯誤這幾個層面選取了較多的語言學(xué)計量特征，并結(jié)合了少量的內(nèi)容和語義特征，來共同構(gòu)成流暢性特征集。

在特征的提取方法上，本文根據(jù)特征項的不同，將特征提取工作分為兩個部分：基于LTP 的特征提取和基于CRIE 的特征提取，然后將這兩部分的結(jié)果組合成為完整的特征數(shù)據(jù)，用于后續(xù)的篩選和建模。對于前者，基于LTP 的特征提取是指使用“語言技術(shù)平臺”[13]（language technology platform，LTP）對作文文本進行預(yù)處理，獲得以XML 形式表示的作文數(shù)據(jù)。在此基礎(chǔ)上，采用DOM 解析的方式編寫程序進行相應(yīng)計量特征的提取。對于后者，我們使用臺灣師范大學(xué)E-learning 實驗室所研發(fā)的“文本可讀性指標(biāo)自動化分析系統(tǒng)2.3”[14][15]（Chinese readability index explorer，CRIE 2.3，CRIE）來獲取部分與流暢性相關(guān)的文本可讀性指標(biāo)。

1.總篇特征

作文的總體特點代表了作文給人的第一印象，因此總篇特征在作文評價中占據(jù)著重要位置。本文主要從作文的整體篇幅、所用字的筆畫分布、標(biāo)點符號的使用這三個方面來選取作文總篇層次的評價指標(biāo)。

作文的篇幅是衡量寫作能力的重要方面，且不論是已正式投入使用的AEE 產(chǎn)品[16]，還是國內(nèi)外對于作文流暢性相關(guān)的理論和實證研究[17][18]，都表明作文的長短是評價作文流暢程度的有效指標(biāo)。因此，本文借鑒已有研究，結(jié)合小學(xué)生漢語作文的特點，選取了總字數(shù)、總標(biāo)點數(shù)、總詞數(shù)、總句數(shù)、總段落數(shù)這五項指標(biāo)構(gòu)成作文的總體篇幅特征。

字符類特征的選取主要是受到語言研究中詞長效應(yīng)（word length effect）的啟發(fā)：對于英語等西方語言來說，詞長會影響文本閱讀的流暢性；而對于中文來說，用字的復(fù)雜程度會在一定程度上影響文章流暢性。本研究中，我們選取單字的筆畫數(shù)作為字符類特征，用來測量作文用字的復(fù)雜程度，并將其納入流暢性特征集。

對于標(biāo)點符號方面的特征，在小學(xué)生作文中，逗號誤用現(xiàn)象是最為常見的標(biāo)點問題之一。由于本文的研究屬于較宏觀的層次，且在不同的語料上，逗號誤用的形式也不盡相同，因此，本文結(jié)合小學(xué)生作文常見的“一逗到底”等逗號誤用現(xiàn)象，選取了一個粗粒度的特征——逗號比例，作為總體的標(biāo)點特征。

綜上所述，表1 給出了總篇特征的類型、抽取方法等詳細信息。

表1 總篇特征信息

2.段落特征

段落在內(nèi)容上能表述相對完整的意思，段落的劃分和篇幅的分布反映了作者謀篇布局和把握文章總體的能力，進而能在一定程度上體現(xiàn)出文章的流暢程度。由于段落由句子組成，因此我們選取段落的平均句數(shù)來衡量段落的篇幅，如表2 所示。

表2 段落特征信息

3.句子特征

句子是作文中表達完整意義的最小單位，也是形式、內(nèi)容最多樣化的單位。因此，對于接觸寫作不久的小學(xué)生來說，句子層面的特征是拉開作文水平的重要因素，也是衡量作文流暢性的重要指標(biāo)。

在篇幅類特征方面，Chae 等在機器翻譯語料上的研究表明，文本句子的長度與其流暢性呈負相關(guān)。[19]基于此，我們選取了語言學(xué)領(lǐng)域較為通用的幾個指標(biāo)：平均句長、平均分句長、句平均詞數(shù)、T 單位個數(shù)、T 單位平均長度，進行句子長度的測量。

在學(xué)生的實際作文中，單、復(fù)句分布不當(dāng)會影響句子本身乃至全文的流暢性。例如，圖2 所示的作文片段展示了小學(xué)生作文中經(jīng)典的“一逗到底”現(xiàn)象（已進行錯誤標(biāo)注），該片段中一個自然段只包含了一個句號，句中許多逗號的使用是不符合語法規(guī)范的，評閱者在閱讀這樣的段落時會明顯感到不流暢。因此，本研究選取了所有句子中分句數(shù)和單句數(shù)所占的比例，將其作為比例類特征來衡量句子流暢性。

圖2 “一逗到底”作文片段

除了與句子長度和比例相關(guān)的特征，某些較深層次的句子特征也可能反映出作文的流暢性。Nenkova[20]在研究句子流暢度的自動評價時，提出了衡量句子復(fù)雜度的“句法樹深度”特征，且該研究表明，當(dāng)句子的長度相當(dāng)時，越復(fù)雜的句子流暢度越低。因此，本文將探討此特征在預(yù)測漢語文本流暢性中的表現(xiàn)。

“平均句子通順度”是“百度AI 開放平臺”NLP 模塊中，DNN 語言模型接口的一項輸出，該特征用一個float 型的參數(shù)“ppl”來表示一個句子符合客觀語言表達習(xí)慣的程度，該數(shù)值越低，則表示句子越通順、流暢[21]，這與前文對于流暢性的定義有很大的相似度，因此我們將其納入特征集中。

“復(fù)雜語義句數(shù)”是宋曜廷等[22]在中文文本可讀性研究中納入的語義類特征。鄭錦全[23]認為，復(fù)雜語義的句子會影響文章的可讀性和流暢性。因此，我們將基于CRIE 抽取的復(fù)雜語義句數(shù)特征納入流暢性特征集。

上述分析并選取的包括篇幅、比例和進階三種類型的所有句子特征信息如表3所示。

4.短語特征

短語是由語法上或意義上可搭配的詞語組合起來的語言單位。雖然在通常情況下，短語表達的意義沒有整個句子那么完整，但短語類型、短語數(shù)量等的合理使用能在一定程度上反映出行文的流暢程度。

表3 句子特征信息

名詞是實詞中語義最明確的詞類，一個句子中的名詞短語越多，概念和信息也就越多。同時，名詞短語修飾語的長度或數(shù)量的增加，會加大句子的理解難度。[24]因此，文章中名詞短語的比例以及平均修飾語數(shù)會影響句子的流暢性。

Nenkova[20]的研究表明，在機器翻譯和人工文本中，動詞短語間的平均距離與句子的流暢度呈負相關(guān)。鑒于此，我們通過計算小學(xué)生作文中動詞短語間平均距離（即兩個動詞短語之間的平均詞數(shù)）來預(yù)測其流暢性，該特征的提取方法如下偽碼所示：

本研究所納入的短語特征信息如 表4 所示。

5.詞匯特征

不論是在英語作文還是漢語作文評價的相關(guān)研究中，詞匯類的指標(biāo)都是重點探討對象。對于小學(xué)生作文來說，詞匯量的掌握情況、詞匯組合和合理運用的能力等更是拉開作文等級的重要因素。

圖3 同義詞對數(shù)提取方法示意圖

圖4 相同詞間平均距離提取方法示意圖

表4 短語特征信息

在詞匯的篇幅類特征方面，“不重復(fù)詞匯數(shù)”反映了文章用詞的變化度和詞匯豐富度。Burstein 和Wolska 的研究表明，相同詞的過度重復(fù)使用會顯著影響文章的流暢性[25]，且小學(xué)生由于詞匯量有限，詞匯的重復(fù)使用現(xiàn)象出現(xiàn)較為頻繁，因此，“不重復(fù)詞匯數(shù)”理論上對作文的流暢度具有較強的區(qū)分能力。宋曜廷等[22]認為，“詞匯的字元數(shù)”（即組成詞匯的字數(shù)）和“難詞數(shù)”能夠有效分辨文章難度。因此本文將探討二字詞數(shù)、三字詞數(shù)和難詞數(shù)與文章流暢性的關(guān)系。一些高頻的功能性虛詞，如否定詞、代詞、連詞等，在文章中主要起到連接內(nèi)容的作用，因而此類虛詞與文章的凝聚性（cohesion）、連貫性（coherence）關(guān)系密切[26]，而流暢性與上述兩種文本特性在定義和測量上具有高度的相關(guān)和重疊，因此我們在篇幅特征中納入了一系列虛詞數(shù)量特征。

本文所選取的“詞匯密度”和“詞匯變化度”這兩項比例特征，與“不重復(fù)詞匯數(shù)”類似，都是衡量詞匯豐富度的指標(biāo)。

Yang[5]在英文作文流暢性的自動評價研究中發(fā)現(xiàn)，“同義詞對數(shù)”和“相同詞間平均距離”特征的引入使得模型效果提升明顯。因此本文將借鑒Yang 的研究，在特征集中加入上述兩項特征，具體如下。

（1）同義詞對數(shù)

本文采用基于語料庫的方法進行作文同義詞特征的提取，選用的同義詞語料為《哈工大信息檢索研究室同義詞詞林擴展版》，特征提取思路如圖3 所示。

（2）相同詞間平均距離

文章中相同詞間平均距離的提取方法與上文動詞短語間平均距離的算法類似，思路如圖4所示。

詞匯特征信息匯總?cè)绫? 所示。

6.語法錯誤特征

前文所分析的特征都是基于“作文語言符合語法規(guī)范”這個假設(shè)的，但在實際的小學(xué)生作文語料中，語法不規(guī)范乃至語法錯誤現(xiàn)象屢見不鮮，而錯誤特征會顯著影響文章的流暢性。因此，本文將根據(jù)依存句法分析結(jié)果和語言學(xué)相關(guān)知識，采用基于規(guī)則的方法，對主語缺失、未斷句和指代不明這三類語法錯誤進行自動識別并統(tǒng)計頻次。

表5 詞匯特征信息

（1）主語缺失

主語缺失是指整個句子中缺少主語成分，是小學(xué)生寫作中常犯錯誤之一。在使用LTP 對語料進行預(yù)處理的基礎(chǔ)上，我們將識別主語缺失的啟發(fā)式規(guī)則總結(jié)如下：如果一個句子中處于核心關(guān)系的詞結(jié)點不包含類型為“A0”的arg 子結(jié)點，且整句中沒有出現(xiàn)主謂關(guān)系（以“SBV”標(biāo)識），則判定該句存在主語缺失問題。例如，表6 給出了主語缺失的一個樣例。

圖5 未斷句—錯誤例句依存句法分析

圖6 未斷句—正確例句依存句法分析

表6 主語缺失樣例

（2）未斷句

未斷句是指句子沒有按照標(biāo)準(zhǔn)的語法規(guī)范進行分割，而將句子錯誤地表達成為一個單句，從而影響句子的流暢度。本節(jié)實現(xiàn)了如下類型未斷句錯誤的自動識別：如果一個單句或子句中出現(xiàn)兩個及以上主謂關(guān)系（“SBV”），說明當(dāng)前句內(nèi)出現(xiàn)未斷句現(xiàn)象，表7 給出了未斷句現(xiàn)象的例句，圖5 和圖6 是錯誤和正確例句的依存句法分析圖。

表7 未斷句錯誤樣例

（3）指代不明

指代不明主要指文中出現(xiàn)的代詞的指向不明或有歧義，小學(xué)生作文中出現(xiàn)的指代不明現(xiàn)象主要是由于斷句不當(dāng)造成的句首代詞指向不明。由于技術(shù)和語料限制，本文僅提取了以下情況的指代不明現(xiàn)象：若句首詞為除第一人稱代詞（“我”“我們”）以外的代詞，則判定該句出現(xiàn)了指代不明現(xiàn)象，如表8 中的例句所示。

表8 指代不明例句

四、流暢性評價模型的構(gòu)建與實驗

1.數(shù)據(jù)來源

本研究的實驗數(shù)據(jù)來源于從“小荷作文網(wǎng)”爬取的小學(xué)生實際作文語料（以3~5 年級為主，共181 篇作文），每篇作文都已人工標(biāo)注了流暢性等級（F1、F2、F3），并存儲在 SQLite 數(shù)據(jù)庫中。

2.特征篩選

我們把作文的流暢性等級作為預(yù)測變量，把原始流暢性特征集中的所有元素作為待篩選特征項，然后將信息增益和信息增益比大于0 的特征項由大到小進行排序，結(jié)果如表9 所示。

表9 特征篩選結(jié)果

從特征篩選結(jié)果可以發(fā)現(xiàn)，信息增益和信息增益比這兩種方法篩選出的最優(yōu)特征子集包含了17 個相同的特征項，只是特征項的排序稍有差別，說明這17 項特征對于作文流暢性的區(qū)分能力來說是較為穩(wěn)定的。因此我們將表9 中的17 項特征視為最優(yōu)的篩選特征集，將其用于模型訓(xùn)練。

3.模型分類實驗

為了更客觀地評估本文特征集對于作文流暢性的區(qū)分能力，我們分別選取了邏輯回歸、決策樹（J48）和支持向量機（SMO）這三種經(jīng)典分類模型，以及邏輯模型樹（logistic model trees，以下簡稱 LMT）、SimpleLogistic 和隨機子空間（random subspace method，RSM）三種集成模型，并基于這六種算法訓(xùn)練出六個分類器，將作文按照流暢性等級進行分類，最后比較它們的分類效果。各分類器的性能指標(biāo)如表10 所示，分類準(zhǔn)確率的對比如圖7 所示。

實驗結(jié)果顯示，集成了邏輯回歸和決策樹模型的LMT 和SimpleLogistic 在作文流暢性分類中表現(xiàn)較好。這主要是由于本研究所提取的特征都為連續(xù)型變量，決策樹雖分類性能強，但其不擅長處理連續(xù)型數(shù)據(jù)，而邏輯回歸的引入能夠彌補該缺陷，從而讓分類效果更加理想。

從上述各模型的分類結(jié)果我們可以看出，本研究所建立的特征集對于作文流暢性具有較好的區(qū)分度，最優(yōu)的分類精度達到了85%以上。在實際作文教學(xué)中，流暢性自動評價模型可作為作文評價的輔助手段，幫助教師按照流暢程度對作文進行分檔，進而更有針對性地評改作文和指導(dǎo)寫作，這對提高作文評價效率、減輕教師壓力具有一定的實際意義。

表10 各分類器性能指標(biāo)

圖7 各模型分類準(zhǔn)確率對比

五、結(jié)語

本文的主要工作分為兩部分，首先是分析并抽取一系列能夠有效區(qū)分作文流暢度的特征，然后利用特征數(shù)據(jù)訓(xùn)練不同的流暢性分類器，分析效果并得出結(jié)論。本文的研究證明：（1）沿用AEE的思想實現(xiàn)作文流暢性的自動評價是可行的；（2）英文作文自動評價相關(guān)研究中的部分特征對于漢語作文來說同樣適用；（3）用分類思想代替回歸進行作文評價，能夠克服線性模型的部分缺陷，增加模型的可選擇范圍。

從特征篩選的結(jié)果來看，對于小學(xué)生作文的自動評價來說，總體的篇幅類特征（如總字數(shù)、總詞數(shù)等）、詞匯特征（不重復(fù)詞匯數(shù)、同義詞對數(shù)等）和語法錯誤特征在流暢性方面具有較好的區(qū)分度。有效特征的數(shù)量雖然可觀，但抽取的大多為表層的語言學(xué)特征，且特征的數(shù)據(jù)類型單一，因此從自動評價的結(jié)果來看，雖然各模型的分類準(zhǔn)確率較為理想，但仍有一定的提升空間。

從樣本的規(guī)模來看，本研究的數(shù)據(jù)集僅限于小學(xué)三、四年級的作文，且數(shù)量和題材有限，從而限制了模型的泛化性能。

基于本文的研究結(jié)果，我們對小學(xué)生作文流暢性的自動評價提出以下幾點建議。（1）進一步抽取篇幅、詞匯、語法等方面的具有較強區(qū)分度的語言學(xué)特征，并增加離散型特征，如“是否分段”“是否離題”等。同時，根據(jù)實際的作文教學(xué)和評價工作，結(jié)合中文信息處理的新技術(shù)，挖掘出與語言連貫性、邏輯性和人物情感等方面相關(guān)的深層語義特征。（2）廣泛搜集優(yōu)質(zhì)作文數(shù)據(jù)，建立具有一定量級的、主題覆蓋較廣的作文語料庫，結(jié)合深度學(xué)習(xí)模型，訓(xùn)練出高泛化能力和通用性的評價模型。