HSK自動(dòng)作文評(píng)分的特征選取研究

黃志娥，謝佳莉，荀恩東

北京語(yǔ)言大學(xué)漢語(yǔ)國(guó)際教育技術(shù)研發(fā)中心，北京 100083

HSK自動(dòng)作文評(píng)分的特征選取研究

黃志娥，謝佳莉，荀恩東

北京語(yǔ)言大學(xué)漢語(yǔ)國(guó)際教育技術(shù)研發(fā)中心，北京 100083

作文特征選取是研究漢語(yǔ)作為第二語(yǔ)言的水平測(cè)試自動(dòng)作文評(píng)分的關(guān)鍵問題之一，以中國(guó)漢語(yǔ)水平考試作文為研究對(duì)象，從字、詞、語(yǔ)法、成段表達(dá)、莊雅度等多個(gè)層面上，選取107個(gè)作文特征，經(jīng)相關(guān)度計(jì)算得到19個(gè)與作文分?jǐn)?shù)較為相關(guān)的作文特征?；谶x取的作文特征，采用多元線性回歸方法進(jìn)行回歸實(shí)驗(yàn)和穩(wěn)定性交叉實(shí)驗(yàn)。實(shí)驗(yàn)表明，作文長(zhǎng)度、詞匯使用和成段表達(dá)方面的作文特征對(duì)作文得分具有較好的解釋能力，多元線性回歸方法應(yīng)用于中國(guó)漢語(yǔ)水平考試自動(dòng)作文評(píng)分具有較好的穩(wěn)定性。

中國(guó)漢語(yǔ)水平考試；自動(dòng)作文評(píng)分；特征選?。欢嘣€性回歸

1 引言

自動(dòng)作文評(píng)分（Automated Essay Scoring，AES）就是利用計(jì)算機(jī)技術(shù)對(duì)作文評(píng)估與計(jì)分，因其具有效率高、準(zhǔn)確性和客觀性好等優(yōu)點(diǎn)，受到了眾多國(guó)內(nèi)外語(yǔ)言評(píng)測(cè)機(jī)構(gòu)的廣泛關(guān)注。國(guó)外越來越多的大規(guī)?？荚囌谥鸩讲捎貌煌淖詣?dòng)評(píng)分系統(tǒng)對(duì)其作文部分進(jìn)行機(jī)器評(píng)分，如計(jì)算機(jī)化的TOEFL考試和GMAT作文評(píng)分系統(tǒng)。隨著中國(guó)漢語(yǔ)水平考試（HSK）日益國(guó)際化的發(fā)展，實(shí)現(xiàn)考試的全面計(jì)算機(jī)化也會(huì)成為一個(gè)不可回避的要求。由于漢語(yǔ)的漢字、詞匯、語(yǔ)法等方面的復(fù)雜性特點(diǎn)，HSK作文的客觀化評(píng)分是一個(gè)很值得研究的課題[1-4]。

HSK作為第二語(yǔ)言的水平測(cè)試，其評(píng)分標(biāo)準(zhǔn)上必然和第一語(yǔ)言的水平考試存在著不同的傾向。第一語(yǔ)言多是內(nèi)容、結(jié)構(gòu)、風(fēng)格等寫作方面的綜合要求，第二語(yǔ)言則偏重語(yǔ)言基本成分的使用，這與一般的第二語(yǔ)言寫作能力測(cè)試目標(biāo)是相吻合的。HSK中寫作測(cè)試的目的主要就是考察書面表達(dá)能力和漢字書寫能力，著重考察學(xué)生的一般言語(yǔ)能力。對(duì)于受試者持何種觀點(diǎn)、表達(dá)何種內(nèi)容不苛求，不注重寫什么，而是主要考查怎么寫。根據(jù)這一目的，對(duì)于HSK的自動(dòng)作文評(píng)分，作文特征的選取尤其重要[1-2，5]。

本文的研究思路是選取北京語(yǔ)言大學(xué)的“HSK動(dòng)態(tài)作文語(yǔ)料庫(kù)”為實(shí)驗(yàn)語(yǔ)料，從字、詞、句和篇章各方面（包括偏誤及等級(jí)使用情況）進(jìn)行了考查，選取了作文的字、詞、語(yǔ)法知識(shí)、標(biāo)點(diǎn)符號(hào)、成段表達(dá)和莊雅度等特征，采用相關(guān)度對(duì)選取的HSK作文特征與作文分?jǐn)?shù)的密切程度進(jìn)行評(píng)測(cè)。在作文特征選取的基礎(chǔ)上，利用多元線性回歸方法進(jìn)行HSK自動(dòng)作文評(píng)分，采用準(zhǔn)確率對(duì)回歸結(jié)果進(jìn)行評(píng)價(jià)，及對(duì)多元線性回歸方法的穩(wěn)定性進(jìn)行評(píng)價(jià)。

本文首先回顧了當(dāng)前AES特征提取領(lǐng)域的研究現(xiàn)狀，然后提出了針對(duì)HSK自動(dòng)作文評(píng)分的作文特征選取，最后，基于選取的19個(gè)與作文分?jǐn)?shù)較為相關(guān)的作文特征，通過線性回歸實(shí)驗(yàn)和回歸方法穩(wěn)定性實(shí)驗(yàn)，可以得出，本文選取的作文特征對(duì)HSK作文得分具有較好的解釋能力。

2 AES特征選取的研究現(xiàn)狀

目前國(guó)外主要的自動(dòng)作文評(píng)分系統(tǒng)中，PEG注重作文的語(yǔ)言形式，選取了如作文長(zhǎng)度、單詞長(zhǎng)度、標(biāo)點(diǎn)符號(hào)、語(yǔ)法等作文特征[6]。IEA則采用了潛在語(yǔ)義分析LSA（Latent Semantic Analysis）對(duì)作文內(nèi)容進(jìn)行考察[7]；E-rater、IntelliMetric和BETSY等系統(tǒng)則兩者兼顧，選取了作文的語(yǔ)言形式和作文內(nèi)容兩方面的特征[8-10]。而國(guó)內(nèi)關(guān)于作文自動(dòng)評(píng)分，特別是漢語(yǔ)非母語(yǔ)的作文自動(dòng)評(píng)分方面的研究還比較少，且局限在作文評(píng)分自動(dòng)評(píng)分中的作文特征選取和評(píng)分方法兩方面進(jìn)行探討，尚無(wú)成型系統(tǒng)。

而關(guān)于HSK自動(dòng)作文評(píng)分的研究主要是從對(duì)外漢語(yǔ)教學(xué)和語(yǔ)言測(cè)試學(xué)出發(fā)。劉珣認(rèn)為作文能全面反映受試者的語(yǔ)法、詞匯、標(biāo)點(diǎn)符號(hào)運(yùn)用水平和漢字書寫水平以及成段表達(dá)能力（話語(yǔ)能力）[2]；任春艷提出詞匯等級(jí)、語(yǔ)法錯(cuò)誤和內(nèi)容關(guān)鍵詞等特征對(duì)HSK現(xiàn)行主觀等級(jí)評(píng)分具有較好的解釋能力[1]；馬新芳對(duì)第二語(yǔ)言閱讀能力和寫作能力的關(guān)系進(jìn)行了實(shí)證分析，認(rèn)為寫作能力主要是一種組織能力，語(yǔ)法知識(shí)不是影響寫作能力的最重要因素[11]；馮勝利通過HSK（高等）考試作文的語(yǔ)料驗(yàn)證了莊雅度計(jì)算結(jié)果的可靠性[12]。

此外，以MHK作文為研究樣本進(jìn)行研究的，有曹亦薇和楊晨使用LSA對(duì)漢語(yǔ)作文進(jìn)行計(jì)算機(jī)自動(dòng)評(píng)分的研究[13]；李亞男也提取了包括字?jǐn)?shù)、等級(jí)字/詞數(shù)、詞性等45個(gè)特征，以多元線性回歸分析為研究方法進(jìn)行了相關(guān)探討[14]；柯登峰等在詞匯等級(jí)方面研究作文自動(dòng)評(píng)分技術(shù)[15]。

可見，在漢語(yǔ)作為第二語(yǔ)言的作文自動(dòng)評(píng)分的研究中，漢語(yǔ)教學(xué)及語(yǔ)言測(cè)試學(xué)的研究主要對(duì)HSK作文自動(dòng)評(píng)測(cè)中作文特征的選取進(jìn)行討論，但缺乏對(duì)作文特征的量化表示，計(jì)算語(yǔ)言學(xué)的研究目前主要是對(duì)少數(shù)民族漢語(yǔ)水平考試的自動(dòng)評(píng)分方法進(jìn)行探討。

3 HSK作文的特征選取

3.1 作文特征選取

對(duì)外漢語(yǔ)教學(xué)界于1984年開始研制漢語(yǔ)水平考試（HSK），于1985年完成第一套試題。1993年HSK引進(jìn)了作文考試。目前，HSK作文考試的評(píng)分標(biāo)準(zhǔn)涉及的主要內(nèi)容是：內(nèi)容充實(shí)與否、條理性、表達(dá)得體性、語(yǔ)法、詞匯及書寫[1-2]。

本文從作文整體及作文中的字、詞、句和篇章各層面上，獲取得107個(gè)作文特征。包括了作文長(zhǎng)度（6個(gè)，作文的總字?jǐn)?shù)、字總個(gè)數(shù)、長(zhǎng)句子數(shù)、短句子數(shù)、平均句子長(zhǎng)度、平均分句子長(zhǎng)度）、漢字書寫（27個(gè)，字錯(cuò)總個(gè)數(shù)、字錯(cuò)總字?jǐn)?shù)、等級(jí)字錯(cuò)次數(shù)、等級(jí)字錯(cuò)個(gè)數(shù)、等級(jí)字錯(cuò)次數(shù)與總字?jǐn)?shù)比、等級(jí)字錯(cuò)個(gè)數(shù)與字總個(gè)數(shù)比、等級(jí)字錯(cuò)個(gè)數(shù)與字總數(shù)比）、詞匯使用（56個(gè)，詞總次數(shù)、詞總個(gè)數(shù)、詞總次數(shù)與總字?jǐn)?shù)比、詞總個(gè)數(shù)與總字?jǐn)?shù)比、等級(jí)詞個(gè)數(shù)、等級(jí)詞次數(shù)、等級(jí)詞個(gè)數(shù)與詞總個(gè)數(shù)比、等級(jí)詞次數(shù)與詞總個(gè)數(shù)比、等級(jí)詞次數(shù)與詞總次數(shù)比、錯(cuò)詞總個(gè)數(shù)、錯(cuò)詞總次數(shù)、等級(jí)錯(cuò)詞個(gè)數(shù)、等級(jí)錯(cuò)詞次數(shù)、等級(jí)錯(cuò)詞個(gè)數(shù)與詞總個(gè)數(shù)比、等級(jí)錯(cuò)詞次數(shù)與詞總個(gè)數(shù)比、等級(jí)錯(cuò)詞次數(shù)與詞總次數(shù)比）、語(yǔ)法知識(shí)（4個(gè)，錯(cuò)誤句子個(gè)數(shù)、錯(cuò)誤句子次數(shù)、錯(cuò)誤篇章次數(shù)、總錯(cuò)誤數(shù)）、成段表達(dá)（2個(gè)，關(guān)聯(lián)詞次數(shù)、關(guān)聯(lián)詞個(gè)數(shù)）、莊雅度（12個(gè)，書面語(yǔ)總個(gè)數(shù)、書面語(yǔ)總次數(shù)，以及合偶詞/嵌偶詞的個(gè)數(shù)、次數(shù)、個(gè)數(shù)與詞總個(gè)數(shù)比、次數(shù)與詞總個(gè)數(shù)比、次數(shù)與詞總次數(shù)比）等方面。

其中，等級(jí)字和等級(jí)詞的劃分是基于1992年出版的《漢語(yǔ)水平詞匯與漢字等級(jí)大綱》，分別有五個(gè)等級(jí)：甲級(jí)字（詞）、乙級(jí)字（詞）、丙級(jí)字（詞）、丁級(jí)字（詞）、超綱字（詞）。關(guān)聯(lián)詞語(yǔ)表則是由大綱中的詞性為連詞的詞語(yǔ)（105個(gè)）構(gòu)成。莊雅度特征采用了《漢語(yǔ)書面用語(yǔ)初編》的嵌偶詞和合偶詞[2，12，16-17]。

3.2 特征選取實(shí)驗(yàn)

3.2.1 實(shí)驗(yàn)語(yǔ)料

北京語(yǔ)言大學(xué)“HSK動(dòng)態(tài)作文語(yǔ)料庫(kù)”是母語(yǔ)非漢語(yǔ)的外國(guó)人參加HSK作文考試的答卷語(yǔ)料庫(kù)，收集了1992—2005年的部分外國(guó)考生的作文答卷，涉及25個(gè)不同作文題目。本文選取語(yǔ)料庫(kù)中題目為“綠色食品與饑餓”的1 523篇作文文本為“同主題”實(shí)驗(yàn)語(yǔ)料，其余24個(gè)題目共9 073篇作文樣本為“不同主題”實(shí)驗(yàn)語(yǔ)料。包括了11個(gè)分?jǐn)?shù)段：45，50，55，60，65，70，75，80，85，90，95。圖1是語(yǔ)料各分?jǐn)?shù)的樣本分布情況。

圖1 語(yǔ)料各分?jǐn)?shù)的樣本分布情況

3.2.2 評(píng)測(cè)指標(biāo)

相關(guān)度表示兩類現(xiàn)象間是否相關(guān)、相關(guān)的方向和相關(guān)密切程度，在相關(guān)度計(jì)算中一般不區(qū)分自變量和因變量。為了保證回歸模型具有優(yōu)良的解釋能力和預(yù)測(cè)效果，采用了作文特征與HSK分?jǐn)?shù)的Pearson相關(guān)系數(shù)作為作文特征的相關(guān)度，抽取與作文分值較為相關(guān)的作文特征。

3.2.3 實(shí)驗(yàn)結(jié)果與分析

從同主題語(yǔ)料和不同主題語(yǔ)料中提取的107個(gè)作文特征中，在同主題及不同主題語(yǔ)料中均與HSK分?jǐn)?shù)的相關(guān)度≥0.3的作文特征有19個(gè)（見表1）。包括12個(gè)詞匯使用特征（詞語(yǔ)總個(gè)數(shù)、詞語(yǔ)總次數(shù)、各等級(jí)詞及超綱詞的個(gè)數(shù)和次數(shù)），3個(gè)作文長(zhǎng)度特征（字總數(shù)、字總個(gè)數(shù)和短句子數(shù)），2個(gè)成段表達(dá)特征（關(guān)聯(lián)詞的次數(shù)和個(gè)數(shù)），以及2個(gè)莊雅度特征（書面語(yǔ)的總個(gè)數(shù)和總次數(shù)）。

表1 相關(guān)度≥0.3的作文特征列表

任春艷提出的語(yǔ)法偏誤對(duì)作文得分具有較好的解釋能力，在本實(shí)驗(yàn)中并沒有體現(xiàn)[1]。且通過實(shí)驗(yàn)，可以認(rèn)為書面表達(dá)中的偏誤雖然能反映出受試者的實(shí)際語(yǔ)言能力，但不是影響專家進(jìn)行作文評(píng)測(cè)時(shí)的重要因素。

4 多元線性回歸實(shí)驗(yàn)

4.1 實(shí)驗(yàn)說明

目前，構(gòu)建自動(dòng)作文評(píng)分模型常用的方法有樸素貝葉斯、支持向量機(jī)和多元線性回歸。樸素貝葉斯分類器所需估計(jì)的參數(shù)較少，對(duì)缺失數(shù)據(jù)不太敏感，算法也比較簡(jiǎn)單，在模型各個(gè)特征滿足獨(dú)立性假設(shè)條件下，模型與其他分類方法相比具有最小的誤差率。但其應(yīng)用的前提是假設(shè)各個(gè)特征之間相互獨(dú)立，而在真實(shí)情況下這樣的假設(shè)往往難以實(shí)現(xiàn)，如在人工對(duì)作文評(píng)分過程中評(píng)分人員考慮的多種因素往往存在相互聯(lián)系。支持向量機(jī)可以構(gòu)造樣本特征向量與對(duì)應(yīng)的人工評(píng)測(cè)打分之間的映射函數(shù)，使該映射函數(shù)在結(jié)構(gòu)風(fēng)險(xiǎn)最小的前提下，最大限度地模擬人工打分方式。其最大的優(yōu)點(diǎn)是在相對(duì)較小的語(yǔ)料中，預(yù)測(cè)出較為準(zhǔn)確的結(jié)果，具有較好的泛化能力。多元線性回歸方法通過擬合因變量和自變量來確定變量間的因果關(guān)系，可以由多個(gè)自變量的最優(yōu)組合共同來預(yù)測(cè)或估計(jì)因變量，在設(shè)計(jì)模型時(shí)，各個(gè)特征的相關(guān)度越高，模型預(yù)測(cè)效果會(huì)越好。由于樸素貝葉斯和支持向量機(jī)對(duì)樣本的均衡分布均具有較高的要求，而HSK考試是一種常模參照測(cè)試，其作文分?jǐn)?shù)在分布上呈現(xiàn)出近似正態(tài)分布，因此多元線性回歸方法更適合用于HSK自動(dòng)作文評(píng)分任務(wù)[18]。

本文選取了多元線性回歸方法構(gòu)建評(píng)分模型。以19個(gè)與HSK分?jǐn)?shù)相關(guān)度≥0.3的作文特征為自變量，HSK分?jǐn)?shù)作為因變量，利用SPSS的多元線性回歸分析（逐步）獲取得回歸方程，進(jìn)行了基于同主題語(yǔ)料和不同主題語(yǔ)料的回歸實(shí)驗(yàn)。

4.2 評(píng)測(cè)指標(biāo)

本文采用了得分差在步長(zhǎng)5和步長(zhǎng)10的準(zhǔn)確率對(duì)評(píng)分模型進(jìn)行評(píng)測(cè)。得分差指回歸分?jǐn)?shù)與HSK分?jǐn)?shù)的差值的絕對(duì)值，則步長(zhǎng)N的準(zhǔn)確率可按下面式子計(jì)算得到：

HSK水平考試屬于常模參照測(cè)試，受試者的分?jǐn)?shù)反映了他在全體受試者中的位置。測(cè)試分?jǐn)?shù)以平均分為中心，形成近似正態(tài)分布。因此，本文采用的基線系統(tǒng)是將所有的作文打65分。根據(jù)上述評(píng)測(cè)指標(biāo)，同主題語(yǔ)料中，步長(zhǎng)10（即分?jǐn)?shù)在55～75分的作文都算符合）的準(zhǔn)確率為81.75%。基線系統(tǒng)的準(zhǔn)確率如表2所示。

表2 基線系統(tǒng)的準(zhǔn)確率（%）

4.3 實(shí)驗(yàn)結(jié)果與分析

4.3.1 同主題回歸實(shí)驗(yàn)

以同主題語(yǔ)料為實(shí)驗(yàn)數(shù)據(jù)，得到回歸方程（2）：

回歸方程（2）中包含了6個(gè)特征項(xiàng)，分別為：字總個(gè)數(shù)、總字?jǐn)?shù)、短句子數(shù)、甲級(jí)詞次數(shù)、乙級(jí)詞次數(shù)、關(guān)聯(lián)詞個(gè)數(shù)。涉及作文長(zhǎng)度、詞匯使用和成段表達(dá)三個(gè)方面。

表3所示的是同主題語(yǔ)料的回歸結(jié)果的準(zhǔn)確率?？梢?，步長(zhǎng)10的準(zhǔn)確率為84.05%，比基線系統(tǒng)有2.3%的提升。

表3 同主題回歸結(jié)果（%）

由表4可見，分?jǐn)?shù)段55～75的作文樣本在采用線性回歸后步長(zhǎng)10的準(zhǔn)確率均達(dá)90%以上。高分段樣本（80分及以上分?jǐn)?shù)段）的回歸結(jié)果并不理想，是影響整體準(zhǔn)確率的主要因素，主要表現(xiàn)為高分低判。因?yàn)閷＜以谂卸ㄟ@些樣本時(shí)除了采用淺層作文特征外，還考查了作文組織及行文方面的深層特征對(duì)作文進(jìn)行加分。采用淺層特征能區(qū)別一般作文，但在對(duì)高分段作文進(jìn)行判定時(shí)則明顯不夠。

表4 同主題各分值段的回歸情況

4.3.2 不同主題回歸實(shí)驗(yàn)

不同主題中，采用19個(gè)作文特征進(jìn)行多元線性回歸，得到的回歸方程（3）如下：

采用19個(gè)特征進(jìn)行不同主題語(yǔ)料回歸，回歸方程中包含了17個(gè)特征（除總詞數(shù)和字總個(gè)數(shù)外）?；貧w得到的步長(zhǎng)10的準(zhǔn)確率為76.74%，較基線系統(tǒng)提高了6.52%。不同主題回歸結(jié)果如表5所示。

表5 不同主題回歸結(jié)果（%）

4.3.3 實(shí)驗(yàn)結(jié)果與分析

同主題回歸得的回歸方程和不同主題回歸得的回歸方程中均包含的作文特征有5個(gè)：總字?jǐn)?shù)、短句子數(shù)、甲級(jí)詞次數(shù)、乙級(jí)詞次數(shù)、關(guān)聯(lián)詞個(gè)數(shù)。涉及作文評(píng)分的三個(gè)方面，即作文長(zhǎng)度、詞匯使用和成段表達(dá)。

作文長(zhǎng)度特征能在一定程度上反映受試者在行文中的流暢程度，詞匯使用特征反映其詞匯積累及使用方面的水平，成段表達(dá)則反映語(yǔ)篇連貫方面的水平，是能夠反映真實(shí)評(píng)分中影響作文得分的作文特征。三者都是作文真實(shí)評(píng)分時(shí)專家考查的對(duì)象?？梢钥闯?，采用淺層特征進(jìn)行評(píng)測(cè)時(shí)，對(duì)于一般水平的作文具有較好的評(píng)分效果。但是，在對(duì)高分值作文進(jìn)行評(píng)分時(shí)，僅采用淺層特征是不夠的，還需要綜合使用統(tǒng)計(jì)方法和自然語(yǔ)言處理的技術(shù)來提取作文的詞語(yǔ)使用、邏輯結(jié)構(gòu)、主題內(nèi)容等方面的深層特征。如采用大規(guī)模中文語(yǔ)料庫(kù)學(xué)習(xí)，采用互信息模型提取漢語(yǔ)詞匯的搭配規(guī)律，用以檢測(cè)和統(tǒng)計(jì)文中的詞匯搭配信息；利用自然語(yǔ)言處理的關(guān)鍵詞提取和擴(kuò)展技術(shù)獲取和統(tǒng)計(jì)作文內(nèi)容特征；也可以采用潛語(yǔ)義分析方法進(jìn)行內(nèi)容評(píng)分等。而作文的充實(shí)度、流暢度和表達(dá)的準(zhǔn)確度方面特征，不僅涉及到了語(yǔ)義還涉及到語(yǔ)用層面，目前關(guān)于這方面的研究還比較少，尚需進(jìn)行大量的研究工作。

5 多元線性回歸方法的穩(wěn)定性實(shí)驗(yàn)

5.1 實(shí)驗(yàn)說明

本文中選取了同主題語(yǔ)料（1 523篇），對(duì)語(yǔ)料中各分值樣本按照等比隨機(jī)抽取方式抽取分值中75%的樣本，共1 142篇，作為實(shí)驗(yàn)的訓(xùn)練語(yǔ)料。而將余下的381篇語(yǔ)料作為測(cè)試語(yǔ)料。如此生成12組語(yǔ)料，對(duì)回歸方法穩(wěn)定性進(jìn)行交叉驗(yàn)證。

5.2 實(shí)驗(yàn)結(jié)果與分析

圖2為封閉測(cè)試（訓(xùn)練語(yǔ)料進(jìn)行回歸和測(cè)試）結(jié)果，圖3為半封閉測(cè)試（訓(xùn)練語(yǔ)料進(jìn)行回歸，整體語(yǔ)料進(jìn)行測(cè)試）結(jié)果，圖4為開放測(cè)試（訓(xùn)練語(yǔ)料進(jìn)行回歸，測(cè)試語(yǔ)料進(jìn)行測(cè)試）結(jié)果。封閉測(cè)試中步長(zhǎng)10的準(zhǔn)確率基本在84%及以上，開放測(cè)試中步長(zhǎng)10準(zhǔn)確率也在83%及以上。由圖可見，準(zhǔn)確率曲線波動(dòng)變化不大，可以得出如下結(jié)論：多元線性回歸方法運(yùn)用于作文評(píng)測(cè)中具有較好的穩(wěn)定性。

實(shí)驗(yàn)中，采用19個(gè)特征進(jìn)行回歸，評(píng)價(jià)指標(biāo)和評(píng)價(jià)方法同上。12組交叉實(shí)驗(yàn)中共生成12個(gè)回歸方程。被6個(gè)及以上的回歸方程包含的作文特征（見表6）有5個(gè)，分別是字總個(gè)數(shù)、字總數(shù)、短句子數(shù)、甲級(jí)詞次數(shù)和關(guān)聯(lián)詞個(gè)數(shù)。再次印證了作文的長(zhǎng)度、詞匯使用和成段表達(dá)是專家實(shí)際評(píng)分時(shí)考查的基本作文特征。

圖2 封閉測(cè)試結(jié)果

圖3 半封閉測(cè)試結(jié)果

圖4 開放測(cè)試結(jié)果

表6 多個(gè)回歸方程(≥6)包含的作文特征

6 結(jié)束語(yǔ)

以“HSK動(dòng)態(tài)作文語(yǔ)料庫(kù)”為實(shí)驗(yàn)語(yǔ)料，從字、詞、語(yǔ)法及篇章等層面上對(duì)影響作文最后得分的作文特征進(jìn)行考查，抽取了107個(gè)淺層作文特征。通過與HSK分?jǐn)?shù)的相關(guān)度計(jì)算，提取得19個(gè)與作文分?jǐn)?shù)較為相關(guān)的作文特征?；谏鲜?9個(gè)作文特征，進(jìn)行同主題及不同主題的多元線性回歸實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，所選取的特征，特別是作文長(zhǎng)度（總字?jǐn)?shù)、短句子數(shù)）、詞匯使用（甲級(jí)詞次數(shù)、乙級(jí)詞次數(shù)）及成段表達(dá)（關(guān)聯(lián)詞個(gè)數(shù)），能夠?yàn)樽魑姆謹(jǐn)?shù)提供較好的解釋，都是真實(shí)作文評(píng)分中影響作文得分的作文特征。

此外，12組同主題交叉實(shí)驗(yàn)結(jié)果表明，多元線性回歸方法是適合自動(dòng)作文評(píng)分問題的一種評(píng)分方法，19個(gè)特征采用線性回歸方法獲得的評(píng)分模型具有較好的穩(wěn)定性和評(píng)分效果（同主題語(yǔ)料回歸，開放測(cè)試的步長(zhǎng)10的準(zhǔn)確率最高達(dá)84.5%）。

同時(shí)應(yīng)該看到，在HSK自動(dòng)作文評(píng)分的研究中，特征選取是關(guān)鍵的研究課題之一，直接影響著評(píng)分模型的性能。采用淺層特征進(jìn)行評(píng)測(cè)時(shí)，對(duì)于一般水平的作文具有較好的評(píng)測(cè)效果。但是，在對(duì)高分值作文進(jìn)行評(píng)測(cè)時(shí)，僅采用淺層特征是不夠的，還需要綜合使用統(tǒng)計(jì)方法和自然語(yǔ)言處理的技術(shù)來提取作文的詞語(yǔ)使用、邏輯結(jié)構(gòu)、主題內(nèi)容等方面的深層特征。并且在結(jié)合最新技術(shù)的基礎(chǔ)上，挖掘出更多能反映影響專家給作文評(píng)分的特征，才能不斷地提高作文自動(dòng)評(píng)分的精度。

[1]任春艷.HSK作文評(píng)分客觀化探討[J].漢語(yǔ)學(xué)習(xí)，2004（6）.

[2]劉珣.對(duì)外漢語(yǔ)教育學(xué)引論[M].北京：北京語(yǔ)言文化大學(xué)出版社，2000：388-395.

[3]葛詩(shī)利，陳瀟瀟.國(guó)外自動(dòng)作文評(píng)分技術(shù)研究[J].外語(yǔ)電化教學(xué)，2007（5）：25-29.

[4]梁茂成，文秋芳.國(guó)外作文自動(dòng)評(píng)分系統(tǒng)評(píng)述及啟示[J].外語(yǔ)電化教學(xué)，2007（5）：18-24.

[5]辛平.基于語(yǔ)言能力構(gòu)想的作文評(píng)分標(biāo)準(zhǔn)及其可操作性研究[J].暨南大學(xué)華文學(xué)院學(xué)報(bào)，2007（3）：19-24.

[6]Page E B.Project essay grade：PEG[M]//Shermis M D，Burstein J.Automated Essay Scoring：A Cross-Disciplinary Perspective.Mahwah，NJ：Lawrence Erlbaum Associates，2003：43-54.

[7]Landauer T K，Laham D，F(xiàn)oltz P W.Automated essay scoring and annotation of essays with the intelligent essay assessor[M]//Shermis M D，Burstein J.Automated Essay Scoring：A Cross-Disciplinary Perspective.Mahwah，NJ：Lawrence Erlbaum Associates，2003：87-112.

[8]Burstein J.The e-rater scoring engine：automated essay scoring with natural language processing[M]//Shermis M D，Burstein J.Automated Essay Scoring：a Cross-Disciplinary Perspective.Mahwah，NJ：Lawrence Erlbaum Associates，2003：113-122.

[9]Elliot S.IntelliMetric：from here to validity[M]//Shermis M D，Burstein J.Automated Essay Scoring：A Cross-Disciplinary Perspective.Mahwah，NJ：Lawrence Erlbaum Associates，2003：71-86.

[10]Rudner L M，Liang T.Automated essay scoring using Bayes’theorem[J].The Journal of Technology，Learning and Assessment，2002（2）：3-21.

[11]馬新芳.對(duì)第二語(yǔ)言閱讀能力和寫作能力關(guān)系的實(shí)證分析[D].北京：北京語(yǔ)言大學(xué)，2004.

[12]馮勝利，王潔，黃梅.漢語(yǔ)書面語(yǔ)體莊雅度的自動(dòng)測(cè)量[J].語(yǔ)言科學(xué)，2008，7（2）：113-126.

[13]曹亦薇，楊晨.使用潛語(yǔ)義分析的漢語(yǔ)作文自動(dòng)評(píng)分研究[J].考試研究，2007，3（1）：63-71.

[14]李亞男.漢語(yǔ)作為第二語(yǔ)言測(cè)試的作文自動(dòng)評(píng)分研究[D].北京：北京語(yǔ)言大學(xué)，2006.

[15]柯登峰，彭星源.基于詞匯評(píng)分的漢語(yǔ)作文自動(dòng)評(píng)分[C]//孫茂松，陳群秀.中國(guó)計(jì)算語(yǔ)言學(xué)研究前沿進(jìn)展：第十一屆全國(guó)計(jì)算語(yǔ)言學(xué)學(xué)術(shù)會(huì)議，洛陽(yáng)，2011.北京：清華大學(xué)出版社，2011：588-595.

[16]國(guó)家對(duì)外漢語(yǔ)教學(xué)領(lǐng)導(dǎo)小組辦公室.漢語(yǔ)水平詞匯與漢字等級(jí)大綱[M].北京：北京語(yǔ)言學(xué)院出版社，1992.

[17]馮勝利.漢語(yǔ)書面用語(yǔ)初編[M].北京：北京語(yǔ)言大學(xué)出版社，2006.

[18]梁茂成.中國(guó)學(xué)生英語(yǔ)作文自動(dòng)評(píng)分模型的構(gòu)建[D].南京：南京大學(xué)，2005.

HUANG Zhi’e,XIE Jiali,XUN Endong

International R&D Center for Chinese Education,Beijing Language and Culture University,Beijing 100083,China

Feature selection is a key issue in automated essay scoring for Chinese as second language.Focusing on HSK composition test,107 features are extracted,mainly describing Chinese character using,word using,grammatical mistakes,paragraph expression,formality measuring,etc.19 of them are proved to have strong correlation with composition scoring,through relativity calculation.Based on the selected features,multiple linear regression and stability cross experiment are utilized.Essay length,word use and paragraph expression are found to be explanatory capable and multiple linear regression provides better stability in HSK composition test.

HSK;Automated Essay Scoring（AES）;feature selection;multiple linear regression

A

TP391

10.3778/j.issn.1002-8331.1205-0201

HUANG Zhi’e,XIE Jiali,XUN Endong.Study of feature selection in HSK automated essay scoring.Computer Engineering and Applications,2014,50（6）：118-122.

國(guó)家自然科學(xué)基金（No.60573184，No.60973062，No.61170162）。

黃志娥（1984—），女，博士研究生，研究方向?yàn)檎Z(yǔ)言信息處理、計(jì)算機(jī)輔助漢語(yǔ)學(xué)習(xí)；謝佳莉（1988—），女，碩士研究生，研究方向?yàn)檎Z(yǔ)言信息處理；荀恩東（1967—），男，博士，教授，研究方向?yàn)檎Z(yǔ)言信息處理、計(jì)算機(jī)輔助語(yǔ)言教學(xué)和學(xué)習(xí)技術(shù)。E-mail：huangzhie@hotmail.com

2012-05-22

2012-08-23

1002-8331（2014）06-0118-05

CNKI網(wǎng)絡(luò)優(yōu)先出版：2012-09-07，http://www.cnki.net/kcms/detail/11.2127.TP.20120907.1626.014.html