英語學習者書面語法錯誤自動檢測研究綜述

劉 磊,梁茂成

(1. 燕山大學 外國語學院，河北 秦皇島 066004；2. 北京外國語大學 中國外語與教育研究中心，北京 100089)

0　引言

在英語教學和測試領域，作文是檢測英語學習者語言能力的重要指標。目前，學習者作文通常依靠教師或評分員人工審閱，這一過程需要耗費大量的人力和物力，同時很難保證作文評測的信度和效度[1]。

為了克服上述弊端，國內外學者近年來開始借助自然語言處理技術，利用計算機自動評測學習者的作文質量[2-4]。其中，語法錯誤的自動檢測和修改是作文自動評測的重要環(huán)節(jié)，能為學習者提供書面糾錯反饋，并提高其自主學習意識[5-6]。

自20世紀80年代起，英語書面語法錯誤自動檢測和修改研究(Grammar error correction,GEC)已經(jīng)歷了三個階段的發(fā)展[7]：第一代GEC系統(tǒng)采用簡單的字符串匹配和替換識別、修改錯誤，如Unix系統(tǒng)上的Writer’s Workbench工具，第二代系統(tǒng)使用人工編纂的語法規(guī)則對文本進行句法分析，通過編寫錯誤模板匹配和糾正語法錯誤，其代表是IBM公司開發(fā)的Epistle和Critique工具，以及微軟公司W(wǎng)ord字處理軟件中的語法檢查模塊，隨著大數(shù)據(jù)的涌現(xiàn)和計算機數(shù)據(jù)處理能力的提高；第三代系統(tǒng)采用數(shù)據(jù)驅動的方法，從大規(guī)模本族語或學習者語料庫中提取詞匯-句法特征，通過機器學習算法自動構建統(tǒng)計模型檢測語法錯誤，如微軟公司開發(fā)的ESL Assistant系統(tǒng)。

近十年來，GEC領域出現(xiàn)了一些新的研究方法，這些方法以數(shù)據(jù)驅動的統(tǒng)計模型為主，主要涉及以下內容： ①使用海量基于網(wǎng)絡的英語本族語者語料庫構建語言模型檢測語法錯誤； ②采用基于統(tǒng)計的機器翻譯模型提高系統(tǒng)性能； ③重視英語學習者語誤類型與其母語/L1的關系，在統(tǒng)計模型中加入學習者的L1信息提高語誤檢測的準確率； ④針對不同錯誤類型選用不同檢測方法，主流的統(tǒng)計模型與傳統(tǒng)基于規(guī)則的方法相結合。

同時，為了更加客觀地評測基于不同范式開發(fā)的語誤檢測系統(tǒng)性能，自2011年起，GEC領域的學者先后組織了四次系統(tǒng)評測任務，并發(fā)布了訓練和測試系統(tǒng)性能的學習者語料庫，以保證參評團隊在使用相同數(shù)據(jù)的前提下開發(fā)系統(tǒng)[8-11]。這些系統(tǒng)評測任務部分解決了以往研究中數(shù)據(jù)不一致的問題，推動了GEC研究的進展。

本文首先介紹英語學習者和本族語者語料庫的標注體系和規(guī)模與GEC研究的關系，接著分析基于統(tǒng)計和基于規(guī)則的研究方法，以及GEC系統(tǒng)的評測標準，最后闡述學習者語誤檢測的研究趨勢，并提出進一步提高系統(tǒng)準確率的幾點建議。

1　GEC研究中語料庫

1.1　學習者語料庫

英語學習者語料庫對GEC研究至關重要。研究者可借助人工標注和修改錯誤后的語料歸納語法錯誤類別；還可將其作為訓練和測試語料，構建錯誤檢測模型和評測系統(tǒng)性能。例如Leacock等[12]根據(jù)劍橋學習者語料庫(cambridgelearnercorpus，CLC)統(tǒng)計了英語學習者書面語中的常見錯誤類型及頻率分布(圖1)。CLC語料庫規(guī)模較大，約5000萬詞，包含錯誤類型、錯誤批改及學習者背景(如年齡、性別和國籍等)的標注，非常適合GEC系統(tǒng)的訓練和評測[13]。遺憾的是，由于版權原因，CLC語料庫無法公開，目前只有少數(shù)學者使用該語料庫開展語誤檢測研究。為了改善這一狀況，近年來，從事GEC研究的學者陸續(xù)建立和公布了一批可供研究者免費使用的學習者語料庫，如表1所示。

圖1　CLC語料庫中的免費語法錯誤類型分布

UICLE語料庫是首個公開的標注母語背景/L1和錯誤類型的學習者語料庫[14]。Rozovskaya[15]根據(jù)UICLE語料庫中不同L1學習者的錯誤分布概率優(yōu)化了樸素貝葉斯模型的參數(shù)，提高了錯誤識別和修改的準確率。FCE語料庫由劍橋FCE考試作文構成，包含多達75種錯誤類型[16]。在實際應用中，研究者通常對其錯誤賦碼進行歸并，將其作為訓練或測試語料開發(fā)GEC系統(tǒng)[17]。

表1　GEC研究中的英語學習者語料庫*Lang-8語料庫只修改了作文中的語法錯誤，未標注錯誤類型。

近期研究表明，GEC系統(tǒng)的性能與學習者語料庫的規(guī)模關系密切：訓練語料的規(guī)模越大，系統(tǒng)的準確率也越高[18]。因此，為了彌補UICLE和FCE語料庫規(guī)模較小的不足，近年來出現(xiàn)了一些大型的英語學習者語料庫，如Lang-8語料庫[19]。Lang-8語料庫由來自50余個國家的英語學習者作文及其批改構成，這些作文均選自在線語言學習交流網(wǎng)站lang-8.com。該網(wǎng)站用戶使用所學外語寫作文章，交給以此外語為母語的其他用戶批改。自發(fā)布以來，Lang-8語料庫為GEC系統(tǒng)的研制提供了新的語料和研究視角，推動了機器翻譯模型在GEC研究中的應用[20]。

NUCLE語料庫是2013和2014年兩屆CoNLL大會GEC系統(tǒng)評測任務的訓練和測試語料[21]。與上述語料庫使用單一標注人員標注和修改語法錯誤不同，NUCLE的測試語料由兩名英語母語者共同標注。用多人標注的語料作為評測標準充分考慮了錯誤修改的多種可能性，可以更加客觀地評價GEC系統(tǒng)的性能。同時，NUCLE的開發(fā)團隊還公布了評測GEC系統(tǒng)性能的工具Max Match /M2。目前，這一工具已成為計算GEC系統(tǒng)準確率和召回率的標準，是與人工錯誤批改相關度較高的評測方法[22]。

1.2　本族語者語料庫

與英語學習者語料庫相比，本族語者語料庫更易于建立，因此其規(guī)模更大，種類也更多，如BNC語料庫、Gigaword語料庫和Wikipedia語料庫等[12]。在GEC研究中，研究者通常對上述語料進行預處理，如分詞、詞性標注和句法標注等，以便提取語言特征構建統(tǒng)計模型。例如，Chodorow 等[23]在檢測英語學習者介詞錯誤時選用了介詞周圍的名詞短語、動詞短語和n元序列等特征構建了自動分類模型。

在基于n元語法的GEC研究中，研究者需要從本族語者語料庫提取n元序列的頻率和概率，構建語言模型。為了解決數(shù)據(jù)稀疏問題，近年出現(xiàn)了一批大規(guī)?；诰W(wǎng)絡的n元序列語料庫，如表2所示。

表2　GEC研究中的英語本族語者語料庫

①2370億2637億①Googlen?gram語料庫只收錄了頻率大于40的n元序列。因此，5元組的數(shù)量少于4元組的數(shù)量。

表2中的n元序列從網(wǎng)絡獲取，其規(guī)模較傳統(tǒng)語料庫增大不少。為了高效檢索海量數(shù)據(jù)中的n元序列，Heafield[27]以及Pauls和Klein[28]開發(fā)了專門針對大規(guī)模n元序列語料庫的數(shù)據(jù)壓縮和索引算法，極大地推進了n元語法模型在GEC研究中的應用。

2　GEC研究中的常用方法

隨著學習者和本族語者語料庫的數(shù)量和規(guī)模持續(xù)擴大，GEC領域出現(xiàn)了一些新的研究方法，這些方法以數(shù)據(jù)驅動的統(tǒng)計模型為主，具體可分為三類：(1)n元語法模型； (2)自動分類模型； (3)機器翻譯模型。在實際應用中，統(tǒng)計方法常與傳統(tǒng)的基于規(guī)則的方法相結合，以充分發(fā)揮兩者的優(yōu)點，開發(fā)規(guī)則與統(tǒng)計的GEC系統(tǒng)。圖2是GEC研究方法與本族語者和學習者語料庫的關系圖。

圖2　訓練語料與檢測方法間的關系

2.1　n元語法模型

n元語法模型的最初目的是利用統(tǒng)計學中的馬爾科夫鏈預測句子的出現(xiàn)概率，其核心是根據(jù)句子中每個詞wn與其之前的語境(w1，w2，…，wn-1)計算詞序列概率。基于n元語法設計的自動語法錯誤修改系統(tǒng)使用語法正確的文本即本族語者語料庫構建模型，如果輸入文本的詞序列概率過低，則將其判定為語法錯誤[29]。Gamon 等[30]利用該模型檢測了英語學習者書面語中涉及冠詞、介詞、動詞和形容詞的八類語法錯誤，其檢測方法包括兩個步驟： (1)確定易混詞/短語集合C； (2)依次計算包含詞或短語c(c∈C)的句子概率，并建議學習者按照概率最大的句子修改原文。例如，在檢測例句“IwanttotravelDisneylandinMarch.” 中的介詞使用錯誤時，系統(tǒng)首先確定易混詞集合C={on,from,for,of,about,to,at,in,with,by,?}，?表示介詞省略；替換集合中其他介詞并計算句子概率后可知使用介詞to時概率最大，因此建議將“travel Disneyland”修改為“travel to Disneyland”。

近年來，隨著訓練語料規(guī)模的擴大，基于n元語法模型開發(fā)的GEC系統(tǒng)也逐漸增多，在CoNLL2013和CoNLL2014兩次系統(tǒng)評測任務中取得了較好的效果[31-32]。除統(tǒng)計方法外，上述GEC系統(tǒng)均使用了語法規(guī)則模板以提高系統(tǒng)性能。例如Lee 和 Lee[33]首先從NUCLE學習者語料庫中提取易混詞/短語列表，如{rise, raise}、{well, good}等，然后再計算句子概率，提升了n元語法模型修改實義詞錯誤的準確率。

2.2　自動分類模型

在GEC研究中，自動分類模型常用于冠詞、介詞等虛詞錯誤，以及動詞時態(tài)和形態(tài)錯誤的自動檢測和修改[34]。利用自動分類模型設計自動語法檢查系統(tǒng)時需要選擇合適的語言特征進行訓練，通過訓練語料求得各語言特征的權重，預測句子中出現(xiàn)語法錯誤的概率。常見的語言特征有詞形、詞性、句法和語義信息等。自動分類模型包括多種算法，如多元邏輯回歸、支持向量機和樸素貝葉斯算法等[35-36]。例如，在檢測介詞錯誤時，樸素貝葉斯模型將介詞周圍的詞匯和句法結構等作為特征向量f輸入模型，輸出結果為介詞的類別c，如式(1)所示。

(1)

早期基于樸素貝葉斯模型的介詞修改系統(tǒng)使用英語本族語者語料庫作為訓練語料，從中提取介詞周圍的語言特征概率P(f|c)和介詞出現(xiàn)的先驗概率P(c)。Rozovskaya和Roth[37]在統(tǒng)計UICLE語料庫中的介詞錯誤后發(fā)現(xiàn)，英語學習者介詞類語法錯誤的分布與其母語關系密切。因此，研究者修改了式(1)所示的樸素貝葉斯模型，在計算先驗概率時考慮了學習者母語背景對介詞誤用的影響，如式(2)、式(3)所示。

其中s為學習者使用的介詞，c是修改后的介詞；CL1函數(shù)通過學習者語料庫中介詞s和c的頻率計算先驗概率，提高了介詞修改的準確率。

自動分類模型一般根據(jù)具體錯誤類型確定特征集合，從訓練語料提取特征并通過機器學習算法獲取特征參數(shù)，構建針對特定錯誤的語言模型。因此，與n元語法模型類似，基于自動分類模型設計的GEC系統(tǒng)通常由多個檢測模塊構成，各個模塊按線性順序修改文本中的語法錯誤。

2.3　機器翻譯模型

基于不同語法錯誤檢測模塊開發(fā)的GEC系統(tǒng)如n元語法模型和自動分類模型無法處理例句“Socialnetworkplaysaroleinprovidingandalsofilteringinformation.”中的語法錯誤[12]。該句中包含兩處明顯的語法錯誤： 名詞單復數(shù)錯誤(network->networks)和主謂不一致錯誤(plays->play)。如果GEC系統(tǒng)將主謂一致模塊置于名詞單復數(shù)模塊之前，系統(tǒng)將無法得到正確的修改結果。為了檢測包含多處語法錯誤的句子，有學者開始借鑒統(tǒng)計機器翻譯模型開發(fā)GEC系統(tǒng)。

式(4)是統(tǒng)計機器翻譯模型的表達式。

(4)

其中，f是源語，e是目標語。該模型從雙語平行語料庫中自動抽取基于短語的雙語詞典，計算翻譯模型參數(shù)P(f|e)；從單語語料庫中提取n元序列計算目標語e的概率P(e)。

基于機器翻譯模型設計的GEC系統(tǒng)將學習者的語言產(chǎn)出視作源語，將修改語法錯誤后的文本等同于目標語，通過大規(guī)模經(jīng)人工修改錯誤的學習者語料庫(如Lang-8和NUCLE語料庫)訓練統(tǒng)計模型參數(shù)，大幅度提高了語法錯誤修改系統(tǒng)的準確率[38]。Rozovskaya 和 Roth[39]歸納了自動分類和機器翻譯模型的優(yōu)缺點，在訓練語料、特征選取、錯誤類型和泛化能力等層面對比了兩類系統(tǒng)的異同，如表3所示。

表3　自動分類和機器翻譯模型對比

從表3可以看出，機器翻譯模型無需標注訓練語料中的語法錯誤類型，降低了學習者語料庫建設的時間和人力成本。同時，機器翻譯模型可自動選取特征訓練模型，更加擅長處理復雜錯誤。自動分類模型根據(jù)具體錯誤類型人工選取詞匯、短語和句法層面的語言特征，因此具有較強的泛化能力，能夠檢測未出現(xiàn)在訓練語料中的新樣本所包含的語法錯誤。由于兩種模型可以處理不同類型的語法錯誤，融合兩種模型開發(fā)的混合模型準確率高于基于單一模型構建的GEC系統(tǒng)。

3　GEC系統(tǒng)的評測

GEC系統(tǒng)使用人工標注語法錯誤的學習者語料庫作為評測標準，通過對比機器批改與人工批改的異同衡量系統(tǒng)的準確率和召回率。由于語法錯誤的標注和修改需要耗費大量的人力，為了提高標注效率，早期的GEC研究一般使用單人標注測試語料中的語法錯誤。但近期研究發(fā)現(xiàn)，由于本族語者對學習者語法錯誤的標注和修改存在差異，為了更準確地測試GEC系統(tǒng)的性能，應盡可能使用多個標注人員標注測試語料。表4是學習者語法錯誤標注信度研究的測試結果，其中Kappa系數(shù)是測 量 標 注 人員間標注一致性的統(tǒng)計值，Kappa值越大表明一致性越高。

表4　語法錯誤標注的一致性*作者未公開測試語料。

從該表可以看出，語法錯誤標注的一致性普遍較低，尤其當語法錯誤類別增加時，標注人員間的分歧也隨之增大。雖然個別語法錯誤(如主謂不一致)的標注信度較高，涉及冠詞和介詞使用錯誤的標注存在較大差異。因此，為了更加客觀地對比不同GEC系統(tǒng)的準確率和召回率，多數(shù)研究者主張使用多人標注的學習者語料庫作為評測集[41]。為了提高多人標注的效率，可以借助網(wǎng)絡眾包標注平臺如Amazon Mechanical Turk和CrowdFlower加快標注速度[42]。

在得到人工批改的標準集后，GEC系統(tǒng)一般使用M2算法對比系統(tǒng)修改與人工修改的異同，計算系統(tǒng)的準確率和召回率。以學習者原文“Thereisnoadoubt,trackingsystemhasboughtmanybenefitsinthisinformationage.”為例，如果人工修改集合g={a doubt → doubt, system → systems, has → have}，系統(tǒng)修改集合e={a doubt → doubt}，則該系統(tǒng)的準確率為|g∩e| / |e|=100%；召回率為|g∩e| / |g|=33.3%。 表5列舉了CoNLL-2014 GEC評測任務中各類錯誤檢測的最高召回率及各個系統(tǒng)在檢測具體語法錯誤時所使用的檢測方法和訓練語料。

表5　CoNLL-2014 GEC系統(tǒng)評測結果

續(xù)表

4　總結和展望

由于GEC系統(tǒng)需要處理英語學習者書面語中的多種語法錯誤，目前系統(tǒng)的準確率和召回率仍然較低。例如在CoNLL-2014的GEC系統(tǒng)評測任務中，排名第一系統(tǒng)的準確率和召回率分別為39.71%和30.10%。本文認為，GEC系統(tǒng)的性能仍有提升空間。為進一步提高自動語法錯誤檢測系統(tǒng)的性能，需要解決以下幾個問題。

(1) 加強語法規(guī)則在統(tǒng)計模型中的應用

雖然統(tǒng)計模型以大規(guī)模真實語料為知識來源，避免了人工編寫規(guī)則的繁瑣，但這種方法對語言的層級結構考慮不夠，無法檢測涉及長距離語法關系的錯誤。因此，在設計GEC系統(tǒng)時應結合上述兩種方法的優(yōu)點： 使用統(tǒng)計模型檢測涉及冠詞、介詞和搭配類等與語境關系密切的語法錯誤；使用基于語法規(guī)則的錯誤模板處理句法類錯誤，如主謂不一致、連詞缺失和流水句錯誤等。鑒于英語句法自動分析技術日益成熟，具有較高的準確率和健壯性，可以使用句法分析工具提取學習者文本中的主語-謂語、動詞-賓語、助動詞-動詞關系和主句-狀語從句等語法關系，為后續(xù)錯誤模板的編寫和統(tǒng)計模型特征的提取奠定基礎。例如識別主語-謂語關系可輔助編寫主謂不一致錯誤模板；主句-狀語從句關系可作為語言特征之一構建動詞時態(tài)錯誤檢測模型。

以表5所示的主謂不一致錯誤為例，在CoNLL-2014參賽團隊所提交的系統(tǒng)中，使用基于統(tǒng)計的自動分類模型檢測該類錯誤的最高召回率為57.67%。本文認為，可以通過編寫基于語法規(guī)則的錯誤模板彌補統(tǒng)計模型的不足，進一步提高主謂不一致錯誤檢測的準確率。在編寫錯誤模板時，應充分考慮英語主語內部結構的復雜性，分析主語為并列結構、數(shù)量短語+名詞、集體名詞和從句時的情況。

(2) 優(yōu)化統(tǒng)計模型中語言特征的選取

基于統(tǒng)計模型的GEC系統(tǒng)根據(jù)具體錯誤類型從訓練語料提取語言特征，構建針對特定錯誤的語言模型。現(xiàn)有GEC研究通常在句子內部選取詞或多詞序列作為語言特征訓練模型，無法識別和修改涉及語篇層面的語法錯誤。例如在檢測動詞時態(tài)錯誤時，除了考慮同一句子中動詞周圍的詞和短語外，還應從該句前后更大的語境中提取以下語言特征： 動詞的語義類別、時間副詞、從句類型及前后語境中動詞的時態(tài)等。

(3) 重視學習者母語對語言產(chǎn)出的影響

語言遷移理論認為英語學習者的書面語法錯誤類型受其母語影響?；趯W習者語料庫的研究也發(fā)現(xiàn)，不同母語背景學習者的錯誤類型和分布概率存在差異?，F(xiàn)有GEC系統(tǒng)大多選擇語法正確的本族語者語料庫構建統(tǒng)計模型，未考慮學習者母語這一變量。隨著大規(guī)模經(jīng)錯誤標注的學習者語料庫的增多，GEC系統(tǒng)的設計應結合學習者和本族語者語料庫，根據(jù)學習者的母語背景調整統(tǒng)計模型的參數(shù)。雖然文獻[37]從UICLE學習者語料庫提取了不同母語背景英語學習者的介詞錯誤概率，并將這一信息加入樸素貝葉斯模型，提高了介詞錯誤修改的準確率，但UICLE語料庫規(guī)模較小，作者只研究了九類不同母語背景學習者的介詞使用錯誤。隨著學習者語料庫規(guī)模的擴大(如Lang-8語料庫)，可以驗證該方法是否適用于其他母語背景學習者，以及對動詞、名詞等實義詞語法錯誤的檢測效果。

[1]梁茂成，文秋芳.國外自動評分系統(tǒng)評述及啟示[J]. 外語電化教學，2007(5)： 18-24.

[2]梁茂成.大規(guī)?？荚囉⒄Z作文自動評分系統(tǒng)的研制[M]. 北京： 高等教育出版社，2012.

[3]王耀華，李舟軍，何躍鷹，等.基于文本語義離散度的自動作文評分關鍵技術研究[J].中文信息學報，2016，30(6)： 173-181.

[4]Shermis M D，Burstein J，Bruskey S A. Introduction to automated essay evaluation[C]//Proceedings of Handbook of Automated Essay Evaluation： Current Applications and New Directions. New York： Routledge，2013： 1-15.

[5]Li J，Link S，Hegelheimer V. Rethinking the role of automated writing evaluation (AWE) feedback in ESL writing instruction[J].Journal of Second Language Writing，2015(27)： 1-18.

[6]陳功.學習者語法錯誤自動檢查研究述評[J]. 語料庫語言學，2016，3(1)： 70-81.

[7]Dale R. Checking in on grammar checking[J].Natural Language Engineering，2016，22(3)： 491-495.

[8]Dale R，Kilgarriff A. Helping our own： The HOO 2011 pilot shared task[C]//Proceedings of the 13th European Workshop on Natural Language Generation. Nancy： ACL，2011： 242-249.

[9]Dale R，Anisimoff I，Narroway G.HOO 2012： A report on the preposition and determiner error correction shared task[C]//Proceedings of the 7th Workshop on Innovative Use of NLP for Building Educational Applications. Montreal： ACL，2012： 54-62.

[10]Ng H T，Wu S M，Wu Y，et al. The CoNLL-2013 shared task on grammatical error correction[C]//Proceedings of the 17th CoNLL Shared Task. Sofia： ACL，2013： 1-12.

[11]Ng H T，Wu S M，Briscoe T，et al. The CoNLL-2014 shared task on grammatical error correction[C]//Proceedings of the 18th CoNLL Shared Task. Baltimore： ACL，2014： 1-14.

[12]Leacock C，Chodorow M，Tetreault J. Automated grammatical error detection for language learners， Second Edition[M].San Rafael，CA： Morgan and Claypool，2014.

[13]Nicholls D. The Cambridge leaner corpus - error coding and analysis for lexicography and ELT[C]//Proceedings of Corpus Linguistics 2003 Conference. Lancaster： UCREL，2003： 572-581.

[14]Rozovskaya A，Roth D. Annotating ESL errors： challenges and rewards[C]//Proceedings of the 5th Workshop on Innovative Use of NLP for Building Educational Applications. Stroudsburg，Los Angeles： ACL，2010： 28-36.

[15]Rozovskaya A. Automated methods for text correction[D]. Urbana and Champaign： University of Illinois at Urbana-Champaign，2013： 62-86.

[16]Yannakoudakis H，Briscoe T，Medlock B. A new dataset and method for automatically grading ESOL texts[C]//Proceedings of the 49th Annual Meeting of ACL. Portland： ACL，2011： 180-189.

[17]Yuang Z，F(xiàn)elice M. Constrained grammatical error correction using statistical machine translation[C]//Proceedings of the 17th CoNLL Shared Task. Sofia： ACL，2013： 52-61.

[18]Mizumoto T，Hayashibe Y，Komachi M，et al. The effect of learner corpus size in grammatical error correction of ESL writings[C]//Proceedings of COLING 2012 Posters. Mumbai： COLING 2012 Organizing Committee，2012： 863-872.

[19]Mizumoto T，Komachi M，Nagata M，et al. Mining revision log of language learning SNS for automated Japanese error correction of second language learners[C]//Proceedings of the 5th IJCNLP. Chiang Mai，Thailand： Asian Federation of NLP，2011： 147-155.

[20]Junczys-Dowmunt M，Grundkiewicz R. The AMU system in the CoNLL-2014 shared task： Grammatical error correction by data-intensive and feature-rich statistical machine translation[C]//Proceedings of the 18th Conference on CoNLL Shared Task. Baltimore： ACL，2014： 25-33.

[21]Dahlmeier D，Ng H T，Wu S M. Building a large annotated corpus of learner english： The NUS corpus of learner english[C]//Proceedings of the 8th Workshop on Innovative Use of NLP for Building Educational Applications. Atlanta： ACL，2013： 22-31.

[22]Grundkiewicz R, Junczys-dowmunt M，Gillian E. Human evaluation of grammatical error correction systems[C]//Proceedings of EMNLP 2015. Lisbon： ACL，2015： 461-470.

[23]Chodorow M，Tetreault J，Han N R. Detection of grammatical errors involving prepositions[C]//Proceedings of the 4th ACL-SIGSEM Workshop on Prepositions. Prague： ACL，2007： 25-30.

[24]Brants T，F(xiàn)ranz A. The Google Web 1T 5-gram corpus version 1.1[DB]. Philadelphia： Linguistic Data Consortium，2006.

[25]Wang K，Thrasher C，Viegas E，et al. An overview of Microsoft Web N-gram corpus and applications[C]//Proceedings of the NAACL HLT 2010 Demonstration Session. Los Angeles： ACL，2010： 45-48.

[26]Buck C，Heafield K，van Ooyen B. N-gram counts and language models from the common crawl[C]//Proceedings of LREC 2014. Reykjavik： ELRA，2014： 3579-3584.

[27]Heafield K. KenLM： Faster and smaller language model queries[C]//Proceedings of the 6th Workshop on SMT. Edinburgh： ACL，2011： 187-197.

[28]Pauls A，Klein D. Faster and smaller n-gram language models[C]//Proceedings of the 49th Annual Meeting of the ACL. Portland： ACL，2011： 258-267.

[29]譚詠梅，王曉輝，楊一梟.基于語料庫的英語文章語法錯誤檢查及糾正方法[J]. 北京郵電大學學報，2016，39(4)： 92-97.

[30]Gamon M，Gao J，Brockett C，et al. Using contextual speller techniques and language modeling for ESL error correction[C]//Proceedings of the 3rd IJCNLP. Hyderabad： Asian Federation of NLP，2008： 449-456.

[32]Kao T H，Chang Y W，Chiu H W，et al. CoNLL-2013 shared task： grammatical error correction NTHU system description[C]//Proceedings of the 17th CoNLL Shared Task. Sofia： ACL，2013： 20-25.

[33]Lee K，Lee G G. POSTECH grammatical error correction system in the CoNLL-2014 shared task[C]//Proceedings of the 18th CoNLL Shared Task. Baltimore： ACL，2014： 65-73.

[34]Tajiri T，Komachi M，Matsumoto Y. Tense and aspect error correction for ESL learners using global context[C]//Proceedings of the 50th Annual Meeting of ACL. Jeju Island： ACL，2012： 198-202.

[35]Rozovskaya A，Roth D，Srikumar V. Correcting grammatical verb errors[C]//Proceedings of the 14th Conference of EACL. Gothenburg： ACL，2014： 358-367.

[36]李霞，劉建達.適用于中國外語學習者的英文作文自動集成評分算法[J].中文信息學報，2013，27(5)： 100-106.

[37]Rozovskaya A，Roth D. Algorithm selection and model adaptation for ESL correction tasks[C]//Proceedings of ACL 2011. Portland： ACL，2011： 924-933.

[38]Junczys-dowmunt M，Grundkiewicz R. Phrase-based machine translation is state-of-the-art for automatic grammatical error correction[C]//Proceedings of EMNLP 2016. Austin： ACL，2016： 1546-1556.

[39]Rozovskaya A，Roth D. Grammatical error correction： Machine translation and classifiers[C]//Proceedings of ACL 2016. Berlin，ACL，2016： 2205-2215.

[40]Tetreault J，Chodorow M. Native judgments of non-native usage： Experiments in preposition error detection[C]//Proceedings of the Workshop on Human Judgements in Computational Linguistics. Manchester： COLING 2008 Organizing Committee，2008： 24-32.

[41]Sakaguchi K，Napoles C，Post M，et al. Reassessing the goals of grammatical error correction： Fluency instead of grammaticality[J]. Transactions of the Association for Computational Linguistics，2016(4)： 169-182.

[42]Madnani N，Tetreault J，Chodorow M，et al. They can help： Using crowdsourcing to improve the evaluation of grammatical error detection systems[C]//Proceedings of ACL 2011. Portland： ACL，2011： 508-513.