基于層次語言模型的英語動名詞搭配糾錯策略①

李燦潤,吳桂興,吳 敏

1(中國科學(xué)技術(shù)大學(xué) 現(xiàn)代教育技術(shù)中心,合肥 230026)2(中國科學(xué)技術(shù)大學(xué) 蘇州研究院,蘇州 235123)

基于層次語言模型的英語動名詞搭配糾錯策略①

李燦潤1,吳桂興2,吳 敏1

1(中國科學(xué)技術(shù)大學(xué) 現(xiàn)代教育技術(shù)中心,合肥 230026)2(中國科學(xué)技術(shù)大學(xué) 蘇州研究院,蘇州 235123)

搭配的正確使用是區(qū)分地道英語使用者和普通學(xué)習(xí)者的一個重要特征.通過分析中國英語學(xué)習(xí)者語料庫(CLEC),可以發(fā)現(xiàn)動名詞搭配錯誤是英語學(xué)習(xí)者易犯的錯誤.本文提出一種可用于糾正英語學(xué)習(xí)者動名詞搭配錯誤的層次語言模型.該語言模型考慮到了句子內(nèi)部詞語之間的依賴關(guān)系,將句子處理為不同的層次的子句,同一個句子內(nèi)部的單詞高度相關(guān),不同子句內(nèi)的單詞相關(guān)性弱.該語言模型對于句子成分的變化得到的結(jié)果更加穩(wěn)定,而且搭配信息得到濃縮,得到的語言模型更加精確.本文將模型用于生成分類器特征和結(jié)果排序.這種層次語言模型應(yīng)用到英語動名詞搭配的檢錯糾錯中,對比傳統(tǒng)語言模型,會有更好的效果.

動名詞搭配錯誤;層次語言模型;自動糾錯策略

據(jù)“中國學(xué)習(xí)者語料庫”的統(tǒng)計,“在所有的言語失誤中,搭配錯誤在言語失誤頻率表中位居第六”[1],可見搭配是英語學(xué)習(xí)的一個難點,其中,動名詞搭配錯誤是搭配錯誤中頻率最高的一類,所以動名詞搭配的檢錯糾錯在英語語法檢錯糾錯中有重要意義.本文將入一種層次語言模型,可用于動名詞搭配計算機自動糾正中構(gòu)造分類器特征和最終結(jié)果排序.這種語言模型能克服傳統(tǒng)n-gram將句子當(dāng)成線性模型所帶來的缺點.本文將為常見動名詞搭配構(gòu)建一個搭配庫,并為搭配庫中的動名詞搭配訓(xùn)練對應(yīng)的分類器,并將層次語言模型應(yīng)用于分類結(jié)果的排序上得到最終的結(jié)果.

本文組織結(jié)構(gòu)如下,第一節(jié)介紹語言模型用于英語語法錯誤糾正的相關(guān)研究,第二節(jié)介紹層次語言模型的構(gòu)造過程,第三節(jié)介紹實驗的各個模塊以及糾錯系統(tǒng)流程,第四節(jié)給出在測試語料上的實驗結(jié)果并進行相關(guān)分析,最后進行總結(jié)和展望.

1 相關(guān)研究

在最近的研究中,使用計算機輔助幫助英文寫作得到了廣泛關(guān)注,如 CoNLL 2013 和 CoNLL 2014 的 shared task.其中有一部分提交的論文采用了傳統(tǒng)的語言模型或者對傳統(tǒng)的語言模型進行了改進并取得了一定的效果.Longkai Zhang 等[2]采用了傳統(tǒng)的 n-gram 語言模型進行糾錯和檢錯,但是傳統(tǒng)n-gram語言模型比較簡單,所以對處理結(jié)果增加了最大熵分類器對冠詞和介詞錯誤分別進行二次處理.Grigori Sidorova 和 Francisco Velasquez等[3]采用了一種基于規(guī)則的方法,并考慮到了句法的樹狀關(guān)系,入了句法n-gram語言模型,但是模型只考慮縱向依賴關(guān)系而忽略了橫向的關(guān)系,所以會丟失一些語義信息導(dǎo)致模型不夠精確.Yashimoto等[4]使用了一種樹狀語言模型用于主謂一致錯誤的糾正,但是由于這種樹狀模型的結(jié)點需要增加除了句中單詞外的附加語法信息,所以會起數(shù)據(jù)稀疏的問題,影響模型實際使用效果.

在英語搭配糾錯檢錯方面,杜一民等[5]嘗試了用傳統(tǒng)的n-gram對分類器的結(jié)果進行排序產(chǎn)生最終的糾錯結(jié)果.但是由于搭配關(guān)系的詞匯之間的位置關(guān)系比較多變,所以傳統(tǒng)的n-gram模型存在一定的局限性.本文考慮將句法的樹狀層次關(guān)系保留到語言模型中,并同時保留不同層次縱向依賴關(guān)系也就是句法結(jié)構(gòu)信息,以及同一句法層次的橫向的關(guān)系也就是語義信息,從而建立一種層次語言模型.采用分類器對備選結(jié)果進行篩選縮小備選集合,最后利用該語言模型進行排序,挑選出最合適的結(jié)果.

2 層次語言模型

2.1 傳統(tǒng)的n-gram語言模型的不足之處

傳統(tǒng)的n-gram語言模型將句子考慮為一個順序的串,其中n為取詞窗口的大小.以比較常用的tri-gram[6]為例,此時的n等于3,模型的定義如下:

用于英語語法糾錯時,傳統(tǒng)的n-gram語言模型將句子處理為線性模型.n的大小決定了相關(guān)的單詞間的最大單詞跨度.所以當(dāng)n確定時,對于句中單詞間隔大于n的單詞間的依賴關(guān)系將丟失;而當(dāng)n過大時將使得可用信息密度下降,這將降低語言模型的準(zhǔn)確性.

例句:I will give you an example of why I have come to that conclusion.

以句中的give example為目標(biāo)搭配提取出的3元組如下:

give you an

you an example

an example of

可以看到?jīng)]有辦法取得一個能包含give example這兩個目標(biāo)詞語的三元組,也就是說語言模型沒辦法將這對搭配的信息保存下來.

但是如果將取詞窗口擴大到4,則可以取得以下包含兩個目標(biāo)詞匯的4元組:

give you an example

但是這個四元組同時包含了更多詞匯,故入了更多噪聲,從而會使語言模型的準(zhǔn)確性下降.假設(shè)give example這對搭配在語料中出現(xiàn)幾十次,然而這個特定的四元組可能只出現(xiàn)一兩次.所以雖然長度增長能保證取詞窗口能包含對應(yīng)搭配,但是也會起數(shù)據(jù)稀疏的問題.

2.2 層次語言模型

為了能讓英語搭配詞組的信息能夠更有效的被描述出來,我們考慮入句法樹描述句子中詞語的依存關(guān)系,再融合傳統(tǒng)n-gram模型的優(yōu)點對句法樹進行描述.也就是通過層次語言模型獲得n元組,而不是以文本中詞語出現(xiàn)的先后順序直接得到n元組.

我們認為句子的主干中的核心詞語之間有直接的關(guān)系,它們應(yīng)該放在一起,形成一個濃縮的子句;而各個核心詞匯的修飾成分也應(yīng)該以這個核心詞匯為中心放在一起,形成一個濃縮的子句;如果還有冗余的成分則放在下一個層次,遞推形成層次結(jié)構(gòu).根據(jù)語法關(guān)系放在一起的詞匯組成新的子句,子句內(nèi)部的詞語相互約束;下層的子句是上層的補充和修飾部分.

以“give you an example”和“give you the example”這兩個短語為例,建立句法樹如圖1.

圖1 依存關(guān)系圖

從圖1可以看到這兩個短語中各個詞語的依存關(guān)系,如果只保存根結(jié)點詞語和根結(jié)點的子結(jié)點詞語,并且按照原來的位置關(guān)系重新抽取出新的短語,則這兩個原先不同短語都可以得到一個新的短語“give you example”,也就是說,主要成分被保留下來,次要成份被忽略了.

句子表面意義上的相鄰,并不是真正語法意義上的相鄰關(guān)系,正是這種表面意義上的相鄰導(dǎo)致了傳統(tǒng)n-gram的低效.我們?nèi)绻靡来骊P(guān)系就能有效獲取這種語法上的相鄰關(guān)系,并把這種更深層次的相鄰保存在新的子句中,就能有效去除冗余.

接下來我們來看一個完整的例子,由句子“I will give you an example of why I have come to that conclusion.”可以建立圖2所示的樹 .

圖2 句法樹例子圖

然而不同于Grigori[7]縱向由根到每個葉子結(jié)點的路徑生成n元組的方法,我們首先由這棵樹橫向構(gòu)建子序列,然后再生成n元組.

從句子的根結(jié)點出發(fā),根結(jié)點和所有的根結(jié)點的直接子結(jié)點按照原來的順序構(gòu)成一個子句,第一層子句也是整個句子的主干,也就是“I will give you example”,這個子句去除了所有的子結(jié)點修飾成分,句子內(nèi)容被濃縮,語義信息也可以保留下來;遍歷所有的根結(jié)點的直接子結(jié)點,如果子結(jié)點還有孩子就遞歸地按照相同的方法建立子句,這些低層次的子句是上層子句的修飾部分.注意到介詞不是實詞,所以處理的時候?qū)⒔樵~和后邊的依賴詞當(dāng)成一個整體放入介詞所在的子句,否則會產(chǎn)生大量兩個詞語的子句.最終可以得到4個層次,總共4個子句.

第一層子句:

S1:I will give you example.

第二層子句:

S2:an example of come.

第三層子句:

S4:why I have come to conclusion.

第四層子句:

S5:that conclusion.

考慮到傳統(tǒng)n-gram易于訓(xùn)練,以及有比較成熟的平滑處理方法,本文參考傳統(tǒng)n-gram的對子句進行n元組提取就可以得到最終的層次語言模型n元組.

定義層次語言模型中句子的概率為:

其中S為原句子,下標(biāo)i表示對應(yīng)S分解出來的第i個子句,p函數(shù)的定義采用和傳統(tǒng)語言模型相同的方法;其中,Weight是第i個子句的權(quán)重,權(quán)重跟句子所在層次相關(guān).

采用不同的權(quán)重是考慮到不同的子句對整個句子的影響有所不同,比如整個句子的主干對整個句子的正確程度的貢獻應(yīng)該比主干的修飾成分貢獻還要高,一般來說,層次越高權(quán)重越大.由于本文只處理動名詞搭配,經(jīng)過處理之后搭配中的動詞名詞都在同一個子句中,為了簡化處理,本文使用的權(quán)重函數(shù)設(shè)為常數(shù)1.

表1 傳統(tǒng)語言模型及層次語言模型二元組例子

從給出的 give you example 這個例子可以知道,層次語言模型相比傳統(tǒng)的n-gram在元組的表示上更加穩(wěn)定.比如example前插入一個形容詞得到新的句子,由于變化被隔離開,層次語言模型只會增一個新的元組.而使用傳統(tǒng)的n-gram處理時,插入位置附近的元組會發(fā)生改變.

可以發(fā)現(xiàn),當(dāng)n為2的時候,傳統(tǒng)的n-gram和我們的層次語言模型得到的二元組相等,而當(dāng)n大于2的時候我們的層次語言模型得到的n元組會少于或等于傳統(tǒng)n-gram.因為傳統(tǒng)的n-gram只考慮對原句子相鄰的詞語進行組合,而層次語言模型只對原句子中關(guān)系比較 “緊密”的詞語進行組合.比如上述的例句,當(dāng)n為3時,傳統(tǒng)n-gram得到的元組是12,而層次語言模型得到的元組數(shù)是9;當(dāng)n為4時,傳統(tǒng)n-gram得到的元組是11,而層次語言模型得到的元組數(shù)是6.比較少的元組能夠使模型得到簡化,易于使用,并且在使用中能節(jié)省更多的資源.同時,模型也可應(yīng)用于抽取分類器所使用的特征.

3 糾錯流程設(shè)計

首先,構(gòu)建一個動名詞搭配庫;然后根據(jù)待改句子的動名詞搭配從動名詞搭配庫中粗選出語義較為相似的一部分搭配構(gòu)成相似搭配集;接著利用語言模型抽取待改句子上下文信息作為分類器特征,用分類器對相似搭配集進行一輪比較細致的挑選得到候選結(jié)果集.最后,用語言模型對候選結(jié)果集的重排序得到最終的結(jié)果.本文在糾錯框架上參考了文獻[5]的流程,并對分類篩選和語言模型排序部分進行了改進.

提取搭配和建立依賴樹的過程,本文使用了Stanford Parser.文獻[8]對 Stanford Parser的可靠性進行了測試,實驗中挑選了1000條句子,隨機對句子中的動詞或者名詞修改成錯誤的形式,并用Stanford Parser對修改后的句子進行處理,并請專業(yè)人員進行分析,結(jié)果顯示99%的依賴樹是可靠的.同時,考慮到動詞的時態(tài)和名詞單復(fù)數(shù)變化,本文使用了Stanford-CoreNlp提供的方法還原詞干.

3.1 構(gòu)建搭配庫以及訓(xùn)練和測試數(shù)據(jù)準(zhǔn)備

構(gòu)建搭配庫,首先從CLEC中挑選出錯誤標(biāo)簽為cc3,也就是有動名詞搭配錯誤的句子,得到77個錯誤搭配,并由專業(yè)人員進行改正,得到對應(yīng)的77個改正搭配.同時,針對每組改正搭配從牛津搭配詞典中選擇3到5個相似的搭配構(gòu)成改正搭配的混淆集.這些改正搭配和相似搭配構(gòu)成一個小型搭配庫,一共230個搭配.針對搭配庫中的每一個搭配,再從網(wǎng)絡(luò)語料庫中挑選50句包含該搭配的句子,作為每個搭配的訓(xùn)練集.

對改正搭配收集若干條句子,其中的一半句子不做修改作為正測試例,另一半句子注入該錯誤搭配作為測試的負測試例,構(gòu)成測試數(shù)據(jù)集.

本文使用BNC語料庫來訓(xùn)練用于排序的層次語言模型和用于對比傳統(tǒng)語言模型.

3.2 生成相似搭配集

通過對中國學(xué)習(xí)者語料庫中的動名詞搭配錯誤的分析可知[9],動名詞搭配使用錯誤主要是由于動詞或者名詞詞意使用錯誤或者直譯錯誤,所以改正的搭配與原搭配具有比較相近的語義.

計算詞之間的語義相似度時使用了Jiang-Conrath[10]估計方法.對兩組動名詞搭配之間的相似度分為兩個動詞之間的相似度加兩個名詞之間的相似度的和.

糾錯時,首先利用Stanford Parser從待改句子中把動名詞搭配抽取出來,并與搭配庫中的每個搭配對比計算出語義相似度,得到語義相似度最高的前15個搭配構(gòu)成相似搭配集合.

3.2 語言模型以及分類器

相似搭配集合的挑選過程并未考慮搭配出現(xiàn)的上下文信息,所以需要利用分類器再對這個相似搭配集進行比較細致的篩選得到一個候選結(jié)果集,最后再由語言模型進行最終排序.本文分類器使用了與感知機算法具有相同算法結(jié)構(gòu)的被動主動算法(PA-I)[11],PA算法結(jié)合了感知機算法和SVM的優(yōu)點,學(xué)習(xí)速度快,效果好.

本文分類器所使用的特征,由層次語言模型中目標(biāo)搭配詞上下文的一元組和二元組所組成.同時,目標(biāo)搭配周圍的標(biāo)點符號不會被計入n元組中.下面是一個例子:

例句:I will give you an example of why I have come to that conclusion.

以句中的give example為目標(biāo)搭配提取出的n元組特征如表2所示.

其中,Uni代表一元組,Bi代表二元組;V 代表目標(biāo)搭配的動詞,N代表目標(biāo)搭配的名詞,L代表目標(biāo)詞左邊第一個詞,LL 代表目標(biāo)詞左邊第二詞,同理,R 和RR代表目標(biāo)詞右邊第一個詞和目標(biāo)詞右邊第二個詞;I代表目標(biāo)詞在二元組的中間;Ch表示中心詞與其子結(jié)點形成的子句,比如ChUniVL表示以動詞為中心詞的子句左側(cè)一詞.

表2 提取出的 n 元組特征例子

本文使用BNC語料庫來訓(xùn)練用于排序的語言模型.根據(jù)上節(jié)層次語言模型的分析,利用Stanford Parser解析語料,建立層次語言模型.本文排序采用的層次語言模型和用于比較對照的傳統(tǒng)語言模型都采用3元語言模型.3元語言模型的具體實現(xiàn)參照伯克利大學(xué)的n-gram語言模型[12],在模型訓(xùn)練中使用了Kneser-Ney平滑方法[13].

4 實驗結(jié)果分析

本文通過收集包含改正搭配的句子,再對每個搭配對應(yīng)的收集到的一半的句子修改成錯誤的形式構(gòu)成測試集.具體的,本文從網(wǎng)絡(luò)語料中為每個改正搭配收集了20條句子,其中10條句子不做修改作為正測試例,另外10條句子將正確搭配改為錯誤搭配作為測試的負測試例,一共1540條句子,作為測試數(shù)據(jù).

進行實驗時,本文對分類器特征分別選擇了傳統(tǒng)語言模型提取的搭配上下文信息和用層次語言模型提取的搭配上下文信息進行測試.同時對排序部分分別采用傳統(tǒng)語言模型和層次語言模型進行了測試.

對最終語言模型的排序結(jié)果進行評判使用的是平均倒數(shù)排名MRR[14],MRR是一種對排序結(jié)果進行評價的方法,用于評估正確結(jié)果是否被包含到結(jié)果列表中,以及正確結(jié)果在排序中有多靠前.即:最終排序后,正確搭配如果排第一名則得到1分,拍第二名得0.5分,排第n則得1/n分,如果正確結(jié)果沒存在排序集中則得分為0.本文的MRR的最終結(jié)果為所有測試句的MRR的平均值.

由表3可以看到,與分類器特征和排序都采用傳統(tǒng)語言模型相比,當(dāng)分類器特征改為層次語言模型抽取的特征的時候MRR會有略微的提高,而當(dāng)排序使用層次語言模型時會有更大的提升.這主要是因為排序部分的變化對MMR結(jié)果的影響比較直接.當(dāng)分類器特征由層次語言模型得到,并且排序使用的語言模型也為層次語言模型的時候效果最好,這也印證了層次語言模型相比傳統(tǒng)語言模的優(yōu)勢.

表3 不同分類器特征和排序語言模型MRR結(jié)果

5 總結(jié)

實驗中本文建立了一個小型動名詞搭配庫用于搭配糾錯,并將層次語言模型應(yīng)用于分類器特征選擇和最終結(jié)果排序,結(jié)果顯示,采用層次語言模型對比采用傳統(tǒng)語言模型能取得更好的效果.在未來的工作中,可以嘗試對語言模型以及提取分類器的特征部分做更深入的研究,并且可以嘗試將層次語言模型應(yīng)用于其他的搭配檢錯糾錯中.

如上所述,傳統(tǒng)語言模型直接按照英文文本的表層含義處理文本,忽略了文本的深層含義.而層次語言模型考慮了英文句子中各個詞之間的依賴關(guān)系,同時參考了傳統(tǒng)的語言模型的優(yōu)點,對子句進行建模.這種層次語言模型的優(yōu)點是當(dāng)句子的變化時,產(chǎn)生的結(jié)果更加穩(wěn)定.其次,在n大于2的時候產(chǎn)生的n元組會少于傳統(tǒng)的n-gram,因而得到的語言模型更加簡化.另外,由于搭配信息得到濃縮,模型訓(xùn)練中除去更多的噪聲,訓(xùn)練得到的語言模型將會更加精確.

1 楊惠中,桂詩春,楊達復(fù).基于 CLEC語料庫的中國學(xué)習(xí)者英語分析.上海:上海外語教育出版社,2005.

2 Zhang LK,Wang HF.A unified framework for grammar error correction.Proc.of the 18th Conference on Computational Natural Language Learning:Shared Task.Baltimore,Maryland,USA.2014.96–102.

3 Sidorov G,Gupta A,Tozer M,et al.Rule-based system for automatic grammar correction using syntactic N-grams for English language learning (L2).Proc.of the 17th Conference on Computational Natural Language Learning:Shared Task.Sofia,Bulgaria.2013.96–101.

4 Yoshimoto I,Kose T,Mitsuzawa K,et al.NAIST at 2013 CoNLL grammatical error correction shared task.Proc.of the 17th Conference on Computational Natural Language Learning:Shared Task.Sofia,Bulgaria.2013.26–33.

5 杜一民,吳桂興,吳敏.一種解決英語動名詞搭配錯誤的模型.計算機科學(xué),2016,43(7):230–233,250.[doi:10.11896/j.issn.1002-137X.2016.07.041]

6 Collins M.Language modeling:Course notes for NLP.Columbia:Columbia University,2008.

7 Sidorov G,Velasquez F,Stamatatos E,et al.Syntactic dependency-based n-grams as classification features.Proc.of the 11th Mexican International Conference on Advances in Computational Intelligence.San Luis Potosí,Mexico.2013.1–11.

8 Wang LK,Wang HF.Go climb a dependency tree and correct the grammatical errors.Proc.of the 2014 Conference on Empirical Methods in Natural Language Processing(EMNLP).Doha,Qatar.2014.266–277.

9 曹莉.基于語料庫的中國大學(xué)生英語四、六級考試作文中動名搭配錯誤分析[碩士學(xué)位論文].武漢:華中科技大學(xué),2007.

10 Jiang JJ,Conrath DW.Semantic similarity based on corpus statistics and lexical taxonomy.Proc.of International Conference Research on Computational Linguistics (ROCLING X).Taiwan,China.1997.

11 Crammer K,Dekel O,Keshet J,et al.Online passiveaggressive algorithms.The Journal of Machine Learning Research,2006,7(3):551–585.

12 Pauls A,Klein D.Faster and smaller N-gram language models.Proc.of the 49th Annual Meeting of the Association for Computational Linguistics:Human Language Technologies.Portland,Oregon,USA.2011.258–267.

13 Kneser R,Ney H.Improved backing-off for m-gram language modeling.Proc.of International Conference on Acoustics,Speech,and Signal Processing.Detroit,MI,USA.1995.181–184.

14 Craswell N.Mean reciprocal rank.Liu L,?zsu MT.Encyclopedia of Database Systems.Berlin,Heidelberg,Germany.Springer,2009.1703.

English Verb-Noun Collocation Error Correction Strategy Based on Hierarchical Language Model

LI Can-Run1,WU Gui-Xing2,WU Min1

1(Center of Modern Educational Technology,University of Science and Technology of China,Hefei 230026,China)2(Suzhou Institute of University of Science and Technology of China,Suzhou 235123,China)

The correct use of collocation has been widely acknowledged as an essential characteristic to distinguish native English speakers from English learners.Through the analysis of CLEC,we can find that English learners often make mistakes on verb-noun collocations.In this paper,we propose a hierarchical language model that can be used to correct verb-noun collocation errors made by English learners.The language model takes the dependencies between words within a sentence into account.It parses sentences into different levels of clauses.The words within the same clause are highly correlated,and the relevance of words in different clauses is weak.The language model is more stable.Moreover,it is more accurate because collocation information is condensed.It can be used to re-rank candidates and generate classifier features.We apply this hierarchical language model to the correction of English verb-noun collocation errors.Compared with the traditional language model,the new model has better performance.

verb-noun collocation error;hierarchical language model;automatic correction strategy

李燦潤,吳桂興,吳敏.基于層次語言模型的英語動名詞搭配糾錯策略.計算機系統(tǒng)應(yīng)用,2017,26(9):145–150.http://www.c-sa.org.cn/1003-3254/5951.html

①基金項后:江蘇省自然科學(xué)基金面上研究項后(BK20141209);蘇州市應(yīng)用基礎(chǔ)研究項后(SYG201543)

2016-12-27;采用時間:2017-01-18