基于領(lǐng)域自適應(yīng)語言模型的機(jī)器翻譯

（東莞理工學(xué)院城市學(xué)院，廣東 東莞 523419）

機(jī)器翻譯[1]是自然語言處理領(lǐng)域具有挑戰(zhàn)性的任務(wù)。統(tǒng)計機(jī)器翻譯在大規(guī)模的雙語語料庫上訓(xùn)練統(tǒng)計模型，使其能自動翻譯源語言到目標(biāo)譯文。語言模型則通過計算目標(biāo)句子的概率來幫助翻譯系統(tǒng)評價翻譯結(jié)果是否流暢?；贙N平滑的語言模型[2]是統(tǒng)計機(jī)器翻譯里應(yīng)用最為廣泛的語言模型。常用的語言模型工具SRILM[3]和KenLM[4]都實現(xiàn)了修改后的KN平滑模型[2]。

當(dāng)前主流的翻譯系統(tǒng)[5-6]在同領(lǐng)域的大規(guī)模平行語料訓(xùn)練下，翻譯同領(lǐng)域的文本的質(zhì)量會很高。但是對于某些領(lǐng)域獲取一定規(guī)模的雙語語料是非常困難的，甚至大規(guī)模的單語語料也并不容易。在這種情況下，跨領(lǐng)域的文本上的翻譯結(jié)果就不是很理想。另一方面，即使訓(xùn)練數(shù)據(jù)再大，也很難克服跨領(lǐng)域數(shù)據(jù)稀疏問題。由于目標(biāo)數(shù)據(jù)的缺失，語言模型就不能使用目標(biāo)數(shù)據(jù)的信息。比如目前流行的基于KN平滑的語言模型，在訓(xùn)練集上訓(xùn)練折扣平滑的參數(shù)，這樣的語言模型也就很難僅僅通過訓(xùn)練集數(shù)據(jù)來準(zhǔn)確地預(yù)測跨領(lǐng)域的目標(biāo)測試數(shù)據(jù)。研究領(lǐng)域自適應(yīng)的翻譯模型和語言模型是解決這些問題一種可行的解決方法。

面對這些問題，本文提出了一種應(yīng)用于機(jī)器翻譯系統(tǒng)的基于領(lǐng)域自適應(yīng)的語言模型。該語言模型通過一個參數(shù)調(diào)節(jié)步驟來適應(yīng)不同的領(lǐng)域。該模型在大規(guī)模的訓(xùn)練集數(shù)據(jù)上訓(xùn)練出基本模型，然后通過目標(biāo)領(lǐng)域的開發(fā)集數(shù)據(jù)來調(diào)整模型的折扣參數(shù)。另外，本文的語言模型還可以和一個小規(guī)模的領(lǐng)域語言模型進(jìn)行線性插值。模型里所有參數(shù)調(diào)節(jié)的目標(biāo)都為了使語言模型在目標(biāo)領(lǐng)域開發(fā)集上的困惑度最小化。最后本文實現(xiàn)了這一新的語言模型并應(yīng)用于標(biāo)準(zhǔn)的機(jī)器翻譯過程。同時，本文提出了基于領(lǐng)域語言模型來斷定測試數(shù)據(jù)領(lǐng)域并自動選取目標(biāo)領(lǐng)域語言模型的方法，利用該方法，可以自動完成上面提到的語言模型的線性插值。

在實驗里，把該領(lǐng)域自適應(yīng)語言模型和知名的SRILM中的廣泛使用的KN平滑模型進(jìn)行了比較。在同一領(lǐng)域數(shù)據(jù)里，本文的模型比KN平滑模型有更小的困惑度。在跨領(lǐng)域的數(shù)據(jù)下，該模型的困惑度與KN平滑模型比與有顯著的降低。在中文到英文的翻譯任務(wù)里，用Moses[7]框架下基于短語[5]和基于層次短語[6]的翻譯模型來評測該語言模型。機(jī)器翻譯的結(jié)果顯示本文的模型與KN平滑基線模型相比，顯著提高了翻譯質(zhì)量。這一提高在跨領(lǐng)域的情況下表現(xiàn)明顯。

一、語言模型

這一部分將回顧分析相關(guān)的語言模型并提出我們的模型。本文中的符號標(biāo)記都在表1中列出。

表1 符號標(biāo)記

語言模型是通過統(tǒng)計向字符串賦予概率的方法[8]。機(jī)器翻譯中的語言模型可以通過句子概率判斷哪個譯文更符合語法。最大似然估計(MLE)概率模型是最直接的方法，它可以簡單地利用訓(xùn)練語料中的相對頻率來預(yù)測概率。但是，對于訓(xùn)練語料中未出現(xiàn)的詞，這個模型就會得到0概率。解決未知元素帶來的0概率問題有回退、折扣等平滑方法。通過減少已經(jīng)觀察到的事件的概率，來把少量概率分配給未出現(xiàn)事件上的方法就是折扣法。Ney等提出的絕對折扣模型[8]就是在所有非0的MLE頻率上使用一個較小的常數(shù)折扣，這樣留出概率分配到未知事件上。Chen和Goodman提出的修改后的KN平滑模型[2]則用一個函數(shù)，作為折扣參數(shù)。函數(shù)見式(1)，它根據(jù)不同的n元組的詞頻，有三個不同的折扣值D1、D2和D3，針對不同的n元組模型就有n×3個折扣值。比如，如果要訓(xùn)練一個5元的語言模型，這樣就需要15個折扣參數(shù)。這些折扣參數(shù)都是在訓(xùn)練集上訓(xùn)練出來的常數(shù)。模型所有的參數(shù)都在訓(xùn)練集上訓(xùn)練，用該模型來預(yù)測測試集上的數(shù)據(jù)，帶來的缺點(diǎn)就是不能很好地適應(yīng)跨領(lǐng)域數(shù)據(jù)。

Schütze[9]在基于類插值[10-11]的POLO模型里提出了一種多項式折扣[9]方法。Guo等把這種多項式折扣應(yīng)用到更簡單的n元模型里，提出一種可調(diào)的語言模型[10]。在這個模型里，多項式替換了KN平滑的折扣函數(shù)，其中的參數(shù)ρ和γ都需要在開發(fā)集上進(jìn)行優(yōu)化。這樣的一個優(yōu)化的步驟就使折扣函數(shù)能夠更好地適應(yīng)不同的領(lǐng)域。

然而，這種可調(diào)模型[10]針對不同的n元組（一元組、二元組、三元組和n元組），只有一個折扣函數(shù)，而且這個函數(shù)的兩個參數(shù)在任何元組條件下都相同?？紤]到不同的n元組，語言模型應(yīng)該用不同折扣能更準(zhǔn)確的預(yù)測。比如原始的KN平滑模型對不同的n元組都有不同的折扣。為了同時應(yīng)用多項式折扣和KN平滑折扣的優(yōu)點(diǎn)，對于不同的詞頻情況，在KN平滑折扣上添加不同的可調(diào)折扣和多項式折扣。這樣，提出了一種混合兩種折扣的方法。本文用折扣函數(shù)如（2）式所示，替換了KN平滑模型的折扣函數(shù)

這個模型是一個可調(diào)折扣參數(shù)的遞歸模型，同時用回退法來做平滑。模型里所有的參數(shù)都在開發(fā)集上優(yōu)化并采用啟發(fā)式的網(wǎng)格搜索方法來搜索優(yōu)化的參數(shù)。

為了保證語言模型的概率分布和為1，設(shè)置模型中參數(shù)如（4）式所示：

本文在SRILM工具里實現(xiàn)了該模型，并生成ARPA格式的n元語言模型[3]。

二、實驗

（一）實驗設(shè)置

在語言模型實驗中，采用了語言模型訓(xùn)練工具SRILM，在大約8百萬的MultiUN[15]英文數(shù)據(jù)上，用KN平滑模型訓(xùn)練出5元的ARPA格式的語言模型。在SRILM上修改并實現(xiàn)了TPKN模型，并用與KN平滑模型相同的MultiUN數(shù)據(jù)來訓(xùn)練該語言模型。前面已經(jīng)提到，該模型還將在一個小的開發(fā)集上調(diào)整折扣參數(shù)。在啟發(fā)式的網(wǎng)格搜索優(yōu)化折扣參數(shù)過程中，搜索空間里設(shè)置步長為0.01。實驗評測的方法是困惑度[13]，這是度量語言模型的表現(xiàn)標(biāo)準(zhǔn)方法，更低的困惑度意味著更好的語言模型。

機(jī)器翻譯實驗采用統(tǒng)計機(jī)器翻譯Moses[7]框架。Moses支持基于短語的翻譯模型[16]和基于層次短語的翻譯模型[17]。它支持SRILM生成的ARPA格式的語言模型。中文句子全部使用斯坦福的分詞系統(tǒng)[18]進(jìn)行處理。同時利用GIZA++在雙語料上獲得雙向詞匯對齊，并使用Grow-Diag-Final的啟發(fā)式方法進(jìn)行對稱融合，多對多的詞語對齊。經(jīng)過句子長度過濾，翻譯模型在大約1.8百萬對雙語料上訓(xùn)練。機(jī)器翻譯結(jié)果采用BLEU[14]值來評測測試集上的翻譯質(zhì)量。

（二）語料

本文采用了句子對齊的MultiUN[15]語料中的一個版本作為訓(xùn)練集。該語料是從聯(lián)合國2000年到2009年間的官方文件中抽取的多語言平行語料。該語料包含聯(lián)合國6種官方語言，每種語言有300多萬字。其中中文到英語的部分于2011年8月在IWSLT上發(fā)布。實驗中使用了其中的2百萬行中文到英文的雙語料句子作為訓(xùn)練集。

評測的數(shù)據(jù)主要采用的是NIST評測集數(shù)據(jù)，具體用NIST2002、2004、2006的數(shù)據(jù)作為開發(fā)集，同時使用了NIST2005作為測試集。NIST由LDC收集，語料包含了新聞、口語廣播新聞、等網(wǎng)絡(luò)挖掘數(shù)據(jù)。NIST的數(shù)據(jù)從文件樣式和語言上都不同于MultiUN的官方文件。所以MultiUN和NIST數(shù)據(jù)屬于不同的領(lǐng)域。同時，使用了來自NIST2009年到2014年大約15 000句的領(lǐng)域數(shù)據(jù)，用于領(lǐng)域語言模型的訓(xùn)練。很明顯，這些NIST數(shù)據(jù)和測試集是屬于同一領(lǐng)域。有了這些領(lǐng)域數(shù)據(jù)就能把本文的語言模型和這個從領(lǐng)域數(shù)據(jù)訓(xùn)練出來的語言模型進(jìn)行插值。

三、實驗結(jié)果及分析

下面分別來討論三組實驗過程和結(jié)果。它們顯示了本文提出的語言模型在跨領(lǐng)域數(shù)據(jù)上的表現(xiàn)和在跨領(lǐng)域機(jī)器翻譯系統(tǒng)中的應(yīng)用。

（一）語言模型的困惑度實驗

第一個實驗研究不同語言模型在跨領(lǐng)域數(shù)據(jù)上的困惑度表現(xiàn)。為了便于比較，同時展示了在同領(lǐng)域數(shù)據(jù)上的結(jié)果。實驗過程為：在訓(xùn)練集上訓(xùn)練模型，并在不同領(lǐng)域的開發(fā)集和測試集上評測語言模型的困惑度。

在同領(lǐng)域數(shù)據(jù)的實驗中，訓(xùn)練集、開發(fā)集、測試集都來自于MultiUN的英文部分。訓(xùn)練集有2百萬句，開發(fā)集和測試集都有2千句。所有語言模型的困惑度都在開發(fā)集和測試集上計算。

在跨領(lǐng)域數(shù)據(jù)的實驗中采用8.8百萬句的MultiUN的英文部分語料作為訓(xùn)練集。前面提到，實驗用NIST2002、04、06英文部分做開發(fā)集，用NIST2005做測試集來評測結(jié)果。

所有模型的表現(xiàn)如表2所示。本文的基線系統(tǒng)是SRILM工具集提供的修改后的KN平滑模型。在同領(lǐng)域的情況下，和基線相比較，可以發(fā)現(xiàn)困惑度在開發(fā)集上有所降低(從54.55到52.50)。同樣在測試集上的困惑度也有所降低，從60.64到58.34。這些結(jié)果顯示TPKN語言模型的表現(xiàn)即使在同領(lǐng)域情況下也有所提升。

表2 語言模型的困惑度

當(dāng)把同領(lǐng)域和跨領(lǐng)域的表現(xiàn)進(jìn)行對比時，很快發(fā)現(xiàn)困惑度從50多提高到了270多。這顯示出NIST數(shù)據(jù)的領(lǐng)域非常不同于訓(xùn)練數(shù)據(jù)。比較各模型在跨領(lǐng)域的數(shù)據(jù)上的表現(xiàn)，本文模型的困惑度，能夠在很大程度上的降低。模型的困惑度從289.92（KN）下降到270.24（TPKN）。這個結(jié)果在測試集上也有同樣的表現(xiàn)，模型的困惑度從312.30（KN）降低到284.99（TPKN）。開發(fā)集、測試集的困惑度比較相似是因為NIST數(shù)據(jù)集的領(lǐng)域是相似的。

綜上，困惑度的實驗表明TPKN模型在同領(lǐng)域的數(shù)據(jù)上表現(xiàn)比KN平滑模型要好。在跨領(lǐng)域的情況下，TPKN模型有更顯著的表現(xiàn)。

（二）跨領(lǐng)域的機(jī)器翻譯實驗

在困惑度實驗之后，進(jìn)一步將這些語言模型應(yīng)用到“中文-英文”的翻譯任務(wù)里。這里使用Moses框架下的基于短語的翻譯模型和基于層次短語的翻譯模型。不同的翻譯系統(tǒng)都采用BLEU自動評測。

在翻譯實驗中，使用了大概兩百萬來自于MultiUN的中英文雙語料作為訓(xùn)練集。在本實驗中，仍使用上一實驗中相同的開發(fā)集和測試集，只是這里同時使用中文部分的數(shù)據(jù)。在這個實驗里開發(fā)集，同時作為Moses框架下的Tuning集。實驗用BLEU來評價所有的翻譯質(zhì)量。

試驗結(jié)果的BLEU值如表3所示。在同領(lǐng)域的機(jī)器翻譯實驗里，所有模型的BLEU值都高于30。這樣好的翻譯結(jié)果驗證了機(jī)器翻譯系統(tǒng)翻譯同領(lǐng)域的文本質(zhì)量較高。在同領(lǐng)域的機(jī)器翻譯實驗里，能發(fā)現(xiàn)TPKN模型比基線模型在兩種翻譯模型的情況下的結(jié)果都要好。TPKN模型在基于短語的翻譯系統(tǒng)（PBMT）里從31.32（KN）提高到了31.43（TPKN）。在基于層次短語的翻譯系統(tǒng)（HPBMT）里從34.30（KN）提高到了34.87（TPKN）。這個結(jié)果也驗證了在中英文的翻譯系統(tǒng)中基于層次短語的翻譯模型比基于短語的翻譯模型的翻譯質(zhì)量要提高[6]。

表3 同領(lǐng)域跨領(lǐng)域機(jī)器翻譯BLEU值

跨領(lǐng)域的機(jī)器翻譯結(jié)果與同領(lǐng)域表現(xiàn)相比，能很快發(fā)現(xiàn)BLEU值從30多下降到20多。上文提到，訓(xùn)練集與測試集都來自于相同的語料（MultiUN），機(jī)器翻譯系統(tǒng)就能取得比較好的結(jié)果。但是，當(dāng)訓(xùn)練集與測試集來自不同的領(lǐng)域時，翻譯質(zhì)量就會下降。比如本實驗中訓(xùn)練集與測試集分別來自MultiUN和NIST，也就是實驗里BLEU值降低的原因。另外，即使是再大的訓(xùn)練集也很難克服跨領(lǐng)域的數(shù)據(jù)稀疏的問題。這些現(xiàn)象表明在沒有足夠多同領(lǐng)域訓(xùn)練數(shù)據(jù)的情況下，研究自適應(yīng)模型提高跨領(lǐng)域翻譯質(zhì)量的重要性。

在跨領(lǐng)域數(shù)據(jù)的實驗中，發(fā)現(xiàn)TPKN模型始終在兩種翻譯模型下能表現(xiàn)良好。翻譯質(zhì)量都取得了顯著的提高，TPKN模型在基于短語的翻譯系統(tǒng)里從20.05（KN）提高到了20.42（TPKN）。在基于層次短語的翻譯系統(tǒng)里從20.64（KN）提高到了20.93（TPKN）。表3中“*”號表示這些顯著提高的置信水平為95%。

綜上所述，以上實驗結(jié)果表明TPKN模型和基線KN平滑模型相比，不管是困惑度還是翻譯任務(wù)的評測都有更優(yōu)的結(jié)果。在跨領(lǐng)域的情況下，表現(xiàn)顯著提高。

（三）領(lǐng)域插值語言模型的機(jī)器翻譯

解決領(lǐng)域自適應(yīng)問題的另一個方法是將現(xiàn)有模型與在目標(biāo)領(lǐng)域數(shù)據(jù)上訓(xùn)練的語言模型進(jìn)行插值。這個混合模型的插值權(quán)重可以在開發(fā)集上調(diào)整。這種方法會使用到跨領(lǐng)域數(shù)據(jù)信息，這樣也能提高模型質(zhì)量。當(dāng)然，要想在目標(biāo)領(lǐng)域上訓(xùn)練模型，這就需要補(bǔ)充跨領(lǐng)域的訓(xùn)練數(shù)據(jù)。

這個實驗里使用了少量的目標(biāo)領(lǐng)域訓(xùn)練數(shù)據(jù)，這些數(shù)據(jù)來自于NIST2009-14。這些NIST數(shù)據(jù)和目標(biāo)測試數(shù)據(jù)都來自相同的領(lǐng)域。同時，本實驗的開發(fā)集和測試集都與前面的實驗一致。所有的語言模型與前面的實驗一樣在大的訓(xùn)練集MultiUN上訓(xùn)練。同時在NIST2009-14這個小的目標(biāo)領(lǐng)域數(shù)據(jù)集上訓(xùn)練了另一個語言模型。最后，將大的語言模型和這個小的領(lǐng)域語言模型混合?；旌险Z言模型的權(quán)重通過在開發(fā)集上模型的困惑的最小化來優(yōu)化。有了優(yōu)化的插值權(quán)重參數(shù)，我們將這個混合插值模型在測試集上進(jìn)行評測。因為這個目標(biāo)領(lǐng)域訓(xùn)練數(shù)據(jù)比較小，就簡單地用KN平滑模型來訓(xùn)練這個領(lǐng)域語言模型。最后將訓(xùn)練出的混合模型應(yīng)用到機(jī)器翻譯系統(tǒng)中進(jìn)行評測，實驗中Moses的設(shè)置和先前的實驗是一致的。這樣就可以研究不同的插值模型在跨領(lǐng)域的機(jī)器翻譯里的表現(xiàn)。

翻譯的結(jié)果如表4所示。為了比較插值模型和前面的未插值的模型，把前面未插值模型的結(jié)果也放到了表4的上面兩行里。從表里的BLEU值，能發(fā)現(xiàn)插值的語言模型（+domain表示原始模型與領(lǐng)域模型插值后的混合模型）比沒有使用領(lǐng)域數(shù)據(jù)的原始模型的翻譯質(zhì)量更高。KN插值模型在基于短語的翻譯系統(tǒng)里的BLEU值從原始的KN平滑模型的20.05提高到20.50。KN插值模型同樣在基于層次短語的翻譯系統(tǒng)里，BLEU值從20.64提高到了20.87。TPKN插值模型同樣比原始的TPKN模型的翻譯質(zhì)量要提高。在基于短語的翻譯系統(tǒng)里從20.42提高到了20.60。在基于層次短語的翻譯系統(tǒng)里從20.93提高到了20.98。這些提高并不是顯著的。然而，它仍然比其他所有模型的質(zhì)量都好，同時和基線模型比仍然是顯著的提高（*表示翻譯結(jié)果BLEU值顯著提高）。這里置信水平為95%。

表4 跨領(lǐng)域機(jī)器翻譯BLEU值

把原始的未與領(lǐng)域模型插值的TPKN模型和KN插值的模型相比，能發(fā)現(xiàn)原始的TPKN和插值的KN模型結(jié)果很接近。甚至在基于層次短語的翻譯模型下，TPKN模型的BLEU值20.93比KN插值模型（20.87）要高。TPKN模型翻譯質(zhì)量并沒有提升很多，但是在沒有領(lǐng)域數(shù)據(jù)的情況下，能略高于KN插值模型的翻譯質(zhì)量，這個結(jié)果更能說明TPKN模型在跨領(lǐng)域數(shù)據(jù)下表現(xiàn)出來的領(lǐng)域自適應(yīng)性。

綜上，這個實驗結(jié)果表明基于少量的目標(biāo)領(lǐng)域數(shù)據(jù)的插值模型能夠一定程度上提高語言模型在跨領(lǐng)域數(shù)據(jù)上的表現(xiàn)。插值的TPKN模型仍然比KN的插值模型表現(xiàn)要好。與所有的插值的模型相比，原始TPKN模型在沒有領(lǐng)域數(shù)據(jù)的情況下也有較好的表現(xiàn)。

（四）機(jī)器翻譯中領(lǐng)域的判定

機(jī)器翻譯模型要想將領(lǐng)域自適應(yīng)方法自動應(yīng)用到系統(tǒng)中，首先需要解決領(lǐng)域的判定問題。比如Google翻譯中能先自動判斷用戶所輸入的語言。如果翻譯系統(tǒng)也能像檢測輸入語言一樣來判斷用戶輸入的領(lǐng)域，并自動選擇目標(biāo)語言模型，將有助于翻譯系統(tǒng)準(zhǔn)確率的提高。

為此，本文提出了基于語言模型判定源語言領(lǐng)域的方法。驗證實驗選取了不同領(lǐng)域的小規(guī)模的雙語開發(fā)集和測試集。在源語言中，在開發(fā)集上訓(xùn)練出小規(guī)模的語言模型，用這些語言模型來計算測試集的困惑度，然后利用困惑度的分布來判斷該源語言屬于哪個領(lǐng)域。最后，機(jī)器翻譯系統(tǒng)就可以自動的使用該領(lǐng)域平行的目標(biāo)語言開發(fā)集來作為TPKN模型的參數(shù)估計開發(fā)集或者領(lǐng)域插值語言模型的訓(xùn)練集。

驗證實驗選取6個不同領(lǐng)域的數(shù)據(jù)進(jìn)測試，其領(lǐng)域包含生物（Bio）、食物（Food）、新聞（News）、半導(dǎo)體（Semi）、社交媒體（Social）、網(wǎng)絡(luò)新聞（Web）這些領(lǐng)域。語料取自于標(biāo)準(zhǔn)的中英文機(jī)器翻譯系統(tǒng)的開發(fā)集和測試集，其大小大致為2千行左右的語料。實驗把中文作為源語言。在中文的開發(fā)集中用SRILM工具集訓(xùn)練5-gram的語言模型。用該語言模型（LM），在中文的測試集（Tst）上計算各個領(lǐng)域的困惑度。得到困惑度分布如表5。

表5可以比較到各個不同領(lǐng)域開發(fā)集訓(xùn)練的語言模型在不同領(lǐng)域測試集上的困惑度。比如第一行是用生物領(lǐng)域開發(fā)集訓(xùn)練出的語言模型，在生物（Bio）、食物（Food）、新聞（News）等不同領(lǐng)域下測試集的困惑度?？梢园l(fā)現(xiàn)在生物領(lǐng)域測試集上的困惑度（340.6）明顯小于其他領(lǐng)域的困惑度（從2403.8到6155.5）。同樣，后面幾行里困惑度最低的情況都是當(dāng)開發(fā)集和測試集屬于相同領(lǐng)域（如表5中加粗?jǐn)?shù)據(jù)所示）。這個結(jié)果表明最小的困惑度，意味著最匹配的領(lǐng)域。這樣，就可以用不同領(lǐng)域的開發(fā)集訓(xùn)練的語言模型的最小的困惑度來判定測試集的領(lǐng)域歸屬。

表5 不同領(lǐng)域語言模型在不同領(lǐng)域測試集上的困惑度

通過源語言（中文）來判斷其領(lǐng)域的歸屬，在機(jī)器翻譯系統(tǒng)里，就可以將源語言所屬領(lǐng)域的平行開發(fā)集作為目標(biāo)語言（英文）領(lǐng)域插值語言模型的訓(xùn)練集或者TPKN模型的參數(shù)訓(xùn)練集。選好領(lǐng)域，并自動訓(xùn)練出領(lǐng)域適應(yīng)的語言模型。這樣進(jìn)行上文所提到的領(lǐng)域插值的機(jī)器翻譯，從而最終提高機(jī)器翻譯的翻譯質(zhì)量。

四、結(jié)論

本文提出了一個領(lǐng)域自適應(yīng)語言模型TPKN，它能夠通過調(diào)整折扣參數(shù)自適應(yīng)到目標(biāo)領(lǐng)域，還可以與領(lǐng)域語言模型進(jìn)行插值。同時本文提出了一種基于領(lǐng)域語言模型自動判定測試集領(lǐng)域并自動選取目標(biāo)領(lǐng)域的方法。實驗表明本基于TPKN模型的翻譯系統(tǒng)，困惑度下降，BLEU評測值顯著提高。比基線KN模型的表現(xiàn)更好，特別是在跨領(lǐng)域的情況下表現(xiàn)更優(yōu)。

下一步工作，計劃進(jìn)一步改進(jìn)參數(shù)優(yōu)化算法，完善機(jī)器翻譯系統(tǒng)的自動化程度，并且將模型應(yīng)用到其他語言和自然語言處理中去。