基于詞典注入的藏漢機器翻譯模型預訓練方法

桑杰端珠,才讓加

(1. 青海師范大學 計算機學院,青海 西寧 810000;2. 青海師范大學 藏語智能信息處理及應用國家重點實驗室,青海 西寧 810000)

0 介紹

目前神經機器翻譯(Neural Machine Translation,NMT)[1-3]已經成為最主流機器翻譯方法,在性能上全方位超越傳統短語統計翻譯模型(Statistical Machine Translation,SMT)[4],并成為工業(yè)界機器翻譯服務系統的標準實現方法[5],甚至研究者聲稱在特定領域和語言對上NMT的性能可以接近甚至超越人類的翻譯水平[6]。與SMT不同的是,NMT以端到端風格的建模方式將翻譯決策過程視為單個條件概率模型的參數估計過程,從而摒棄了SMT不同組件獨立優(yōu)化各自訓練目標的建模范式。但是目前NMT卓越的性能表現是以具備大規(guī)模、高質量和多領域對齊數據為重要前提的,受制于市場規(guī)模較小、數據標注成本高昂等客觀因素,現階段藏漢機器翻譯的質量距離漢英等主流語言存在巨大的差距。

在對齊數據受限的條件下,對于多數語言,單語數據的來源相對較為廣泛且容易收集,研究者自然地探索了各類在NMT框架內有效利用目標端和源端單語數據的方法。其中最簡單和直接的是回譯方法[7],該方法利用監(jiān)督式方法訓練一個初始的反向模型,將目標端的單語數據進行翻譯,用于擴充訓練正向模型的數據。回譯方法不僅能改善低資源場景下的翻譯性能,同時在富資源場景中也能緩解領域適應等問題[8]?；刈g方法要求初始回譯模型本身有較高的性能,但是在現實中很多低資源語言的對齊數據無法保證初始回譯模型的性能。

近年來,受到計算機視覺研究的啟發(fā)[9],在未標注的海量文本數據、高階的分布式優(yōu)化方案、強大的序列學習模型和高性能計算加速設備的共同加持下自監(jiān)督式預訓練(Self-supervised Pretraining)模型[10-12]激起了自然語言處理(Natural Language Processing, NLP)領域內的研究熱潮。預訓練模型使研究者可以不用從頭訓練昂貴和復雜的大規(guī)模模型,直接使用現有預訓練模型在下游目標任務上結合任務自身特點進行微調,就往往可以獲得比監(jiān)督式訓練更好的性能表現。在諸多的預訓練模型中,具有代表性的包括掩碼語言模型(Masked Language Model, MLM) BERT[10]、自回歸語言模型(Autoregressive Language Model, ALM) GPT[13]、置換語言模型(Permuted Language Model, PLM)XLNet[14]、降噪自編碼器模型(Denoising Auto Encoder,DAE)BART[15]等。其中BERT和XLNet語言模型是Transformer[3]的編碼器,能對語言序列進行雙向的表示學習,主要用于序列的語義理解。GPT 使用了Transformer的解碼器,結合已生成的解碼片段和當前時刻的輸入,以自回歸的方式逐詞生成目標序列,而BART模型可以視為結合BERT和GPT泛化的預訓練模型,與BERT和GPT不同的是,BART模型采用序列到序列的建模方式,使用單個Transformer模型對編碼器端完成各類加噪操作的輸入序列在解碼器端完成重構,通過降噪自編碼為優(yōu)化目標,完成整個解碼器和編碼器的聯合預訓練,然后在下游的目標任務上通過標注數據進行微調,非常適合于機器翻譯和知識問答等采用編碼器-解碼器構架的建模任務。BART是針對單一語言(英語)的預訓練,而隨后提出的mBART[16]則是將BART的建模方式擴展到多語言場景下,完成多語言模型的預訓練。同樣是采用BART訓練目標的M2M-100[17]更是進一步擴大了所覆蓋的語言種類,支持100個語言之間的多對多翻譯。對于藏文這種低資源語言而言,多語言預訓練是一個非常具有吸引力的設想,因為除了支持多語言翻譯外,M2M-100級別的大規(guī)模預訓練模型本身能夠有效支持通用語義知識的遷移。但是mBART和M2M-100的訓練都沒有包含藏文。本文旨在探索訓練BART風格的藏漢翻譯預訓練模型的有效方法,為后續(xù)的藏語多語言翻譯課題提供研究基礎。

BART在預訓練過程中主要學習當前輸入語言的表示和分布,缺乏雙語對齊監(jiān)督信號的直接參與,沒有顯式地學習語言對之間的映射關系。這種預訓練方式不利于平行資源匱乏的藏漢語言對的預訓練效果?？紤]到雙語詞典是重要的先驗知識來源,人類語言學習者在學習一門新語言時,往往會借助雙語詞典探索所要學習的語言,通過詞典建立新語言和其他已掌握的語言之間的關聯。人類翻譯人員也會使用雙語詞典推敲用詞、查詢專業(yè)詞匯,以改善翻譯工作的質量。此外,受到跨語言交流過程中使用混合語言往往能夠增加溝通效率[18]這一現象的啟發(fā),本文提出了一種基于雙語詞典注入的藏漢預訓練翻譯模型的訓練方法,即基于詞典注入的藏漢機器翻譯預訓練模型(Pretrained Translation Model with Dictionary Injection, PTMDI)。通過構建較大規(guī)模的雙語詞典,然后利用詞典對大規(guī)模的藏漢單語數據進行跨語言數據注入,以降噪自編碼為訓練目標完成藏漢機器翻譯模型的預訓練。詞典的數據注入如表1所示。

表1 詞典的數據注入樣例

圖1 BART的加噪方法示意圖

在規(guī)模分別為6.9M和5.2M句子規(guī)模的藏漢單語數據、500K句對的藏漢平行數據和314K詞條雙語詞典的數據設定下,本文中的PTMDI模型在藏漢和漢藏翻譯方向的測試集上的BLEU值比BART這一強基準模型分別高出2.3和2.1,充分證實了本文所提出的預訓練方法在藏漢機器翻譯任務上的有效性。

綜上,本文的貢獻為:

(1) 考慮到雙語詞典能在預訓練過程中提供有效的監(jiān)督信號,同時受跨語言交流中使用混合的多語言詞匯能提高溝通效率這一現象啟發(fā),提出一種利用藏漢雙語詞典和藏漢單語數據進行詞典注入的機器翻譯預訓練方法,即PTMDI;

(2) 在通過與包括監(jiān)督式Transformer、回譯、BART的性能對比實驗,證實本文提出的PTMDI方法在測試數據集上比各類基準模型均有大幅性能提升;

(3) 由于使用了藏漢雙語詞典,本文提出的PTMDI模型適用于翻譯模型的領域適應問題,能夠借助領域詞典和單語數據學習平行數據中缺乏的翻譯知識。

1 相關工作

近年來,隨著人工智能領域技術的迅猛發(fā)展和日益密切的跨語言交流需求,藏漢機器翻譯技術取得了長足發(fā)展。和其他低資源機器翻譯研究課題一樣,藏漢機器翻譯的研究集中在致力于在平行數據資源受限的條件下探索提高機器翻譯性能的方法。其中包括優(yōu)化藏漢翻譯模型的詞表大小和分布[20-21],利用大規(guī)模單語數據進行迭代式回譯[22]、遷移學習[23]、融合藏文多層次先驗特征[24]、融合目標端語言模型的方法[25]等。此外,還有一些與藏文預訓練語言模型相關的研究工作,比如中國少數民族預訓練語言模型CINO[26]。該模型使用了XLM-R[27]風格的預訓練方法,是至迄今為止規(guī)模最大的支持藏文的公開跨語言預訓練語言模型。CINO雖然只在文本分類任務上進行了測試和驗證,由于該模型可以進行跨語言的表示,所以可以用于初始化藏漢機器翻譯的解碼器、編碼器或者整個模型的參數。

2 方法

2.1 NMT

給定源端句子x={x1,…,xN}和目標端句子y={y1,…,yM},NMT將句子級別的翻譯概率建模問題轉換為詞級別的條件概率的積,如式(1)所示。

(1)

其中,θ為模型所要估計的參數,y

2.2 機器翻譯預訓練模型

類BERT掩碼語言模型能夠對序列的雙向上下文表示進行建模,但是其訓練是按照分類任務進行的,即將編碼器的輸出輸入到Softmax層預測被掩碼的詞在整個詞表上的概率分布。類GPT自回歸模型和傳統的語言模型的訓練方式一致,即通過當前已生成序列的信息預測下一個詞。BART將類似BERT具有雙向表示能力的構架作為編碼器學習加噪序列的表示,而將類似于GPT的自回歸構架運用于解碼器,用于逐詞生成原始未加噪的序列。其訓練的優(yōu)化目標為在整個訓練集D上加噪序列片段與原始序列片段的似然概率,即:

(2)

其中,N(x)表示加噪函數,BART在預訓練過程中采用了多個加噪方法,包括:①詞的遮蔽; ②句子順序擾動; ③文檔轉換; ④詞刪除; ⑤序列片段替換等,這些加噪方法的示意如圖1所示。

2.3 詞典注入的藏漢機器翻譯模型預訓練方法

PTMDI的預訓練沿用了BART加噪并重構的建模方法,但是與BART不同的是PTMDI中詞典注入代替了各類加噪方案。詞典的注入不僅能起到加噪的作用,同時也在客觀上要求編碼器學習跨語言的聯合表示。本文在完成詞典注入的單語數據上進行預訓練之后,在規(guī)模為500K的平行數據上進行微調。具體的預訓練和微調的示意圖如圖2和圖3所示?？紤]到收集的雙語詞典的詞條大部分為名詞,在進行詞典注入時優(yōu)先替換單語數據中的名詞,同時保證被替換的詞的數量不超過整個句子詞長度的15%。

圖2 預訓練過程

圖3 微調過程

因為編碼器需要學習藏漢兩種語言的表示,需要模型有更大的學習容量,所以本文中使用了解碼器更深的網絡構架。此外,編碼器的表示和理解性能相對而言比解碼器的自回歸生成和掩碼自編碼性能,對翻譯最終表現有更加重要的影響[28],因而在多語言機器翻譯任務中研究者有使用較深的編碼器、較淺的解碼器的應用實踐[29],在翻譯性能不退化的前提下,提高翻譯速度。

PTMDI訓練方法能通過注入詞典的方式進行翻譯模型的預訓練,因為詞典的對齊特性使得模型在預訓練階段就開始進行跨語言的信息交互,學習跨語言信息的關聯。此外,這種詞典注入方式使得離散的詞典特征能夠很好地整合到端到端序列學習的連續(xù)過程中,是一種在機器翻譯模型中有效融合先驗知識的方法。考慮到相較于特定領域內的對齊數據,領域詞典和領域單語數據比較容易獲取和收集,所以PTMDI也是一種能以較為低廉的代價進行機器翻譯領域適應的方法,尤其是適用于藏漢語言對這樣的低資源機器翻譯任務。

3 實驗

3.1 數據設定

3.1.1 詞典

為使藏漢雙語詞典涵蓋較為廣泛的領域,尤其是學習到受限的藏漢對齊文本之外的翻譯知識,本文使用藏漢、漢藏、藏英、英藏四個方向的雙語詞典資源和利用統計詞對齊工具FastAlign[30]在藏漢平行數據中獲取的藏漢對齊詞表。其中所有詞典數據中只提取有單個釋義的詞條。另外,對于藏英、英藏詞典,先將英文通過Google在線翻譯系統翻譯為漢文,然后再進行篩選處理;對于統計對齊詞表設定篩選的詞,對齊概率閾值為0.3;若有多個超過該閾值的對齊詞表項,則隨機選擇。詞典詞源的統計信息見表2,藏漢和漢藏詞典的領域包括日常用詞、法律、生物、化學、醫(yī)療、數學、計算機等,藏英和英藏詞典則主要是日常用詞。對如表2所示的總計384 654個篩選的詞條進行正則化和去重處理之后,最終獲得 314 500 個獨立詞條。

表2 詞典資源統計表

3.1.2 雙語數據

與英文等具有顯式的詞分隔符不同,如藏文和漢文如果直接使用純粹基于頻率統計的子詞分詞方法,將可能會生成大量在語言學上無實際意義的子詞結構,這一現象對藏文這種拼音文字尤其明顯。在低資源的機器翻譯任務設定中,這些冗余的子詞使得機器翻譯模型需要學習額外的構詞規(guī)律,在客觀上加大了模型的學習負擔。除了低資源機器翻譯任務之外,涉及漢文、日文、朝鮮文等語言的富資源機器翻譯任務中一般也采用先分詞再學習子詞的數據預處理流程[31]。本文中數據的預處理也是采用了這種策略,漢文分詞使用了jieba(1)https://github.com/fxsjy/jieba分詞工具進行分詞,藏文分詞采用了文獻[32]提出的藏文分詞方法。對文本進行分詞處理之后使用Sentence-Piece(2)https://github.com/google/sentencepiece[33]進行子詞學習。為了過濾平行數據中的噪聲樣本,本文通過fasttext(3)https://github.com/facebookresearch/fastText[34]中的語言標識模型去除藏文句子中的漢文和漢文句子中的藏文,同時也刪除了數據樣本中的非Unicode字符。本文限制了對齊句對的最大長度為120個詞,同時剔除了藏漢詞長度比大于4的句對。通過去重方法保證訓練集、驗證集和測試集沒有交集。最終的藏漢平行數據規(guī)模如表3所示。

表3 平行數據和單語數據規(guī)模

3.1.3 單語數據

由于用于微調的平行數據主要是新聞領域的,為了更加有效的模型訓練,本文在收集藏語和漢語的單語數據時也使用了新聞領域的數據。單語數據的主要來源是各類藏文新聞網站和這些網站對應漢文網站的對應欄目,以完成數據更好的領域適配。單語數據的預處理方式和平行數據的預處理方式是一致的,也是先分詞,再學習子詞。在進行正則去噪、去重等預處理之后,最終保留的藏文和漢文單語數據的規(guī)模分別為6.9M和5.2M。

3.2 模型設定

本文中所有模型的訓練和測試都是基于Fairseq(4)https://github.com/pytorch/fairseq/[35]框架實現的,使用了4張Nvidia Quadro P1000 GPU?；鶞誓Ｐ椭屑儽O(jiān)督式模型和回譯模型使用了6層的Transformer編碼器和解碼器;藏文和漢文的詞表大小分別為8K和9K。PTMDI 模型使用了10層的Transformer編碼器和6層的Transformer解碼器,編碼器共享了藏語和漢語的詞表,解碼器使用了獨立的對應目標語言的詞表。所有模型解碼器和編碼器的嵌入維度為512,編碼器和解碼器的前饋網絡的維度為2 048,使用了Adam優(yōu)化器進行參數優(yōu)化,初始學習率設置為0.001,學習率衰減函數選用了平方根倒數,批處理大小為4 096個詞,所有的模型都訓練了60輪次。

3.3 實驗結果

表4列出了純監(jiān)督式Transformer模型、回譯模型、BART和PTMDI模型在測試集上的最終BLUE的測定值。從表中可以看出,本文中的PTMDI模型比BART這一強基準模型在藏漢和漢藏翻譯任務上BLEU值分別高出2.3和2.1,用實證方法證實了PTMDI在藏漢機器翻譯任務上的有效性。此外從圖4中模型在驗證集上的BLEU變化和圖5中訓練過程中的損失變化,可以得知PTMDI模型有更好的收斂特性,證實了模型在預訓練階段就通過詞典學習雙語映射關系確實能夠幫助提高微調過程中模型的學習能力。

圖5 各個模型的訓練損失變化

表4 各個模型在測試集上 BLEU 值

從表5可以看出,在測試集樣例中的專業(yè)詞匯“食用菌”和“羊肚菌”在PTMDI模型中被較為準確地譯出,且譯文更加流暢。

表5 測試集中的譯文樣例

除了驗證模型在雙語數據的領域有良好性能之外,本文還對其他跨領域場景下的性能進行了測試,如表6所示的是測試所有模型在計算機科學領域表現的一個樣例,從該譯文樣例中可以發(fā)現比如匯編、編譯器等雙語平行數據中不存在的詞條也被準確翻譯出來。說明PTMDI確實在預訓練過程中挖掘了先驗的雙語詞典內的翻譯知識。

表6 跨領域的譯文樣例

4 總結

本文受到雙語交流中混和語言能有效增進交流這一現象啟發(fā),利用多個領域的藏漢雙語詞典和百萬句子級別的藏漢單語數據,以BART風格降噪自編碼為訓練目標,通過在單語數據中有效注入詞典,進行藏漢跨語言模型的預訓練,并在已有藏漢平行數據上進行微調。經過廣泛的實驗驗證,本文中的方法比BART強基準模型在測試集上的BLUE值在藏漢和漢藏方向上分別提高2.3和2.1。結合利用更大規(guī)模的單語數據,更加準確有效的詞典注入方式,混合BART和詞典注入的訓練方法,應該可以更進一步提高藏漢翻譯的性能,我們將在未來的工作中繼續(xù)進行研究和探索。此外,本文方法能為后續(xù)一到多、多到一、多到多等藏文多語言翻譯課題提供可靠的研究基礎。