稀缺資源語言神經(jīng)網(wǎng)絡機器翻譯研究綜述

李洪政 馮 沖 黃河燕

神經(jīng)網(wǎng)絡機器翻譯(Neural machine translation,NMT)于2013 年正式出現(xiàn)[1].在短短幾年的時間里,從最初的循環(huán)神經(jīng)網(wǎng)絡(Recurrent neuralnetwork,RNN)encoder-decoder 結(jié)構(gòu)[2],到基于注意力機制的RNN search 模型[3]及其各種變體,再到目前最流行的Transformer 架構(gòu)[4]以及隨后多樣的預訓練模型,NMT 以其獨特的優(yōu)勢迅速成為主流的翻譯方法,翻譯技術(shù)取得了巨大突破,翻譯質(zhì)量也不斷得到改善和提高.

NMT 的成功與算力資源、算法模型和數(shù)據(jù)資源密不可分,尤其依賴于海量的雙語數(shù)據(jù)資源.而獲取高質(zhì)量的雙語資源往往需要很多高昂的代價,另一方面,世界上目前現(xiàn)存的很多語言在雙語數(shù)據(jù)資源方面卻十分匱乏甚至缺失.在機器翻譯領域的研究中,這些語言一般稱為“稀缺資源語言”,也稱為“低資源語言”(Low-resource languages).本文接下來會交替使用這兩種術(shù)語.

在數(shù)據(jù)因素的制約下,NMT 在低資源語言中的翻譯效果仍然并不理想.而低資源語言機器翻譯一直具有很多實際的需求和應用場景,因此引起了國內(nèi)外學術(shù)界和業(yè)界的廣泛關(guān)注,已經(jīng)成為當前機器翻譯領域的重要研究熱點之一,也出現(xiàn)了很多值得關(guān)注的研究成果.

Google、Facebook、卡內(nèi)基·梅隆大學(CMU)和愛丁堡大學等在低資源語言機器翻譯上做了很多研究.國內(nèi)機器翻譯領域也非常重視這方面的研究.中科院自動化所、清華大學、蘇州大學、東北大學、昆明理工大學、北京理工大學等多個科研團隊在承擔低資源語言機器翻譯國家級科研項目、自主研發(fā)實用翻譯系統(tǒng)等方面都積極推動深入的技術(shù)交流與合作,同時在全國機器翻譯大會等多種學術(shù)活動都有廣泛、密切的研討,推動了這個方向的研究進展[5?8].

隨著國內(nèi)外研究的發(fā)展和深入,我們認為很有必要對目前稀缺資源語言機器翻譯的研究進展進行比較全面的回顧.本文期望能夠為機器翻譯和相關(guān)領域的研究者提供有益的參考,幫助他們更好地深入了解低資源語言機器翻譯的研究動態(tài)和選擇未來的研究方向.

本綜述的剩余部分組織如下:第1 節(jié)介紹了與低資源語言機器翻譯相關(guān)的學術(shù)活動和公開的數(shù)據(jù)資源;第2 節(jié)詳細梳理歸納了目前比較重要和常用的低資源翻譯方法和技術(shù),并總結(jié)了它們各自的特點;第3 節(jié)總結(jié)了這些方法之間的關(guān)系,第4 節(jié)分析了當前研究現(xiàn)狀的主要特點;最后對未來的研究趨勢和發(fā)展方向提出了展望和建議.

1 稀缺資源語言機器翻譯學術(shù)活動及數(shù)據(jù)資源

1.1 相關(guān)學術(shù)活動

為了進一步推動稀缺資源語言機器翻譯的發(fā)展,加快研究步伐,加強技術(shù)交流,實現(xiàn)技術(shù)與真實應用場景結(jié)合和技術(shù)落地,近兩年以來國際上積極開展了各類有影響力的學術(shù)活動.

機器翻譯領域最權(quán)威的國際比賽之一的機器翻譯大會(Conference on Machine Translation,WMT)近幾年來在新聞領域的翻譯評測任務都會涉及英語?低資源語言的翻譯,如古吉拉特語,哈薩克語等[9?12].

“針對緊急事件的低資源語言”(Low Resource Languages for Emergent Incidents,LORELEI)是美國國防高級研究計劃局(DARPA)資助的項目,該計劃的目標是顯著提高計算語言學和人類語言技術(shù)的水平,以實現(xiàn)低資源語言的快速和低成本開發(fā).為此,美國國家標準技術(shù)研究所(NIST)推出了相應的評測活動(LoReHLT)1https://www.nist.gov/itl/iad/mig/lorehlt-evaluations,評測任務包括機器翻譯、實體發(fā)現(xiàn)和鏈接等.該評測活動從2016 開始每年一次,至2019 年已經(jīng)連續(xù)舉辦了4 屆.

WAT2https://lotus.kuee.kyoto-u.ac.jp/WAT/(Workshop on Asian Translation)是專門針對亞洲語言翻譯的會議,到2019 年已經(jīng)連續(xù)舉辦了6 屆.該會議具有亞洲低資源語言和英語的翻譯評測活動.

另外兩個專門的學術(shù)活動是“低資源翻譯技術(shù)研討會”(Workshop on Technologies for MT of Low Resource Languages,LoResMT)3http://www.conference.amtaweb.org/,4https://sites.google.com/view/loresmt/和“低資源自然語言處理與深度學習研討會”(Deep Learning for Low-resource NLP)5https://sites.google.com/view/deeplo18/home,6https://sites.google.com/view/deeplo19,這兩個論壇已于2018 年和2019 年分別連續(xù)舉辦了2 屆.

1.2 相關(guān)數(shù)據(jù)資源

機器翻譯與數(shù)據(jù)資源密不可分.表1 整理了一些可以用于低資源語言翻譯的數(shù)據(jù)資源:

表1 低資源語言翻譯相關(guān)的數(shù)據(jù)資源Table 1 Data for low-resource MT

2 稀缺資源語言機器翻譯方法

本部分將重點介紹低資源語言的機器翻譯方法.由于zero-shot (即待翻譯語言對之間未經(jīng)過翻譯模型訓練)和zero-resource (即待翻譯語言對之間沒有平行語料數(shù)據(jù))場景也屬于低資源翻譯的特殊形式,故也將其納入本文的考察范圍之內(nèi).目前已有研究方法大致可以分為五大類:第一類是利用第三方樞軸語言的翻譯方法;第二類是從豐富資源語言到稀缺資源語言的遷移學習方法;第三類是利用單語數(shù)據(jù),實現(xiàn)數(shù)據(jù)增強的方法;第四類是半監(jiān)督和無監(jiān)督方法;第五類是多語言和多任務的翻譯方法.接下來將分別介紹每類方法,并在每類方法的最后總結(jié)各自的優(yōu)勢和不足等系列特點.

需要說明的是,本文希望考察“低資源”這一特殊場景的翻譯方法研究,在整理文獻時重點根據(jù)“低資源、零資源”等關(guān)鍵詞語進行篩選,同時也會考慮文獻中的數(shù)據(jù)集規(guī)模,如果某類方法出現(xiàn)在一些明顯屬于豐富資源語言或者較大實驗數(shù)據(jù)集(比如規(guī)模多達幾十萬甚至百萬)的文獻中,那么我們傾向不將這些文獻納入本文的研究范圍.另外,在有些研究中,某類方法可能會與其他類型的方法同時被使用.另有一些研究中使用的方法也不一定能夠嚴格地歸入文中介紹的其中一類.

2.1 基于樞軸語言的方法

基于樞軸語言(Pivot-based)的翻譯方法試圖為源語言和目標語言尋找一種(或幾種)樞軸語言(如英語),實現(xiàn)源語言?樞軸語言?目標語言的翻譯過程.一種代表性的方法是首先利用源語言?樞軸語翻譯模型將源語言翻譯為樞軸語言,然后利用樞軸語言?目標語翻譯模型將樞軸語言翻譯為目標語言[17].這種方法在統(tǒng)計機器翻譯中具有廣泛的應用,NMT 興起并發(fā)展以后,也開始出現(xiàn)在NMT 和一些商業(yè)翻譯系統(tǒng)中.例如Google 在GNMT 中很早就采用了樞軸語言翻譯方法,實驗結(jié)果明顯優(yōu)于沒有增量訓練(Incremental training,也即,使模型在不丟失已經(jīng)學習到的已有數(shù)據(jù)信息的基礎上,繼續(xù)學習新加入的訓練數(shù)據(jù))的通用模型[18].

基于樞軸語言的翻譯方法通常會存在錯誤累積問題.由于源語言?樞軸語言與樞軸語言?目標語言雙語之間的關(guān)系不是非常緊密甚至毫無關(guān)系等原因,源語言?樞軸語言翻譯模型中的錯誤會傳遞到樞軸語言?目標語言模型中.而且兩種翻譯模型通常單獨訓練,這進一步放大了錯誤傳遞.

為了解決這一問題,清華大學劉洋老師的團隊做了深入而有影響的研究[19?21].Cheng 等[19]提出了一種聯(lián)合訓練的神經(jīng)網(wǎng)絡翻譯模型,通過生成并共享樞軸語言的詞向量,以及對小規(guī)模的源語言?目標語言雙語語料進行最大似然估計的方法將源語言?樞軸語的翻譯模型和樞軸語言?目標語的翻譯模型聯(lián)系起來進行聯(lián)合訓練.實驗結(jié)果顯示BLEU值比Baseline (獨立訓練兩種翻譯模型)提升了1～2 個百分點.

同樣是為了解決錯誤傳遞問題,Zheng 等[20]針對零資源機器翻譯,通過最大期望似然估計(Maximum expected likelihood estimation,MELE),直接訓練源語言?目標語言的翻譯模型.

如圖1 所示,MELE 方法的目標是,在樞軸語言Z-目標語Y平行語料的基礎上,針對源語言X-目標語言Y翻譯模型,對樞軸語言Z-源語言X翻譯模型獲得最大期望.

圖1 基于樞軸語言的方法(a)和MELE 方法(b)Fig.1 Pivot-based method (a)and MELE method (b)

在Cheng 和Zheng 等的工作基礎上,Chen等[21]針對零資源機器翻譯進一步提出了“Teacher-Student”的框架.該工作的主要思想是,為了訓練缺乏雙語語料的源語言?目標語言的翻譯模型(“學生”),可以利用預訓練的樞軸語言?目標語言的翻譯模型(“老師”)指導基于源語言?樞軸語言雙語數(shù)據(jù)訓練的學生模型,如圖2 所示.

圖2 基于樞軸語言的方法(a)和“老師?學生”方法(b)Fig.2 Pivot-based method (a)and“Teacher-student”method (b)

該框架提出了句子級和詞語級兩種“老師”模型,允許翻譯模型直接進行參數(shù)估計,而無需將解碼過程分解為兩個步驟,因此既有效率提升,又可以避免錯誤傳遞.與Cheng 等的結(jié)果進行對比,最好的BLEU 分數(shù)在相同數(shù)據(jù)集上又提升了3 個多百分點.

Ren 等[22]假設源語言X-樞軸語言Z屬于豐富數(shù)據(jù)的語言對,而樞軸語言Z-目標語言Y屬于稀缺語言對.他們同樣不針對(X,Y)進行直接建模,但與前面研究不同的是,他們將目標語言作為中間橋梁,對目標語言-樞軸語言翻譯模型進行建模,把訓練翻譯模型P(Z|X)分解為訓練P(Y|X)和P(Z|Y)兩個翻譯模型,然后利用期望最大化算法(Expectation-maximization,EM)對模型進行訓練.

Lakew 等[23]針對多語種的zero-shot 翻譯場景,提出了一種以英語為樞軸語言的迭代式翻譯模型,在意大利語 ? 羅馬尼亞語數(shù)據(jù)上使BLEU 分數(shù)提升了8～10 個百分點.

除了文本信息,圖像等多模態(tài)信息也可以作為樞軸語言信息用于低資源語言翻譯.例如:Nakayama 和Nishida[24]把圖片作為樞軸信息,認為對于改善零資源翻譯效果同樣有幫助.Chowdhury 等[25]利用Flickr30k 圖片數(shù)據(jù)集中的圖像信息和圖像描述信息實現(xiàn)了印地語?英語的多模態(tài)低資源語言翻譯,在圖像信息的幫助下,BLEU 分數(shù)比單純的文本翻譯有了相應提升.

總結(jié):基于樞軸語言的翻譯方法以第三方語言為中介,以其簡潔方便的特點能夠適用于統(tǒng)計翻譯和神經(jīng)網(wǎng)絡機器翻譯等,具有比較久的研究歷史,但該類方法由于不直接實現(xiàn)源語言和目標語言之間的翻譯,在訓練過程的幾個階段容易產(chǎn)生錯誤累積等問題,而且整個訓練過程的解碼時間相對較長.

2.2 遷移學習方法

遷移學習(Transfer learning)[26]是機器學習的一種重要方法,在自然語言處理領域同樣有著廣泛應用.Ruder 在其博士論文中有詳細深入的論述[27].具體到低資源語言翻譯,遷移學習的一般做法是首先在數(shù)據(jù)資源豐富的語言上訓練模型,然后遷移到低資源語言上,進行微調(diào),最終產(chǎn)生譯文.

由于遷移學習涉及多種語言,因此豐富資源和稀缺資源語言之間的語言相關(guān)性是一個經(jīng)常研究的問題.一般來說,語言相似性越高,越有利于遷移學習.在“父”語言和“子”語言之間共享BPE 得到的子詞詞匯表或者BPE 向量表示可以利用語言之間的相似性.

Zoph 等[28]率先將遷移學習用在機器翻譯中.他們利用豐富資源的語言對訓練了一個“父”模型,然后對稀缺語言的“子”模型進行權(quán)重初始化,最后在資源匱乏的語言對上訓練最終的翻譯模型.

Nguyen 和Chiang[29]進一步探索了父模型的語言對也屬于低資源語言,但與子語言對之間有關(guān)系的場景,通過使用BPE 方法的共享詞匯表和音譯等改進了以前的方法.Dabre 等[30]也探索了語言相關(guān)性在遷移學習中對于翻譯質(zhì)量的影響效果.

Kocmi 和Bojar[31]則驗證了語言對之間不存在關(guān)聯(lián)性的情景中,利用Transformer 在父、子模型之間共享詞匯,進行遷移學習翻譯的效果.模型以英語為中間語言,分別在相關(guān)性較強的歐洲語言對之間和不相關(guān)的歐洲語言對之間進行了多組實驗,結(jié)果都有不同程度的明顯提升.但他們同時表明翻譯效果可能還跟父語言對的規(guī)模有關(guān).

Gu 等[32]針對雙語數(shù)據(jù)都非常稀缺的語言對,提出了一種通用的翻譯模型,把多種源語言共享的詞語級和句子級表示映射到一種目標語言中,得到通用空間中的詞向量表示.這樣做的優(yōu)勢是,不同語言中語義相似的詞語能夠具有相似的表示并映射到同一個語義空間.隨后他們又提出了一種與模型無關(guān)的元學習框架(圖3)(Model-agnostic metalearning,MAML)[33],在多個語種上的實驗效果要遠遠優(yōu)于遷移學習模型.Li 等[34]也基于元學習方法利用多種領域的數(shù)據(jù)解決低資源翻譯中的領域遷移問題.

圖3 遷移學習,多語言遷移學習與元學習Fig.3 Transfer learning,multilingual transfer learning and meta learning

Kim 等[35]利用跨語言詞向量,提出了一種不需要共享詞匯表的遷移技術(shù)用于零資源翻譯場景.隨后又提出了一種基于樞軸語言的遷移學習方法[36],首先預訓練源語言 ? 樞軸語言和樞軸語言 ? 目標語言的翻譯模型,然后將二者遷移到源語言 ? 目標語言翻譯模型上進行微調(diào).蘇州大學張民老師團隊最近針對zero-shot 場景提出了基于跨語言預訓練模型的遷移學習方法,比Kim 等的效果進一步有所提升[37].

整體來看,目標語言端的遷移學習比源語言端的遷移學習更具挑戰(zhàn)性.因為不同的目標語言需要特定的目標語言表示形式,而遷移學習則更喜歡目標語言不變的表示形式.遷移學習的成功取決于在這些因素之間取得適當?shù)钠胶?隨著各種預訓練模型的流行,遷移學習能夠?qū)⒈M可能多的知識遷移到翻譯模型,在一定程度上也增加了翻譯模型的可解釋性.

總結(jié):以預訓練模型為主要方式的遷移學習方法已經(jīng)廣泛應用于自然語言處理的很多應用領域和場景,也極大地改善了翻譯質(zhì)量.但隨著各種超大規(guī)模的預訓練模型的發(fā)布,在一定程度上對于遷移學習涉及的語言之間的相似性和算力資源提出了更高的挑戰(zhàn),在訓練過程中也會存在不易優(yōu)化等困難.

2.3 半監(jiān)督和無監(jiān)督方法

低資源語言機器翻譯通常缺乏大規(guī)模雙語數(shù)據(jù),而單語數(shù)據(jù)比較充足也更容易獲取.半監(jiān)督方法(Semi-supervised)主要利用單語數(shù)據(jù)和小規(guī)模雙語數(shù)據(jù)實現(xiàn)翻譯過程.其中回譯技術(shù)(Back-translation,或稱反向翻譯)是一種主要手段,將在下一小節(jié)中詳細論述.

Cheng 等[38]利用自動編碼器(Autoencoder)分別重構(gòu)單語的源語言X和目標語言Y.即,目標語言的自動編碼器首先利用Y→X的翻譯模型將目標語言編碼為潛在的源語言,然后利用X→Y翻譯模型解碼重構(gòu)新的目標語言Y′,同理,源語言亦如此.

Skorokhodov 等[39]則將預訓練的語言模型與翻譯模型結(jié)合起來,首先分別訓練源語言和目標語言的語言模型,然后初始化翻譯模型,在俄語?英語這一極低資源數(shù)據(jù)集上使BLEU 分數(shù)比baseline 提高了1.4 個百分點.

Gulcehre 等[40]利用“淺層融合”(類似于常規(guī)SMT 解碼器中使用語言模型)和“深層融合”(將語言模型和解碼器的隱藏狀態(tài)拼接在一起)兩種機制將單語目標語言的神經(jīng)網(wǎng)絡語言模型融合到翻譯模型中,在土耳其?英語等低資源數(shù)據(jù)集上使BLEU分數(shù)提升了接近2 個百分點.

南京大學團隊[41]最近提出了一種“鏡像生成式”(Mirror-generative)的機器翻譯模型,結(jié)合了回譯、對偶學習等技術(shù),可以更好地利用非平行語料改善翻譯效果.

在無監(jiān)督翻譯(Unsupervised)方法中,則不依賴雙語平行數(shù)據(jù),只依賴單語數(shù)據(jù)訓練翻譯模型(如圖4 所示).Facebook 的團隊非常重視低資源翻譯研究,做了很多開創(chuàng)性的工作[42?45].現(xiàn)有的無監(jiān)督翻譯方法通常包括兩個階段:首先預訓練語言模型[46?47],然后在微調(diào)階段利用回譯等訓練翻譯模型.

圖4 無監(jiān)督翻譯方法Fig.4 Unsupervised NMT

此后,無監(jiān)督方法吸引了更多研究者的關(guān)注.在過去兩年的NLP 頂級會議上就有多篇關(guān)于無監(jiān)督翻譯方法的論文.例如:Yang 等[48]對無監(jiān)督翻譯模型增加了權(quán)重共享約束,使得模型能夠使用兩個獨立的編碼器,然后使用生成對抗網(wǎng)絡(GAN)改善了翻譯效果.

Gu 等[49]針對零資源翻譯場景,首先定量分析了零資源翻譯的退化問題.然后通過預訓練解碼器的語言模型和對零資源語言對進行反向翻譯,在數(shù)十種歐洲語言對上驗證了方法的有效性.最近他們又利用25 種語言預訓練去噪的模型,然后在不同規(guī)模的語言對數(shù)據(jù)集上調(diào)優(yōu),進行了句子級別和文檔級別的翻譯實驗,在英語 ? 越南語等低資源數(shù)據(jù)集上將BLEU 提升了10 多個百分點,取得了非常好的效果[50].

除了文獻[43]等少數(shù)研究工作,大部分無監(jiān)督翻譯方法通常首先需要利用無監(jiān)督跨語言向量模型(如Facebook 的LASER 和MUSE 工具等)[51-52]將兩種語言的向量表示映射到共享向量空間,因此對于相似性較高的低資源語言之間的翻譯比較有效,而在遠距離語言對之間的翻譯效果比較差.

總結(jié):半監(jiān)督和無監(jiān)督翻譯方法的一個優(yōu)勢在于可以更多地依賴于單語數(shù)據(jù)資源,而不必局限于雙語數(shù)據(jù),這在低資源翻譯場景中具有很好的價值,在未來仍將是非常有希望的研究方向之一.但是這類方法的實際效果在不同語言之間的差別較大,在相似性更高的語言對上具有更好的效果.盡管有研究在日語 ? 俄語等遠距離語言對上的無監(jiān)督翻譯提升了翻譯效果[53?54],但在大多數(shù)語言對上的效果仍然落后于傳統(tǒng)的有監(jiān)督方法.另外,有研究也指出,無監(jiān)督方法的有效性依賴于大量輔助數(shù)據(jù),以及其他條件是否滿足[55].例如,當語言在形態(tài)上不同或訓練領域不匹配時,無監(jiān)督方法的有效性會受到損害.

2.4 數(shù)據(jù)增強方法

數(shù)據(jù)增強方法(Data augmentation)最初廣泛應用于計算機視覺領域,是圖像處理的標準處理技術(shù),其目的是利用有限的訓練樣本數(shù)據(jù)增加健壯性并改進學習目標.后來開始應用于機器翻譯等自然語言處理領域.在低資源語言機器翻譯中,由于缺少足夠的雙語數(shù)據(jù),數(shù)據(jù)增強方法主要利用已有的單語數(shù)據(jù)達到增加訓練數(shù)據(jù)的目的,從而更好地訓練翻譯模型,改善翻譯效果.單語數(shù)據(jù)主要來自目標語言一端,但也有研究利用源語言端的單語數(shù)據(jù)改善翻譯效果.例如:中科院自動化研究所的宗成慶研究員團隊早在2016 年就提出通過自學習算法和多任務模型框架利用源語言一側(cè)的數(shù)據(jù)有效提升翻譯質(zhì)量,引起了廣泛關(guān)注[56].

Gibadullin 等[57]對低資源翻譯中如何利用單語數(shù)據(jù)做了比較全面的綜述分析,他們把利用單語數(shù)據(jù)的方法分為“獨立于翻譯模型”和“依賴于翻譯模型”兩大類.本文將常見的數(shù)據(jù)增強方法同樣分為以下兩種類型.

1)回譯方法

愛丁堡大學的團隊首次將回譯技術(shù)用于NMT,利用目標端的單語數(shù)據(jù)有效地提升了翻譯性能[58].此后,這一方法被廣泛應用在NMT 中,也被證明對于改善翻譯質(zhì)量特別是低資源翻譯場景有很大幫助,回譯已經(jīng)成為NMT 的標準技術(shù)之一.

盡管回譯對NMT 的性能提升有很大幫助,但其中仍有很多因素值得深入研究.很多工作針對回譯從多個方面進行了探索.

Park 等[59]分析了僅使用反向翻譯生成的多種合成數(shù)據(jù)對翻譯模型的影響.Poncelas 等[60]也對多種訓練數(shù)據(jù)類型(僅真實數(shù)據(jù)、僅合成數(shù)據(jù)、混合數(shù)據(jù))以及回譯數(shù)據(jù)的比例對于翻譯效果的影響進行了實證分析.他們認為,與基于最大化推斷生成的合成數(shù)據(jù)相比,基于采樣和加入噪聲的束搜索生成的合成數(shù)據(jù)能夠提供更好的訓練優(yōu)勢.后來他們又分析了SMT 和NMT 產(chǎn)生的合成數(shù)據(jù)對于NMT效果的影響,認為二者結(jié)合可以進一步提高翻譯效果[61].

回譯方法的一個主要局限是需要平衡真實數(shù)據(jù)和合成數(shù)據(jù)的規(guī)模.Edunov 等[62]對生成回譯的多種方法進行了比較全面的實證研究和對比分析.他們表明,在合成數(shù)據(jù)中增加噪聲數(shù)據(jù)不僅可以提高翻譯質(zhì)量,還可以使訓練在合成句子與真實句子的比率較高的情況下更加可靠.Fadaee 和Monz[63]也進行了類似的工作.

回譯方法雖然操作簡單,方便有效,但產(chǎn)生的偽平行語料可能會面臨數(shù)據(jù)質(zhì)量較低的問題,在一定程度上會影響翻譯性能.針對這個問題,有研究者做了相關(guān)工作.

Hoang 等[64]在回譯的基礎上進一步提出了迭代式回譯,即不斷重復回譯的過程,直到獲得更好的翻譯效果.Imankulova 等[65?66]通過多次翻譯篩選譯文語句構(gòu)建較高質(zhì)量的偽雙語數(shù)據(jù),以改善翻譯質(zhì)量.

Wu 等[67]提出了一種名為“Extract-Edit”的雙語數(shù)據(jù)抽取方法用于替代廣泛使用的回譯方法,以產(chǎn)生高質(zhì)量的雙語數(shù)據(jù).

Currey 等[68]則利用反向翻譯將第三方的單語樞軸語言分別生成源語言和目標語言,組成偽雙語數(shù)據(jù),然后實現(xiàn)源語言到目標語言的翻譯.

2)詞語替換方法

不同于回譯方法,這種方法的主要做法是有針對性地替換訓練數(shù)據(jù)中的詞語,而無需訓練回譯需要的翻譯模型.

Fadaee 等[69]在不改變訓練語句句法和語義的前提下,將訓練語料中的詞語替換成一些低頻詞語.這樣就增加了訓練數(shù)據(jù)的規(guī)模.但該方法需要一些復雜的預處理步驟,而且實驗表明只對低資源數(shù)據(jù)集有效.

Wang 等[70]對源語言和目標語言兩側(cè)均進行數(shù)據(jù)增強.利用從兩側(cè)詞匯中統(tǒng)一采樣的其他單詞分別替換源語言句子和目標語言句子中的單詞.在多個語言數(shù)據(jù)集上均有效提升了BLEU 分數(shù).

Xia 等[71]結(jié)合樞軸語言方法提出了一種實現(xiàn)數(shù)據(jù)增強的通用框架(圖5),不僅可以利用目標語言一端的數(shù)據(jù),還可以將與稀缺資源語言有一定聯(lián)系的豐富資源語言作為樞軸語言,獲得豐富語言?稀缺語言的數(shù)據(jù).

圖5 數(shù)據(jù)增強框架.其中,(i)和(ii)是傳統(tǒng)數(shù)據(jù)增強方法,(iii)和(iv)是新提出的方法Fig.5 Data augmentation method,where (i)and (ii)are traditional methods,while (iii)and (iv)are new ones

微軟團隊[72]提出了一種“軟”語境數(shù)據(jù)增強方法.該方法可以將隨機選定的詞語替換為與該詞語語境密切相關(guān)的“軟”詞語.軟性詞語可以通過語言模型獲得,可以認為是基于語料數(shù)據(jù)的詞表概率分布.

Zhou 等[73]則將句法信息引入數(shù)據(jù)增強方法,首先將目標語言調(diào)整為具有源語言句法結(jié)構(gòu)和語序的目標語言,然后利用雙語詞典將調(diào)序后的目標語言中的詞語替換為源語言詞語,最后將其加入偽平行語料數(shù)據(jù)中,從而實現(xiàn)數(shù)據(jù)增強的目的.

除了以上兩種類型的方法,Currey 等[74]通過復制目標端的數(shù)據(jù)也實現(xiàn)了提升翻譯效果的目的.

數(shù)據(jù)增強方法在不同翻譯任務上對于提升翻譯效果存在差異性,也就是說,不是所有的數(shù)據(jù)增強方法在所有翻譯任務上都能夠提升效果.為了分析數(shù)據(jù)增強在不同方法和任務中通常能夠獲得什么益處,在深度學習理論的啟發(fā)下,Li 等[75]從輸入靈敏度(Input sensitivity)和預測余量(Prediction margin)兩個維度進行了全面的實證檢驗.

總結(jié):在缺乏大規(guī)模雙語數(shù)據(jù)的場景中,數(shù)據(jù)增強方法能夠快速地擴充訓練數(shù)據(jù),回譯方法也以其自身的優(yōu)勢成為NMT 的標準處理技術(shù)和數(shù)據(jù)增強的重要途徑.但這類方法通常需要考慮真實數(shù)據(jù)與新產(chǎn)生的合成數(shù)據(jù)之間的規(guī)模比例問題,有時候當偽數(shù)據(jù)超過一定規(guī)模后,反而會影響翻譯性能,另外,通過數(shù)據(jù)增強產(chǎn)生的數(shù)據(jù)也可能會存在質(zhì)量較差的情況,在一定程度上也會增加很多噪聲.

2.5 多語言/多任務翻譯方法

多語言(Multi-lingual)翻譯的目標是通過單一翻譯模型實現(xiàn)多種語言之間的互相翻譯[76].文獻[77]對多語言神經(jīng)網(wǎng)絡機器翻譯做了詳細的回顧.為了更好地改善低資源場景的翻譯質(zhì)量,近幾年來這種翻譯方法引起了很多關(guān)注,例如微軟團隊和CMU團隊等都開展了有針對性的集中研究,包括知識蒸餾(Knowledge distillation)和語言集束方法[78?79],使用共享詞向量表征所有語言,以及軟解耦的編碼方法等[80?81].

在多語言NMT 模型中,根據(jù)源語言和目標語言的數(shù)量,通常存在三種翻譯策略:多對一翻譯、一對多翻譯以及多對多翻譯.多對一模型學習將在源語端的任何語言翻譯成目標端的一種特定的語言,這種情況下通常會選取語料豐富的語言比如英語;相似地,一對多模型學習將在源語端的一種語言翻譯成目標端任意一種語言.多對一這種模式通常會看作多領域?qū)W習的問題,類似于源語端的輸入分布是不一致的,但是都會翻譯成一種目標語.而一對多模式可以被看作是多任務的問題,類似于每一對源語到目標語看作一個單獨的任務.多對多這種模式就是這兩個模式的集合.Google 的神經(jīng)網(wǎng)絡翻譯系統(tǒng)在去年的最新進展中實現(xiàn)了以上三種策略在超過100 種語言之間的低資源和零資源翻譯[82].

Firat 等[83]對零資源翻譯場景提出了一種多語言翻譯的調(diào)優(yōu)算法,認為多對一的翻譯策略更優(yōu)于一對一的翻譯方法.Zhou 等[84]對多個不同語族的多種歐洲語言進行了全面的定性和定量分析,得出了基于與低資源目標語言最相近的語族的幾種語言訓練多語言翻譯模型,能夠有效改善翻譯質(zhì)量的結(jié)論.Maimaiti 等[85]同樣得到了類似的結(jié)論,與僅使用一對高資源語言對進行遷移學習相比,使用多個語言關(guān)系高度相關(guān)的高資源語言對并進行多個回合的微調(diào)可以提高翻譯性能.類似工作還有文獻[86]等.從這些研究可以看出,無論是多語言翻譯,還是遷移學習方法,更強的語言相關(guān)性對于改善翻譯效果都會有更多幫助.

除了歐洲語言,也有人研究了亞洲語言.Dabre等[87]將多語言翻譯方法與遷移學習結(jié)合,實現(xiàn)了英語到亞洲多種語言的翻譯.他們在多語言、多階段微調(diào)過程中沒有關(guān)注語言差異,而是表明數(shù)據(jù)大小很重要.但這種多語言、多階段的遷移學習需要進一步的研究.Murthy 等[88]基于Zoph 等[28]的工作,使用英語作為輔助語言,以英語?印地語作為預訓練的父模型,在預訓練時還考慮了句法語序信息,最后在幾種亞洲語言?印地語的子翻譯模型上進行微調(diào).

Imankulova 等[89]將領域適用性、多語言翻譯和反向翻譯等技術(shù)結(jié)合起來,首先利用領域外的數(shù)據(jù)訓練多語言翻譯模型,然后在領域內(nèi)數(shù)據(jù)集上微調(diào),在日語?俄語這一語言特點差異很大的極端低資源數(shù)據(jù)集上使翻譯效果有了明顯提升.

Neubig 和Hu[90]將多語言作為種子模型,提出了一種能夠快速有效地適用于新語言的多語言翻譯模型.類似地,Lu 等[91]在多語言翻譯框架中引入國際輔助語言“因特語”(Interlingua)模塊,在zeroshot 場景中將特定語言的編碼器輸出轉(zhuǎn)化為獨立于特定語言的解碼器輸入表示,實現(xiàn)了語言的直接翻譯,而無需借助樞軸語言.

Sestorain 等[92]則利用強化學習方法共同訓練融入語言模型的多語言翻譯模型和重構(gòu)目標,以保證譯文的語法準確性和翻譯質(zhì)量.但這種方法在訓練中非常耗時,而且在數(shù)次迭代后效果很難繼續(xù)有所改善.

多語言翻譯對于低資源翻譯場景盡管具有很多優(yōu)勢,但同時面臨著在獨立模型下無法實現(xiàn)知識共享,且需要大規(guī)模存儲和計算資源的問題.CMU 的團隊為翻譯模型設計了一種適用于多種語言的語境參數(shù)生成器,使翻譯模型變得更加通用,并且適用于零資源和低資源翻譯[81].中科院自動化研究所的宗成慶老師團隊提出了一種結(jié)構(gòu)緊湊且語言敏感的多語言機器翻譯方法,能夠很好地利用語言之間的共性,為低資源和零資源的翻譯場景提供了新的解決思路[93].

多任務(Multi-task)翻譯方法是NMT 的一種常見方法之一,其主要思想是利用多個相關(guān)的其他任務(如句法分析、語義分析等),來提升翻譯任務的質(zhì)量.

文獻[94]利用詞性標注和依存分析任務將句法信息引入翻譯任務中,使得BLEU 分數(shù)有了1～2個百分點的提升;文獻[95?96]改進模型架構(gòu)設計,希望學習到多個任務之間共享的有效參數(shù),同時改進訓練安排,即調(diào)整不同任務之間的優(yōu)先程度,保證將改善翻譯質(zhì)量作為主任務,其他相關(guān)任務作為輔助任務.

總結(jié):多語言翻譯方法對于低資源翻譯任務是很有必要的,因為來自多種語言的翻譯模型能夠幫助資源匱乏語言獲得額外的知識,同時不同語言也使得模型具有更好的泛化能力,與雙語翻譯相比具有更好的遷移學習能力[97].目前主流的多語言翻譯模型主要有三種思路:1)使用不同的編碼器和解碼器表征不同語言;2)使用統(tǒng)一的編碼器和解碼器用于所有語言之間的翻譯;3)在編碼器和解碼器中共享一部分參數(shù)表示語言之間的共性特征,另一部分表示語言的特有屬性.但正如前面提到的,通常都會不可避免地面臨模型結(jié)構(gòu)復雜,計算復雜度增加以及知識共享存在障礙等問題.

以上回顧了低資源翻譯的主要方法.另外,還有一些研究不一定能夠嚴格地歸入上述的某一類方法,如微軟團隊提出的對偶學習(Dual learning)[98]就與前面方法的學習范式有很多不同之處,自從提出以來產(chǎn)生了比較大的影響,以及最近提出的語言圖蒸餾(Language graph distillation)方法[99]等.再如文獻[100]等使用的方法同樣證明了對于提升翻譯質(zhì)量的有效性.此處不再贅述.

3 翻譯方法之間的關(guān)系

從前面的梳理可以看到,很多研究文獻中結(jié)合了不止一種翻譯方法和技術(shù),表2 列出了一些這樣的文獻.

表2 使用多種翻譯方法的一些文獻Table 2 Literatures with more than one MT method

研究中使用的不同方法各有特點,也存在比較密切的聯(lián)系,下面根據(jù)圖6 依次進行簡要分析.

圖6 幾類翻譯方法之間的關(guān)系Fig.6 Relations between the translation methods

遷移學習是目前非常流行而又高效的方法,特別是最近兩年,在稀缺資源翻譯研究中占有較高的比重,這種“預訓練+微調(diào)”的模式可以應用到其他各類的翻譯方法中.因此與其他各類方法都有關(guān)聯(lián).

樞軸語言翻譯方法由來已久,在用于NMT 以前,經(jīng)常用于統(tǒng)計翻譯,甚至在更早的規(guī)則翻譯方法中也有所體現(xiàn).樞軸語言方法從一個語言對之間的翻譯還可以擴展到多語種之間的翻譯,比如多語種之間的零資源翻譯場景.數(shù)據(jù)增強方法同樣可以擴展到多語種翻譯場景[101].

另外,樞軸語言還可以通過反向翻譯構(gòu)造樞軸語言與源語言/目標語言之間的合成雙語數(shù)據(jù),從而實現(xiàn)了數(shù)據(jù)增強的目的.

值得注意的是,在圖6 中,樞軸語言翻譯方法與無監(jiān)督/半監(jiān)督方法之間采用虛線箭頭連接,這是因為多數(shù)場景(如zero-shot)的樞軸語言翻譯可以看做是有監(jiān)督翻譯或半監(jiān)督翻譯,而不屬于無監(jiān)督方法.

無監(jiān)督方法具有很大的挑戰(zhàn)性.由于不使用雙語數(shù)據(jù),而擺脫了NMT 嚴重依賴大規(guī)模雙語數(shù)據(jù)的局限,對數(shù)據(jù)資源的依賴較小,尤其適合于低資源和零資源翻譯場景.盡管目前的翻譯效果仍然相對不是非常理想,但在近期和未來一段時間應該會有很好的發(fā)展?jié)摿?

將無監(jiān)督翻譯方法用于多語言翻譯場景的研究目前暫時不多,因為多語言翻譯通常屬于有監(jiān)督翻譯方法.不過最近 Google 團隊嘗試了無監(jiān)督方法的多語種翻譯,在羅馬尼亞語?英語數(shù)據(jù)集上使最好BLEU 分數(shù)提高了近兩個百分點[102].相信未來會有更多這方面的嘗試.

由于很多文獻在不同領域、不同規(guī)模和不同語種的測試集上進行實驗,我們認為難以比較以上不同類別方法之間的效果差異.但我們分析了過去三年(2017～2019 年)WMT 比賽的新聞領域翻譯評測任務使用的方法,希望從實際比賽和工程實踐中觀察各類翻譯方法的使用情況.

根據(jù)歷年的評測總結(jié)報告,在2017 年的評測參賽隊伍中,約有一半左右(12～15 個)使用了回譯技術(shù),而遷移學習和無監(jiān)督方法等在當時還未出現(xiàn)或者尚不流行,幾乎沒有被用于參賽.在2018 年的比賽中,隨著Transformer 的出現(xiàn)和流行,35 個左右的參賽隊伍中的絕大多數(shù)(約30 個)都使用了Transformer 架構(gòu),而其中都使用了回譯作為基本的技術(shù)手段,另外還有三四個隊伍分別使用了無監(jiān)督方法和多語言結(jié)合的方法.2019 年的比賽任務吸引了包括多家國內(nèi)單位在內(nèi)的更多參賽隊伍(近50 個)參加,有效提交系統(tǒng)數(shù)量超過150 個,同時新增了無監(jiān)督翻譯任務,比賽中使用的方法也更加多元化.表3 總結(jié)了本文介紹的幾類方法在參賽系統(tǒng)中出現(xiàn)的大概頻次.

表3 幾類方法在WMT2019 中的使用情況Table 3 The methods in WMT2019

除了以上方法,微軟亞洲研究院、百度、小牛翻譯等多家單位還使用了領域適用性(Domain adaptation)和知識蒸餾等多種有效的綜合方法和技術(shù).

圖7 是WMT2019 提供的一些訓練方法的統(tǒng)計和占比,從中也可以看出包括低資源翻譯在內(nèi)的神經(jīng)網(wǎng)絡機器翻譯在國際比賽中的技術(shù)概況.

圖7 WMT2019 中涉及的主要方法和技術(shù)Fig.7 Main methods in WMT2019

4 當前研究現(xiàn)狀的特點

圖8 簡要總結(jié)了這幾類翻譯方法各自的優(yōu)勢與局限性.

圖8 各類翻譯方法的優(yōu)勢與局限Fig.8 Advantages and limits of translation methods

通過梳理已有的研究方法,我們還總結(jié)了目前研究現(xiàn)狀呈現(xiàn)的主要特點:

1)從目前工作的類型來看,已有研究主要分為兩種類型:一種主要的類型是采用某種或者某些方法改善低資源翻譯的質(zhì)量;另一種則是對某種方法(如回譯)進行不同程度的定性和定量研究和分析,希望對這些方法有更深入的了解等.這類工作不一定涉及方法改進,往往只是對于某個方法的實證性探究.

2)從機器翻譯的類型來看,絕大多數(shù)研究集中于低資源文本翻譯,這也是機器翻譯最重要的應用場景之一;還有一些工作圍繞語音翻譯開展研究,包括語音轉(zhuǎn)錄(Speech transcription)[103],語音到文本的翻譯等[104?106];甚至還有人研究低資源方言的機器翻譯等[107?108].

3)從機器翻譯涉及的領域來看,更多的研究通常更關(guān)注新聞、（Technology,Entertainment,Design)演講等常見的通用領域的低資源語言翻譯,一個主要原因在于這些領域的數(shù)據(jù)資源相對較多.文獻[109]針對醫(yī)療領域中的醫(yī)患交流口語翻譯率先做了嘗試.低資源翻譯從常用領域逐漸擴展到更多的專門領域和場景很有必要,同時也更有挑戰(zhàn)性.

4)從研究涉及的語種分布來看,低資源語種的分布很不均衡.絕大部分的工作主要集中于歐洲語言場景,英語毫無疑問是最為廣泛的語言,無論是作為樞軸語言,還是與其他低資源語種之間的翻譯;另有很少一部分研究以亞洲等其他地區(qū)的語種為研究對象,如日語?越南語等[110].

值得一提的是,就我們目前掌握的研究文獻,漢語與其他低資源語言之間的NMT 研究數(shù)量仍然非常少,僅有少量研究采用統(tǒng)計翻譯方法.以漢語?越南語神經(jīng)網(wǎng)絡翻譯為例,昆明理工大學的團隊近年來做了比較集中的研究[111?115].

5 研究趨勢展望

稀缺資源語言機器翻譯目前仍然具有很多挑戰(zhàn)和困難有待解決,例如以下幾個科學問題:

預訓練模型與翻譯模型的結(jié)合問題;不同語言,特別是遠距離語言之間的有效表示學習問題;以及領域適用性等問題.

我們認為低資源語言機器翻譯在未來可能會呈現(xiàn)如下研究趨勢和發(fā)展方向:

1)加強預訓練模型和遷移學習在低資源翻譯中的研究.預訓練模型和遷移學習在NLP 和機器翻譯領域已被證明其有效性,并成為一種新的研究范式.一些研究工作已經(jīng)開始關(guān)注將BERT (Bidirectional encoder representations from transformers)[116]等預訓練模型融入低資源語言的翻譯模型中[117?118],未來將有更多值得探索和研究的地方.例如:如何更好地將BERT/GPT (Generative pretrained transformer)[119]等流行的預訓練模型融入到翻譯模型中,并將遷移學習的功效盡可能最大化等.目前基于大規(guī)模單語數(shù)據(jù)的無監(jiān)督預訓練模型進行遷移學習和無監(jiān)督翻譯等研究正在增強.

2)加強語言之間的相關(guān)性等方面的語言學分析研究.整體來看,低資源翻譯的研究多以改進算法模型提高翻譯質(zhì)量為主,而缺乏必要的語言學分析.目前雖然有一些研究從語言學角度出發(fā),證明了語族接近的語言有助于改善低資源語言的翻譯效果等,但值得進一步深入探索.如果能夠發(fā)現(xiàn)不同語言之間更多的深層次的語言學特征,實現(xiàn)語言特征和知識的遷移和傳遞,相信會進一步促進稀缺資源語言翻譯的發(fā)展,同時也可能使翻譯過程更具有解釋性.

3)加強更有效的語言表示學習研究.低資源語言對之間在詞語、句法和語義等層面往往存在較大差異,甚至具有不同的書寫系統(tǒng)以及屬于不同的語族.在訓練翻譯模型時,如何處理并減小語言之間在編碼表示中的差異,更好地平衡不同語言在向量空間中的表示始終是影響低資源翻譯的核心問題.例如:構(gòu)建語言無關(guān)的編碼器和具有語言意識的解碼器等都將是非常值得深入研究的話題.

4)加強漢語和低資源語言之間的機器翻譯研究.我國目前正在大力推行“一帶一路”倡議,構(gòu)建人類命運共同體.語言互通是實現(xiàn)“一帶一路”建設的重要保障,而機器翻譯又是實現(xiàn)語言互通的加速器和催化劑.在未來應該進一步加強漢語與低資源語言,特別是“一帶一路”沿線國家和地區(qū)語言之間的機器翻譯研究,包括構(gòu)建多樣化的語言數(shù)據(jù)資源,利用不同方法全面提升翻譯質(zhì)量等.只有這樣,才能更好地服務于國家的重大戰(zhàn)略需求.

5)加強口語和方言等低資源語言的語音翻譯研究.正如上文所述,目前大部分的低資源翻譯主要關(guān)注文本翻譯.語音翻譯,包括自動語音識別,語音?文本轉(zhuǎn)換以及語音?語音翻譯等都具有很多應用場景,也存在很多機遇和挑戰(zhàn).未來關(guān)于低資源語言在語音上的翻譯也將是一個很有趣和有價值的研究方向.