基于集成機(jī)器翻譯的雙語平行語料無監(jiān)督質(zhì)量評(píng)價(jià)

王琳，劉伍穎

（1.上海外國語大學(xué) 賢達(dá)經(jīng)濟(jì)人文學(xué)院，上海 200083；2.廣東外語外貿(mào)大學(xué) 語言工程與計(jì)算實(shí)驗(yàn)室，廣東 廣州 510420）

0 引言

語料的質(zhì)量通常決定著自然語言處理算法的有效性，而大規(guī)模高質(zhì)量語料本身還蘊(yùn)含著知識(shí)與智能。以機(jī)器翻譯這類典型的自然語言處理應(yīng)用為例，早在統(tǒng)計(jì)機(jī)器翻譯時(shí)期，高質(zhì)量統(tǒng)計(jì)機(jī)器翻譯模型的重要基礎(chǔ)就是大規(guī)模高質(zhì)量的雙語平行語料［1］。但是大部分容易獲得的雙語平行語料往往包含噪音和謬誤，它們會(huì)影響統(tǒng)計(jì)機(jī)器翻譯模型的性能。通過人工評(píng)價(jià)篩選高質(zhì)量句對(duì)費(fèi)時(shí)費(fèi)力，也一定程度促使語料質(zhì)量自動(dòng)評(píng)價(jià)研究興起［2］，繼而誕生了基于詞對(duì)齊的平行語料評(píng)價(jià)［3］、基于句子特征向量的偽平行句對(duì)抽?。?］等一系列方法。

隨著深度學(xué)習(xí)在自然語言處理諸多領(lǐng)域的進(jìn)步，并行向量計(jì)算部件的超強(qiáng)算力、支持海量細(xì)粒度特征的超深度神經(jīng)網(wǎng)絡(luò)算法、網(wǎng)絡(luò)語言大數(shù)據(jù)提供的超大規(guī)模算料三要素共同支撐起新一代人工智能［5］。當(dāng)前的科學(xué)研究以及工業(yè)應(yīng)用都不同程度地受到算力和算法趨同性的影響，而算料個(gè)性化則成為支撐各種自然語言處理特色應(yīng)用的重要因素。

進(jìn)入神經(jīng)機(jī)器翻譯時(shí)期，泛在計(jì)算設(shè)備和無線網(wǎng)絡(luò)技術(shù)大大提升了人類語言信息生產(chǎn)力，網(wǎng)絡(luò)語言大數(shù)據(jù)成為超大規(guī)模算料的主要來源。網(wǎng)絡(luò)語言大數(shù)據(jù)的非結(jié)構(gòu)化、不規(guī)范、甚至可能蘊(yùn)含謬誤使得超大規(guī)模算料的自動(dòng)質(zhì)量評(píng)價(jià)顯得更加重要［6］。近來，與深度學(xué)習(xí)同步推進(jìn)的語料質(zhì)量評(píng)價(jià)研究提出了雙語句對(duì)嵌入思路［7］，也有從超大規(guī)模平行語料構(gòu)建視角提出混合抓取架構(gòu)［8］，相關(guān)研究逐漸由雙語平行語料質(zhì)量評(píng)估［9］向著多語平行語料構(gòu)建發(fā)展［10-11］。此外，國內(nèi)圍繞漢語的高質(zhì)量領(lǐng)域平行語料［12］、多語平行語料［13］以及非通用語平行語料［14］篩選構(gòu)建研究也取得了一定進(jìn)展。這些已有方法往往注重理論研究和實(shí)驗(yàn)室算法探索，對(duì)于工業(yè)級(jí)語料質(zhì)量評(píng)價(jià)而言，計(jì)算代價(jià)仍然過高。

圍繞時(shí)空高效的工業(yè)級(jí)語料質(zhì)量評(píng)價(jià)科學(xué)問題，我們重新審視機(jī)器翻譯所需的雙語平行語料人工質(zhì)量評(píng)價(jià)過程。無論是統(tǒng)計(jì)機(jī)器翻譯還是神經(jīng)機(jī)器翻譯，雙語平行語料都是極其重要的語言資源［15］。為了訓(xùn)練得到源語言（S）到目標(biāo)語言（T）的精準(zhǔn)機(jī)器翻譯模型，往往需要大規(guī)模高質(zhì)量源目句對(duì)語料（C=｛＜SSen，TSen＞｝）。如果只有一位精通源語言和目標(biāo)語言的譯員p，那么對(duì)于待評(píng)價(jià)句對(duì)＜SSen，TSen＞，譯員p將源句子SSen 翻譯成目標(biāo)語言句子TSenp，接著檢測(cè)TSenp與TSen 的相似度，若相似度高則判斷句對(duì)＜SSen，TSen＞質(zhì)量高，反之質(zhì)量低。同理，譯員p也可以將目標(biāo)句子TSen 翻譯成源語言句子SSenp，再通過SSenp與SSen 的相似度檢測(cè)判斷句對(duì)質(zhì)量。如果存在多位譯員p1，p2，p3，…，那么對(duì)于待評(píng)價(jià)句對(duì)＜SSen，TSen＞，每位譯員將源句子SSen 翻譯成目標(biāo)語言句子TSenp1，TSenp2，TSenp3，…，并分別計(jì)算與TSen 的相似度，再集思廣益綜合多個(gè)相似度進(jìn)行最終質(zhì)量評(píng)價(jià)。

受到上述兩種人工質(zhì)量評(píng)價(jià)過程的啟發(fā)，本文針對(duì)雙語平行語料的質(zhì)量，提出基于集成機(jī)器翻譯的無監(jiān)督質(zhì)量評(píng)價(jià)思路，并從翻譯方向和翻譯系統(tǒng)兩個(gè)視角充分利用同一個(gè)機(jī)器翻譯系統(tǒng)不同翻譯方向的差異以及不同機(jī)器翻譯系統(tǒng)之間的差異，分別設(shè)計(jì)實(shí)現(xiàn)單引擎和多引擎集成機(jī)器翻譯無監(jiān)督評(píng)價(jià)框架和算法。

1 單引擎集成機(jī)器翻譯無監(jiān)督評(píng)價(jià)

近來，結(jié)合超大規(guī)模語料與深度神經(jīng)網(wǎng)絡(luò)的神經(jīng)機(jī)器翻譯引擎的譯文質(zhì)量幾乎接近人類譯員的水平［16］，使得我們可以用機(jī)器翻譯引擎替代人類譯員實(shí)現(xiàn)平行語料的無監(jiān)督質(zhì)量評(píng)價(jià)。參考上一節(jié)單譯員評(píng)價(jià)過程，本文提出調(diào)用單一機(jī)器翻譯引擎的單引擎集成機(jī)器翻譯無監(jiān)督評(píng)價(jià)方法。

1.1 框架

如圖1 所示，單引擎集成機(jī)器翻譯無監(jiān)督評(píng)價(jià)框架主要包括機(jī)器翻譯引擎（Machine Translator）、集成質(zhì)量評(píng)價(jià)器（Ensemble Quality Evaluator）和二值分類器（Binary Classifier）。機(jī)器翻譯引擎接收待評(píng)價(jià)的生句對(duì)（Raw Sentence Pair）數(shù)據(jù)流，針對(duì)每個(gè)句對(duì)＜SSen，TSenmt，＞并行雙向翻譯，即將源句子SSen 翻譯成目標(biāo)語言句子TSenmt，同時(shí)將目標(biāo)句子TSen 翻譯成源語言句子SSenmt，提交譯文至集成質(zhì)量評(píng)價(jià)器。集成質(zhì)量評(píng)價(jià)器接收生句對(duì)＜SSen，TSen＞和機(jī)器翻譯引擎提交的相應(yīng)譯文＜TSenmt，SSenmt＞，計(jì)算得到表示SSen 和SSenmt相似程度的置信度分?jǐn)?shù)c1，同時(shí)計(jì)算出TSen 和TSenmt相似程度的置信度分?jǐn)?shù)c2，再集成c1和c2得到最終置信度（Confidence）分?jǐn)?shù)并發(fā)送給二值分類器。二值分類器根據(jù)預(yù)設(shè)的置信度閾值（Confidence Threshold）進(jìn)行高質(zhì)量或低質(zhì)量句對(duì)的質(zhì)量評(píng)價(jià)。

圖1 單引擎集成機(jī)器翻譯無監(jiān)督評(píng)價(jià)框架Fig.1 Single-engine-based ensemble machine translation unsupervised evaluation framework

從上述框架運(yùn)行機(jī)制可知機(jī)器翻譯引擎必須能夠?qū)崿F(xiàn)源語言S 到目標(biāo)語言T 以及目標(biāo)語言T 到源語言S 的雙向翻譯。而集成質(zhì)量評(píng)價(jià)器中的句子相似度計(jì)算是一個(gè)抽象模塊，可以根據(jù)需要采用形態(tài)相似度、句法相似度、語義相似度等進(jìn)行具體實(shí)現(xiàn)。同時(shí)兩個(gè)相似置信度分?jǐn)?shù)的集成計(jì)算也是一個(gè)抽象模塊，可以采用線性加權(quán)也可以加入額外規(guī)則設(shè)置權(quán)重偏置，甚至可以當(dāng)成一個(gè)在線增量機(jī)器學(xué)習(xí)問題進(jìn)行模型化求解。由此可見基于我們提出的框架可以設(shè)計(jì)出多種具體的算法。

1.2 算法

出于計(jì)算有效性和高效性的綜合考量，我們根據(jù)單引擎集成機(jī)器翻譯無監(jiān)督評(píng)價(jià)框架設(shè)計(jì)了一款如算法1 所示的單引擎集成機(jī)器翻譯無監(jiān)督評(píng)價(jià)算法。

算法1 單引擎集成機(jī)器翻譯無監(jiān)督評(píng)價(jià)算法Algorithm 1 Single-engine-based ensemble machine translation unsupervised evaluation algorithm

該算法的輸入除了待評(píng)價(jià)的生句對(duì)列表rsen 之外，還有線性權(quán)重a和置信度閾值t兩個(gè)浮點(diǎn)型預(yù)設(shè)參數(shù)。在算法的第8、9 行需要調(diào)用雙向機(jī)器翻譯函數(shù)MachineTranslator。調(diào)用語言無關(guān)的萊文斯坦字符串形態(tài)相似度函數(shù)LevenshteinSimilarity實(shí)現(xiàn)相似置信度分?jǐn)?shù)計(jì)算（第10、11 行）。在集成兩個(gè)置信度分?jǐn)?shù)時(shí)，采用高效的線性加權(quán)方法，預(yù)設(shè)的線性權(quán)重a能夠調(diào)整源目語種語料的貢獻(xiàn)度。最終采用預(yù)設(shè)的置信度閾值t分類得到高質(zhì)量句對(duì)列表hsen 和低質(zhì)量句對(duì)列表lsen。該算法時(shí)空高效且易于實(shí)現(xiàn)，在工業(yè)得到廣泛應(yīng)用。若機(jī)器翻譯系統(tǒng)能夠支持多個(gè)最優(yōu)譯文輸出，則更趨平滑的集成結(jié)果還可以提升單引擎算法的效力。但由于單引擎算法只調(diào)用了一個(gè)機(jī)器翻譯系統(tǒng)，因此分類結(jié)果可能過擬合該系統(tǒng)。如果存在多個(gè)不同的機(jī)器翻譯系統(tǒng)，取長(zhǎng)補(bǔ)短集成效果有望獲得進(jìn)一步提升。

2 多引擎集成機(jī)器翻譯無監(jiān)督評(píng)價(jià)

二人智慧勝一人，更何況多人參與的民主集中決策。參考第0 節(jié)多譯員評(píng)價(jià)過程，我們提出調(diào)用多個(gè)機(jī)器翻譯引擎的多引擎集成機(jī)器翻譯無監(jiān)督評(píng)價(jià)方法。

2.1 框架

如圖2 所示，多引擎集成機(jī)器翻譯無監(jiān)督評(píng)價(jià)框架主要包括多個(gè)機(jī)器翻譯引擎（Machine Translator1，Machine Translator2，Machine Translator3，…），一個(gè)集成質(zhì)量評(píng)價(jià)器（Ensemble Quality Evaluator）和一個(gè)二值分類器（Binary Classifier）。每個(gè)機(jī)器翻譯引擎接收待評(píng)價(jià)的生句對(duì)（Raw Sentence Pair）數(shù)據(jù)流，將每個(gè)句對(duì)＜SSen，TSen＞中的源句子SSen 翻譯成目標(biāo)語言句子TSenmt，提交譯文至集成質(zhì)量評(píng)價(jià)器。集成質(zhì)量評(píng)價(jià)器接收生句對(duì)＜SSen，TSen＞和多個(gè)機(jī)器翻譯引擎提交的相應(yīng)譯文TSenmt1，TSenmt2，TSenmt3，…，分別與TSen 計(jì)算得到相似置信度分?jǐn)?shù)c1，c2，c3，…，再集成這些分?jǐn)?shù)得到最終置信度（Confidence）分?jǐn)?shù)并發(fā)送給二值分類器。二值分類器根據(jù)預(yù)設(shè)的置信度閾值（Confidence Threshold）進(jìn)行高質(zhì)量或低質(zhì)量句對(duì)的質(zhì)量評(píng)價(jià)。

圖2 多引擎集成機(jī)器翻譯無監(jiān)督評(píng)價(jià)框架Fig.2 Multi-engine-based ensemble machine translation unsupervised evaluation framework

框架中集成質(zhì)量評(píng)價(jià)器包含一個(gè)句子相似度計(jì)算抽象模塊，同時(shí)多個(gè)相似置信度分?jǐn)?shù)的集成計(jì)算也是一個(gè)抽象模塊，基于本文提出的框架可以設(shè)計(jì)出多種具體的算法。

2.2 算法

為了充分發(fā)揮多個(gè)機(jī)器翻譯引擎的優(yōu)勢(shì)，挖掘利用多引擎之間有益的差異，控制抵消各自的缺點(diǎn)，根據(jù)多引擎集成機(jī)器翻譯無監(jiān)督評(píng)價(jià)框架設(shè)計(jì)了一款如算法2 所示的多引擎集成機(jī)器翻譯無監(jiān)督評(píng)價(jià)算法。

該算法的輸入輸出與算法1 的基本相同，稍有不同的是算法1 中的線性權(quán)重是單一的浮點(diǎn)型參數(shù)，而算法2 中包含多個(gè)預(yù)設(shè)的浮點(diǎn)型線性權(quán)重參數(shù)，它們的數(shù)量等于機(jī)器翻譯引擎的數(shù)量。由于采用多個(gè)機(jī)器翻譯引擎，所以在待評(píng)價(jià)生句對(duì)列表rsen 循環(huán)之內(nèi)，還嵌套了一層按照不同機(jī)器翻譯引擎MachineTranslatorj分別進(jìn)行翻譯的循環(huán)。當(dāng)然對(duì)于翻譯結(jié)果的相似置信度分?jǐn)?shù)計(jì)算本文仍然采用語言無關(guān)的萊文斯坦字符串形態(tài)相似度函數(shù)LevenshteinSimi-larity實(shí)現(xiàn)（第10 行）。在集成多個(gè)置信度分?jǐn)?shù)時(shí)，我們?nèi)匀徊捎煤?jiǎn)潔的線性加權(quán)方法，預(yù)設(shè)的線性權(quán)重（a1，a2，a3，…）能夠調(diào)整不同機(jī)器翻譯引擎的貢獻(xiàn)度。最終采用預(yù)設(shè)的置信度閾值t分類得到高質(zhì)量句對(duì)列表hsen 和低質(zhì)量句對(duì)列表lsen。該算法不僅時(shí)空高效，而且能夠取長(zhǎng)補(bǔ)短集成多個(gè)不同機(jī)器翻譯系統(tǒng)的各自優(yōu)勢(shì)，最終達(dá)到更加精準(zhǔn)的評(píng)價(jià)效果。

算法2 多引擎集成機(jī)器翻譯無監(jiān)督評(píng)價(jià)算法Algorithm 2 Multi-engine-based ensemble machine translation unsupervised evaluation algorithm

接下來通過實(shí)驗(yàn)證明上述框架和算法的效力。

3 實(shí)驗(yàn)

實(shí)驗(yàn)選取了WikiMatrix 越南語漢語句對(duì)集合作為待評(píng)價(jià)語料［17］。原始的WikiMatrix 語料每行除了一句源語言句子和一句目標(biāo)語言句子之外，還有一個(gè)實(shí)數(shù)型的邊際得分（Margin Score），該分值越大表示兩個(gè)句子是互相對(duì)譯的可能性越大。下載的WikiMatrix 越南語漢語句對(duì)集合是以邊際得分閾值1.02 截取得到的504 037 對(duì)越南語漢語句子。不過不容樂觀的是該集合中最高邊際得分（1.228 536 271 102 003）對(duì)應(yīng)的句對(duì)＜Ni ?áp： "Hi?n nay là ni ai ch?ng bi?t!"＞和＜”皋陶曰：“余未有知，思贊道哉。＞并不對(duì)譯。因此，有必要對(duì)WikiMatrix 越南語漢語句對(duì)集合進(jìn)行質(zhì)量評(píng)價(jià)。

一方面，采用谷歌翻譯的越南語漢語雙向翻譯接口實(shí)現(xiàn)單引擎集成機(jī)器翻譯無監(jiān)督評(píng)價(jià)框架和算法。實(shí)驗(yàn)時(shí)從0.1 至0.9 間隔0.1 梯度設(shè)置9 個(gè)不同的置信度閾值，總共執(zhí)行9 次評(píng)價(jià)。單引擎高質(zhì)量句對(duì)結(jié)果如圖3 所示。

圖3 單引擎高質(zhì)量句對(duì)結(jié)果Fig.3 Single-engine high quality sentence pair result

置信度大于0.5 的高質(zhì)量句對(duì)總數(shù)只有23 677 對(duì)，而僅有250 對(duì)高質(zhì)量句對(duì)置信度大于0.9。這一結(jié)果證實(shí)了WikiMatrix 中高質(zhì)量的越南語漢語句對(duì)數(shù)量占比不大。表1 所示的是從置信度閾值為0.5 和0.9 的實(shí)驗(yàn)結(jié)果中各隨機(jī)選取的10 個(gè)高質(zhì)量例句。四列句子分別表示：第1 列是WikiMatrix 中的越南語句子，第2 列是WikiMatrix 中對(duì)應(yīng)的漢語句子，第3 列是谷歌翻譯根據(jù)第1 列句子譯出的漢語句子，第4 列是谷歌翻譯根據(jù)第2 列句子譯出的越南語句子。

表1 單引擎高質(zhì)量句對(duì)示例Table 1 Single-engine high quality sentence pair examples

表1 數(shù)據(jù)說明當(dāng)置信度閾值等于0.5 時(shí)，源自谷歌翻譯的單引擎評(píng)價(jià)算法能夠挑選出高質(zhì)量對(duì)譯的句對(duì)。例如：“阿根廷核計(jì)劃取得了巨大成功。”和“阿根廷的核計(jì)劃非常成功?！币约啊癟?i quay tr? l?i c?a s?.”和“T?i quay tr? l?i c?a s? này.”語義基本等價(jià)。又由于在算法中采用了形態(tài)相似度，所以挑選出的高質(zhì)量句對(duì)不僅與機(jī)器翻譯結(jié)果語義相似，而且形態(tài)近似。

當(dāng)置信度閾值等于0.9 時(shí)，挑選出的高質(zhì)量句對(duì)與機(jī)器翻譯結(jié)果只有細(xì)微差別。表1 數(shù)據(jù)一定程度上也反映了谷歌翻譯的越南語漢語雙向翻譯效果。盡管源自谷歌翻譯的單引擎評(píng)價(jià)算法偏擬合谷歌譯文的形態(tài)，但挑選出的高質(zhì)量句對(duì)的對(duì)譯效果還是有保障的。

另一方面，采用谷歌翻譯、微軟必應(yīng)翻譯、百度翻譯的越南語漢語翻譯接口實(shí)現(xiàn)多引擎集成機(jī)器翻譯無監(jiān)督評(píng)價(jià)框架和算法。實(shí)驗(yàn)時(shí)也從0.1 至0.9 間隔0.1 梯度設(shè)置9 個(gè)不同的置信度閾值，總共執(zhí)行9 次評(píng)價(jià)。多引擎高質(zhì)量句對(duì)結(jié)果如圖4 所示。

圖4 多引擎高質(zhì)量句對(duì)結(jié)果Fig.4 Multi-engine high quality sentence pair result

置信度大于0.5 的高質(zhì)量句對(duì)總數(shù)只有10 752 對(duì)，而置信度大于0.9 還不到100 句對(duì)。表2 所示的是我們從置信度閾值為0.5 和0.9 的實(shí)驗(yàn)結(jié)果中各隨機(jī)選取的10 個(gè)高質(zhì)量例句。五列句子中第1、2、3 列與表1 前三列采用相同的表示，第4 列是必應(yīng)翻譯根據(jù)第1 列句子譯出的漢語句子，第5 列是百度翻譯根據(jù)第1 列句子譯出的漢語句子。

表2 多引擎高質(zhì)量句對(duì)示例Table 2 Multi-engine high quality sentence pair examples

對(duì)比表2 和表1 相同置信度閾值下的數(shù)據(jù)可知多引擎評(píng)價(jià)算法在挑選高質(zhì)量句對(duì)時(shí)更加嚴(yán)苛。而多引擎評(píng)價(jià)算法傾向于挑選那些大家“共識(shí)”句對(duì)。這種集成“共識(shí)”有效性是基于統(tǒng)計(jì)、計(jì)算和表示三個(gè)方面的理論基礎(chǔ)［18］。也就是要求每個(gè)參與集成的獨(dú)立決策者都能作出略強(qiáng)于平庸的決策。而當(dāng)前谷歌翻譯、必應(yīng)翻譯、百度翻譯完全超過了這個(gè)基線，甚至可以說都是強(qiáng)決策，這也成為本文算法的效力之源。尤其是當(dāng)置信度閾值等于0.9 時(shí)，谷歌翻譯、必應(yīng)翻譯、百度翻譯的越南語漢語譯文效果幾乎趨同。由此可知，多引擎評(píng)價(jià)算法更加適合對(duì)高質(zhì)量句對(duì)的對(duì)譯效果要求更高的應(yīng)用。

4 結(jié)論

圍繞雙語平行語料質(zhì)量評(píng)價(jià)實(shí)際應(yīng)用需求，模仿人工評(píng)價(jià)過程提出單引擎和多引擎集成機(jī)器翻譯無監(jiān)督評(píng)價(jià)框架。在這兩種元框架之下，采用不同的相似度計(jì)算方法和不同的相似結(jié)果集成方法，能夠?qū)С龆喾N具體的評(píng)價(jià)算法。本文采用最基本的萊文斯坦字符串形態(tài)相似度計(jì)算方法和線性加權(quán)集成方法分別設(shè)計(jì)了單引擎和多引擎集成機(jī)器翻譯評(píng)價(jià)算法。實(shí)驗(yàn)結(jié)果表明單引擎評(píng)價(jià)算法能夠集成同種機(jī)器翻譯系統(tǒng)不同翻譯方向的優(yōu)勢(shì)，多引擎評(píng)價(jià)算法能夠集成不同機(jī)器翻譯系統(tǒng)相同翻譯方向的優(yōu)勢(shì)，最終實(shí)現(xiàn)高效工業(yè)級(jí)應(yīng)用。

下一步研究主要關(guān)注相似度計(jì)算方法和相似結(jié)果集成方法創(chuàng)新。采用高效語義相似度計(jì)算方法降低同義異形語料的誤殺率，采用增量學(xué)習(xí)方法動(dòng)態(tài)優(yōu)化線性集成權(quán)重進(jìn)一步提升集成二值分類準(zhǔn)確率。而且還希望將上述研究成果遷移到其他適合的語料質(zhì)量評(píng)價(jià)之中。