基于動態(tài)詞對齊的交互式機器翻譯

馬 斌，蔡東風(fēng)，季 鐸，葉 娜，吳 闖

(沈陽航空航天大學(xué) 人機智能研究中心，遼寧 沈陽 110136)

基于動態(tài)詞對齊的交互式機器翻譯

馬 斌，蔡東風(fēng)，季 鐸，葉 娜，吳 闖

(沈陽航空航天大學(xué) 人機智能研究中心，遼寧 沈陽 110136)

在傳統(tǒng)的機器翻譯(machine translation，MT)與計算機輔助翻譯(computer aided translation，CAT)中，譯員與翻譯引擎之間的交互受到很大限制，于是產(chǎn)生了交互式機器翻譯(interactive machine translation，IMT)技術(shù)。但傳統(tǒng)的模型只考慮當(dāng)前源語與部分翻譯的目標(biāo)語的信息，沒有將用戶交互后的對齊信息加入到之后的預(yù)測模型中。該文基于詞預(yù)測交互式機器翻譯的研究思路，將用戶交互翻譯過程中的鼠標(biāo)點選行為轉(zhuǎn)化為中間譯文的詞對齊信息，進而在翻譯交互過程中實現(xiàn)了對譯文的動態(tài)詞對齊標(biāo)注，并在詞對齊信息和輸入譯文的約束下提高了傳統(tǒng)詞預(yù)測的準(zhǔn)確性。

交互式機器翻譯；詞對齊；預(yù)測模型

Abstract: The traditional interactive machine translation (IMT) is focused on the current source language and the partial translation of the target language, neglecting the feedback from the translators to better predict the subsequent translations. This paper investigates the translation selection clicks, and proposes a dynamic word alignment model for the partial translation. Experiment indicates this method improves the word prediction accuracy during the interactive machine translation process.

Key words: interactive machine translation；word alignment；prediction model

收稿日期： 2015-09-26 定稿日期： 2015-12-20

基金項目： 國家自然科學(xué)基金(61403262，61402299)

1 引言

統(tǒng)計機器翻譯(statistical machine translation，SMT)技術(shù)的提出為機器翻譯技術(shù)走向?qū)嵱没蛳铝嘶A(chǔ)。但現(xiàn)有的自動翻譯的質(zhì)量還遠沒有達到人們的需求，不能完全取代人類[1-3]。計算機輔助翻譯(computer aided translation，CAT)的提出，為機器與人類譯員提供合作的平臺，由計算機完成翻譯過程中煩瑣而相對簡單的任務(wù)，由人類譯員完成相對重要的翻譯任務(wù)，有效提高了翻譯人員的工作效率。為進一步提高翻譯效率[4-5]，增大人類譯員在翻譯過程中的主導(dǎo)地位，提出了交互式機器翻譯(interactive machine translation，IMT)的概念，允許人類譯員在翻譯過程中對機器進行干預(yù)和指導(dǎo)，從而獲取較高質(zhì)量的譯文[6-8]。近年來，有研究人員將人機交互過程轉(zhuǎn)變?yōu)樵诜g記憶的參考譯文上進行后編輯[9-11](post-editing)。這種方法一方面比較依賴于翻譯資料中重復(fù)的內(nèi)容，另一方面也限制了人類譯員在翻譯過程中的交互。

為此，F(xiàn)oster等開展了一項有趣的研究工作，提出使用詞預(yù)測(word prediction)技術(shù)來實現(xiàn)在人機交互中的預(yù)測式交互翻譯(interactive-predictive machine translation , IPMT)，該方法將用戶的翻譯行為看作是一個順序的選詞過程，而系統(tǒng)需要在每一個翻譯選詞的過程中通過前綴不斷預(yù)測下一譯文，每次譯員的選擇都影響著下一次機器的推薦，真正實現(xiàn)了系統(tǒng)與用戶在翻譯過程中的深度交互，并在歐盟法案的翻譯中獲得成功應(yīng)用。后來Foster[12-13]又進一步開展了面向短語和用戶詞典的IPMT技術(shù)完善工作，Alabau[14]于2012年通過改進IPMT的交互界面對IPMT和PE技術(shù)進行了比較分析，在真實的人工評測中，IPMT在翻譯效率和用戶滿意度兩個層面獲得了肯定。

IPMT的交互式翻譯過程如圖1所示[15-16]，初始時給定輸入原語句f，系統(tǒng)預(yù)測用戶的下一步的輸入e，而后用戶通過接受系統(tǒng)的預(yù)測或者輸入正確譯文k的方式與系統(tǒng)進行交互，與此同時系統(tǒng)將現(xiàn)有用戶的輸入ep作為約束，在用戶每次操作(單個字母的輸入)后動態(tài)產(chǎn)生更為符合用戶預(yù)期的預(yù)測。在翻譯的過程中，用戶與系統(tǒng)不斷交互，直到整個句子翻譯完成。

圖1 IPMT交互式翻譯過程 由西班牙語翻譯到英語，系統(tǒng)推薦為斜體字，用戶接受的為正常字體，用戶輸入為粗體字

從上述交互過程中可以看到IPMT在人工翻譯的基礎(chǔ)上，通過系統(tǒng)的預(yù)測自動或半自動地完成用戶譯文輸入，實現(xiàn)了翻譯效率的提高。因此，交互過程中用戶實際單詞輸入數(shù)量與原句子單詞總數(shù)的比(word stroke rate，WSR)也自然作為衡量IPMT技術(shù)的主要指標(biāo)。

IPMT的研究工作主要集中在三個層面，首先從算法效率方面，Kern最早提出采用詞圖(word graph)的方法盡可能對翻譯候選進行優(yōu)化存儲，提高用戶每次操作的相應(yīng)速度，Sanchis-Trilles[17]在2014年采用三種策略對詞圖進行了裁枝，在保證指標(biāo)不變的情況下提升了系統(tǒng)的效率；與此同時，更多研究人員希望IPMT在一次操作中能夠提供更多的預(yù)測內(nèi)容，并將主要的預(yù)測單元從詞擴展到短語和句子，盡管后期的人工評價對此也給予了積極的評價，但由于更長的預(yù)測不僅使得相關(guān)模型更為復(fù)雜，影響了交互體驗，同時也給用戶理解機器的預(yù)測帶來了較多的困擾；為進一步豐富IPMT的交互方法，手寫、語音輸入等交互手段也被引入到IPMT系統(tǒng)中，在交互式機器學(xué)習(xí)(interactive machine learning)的理論框架中，既提高了相關(guān)輸入的識別準(zhǔn)確率，又保證了用戶通過簡單的人機交互獲得更好的翻譯體驗。

然而從IPMT的技術(shù)發(fā)展來看，研究人員主要還是從用戶的輸入角度討論人機的翻譯交互，而忽略了其他的用戶交互行為對翻譯效率的影響，例如用戶利用鼠標(biāo)完成的譯文點選、用戶視覺關(guān)注內(nèi)容及利用電子詞典的查詞行為等。本文基于詞預(yù)測交互式機器翻譯的研究思路，將用戶交互翻譯過程中的鼠標(biāo)點選行為轉(zhuǎn)化為中間譯文的詞對齊信息，進而在翻譯交互過程中實現(xiàn)了對譯文的動態(tài)詞對齊標(biāo)注，并在對齊信息和輸入譯文的約束下提高了傳統(tǒng)詞預(yù)測的準(zhǔn)確性。

2 詞預(yù)測模型

2.1 傳統(tǒng)詞預(yù)測模型 翻譯交互過程中的上下文環(huán)境主要是由原語S=s1,s2,…,sn-1,sn以及p(x|S,T)部分的翻譯結(jié)果T=t1,t2,…,tk-2,tk-1構(gòu)成，則待預(yù)測譯文x的概率可轉(zhuǎn)化為條件概率。但由于S，T對于當(dāng)前預(yù)測都為常量，因此Foster利用線性插值對其進行了近似求解，即：

(1)

由于輸入譯文是從左向右依次構(gòu)成的，隨著輸入的不斷增加，也導(dǎo)致語言模型p(x|T)在預(yù)測模型中的重要程度不同，因此λ(S,T)被定義為S和T的線性插值函數(shù)，用于調(diào)節(jié)在翻譯過程中的不同時期語言模型和翻譯模型的比重。

上式中p(x|T)為語言模型，由SRILM工具訓(xùn)練得到；p(x|S)為翻譯模型，由詞典，雙語對齊語料及詞對齊關(guān)系訓(xùn)練得到，其計算方法如式(2)。

(2)

其中l(wèi)s表示原語S的長度，si代表原語中第i個位置的單元，k代表譯文x所處的位置。p(x|si)為傳統(tǒng)的詞翻譯模型，a(i|k,ls)代表原語第i個位置與譯文第k個位置在原語ls條件下的對齊概率。

盡管用戶的輸入譯文T作為約束是交互翻譯的重要參考，但是上述模型中該約束僅用于語言模型，而在翻譯模型中未引入上述約束，并也由此導(dǎo)致其預(yù)測準(zhǔn)確率不高。

2.2 基于詞對齊的詞預(yù)測模型

設(shè)A為原語S以及部分的翻譯結(jié)果T間的對齊關(guān)系，但由于T是不完整的譯文，因此從原語到目標(biāo)語的對齊關(guān)系不完整。因此，本文將對齊關(guān)系設(shè)定為從目標(biāo)語到原語，即(t,at)(以下用at表示)，at∈A代表目標(biāo)語中第t個詞與原語第at個詞存在翻譯對齊關(guān)系。

待預(yù)測譯文x將被置于翻譯結(jié)果的第k個位置，其對齊關(guān)系為ak，則譯文x的預(yù)測概率可轉(zhuǎn)化為條件概率p(x,ak|S,A,T)。此時譯文的預(yù)測就變成對上述概率最大值的尋找，可以通過式(3)給出。

(3)

依據(jù)貝葉斯公式上述計算式(3)又可直接推導(dǎo)為：

(4)

其中，p(x|S,A,ak,T)為譯文x在對齊關(guān)系{ak}∪A的預(yù)測概率；p(ak|S,A,T)為對齊關(guān)系的預(yù)測概率。

有了部分對齊結(jié)果后，設(shè){ak}∪A=A′，則，p(x|S,A,ak,T)=p(x|S,A′,T)，進一步利用貝葉斯公式可得到：

(5)

p(x|T)為語言模型，而p(S,A′|T,x)為詞對齊關(guān)系A(chǔ)′條件下，原語S以及部分的翻譯結(jié)果T,x=t1,t2,…，tk-2,tk-1,x的翻譯概率。本文采用IBM model3方法對翻譯概率進行求解，進一步我們將上述公式分解：

(6)

其中d(aj|aj-1,ls)為方向位變概率，是沿著翻譯方向構(gòu)造的，根據(jù)輸入詞的位置預(yù)測輸出詞的位置的概率分布；ng(φi|si)為繁衍概率，表示對于每個源語詞si通常被翻譯成多少個輸出單詞的概率分布。但與傳統(tǒng)的繁衍概率ng(φi|si)不同，由于交互翻譯中的譯文是部分的翻譯結(jié)果，導(dǎo)致依據(jù)當(dāng)前對齊獲得的繁衍數(shù)量φi不準(zhǔn)確，因此本文采用的繁衍概率為原語si繁衍數(shù)量大于φi的概率，可表示為：

(7)

在給定用戶輸入T的前提下

的數(shù)值可以近似為常量，因此：

(8)

2.3 算法實現(xiàn)

本文在生成預(yù)測模型前，使用Niutrans的GIZA++做詞對齊處理，得到詞對齊結(jié)果；使用SRILM工具得到語言模型。使用訓(xùn)練語料訓(xùn)練得到以下模型：

? 對齊概率模型，源語的某一位置對齊到目標(biāo)語某一位置的概率模型，使用詞對齊結(jié)果統(tǒng)計得到；

? 方向位變概率模型，在當(dāng)前翻譯位置的前詞所對齊的源語的位置條件下，源語的某一位置與當(dāng)前翻譯位置的對齊概率模型，使用詞對齊結(jié)果統(tǒng)計得到；

? 翻譯概率模型，源語某詞翻譯到目標(biāo)語某詞的概率模型，利用雙語詞典和詞對齊結(jié)果使用式(2)得到；

? 繁衍概率模型，源語某已經(jīng)翻譯過n次的詞再次被翻譯m次概率模型，使用雙語詞典和詞對齊結(jié)果統(tǒng)計得到。

將式(4)、式(5)、式(8)整合可以得到式(3)，將方向位變概率模型、繁衍概率模型、翻譯概率模型整合到一起，得到基于翻譯模型的條件概率p(x,ak|S,A,T)。通過式(1)使用8 000句開發(fā)集語料進行迭代，選出不同預(yù)測位置時能使正確答案平均排名最高的參數(shù)值，即得到線性插值參數(shù)λ(S,T)。

預(yù)測算法的偽代碼如下：

Step1: 載入雙語對齊的測試語料

(源語S長度為m，目標(biāo)語T長度為n，提供h個候選)

Step2: 總預(yù)測數(shù)all=0,

正確預(yù)測數(shù)right=0翻譯正確標(biāo)記tag=0

for i=0 to n-1 do

得到得分從大到小排序的

翻譯候選列表answer。

tag=0

all++

for j=0 to h do

if answer[0]==T[i]

tag=1

記錄對齊位置

break

else do

continue

if tag do

right++

更新預(yù)測模型

Step3: score=right/all

在翻譯目標(biāo)語的每個詞后，會記錄其對齊關(guān)系，以及源語端的詞。通過這些信息，更新方向位變概率模型，語言模型，繁衍概率模型等，重新生成預(yù)測模型，進行下一位置的預(yù)測。

3 實驗

3.1 實驗設(shè)置 本文實驗是在英語到漢語的翻譯工作中做的。雙語平行語料是LDC2003E14的十萬句平行句對，使用Niutrans的GIZA++做詞對齊處理。單語語料為搜狗實驗室的SogouCA的150萬句中文新聞?wù)Z料，并使用SRILM工具進行語言模型的訓(xùn)練。所有中文語料使用中科院分詞工具對漢語進行分詞。

使用人工標(biāo)注的1 000句雙語對齊語料進行測試。統(tǒng)計計算在不同候選數(shù)下的正確率。具體過程為：

本文采用n-best的推薦方式，根據(jù)提供的原語，系統(tǒng)在當(dāng)前翻譯位置上給出n(n取1,3,5,10)個翻譯候選詞供用戶選擇，使用翻譯候選詞的正確率來評價模型，如式(9)所示。

(9)

其中，N表示譯文預(yù)測的總次數(shù)，Nc表示用戶使用的翻譯候選次數(shù)，即譯文預(yù)測正確的次數(shù)。

本文以Foster的線性插值方法作為Baseline同現(xiàn)有方法作比較。

3.2 實驗結(jié)果

圖2橫坐標(biāo)為預(yù)測的候選數(shù)，縱坐標(biāo)為Baseline和動態(tài)詞對齊方法DWA的預(yù)測正確率。

圖2 所有詞預(yù)測正確率

如圖2所示，隨著候選數(shù)的增加，兩種方法的正確率均有所提高，而DWA方法的正確率始終高于Baseline的方法。在1候選時DWA預(yù)測正確率為24.25%,Baseline的預(yù)測正確率為20.24%，此時DWA方法提升效果最明顯，提高了4.01%。

經(jīng)過實驗我們發(fā)現(xiàn)，該模型對實詞的預(yù)測提高較為明顯，以下我們從停用詞和實詞的角度研究了預(yù)測效果。

3.2.1 不同種類的預(yù)測分析

圖3為兩種方法下目標(biāo)語中停用詞的預(yù)測正確率。停用詞約占目標(biāo)語中詞匯的20%。

圖3 停用詞的預(yù)測正確率

如圖3所示，停用詞的預(yù)測正確率從第一候選開始就比較高。主要原因是，停用詞數(shù)目相對實詞來說很少，同時比較好預(yù)測，所以一開始候選數(shù)為1的時候停用詞的預(yù)測正確率就很高。

另外，隨著候選數(shù)的增大，提升效果有所提高。主要原因是，停用詞相對實詞數(shù)目少了很多，也較容易預(yù)測，隨著候選數(shù)的增大，停用詞在n-best 預(yù)測列表里數(shù)目越大，使預(yù)測準(zhǔn)確率的提升增大。

圖4為兩種方法下目標(biāo)語中實詞的預(yù)測正確率，雖然相對于圖2正確率下降很多，但是DWA方法相對于Baseline的提升也很大。當(dāng)候選數(shù)為1時，DWA方法的正確率為19.36%，而Baseline的預(yù)測正確率為14.35%，高出了5.01%。從這一角度也體現(xiàn)出DWA模型對詞預(yù)測的提升有實質(zhì)性的提高。

圖4 實詞的預(yù)測正確率

另一方面，隨著候選數(shù)的增大，提升效果有所降低。主要原因是，當(dāng)候選數(shù)增大時，數(shù)目少且較好預(yù)測的停用詞在翻譯候選中的比例增大，此時對實詞的預(yù)測受到影響，使實詞的預(yù)測準(zhǔn)確率提升效果有所減低。

3.2.2 詞對齊關(guān)系對預(yù)測正確率的影響

為了進一步研究詞對齊結(jié)果對模型的影響，我們把正確的詞對齊結(jié)果加入到模型中。如圖5所示，在當(dāng)前翻譯位置，給定上一翻譯的正確對齊位置后，得到DWA(Max)的預(yù)測正 確 率，從 圖5可 以 看出，DWA(Max)的預(yù)測正確率相對于DWA方法有所提升，主要原因是，在提供了正確的詞對齊關(guān)系后，模型的預(yù)測效果會達到最好。但是只提升了約0.7%的主要原因是，測試語料中的詞對齊結(jié)果是由GIZA++處理得到的，由于測試語料自身問題，其中有很多對空的情況，無法在每次預(yù)測時給出目標(biāo)語前詞的對齊的位置。

圖5 不同詞對齊關(guān)系下的預(yù)測正確率

4 總結(jié)和展望

本文提出一種動態(tài)詞對齊的方法，在傳統(tǒng)交互式機器翻譯的基礎(chǔ)上，將用戶與翻譯引擎交互后的詞對齊信息加入到其后的預(yù)測模型中，減少了模型中的搜索空間，提高了模型的效率和預(yù)測準(zhǔn)確率。為進一步分析模型的預(yù)測效果，加入了正確的詞對齊結(jié)果，并對最后預(yù)測效果進行分析。從實驗結(jié)果可以看出，詞對齊信息對預(yù)測效果有一定的影響，而且本文的動態(tài)詞對齊策略已經(jīng)接近人工指定的效果，相對于傳統(tǒng)方法正確率可提高4.01%。

下一步的研究工作的重點是優(yōu)化調(diào)序模型，同時在模型中加入短語的預(yù)測，減少用戶翻譯句子時的選擇操作，進一步提高模型的預(yù)測正確率，提升翻譯的工作效率。

[1] Kay M.The proper place of men and machines in language translation[J].machine translation,1997,12(1-2): 3-23.

[2] Och F J, Zens R, Ney H. Efficient search for interactive statistical machine translation[C] //Proceedings of the 10 Conference on European Chapter of the Association for Computational Linguistics-Volume 1. Association for Computational Linguistics, 2003: 387-393.

[3] Foster G, Isabelle P, Plamondon P. Target-text mediated interactive machine translation[J]. Machine Translation, 1997, 12(1-2): 175-194.

[4] Och F J, Ney H.Discriminative training and maximum entropy models for statistical machine translation[C]//Proceedings of the 40th Annual Meeting on Association for Computational Linguistics.Association for Computational Linguistics,2002: 295-302.

[5] Simard M, Foster G. Pepr: Postedit propagation using phrase-based statistical machine translation[C]//Proceedings of the XIV Machine Translation Summit, 2013: 191-198.

[6] Foster G,Isabelle P,Plamondon P.Target-text mediated interactive machine translation[J].Machine Translation,1997,12(1-2): 175-194.

[7] Alabau V, Leiva L A, Ortiz-Martnez D, et al. User evaluation of interactive machine translation systems[C]//Proceedings of the 16th EAMT,2012: 20-23.

[8] González-Rubio J, Ortiz-Martínez D, Casacuberta F. On the use of confidence measures within an interactive-predictive machine translation system[C]//Proceedings of the 14th EAMT,2010.

[9] Sanchis-Trilles G, Ortiz-Martnez D, Casacuberta F. Efficient wordgraph pruning for interactive translation prediction[C]//Proceedings of the 188Annual Conference of the European Association for Machine Translation(EAMT),2014.

[10] Och F J, Ney H. Discriminative training and maximum entropy models for statistical machine translation[C]//Proceedings of the 40th Annual Meeting on Association for Computational Linguistics. Association for Computational Linguistics, 2002: 295-302.

[11] Koehn P, Och F J, Marcu D. Statistical phrase-based translation[C]//Proceedings of the 2003 Conference of the North American Chapter of the Association for Computational Linguistics on Human Language Technology-Volume 1. Association for Computational Linguistics, 2003: 48-54.

[12] Arnold D. Why translation is difcult for computers[J]. Computers and Translation: A translator’s guide, Amsterdam and Philadelphia: John Benjamins, 2003: 119-42.

[13] Kay M. The proper place of men and machines in language translation[J]. machine translation, 1997, 12(1-2): 3-23.

[14] Alabau V,Leiva L A,Ortiz-Martinezz D,et al.User evaluation of interactive machine translation systems[C]//Proceedings of the 16th EAMT.2012: 20-23.

[15] Och F J, Ney H. Improved statistical alignment models[C]//Proceedings of the 38th Annual Meeting on Association for Computational Linguistics. Association for Computational Linguistics, 2000: 440-447.

[16] Ortiz-Martnez D, Garca-Varea I, Casacuberta F. Interactive machine translation based on partial statistical phrase-based alignments[C]//Proceedings of the RANLP 2009,Borvet: ACl,2009: 330.

[17] Langlais P, Foster G, Lapalme G. TransType: a computer-aided translation typing system [C]//Proceedings of the 2000 NAACL-ANLP Workshop on Embedded machine translation systems-Volume 5. Association for Computational Linguistics, 2000: 46-51.

[18] 劉群. 基于句法的統(tǒng)計機器翻譯模型與方法[J]. 中文信息學(xué)報, 2011, 25(6): 63-71.

馬斌(1990—)，碩士研究生，主要研究領(lǐng)域為自然語言處理，機器翻譯。

E-mail: bin371502@163.com

蔡東風(fēng)(1958—)，博士，教授，主要研究領(lǐng)域為人工智能，自然語言處理。

E-mail: caidf @vip.163.com

季鐸(1981—)，碩士，副教授，主要研究領(lǐng)域為自然語言處理，機器翻譯。

E-mail: 18640037173@163.com

Interactive Machine Translation by Dynamic Word Alignment

MA Bin, CAI Dongfeng, JI Duo, YE Na, WU Chuang

(Human-Computer Intelligence Research Center, Shenyang Aerospace University, Shenyang, Liaoning 110136, China)

1003-0077(2017)04-0044-06

TP391

A