基于依存圖網(wǎng)絡(luò)的漢越神經(jīng)機(jī)器翻譯方法

普瀏清,余正濤,文永華,高盛祥,劉奕洋

(1. 昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明 650500；2. 昆明理工大學(xué) 云南省人工智能重點(diǎn)實(shí)驗(yàn)室，云南 昆明 650500)

0 引言

圖1 漢越雙語(yǔ)語(yǔ)序?qū)?yīng)圖

圖2 漢、越依存句法解析樹(shù)對(duì)照?qǐng)D

于是本文提出了基于依存圖網(wǎng)絡(luò)的漢越神經(jīng)機(jī)器翻譯方法，并作出了以下兩點(diǎn)創(chuàng)新：

(1) 在編碼端，利用雙編碼器分別實(shí)現(xiàn)對(duì)依存關(guān)系和序列信息的編碼。其中圖編碼器，實(shí)現(xiàn)對(duì)源語(yǔ)言的依存關(guān)系進(jìn)行依存圖結(jié)構(gòu)的向量化編碼，序列編碼器實(shí)現(xiàn)對(duì)源語(yǔ)言的序列信息進(jìn)行編碼。

(2) 利用圖-序列注意力機(jī)制，將兩個(gè)編碼器分別生成的依存圖信息和序列信息融入翻譯模型中，對(duì)譯文的生成起到指導(dǎo)作用。

1 相關(guān)工作

當(dāng)前，基于句法融入的翻譯研究主要包括短語(yǔ)句法融入和依存句法融入。短語(yǔ)句法能夠反映句子內(nèi)部的成分信息，包括名詞短語(yǔ)，介詞短語(yǔ)，動(dòng)詞短語(yǔ)等。在短語(yǔ)句法融入方面，Liu[1]證明了利用源語(yǔ)言的句法知識(shí)，對(duì)于提高雙語(yǔ)的詞對(duì)齊和翻譯準(zhǔn)確率是有幫助的。He等人[2]提出了一種融合詞根位置特征的漢-越機(jī)器翻譯方法。利用狀語(yǔ)位置、定語(yǔ)位置和修飾語(yǔ)的排序信息，定義了具有句法特征的排序塊,將這種排序塊融進(jìn)基于短語(yǔ)的統(tǒng)計(jì)機(jī)器翻譯模型中，并對(duì)解碼結(jié)果進(jìn)行重排序,得到符合越南語(yǔ)語(yǔ)序的譯文。針對(duì)傳統(tǒng)的序列編碼器無(wú)法處理短語(yǔ)樹(shù)結(jié)構(gòu)的問(wèn)題，Eriguchi等人[3]提出了樹(shù)到序列的翻譯模型，該模型首先利用循環(huán)神經(jīng)網(wǎng)絡(luò)[4](Recurrent Neural Network, RNN)對(duì)源語(yǔ)言的序列進(jìn)行編碼，在得到的隱向量基礎(chǔ)上，采用Tree-LSTM[5]結(jié)構(gòu)的編碼器實(shí)現(xiàn)對(duì)源語(yǔ)言的短語(yǔ)結(jié)構(gòu)進(jìn)行建模。但這種自底向上的樹(shù)編碼結(jié)構(gòu)，會(huì)導(dǎo)致只有頂層節(jié)點(diǎn)擁有豐富的句法信息，而底層節(jié)點(diǎn)缺乏全局句法信息的問(wèn)題。于是Chen[6]等人在Eriguchi工作的基礎(chǔ)上，提出了雙向樹(shù)結(jié)構(gòu)的編碼器，引入了基于樹(shù)的覆蓋機(jī)制，通過(guò)自底向上和自頂向下的雙向編碼的方式對(duì)句法樹(shù)進(jìn)行全局覆蓋，實(shí)現(xiàn)了句法信息自底向上和自頂向下的信息流動(dòng)，可以獲取更多的源語(yǔ)言上下文信息，使模型的翻譯性能得到了提升。Li等人[7]將短語(yǔ)句法結(jié)構(gòu)轉(zhuǎn)化為線性序列，通過(guò)RNN網(wǎng)絡(luò)進(jìn)行編碼，避免了Tree-LSTM的復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)。Nguyen[8]等人針對(duì)短句句法樹(shù)的層次結(jié)構(gòu)特點(diǎn)，提出了一種層次累積的算法。將短語(yǔ)句法樹(shù)向量化后的結(jié)果全部映射到一個(gè)二維矩陣中，然后對(duì)矩陣進(jìn)行縱向和橫向的累加操作，得到整個(gè)短語(yǔ)句法樹(shù)向量化后的結(jié)構(gòu)信息，最后將該向量化的結(jié)構(gòu)信息和序列信息送入翻譯模型中，利用交叉注意力機(jī)制實(shí)現(xiàn)在翻譯模型中對(duì)短語(yǔ)結(jié)構(gòu)信息的融入。相比短語(yǔ)句法，依存句法可以提供單詞之間的關(guān)聯(lián)關(guān)系。在依存句法的融入翻譯模型的方法中，Sennrich[9]提出一種在源語(yǔ)言端融入依存句法的翻譯方法，將依存關(guān)系標(biāo)簽，詞性標(biāo)簽，詞根等信息編碼成特征向量，與詞向量拼接作為輸入向量，注意力模型和解碼器保持不變。Chen[10]等提出了一種基于源語(yǔ)言依存結(jié)構(gòu)的詞向量表示，該向量包含本節(jié)點(diǎn)的父節(jié)點(diǎn)，子節(jié)點(diǎn)，和兄弟節(jié)點(diǎn)，最后將該向量作為編碼端的輸入送入翻譯模型中。Wang[11]提出了一種基于自監(jiān)督的依存句法感知的神經(jīng)機(jī)器翻譯方法，在基于Transformer[12]模型的框架下，不利用外部句法解析工具，將編碼端的多路注意力機(jī)制自監(jiān)督的學(xué)習(xí)源語(yǔ)言的依存句法信息，同時(shí)融入到翻譯模型中。

依存句法通過(guò)樹(shù)結(jié)構(gòu)顯示地表示詞之間的依存關(guān)系，現(xiàn)有融入依存句法樹(shù)的翻譯模型，一般利用鄰居節(jié)點(diǎn)信息，實(shí)現(xiàn)對(duì)依存句法層次化的結(jié)構(gòu)信息進(jìn)行建模和利用。本文考慮將依存樹(shù)轉(zhuǎn)化為依存圖，基于圖結(jié)構(gòu)可以捕獲遠(yuǎn)距離節(jié)點(diǎn)之間的依存關(guān)系，同時(shí)將邊轉(zhuǎn)化為圖中的節(jié)點(diǎn)，實(shí)現(xiàn)對(duì)邊信息的編碼，從而獲取全局化的依存句法圖的結(jié)構(gòu)信息?；谝陨纤枷耄疚奶岢隽艘环N基于依存圖網(wǎng)絡(luò)的漢越神經(jīng)機(jī)器翻譯方法，將依存樹(shù)轉(zhuǎn)化為依存圖，并利用圖神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)源語(yǔ)言的依存圖結(jié)構(gòu)信息進(jìn)行全局的向量化表征。并將該表征融入到模型的編、解碼端，讓翻譯模型充分地學(xué)習(xí)源語(yǔ)言的依存約束關(guān)系，從而指導(dǎo)譯文的生成。

2 基于依存圖網(wǎng)絡(luò)的漢越神經(jīng)機(jī)器翻譯

本模型在Transformer模型的框架上進(jìn)行了擴(kuò)展(圖3)。該模型框架分為兩個(gè)部分，第一部分是圖編碼器，對(duì)源語(yǔ)言依存圖結(jié)構(gòu)進(jìn)行編碼，獲取全局的依存結(jié)構(gòu)信息。第二部分是傳統(tǒng)的Transformer結(jié)構(gòu)。在序列編碼器和解碼器中，新增加一個(gè)圖和序列的注意力機(jī)制，實(shí)現(xiàn)對(duì)圖結(jié)構(gòu)信息和序列信息的融合。下面，將詳細(xì)展開(kāi)介紹模型框架的內(nèi)容。

圖3 模型圖

2.1 依存圖構(gòu)建

首先將依存句法解析樹(shù)轉(zhuǎn)化為有向連通圖，如圖4所示。在轉(zhuǎn)換的過(guò)程中對(duì)詞節(jié)點(diǎn)和關(guān)系標(biāo)簽進(jìn)行向量化表示，其中，詞節(jié)點(diǎn)根據(jù)詞表進(jìn)行向量化，關(guān)系標(biāo)簽根據(jù)標(biāo)簽詞表進(jìn)行向量化。最后定義圖集合為：G=(v,e,lv,le)，v是節(jié)點(diǎn)集合(v,lv)，e是邊集(vi,vj,le)，其中，lv,le分別是詞節(jié)點(diǎn)和邊信息標(biāo)簽詞表。

圖4 依存樹(shù)向依存圖的轉(zhuǎn)化

2.2 依存圖編碼器

(1)

(2)

(3)

(4)

(5)

(6)

其中，i,j為神經(jīng)網(wǎng)絡(luò)的時(shí)間步。

2.3 依存圖結(jié)構(gòu)信息的融合

利用圖和序列的注意力機(jī)制分別在Transformer模型的編碼端和解碼端進(jìn)行依存圖結(jié)構(gòu)信息的融合。

2.2.1 編碼端融合依存圖

首先，在編碼層上進(jìn)行了擴(kuò)展。原始的編碼器包含兩個(gè)子層，第一層是多頭自注意力層,第二層是前饋神經(jīng)網(wǎng)絡(luò)層，如圖3所示，在兩個(gè)子層之間增加了一個(gè)圖和序列的注意力機(jī)制，用來(lái)融合圖結(jié)構(gòu)信息和序列信息。在源語(yǔ)言序列X={x1,x2,x3,…,xn}輸入編碼器之前，會(huì)先對(duì)其進(jìn)行向量化表示。通過(guò)詞嵌入矩陣將源語(yǔ)言映射到一組連續(xù)的空間，得到詞嵌入向量E。在映射的過(guò)程中，會(huì)加入序列的位置向量，如式(7)所示。

E={e1,e2,…,e3,…,en}

en=e(xn)+pn

(7)

e(xn)表示詞嵌入向量，pn表示位置嵌入向量。位置嵌入向量是使用正余弦函數(shù)計(jì)算地得到的。對(duì)于第n個(gè)詞的位置嵌入向量pn,如式(8),式(9)所示。

(10)

(11)

系數(shù)dmodel的作用是進(jìn)行縮放操作，縮放可以盡量減少相關(guān)性矩陣的方差，具體體現(xiàn)在運(yùn)算過(guò)程中實(shí)數(shù)矩陣中的數(shù)值不會(huì)過(guò)大，有利于模型訓(xùn)練。在第二層的圖-序列注意力子層(圖3)，通過(guò)Multihead機(jī)制，實(shí)現(xiàn)對(duì)源語(yǔ)言的圖結(jié)構(gòu)信息G和源語(yǔ)言的序列信息D相互關(guān)注和融合，得到融合向量N，如式(12)所示。

N=MultiHead(D,G,G)

(12)

在第三個(gè)前饋神經(jīng)網(wǎng)絡(luò)子層，對(duì)向量N進(jìn)行殘差鏈接和歸一化計(jì)算，最終得到序列編碼器的輸出向量S,如式(13)所示。

S=LN(FFN(LN(N)+LN(N)))

(13)

其中LN是歸一化操作，F(xiàn)FN是前饋神經(jīng)網(wǎng)絡(luò)。

2.2.2 解碼端融合依存圖

對(duì)于長(zhǎng)度為j的目標(biāo)序列Y={y1,y2…,yj}，對(duì)其向量化和增加位置向量后，得到其詞嵌入序列T={t1,t2…tj},T∈dmodel×j。如圖3所示，在解碼層，同樣增加了一個(gè)圖和序列注意力機(jī)制的子層。目前每一個(gè)解碼器內(nèi)部包含四個(gè)子層，第一個(gè)子層是目標(biāo)端的多頭注意力機(jī)制，用來(lái)計(jì)算目標(biāo)序列的上下文向量M，如式(14)所示。

M=MultiHead(T,T,T)

(14)

第二層是圖-序列注意力層，將圖編碼器的輸出的結(jié)構(gòu)向量G和第一層輸出的目標(biāo)語(yǔ)言上下文向量M進(jìn)行關(guān)注,如式(15)所示。

B=MultiHead(M,G,G)

(15)

第三層是編碼-解碼注意力層，將圖-序列注意層輸出的關(guān)注向量B和Transformer的序列編碼器輸出的源語(yǔ)言上下文向量B進(jìn)行多頭計(jì)算，如式(16)所示。

H=MultiHead(B,S,S)

(16)

第四層是全連接的前饋神經(jīng)網(wǎng)絡(luò)層，利用上一層的輸出向量H,計(jì)算得到當(dāng)解碼器輸出的目標(biāo)端的隱向量F，如式(17)所示。

F=LN(FFN(LN(H)+×H)))

(17)

將F={f1,f2,…,fj}映射到其中目標(biāo)詞表空間，通過(guò)softmax層計(jì)算得到目標(biāo)詞yj的概率分布,如式(18)所示。

p(yj,|X,y

(18)

Fj∈dmodel×j為預(yù)測(cè)第j個(gè)目標(biāo)詞的詞向量。

在訓(xùn)練過(guò)程中，依存圖信息已和源語(yǔ)言融合，于是本文仍然基于標(biāo)準(zhǔn)的Transformer模型，訓(xùn)練標(biāo)準(zhǔn)的最大似然函數(shù)直至收斂,如式(19)所示。

(19)

其中θ是模型訓(xùn)練的參數(shù)。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)獲取及處理

為驗(yàn)證本文提出的融合依存圖的漢越神經(jīng)機(jī)器翻譯方法，分別在漢-越，越-漢翻譯方向上進(jìn)行了實(shí)驗(yàn)。其中，漢-越語(yǔ)料通過(guò)互聯(lián)網(wǎng)爬取150k的漢越平行語(yǔ)料，通過(guò)代碼判空，過(guò)濾清洗掉無(wú)用的特殊字符，并把平行語(yǔ)料中，中文端的句子長(zhǎng)度控制在10到100個(gè)字符長(zhǎng)度之間。為了驗(yàn)證平行語(yǔ)料對(duì)的語(yǔ)義相似性，通過(guò)調(diào)用fast_align(1)https://github.com/clab/fast_align工具包對(duì)平行句對(duì)進(jìn)行相似度計(jì)算，過(guò)濾掉語(yǔ)義差距較大的平行句對(duì),最后將其分成訓(xùn)練集，測(cè)試集，驗(yàn)證集，如表1。在依存句法樹(shù)獲取方面，利用LTP(2)http://www.ltp-cloud.com/語(yǔ)言云平臺(tái)對(duì)中文數(shù)據(jù)進(jìn)行分詞及依存句法解析，利用VnCoreNlp(3)https://github.com/vncorenlp/VnCoreNLP工具對(duì)越南語(yǔ)進(jìn)行分詞及依存句法解析,分別獲取中文和越南語(yǔ)的解析結(jié)果。源語(yǔ)言和目標(biāo)語(yǔ)言均保留50k的詞表大小。

表1 數(shù)據(jù)集

3.2 實(shí)驗(yàn)?zāi)Ｐ蛥?shù)設(shè)置

本實(shí)驗(yàn)的模型是在Transformer模型框架下進(jìn)行了擴(kuò)展。其參數(shù)設(shè)置為： 批次大小為4 096，句子最大長(zhǎng)度為256，學(xué)習(xí)率設(shè)置為1×10-4，詞嵌入的維度512，編碼器和解碼器層數(shù)都設(shè)置為6層，多頭注意力的頭個(gè)數(shù)為8，訓(xùn)練輪次為epoch=30，dropout=0.3，采用的優(yōu)化器為Adam,其中GGNN編碼器層數(shù)設(shè)置為8。

選擇Transformer[12]、Tree2Seq[3]、RNNSearch+Lable[7]、RNNsearch[4]作為對(duì)比實(shí)驗(yàn)的基準(zhǔn)模型，下面將對(duì)這四種模型進(jìn)行介紹：

(1)RNNSearch: 基于傳統(tǒng)的RNN神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)的神經(jīng)機(jī)器翻譯模型。其參數(shù)設(shè)置為： 編、解碼端的網(wǎng)絡(luò)層數(shù)為3層,每層隱含單元數(shù)為512個(gè),并用1.0初始化LSTM的遺忘門(mén)偏置項(xiàng)。

(2)RNNSearch+Lable： 該模型是在RNNSearch的基礎(chǔ)上，將源語(yǔ)言的依存句法標(biāo)簽向量化，作為外部知識(shí)，拼接在源語(yǔ)言的詞向量后面融入翻譯模型。其參數(shù)設(shè)置和RNNSearch保持一致。

(3)Tree 2Seq： 短語(yǔ)樹(shù)到序列的翻譯模型，基于Tree-LSTM實(shí)現(xiàn)短語(yǔ)句法樹(shù)的融入。訓(xùn)練的參數(shù)和本文模型一致。本模型所需要的越南語(yǔ)短句法分析結(jié)果，采用李英[15]等人的越南語(yǔ)短語(yǔ)句法解析工具對(duì)越南語(yǔ)進(jìn)行句法解析。

(4)Transformer： 最原始的Transformer。其參數(shù)設(shè)置和本論文提出的模型一致。

本文的實(shí)驗(yàn)采用單張Tesla K40m GPU進(jìn)行實(shí)驗(yàn)。翻譯結(jié)果的測(cè)評(píng)實(shí)驗(yàn)是通過(guò)BLEU值進(jìn)行評(píng)分的。

3.3 對(duì)比實(shí)驗(yàn)設(shè)置及結(jié)果分析3.3.1 依存句法對(duì)翻譯結(jié)果的影響

本實(shí)驗(yàn)利用篩選出來(lái)的150k語(yǔ)料進(jìn)行漢-越翻譯和越-漢翻譯任務(wù),實(shí)驗(yàn)結(jié)果如表2所示。

表2 對(duì)比實(shí)驗(yàn)結(jié)果

在本次雙向翻譯任務(wù)中，對(duì)比分析表2中的實(shí)驗(yàn)結(jié)果，可看出Tree2Seq、RNNSearch+Lable在漢-越翻譯任務(wù)上，比RNNSearch的翻譯結(jié)果分別高1.45個(gè)BLEU值和0.98個(gè)BLEU值，在越-漢翻譯任務(wù)上分別高1.65個(gè)BLEU值和0.91個(gè)BLEU值，說(shuō)明將源語(yǔ)言的依存句法知識(shí)融入翻譯模型對(duì)翻譯效果的提升是有明顯助益的。Transformer在不融入依存句法知識(shí)的情況下，比前三個(gè)翻譯模型都取得了更好的BLEU值，說(shuō)明Transformer模型本身的高效性能。本文提出的Transformer+Graph翻譯模型在漢-越和越-漢翻譯任務(wù)上，分別比Transformer高0.42個(gè)BLEU值和0.58個(gè)BLEU值，說(shuō)明本文提出的基于依存圖網(wǎng)絡(luò)融合依存句法的翻譯方法，可以更好的利用源語(yǔ)言的依存句法知識(shí)，也說(shuō)明利用圖編碼器獲取的全局依存句法結(jié)構(gòu)知識(shí)，對(duì)提升翻譯質(zhì)量是有效的。

3.3.2 驗(yàn)證依存圖結(jié)構(gòu)信息在編、解碼端產(chǎn)生的影響

為了驗(yàn)證源語(yǔ)言的依存圖結(jié)構(gòu)信息在編、解碼端的作用,設(shè)計(jì)了消融實(shí)驗(yàn)，并與以下模型進(jìn)行對(duì)比，定義 “Enc+Graph”表示只在編碼端融合源語(yǔ)言依存圖信息，“Dec+Graph”表示只在解碼端融合源語(yǔ)言依存圖信息，“Transformer+Graph”表示本文提出的完整模型框架。

從表3實(shí)驗(yàn)結(jié)果可以看出: 在漢-越翻譯任務(wù)和越-漢翻譯任務(wù)上，將源語(yǔ)言的依存圖結(jié)構(gòu)信息分別用于編碼端和解碼端，比原始的Transformer翻譯結(jié)果均有BLEU值的提升，說(shuō)明源語(yǔ)言依存句法知識(shí)對(duì)于翻譯任務(wù)是有幫助的。“Enc+Graph”比“Dec+Graph”的翻譯BLEU值高，說(shuō)明在編碼端利用多頭注意力機(jī)制將源語(yǔ)言的依存圖結(jié)構(gòu)信息和序列信息融合，更有助于模型充分學(xué)習(xí)源語(yǔ)言內(nèi)部的依存約束關(guān)系。本文提出的Graph+Transformer翻譯模型在本次漢-越和越-漢翻譯任務(wù)中取得了最好的翻譯結(jié)果，BLEU值最高，說(shuō)明在編、解碼端都利用源語(yǔ)言的依存圖結(jié)構(gòu)信息，對(duì)于指導(dǎo)目標(biāo)譯文的生成更有幫助。

表3 消融實(shí)驗(yàn)

3.4 譯文示例分析

表4 融入依存句法的譯文質(zhì)量對(duì)比

在本文提出的翻譯模型結(jié)果中，將依存句法知識(shí)融入翻譯模型后，很明顯地可以看到譯文的語(yǔ)序更符合目標(biāo)語(yǔ)言的句法語(yǔ)序，說(shuō)明源語(yǔ)言的依存句法對(duì)于翻譯模型學(xué)習(xí)源語(yǔ)言本身的依存約束關(guān)系是有幫助的，可以讓翻譯模型更有效的學(xué)習(xí)到源語(yǔ)言和目標(biāo)語(yǔ)言之間的語(yǔ)序差異，在解碼時(shí)，起到指導(dǎo)模型生成符合目標(biāo)譯文語(yǔ)序的作用，從而達(dá)到提升模型翻譯質(zhì)量的目的。

4 結(jié)論

本文針對(duì)漢越低資源翻譯任務(wù)，基于Transformer的模型架構(gòu)，提出了一種基于依存圖網(wǎng)絡(luò)融合源語(yǔ)言依存句法的漢越神經(jīng)機(jī)器翻譯方法。通過(guò)實(shí)驗(yàn)證明，在低資源場(chǎng)景下，依存句法信息的融入，對(duì)具有句法差異的漢-越翻譯任務(wù)是有所助益的。同時(shí)，將依存關(guān)系轉(zhuǎn)化為依存圖，利用圖神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)依存圖結(jié)構(gòu)的全局化編碼，給翻譯模型提供了更豐富的全局依存信息。未來(lái)工作中，我們將會(huì)繼續(xù)研究在解碼端融入目標(biāo)語(yǔ)言依存句法的翻譯方法。