融合詞語(yǔ)多特征的漢老短文本相似度計(jì)算

郭 雷,周蘭江,周蕾越

1(昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院,昆明 650550)2(昆明理工大學(xué) 津橋?qū)W院,昆明 650160) E-mail：2432948148@qq.com

1 引 言

中老兩國(guó)雙邊經(jīng)貿(mào)關(guān)系密切,兩國(guó)政府和民間交往日益密切,老撾和中國(guó)都是社會(huì)主義國(guó)家,在彼此的發(fā)展道路上相互幫助和學(xué)習(xí),這種兄弟般的關(guān)系給中老關(guān)系注入了親情色彩.而語(yǔ)言是中老兩國(guó)交流的重要工具,因此對(duì)老撾語(yǔ)的研究有著重大的意義.文本相似度計(jì)算是文本匹配任務(wù)的一個(gè)特殊形式,返回文本之間相似程度的具體數(shù)值.跨語(yǔ)言文本相似度計(jì)算更是具有廣泛的應(yīng)用前景,例如跨語(yǔ)言的信息檢索系統(tǒng),跨語(yǔ)言的文本改寫剽竊檢測(cè)系統(tǒng),機(jī)器翻譯等等.跨語(yǔ)言文本相似度計(jì)算目前主要有基于機(jī)器翻譯的方法、基于LDA主題模型的方法、基于神經(jīng)網(wǎng)絡(luò)的方法等.

由于本文研究研究的對(duì)象老撾語(yǔ)屬于低資源語(yǔ)言,缺乏大規(guī)模語(yǔ)義詞典,現(xiàn)有的機(jī)器翻譯系統(tǒng)還不足以生成高質(zhì)量的譯文,不適合利用機(jī)器翻譯的方法在目標(biāo)語(yǔ)言層或中間語(yǔ)言層進(jìn)行文本相似度計(jì)算.而LDA模型是一種詞袋模型,忽略了文本中詞語(yǔ)的位置信息,對(duì)文本具體語(yǔ)義性表征不足,實(shí)驗(yàn)效果一般.隨著神經(jīng)網(wǎng)絡(luò)不斷發(fā)展,目前采用神經(jīng)網(wǎng)絡(luò)計(jì)算文本相似度得到許多學(xué)者的廣泛應(yīng)用.

本文從最具有語(yǔ)義表達(dá)的單位詞語(yǔ)出發(fā),從詞語(yǔ)形態(tài)學(xué)、詞性、詞性權(quán)重的角度出發(fā),首先將漢語(yǔ)詞語(yǔ)拆分成筆畫的形式,老撾語(yǔ)詞語(yǔ)拆分成音符的形式,利用BiLSTM和3種不同尺度的CNN提取詞語(yǔ)的形態(tài)學(xué)特征、漢字內(nèi)部結(jié)構(gòu)特征,如偏旁部首等,并拼接上詞性特征向量,詞性權(quán)重向量,接著利用BiLSTM和CNN對(duì)嵌入層編碼的詞語(yǔ)特征向量進(jìn)一步提取漢老短文本語(yǔ)義特征,采用ESIM交互注意力機(jī)制讓漢老短文本的語(yǔ)義信息進(jìn)行交互,最后計(jì)算漢老短文本的相似度分?jǐn)?shù).本文提出的方法在語(yǔ)料稀缺的情況下取得了更好的效果,F1值達(dá)到了78.67%.

本文的主要貢獻(xiàn)如下：

1)根據(jù)漢語(yǔ)和老撾語(yǔ)的語(yǔ)言特點(diǎn),通過(guò)對(duì)其詞的研究,在漢老短文本分布式表示上融入了漢老詞語(yǔ)的形態(tài)學(xué)特征、詞性特征、詞性權(quán)重,使得漢老短文本的分布式表示含有更多的語(yǔ)義信息,提高了模型的效果.

2)利用弱監(jiān)督跨語(yǔ)言詞向量模型,對(duì)齊漢老雙語(yǔ)詞向量,在同一語(yǔ)義空間里面表征漢老短文本.并利用ESIM交互型注意力機(jī)制對(duì)漢老短文本的語(yǔ)義信息進(jìn)行交互,提高模型效果.

2 相關(guān)工作

文本相似度計(jì)算是通過(guò)一定方法計(jì)算兩個(gè)文本(句子、短文本、文檔),得到具體的數(shù)值.相比于單語(yǔ)言文本相似度計(jì)算,跨語(yǔ)言文本相似度計(jì)算在語(yǔ)序等方面存在較大的差異,使得跨語(yǔ)言文本相似度計(jì)算更具有挑戰(zhàn)性.目前跨語(yǔ)言文本相似度計(jì)算主要有以下幾種：

1)基于機(jī)器翻譯的方法,石杰[1]等人利用早期的機(jī)器翻譯方法,即通過(guò)語(yǔ)義詞典Wordnet將中文和泰文翻譯為中間層語(yǔ)言,再在中間層語(yǔ)言的平臺(tái)上進(jìn)行文本相似度計(jì)算模型的構(gòu)建.Erdmann[2]等人將維基百科上的文本翻譯成另一篇文章的語(yǔ)言,再使用機(jī)器翻譯的評(píng)估指標(biāo)計(jì)算文本的相似度;Wu[3]和Tian[4]等人通過(guò)機(jī)器翻譯系統(tǒng)將不同語(yǔ)言轉(zhuǎn)換為英語(yǔ),在目標(biāo)語(yǔ)言英語(yǔ)上進(jìn)行語(yǔ)義相似度衡量.此方法針對(duì)老撾語(yǔ)來(lái)說(shuō)并不是最優(yōu)的選擇,老撾語(yǔ)屬于資源貧乏型語(yǔ)言,種子詞典的規(guī)模較小,數(shù)量較少并不足以覆蓋所要測(cè)試的中文文本,此方法正確率較低.

2)基于LDA主題模型的方法,利用LDA主題模型訓(xùn)練文檔語(yǔ)料,得到文檔在各個(gè)主題空間上的概率分布情況.程蔚[5]等人利用雙語(yǔ)平行語(yǔ)料訓(xùn)練出雙語(yǔ)LDA模型,然后利用該模型預(yù)測(cè)新語(yǔ)料的主題分布,結(jié)合主題分布概率,利用余弦相似度計(jì)算新的雙語(yǔ)文檔的相似度;李訓(xùn)宇[6]等人利用單語(yǔ)LDA模型分別抽取漢語(yǔ)和緬甸語(yǔ)的主題,并將主題下的主題詞通過(guò)雙語(yǔ)詞典映射到同一空間進(jìn)行表征,得到漢緬雙語(yǔ)主題詞向量.最后結(jié)合主題詞向量和主題分布概率,利用余弦相似度計(jì)算雙語(yǔ)文檔的相似度,然后獲取漢緬雙語(yǔ)可比文檔.Ni[7]等人提出ML-LDA(Multilingual Topics-Latent Dirichlet Allocation)模型來(lái)提取維基百科平行語(yǔ)料中的“通用”主題,該“通用”主題能被多種語(yǔ)言表示,使得不同語(yǔ)言的文檔的主題能在一個(gè)空間表示.

3)基于神經(jīng)網(wǎng)絡(luò)的方法,通過(guò)神經(jīng)網(wǎng)絡(luò)建模,提取文本語(yǔ)義特征來(lái)計(jì)算文本相似度是目前比較主流的方法.對(duì)于單語(yǔ)言文本相似度計(jì)算,郭浩[8]等人利用BiLSTM和CNN相結(jié)合的孿生神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)計(jì)算短文本相似度分?jǐn)?shù).對(duì)于跨語(yǔ)言文本相似度計(jì)算,由于不同語(yǔ)言文本之間帶來(lái)的差異性,很多學(xué)者將其翻譯成中間語(yǔ)言來(lái)進(jìn)行文本相似度計(jì)算,如李霞[9]等人采用谷歌翻譯將不同語(yǔ)言的文本翻譯成英語(yǔ),并提出將門控卷積神經(jīng)網(wǎng)絡(luò)結(jié)合自注意力機(jī)制實(shí)現(xiàn)了對(duì)多種語(yǔ)言句子級(jí)別的相似度計(jì)算.這種方法并不適用于老撾語(yǔ)等低資源語(yǔ)言,因?yàn)槟壳胺g系統(tǒng)還不足以生成高質(zhì)量的譯文,翻譯不準(zhǔn)確會(huì)形成累積誤差,影響模型效果.針對(duì)低資源語(yǔ)言,趙小兵[10]等人用不同規(guī)模的藏漢文本語(yǔ)料訓(xùn)練了siames LSTM藏漢跨語(yǔ)言文本相似度計(jì)算模型,實(shí)驗(yàn)表明語(yǔ)料規(guī)模對(duì)模型效果影響較大.

由于機(jī)器翻譯的方法需要大規(guī)模的語(yǔ)義詞典或者效果較好的翻譯系統(tǒng),但對(duì)于目前研究基礎(chǔ)較為薄弱的老撾語(yǔ)來(lái)說(shuō)此方法還不可行,而LDA模型是詞袋模型,缺乏具體語(yǔ)義的表征,模型效果較差.目前多數(shù)學(xué)者采用神經(jīng)網(wǎng)絡(luò)提取跨語(yǔ)言文本特征的方法來(lái)計(jì)算文本相似度.

3 漢語(yǔ)-老撾語(yǔ)詞語(yǔ)形態(tài)學(xué)

表1 漢-老詞語(yǔ)形態(tài)學(xué)特征對(duì)應(yīng)表(部分)Table 1 Correspondence table of morphologicalcharacteristics of Chinese-Lao words (part)

4 融合詞特征的漢老雙語(yǔ)短文本計(jì)算模型

4.1 模型結(jié)構(gòu)

本文利用jieba工具對(duì)漢語(yǔ)短文本語(yǔ)料進(jìn)行分詞和詞性標(biāo)注,利用昆明理工大學(xué)實(shí)驗(yàn)室開(kāi)發(fā)的老撾語(yǔ)分詞[13]和詞性標(biāo)注[14]工具對(duì)老撾語(yǔ)短文本語(yǔ)料進(jìn)行處理,并去除停用詞.考慮到詞或字本身的形態(tài)或內(nèi)部結(jié)構(gòu)可以幫助人們直觀地獲取部分語(yǔ)義信息,本文采用BiLSTM和CNN提取漢老詞語(yǔ)的形態(tài)學(xué)特征或漢字的內(nèi)部結(jié)構(gòu)特征,并將此特征向量拼接到原有的詞向量上.其次由于每個(gè)詞的詞性不同,導(dǎo)致該詞對(duì)短文本語(yǔ)義信息貢獻(xiàn)程度的差異,本文將詞語(yǔ)的詞性向量拼接到該詞的詞向量上,并將每個(gè)詞的詞性權(quán)重也融入到短文本分布式表示里,使得漢老短文本的分布式表示含有更豐富的語(yǔ)義信息,模型效果更佳.

嵌入層編碼完成后,本文采用BiLSTM和CNN共同對(duì)漢老雙語(yǔ)短文本提取特征,然后采用ESIM模型的交互注意力機(jī)制,讓漢老短文本的語(yǔ)義信息進(jìn)行交互,最后通過(guò)全連接層計(jì)算漢老短文本相似度分?jǐn)?shù).其結(jié)構(gòu)如圖1所示.

圖1 融合詞語(yǔ)多特征的漢老短文本相似度計(jì)算模型圖Fig.1 Similarity calculation model of Chinese and Laotexts fused with multi-features of words

4.2 嵌入層

4.2.1 漢老詞向量對(duì)齊

詞向量是文本語(yǔ)義表征的基礎(chǔ),其質(zhì)量對(duì)實(shí)驗(yàn)效果有較大的影響.針對(duì)跨語(yǔ)言文本相似度計(jì)算的任務(wù),如果能使得漢語(yǔ)語(yǔ)詞語(yǔ)和老撾語(yǔ)詞語(yǔ)能映射在同一空間下,將大大提高漢老跨語(yǔ)言短文本相似度計(jì)算的準(zhǔn)確率.

Artetxe[15]等人提出僅使用25對(duì)單詞或簡(jiǎn)單的數(shù)字作為種子詞典,將種子詞典表示為二進(jìn)制矩陣D,假設(shè)字典中第i個(gè)源語(yǔ)言單詞與第j個(gè)目標(biāo)語(yǔ)言單詞對(duì)齊,則Dij=1,通過(guò)公式(1)利用SVD方法求解得到最優(yōu)映射矩陣W*,使得目標(biāo)語(yǔ)言詞嵌入矩陣Xi*和源語(yǔ)言單詞詞嵌入矩陣Zj*之間的平方歐幾里得距離之和最小.然后再利用求解出來(lái)的最優(yōu)線性變換矩陣W*對(duì)源語(yǔ)言詞嵌入矩陣X進(jìn)行線性變換、即X′=XW*,實(shí)現(xiàn)源語(yǔ)言到目標(biāo)語(yǔ)言的語(yǔ)義空間映射,其實(shí)驗(yàn)結(jié)果證明半監(jiān)督的跨語(yǔ)言詞向量模型也可以得到高質(zhì)量的跨語(yǔ)言詞向量.

(1)

由于有監(jiān)督跨語(yǔ)言詞向量模型對(duì)種子詞典的數(shù)量和質(zhì)量都有較高的要求,老撾語(yǔ)屬于低資源語(yǔ)言,比較適用于使用半監(jiān)督方法.效仿Artetxe等人的實(shí)驗(yàn),使用半監(jiān)督跨語(yǔ)言詞向量模型得到了漢老跨語(yǔ)言詞向量.

4.2.2 漢-老詞語(yǔ)形態(tài)學(xué)特征提取

詞或字本身的形態(tài)或內(nèi)部結(jié)構(gòu)可以幫助人們直觀地獲取部分語(yǔ)義信息,Cao[16]等人提出利用筆畫的n-gram特征提取中文詞語(yǔ)內(nèi)部語(yǔ)義信息,并取得了較好地實(shí)驗(yàn)效果.Wieting[17]等人提出使用字符級(jí)的n-gram向量來(lái)表示英語(yǔ)中的單詞,以捕獲包括前綴、后綴、詞根等語(yǔ)義特征.這對(duì)本文開(kāi)展?jié)h語(yǔ)形態(tài)學(xué)研究和老撾語(yǔ)形態(tài)學(xué)研究有著重要的指導(dǎo)意義.考慮到漢語(yǔ)詞語(yǔ)最小組成單位為筆畫、老撾語(yǔ)詞語(yǔ)的最小組成單位為音符,本文采用BiLSTM提取筆畫(音符)順序特征,然后利用不同卷積核大小的CNN,卷積核尺度為6、7、8,提取漢、老詞語(yǔ)筆畫(音符)的詞根、詞綴或偏旁部首特征,其結(jié)構(gòu)如圖2所示.該方法也從詞語(yǔ)形態(tài)學(xué)特征的角度解決了未登錄詞無(wú)法用詞向量表征的問(wèn)題,使得未登錄詞能在其形態(tài)學(xué)上得到表達(dá),增強(qiáng)了文本語(yǔ)義信息.

圖2 提取詞語(yǔ)形態(tài)學(xué)特征結(jié)構(gòu)圖Fig.2 Extracted word morphological feature structure diagram

4.2.3 漢-老詞語(yǔ)詞性和權(quán)重特征

詞性分為名詞、動(dòng)詞、形容詞、數(shù)詞等等,不同詞性對(duì)文本語(yǔ)義構(gòu)成有著不同程度的貢獻(xiàn),利用分詞和詞性標(biāo)注工具對(duì)漢老雙語(yǔ)語(yǔ)短文本進(jìn)行分詞和詞性標(biāo)注.然后參照Petrov[18]等人開(kāi)發(fā)的谷歌通用詞性標(biāo)簽(Universal POS tags)對(duì)詞性標(biāo)注進(jìn)行統(tǒng)一化,并統(tǒng)計(jì)語(yǔ)料中對(duì)短文本表達(dá)貢獻(xiàn)較大的詞性(名詞(NOUN)、動(dòng)詞(VERB)、形容詞(ADJ))在所有詞性中所占比重來(lái)確定其詞性權(quán)重,把每個(gè)詞的詞性特征和其權(quán)重特征融入到漢老短文本語(yǔ)義表征里面,提升模型效果.其權(quán)重如表2所示.

表2 詞性權(quán)重表Table 2 Part of speech weight table

4.3 編碼層

本文采用BiLSTM和CNN神經(jīng)網(wǎng)絡(luò)在嵌入層的基礎(chǔ)上進(jìn)一步對(duì)漢老短文本進(jìn)行編碼,使用BiLSTM提取短文本上下文語(yǔ)義特征,考慮到漢語(yǔ)和老撾語(yǔ)在表達(dá)上的語(yǔ)序差異,通過(guò)CNN提取短文本的局部語(yǔ)義信息特征,以此減小不同語(yǔ)言語(yǔ)序帶來(lái)的差異.最后將兩個(gè)網(wǎng)絡(luò)提取到的特征進(jìn)行拼接,提高模型效果.

4.3.1 BiLSTM提取特征

4.3.2 CNN提取特征

由于漢老短文本語(yǔ)序存在差異性,本文利用CNN提取漢老短文本的局部語(yǔ)義特征.假設(shè)某個(gè)文本有n個(gè)單詞,詞向量維度為k,每個(gè)單詞的詞向量為xi∈Rk.卷積核窗口大小為h,通過(guò)公式(2)計(jì)算卷積核窗口每一次滑動(dòng)的輸出值ci,最后卷積輸出向量為：

c=[c1,c2,…,cn-h+1]ci=f(WTxi：i+h-1+b)(i≤n-h+1)

(2)

式中,f為非線性激活函數(shù),本文使用的是“relu”函數(shù);W為卷積核輸入節(jié)點(diǎn)的權(quán)重矩陣;b為偏置項(xiàng).將卷積后的向量c再通過(guò)一個(gè)最大池化層,其中pool_size為4的時(shí)候,實(shí)驗(yàn)效果最好.并使用Padding對(duì)其進(jìn)行補(bǔ)齊,其公式如(3)所示.

(3)

4.4 ESIM交互注意力層

當(dāng)漢語(yǔ)短文本和老撾語(yǔ)短文本通過(guò)CNN和BiLSTM特征提取后后,得到了文本單詞之間的上下文語(yǔ)義信息和文本局部語(yǔ)義信息,為了更加充分的利用好語(yǔ)義信息,本文采用Chen Q[19]等人中提出的ESIM交互注意力層,盡早的讓漢語(yǔ)短文本和老撾語(yǔ)短文本進(jìn)行語(yǔ)義信息的交互、對(duì)比,以此得到各文本強(qiáng)化后的向量表征.本文首先將CNN和BiLSTM提取到的漢老短文本特征特征進(jìn)行拼接：

(4)

(5)

參照ESIM模型的工作,根據(jù)(6)式按位計(jì)算漢語(yǔ)短文本中的每個(gè)向量與老撾語(yǔ)短文本中的每個(gè)向量的數(shù)值關(guān)系eij,將計(jì)算得到的所有數(shù)值關(guān)系進(jìn)行求和,然后將每個(gè)數(shù)值關(guān)系在求和后的數(shù)值關(guān)系中所占的比重作為權(quán)重.

(6)

(7)

(8)

(9)

(10)

4.5 相似度分?jǐn)?shù)計(jì)算層

拼接所有信息得到最后的漢老短文本的分布式表示ma、mb后,類似于shao[20]的工作,對(duì)其進(jìn)行按位減(取絕對(duì)值)和按位乘的操作,并將兩個(gè)結(jié)果進(jìn)行拼接.

P1=(|ma○-mb|)⊕(ma?mb)

(11)

式中,○-表示漢老元素對(duì)應(yīng)相減,?表示漢老元素對(duì)應(yīng)相乘,⊕表示將結(jié)果進(jìn)行拼接.

最后將漢老短文本的語(yǔ)義相似度表示輸入全連接層進(jìn)行計(jì)算,使用更具有魯棒性的“elu”作為激活函數(shù),最后得到漢老短文本的相似度分?jǐn)?shù).其計(jì)算公式如下：

P2=elu(W1P1+b)

(12)

p=sigmoid(W2P2+c)∈(0～1)

(13)

式中,W1、W2和b、c均為模型參數(shù),p為模型最后輸出的相似度分?jǐn)?shù),其輸出值在0至1之間.本文采用交叉熵?fù)p失函數(shù)評(píng)估模型的魯棒性,其公式如下：

(14)

式中pi為樣本i被模型預(yù)測(cè)為正樣本的分值,yi為人工評(píng)定的分值,N為每一批次樣本的個(gè)數(shù).

5 實(shí)驗(yàn)分析

5.1 實(shí)驗(yàn)數(shù)據(jù)

本文使用的數(shù)據(jù)集分為3部分,第1部分是用來(lái)預(yù)訓(xùn)練詞向量的數(shù)據(jù)集：漢語(yǔ)從漢語(yǔ)維基百科上獲得了1.27G的單語(yǔ)語(yǔ)料,并利用開(kāi)源工具進(jìn)行數(shù)據(jù)清洗、繁簡(jiǎn)轉(zhuǎn)換,借助jieba分詞工具對(duì)語(yǔ)料進(jìn)行分詞處理并去除停用詞.然后利用斯坦福開(kāi)發(fā)的Glove詞向量訓(xùn)練工具得到約55.2萬(wàn)個(gè)漢語(yǔ)單詞詞向量(約1.54G),詞向量維度為300維.老撾語(yǔ)從老撾語(yǔ)維基百科得到265M的單語(yǔ)語(yǔ)料,對(duì)數(shù)據(jù)進(jìn)行清洗后,利用昆明理工大學(xué)實(shí)驗(yàn)室開(kāi)發(fā)的分詞工具對(duì)其進(jìn)行分詞處理.同樣利用斯坦福開(kāi)發(fā)的Glove詞向量訓(xùn)練工具得到約7.3萬(wàn)詞語(yǔ)詞向量(約0.27G),詞向量維度為300維.

第2部分?jǐn)?shù)據(jù)集為漢老雙語(yǔ)平行短文本：來(lái)源于漢語(yǔ)維基百科和老撾語(yǔ)維基百科,以及以中國(guó)國(guó)際廣播電臺(tái)老撾語(yǔ)部為依托的CRI悅生活公眾號(hào).經(jīng)過(guò)老撾留學(xué)生校對(duì)后,共得到5798篇漢老平行短文本,本文以1∶7的比例構(gòu)造了40586篇漢老非平行短文本.如表3所示.

將數(shù)據(jù)集按照9∶1進(jìn)行訓(xùn)練集和測(cè)試集的劃分.本文實(shí)驗(yàn)在固定隨機(jī)種子數(shù)下使用10折交叉驗(yàn)證,輪流將訓(xùn)練集中9份作為訓(xùn)練數(shù)據(jù),1份作為驗(yàn)證數(shù)據(jù)進(jìn)行實(shí)驗(yàn),每一次訓(xùn)練好的模型在測(cè)試集上進(jìn)行驗(yàn)證,取10次實(shí)驗(yàn)結(jié)果的均值.每次訓(xùn)練使用的數(shù)據(jù)集劃分如表4所示.

表3 漢老雙語(yǔ)短文本數(shù)據(jù)集Table 3 Chinese-Lao bilingual short text data set

表4 訓(xùn)練模型數(shù)據(jù)集劃分結(jié)果Table 4 Data set division results of the training model

第3部分?jǐn)?shù)據(jù)集為漢語(yǔ)詞語(yǔ)的筆畫構(gòu)成和老撾語(yǔ)詞語(yǔ)的音符構(gòu)成：本文從漢典字詞查詢網(wǎng)站獲得了28503個(gè)簡(jiǎn)體字的筆畫構(gòu)成,筆畫種類有25種.第2部分語(yǔ)料中漢語(yǔ)實(shí)驗(yàn)語(yǔ)料分詞后,將每個(gè)詞語(yǔ)拆分成字,將字拆分成分成筆畫,然后組合成詞的筆畫.第2部分語(yǔ)料中的老撾語(yǔ)語(yǔ)料分詞后,將其按照老撾語(yǔ)的音符匹配規(guī)則對(duì)老撾語(yǔ)詞語(yǔ)進(jìn)行音符拆分,音符種類有69種.

5.2 實(shí)驗(yàn)參數(shù)設(shè)置

本文實(shí)驗(yàn)環(huán)境為Windows10操作系統(tǒng),顯卡使用NVIDIA公司生產(chǎn)的GeForce RTX 2060S,使用python3.6作為開(kāi)發(fā)語(yǔ)言,開(kāi)發(fā)平臺(tái)為PyCharm,以TensorFlow_gpu-1.13.1作為后端運(yùn)行,使用Keras框架實(shí)現(xiàn)本文相似度計(jì)算方法.

在提取筆畫(音符)特征的神經(jīng)網(wǎng)絡(luò)中,組成漢語(yǔ)單詞的筆畫數(shù)和老撾語(yǔ)單詞的音符數(shù)不同,本文將漢語(yǔ)單詞的筆畫數(shù)和老撾語(yǔ)單詞音符數(shù)設(shè)置為25,維度設(shè)置為50,并對(duì)其進(jìn)行隨機(jī)初始化,LSTM的隱節(jié)點(diǎn)數(shù)為25,老撾語(yǔ)音符CNN中設(shè)置4、5、6共3種不同尺度的卷積核,漢語(yǔ)筆畫CNN中設(shè)置6、7、8共3種不同尺度的卷積核,卷積核數(shù)量各50個(gè),步長(zhǎng)設(shè)置為1,提取漢、老詞語(yǔ)的形態(tài)學(xué)特征.

在提取漢老短文本詞語(yǔ)間特征的神經(jīng)網(wǎng)絡(luò)中,本文將漢、老短文本的長(zhǎng)度均設(shè)置為150個(gè)詞語(yǔ),詞向量維度為300,詞性向量維度為50,并對(duì)其進(jìn)行隨機(jī)初始化.LSTM的隱節(jié)點(diǎn)數(shù)量為50,CNN中的卷積核尺度為3,卷積核數(shù)量為50,步長(zhǎng)為1.采用 Adam算法對(duì)模型進(jìn)行優(yōu)化,學(xué)習(xí)率設(shè)為0.01.Batch size 的大小設(shè)置為 64,Epoch為60.

5.3 評(píng)價(jià)指標(biāo)

本文采用常用的評(píng)測(cè)指標(biāo)：準(zhǔn)確率、召回率和F1值.將漢老對(duì)齊短文本的標(biāo)簽設(shè)置為1,將漢老非對(duì)齊短文本的標(biāo)簽設(shè)置為0.采用0.5作為相似度閾值,當(dāng)模型預(yù)測(cè)的漢老短文本相似度分?jǐn)?shù)大于0.5時(shí),判斷為該漢老短文本為平行文本對(duì).召回率、準(zhǔn)確率、F1值計(jì)算方式如下所示.

(15)

(16)

(17)

5.4 模型對(duì)比實(shí)驗(yàn)

本文利用BiLSTM和CNN分別提取漢語(yǔ)詞語(yǔ)筆畫特征與老撾語(yǔ)詞語(yǔ)音符特征,還將詞語(yǔ)的詞性向量和詞性權(quán)重向量與原有的詞向量進(jìn)行拼接.為了能充分利用這些語(yǔ)義信息向量,本文使用BiLSTM和CNN提取漢老短文本上下文語(yǔ)義信息和局部語(yǔ)義信息,然后將提取到的語(yǔ)義特征向量進(jìn)行拼接,利用ESIM交互注意力機(jī)制將漢老短文本的語(yǔ)義信息進(jìn)行交互,并分析新舊序列的差異性,最后將所有的信息拼接到一個(gè)新的序列中.為了探索本文方法的有效性,設(shè)置了以下幾個(gè)對(duì)比實(shí)驗(yàn)：

1)將雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(BiLSTM)作為本文的基準(zhǔn)模型(Base Model).

2)在基準(zhǔn)模型上加入CNN,驗(yàn)證實(shí)驗(yàn)效果.

3) 在2)實(shí)驗(yàn)基礎(chǔ)上加入ESIM交互注意力機(jī)制,驗(yàn)證實(shí)驗(yàn)效果.

4)在3)實(shí)驗(yàn)基礎(chǔ)上加入Word-feature(Our),驗(yàn)證實(shí)驗(yàn)效果.

本文除了探索利用不同方法計(jì)算漢老短文本相似度的實(shí)驗(yàn)效果,還與其他學(xué)者在文本(句子)相似度的工作做了對(duì)比：分別為郭浩[8]等人利用BiLSTM和CNN提取文本特征并與注意力機(jī)制相結(jié)合的孿生神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu);李霞[9]等人提出的將門控卷積神經(jīng)網(wǎng)絡(luò)結(jié)合自注意力機(jī)制,實(shí)現(xiàn)句子級(jí)別的相似度計(jì)算;趙小兵[10]等人的基于注意力機(jī)制的siames LSTM相似度計(jì)算模型.以上7個(gè)模型均在相同實(shí)驗(yàn)環(huán)境下采用10折交叉驗(yàn)證法進(jìn)行實(shí)驗(yàn).最終實(shí)驗(yàn)結(jié)果如表5所示.

表5 不同模型實(shí)驗(yàn)結(jié)果Table 5 Experimental results of different models

模型(2)對(duì)比模型(1)的實(shí)驗(yàn)結(jié)果其F1值提高了0.51%,表明在漢老短文本特征提取的模型中加入CNN,確實(shí)能減小漢老語(yǔ)序差異,提升模型效果.模型(3)、模型(5)與模型(2)的實(shí)驗(yàn)結(jié)果對(duì)比其F1值分別提高了0.63%和0.43%,表明加入交互注意力機(jī)制或自注意力機(jī)制能使模型學(xué)到更多的語(yǔ)義信息.模型(3)對(duì)比模型(5)的實(shí)驗(yàn)結(jié)果其F1值提高了0.20%,說(shuō)明交互注意力機(jī)制比注意力機(jī)制的效果更好,這是因?yàn)榻换プ⒁饬C(jī)制對(duì)比自注意力機(jī)制的孿生網(wǎng)絡(luò)模型,其能讓漢老短文本進(jìn)行更多的信息交互,提升模型的效果.模型(4)的結(jié)果與模型(3)的實(shí)驗(yàn)結(jié)果其F1值提高了0.62%,表明添加詞語(yǔ)的形態(tài)學(xué)特征、詞性特征、權(quán)重特征能提升模型的學(xué)習(xí)效果.

5.5 特征對(duì)比實(shí)驗(yàn)

本文采用BiLSTM和CNN提取漢老詞語(yǔ)的形態(tài)學(xué)特征,并加入了詞語(yǔ)的詞性特征、詞性權(quán)重特征.為了驗(yàn)證不同特征對(duì)實(shí)驗(yàn)效果的影響,設(shè)置了以下6個(gè)特征對(duì)比實(shí)驗(yàn).特征對(duì)比實(shí)驗(yàn)均在相同實(shí)驗(yàn)環(huán)境下采用10折交叉驗(yàn)證法進(jìn)行.最終實(shí)驗(yàn)結(jié)果如表6所示.

表6 特征對(duì)比實(shí)驗(yàn)Table 6 Feature comparison experiment

對(duì)表6中的實(shí)驗(yàn)結(jié)果分析,模型(2)對(duì)比模型(1)的實(shí)驗(yàn)結(jié)果其F1值提高了0.25%,表明CNN能較好地提取到詞語(yǔ)的形態(tài)學(xué)特征,且該特征有利于模型效果的提升.模型(3)對(duì)比模型(1)的實(shí)驗(yàn)結(jié)果其F1值降低了0.37%,可能是單獨(dú)利用BiLSTM對(duì)字符形態(tài)提取特征效果不佳,給模型帶來(lái)了噪聲數(shù)據(jù).模型(4)對(duì)比模型(1)、模型(2)的實(shí)驗(yàn)結(jié)果其F1值分別提高了0.36%、0.11%,表明在CNN提取詞語(yǔ)形態(tài)學(xué)特征之前,如果能結(jié)合BiLSTM網(wǎng)絡(luò)提取的漢語(yǔ)詞語(yǔ)中漢字筆畫順序的語(yǔ)義信息和老撾語(yǔ)詞語(yǔ)音符順序的語(yǔ)義信息,模型效果會(huì)更佳.模型(5)對(duì)比模型(4)的實(shí)驗(yàn)結(jié)果其F1值提升了0.14%,表明詞性向量在文本語(yǔ)義的表征上也有貢獻(xiàn).模型(6)對(duì)比模型(5)的實(shí)驗(yàn)結(jié)果其F1值提高了0.12%,表明不同詞性在文本語(yǔ)義貢獻(xiàn)上不同,形容詞、名詞、動(dòng)詞對(duì)語(yǔ)義貢獻(xiàn)較大.

5.6 不同卷積核尺度提取漢老字符形態(tài)學(xué)特征

考慮到漢語(yǔ)詞根、詞綴或字的偏旁部首的筆畫組成與老撾語(yǔ)詞根、詞綴等形態(tài)學(xué)特征的音符組成數(shù)量不同,利用含有相同尺寸卷積核的CNN提取漢語(yǔ)詞語(yǔ)和老撾語(yǔ)詞語(yǔ)的形態(tài)學(xué)特征有限.本文分別設(shè)置4種不同尺寸的卷積核(漢語(yǔ)卷積核尺寸(6、7、8、9),老撾語(yǔ)卷積核尺寸(4、5、6、7))對(duì)漢語(yǔ)和老撾語(yǔ)提取形態(tài)學(xué)特征提取,其卷積核尺度對(duì)比實(shí)驗(yàn)均在相同實(shí)驗(yàn)環(huán)境下采用10折交叉驗(yàn)證法進(jìn)行.最終實(shí)驗(yàn)結(jié)果如表7所示.

表7 不同卷積核尺度對(duì)比Table 7 Comparison of different convolution kernel scales

通過(guò)對(duì)表中的實(shí)驗(yàn)數(shù)據(jù)分析可知,利用不同卷積核尺度的CNN提取漢老詞語(yǔ)的形態(tài)學(xué)特征對(duì)實(shí)驗(yàn)?zāi)Ｐ托Ч杏绊?模型(6)對(duì)比模型(4)、模型(5)的實(shí)驗(yàn)結(jié)果其F1值分別提高了0.09%、0.16%,而模型(4)、模型(5)對(duì)比單個(gè)CNN模型(1)、模型(2)、模型(3)的實(shí)驗(yàn)效果也都有提高,說(shuō)明不同卷積核尺度的CNN能提取到更多漢老詞語(yǔ)的形態(tài)學(xué)特征.但是模型(7)對(duì)比模型(6)的實(shí)驗(yàn)結(jié)果其F1值降低了1.93%,可能是實(shí)驗(yàn)數(shù)據(jù)較少,參數(shù)過(guò)多,使得模型較早過(guò)擬合化.通過(guò)實(shí)驗(yàn)對(duì)比,本文選擇模型(6)中老撾語(yǔ)和漢語(yǔ)的卷積核尺寸作為本模型的設(shè)置.

6 結(jié) 論

本文針對(duì)漢老短文本跨語(yǔ)言相似度計(jì)算,提出利用BiLSTM和CNN共同提取漢老詞語(yǔ)的形態(tài)學(xué)特征,并利用漢老詞語(yǔ)詞性和詞性權(quán)重的語(yǔ)義信息,進(jìn)行聯(lián)合嵌入,然后將聯(lián)合嵌入層作為BiLSTM和CNN的輸入,進(jìn)一步對(duì)語(yǔ)義信息編碼,提取文本的上下文語(yǔ)義信息和局部語(yǔ)義信息,以此作為交互層的輸入,利用ESIM交互注意力機(jī)制對(duì)編碼層提取到的漢老短文本語(yǔ)義信息進(jìn)行交互,最后利用相似度計(jì)算層計(jì)算漢老短文本的相似度分?jǐn)?shù).與目前主流方法相比較,本文提出的方法實(shí)驗(yàn)效果更佳,其F1值達(dá)到了78.67%.下一步考慮利用該方法做漢老雙語(yǔ)問(wèn)答系統(tǒng)的研究.