知識(shí)引導(dǎo)的跨語(yǔ)言義原預(yù)測(cè)*

劉高軍劉思睿魯朝陽(yáng)王昊

1.北方工業(yè)大學(xué)信息學(xué)院；2.CNONIX國(guó)家標(biāo)準(zhǔn)應(yīng)用與推廣實(shí)驗(yàn)室

語(yǔ)言學(xué)家認(rèn)為，義原是人類語(yǔ)言的最小語(yǔ)義表示單位，詞語(yǔ)的任何含義都可以通過(guò)義原間組合表達(dá)。目前，義原資源已應(yīng)用于多種自然語(yǔ)言處理的下游任務(wù)中并取得不錯(cuò)的效果。現(xiàn)有義原資源主要以中文詞語(yǔ)為主，同時(shí)少部分英文詞語(yǔ)也有義原標(biāo)注，但在其他語(yǔ)言中尚未普及。目前，已有部分研究者提出了自動(dòng)化的跨語(yǔ)言義原預(yù)測(cè)方法，一定程度上實(shí)現(xiàn)為其他語(yǔ)言的目標(biāo)詞匯自動(dòng)標(biāo)注義原的能力。但現(xiàn)有的研究方案多是從詞語(yǔ)的語(yǔ)義層次角度開(kāi)展，忽略了外部知識(shí)信息的作用。為此，提出了一種全新的基于知識(shí)引導(dǎo)的跨語(yǔ)言義原預(yù)測(cè)方法，利用知識(shí)圖譜的外部關(guān)系信息輔助對(duì)齊和預(yù)測(cè)過(guò)程，提升了跨語(yǔ)言義原預(yù)測(cè)的性能。最后，設(shè)計(jì)對(duì)比實(shí)驗(yàn)，證明了在這項(xiàng)任務(wù)中使用外部知識(shí)信息的有效性，且模型在性能上也優(yōu)于現(xiàn)有模型。

眾所周知，一個(gè)詞語(yǔ)所處位置不同對(duì)應(yīng)的含義也不相同，如何精確表達(dá)詞語(yǔ)的含義是自然語(yǔ)言處理領(lǐng)域的工作基礎(chǔ)。語(yǔ)言學(xué)家定義了最小的語(yǔ)義表示單位——義原[1]，實(shí)現(xiàn)對(duì)詞語(yǔ)含義的精準(zhǔn)表達(dá)，并認(rèn)為任何詞語(yǔ)的含義都能夠由一個(gè)有限封閉的義原集合來(lái)表示[2]。HowNet知網(wǎng)[3]是最著名的義原知識(shí)庫(kù)，用層級(jí)結(jié)構(gòu)描述了詞語(yǔ)和義原的對(duì)應(yīng)關(guān)系。其中，定義了2,000多個(gè)義原，并為10萬(wàn)多中英文的詞語(yǔ)標(biāo)注了義原信息。同時(shí)，義原已經(jīng)成功應(yīng)用在多種任務(wù)。

當(dāng)前，知網(wǎng)只為中文和部分英語(yǔ)詞匯標(biāo)注了義原信息，其他語(yǔ)言沒(méi)有對(duì)應(yīng)義原標(biāo)注也無(wú)法使用義原資源。跨語(yǔ)言義原預(yù)測(cè)任務(wù)旨在為目標(biāo)語(yǔ)言（非中文）標(biāo)注上源語(yǔ)言（中文）的義原信息。現(xiàn)有跨語(yǔ)言義原預(yù)測(cè)方案，多是先完成源語(yǔ)言和目標(biāo)語(yǔ)言詞義對(duì)齊，然后進(jìn)行目標(biāo)語(yǔ)言端的義原預(yù)測(cè)。相比于中文義原預(yù)測(cè)，跨語(yǔ)言的義原預(yù)測(cè)任務(wù)的主要難點(diǎn)在于構(gòu)建是源語(yǔ)言詞語(yǔ)的含義與目標(biāo)語(yǔ)言含義的映射關(guān)系。文獻(xiàn)[4]的研究就是利用雙語(yǔ)詞嵌入對(duì)齊的方法實(shí)現(xiàn)跨語(yǔ)言的義原預(yù)測(cè)。

為了進(jìn)一步提升跨語(yǔ)言義原預(yù)測(cè)的精準(zhǔn)度，本文使用同義詞林?jǐn)U展版構(gòu)建義原外部知識(shí)圖譜，從關(guān)系的角度利用知識(shí)信息引導(dǎo)跨語(yǔ)言義原預(yù)測(cè)，并提出了三種不同的對(duì)齊方式將知識(shí)信息作用在源語(yǔ)言和目標(biāo)語(yǔ)言端增強(qiáng)義原預(yù)測(cè)的性能。同時(shí)，設(shè)置多組對(duì)照實(shí)驗(yàn)研究外部知識(shí)的作用，比較和測(cè)試知識(shí)的增強(qiáng)預(yù)測(cè)效果。

1 相關(guān)工作

1.1 知網(wǎng)HowNet

知網(wǎng)，HowNet是最著名的義原知識(shí)庫(kù)[3]，包含2,000多個(gè)義原和帶有義原標(biāo)注的100,000個(gè)中英文雙語(yǔ)的詞語(yǔ)，用層級(jí)結(jié)構(gòu)自上到下描述了詞、詞義、義原的對(duì)應(yīng)關(guān)系。其中，一個(gè)詞對(duì)應(yīng)多種詞義，每個(gè)詞義又由義原組合標(biāo)識(shí)。

本篇文章中，同文獻(xiàn)[4]一樣構(gòu)建的跨語(yǔ)言義原預(yù)測(cè)模型只關(guān)注詞語(yǔ)和義原之間的對(duì)應(yīng)關(guān)系，HowNet的層次結(jié)構(gòu)不做體現(xiàn)，不同詞語(yǔ)含義的不做區(qū)分，統(tǒng)一合成一個(gè)詞語(yǔ)對(duì)應(yīng)的所有義原，例如：“蘋果”= {“樣式值”“能”“攜帶”“特定牌子”“水果”}。

1.2 同義詞詞林

詞林?jǐn)U展版[5]簡(jiǎn)稱詞林是由不同研究領(lǐng)域的專家標(biāo)注的同義詞知識(shí)庫(kù)，其中包含100,093個(gè)常用詞語(yǔ)。在詞林中的詞匯通過(guò)上下位關(guān)系相連組織成層次結(jié)構(gòu)共有5種不同的層次，每個(gè)層次又有對(duì)應(yīng)不同的類別，層級(jí)由上到下層級(jí)越低詞語(yǔ)的粒度越細(xì)致。

為了方便區(qū)分每一層次有對(duì)應(yīng)的詞義編碼表示對(duì)應(yīng)的位置。第一層至第三層按照詞語(yǔ)類目分類，第四層只有對(duì)應(yīng)的編碼，最后一個(gè)層次按照詞語(yǔ)的關(guān)系劃分成組進(jìn)行表示。最后一個(gè)層次刻畫的最為細(xì)致，包含三種不同的關(guān)系“is_synonym”（相同含義的詞）、“is_similar”（相近含義的詞）、“is_independent”（不同含義的詞，孤立），常用在信息檢索、文本分類和自動(dòng)問(wèn)答等領(lǐng)域，本文采用最后一個(gè)層次的關(guān)系。

2 方法

在本部分，首先定義了跨語(yǔ)言義原預(yù)測(cè)任務(wù)，然后詳細(xì)闡述構(gòu)建同義詞義原知識(shí)庫(kù)的步驟，以及利用知識(shí)圖譜中的關(guān)系信息實(shí)現(xiàn)跨語(yǔ)言義原預(yù)測(cè)方法，提出融入知識(shí)后全新的對(duì)齊方法，最后提出了組合模型。

2.1 任務(wù)定義

跨語(yǔ)言義原預(yù)測(cè)任務(wù)，即為一個(gè)目標(biāo)語(yǔ)言詞添加一組義原的過(guò)程，是一種多標(biāo)簽分類任務(wù)。形式化如下，定義WT為目標(biāo)語(yǔ)言集合和ST、SS分別為目標(biāo)語(yǔ)言和源語(yǔ)言的義原集合。其中，每一個(gè)目標(biāo)語(yǔ)言詞wT∈WT對(duì)應(yīng)一組來(lái)自源語(yǔ)言的義原集合m代表義原集合的大小。目標(biāo)語(yǔ)言詞wT原預(yù)測(cè)公式描述如下，其中P(s|w)代表s為給定詞w的義原的概率值。

2.2 知識(shí)引導(dǎo)的跨語(yǔ)言義原預(yù)測(cè)

現(xiàn)有研究的跨語(yǔ)言義原預(yù)測(cè)主要分為兩個(gè)步驟，詞嵌入對(duì)齊和義原預(yù)測(cè)，前者實(shí)現(xiàn)源語(yǔ)言詞義和目標(biāo)語(yǔ)言詞義對(duì)齊，后者完成核心的義原預(yù)測(cè)工作，本文提出的基于知識(shí)的義原預(yù)測(cè)旨在從關(guān)系角度預(yù)測(cè)義原。

2.2.1 實(shí)體嵌入訓(xùn)練

同義詞具有相同的義原，近義詞共享部分義原，為提取出同義詞林和知網(wǎng)知識(shí)圖譜中的信息，本文借用TransH翻譯模型[6,7]的核心思想建模義原詞林知識(shí)圖譜，使用三元組(h,r,t)描述詞與詞和詞與義原之間的關(guān)系，其中h為頭實(shí)體h∈{Whownet∪Wciline}，代表來(lái)自知網(wǎng)和詞林的詞語(yǔ)，r為關(guān)系r∈{Rhownet∪Rciline}表示詞語(yǔ)間關(guān)系“is_synonym”（同義詞關(guān)系）、“is_similar”（近似詞關(guān)系）、“has_sememe”（義原關(guān)系），t為尾實(shí)體 t∈{Whownet∪Wciline∪Shownet}代表來(lái)自知網(wǎng)和詞林的詞語(yǔ)和知網(wǎng)中的義原。

為增強(qiáng)圖譜中的實(shí)體節(jié)點(diǎn)的語(yǔ)義信息，同時(shí)引入了正則項(xiàng)表示詞語(yǔ)包含的義原集合信息中的語(yǔ)義信息公式如下，其中re描述義原關(guān)系的向量，Sw表示一個(gè)詞語(yǔ)w對(duì)應(yīng)的義原集合。

最后綜合上述兩個(gè)函數(shù)同時(shí)考慮實(shí)體間關(guān)系和實(shí)體的語(yǔ)義信息，得到總的損失函數(shù)，如公式(4)，其中λL為超參數(shù)控制兩者權(quán)重。

在完成建模后，義原預(yù)測(cè)工作就是把義原作為尾實(shí)體，頭實(shí)體為待預(yù)測(cè)義原的詞語(yǔ)，詞語(yǔ)和實(shí)體的關(guān)系。實(shí)體嵌入義原預(yù)測(cè)模型（Knowledge Based Sememe Prediction：KSP）預(yù)測(cè)分?jǐn)?shù)則可以表示為：

2.2.2 基于知識(shí)的義原預(yù)測(cè)方法CKSP-S

源語(yǔ)言和目標(biāo)語(yǔ)言嵌入均使用預(yù)訓(xùn)練GloVe詞向量。對(duì)齊部分選用與基線模型相同的對(duì)齊方式。預(yù)測(cè)時(shí)，計(jì)算相似度的源語(yǔ)言和目標(biāo)語(yǔ)言的相似度，使用加權(quán)平均的方式將源語(yǔ)言知識(shí)嵌入KSP模型的信息融入到源語(yǔ)言義原預(yù)測(cè)的義原層次進(jìn)行預(yù)測(cè)，模型如下：

CKSP-S(si,wT)為目標(biāo)語(yǔ)言詞wT對(duì)給定義原si的條件概率，其中，WT→s為目標(biāo)詞語(yǔ)對(duì)應(yīng)源語(yǔ)言相似詞語(yǔ)的集合，n為集合大小，c∈(0,1)為超參數(shù)，rs為衰減系數(shù)按相似度順序衰減。

2.2.3 基于知識(shí)的虛擬詞節(jié)點(diǎn)預(yù)測(cè)方法CKSP-W

嵌入部分和對(duì)齊部分與CKSP-S方法一致。在預(yù)測(cè)部分，則通過(guò)計(jì)算相似度使用加權(quán)平均的方式在源語(yǔ)言部分構(gòu)建一個(gè)虛擬知識(shí)圖譜節(jié)點(diǎn)wvirtual，再利用KSP模型的知識(shí)信息預(yù)測(cè)目標(biāo)語(yǔ)言詞匯的義原，公式如下：

CKSP-W(ssi,wT)為目標(biāo)語(yǔ)言詞wT對(duì)給定義原si的條件概率，其中，WT→s為目標(biāo)詞語(yǔ)對(duì)應(yīng)源語(yǔ)言相似詞語(yǔ)的集合,n為集合大小fvir(wT)生成虛擬實(shí)體嵌入，c∈(0,1)為超參數(shù)，rs為衰減系數(shù)按相似度順序衰減。

2.2.4 基于知識(shí)的雙端增強(qiáng)預(yù)測(cè)方法CKSP-D

相較于前兩種方法，CKSP-D源語(yǔ)言部分使用TransH學(xué)習(xí)的實(shí)體嵌入，目標(biāo)語(yǔ)言使用預(yù)訓(xùn)練GloVe詞向量。在對(duì)齊時(shí)，區(qū)別于雙語(yǔ)詞嵌入對(duì)齊，通過(guò)對(duì)齊源語(yǔ)言知識(shí)圖譜內(nèi)的實(shí)體嵌入和目標(biāo)語(yǔ)言的預(yù)訓(xùn)練詞嵌入來(lái)實(shí)現(xiàn)知識(shí)信息引入。文獻(xiàn)[8]的思想實(shí)現(xiàn)嵌入對(duì)齊，其中，S和T分別代表實(shí)體嵌入和目標(biāo)語(yǔ)言詞嵌入矩陣，Si與Ti分別代表矩陣的第i行詞語(yǔ)的詞嵌入，W為線性變換矩陣，目標(biāo)是通過(guò)線性變換SW得到最近似T，即SW=T公式如下：

為了更好使用義原和知識(shí)圖譜中信息，對(duì)實(shí)體嵌入向量進(jìn)行改造，融合更多義原信息，公式如下：

同時(shí)，為保持詞向量在單語(yǔ)言上的特性，將W限制成正交陣，即WTW=I，進(jìn)而得到W=VUT，TTS=UΣVT，為此可以使用SVD矩陣分解得到矩陣W。最后將源語(yǔ)言實(shí)體嵌入和目標(biāo)語(yǔ)言預(yù)訓(xùn)練嵌入單位化和中心化目標(biāo)函數(shù)為：

在預(yù)測(cè)時(shí)，使用與CKSP-S相同的方式，公式如下：

2.3 組合模型

相較于已有模型從語(yǔ)義角度提取信息預(yù)測(cè)義原，本文提出的模型從關(guān)系角度利用外部知識(shí)信息預(yù)測(cè)義原。兩者從兩個(gè)不同方實(shí)現(xiàn)了對(duì)目標(biāo)語(yǔ)言詞語(yǔ)的義原的預(yù)測(cè)，為了綜合兩個(gè)模型的不同方面，最后提出了模型組合的方式，組合方式如下：

其中，Pensemble(s|wT)代表組合模型的預(yù)測(cè)分?jǐn)?shù)，λp為超參數(shù)是組合權(quán)重，PCKSP-X為CKSP系列模型中的任意一種。

3 實(shí)驗(yàn)

本部分闡述了實(shí)驗(yàn)中所使用的數(shù)據(jù)集以及實(shí)驗(yàn)中的超參數(shù)設(shè)置，將知識(shí)引導(dǎo)的跨語(yǔ)言義原預(yù)測(cè)模型與現(xiàn)有基線模型作對(duì)比，比較模型的性能表現(xiàn)，同時(shí)設(shè)置不同的分析實(shí)驗(yàn)考察知識(shí)對(duì)跨語(yǔ)言義原預(yù)測(cè)的作用，最后挑選典型例子進(jìn)行分析。

3.1 數(shù)據(jù)集

實(shí)驗(yàn)中以中文作為源語(yǔ)言，英文作為目標(biāo)語(yǔ)言，并采用與文獻(xiàn)[4]相同的數(shù)據(jù)集HowNet和詞-義原知識(shí)圖譜，具體細(xì)節(jié)如下：

HowNet數(shù)據(jù)集，包含103,843個(gè)中英文對(duì)照詞匯并使用2,000多個(gè)義原進(jìn)行標(biāo)注，與基線模型[9]使用了相同的中文語(yǔ)料,保留66,794個(gè)詞語(yǔ)和1,752個(gè)義原。

詞-義原知識(shí)圖譜，本文從HowNet和詞林?jǐn)U展版中抽取詞語(yǔ)，添加同義、近似和義原關(guān)系并形成三元組映射關(guān)系。最終知識(shí)圖譜中包含了65,630個(gè)詞語(yǔ)、1,752個(gè)義原，包含了132,077組同義關(guān)系映射，173,038組近似關(guān)系映射，165,088組義原關(guān)系映射。

跨語(yǔ)言義原預(yù)測(cè)使用的單語(yǔ)言中英文詞嵌入，分別使用Sogou-T和Wikipedia語(yǔ)料訓(xùn)練得到。種子詞典與文獻(xiàn)[9]基線模型相同使用6,752對(duì)中英文詞匯。

3.2 實(shí)驗(yàn)設(shè)置

基線模型選用目前跨語(yǔ)言預(yù)測(cè)效果最好的模型CSPWE[4]。實(shí)驗(yàn)中，中英文詞語(yǔ)、義原和關(guān)系向量的維度均采用800維，使用Adam優(yōu)化器優(yōu)化訓(xùn)練學(xué)習(xí)率設(shè)置為0.05，L1中超參數(shù)∈值設(shè)置為4，衰減系數(shù)c設(shè)置為0.8，組合模型的λ1∈[0.9,0.95]和λ2∈[0.05,0.1]隨不同組合方式不斷變化。

3.3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)中選取BiLex[9]傳統(tǒng)方法和CSPWE[4]最優(yōu)方法作為基線模型，與CKSP系列模型作對(duì)比。同時(shí)，和CSPWE組合形成組合模型，評(píng)估不同組合模型的效果，實(shí)驗(yàn)結(jié)果如表1所示：

表1 主試驗(yàn)結(jié)果Tab.1 Main test results

(1)首先，考察單一模型預(yù)測(cè)效果，可以看到引入外部知識(shí)的CKSP系列模型顯著提升了預(yù)測(cè)性能。在系列模型中，CKSP-W模型的表現(xiàn)最好，優(yōu)于經(jīng)典對(duì)齊模型BiLex，說(shuō)明了知識(shí)信息引入對(duì)跨語(yǔ)言義原預(yù)測(cè)任務(wù)的有效性。然而，與最優(yōu)模型CSPWE相比CKSP系列模型的性能較差，CKSP系列模型僅從知識(shí)圖譜中獲取同義、同類關(guān)系信息語(yǔ)義信息相對(duì)薄弱，而CSPWE模型從大規(guī)模語(yǔ)料庫(kù)預(yù)訓(xùn)練的詞向量中獲取帶有豐富上下文背景的語(yǔ)義信息預(yù)測(cè)相對(duì)較好。

(2)從組合模型實(shí)驗(yàn)結(jié)果看，所有組合模型均優(yōu)于CSPWE基線模型，說(shuō)明CKSP系列模型引入知識(shí)圖譜中的關(guān)系信息是對(duì)基線模型的有效補(bǔ)充。其中，CKSP-D直接在源語(yǔ)言和目標(biāo)語(yǔ)言兩端進(jìn)行對(duì)齊，對(duì)基線模型性能的改善最為顯著。而CKSP-S模型和CKSP-W模型只運(yùn)行在源語(yǔ)言中，與目標(biāo)語(yǔ)言的關(guān)系較小知識(shí)引導(dǎo)效果不明顯，因此提升效果一般。

3.4 消融實(shí)驗(yàn)結(jié)果

3.4.1 詞性分析

詞性不同對(duì)應(yīng)上下文信息和詞義數(shù)目也不同，跨語(yǔ)言義原預(yù)測(cè)的精度也不一樣，為此，本實(shí)驗(yàn)分析了詞性對(duì)跨語(yǔ)言義原預(yù)測(cè)的影響。在知識(shí)圖譜中，關(guān)系被定義成三元組形式詞性不同對(duì)應(yīng)上下文信息和詞義數(shù)目也不同，跨語(yǔ)言義原預(yù)測(cè)的精度也不一樣，為此，本實(shí)驗(yàn)分析了詞性對(duì)跨語(yǔ)言義原預(yù)測(cè)的影響。在知識(shí)圖譜中，關(guān)系被定義成三元組形式(h eadword,tail(word∪sememe),relation)，目標(biāo)語(yǔ)言詞語(yǔ)對(duì)應(yīng)多個(gè)源語(yǔ)言詞語(yǔ)，為了便于分析詞性的影響定義了平均三元組的概念，公式如下：

其中，ws和wt是源語(yǔ)言和目標(biāo)語(yǔ)言詞語(yǔ)的詞嵌入，Tri(ws)是源語(yǔ)言詞語(yǔ)對(duì)應(yīng)三元組數(shù)目。實(shí)驗(yàn)結(jié)果如表2所示：

表2 詞性消融實(shí)驗(yàn)結(jié)果Tab.2 Experimental results of part of speech ablation

如表2所示，與CSPWE相比除CKSP-S模型在動(dòng)詞和形容詞精度下降外，其他實(shí)驗(yàn)組性能有明顯提高。名詞的性能提升效果最為明顯，而動(dòng)詞的性能提升效果較差。原因是名詞的三元組數(shù)量最多，而動(dòng)詞的三元組數(shù)量最少。這印證了從知識(shí)圖中獲得的信息越多，對(duì)改進(jìn)預(yù)測(cè)效果越好。

3.4.2 平均詞度分析

知識(shí)圖譜中度表示詞語(yǔ)中關(guān)系的數(shù)目，度越多關(guān)系越多提供給跨語(yǔ)言義原預(yù)測(cè)任務(wù)的信息越多，本實(shí)驗(yàn)分析詞度大小對(duì)跨語(yǔ)言義原預(yù)測(cè)的影響。為了便于分析詞性的影響定義了平均詞度的概念，公式如下：

其中，ws和wt是源語(yǔ)言和目標(biāo)語(yǔ)言詞語(yǔ)的詞嵌入，Deg(ws)是源語(yǔ)言詞語(yǔ)對(duì)應(yīng)詞度的大小。如圖1所示可以看出，隨著目標(biāo)語(yǔ)言單詞詞度的提高，CKSP系列組合模型的預(yù)測(cè)性能不斷提高。結(jié)果表明，知識(shí)圖中對(duì)應(yīng)源語(yǔ)言詞的關(guān)系越多，目標(biāo)詞的預(yù)測(cè)性能越好。

圖1 平均詞度實(shí)驗(yàn)結(jié)果Fig.1 Experimental results of average word size

4 結(jié)語(yǔ)

本文提出了一個(gè)外部知識(shí)引導(dǎo)的跨語(yǔ)言詞匯語(yǔ)義預(yù)測(cè)模型，該模型旨在將語(yǔ)義信息和特征資源從語(yǔ)義層面擴(kuò)展到關(guān)系角度，并利用有CilinE來(lái)改進(jìn)已有的研究。使不同語(yǔ)言文化背景的研究者在研究中更容易地利用義原資源。實(shí)驗(yàn)部分，驗(yàn)證了引入外部關(guān)系知識(shí)的有效性，也同時(shí)表明該方法能顯著提高現(xiàn)有跨語(yǔ)言模型的性能。在未來(lái)將嘗試使用更多的外部知識(shí)，探索更多的方式導(dǎo)入知識(shí)，提供不同語(yǔ)言的各種義原資源，也將研究如何使用義原豐富外部知識(shí)。

…………

引用

[1] BLOOMFIELD L.A Set of Postulates for the Science of Language[J].Language,1926,2(3):153-154.

[2] CLIFF G,ANNA W.Semantic and Lexical Universals: Theory and Empirical Findings[M].Philadelphia:John Benjamins Publishing Company,1994.

[3] DONG Z D,DONG Q.HowNet-A Hybrid Language and Knowledge Resource[C]//International Conference on Natural Language Processing and Knowledge Engineering.Beijing China:IEEE,2003:820-824.

[4] QI F C,LIN Y K,SUN M S,et al.Cross-lingual Lexical Sememe Prediction[C]//Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing,2018:358-368.

[5] CHE W X,LI Z G,LIU T.LTP:A Chinese Language Technology Platform[C]//COLING 2010:International Conference on Computational Linguistics,2010:13-16.

[6] LIN Y K,LIU Z Y,SUN M S,et al.Learning Entity and Relation Embeddings for Knowledge Graph Completion[C]//Proceedings of the Twenty-Ninth AAAI Conference on Artificial Intelligence. Austin Texas:AAAI Press,2015:2181-2187.

[7] WANG Z,ZHANG J W,FENG J L,et al.Knowledge Graph Embedding by Translating on Hyperplanes[C]//Proceedings of the Twenty-Eighth AAAI Conference on Artificial Intelligence. Québec Canada:AAAI Press,2014:1112-1119.

[8] ARTETXE M,LABAKA G,AGIRRE E.Learning Principled Bilingual Mappings of Word Embeddings while Preserving Monolingual Invariance[C]//Conference on Empirical Methods in Natural Language Processing.Austin Texas:Association for Computational Linguistics,2016:2289-2294.

[9] 張檬,劉洋,孫茂松.基于非平行語(yǔ)料的雙語(yǔ)詞典構(gòu)建[J].中國(guó)科學(xué):信息科學(xué),2018,48(05):564-573.