概率條件下基于雙目標(biāo)交替優(yōu)化的知識(shí)表示模型

張 欣，王振友

（廣東工業(yè)大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，廣東 廣州 510520）

1960年，Quillian在進(jìn)行自然語言理解的應(yīng)用研究時(shí)提出了語義網(wǎng)絡(luò)概念，側(cè)重描述概念間語義關(guān)系，這是知識(shí)圖譜的起源。語義網(wǎng)和鏈接數(shù)據(jù)是Tim Berners Lee分別在1998年和2006年提出的，是知識(shí)圖譜發(fā)展的基礎(chǔ)。隨后，學(xué)者們構(gòu)建了大量大規(guī)模知識(shí)庫，包括常識(shí)知識(shí)庫Cyc[1]，詞典知識(shí)庫WordNet[2]和世界開源知識(shí)庫FreeBase[3]等。2012年，知識(shí)圖譜的概念由Google正式提出，主要側(cè)重強(qiáng)調(diào)數(shù)據(jù)或事物之間的關(guān)聯(lián)，隨后亞馬遜的Amazon Neptune、微軟的多模數(shù)據(jù)庫CosmosDB以及騰訊云的“星圖”等陸續(xù)出現(xiàn)。

知識(shí)表示學(xué)習(xí)主要包括基于平均距離的模型、語義匹配模型以及融合多源信息的模型等[7]。受word2vec模型[8]的“詞向量在語義空間中具有平移不變性”啟發(fā)，Bordes等[9]提出了TransE模型。TransE簡單高效，但是在處理復(fù)雜關(guān)系時(shí)性能不佳。針對(duì)TransE的局限性，研究者們相繼提出了TransE的很多變體，其中包括TransR[10]和TransD模型[11]。TransD是在TransR基礎(chǔ)上引入了投影向量的概念，這使模型參數(shù)量增加了一倍，且實(shí)體兩種表示之間的關(guān)系不明晰，模型仍存在不可解釋性等問題。

為此，本文針對(duì)TransD模型的缺陷，提出了一種概率分布下雙目標(biāo)交替優(yōu)化的知識(shí)表示模型(以下簡稱PTransD)。首先，通過聚類算法構(gòu)造k個(gè)實(shí)體類與實(shí)體投影一一對(duì)應(yīng)，定義實(shí)體類中心為每一類實(shí)體語義向量的均值，采用“實(shí)體類中心與實(shí)體投影的歐氏距離最短則歸屬一類”的原則來判斷實(shí)體投影所對(duì)應(yīng)的實(shí)體類，這大大減少了模型參數(shù)的數(shù)目。然后本文采用概率代替歐氏距離來表示相似性，借鑒概率分布的原理，用K-L散度值來衡量該任務(wù)的損失。最后將三元組損失學(xué)習(xí)到的實(shí)體表示作為K-L散度損失的先驗(yàn)知識(shí)，雙目標(biāo)交替優(yōu)化[12]訓(xùn)練得到實(shí)體和關(guān)系的向量表示。在模型訓(xùn)練時(shí)，基于伯努利采樣方法，從類間距大的實(shí)體類中選擇實(shí)體進(jìn)行負(fù)采樣，并在數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)分析，驗(yàn)證模型的有效性。

1 相關(guān)工作

平均距離模型是知識(shí)表示學(xué)習(xí)中的代表模型，采用基于距離的評(píng)分函數(shù)，用頭實(shí)體通過關(guān)系進(jìn)行翻譯之后的實(shí)體和尾實(shí)體之間的距離來測量事實(shí)三元組的合理性，其中較有代表性的方法包括TransE、TransH[13]、TransR、TransD、TransF[14]以及TransGH[15]等。

詞向量模型word2vec使每個(gè)詞可以映射到一個(gè)向量，以表示詞對(duì)詞之間的關(guān)系。Bordes等[9]受到此現(xiàn)象啟發(fā)，提出TransE模型。對(duì)于每個(gè)三元組(h,r,t)，關(guān)系向量r是從頭實(shí)體向量h到尾實(shí)體向量t的一個(gè)翻譯操作。TransE提出h+r-t≈0的觀點(diǎn)，要求正確的尾實(shí)體t分布在h+r附近，定義得分函數(shù)為f(h,r,t)=‖h+r-t‖L1/L2，L1為1范數(shù)，L2為2范數(shù)。TransE模型參數(shù)少，計(jì)算簡單，缺點(diǎn)是在遇到自反、一對(duì)多、多對(duì)一以及多對(duì)多等復(fù)雜關(guān)系時(shí)，不同實(shí)體在同一關(guān)系中會(huì)有相同的向量表示。

TransH克服了TransE的上述缺點(diǎn)，將實(shí)體和關(guān)系嵌入到統(tǒng)一的向量空間，把實(shí)體投影到關(guān)系的超平面中進(jìn)行翻譯，即h⊥=h-wTr hwr，t⊥=t-wTr twr，wr為關(guān)系超平面的單位法向量；h⊥為h在實(shí)體空間翻譯以后在關(guān)系空間里的向量表示；t⊥為t在實(shí)體空間翻譯以后在關(guān)系空間里的向量表示。定義得分函數(shù)為f(h,r,t)=‖h⊥+r-t⊥‖。TransH使實(shí)體在不同關(guān)系中有不同的表示，且沒有增加模型的復(fù)雜度和訓(xùn)練難度。

TransE和TransH都是在同一空間中考慮實(shí)體和關(guān)系，然而從本質(zhì)上看實(shí)體和關(guān)系是不同的客觀事物，在同一空間中表示是不合理的。TransR提出不同的關(guān)系關(guān)注實(shí)體的不同屬性，應(yīng)具有不同的語義空間，將不同關(guān)系下的實(shí)體投影到不同的語義空間中進(jìn)行翻譯，即h⊥=hMr，t⊥=tMr，Mr為只和關(guān)系r有關(guān)的投影矩陣。

表1列出了以上所有提及的知識(shí)表示模型的復(fù)雜度。PTransD在時(shí)間復(fù)雜度相等的情況下，空間復(fù)雜度遠(yuǎn)小于TransD，而相比于TransH，PTransD的復(fù)雜度相差不大，且實(shí)驗(yàn)結(jié)果和性能較好，驗(yàn)證詳見第3節(jié)。

表1 各嵌入模型的復(fù)雜度Table 1 Complexity of several embedding models

2 PTransD模型

基于TransD模型存在的問題，本文詳細(xì)地介紹了在此基礎(chǔ)上改進(jìn)的知識(shí)表示模型PTransD。PTransD使用聚類算法和概率分布相似的原理來克服TransD的模型參數(shù)多和實(shí)體兩種表示之間無聯(lián)系的缺陷，并將得分函數(shù)的距離模型和概率分布相似模型集合成一個(gè)模型，從而增強(qiáng)模型的表示能力。

2.1 實(shí)體表示與聚類結(jié)合

模型參數(shù)越多，模型的擬合能力越強(qiáng)，越容易出現(xiàn)過擬合，導(dǎo)致模型泛化能力差，因此本文減少了投影向量個(gè)數(shù)。假定實(shí)體投影向量個(gè)數(shù)為k，對(duì)實(shí)體語義向量e(包括h和t)聚成k類，使實(shí)體類和實(shí)體投影形成一一對(duì)應(yīng)的關(guān)系。聚類標(biāo)準(zhǔn)為計(jì)算每個(gè)e到所有實(shí)體投影epj之間的歐氏距離，每個(gè)e都對(duì)應(yīng)一個(gè)距離最近的epj，對(duì)應(yīng)同一個(gè)epj的實(shí)體自成一類。

為便于數(shù)學(xué)表達(dá)，記epj和對(duì)應(yīng)實(shí)體集組成一個(gè)鄰域U(epj)，epj為該鄰域的鄰域中心，對(duì)應(yīng)實(shí)體集中的元素e被 稱作鄰域向量，記作e∈U(epj)，兩兩鄰域之間互不相交。k個(gè)實(shí)體投影分別為，在實(shí)體空間中對(duì)應(yīng)k個(gè)鄰域，所有實(shí)體就被自然地分為了至多k類。如圖1所示，在第i個(gè)鄰域U()中, 它們所對(duì)應(yīng)的投影向量都為。

圖1 實(shí)體空間實(shí)體分布示意圖Fig.1 Schematic diagram of entity distribution in entity space

所有實(shí)體聚類完成后，頭尾投影矩陣分別表示為

定義關(guān)系空間中被投影的頭實(shí)體h⊥和尾實(shí)體t⊥的表示為

特別地，當(dāng)m≥n時(shí)，式(3)、式(4)可以進(jìn)一步表示為

2.2 實(shí)體空間內(nèi)的概率分布

對(duì)三元組(h,r,t)來說，實(shí)體h、t及關(guān)系r都有兩種表示，用于構(gòu)建投影矩陣的投影向量hpj、tpj、rpj解決了“投影矩陣只與關(guān)系有關(guān)”的問題，但三元組的兩種表示之間的關(guān)聯(lián)信息并沒有在TransD的模型假設(shè)中出現(xiàn)。TransD的實(shí)驗(yàn)結(jié)果顯示，同一類的實(shí)體具有相似的投影向量。因此，不妨提前對(duì)實(shí)體投影做出約束，在實(shí)體空間中，相距越近的實(shí)體e，越有可能屬于同一類，對(duì)應(yīng)的實(shí)體投影epj的距離也應(yīng)該越近。本文提出猜想：若不同類之間的距離相近，對(duì)應(yīng)的實(shí)體投影也應(yīng)該越近。

測量類間距離有很多種方法，包括平均距離法、最短距離法、重心距離法等，但這些方法都涉及大量的兩點(diǎn)距離計(jì)算，故本文提出實(shí)體類中心的概念，使用實(shí)體類中心代替整個(gè)實(shí)體類進(jìn)行類間距離計(jì)算。在實(shí)體空間中，每一類實(shí)體語義向量可以確定一個(gè)實(shí)體類中心，采用算術(shù)平均值的方法計(jì)算k個(gè)實(shí)體類中心，第i類的實(shí)體類中心定義為

式中：N(U())為屬于第i個(gè)鄰域U()的實(shí)體總數(shù)。若第i類實(shí)體集為空，則實(shí)體類中心定義為該類的投影向量，以便后續(xù)計(jì)算。如圖1中，第i類鄰域的實(shí)體類中心為

實(shí)體類中心距離越近，對(duì)應(yīng)的投影向量也越近。常規(guī)的做法是使用歐式距離來表示這種相似性，但是在高維空間中，每個(gè)坐標(biāo)對(duì)歐式距離所做的貢獻(xiàn)往往是不同的，本文把這種距離關(guān)系轉(zhuǎn)換成一種概率來表示相似性。

2.3 模型訓(xùn)練

2.3.1 雙訓(xùn)練目標(biāo)

所有知識(shí)表示模型都采用三元組損失函數(shù)作為目標(biāo)函數(shù)進(jìn)行訓(xùn)練，本文在三元組損失函數(shù)的基礎(chǔ)上增添K-L散度損失函數(shù)作為輔助，完整的損失函數(shù)表示為

2.3.2 負(fù)采樣策略

訓(xùn)練模型時(shí)，需要損壞知識(shí)圖譜中的三元組來構(gòu)建負(fù)例三元組。TransE提出的方法是均勻采樣(隨機(jī)替換頭尾實(shí)體)，但這種抽樣方法在處理一對(duì)多、多對(duì)一以及多對(duì)多的復(fù)雜關(guān)系時(shí)，構(gòu)建的三元組不是負(fù)例的概率較大。針對(duì)上述缺點(diǎn)，TransH提出基于伯努利分布的采樣，以不同的概率來替換頭尾實(shí)體，降低引入錯(cuò)誤負(fù)例的概率。本文在伯努利分布采樣的基礎(chǔ)上，選擇類間距大的類中的實(shí)體來替換頭尾實(shí)體，以便提高模型對(duì)實(shí)體的區(qū)分度。

1) 以不同的概率替換

在生成負(fù)例時(shí)，根據(jù)關(guān)系的類型不同來設(shè)置不同的替換策略。對(duì)于一對(duì)多關(guān)系，以更高的概率來替換頭實(shí)體；對(duì)于多對(duì)一關(guān)系，以更高的概率來替換尾實(shí)體；對(duì)于多對(duì)多關(guān)系，相當(dāng)于多個(gè)多對(duì)一關(guān)系或者一對(duì)多關(guān)系，按前兩種關(guān)系的替換策略來進(jìn)行。

首先提出2個(gè)概念：在一個(gè)關(guān)系的所有三元組中， tph表示每個(gè)頭實(shí)體對(duì)應(yīng)的尾實(shí)體的平均數(shù)量，hpt表示每個(gè)尾實(shí)體對(duì)應(yīng)的頭實(shí)體的平均數(shù)量。當(dāng)tph ＜1.5且hpt ＜1.5時(shí)，則認(rèn)為關(guān)系r是一對(duì)一的；當(dāng)tph ＞1.5且hpt ＞1.5時(shí)，則認(rèn)為關(guān)系r是多對(duì)多的；當(dāng)tph ＜1.5且hpt ≥1.5時(shí)，則認(rèn)為關(guān)系r是多對(duì)一的；當(dāng)tph ≥1.5 且hpt ＜1.5時(shí)，則認(rèn)為關(guān)系r是一對(duì)多的。

不妨假設(shè)實(shí)體從實(shí)體空間翻譯到關(guān)系空間，并沒有改變它們之間的相對(duì)距離關(guān)系。選擇類間距大的類的實(shí)體進(jìn)行替換，確保翻譯到關(guān)系空間的兩個(gè)實(shí)體也相距較遠(yuǎn)。對(duì)于需替換頭實(shí)體的三元組，計(jì)算頭實(shí)體所對(duì)應(yīng)的實(shí)體投影epj到所有實(shí)體投影的距離，并按距離將對(duì)應(yīng)的類別降序排列，表示為{l1,l2,···,lk}。選取第l1類的實(shí)體來替換頭實(shí)體，若第l1類中沒有實(shí)體，則依次遞推選擇第l2類至第lk類中的實(shí)體。

2.3.3 實(shí)現(xiàn)交替優(yōu)化算法

模型訓(xùn)練迭代包含2個(gè)階段：三元組損失和KL散度損失。每次迭代中，首先訓(xùn)練三元組損失2次，得到的實(shí)體向量表示作為K-L散度損失的輸入，再繼續(xù)訓(xùn)練1次，這種交替學(xué)習(xí)的方法在更加關(guān)注三元組損失目標(biāo)的同時(shí)，更好地協(xié)同優(yōu)化模型。算法1給出了PTransD的學(xué)習(xí)算法。

算法1 Learning PTransD

3 試驗(yàn)和結(jié)果分析

本節(jié)介紹PTransD模型的的實(shí)驗(yàn)部分，通過在知識(shí)圖譜上進(jìn)行三元組分類和鏈接預(yù)測來評(píng)估模型的性能。首先介紹這2項(xiàng)工作的評(píng)價(jià)指標(biāo)和實(shí)驗(yàn)結(jié)果，然后與其他模型方法的實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比分析。

3.1 數(shù)據(jù)集

WordNet是世界著名的大型英語詞典知識(shí)庫，其名詞、動(dòng)詞、形容詞和副詞被各自組成同義詞網(wǎng)絡(luò)，并通過關(guān)系連接，可用于語義消歧；FreeBase是一個(gè)完全結(jié)構(gòu)化的大型知識(shí)庫，其內(nèi)容主要來自其社區(qū)成員的貢獻(xiàn)和多種多樣的數(shù)據(jù)庫。本文在WordNet的子集(WN18和WN11)和Freebase的子集(FB15K和FB13)上進(jìn)行實(shí)驗(yàn)。統(tǒng)計(jì)資料如表2所示，可以看出，WN18包含的實(shí)體較多，而FB15K包含的關(guān)系類別較多。

表2 數(shù)據(jù)集的統(tǒng)計(jì)Table 2 Statistics of datasets

3.2 鏈接預(yù)測

在知識(shí)圖譜中，鏈接預(yù)測的任務(wù)是進(jìn)行實(shí)體關(guān)系學(xué)習(xí)，具體地，就是預(yù)測一個(gè)關(guān)系事實(shí)三元組(h,r,t)中所缺失的h和t。在該任務(wù)中，缺失位置的實(shí)體是從知識(shí)圖譜中篩選出的一組候選實(shí)體，按得分進(jìn)行排序，而不是只得到一個(gè)最好的實(shí)體。在訓(xùn)練過程中，對(duì)每個(gè)三元組(h,r,t)，用知識(shí)圖譜中的所有實(shí)體來替換頭實(shí)體或尾實(shí)體，并計(jì)算得分，然后將替換后的三元組按得分進(jìn)行降序排列，通過觀察原三元組在該序列中的位置來評(píng)估模型的性能，位置越靠前說明模型性能越好。

知識(shí)圖譜中存在一些一對(duì)多、多對(duì)一以及多對(duì)多的復(fù)雜關(guān)系，一些損壞三元組也存在于知識(shí)圖譜中，但這些三元組是正確的，排名靠前是合理的。如果直接將這些損壞三元組認(rèn)定為負(fù)例進(jìn)行訓(xùn)練，會(huì)降低模型的表示能力。為了避免這種情況產(chǎn)生，將這種正確的損壞三元組從訓(xùn)練集、驗(yàn)證集和測試集中去除，該實(shí)驗(yàn)設(shè)置稱為“Filt”，而沒有經(jīng)過去除處理的實(shí)驗(yàn)設(shè)置稱為“Raw”。

3.2.1 評(píng)價(jià)指標(biāo)

對(duì)所有訓(xùn)練的三元組按得分進(jìn)行綜合排列，用2個(gè)常用評(píng)價(jià)指標(biāo)衡量模型優(yōu)劣。一是平均排序(Mean Rank)，表示正確實(shí)體在所有候選實(shí)體中的平均排名，排名值越低，正確實(shí)體在排列中的位置越靠前，模型性能越好；二是HIT@10，表示正確實(shí)體排在前十名的概率，概率越大，模型預(yù)測越準(zhǔn)確。

3.2.2 實(shí)驗(yàn)設(shè)置

在這個(gè)任務(wù)中，使用WN18和FB15K作為數(shù)據(jù)集，并都采用Adadelta SGD算法[16]作為優(yōu)化方法，設(shè)置超參數(shù)：ε=1×10-6，ρ=0.95。在訓(xùn)練PTransD時(shí)，在{0.25,0.5,1,2}中選擇邊際γ，在{20,50,80,100}中選擇實(shí)體維度m和關(guān)系n，在{100,200,1 000,1 400}中選擇batch的大小B，在{20,50,100,200}中選擇聚類個(gè)數(shù)k。最佳的參數(shù)由驗(yàn)證集確定。

“unif ”表示均勻采樣，“bern”表示基于伯努利分布的采樣。在“unif”設(shè)置下：在WN18上，γ=1，m=50，n=50，B=200，k=50；在 FB15K上，γ=0.5，m=50，n=100，B=1 400，k=200。在“b e r n”設(shè)置下：在WN18上，γ=1，m=50，n=80，B=1 000，k=50；在FB15K上，γ=0.25，m=100，n=50，B=1 400，k=100。對(duì)于這2個(gè)數(shù)據(jù)集，本實(shí)驗(yàn)將所有訓(xùn)練三元組迭代500次。

3.2.3 實(shí)驗(yàn)結(jié)果

PTransD的鏈接預(yù)測實(shí)驗(yàn)結(jié)果如表3所示，表中加粗的數(shù)字表示在同一指標(biāo)下最優(yōu)模型的實(shí)驗(yàn)結(jié)果。結(jié)果標(biāo)明：(1) 相對(duì)于原模型TransD，PTransD模型的2個(gè)指標(biāo)值有部分提升，HIT@10指標(biāo)值提升更明顯；(2) 對(duì)比2個(gè)數(shù)據(jù)集上的指標(biāo)值，PTransD在FB15K上的結(jié)果較好，證明該模型在關(guān)系復(fù)雜且信息稠密的知識(shí)圖譜上性能更優(yōu)；(3) PTransD相對(duì)于其他模型來說，HIT@10值較高，證明其學(xué)習(xí)的能力更好。

表3 鏈接預(yù)測實(shí)驗(yàn)結(jié)果Table 3 Results of link prediction

為了驗(yàn)證PTransD確實(shí)能夠較好地處理各種復(fù)雜關(guān)系，進(jìn)一步對(duì)不同關(guān)系類型的三元組進(jìn)行實(shí)驗(yàn)。選擇具有更多關(guān)系類型的FB15K數(shù)據(jù)集來進(jìn)行驗(yàn)證。在1 345個(gè)關(guān)系中，1-1關(guān)系占24%，1-n關(guān)系占23%，n-1關(guān)系占29%，m-n關(guān)系占24%，各關(guān)系的比例十分均衡。實(shí)驗(yàn)結(jié)果如表4所示，表中加粗的數(shù)字表示在同一指標(biāo)下最優(yōu)模型的實(shí)驗(yàn)結(jié)果。結(jié)果表明：(1) 相比于TransD模型，PTransD模型在復(fù)雜關(guān)系上的HIT@10值明顯提高；(2) 相比于其他模型，PTransD模型能較好地區(qū)分1-1關(guān)系以及m-n關(guān)系，在另外兩種關(guān)系中性能表現(xiàn)也較好。

表4 FB15K各類關(guān)系的HIT@10值Table 4 HIT@10 of each type of relations in FB15K%

3.3 三元組分類

三元組分類的目標(biāo)是判斷一個(gè)給定的三元組(h,r,t)是否正確。訓(xùn)練過程中，知識(shí)圖譜中的三元組被判斷為“正確”，每個(gè)正例三元組進(jìn)行負(fù)采樣得到的三元組被判斷為“錯(cuò)誤”。在關(guān)系r下的所有三元組可通過計(jì)算最大分類精度值得到一個(gè)閾值 σr，用來判斷一個(gè)三元組“正確”或“錯(cuò)誤”。如果其得分函數(shù)不超過閾值σr，就預(yù)測為正確，反之為錯(cuò)誤。

3.3.1 評(píng)價(jià)指標(biāo)

三元組分類任務(wù)使用準(zhǔn)確率A作為評(píng)價(jià)指標(biāo)，公式為

3.3.3 實(shí)驗(yàn)結(jié)果

表5列出了不同模型的三元組分類精度，表中加粗的數(shù)字表示在同一指標(biāo)下最優(yōu)模型的實(shí)驗(yàn)結(jié)果。在3個(gè)數(shù)據(jù)集上，PTransD模型都比TransD模型分類能力更好，這說明PTransD模型更適用于大規(guī)模知識(shí)圖譜。

表5 不同模型的三元組分類精度Table 5 Accuracy of triple classification of different models%

4 結(jié) 論

本文提出了一種概率分布下基于雙目標(biāo)交替優(yōu)化的知識(shí)表示模型PTransD。針對(duì)翻譯的模型TransD參數(shù)多的問題，PTransD限制實(shí)體投影個(gè)數(shù)，對(duì)實(shí)體進(jìn)行聚類，將“實(shí)體語義向量和實(shí)體投影兩種表示屬于一一對(duì)應(yīng)的關(guān)系”轉(zhuǎn)變成“實(shí)體類和實(shí)體投影屬于一一對(duì)應(yīng)的關(guān)系”。針對(duì)實(shí)體兩種表示之間的關(guān)系無約束的問題，PTransD在對(duì)實(shí)體進(jìn)行聚類的基礎(chǔ)上，通過求平均值計(jì)算每類的實(shí)體類中心，利用概率代替歐氏距離來衡量實(shí)體類中心和實(shí)體投影的概率分布相似性，加強(qiáng)對(duì)實(shí)體投影的約束。采用交替優(yōu)化的方法獲得三元組損失和概率分布下的K-L散度損失，并共同訓(xùn)練模型。為了驗(yàn)證方法的有效性，在WordNet和FreeBase的大規(guī)模真實(shí)數(shù)據(jù)集上對(duì)鏈接預(yù)測和三元組分類任務(wù)進(jìn)行了綜合測評(píng)。實(shí)驗(yàn)結(jié)果表明，PTransD模型有較好的性能，可以應(yīng)用于知識(shí)圖譜的完善和推理中。

在將來的研究中繼續(xù)改進(jìn)PTransD模型，針對(duì)關(guān)系空間中關(guān)系的兩種表示之間的相關(guān)性，引入關(guān)系路徑；還可將PTransD模型應(yīng)用于涉及關(guān)系抽取、知識(shí)推理的任務(wù)中。