TransRD： 一種不對等特征的知識圖譜嵌入表示模型

朱艷麗,楊小平,王 良,張志宇

(1. 中國人民大學 信息學院 北京 100872；2. 河南科技學院 信息工程學院，河南 新鄉(xiāng) 453003)

0 引言

實際應用中，研究人員發(fā)現(xiàn)雖然現(xiàn)有知識圖譜是由大量的事實三元組組成，但仍存在不完備性問題，進而引發(fā)對大規(guī)模知識圖譜自動補全方面的大量研究[1-4]。本文旨在提供一種新的知識圖譜表示方法，對具有不對等特征的知識圖譜中的實體和關(guān)系進行建模，獲得其更精確的表示，提高知識圖譜補全性能。在研究中，我們發(fā)現(xiàn)現(xiàn)有知識圖譜，尤其是領(lǐng)域知識圖譜在語義、鏈接結(jié)構(gòu)和關(guān)系兩端頭尾實體數(shù)量上存在很大差異[5-6]，即知識圖譜中的頭尾實體具有不對等特征。現(xiàn)有的知識圖譜表示方法，包括TransR[7]，雖然有良好的知識表達能力，但對具有不對等特征的知識圖譜中實體和關(guān)系建模仍存在以下兩大缺陷。

缺陷一知識圖譜中實體和關(guān)系建模時，沒有考慮其在語義、局部鏈接結(jié)構(gòu)和關(guān)系兩端的實體數(shù)量三個方面存在的不對等特征，平等對待頭尾實體并以同樣的方式將它們嵌入到關(guān)系空間中。具體來說： ①頭尾實體的語義不對等，大多數(shù)頭尾實體來自不同的語義空間; ②頭尾實體的局部鏈接結(jié)構(gòu)不對等，同一關(guān)系兩端的頭尾實體的入度或出度可能不同，影響其所涵蓋的語義及其在知識圖譜中出現(xiàn)的次數(shù); ③關(guān)系兩端的頭尾實體數(shù)量不對等，一些關(guān)系鏈接許多頭(尾)實體和很少的尾(頭)實體，如關(guān)系-syntax-ns#type，其每個頭節(jié)點對應平均尾節(jié)點個數(shù)是1.4，而每個尾節(jié)點對應平均頭節(jié)點的個數(shù)是1 642。

缺陷二每個關(guān)系單獨配置一個投影矩陣，不同關(guān)系的嵌入是獨自學習的，沒有對關(guān)系之間的相關(guān)性進行建模，導致知識共享困難，泛化能力差。具體來說，知識圖譜中不同的關(guān)系可連接到一個共同的實體，關(guān)系之間顯然存在一定程度的相關(guān)性。邏輯相關(guān)或相似的關(guān)系由于彼此之間相關(guān)性強，關(guān)系之間存在共同信息[8]。但采用TransR建模方式，這些關(guān)系可能被投影在不同的空間，難以共享關(guān)系之間的共同信息。在訓練過程中只有包含足夠三元組關(guān)系才能學到較好的嵌入，而包含極少三元組的關(guān)系的投影矩陣只能得到極少次數(shù)的更新，難以學到較好的嵌入，導致泛化能力差[9]。

1 相關(guān)工作

近年來，研究人員已經(jīng)提出許多知識圖譜補全方法，概括起來可分為兩大類[12]： 第一類是基于符號和邏輯的表示方法。采用這種表示方式，知識圖譜是符號化的，并具有邏輯性，因此數(shù)值化的機器學習方法和技術(shù)均不能應用到知識圖譜上；第二類是知識圖譜嵌入表示方法。該方法在保留原始知識圖譜特定屬性的同時，將實體和關(guān)系映射到低維向量空間中，使得一大批高效的數(shù)值化計算和推理方法得以適用，在鏈接預測和關(guān)系抽取等多個任務中都顯示出其有效性。與第一類方法相比，第二類方法更容易計算語義相關(guān)性，是目前進行知識圖譜補全的主流方法，具有很好的泛化能力。鑒于上述優(yōu)點，研究人員提出了若干知識圖譜表示模型，包括平移距離模型和語義匹配模型兩大類[13]。其中，平移距離模型采用基于距離的評分函數(shù)，典型代表有TransE[1]及其擴展模型、高斯嵌入模型KG2E[14]和結(jié)構(gòu)嵌入模型SE[15]等。而語義匹配模型則使用基于相似度的評分函數(shù)，代表性工作有雙線性模型RESCAL[2]及其擴展模型、語義匹配能量模型SME[16]和神經(jīng)張量網(wǎng)絡模型NTN[3]等。

本文主要考慮平移距離模型的知識圖譜表示方法，利用正負例元組之間基于邊際的損失函數(shù)將實體向量和關(guān)系向量關(guān)聯(lián)起來，并優(yōu)化該損失函數(shù)，當達到優(yōu)化目標時，就可以學得知識圖譜中每個實體的向量和關(guān)系的向量，從而更好地應用于大規(guī)模知識圖譜補全中[17]。TransE是其中最具有代表性的方法，在取得較好的預測表現(xiàn)的同時，保持足夠的簡潔性和高效性。但由于忽略實體的語義在不同的關(guān)系下可能不一樣，TransE在處理自反、一對多、多對一和多對多等復雜關(guān)系時存在局限性，不能良好地區(qū)分具有復雜關(guān)系的實體。為解決上述缺陷，TransR最先將實體嵌入到關(guān)系相關(guān)的空間中，將實體和關(guān)系放置在不同的空間中，然后在投影空間中對平移屬性進行建模。典型的模型還有TransD[18]、STransE[10]和ITransF[9]等。

2 頭尾實體不對等性分析

以實驗所用的知識圖譜WN18、FB15K和 MPBC_20為例，分析其在語義、局部鏈接結(jié)構(gòu)和關(guān)系兩端的實體數(shù)量三個方面存在的不對等特征。

2.1 頭尾實體的語義不對等

知識圖譜中的知識通常用三元組表示，其中h是頭實體，t是尾實體，r表示頭尾實體之間的關(guān)系。還可解釋為<主語，謂語，賓語>。這說明h,r,t不僅是一種符號表示，還被賦予相應的語義?，F(xiàn)有模型TransR假定頭尾實體位于同一個語義空間，采用相同的轉(zhuǎn)換矩陣將它們映射到關(guān)系空間,通過對頭尾實體和關(guān)系的嵌入進行簡單的算術(shù)運算計算出評分函數(shù)的值。然而，在實際應用的知識圖譜中，頭實體(主語)通常更具體，尾實體(賓語)更抽象，將它們看成是來自同一語義空間是不合理的[19]。以MPBC_20中的三元組(Charles，hasTerm，pulmonary embolism)為例，其頭實體的語義類別是人，尾實體的語義類別是疾病，分別屬于不同的語義類別。

2.2 頭尾實體的局部知識結(jié)構(gòu)不對等

知識圖譜是有向圖，頭尾實體的局部知識結(jié)構(gòu)不對等指的是關(guān)系兩端節(jié)點的入度或出度不同。圖1所示MPBC_20訓練集中前10 000個三元組頭尾節(jié)點的入度和出度的統(tǒng)計信息，其中圖(a)和(b)分別顯示的是頭尾節(jié)點的入度和出度信息，橢圓形以內(nèi)的點具有相同的入度(出度)值。只有當三元組在圖(a)和(b)都落到橢圓區(qū)域內(nèi)，才能稱其頭尾實體的局部知識結(jié)構(gòu)對等。從圖中可清楚地看到，具有不對等的特征的三元組在訓練集中占有很大比例。因此，該知識圖譜頭尾實體的局部鏈接結(jié)構(gòu)具有不對等特征，而這種特征影響實體所涵蓋的語義及其在知識圖譜中學習時出現(xiàn)的次數(shù)。

圖1 MPBC_20訓練集中前10000個三元組頭尾節(jié)點的入度和出度的統(tǒng)計信息

2.3 關(guān)系兩端的頭尾實體數(shù)量不對等

以基準知識圖譜FB15K和WN18為例，從統(tǒng)計角度分析知識圖譜的關(guān)系兩端的實體數(shù)量不對等。對于知識圖譜的每一種關(guān)系，首先統(tǒng)計①每個頭實體對應尾實體的平均數(shù)量(記為tph)和②每個尾實體對應頭實體的平均數(shù)量(記為hpt)兩方面信息。然后計算出這兩方面數(shù)值的均值(mean)和標準偏差(standard deviation，STDEV)，用于衡量知識圖譜的不對等程度及其變化情況。其中，均值表示整個知識圖譜中每個頭(尾)節(jié)點平均有多少尾(頭)節(jié)點相應，而標準偏差反映出關(guān)系兩端節(jié)點的不對等映射程度的變化情況。直觀上看，均值越大，知識圖譜不對等程度越高，而標準偏差值越大，則知識圖譜不對等程度變化范圍越大。表1列出實驗所用數(shù)據(jù)集上頭(尾)節(jié)點平均對應尾(頭)節(jié)點的相關(guān)統(tǒng)計信息。

表1中WN18數(shù)據(jù)集的tph 的均值為4.0，而hpt的均值為4.1，這說明WN18數(shù)據(jù)集從整體上關(guān)系兩端的實體數(shù)量是不對等的。標準偏差值6.0和6.2則表明不對等程度在不同的關(guān)系中存在較大的差異。與WN18信息對比后，我們發(fā)現(xiàn)FB15K數(shù)據(jù)集中tph和hpt的值分別為7.8和16.5，高于WN18中的相應值，說明該數(shù)據(jù)集的關(guān)系兩端的實體數(shù)量不對等程度較WN18高。另外，其hpt和tph的標準偏差值相當大，表明不對等程度在該數(shù)據(jù)集的不同關(guān)系中存在相當大的差異。而MPBC_20中尾實體對應的平均頭實體數(shù)量是頭實體對應的平均尾實體數(shù)量的39.5倍，表明MPBC_20數(shù)據(jù)集中關(guān)系兩端的實體數(shù)量不對等程度非常高。其hpt標準偏差的值高達375.2，表明從尾部實體到頭部實體的不對等程度在不同的關(guān)系中差異非常大。

表1 數(shù)據(jù)集中關(guān)系兩端節(jié)點數(shù)量的統(tǒng)計信息

上述統(tǒng)計分析結(jié)果表明，實驗中用到的三個知識圖譜均存在不同程度的不對等問題，尤其在領(lǐng)域知識圖譜中該問題更為嚴重。具體地，以MPBC_20為例，頭實體對應的尾實體的數(shù)量遠遠小于尾實體對應的頭實體數(shù)量，這意味著在學習的過程中，尾實體這邊的實體出現(xiàn)頻繁，頭實體這邊的實體出現(xiàn)次數(shù)少，所以兩者不能同等對待。我們應該在建模中分別對待它們，以便學習到合理的實體和關(guān)系嵌入。

3 TransRD知識表示方法

針對TransR模型的兩大缺陷，TransRD模型分別采用頭尾實體不對等投影和建模關(guān)系相關(guān)性方法來加以解決。

3.1 頭尾實體不對等投影方法

TransRD模型將頭尾實體與其相應的投影矩陣關(guān)聯(lián)起來，根據(jù)不對等程度和變化情況自適應地動態(tài)調(diào)整參數(shù)和設(shè)置投影矩陣的秩。具體地，首先，對頭尾實體采用不同的投影矩陣，使其可以來自不同的語義空間，從而避免現(xiàn)有模型中語義空間上的同質(zhì)性假設(shè)，實現(xiàn)從語義上對頭尾節(jié)點進行區(qū)分；其次，根據(jù)不對等特征采用ADADELTA算法自適應地實現(xiàn)學習，使得頻繁實體具有較大的學習率，這樣一來不會出現(xiàn)因為訓練時間過長而過擬合現(xiàn)象。而不頻繁實體則設(shè)置較小的學習率，使其有充分的學習時間，也不會出現(xiàn)欠擬合現(xiàn)象；最后，根據(jù)知識圖譜中頭尾實體的數(shù)量不對等程度確定相應投影矩陣的秩。例如，對于知識圖譜MPBC_20，由于每個尾實體對應的頭實體數(shù)量非常大，我們應該對頭實體這端采用低秩投影矩陣。對于尾部實體這端可直接使用滿秩的投影矩陣，因為相對頭實體而言，尾實體的數(shù)量相當小。

3.2 建模關(guān)系相關(guān)性

TransR模型采用不對等投影方法后，由于每個關(guān)系單獨配置一個投影矩陣，忽略其內(nèi)在相關(guān)性，仍存在參數(shù)過多和知識共享困難問題，其他典型的關(guān)系投影方法TransD[18]和 STransE[10]也存在同樣的問題。上述問題主要是由于忽略關(guān)系的內(nèi)在相關(guān)性造成的，導致邏輯相關(guān)或相似的關(guān)系可能被投影在不同的空間，難以共享這些關(guān)系之間存在的共同信息，使得稀有關(guān)系在訓練中只能得到極少次數(shù)的更新，泛化能力差。因此，我們的方法通過建模關(guān)系的內(nèi)在相關(guān)性來改善上述問題，鼓勵在同一組關(guān)系的投影矩陣中共享公共信息，減輕了數(shù)據(jù)稀疏問題。根據(jù)關(guān)系對之間的相關(guān)程度，對關(guān)系按語義進行分組，采用語義相似關(guān)系使用同一對投影矩陣的方式來提高知識表示的性能。

3.2.1 關(guān)系之間存在相關(guān)性

將TransE模型學習出的關(guān)系向量組成嵌入關(guān)系矩陣R∈Rd×Nr，其中，Nr是關(guān)系的數(shù)量，d是嵌入空間的維度。采用皮爾遜相關(guān)系數(shù)(PCC)來證明知識圖譜中關(guān)系之間存在相關(guān)性。具體地，首先根據(jù)嵌入關(guān)系矩陣R來計算每個關(guān)系對的PCC值，得到一個對稱矩陣，記為P，其任意元素Pij的值表示第i個關(guān)系和第j個關(guān)系構(gòu)成的關(guān)系對的相關(guān)度，該矩陣的對角線的值通常為1；其次，統(tǒng)計出PCC值超過給定閾值的相關(guān)關(guān)系所占的百分比。掃描矩陣P所有列，對于每一列，如果該列除對角線元素以外的任一元素的值大于等于給定閾值，相關(guān)關(guān)系的數(shù)量加1；最后，我們得到如圖2所示的結(jié)果。其中，PCC值如果在區(qū)間[0.2,0.4)表示弱相關(guān),在[0.4,0.6)表示中度相關(guān)，而在[0.6,1.0]則表示強相關(guān)。從圖中可看出，本文實驗所用的三個數(shù)據(jù)集WN18、FB15K和MPBC_20中，至少有70%的關(guān)系強于弱相關(guān)，約50%的關(guān)系強于中度相關(guān)，還有約20%的關(guān)系彼此之間具有很強的相關(guān)性。以上結(jié)果充分證明這三個數(shù)據(jù)集中關(guān)系之間存在相關(guān)性。

圖2 數(shù)據(jù)集中強于弱相關(guān)、中度相關(guān)和強相關(guān)的相關(guān)關(guān)系所占比例

3.2.2 按相關(guān)性分組建模

3.3 TransRD模型

3.3.1 模型

評分函數(shù)如式(3)所示。

fr(h,t)=-||hp+r-tp||L1/L2

(3)

其中r∈Rm，正確三元組的分數(shù)可能會更高，而損壞三元組的分數(shù)可能會更低。實驗中，我們約束‖h‖2≤1,‖r‖2≤1,‖t‖2≤1,‖hp‖2≤1,‖tp‖2≤1。

3.3.2 訓練目標

我們將下面的基于邊際的評分函數(shù)定義為訓練目標，如式(4)所示。

(4)

其中[x]+?max(0,x)，γ是邊界參數(shù)，Δ是由正確三元組構(gòu)成的訓練集，而Δ′={(h′,r,t)|h′∈ε,(h′,r,t)?Δ}∪{(h,r,t′)|t′∈ε,(h,r,t′)?Δ} 是由損壞三元組構(gòu)成的集合。采用TransH[20]中的采樣策略替換頭實體或尾實體。具體模型訓練時，采用經(jīng)典的隨機梯度下降SGD(stochastic gradient descent)法來優(yōu)化上述目標函數(shù)。

3.3.3 算法實現(xiàn)

為了加快收斂速度，避免過擬合，我們使用TransE模型訓練出的實體向量和關(guān)系向量進行初始化。使用的轉(zhuǎn)換矩陣是對稱矩陣，并用單位矩陣進行初始化。SGD使用全局學習率更新所有參數(shù)，不考慮數(shù)據(jù)特征。但是，從前面的分析可以看出，不頻繁的實體需要更長的學習時間，而頻繁的實體需要更短的學習時間。因此，我們采用了一種稱為ADADELTA自適應的梯度下降方法進行梯度更新。ADADELTA 使用 RMS ofE[g2]t和E[Δx2]t-1來更新參數(shù)，如式(5)所示。

(5)

在公式(5)中，分子RMS[Δx]t-1量值滯后于分母1個時間單位. 其中之前的平方梯度和參數(shù)更新如式(6)、式(7)所示。

其中,ε是常量，ρ為衰減常數(shù)。TransRD實施細節(jié)詳見算法1。

算法1 Learning TransRD

13: if‖ep‖2>1,ep=hp,tp,hp′ort′pthen14: ep←ep/‖ep‖215: endif16: endfor17: for t=1:Tdo18: computegt19: E[g2]t←ρE[g2]t-1+(1-ρ)gt20: Δxt=-RMS[Δx]t-1RMS[g]tgt21: E[Δx2]t=ρE[Δx2]t-1+(1-ρ)Δx2t22: xt=xt-1+Δxt23: endfor24:endloop

4 實驗與結(jié)果

4.1 數(shù)據(jù)集構(gòu)建

為了評估鏈接預測的效果，我們首先使用TransR[7]使用的WN18(Wordnet)和FB15K(Freebase)數(shù)據(jù)集進行實驗，并使用與TransR相同的方法分割訓練集、驗證集和測試集。還使用不對等特征顯著的領(lǐng)域知識圖譜 MPBC_20來驗證所提方法的有效性。該數(shù)據(jù)集有175 624個實體，20個關(guān)系，以及811 785個三元組。我們按8∶1∶1的比例生成訓練集、驗證集和測試集，訓練集有649 439個三元組，驗證集有81 603個三元組，測試集有80 743個三元組。在MPBC_20中，我們發(fā)現(xiàn)有實體出現(xiàn)在驗證集和測試集中，但沒有出現(xiàn)在訓練集中,這類實體稱為空實體。在驗證集和測試集中，分別有7 910(9.7%)和7 915(9.8%)個三元組包含上述實體。由于本文模型不能像NTN模型[3]那樣從訓練出的詞向量中獲得實體的向量表示，需去除驗證集和測試集中包含空實體的三元組。三個數(shù)據(jù)集的信息如表2所示。

表2 實驗所用數(shù)據(jù)集的統(tǒng)計信息

4.2 采樣策略

為了減少產(chǎn)生錯誤三元組的機會，我們采用TransH[20]首先提出的方法替換頭或尾實體生成損壞三元組。具體來說，在關(guān)系r的所有三元組中，我們首先得到兩個統(tǒng)計量: ①每個頭實體對應尾實體的平均數(shù)量tph; ②每個尾實體對應頭實體的平均數(shù)量hpt。然后定義一個參數(shù)為p的伯努利分布，如式(8)所示。

(8)

給定關(guān)系r的一個黃金三元組(h,r，t)，我們用概率1-p替換頭實體來生成損壞三元組，用概率p替換尾實體來生成損壞三元組。

4.3 評價準則與實現(xiàn)

4.3.1 評價準則

與TransR[7]類似，采用黃金三元組的平均排序得分(記為Mean Rank)和黃金三元組排序不大于10的比例(記為Hits@10)作為評估準則。在本文中，我們報告“過濾”結(jié)果，即將“干擾”的損壞三元組從訓練集、驗證集和測試集中去除，然后得到正確實體的排名。我們報告每個模型的Mean Rank和Hits@10值。Mean Rank值越低或Hits@10值越高，準確性越高。

4.3.2 實施細節(jié)

在WN18和FB15K上，本文參考TransR[7]的實驗結(jié)果。訓練TransRD時,使用ADADELTA算法進行優(yōu)化，選擇邊界值γ為{1，2，3，4，4.5，5，5.5，6，6.5，7,8}，實體和關(guān)系向量的維度n和m為 {20，50，100},塊大小B為{100，120，200，480，1 400，4 800}，延遲率ρ為{0.8，0.85，0.90，0.95，0.99}和常量ε為{1E-2，1E-4，1E-6，1E-8}。用“unif.”表示傳統(tǒng)的等概率替代頭實體或者尾實體的方法，用 “bern.” 表示使用伯努利抽樣策略的方法，即用不同的概率來代替頭實體或者尾實體。

最優(yōu)參數(shù)由驗證集確定。采用等概率采樣時，最優(yōu)參數(shù)配置如下: 在WN18上，ρ=0.95,ε=1E-6，γ=6，m=n=100，B=100; 在FB15K上，ρ=0.90,ε=1E-4，γ=1，m=n=50，B=4 800; 在MPBC_20上，ρ=0.99,ε=1E-8，γ=6，m=n=100，B=200。采用伯努利采樣時，最優(yōu)參數(shù)配置如下: 在WN18上，ρ=0.85,ε=1E-8，γ=6.5，m=n=100，B=200; 在FB15K上，ρ=0.99,ε=1E-8，γ=1，m=n=100，B=480; 在MPBC_20上ρ=0.90,ε=1E-6，γ=5.5，m=n=100，B=100。對于這三個數(shù)據(jù)集，本實驗將所有的訓練三元組迭代2 000次。

4.4 鏈接預測

鏈接預測是對一個黃金三元組(h，r，t)缺失的h或t進行預測，我們將去掉頭或尾實體，然后依次用集合中的所有實體替換本文測試集中的每個三元組。我們首先計算這些損壞三元組的得分，然后按降序排列它們，最終記錄正確實體的排名。該任務強調(diào)的是正確實體的排名，而不是只找到最好的一個實體。

4.4.1 基于WN18和FB15K數(shù)據(jù)集的鏈接預測實驗

在WN18和FB15K上的實驗結(jié)果如表3所示，實驗的最優(yōu)值進行加粗以突出顯示。從表3我們可以得出以下結(jié)論: ①在WN18上，TransRD模型相比于其他模型達到最好的性能，Mean Rank指標和Hits@10指標的效果遠優(yōu)于其他模型(包括TransR、STransE和ITransF)，說明我們將頭尾實體分開投影和建模關(guān)系的內(nèi)在相關(guān)性相結(jié)合是成功的； ②在FB15K上，TransRD模型性能與STransE的結(jié)果接近，但在Hits@10指標上低于ITransF。這可能是由于TransRD在對關(guān)系按語義進行分組時所使用的初始化向量是從TransE模型得到的向量，而數(shù)據(jù)集FB15K上關(guān)系類型有1 365種，某些關(guān)系類型的三元組數(shù)量過少，不能有效識別相似關(guān)系，難以確定合適關(guān)系分組數(shù)量； ③在WN18和FB15K上，與TransR相比，TransRD模型將Mean Rank值最多降低了31，而hit @10的準確率至少提高了3.3%，該結(jié)果證明TransRD建模時考慮知識圖譜的不對等特征能減少其在鏈接預測中的負面影響。同時，與STransE比較，TransRD同樣取得一定的進步，這表明建模關(guān)系的內(nèi)在相關(guān)性方法的有效性； ④與等概率采樣相比，伯努利采樣可以減少錯誤三元組的產(chǎn)生。

表3 WN18和 FB15K 數(shù)據(jù)集上鏈接預測計算結(jié)果

為了進一步驗證上面的結(jié)論，深入挖掘分析FB15K上不同關(guān)系不同映射類型的相應結(jié)果，具體數(shù)值如表4所示。從表4可以看出，對于1-to-N和N-to-1關(guān)系類別，TransRD的表現(xiàn)優(yōu)于TransR/ CTransR等模型。這表明分別映射頭尾實體有助于建模復雜的關(guān)系。

表4 FB15K 數(shù)據(jù)集基于關(guān)系類型的計算結(jié)果

續(xù)表

4.4.2 基于MPBC_20數(shù)據(jù)集的鏈接預測實驗

TransRD模型與基準模型TransE、TransH和TransR在MPBC_20上的鏈接預測實驗結(jié)果如圖3所示。從圖3中我們可以看出: ①在Hits@10指標上，TransRD模型顯著優(yōu)于其他基準模型，這個結(jié)果表明TransRD模型能獲得具有不對等特征的知識圖譜的實體和關(guān)系更精確表示，而TransE、TransH和TransR在該任務中取得較為接近的結(jié)果； ②TransRD的Mean Rank值低于TransR，這說明采用分別映射頭尾實體并語義相似關(guān)系使用相同的轉(zhuǎn)換矩陣對方法的有效性。

表5給出在MPBC_20上不同關(guān)系不同映射類型的相應結(jié)果。從表5中可以看出，在N-to-1和N-to-N兩種關(guān)系類型上，TransRD的性能優(yōu)于TransR等模型。這也說明TransRD對實體和關(guān)系的嵌入更加合理。而TransR和TransRD都不能很好地處理1-to-N關(guān)系。這可能由于在該數(shù)據(jù)集中此類關(guān)系的三元組僅占5%，使得模型在訓練過程中只能接觸非常少的三元組，導致性能不佳。

圖3 MPBC_20數(shù)據(jù)集上鏈接預測對比結(jié)果

TasksRelation CategoryPredicting Head(Hits@10)Predicting Tail(Hits@10)1-to-11-to-NN-to-1N-to-N1-to-11-to-NN-to-1N-to-NTransE(unif.) [1]62.621.761.747.463.133.575.155.8TransE(bern.) [1]63.224.737.948.863.432.581.154.5TransH(unif.) [20]58.724.362.447.959.139.376.456.1TransH(bern.)[20]60.622.342.648.761.336.880.953.8TransR(unif.) [7]59.223.248.648.360.337.271.561.3TransR(bern.) [7]61.224.955.350.562.341.081.360.3Our TransRD(unif.)62.822.358.449.363.237.778.562.4Our TransRD(bern.)61.121.430.451.162.038.582.159.9

4.5 不對等性度量

通過前面的分析，我們發(fā)現(xiàn)知識圖譜中的三元組中的頭尾實體在語義、局部鏈接結(jié)構(gòu)和數(shù)量上具有不對等特征。為了讓這種不對等特征不影響模型的準確性，使得模型更容易訓練，我們對TransR模型進行改進。頭尾實體采用不同的投影矩陣，并自適應地調(diào)整參數(shù)，所得到的模型稱為STransR。為了驗證該方法更適應具有不對等特征的知識圖譜嵌入表示，將基準模型TransR和改進的模型STransR在三個數(shù)據(jù)集上訓練，采用實體預測作為實驗載體，度量指標使用Hits@10和Mean Rank，其結(jié)果如圖4和圖5所示。

圖4 頭尾實體采用不同的投影矩陣和自適應算法的實體預測Hits@10值(%)

圖5 頭尾實體采用不同的投影矩陣和自適應算法的實體預測Mean Rank值

從圖4我們可以看出，在Hits@10指標上，模型中頭尾實體采用不同的投影矩陣和自適應算法訓練最少比使用相同的投影矩陣和SGD提升1.7%。在最好的數(shù)據(jù)集FB15K上可以提高11.6%，不對等程度顯著的數(shù)據(jù)集的表示效果提升得更為明顯。這也驗證了該方法的有效性。

同樣，圖5的Mean Rank值也充分說明了這一點。每個數(shù)據(jù)集在使用頭尾實體采用不同的投影矩陣和自適應算法都會比采用相同投影矩陣和SGD有一定改善。不對等程度越高的知識圖譜降低效果越明顯，其中在數(shù)據(jù)集FB15K上降低了38.5。這主要是由于TransR采用矩陣映射，參數(shù)較多，再加上數(shù)據(jù)的不對等程度較高，且變化范圍較大，而ADADELTA算法可以隨著時間的推移動態(tài)調(diào)整參數(shù)，使得小梯度具有較大的學習率，不頻繁實體就有了充分的學習時間。

5 結(jié)論

針對TransR模型在對具有不對等特征的知識圖譜中實體和關(guān)系建模時存在兩大缺陷： 一是假定頭尾實體來自同一語義空間，忽略其在鏈接結(jié)構(gòu)和數(shù)量上的不對等；二是每個關(guān)系單獨配置一個投影矩陣，忽略其內(nèi)在聯(lián)系，導致知識共享困難，存在泛化能力差的問題。本文主要提出一種改進的不對等知識圖表示方法TransRD來解決上述兩個缺陷。TransRD通過對頭尾實體采用不對等投影矩陣的方法，避免語義空間的同質(zhì)性假設(shè)，表征出頭尾實體不對等特征，并通過建模關(guān)系的內(nèi)在相關(guān)性來改善上述問題；將TransE學習到的嵌入關(guān)系矩陣進行PCC相關(guān)性分析，根據(jù)相關(guān)性分析的結(jié)果，將關(guān)系按語義相似性進行分組。采用每組關(guān)系使用同一對投影矩陣的方式來共享公共信息，學習出實體和關(guān)系更好的嵌入，解決泛化能力差的問題。我們在WN8、FB15K和MPBC_20數(shù)據(jù)集上對TransRD進行鏈接預測實驗，實驗結(jié)果表明，采取頭尾不對稱投影是解決問題的關(guān)鍵。

在未來工作中，我們計劃擴展TransRD，以類似于PTransW[21]的方式利用知識圖譜中的關(guān)系路徑信息來進一步提高模型表示能力，并加入關(guān)系類型的語義信息進行改進。此外，我們還將探討如何對實體-屬性關(guān)系單獨建模，以提高模型處理一對多關(guān)系的能力，此類關(guān)系大多由真實知識圖譜中的屬性組成。