復(fù)雜網(wǎng)絡(luò)下基于路徑選擇的表示學(xué)習(xí)方法

劉瓊昕， 龍航， 鄭培雄

(1.北京市海量語言信息處理與云計算應(yīng)用工程技術(shù)研究中心，北京 100081；2.北京理工大學(xué) 計算機(jī)學(xué)院，北京 100081；3. 哈爾濱工程大學(xué) 計算機(jī)學(xué)院，黑龍江，哈爾濱 150001)

目前業(yè)內(nèi)已經(jīng)累積了很多大型知識圖譜knowledge bases(KBs)，如Freebase，DBpedia和YAGO，這些KBs由大量三元組構(gòu)成，知識圖譜中的節(jié)點代表實體，節(jié)點之間的連線代表關(guān)系，每一個三元組描述一個事實，如(Paris，capital-of, France). 在知識圖譜構(gòu)建過程中，存在著知識補全問題. 雖然一個普通的知識圖譜就存在數(shù)百萬的實體和數(shù)億的關(guān)系，但相距完整還差很遠(yuǎn). 知識推理是利用現(xiàn)有知識圖譜中的信息對缺失部分進(jìn)行補全.

在知識推理領(lǐng)域中，經(jīng)典的基于路徑推理是路徑排序算法[1](path ranking algorithm,PRA)，由Lao&Cohen于2010年提出. PRA算法可以看作是沿一組帶有關(guān)系信息的邊上的隨機(jī)游走算法，它與經(jīng)典隨機(jī)游走算法RWR[2]相比，主要優(yōu)勢在于它加入了限制游走的邊的類型信息. 原始的PRA算法的主要思想是將關(guān)系對應(yīng)的路徑集合抽取出來作為推理的特征集合，游走概率作為特征值，然后構(gòu)建分類器訓(xùn)練出每條路徑對應(yīng)的權(quán)值，作為推理的依據(jù). 針對PRA算法的特征集規(guī)模巨大，耗時長等問題，相繼提出了一些改進(jìn)算法[3-5]. 其中有借鑒性的思想是在抽取路徑特征集合時使用雙端廣搜的方式，對于三元組頭尾同時進(jìn)行搜索，根據(jù)搜索交點拼接為最終路徑. 另外在眾多的改進(jìn)算法的實驗過程中，人們發(fā)現(xiàn)使用二值更適合作為路徑特征值，可以節(jié)省計算游走概率時的計算開銷.

另一個知識推理的經(jīng)典算法是基于知識表示的TransE[6]算法，由Bordes于2013年提出，它假設(shè)存在隱式的向量空間，將知識圖譜中的實體和關(guān)系在低維的空間里進(jìn)行表達(dá)，得到連續(xù)的向量. 將兩個實體之間抽象的關(guān)系映射為兩個向量之間的轉(zhuǎn)換關(guān)系. 正式的表示：對于任意三元組(h,r,t)，實體h和t嵌入到向量h和t，關(guān)系r嵌入到向量r都存在h+r≈t. TransE算法在推理方面表現(xiàn)良好，實現(xiàn)簡單，但是對于一對多、多對一、多對多關(guān)系有著很大的缺陷. 后續(xù)提出的算法如TransH[7]和TransR[8]針對TransE模型的缺陷進(jìn)行了改進(jìn)，取得了較好的效果.

當(dāng)前新的研究方向是將知識表示和路徑推理算法相結(jié)合[9-10]，例如PTransE算法，基于TransE的基本假設(shè)，將路徑像實體和關(guān)系一樣在低維向量空間表示出來. 對于任意三元組(h,r,t) 頭尾實體之間的一條路徑p=[r1r2…rl] ，都存在路徑向量p=r1°r2°…rl，運算符°是向量之間的運算方式，作者嘗試了相加、相乘、RNN循環(huán)神經(jīng)網(wǎng)絡(luò)3種結(jié)合方式. 通過將路徑向量化，可以將路徑作為約束加入到最終的得分函數(shù)中. 模型推理效果較之前有很大的提升，由于加入了路徑的約束，模型在一對多和多對多關(guān)系的表現(xiàn)上也十分突出.

但是PTransE的模型中對路徑信息的處理略顯簡單，導(dǎo)致路徑特征空間十分龐大，其中包含著大量冗余路徑，冗余路徑會降低模型的泛化能力，影響推理準(zhǔn)確性. 而且模型忽略了對缺失路徑信息三元組的處理. 針對上述問題本文提出了一種基于路徑選擇的表示學(xué)習(xí)方法，通過機(jī)器學(xué)習(xí)算法對路徑進(jìn)行選擇，將得到的關(guān)鍵路徑特征用于最終的知識表示學(xué)習(xí). 實驗證明，本文提出的模型可以提高推理準(zhǔn)確率，提升效率.

1 問題描述

對本文用到的符號和需要解決的問題進(jìn)行了描述與定義.

對于一個知識圖譜T=〈E,R,S〉，實體集合E，關(guān)系集合R，任意三元組(h,r,t)∈S，三元組頭尾h,t∈E，關(guān)系r∈R. 任意關(guān)系r的存在路徑特征集合Πr=(p1;p2，…;pd)，Πr是所有存在關(guān)系r的實體對間路徑集合的并集，Πr中路徑對應(yīng)權(quán)值為路徑置信度w=[w0w2…wd].

在某種程度上路徑特征可以視作是推理關(guān)系r的證據(jù)和現(xiàn)象，本文將路徑特征主要分為3種類型.

定義1強證據(jù)Sr(p)，弱證據(jù)Wr(p)，伴隨現(xiàn)象Cr(p)，

Πr=Sr(p)∪Wr(p)∪Cr(p),d=k+m+o.

① 強證據(jù)：具有較高的置信度的路徑集合.Sr(p)={p1,p2,…,pk},k=|Sr|.

② 弱證據(jù)：具有較低的置信度的路徑集合.Wr(p)={p1,p2，…，pm},m=|Wr|.

③ 伴隨現(xiàn)象：由于對于關(guān)系r來說有很大一部分路徑是事實出現(xiàn)的伴隨現(xiàn)象，這些路徑如果作為證據(jù)出現(xiàn)會對推理造成負(fù)面作用，所以伴隨現(xiàn)象不能作為推理關(guān)系的證據(jù).

Cr(p)={p1,p2…,po},o=|Cr|.

在分類過程中通過訓(xùn)練路徑的置信度來處理3種不同情況. 對實體間路徑特征進(jìn)行進(jìn)一步的分析，有以下幾個關(guān)鍵問題需要解決.

問題1特征冗余問題，以FB15K數(shù)據(jù)集為例，單單founders關(guān)系就有上千條路徑(兩步游走)而這上千條路徑中對于目標(biāo)關(guān)系來說不是全部都有用的，需要對路徑特征進(jìn)行篩選. 根據(jù)它們對推理的作用上文已經(jīng)分為3種類型，需要將非證據(jù)路徑盡可能篩選掉.

問題2特征相關(guān)問題，對于大部分關(guān)系而言，路徑特征之間不是相互獨立的，會存在相互依賴的多重特征. 路徑作為證據(jù)出現(xiàn)的模式往往不是單獨一條路徑，而是由相關(guān)路徑共同組成的證據(jù). 所以簡單的線性模型不能很好地處理特征的相關(guān)性.

問題3樣本缺失問題，對FB15K中的三元組統(tǒng)計，某些關(guān)系雖然存在著大規(guī)模的路徑特征空間Πr，但是存在此關(guān)系的樣本數(shù)量n卻很少，會出現(xiàn)d>n甚至d?n的情況. 另外知識圖譜中只能采樣得到正確三元組，所以會導(dǎo)致負(fù)樣本缺失的問題.

2 模型描述

在這部分將詳細(xì)的介紹本文基于路徑選擇的表示學(xué)習(xí)模型(knowledge embedding based on path feature extraction KEPE). 模型主要分為兩個部分:第一部分是路徑選擇模塊，主要是進(jìn)行關(guān)鍵的路徑的篩選，以及對應(yīng)路徑置信度的計算;第二部分是表示學(xué)習(xí)模塊，主要功能是結(jié)合關(guān)鍵路徑信息構(gòu)建知識表示模型，學(xué)習(xí)得到實體關(guān)系向量. 具體模型各模塊內(nèi)部結(jié)構(gòu)和交互方式如圖1所示.

2.1 路徑選擇模塊

2.1.1路徑特征抽取

路徑特征抽取過程與PRA算法類似，在頭尾實體之間進(jìn)行隨機(jī)游走或者深度優(yōu)先搜索，獲取每一對三元組實體之間的路徑集合. 因為需要對圖譜中每一個關(guān)系建立分類器，所以需要統(tǒng)計所有存在關(guān)系r的實體對作為樣本，并取所有樣本的路徑集合的并集作為關(guān)系r的特征集合Πr=(p1;p2,…;pd).

2.1.2特征值計算

原始PRA算法采用游走概率作為特征值，在知識圖譜中兩個節(jié)點之間的路徑數(shù)量會很大，對推理有很強的置信度的路徑可能游走到的概率并不是很高，所以置信度的和路徑游走概率沒有很密切的相關(guān)性. 并且在多篇相關(guān)文獻(xiàn)中實驗證明[11]，使用隨機(jī)游走概率對于推理效果沒有明顯的提高.

另外在計算關(guān)系路徑概率時時間開銷過大，在構(gòu)建概率特征空間時，需要遍歷所有樣本和樣本路徑，并且在計算路徑特征值時要計算路徑的每一跳的游走概率，假設(shè)樣本數(shù)量為N，樣本對應(yīng)路徑期望個數(shù)為P，路徑長度為L，每一跳游走概率的計算開銷K，綜上的構(gòu)建特征空間的時間復(fù)雜度為O(NPLK). 而在構(gòu)造二值特征空間的過程中，只需要遍歷所有樣本和樣本的路徑集合，構(gòu)建特征空間的時間復(fù)雜度為O(NP). 所以為了提高算法的效率決定采用二值化的特征空間，放棄原始算法的游走概率特征值，在本文的實驗部分對兩種不同特征值方法的時間開銷和效果進(jìn)行了對比說明.

2.1.3置信度計算

針對第1節(jié)中提出的問題，本文構(gòu)造了基于學(xué)習(xí)算法的路徑特征選擇模型.

在建立模型之前，首先需要解決負(fù)樣本缺失的問題，本文提出一種構(gòu)造負(fù)樣本的方法：對于某一目標(biāo)關(guān)系r，隨機(jī)在其他關(guān)系中隨機(jī)選擇其中一個樣本，如果該樣本的兩個實體之間不存在目標(biāo)關(guān)系r，則將該樣本作為負(fù)樣本. 正負(fù)樣本個數(shù)比例為1∶1.

① 線性模型：特征冗余問題可以通過將非證據(jù)路徑的置信度置為0來解決，對于線性模型而言，使用L1范式對參數(shù)進(jìn)行正則化可以得到稀疏的參數(shù)向量，去除伴隨現(xiàn)象和部分弱證據(jù). 由于樣本的缺失，可能會導(dǎo)致訓(xùn)練出來的置信度會和實際作用有所差別，置信度的偏差會導(dǎo)致后續(xù)推理的嚴(yán)重偏差，所以希望可以得到穩(wěn)定的參數(shù)，使得模型具有一定的容錯性，出于這方面考慮在使用L1范式基礎(chǔ)上再使用L2范式進(jìn)一步對線性模型進(jìn)行正則化，L2范式可以有效緩解ill-condition的情況從而得到穩(wěn)定的參數(shù). 綜上所述，本文采用基于彈性網(wǎng)絡(luò)(elastic net)[12]的線性模型進(jìn)行特征選擇，elastic net可以很好地處理多重特征的情況，對于多路徑間的相互依賴，Lasso傾向于隨機(jī)的取出其中一項，而彈性網(wǎng)絡(luò)則傾向于成組的來取出. 正式定義目標(biāo)函數(shù)為

(1)

目標(biāo)函數(shù)中的超參數(shù)α和ρ，α為控制正則化懲罰力度的參數(shù)，ρ為 控制L1，L2范式所占比重的參數(shù). 在超參數(shù)集上進(jìn)行交叉驗證，確定優(yōu)選參數(shù). 通過梯度下降更新權(quán)值w，最終得到w=[w1w2…wd]作為特征空間Πr=(p1;p2，…;pd)中各路徑的置信度.

② 非線性模型：由于路徑特征之間未知的相關(guān)性，為了得到可以處理非線性關(guān)系的模型，本文決定采用基于決策樹的集成學(xué)習(xí)模型，弱學(xué)習(xí)器之間采用bagging的方式進(jìn)行結(jié)合，也就是隨機(jī)森林算法[13](random forest). 使用隨機(jī)森林算法本文可以得到最優(yōu)的前m路徑，并且利用隨機(jī)森林對多元共線性不敏感的特性使模型在缺失樣本和特征相關(guān)的情況下依舊保證良好的效果. 另外模型對在特征的選擇和樣本的使用上進(jìn)行隨機(jī)化，可以使模型具有很強的泛化能力.

本文采用袋外誤差為依據(jù)進(jìn)行特征選取. 如算法1所示.

算法1：關(guān)鍵路徑選取

輸入：特征空間Πr=(p1;…;pd)，樣本集合，決策樹數(shù)量n，關(guān)鍵特征數(shù)量m.

1. loop

2.利用特征空間Πr建立包含n顆決策樹的隨機(jī)森林.

3.計算每顆樹的袋外誤差，第i顆樹i=1,2,…,n的袋外誤差為errOOB(i).

4. forpj∈Πrdo

5.計算特征pj的重要性. 隨機(jī)地對袋外數(shù)據(jù)OOB所有樣本的特征pj加入噪聲干擾，計算袋外誤差errOOB′(i).

6.計算特征X的重要性：

7. end for

9. end loop直至選出m個特征.

2.2 表示學(xué)習(xí)模塊

本模塊延用TransE的實體和關(guān)系向量化方法以及TransE的目標(biāo)函數(shù)，保證頭、尾和關(guān)系之間的聯(lián)系. 在此基礎(chǔ)上，使用路徑信息進(jìn)一步對模型進(jìn)行優(yōu)化.

2.2.1構(gòu)造負(fù)例

對于任意三元組來說，隨機(jī)替換其頭，尾，關(guān)系得到不出現(xiàn)在數(shù)據(jù)集中的三元組數(shù)據(jù)集合為

S-={(h′,r,t)}∪{(h,r′,t)}∪{(h,r,t′)}.

對關(guān)系損失函數(shù)來說，要分別替換頭尾，關(guān)系作為負(fù)例，對于路徑損失函數(shù)來說只需要對關(guān)系進(jìn)行替換.

2.2.2優(yōu)化目標(biāo)函數(shù)

目標(biāo)函數(shù)主要分為兩個部分，一部分是實體之間關(guān)系約束，另一部分是實體之間的路徑約束[14].

正式的表示，對于長度為l的路徑p=[r1r2…rl]，路徑向量由關(guān)系路徑中的關(guān)系向量的相加得到，表示如下p=r1+…+rl,對于一個三元組(h,r,t)，能量函數(shù)的定義如下：E(h,r,t)= ‖h+r-t‖,來確保r≈t-h成立. 對于一個路徑三元組(h,p,t)來說，能量函數(shù)定義如下：E(h,p,t)= ‖p-(t-h) ‖=‖p-r‖=E(r,p). 路徑p作為推理關(guān)系r的有效規(guī)則之一，需要保證能量函數(shù)E(r,p)可以得到盡可能低的分?jǐn)?shù).

綜上所述,本文確定模型目標(biāo)函數(shù)如下.

(2)

等式右邊L(h,r,t)是對實體關(guān)系的約束,L(p,r)是路徑關(guān)系約束,R(p,r)是上文通過路徑特征選取算法得到的路徑p對于推理出關(guān)系r的置信度，是路徑置信度w中的非零項，P(h,t)是實體對之間所有路徑的集合. 等式右邊最后一項是目標(biāo)函數(shù)的正則化項，λ是正則化項的超參數(shù)，Θ={h,t∈E}∪{r∈R}.

目標(biāo)函數(shù)使用hinge損失函數(shù)，得到目標(biāo)函數(shù)進(jìn)一步表示為

L(h,r,t)=

(3)

L(p,r)=

(4)

采用批量梯度下降[15-16]的方式對目標(biāo)函數(shù)L(S)進(jìn)行最小化，迭代直至收斂，最終得到關(guān)系和實體的向量.

3 實驗結(jié)果與分析

實驗主要針對知識庫補全的兩個方面，實體預(yù)測和關(guān)系預(yù)測. 另外實驗還會展現(xiàn)路徑選擇得到關(guān)鍵路徑的有效性.

3.1 數(shù)據(jù)集和實驗設(shè)置

為了檢驗本文提出的方法，本文在公開數(shù)據(jù)集FB15K上將本文的方法和知識推理領(lǐng)域的代表性算法進(jìn)行對比實驗. FB15K來自Freebase[17]，F(xiàn)reebase是關(guān)于世界的一般知識(來源維基百科). FB15k數(shù)據(jù)集是Freebase的一個子集，包含14 951個實體，1 345個關(guān)系類型和592 213個三元組，數(shù)據(jù)集信息見表1.

表1 數(shù)據(jù)集

3.2 關(guān)鍵路徑選取

路徑選取模塊通過學(xué)習(xí)路徑置信度來獲取關(guān)鍵路徑，在該模塊中本文分別采用兩種分類器來對路徑進(jìn)行選擇，采用不同的驗證方式來調(diào)節(jié)參數(shù)，檢驗選取效果.

① 彈性網(wǎng)絡(luò)模型：確定一組備選參數(shù)后采用K次交叉驗證[18]的方法. 最終得到優(yōu)選參數(shù)，經(jīng)過彈性網(wǎng)絡(luò)選取得到備選路徑集合.

② 隨機(jī)森林模型：確定一組備選參數(shù)后，利用袋外數(shù)據(jù)誤差來對特征的重要性進(jìn)行度量，這已經(jīng)經(jīng)過證明是無偏估計的. 最終得到備選路徑集合.

路徑篩選后，以彈性網(wǎng)絡(luò)模型為例，本文隨機(jī)選取部分關(guān)系對應(yīng)的關(guān)鍵路徑特征top3如下所示，圖中關(guān)系前的～符號代表逆關(guān)系，對三元組(h,r,t)調(diào)換頭尾形成的三元組為(t,～r,h)，關(guān)系～r是關(guān)系r的逆關(guān)系. 表2為關(guān)鍵路徑選取結(jié)果，以championships關(guān)系為例，路徑1表明如果某人獲得某項比賽冠軍，那他首先要參加(tournament)比賽;路徑2表明某人屬于某個隊伍，該隊伍是比賽的獲獎?wù)?，那此人很有可能是冠?路徑3和路徑2類似，關(guān)鍵路徑符合推理邏輯.

表2 關(guān)鍵路徑

3.3 知識庫補全

知識庫補全是本文要解決的主要任務(wù)，當(dāng)前知識庫存在大量缺失的三元組，對三元組(h,r,t)來說實體和關(guān)系都可能作為缺失的部分出現(xiàn)，為了推理出缺失的部分，本文利用KEPE模型得到的實體和關(guān)系向量來完成知識庫補全任務(wù).

在測試階段，已知三元組其中的兩部分，來對第三部分進(jìn)行預(yù)測. 對三元組(h,r,t)定義如下打分函數(shù)來計算候選項的得分. 函數(shù)(5)定義如下：

Score(h,r,t)=G(h,r,t)+G(t,r-1,h).

(5)

G(h,r,t)包含兩部分:一部分是關(guān)系損失；一部分是路徑損失. 綜合兩部分損失越低,該備選三元組越有可能成為最終預(yù)測結(jié)果. 最終得到G(h,r,t)定義為

G(h,r,t)=‖h+r-t‖+

(6)

考慮到當(dāng)一對實體之間除了關(guān)系r以外不存在任何路徑，那么三元組路徑損失為0，但是對于存在路徑的三元組來說，損失是恒大于0的. 路徑的存在理應(yīng)是對推理起到推動作用的，所以定義θ為沒有路徑信息三元組的懲罰項，作為一個協(xié)調(diào)關(guān)系和路徑損失的參數(shù). 改進(jìn)后的G(h,r,t)式(7)定義如下：(在下文中使用式(7)作為打分函數(shù)的模型使用bp符號來進(jìn)行區(qū)分)

G(h,r,t)=‖h+r-t‖+

(7)

3.3.1實體預(yù)測

本文將候選實體填補后得到的候選三元組的G(h,r,t)由低到高排列. 排列靠前的作為預(yù)測結(jié)果. 本文使用兩種方式Hit@N和MeanRank對模型的效果進(jìn)行評判. 對比實驗包括經(jīng)典的表示學(xué)習(xí)算法RESCAL[19]，SE，SME[20]，本文模型基于的TransE和PRA算法，Trans系列的改進(jìn)算法TransH，TransR，以及路徑與表示學(xué)習(xí)的融合算法PTransE.

① Hit@N指標(biāo)是對候選三元組進(jìn)行排序后得到的序列取前N個，Hit@N是這N個三元組命中為正確三元組的概率.

② MeanRank指標(biāo)是指正確三元組在序列中的平均排名.

將只在測試集上進(jìn)行模型的測試記為“Raw”，將在整個數(shù)據(jù)集中測試稱為“Filter”.

在實驗過程中，本文對上述的所有參數(shù)在驗證集上進(jìn)行了選擇. 包括梯度下降的學(xué)習(xí)率α、批量b向量維度d、hinge損失函數(shù)的γ、協(xié)調(diào)參數(shù)θ. 在驗證集上進(jìn)行參數(shù)調(diào)節(jié)之后，得到如下參數(shù)取值：α=0.001，b=100，d=100，γ=1，θ=1.7，訓(xùn)練迭代次數(shù)為500次.

如表3，KEPE_EN是采用彈性網(wǎng)絡(luò)進(jìn)行路徑選取的模型，KEPE_EN_R 為使用隨機(jī)游走特征空間的彈性網(wǎng)絡(luò)模型，KEPE_RF為采用隨機(jī)森林進(jìn)行路徑選取的模型. 括號中第一項為測試階段是否采用平衡因子，第二項為路徑長度. 本文模型的各項指標(biāo)在整體上明顯優(yōu)于Baseline. 與同為路徑和知識表示結(jié)合模型的PTransE的實驗效果相比，本文模型優(yōu)勢也十分明顯. 下面將對比PTransE模型對實驗的各個方面進(jìn)行分析.

表3 實體預(yù)測結(jié)果

由表3可見，PTransE路徑長度為3時除了Filter指標(biāo)略有提升以外，其他指標(biāo)都是下降的，另外當(dāng)路徑長度為3時路徑特征空間已經(jīng)達(dá)到一個不可接受的規(guī)模. Filter指標(biāo)Raw指標(biāo)沒有同時提升，模型極有可能已經(jīng)過擬合. 經(jīng)過實驗表明路徑長度為2已經(jīng)可以獲取足夠的路徑信息.

KEPE模型相比PTransE有著更好的泛化能力，在計算Filter指標(biāo)時由于預(yù)測正確訓(xùn)練集中的三元組也要算入準(zhǔn)確率，所以當(dāng)模型過擬合時Filter指標(biāo)會異常好，而Raw指標(biāo)一般會表現(xiàn)變差. 本文提出的模型在同時在兩種指標(biāo)下的表現(xiàn)都很優(yōu)秀，表中Raw指標(biāo)和Filter指標(biāo)相比PTransE模型都有著7%左右的提高，而且使用平衡因子的模型Hits@10的準(zhǔn)確率已經(jīng)達(dá)到了90%.

KEPE_EN_R和KEPE_EN的實驗數(shù)據(jù)對比，說明在特征空間的采用上，二值空間和游走概率空間有著相似的效果，而在構(gòu)建特征空間的時間消耗上，前者要比后者節(jié)省1/2以上的時間，所以本文后續(xù)實驗都采用二值化的特征空間.

KEPE_EN和KEPE_RF是作者采用線性和非線性兩種方式對路徑進(jìn)行選取生成的不同模型，模型表現(xiàn)沒有太大區(qū)別，但是普遍高于對比實驗，說明兩種模型都很好的解決了樣本數(shù)量少，特征空間冗余，特征相關(guān)問題.

加入了平衡因子bp的模型共性是在Hit@10這項指標(biāo)上表現(xiàn)更好，而在MeanRank這項指標(biāo)上表現(xiàn)稍差，參照表3針對這種現(xiàn)象進(jìn)行分析，平衡因子的加入可以將路徑缺失的候選三元組獲得較低的評分，但是當(dāng)這些三元組確實存在數(shù)據(jù)集中，實際上排名會很靠后，所以導(dǎo)致整體MeanRank會偏大，但是從命中率上看，很多情況下這些缺失路徑信息的候選三元組并不是最終的正確的結(jié)果，所以添加平衡因子綜合考慮下是很有必要的. 如表4所示對比TransH和TransR模型，本文提出的模型通過結(jié)合路徑信息進(jìn)一步提升了一對多，多對一和多對多關(guān)系類型的預(yù)測效果，尤其是在預(yù)測頭的多對一關(guān)系類型時.

表4 實體預(yù)測各關(guān)系類型的結(jié)果

3.3.2關(guān)系預(yù)測

關(guān)系預(yù)測是指給定三元組中的頭和尾，利用圖譜中的信息來對實體之間存在的關(guān)系進(jìn)行推理，由于實驗中關(guān)系預(yù)測的Hit@10指標(biāo)已經(jīng)達(dá)到了將近100%，所以這里本文采用Hit@1指標(biāo)來對實驗結(jié)果進(jìn)行評判. 如表5所示MeanRank指標(biāo)與PTransE相比沒有明顯變化，但是在Raw的Hit@1指標(biāo)上本文提出的模型表現(xiàn)突出，進(jìn)一步證明本文的模型在關(guān)系預(yù)測上也有很強的泛化能力.

表5 關(guān)系預(yù)測結(jié)果

4 結(jié) 論

本文提出的復(fù)雜網(wǎng)絡(luò)下基于路徑選擇的表示學(xué)習(xí)方法，結(jié)合了路徑推理算法和表示學(xué)習(xí)方法的優(yōu)點，提高了模型整體的推理能力. 在路徑選擇階段進(jìn)行關(guān)鍵路徑選擇，精簡了路徑特征空間，縮短了訓(xùn)練時間，進(jìn)一步提高了模型的泛化能力. 另外在模型測試過程中添加的平衡因子對缺失路徑信息的三元組進(jìn)行了處理. 雖然在路徑選取階段本文進(jìn)行了優(yōu)化處理，但是本文沒有考慮到關(guān)系間存在的聯(lián)系[21]，未來工作將進(jìn)一步挖掘相似關(guān)系之間的聯(lián)系，運用在路徑選擇上.