融合語義信息的知識圖譜多跳推理模型

李鳳英 何曉蝶 董榮勝

知識圖譜是對真實世界信息的結構化表示.在知識圖譜中,節(jié)點表示實體,標簽表示連接它們的關系類型,邊表示連接兩個具有關系的實體的特定事實.由于知識圖譜能以機器可讀的方式建模結構化的復雜數(shù)據(jù),現(xiàn)廣泛應用于知識問答、信息檢索、基于內容的推薦系統(tǒng)等[1-2]領域.目前已構建的各種結構化知識圖譜有:Freebase[3]、WordNet[4]、DBpe-dia[5].目前由于信息抽取、知識融合等關鍵技術水平的限制,這些知識圖譜仍處于一個不完備的狀態(tài).因此,知識推理受到廣泛關注.

在經典的知識圖譜推理模型中,基于翻譯的模型將關系看作頭實體到尾實體的翻譯向量,Bordes等[6]提出TransE.針對TransE無法有效建模復雜關系的缺點,學者們相繼提出為每個關系構建獨立超平面的TransH(Translation on Hyperplanes)[7]、引入關系投影的TransR[8]及使用向量運算替換矩陣運算的TransD[9].基于語義匹配的模型是通過衡量實體和關系的語義信息以衡量三元組的真實性,例如：Yang等[10]提出DistMult,Nickel等[11]提出HolE(Holographic Embeddings)等.由于翻譯模型和語義匹配模型都是在低維向量空間中進行訓練,不能較好地提取深層次特征，因此為了提高模型提取特征的能力,深度學習方法被引入知識圖譜表示學習領域中,例如：Dettmers等[12]提出ConvE,將實體和關系表示成一維嵌入,然后使用卷積層提取特征.

上述三種知識推理模型雖然在預測目標實體方面表現(xiàn)出強大實力,但由于是通過向量計算得出推理答案的,無法對其決策進行解釋,導致可解釋性較差.

為了獲得更具解釋性的知識圖譜推理,近年來,多跳推理得到廣泛研究.多跳推理通過在知識圖譜中充分挖掘和利用實體間多步關系組成的路徑信息,從而完成知識推理.最初的多跳推理模型大多通過隨機游走算法搜索推理路徑，如Yang等[13]提出的Neural LP(Neural Logic Programming).但是知識圖譜中連接大量節(jié)點的超級節(jié)點會影響推理的準確性，因此,Xiong等[14]提出DeepPath,將多跳推理建模成序列決策問題,利用強化學習算法進行有效的路徑搜索.智能體從源實體e_s出發(fā),每前進一步,就使用策略網絡選擇最有前途的關系擴展它的路徑,直到抵達目標實體e_target.然而DeepPath必須先通過預訓練得到完整的路徑后,才能進行策略網絡的訓練.因此,Das等[15]提出MINERVA(Mean-dering in Networks of Entities to Reach Verisimilar Answers),引入長短期記憶模塊(Long Short Term Me-mory, LSTM)記憶智能體走過的路徑,改進Deep-Path的不足.Lin等[16]提出Multi-hop KG,加入獎勵重塑和動作掩膜,進一步提升多跳路徑推理的性能.Zhou等[17]提出PAAR(Path Additional Action-Space Ranking),認為現(xiàn)有的基于強化學習的多跳推理模型無法利用知識圖譜中的層次信息,因此引入雙曲知識圖譜嵌入模型,捕捉層次信息，并擴展用于推理的動作空間.Zhu等[18]認為在大多數(shù)知識圖譜中,由于同對(頭實體,關系)連接的尾實體有多個,導致強化學習的智能體學習困難.為了解決該問題,Zhu等將經典強化學習框架分層,分成一個檢測關系的高級過程和一個推理實體的低級過程.

然而在稀疏知識圖譜上,現(xiàn)有的多跳推理模型存在兩個問題:1)數(shù)據(jù)稀少.相比大型知識圖譜,稀疏知識圖譜包含信息更少,導致一些推理路徑中斷,不能推出正確的答案實體.2)路徑不可靠[19].由于智能體是在知識圖譜上游走尋找推理路徑的,沒有中間監(jiān)督,因此可能會出現(xiàn)推理結果正確,但推理過程不可靠的現(xiàn)象.

近年來的多跳推理模型大多通過擴充智能體用于路徑搜索的動作空間以解決數(shù)據(jù)稀少的問題.Fu等[20]提出CPL(Collaborative Policy Learning),從背景語料庫中抽取新的事實,添加到動作空間中,擴充智能體下一步路徑的搜索范圍.Lü等[21]提出DacKGR,根據(jù)當前智能體所在位置的狀態(tài)信息,通過概率預測與當前狀態(tài)最接近的事實,動態(tài)擴充智能體，用于下一步路徑搜索的動作空間.

面對路徑不可靠的問題,大多數(shù)研究者通過多樣化獎勵反饋解決此問題.DeepPath鼓勵智能體推理的路徑長度越短越好,因為大多數(shù)推理結果表明：推理路徑越短,推理的準確性越高; 路徑越長,冗余關系的干擾性越強.Multi-hop KG將嵌入模型得分添入獎勵函數(shù)中,通過鼓勵“預測結果不正確但有推理價值”的路徑,反向抑制“預測結果正確但推理不可靠”的路徑.

為了解決現(xiàn)有多跳推理模型存在的兩個問題,本文提出融合語義信息的知識圖譜多跳推理模型(Multi-hop Inference Model for Knowledge Graphs Incorporating Semantic Information, MIMKGISI).在通過表示學習方法構建強化學習的外部環(huán)境之后,利用查詢關系和關系路徑的語義信息,擴充智能體的動作空間,擴大智能體路徑搜索的范圍,解決推理過程中數(shù)據(jù)稀少的問題.路徑搜索結束之后,使用推理路徑和查詢關系的語義相似度作為獎勵反饋給智能體,通過反饋路徑可靠度的形式,提高智能體選擇路徑的質量,提升多跳推理的性能.在4個公開的稀疏數(shù)據(jù)集上的實驗表明，相比多跳推理的基準模型,MIMKGISI具有更好的推理效果和可解釋性.

1 融合語義信息的知識圖譜多跳推理模型

本文提出融合語義信息的知識圖譜多跳推理模型(MIMKGISI),框架如圖1所示.在資源層,使用實體、關系、三元組表示知識圖譜;在編碼層,使用ConvE將實體關系三元組嵌入向量空間,輸出對應的表示向量；在多跳推理層,通過強化學習中外部環(huán)境和智能體之間的動態(tài)交互,學習得到一個用于搜索推理路徑的最佳策略.給定一個查詢三元組(源實體,查詢關系,？),根據(jù)最終訓練得到的策略,直接輸出預測的目標實體及推理路徑.

圖1 MIMKGISI框架圖Fig.1 Framework of MIMKGISI

1.1 問題定義

將知識圖譜表示為G=(ε,R)的形式,其中,ε表示實體集,R表示關系集.知識圖譜中的每條有向連接l=(es,r,eo)表示一個三元組.

給定一個查詢(es,rq,?),其中,es為源實體,rq為查詢關系,對G進行有效搜索,并收集可能的答案集Eo={eo}，其中,(es,rq,eo)?G,因為知識圖譜G是不完整的.

1.2 強化學習框架

近年來,利用強化學習算法進行多跳推理的問題,被定義為馬爾可夫決策過程(Markov Decision Process, MDP)[15]:給定一個查詢三元組(es,rq,?),智能體從es出發(fā),不斷通過選擇當前實體對應的出邊(關系)到達新的實體,直到抵達目標實體.具體來說,MDP主要由如下4部分構成.

1)狀態(tài).在多跳推理過程中,每跳的狀態(tài)可定義為st=(et,ht,rq,ep)∈S,其中,et為智能體在第t跳到達的實體,ht為前t-1跳的歷史路徑,rq為查詢關系,ep為ε中每個實體為目標實體的概率.

2)動作.當智能體處于狀態(tài)st=(et,ht,rq,ep)時,當前實體et對應的出邊(r′,e′)稱為動作,狀態(tài)st對應的所有動作組成當前動作空間

At={(r′,e′)|(et,r′,e′)∈G}.

此外,在每個動作空間中,都添加一個自循環(huán)邊.因為多跳推理的跳數(shù)是固定不變的,不能中斷,需設置一個自循環(huán)作為推理結束標志.

3)轉移.每跳的轉移函數(shù)定義為S×At=S,具體地,如果當前狀態(tài)選擇動作(r′,e′)∈At,那么就會轉移到新的狀態(tài)st+1=(e′,ht+1,rq,ep).

4)獎勵.若最終第T跳智能體到達的實體eT恰好就是目標實體,即eT=eo,反饋的獎勵就為1;否則,反饋的獎勵為實體eT是目標實體的概率,即嵌入模型分數(shù)f(es,rq,eT).具體表達式如下：

策略網絡指導智能體在不同狀態(tài)下選擇有前途的動作,進行路徑搜索完成多跳推理,主要通過狀態(tài)信息和動作信息進行參數(shù)化.具體地,G中的實體和關系,被表示為低維連續(xù)向量e和r.由關系向量和實體向量的拼接向量at=[r;e]表示動作(r,e)∈At,動作空間At由At中的所有動作表示向量堆疊組成.狀態(tài)中提到的歷史路徑ht由LSTM編碼,即

h0=LSTM(0,[r0;es]),

ht=LSTM(ht-1,at-1),t>0,

其中,r0為增加的一個特殊關系(無實義),便于將源實體es的信息添加到歷史路徑中.

策略網絡π定義成

πθ(at|st)=

σ(At×W2×ReLU(W1×[et;ht;rq;ep])),

(1)

其中,W1、W2為2個全連接網絡,ReLU(·)為激活函數(shù),σ為softmax運算符,θ為參數(shù).

本文采用REINFORCE算法[22]優(yōu)化策略網絡,并通過隨機梯度下降更新參數(shù):

基于強化學習的多跳推理訓練細節(jié)如下所示.

算法基于強化學習的多跳推理訓練過程

輸入給定的三元組集合

輸出策略網絡πθ

1.Initializeθ

2.Pre-train the embedding vectore,r

3.forn←1 to Epoch num do

4. fort←1 to Time step do

5. Calculateht←LSTM(ht-1,at-1)

6. Calculatest

7. Sample actionat～πθ(at|st) by Eqs.(1)

8. Update hidden stateht

9. end for

10. Obtain rewardsR

11. Optimizeθusing

12.end for

算法中,第2行通過預訓練嵌入模型生成實體和關系向量,第4～9行進行策略網絡的多跳推理,第3～12行迭代訓練強化學習的策略網絡.

本文模型在嵌入模型預訓練三元組向量表示的基礎上進行知識推理.在強化學習訓練階段,通過給定的查詢頭節(jié)點,對圖進行遍歷的時間復雜度為O((|V|+|R|)L+1L),其中，|V|為實體集大小,|R|為關系集大小,L為推理跳數(shù).因此本文模型的時間復雜度為O((|V|+|R|)L+1L).

上述就是目前通用的強化學習框架,然而應用到稀疏知識圖譜領域時,由于數(shù)據(jù)稀少,導致智能體的動作空間可能缺乏當前推理所需的關鍵動作,本文模型利用查詢關系和關系路徑的語義信息擴充動作空間,緩解推理過程中關鍵關系缺失的現(xiàn)象.另一方面,對于強化學習搜索的推理路徑,大多模型都僅通過預測目標的正確度反饋指導智能體的搜索方向,未對推理路徑的可靠性進行評判.因此,本文模型通過推理路徑和查詢關系的語義相似度評價推理路徑的可靠性,并作為獎勵反饋指導智能體的搜索策略.

1.3 動作空間擴展

由于稀疏知識圖譜中包含的事實相對較少,導致智能體在搜索路徑時,經常出現(xiàn)關鍵路徑中斷,不能正確推導目標實體的現(xiàn)象.本文采用擴充動作空間的方法,緩解多跳推理中數(shù)據(jù)量不足的問題,但與DacKGR注重狀態(tài)層次的關系注意力不同,MIMK-GISI注重語義層次的關系注意力.

當智能體搜索路徑時,由于缺乏中間監(jiān)督,會出現(xiàn)一條推理路徑上前后關系跳脫、無語義聯(lián)系性的現(xiàn)象,稱為“跳脫型推理”.針對該現(xiàn)象,本文通過上一跳關系和查詢關系的語義信息抑制智能體的跳脫型推理行為,同時指導智能體的路徑搜索方向.換句話說,MIMKGISI在每跳智能體選擇有前途的動作之前,利用與當前查詢關系和上一跳推理關系最相似的(關系,實體)對，擴充當前實體的動作空間.

擴充動作空間的過程如圖2所示.假設查詢三元組(es,rq,?),智能體當前位于實體et上,上一跳經過的出邊(關系)為rt-1,首先計算關系集R中所有關系與rq和rt-1的相似度:

sim(r|rq,rt-1)=

rq·[r1,r2,…,r|R |]+rt-1·[r1,r2,…,r|R |],

其中,ri為關系集R中第i個關系向量,“·”為點乘運算.

然后,選擇前k個與rq和rt-1最相似的關系,使用底層的ConvE嵌入模型,預測對應的尾實體組成(關系,實體)對，擴充動作空間At.

圖2 動作空間擴充結構圖Fig.2 Structure of action space expansion

1.4 獎勵函數(shù)重構

強化學習過程中沒有中間監(jiān)督,智能體根據(jù)延遲的獎勵反饋,學習得到正確的搜索策略.因此,智能體會搜索“結果正確但推理不可靠”的路徑.從語義層次上看,對于每個查詢三元組(es,rq,?),推理路徑path應由從源實體es出發(fā)到目標實體eo的一組關系組成的,而查詢關系rq理論上是連接源實體es和目標實體eo的直接關系.因此,可靠的推理路徑和查詢關系的語義應相近,不可靠的推理路徑與查詢關系的語義應相差很大.

本文采用TransE的基本思想表示路徑向量:將每個三元組(es,rq,eo)中的關系rq看作從頭實體es到尾實體eo的翻譯.具體地,就是頭實體向量加上關系向量近似等于尾實體向量:

es+rq≈eo.

因此,將推理路徑path=(r0,r1,…,rT)表示成關系向量的累加,即

path=r0+r1+…+rT.

如圖3所示,左邊是推理路徑在低維向量空間中的累加示意圖,右邊是推理路徑的實際結構圖.

(a)累加示意圖 (b)實際結構圖

本文通過抑制不可靠的推理行為,達到鼓勵智能體進行可靠路徑推理的目的.換句話說,本文使用推理路徑和查詢關系的相似度,作為獎勵反饋給智能體,相似度越高,表示該條推理路徑越可靠,反之不可靠.

獎勵函數(shù)為:

R_global(sT)=R(sT)+cos〈path,rq〉,

其中,cos〈·,·〉表示余弦相似度,path表示推理路徑,rq表示查詢關系.

2 實驗及結果分析

2.1 實驗數(shù)據(jù)集

本文針對稀疏知識圖譜,選擇在NELL23K、WD-singer、FB15K-237-10%、FB15K-237-20%這4個公開數(shù)據(jù)集[21]上進行實驗，具體數(shù)據(jù)集信息見表1.NELL23K數(shù)據(jù)集為NELL數(shù)據(jù)集的子集,WD-singer數(shù)據(jù)集取自Wiki百科數(shù)據(jù)集(僅選擇其中與歌手相關的內容),FB15K-237-10%、FB15K-237-20%數(shù)據(jù)集分別為FB15K-237數(shù)據(jù)集隨機采樣10%、20%數(shù)據(jù)后生成.

表1 實驗數(shù)據(jù)集Table 1 Experimental datasets

2.2 基線模型

對于知識圖譜多跳推理,本文選擇如下基線模型進行對比分析.

1)NTP(Neural Theorem Provers)[23].結合神經網絡模型和基于規(guī)則的系統(tǒng),使模型能獲得可解釋性的規(guī)則，學習反向傳播過程中的表示,為預測過程提供邏輯解釋.

2)MINERVA[15].利用LSTM模塊,將智能體經歷的歷史信息編碼到狀態(tài)中.

3)CPL[20].聯(lián)合策略學習框架,不僅訓練推理智能體,而且利用事實提取部件,從背景語料庫中抽取新的事實以填充動作空間.

4)Multi-hop KG[16].利用預訓練嵌入模型估計未觀察到的獎勵,提出隨機掩膜邊機制,探索更多樣化的路徑.

5)DacKGR[21].提出動態(tài)預測和補全,動態(tài)擴充動作空間,探索更多的推理路徑.

6)PAAR[17].提出雙曲知識圖譜嵌入模型,捕捉知識圖譜中的層次信息,擴展動作空間.

7)文獻[18]模型.提出分層強化學習框架,將推理任務分解為一個檢測關系的高級過程和一個推理實體的低級過程.

2.3 度量方法

本文采用鏈接預測方法評價知識推理任務,并對比其它模型.鏈接預測的具體過程是,將測試數(shù)據(jù)集上的每個三元組(es,rq,eo),轉換成三元組查詢(es,rq,?),然后使用嵌入模型或多跳推理模型得出目標實體的排名.本文實驗使用“過濾后”的實驗結果[6].

本文使用命中率(Hits@3、Hits@10)和平均倒數(shù)排名(Mean Reciprocal Rank, MRR)這兩個評價指標.Hits@3和Hits@10分別表示測試數(shù)據(jù)集中真實三元組排名達到前3名或前10名的概率,MRR表示測試數(shù)據(jù)集中真實三元組的平均倒數(shù)排名.在鏈接預測實驗中,這兩個指標越高,表示該模型推理準確性越高.

2.4 對比實驗結果

各模型在4個數(shù)據(jù)集上的鏈接預測結果如表2所示，表中黑體數(shù)字表示最優(yōu)值，MIMKGISI-action表示MIMKGISI刪除動作空間擴展后重構的模型，MIMKGISI-reward表示MIMKGISI刪除獎勵函數(shù)后重構的模型.實驗中NTP、MINERVA、Multi-hop KG、CPL和DacKGR的實驗結果引自DacKGR[21],PAAR和文獻[18]模型的實驗結果直接引自原文獻.

由表2可見,MIMKGISI在WD-singer、NELL-23K、FB15K-237-10%數(shù)據(jù)集上的推理性能有明顯提升.但是在FB15K-237-20%數(shù)據(jù)集上,MIMKGISI的推理性能并未提升,MRR、Hits@3和Hits@10指標分別下降0.1%、0.3%和0.3%.根據(jù)表1中4個數(shù)據(jù)集的特征可看出,FB15K-237-20%數(shù)據(jù)集的稀疏程度最低,并且一對多關系的占比最大,可能是由于該數(shù)據(jù)集的數(shù)據(jù)量較充足,語義信息對推理的指導作用不大，導致模型性能沒有提升.而文獻[18]也提出,相比其它數(shù)據(jù)集,FB15K-237數(shù)據(jù)集的實體和關系涵蓋太多領域,可能會混淆智能體的推理.

表2 各模型在4個數(shù)據(jù)集上的鏈接預測結果Table 2 Link prediction results of different models on 4 datasets

MIMKGISI、MIMKGISI-action、MIMKGISI-reward在4個數(shù)據(jù)集上的收斂曲線如圖4所示.由表2和圖4可看出,MIMKGISI-action和MIMKGISI-reward的綜合性能都不及MIMKGISI,表明移除動作空間擴展或獎勵函數(shù)重構任一部分都會削弱模型的推理性能,這兩個策略都對模型有一定貢獻.

(a)WD-singer (b)NELL23K

2.5 推理路徑分析

為了驗證MIMKGISI對知識推理的可解釋性,從智能體在FB15K-237-10%數(shù)據(jù)集上搜索的推理路徑中,選擇如下三元組和3條推理路徑：

三元組查詢:(Lorenzo Ferrero,category,?)

目標實體:Pianist

其中箭頭表示關系的方向.針對“Lorenzo Ferrero的類型”的查詢,第1條推理路徑的關系鏈為instrumentalists_inv→instrumentalists→category,即根據(jù)彈奏同一樂器Piano的同行Thelonious Monk的類型為鋼琴師,從而判斷Lorenzo Ferrero的類型也為鋼琴師.其它推理路徑類似,不再展開分析.由此可看出，MIMKGISI對知識圖譜的推理具有較好的可解釋性.

3 結 束 語

本文提出融合語義信息的知識圖譜多跳推理模型(MIMKGISI),充分考慮知識圖譜中的推理路徑和查詢關系的語義信息.首先,利用知識圖譜表示學習方法將實體和關系嵌入低維向量空間中,并將該空間作為強化學習的外部環(huán)境.然后,選擇與查詢關系和關系路徑最相似的動作,擴充智能體的搜索空間.最后,計算推理路徑和查詢關系的相似度并反饋給智能體.在WD-singer、NELL23K、FB15K-237-10%數(shù)據(jù)集上的實驗表明,MIMKGISI可提升多跳推理的性能,特別是稀疏知識圖譜上的推理任務.然而MIMKGISI在FB15K-237-20%數(shù)據(jù)集上的推理性能并未提升,可能是由于該數(shù)據(jù)集稀疏程度較低、數(shù)據(jù)量充足,導致語義信息的指導作用無法體現(xiàn)而造成的.本文還進行消融實驗,分析動作空間和獎勵函數(shù)的影響.通過對推理路徑的分析,驗證MIMKGISI對知識推理可解釋性具有增強作用.今后將考慮研究路徑的外部語義信息,如實體的描述信息,進一步增強多跳推理路徑的可靠性.