基于關(guān)系記憶與路徑信息的多跳知識圖譜問答算法

摘要： 針對自然語言處理領(lǐng)域中不完整知識圖譜導致實體關(guān)聯(lián)膨脹， 進而需進行額外推理和推斷使答案的推導過程變得更復雜的問題， 提出一種結(jié)合關(guān)系記憶與路徑信息的知識圖譜問答算法RMP-KGQA. 該算法利用關(guān)系記憶網(wǎng)絡(luò)解決問題與知識圖譜映射空間不一致的問題， 利用其路徑信息豐富評分函數(shù)， 顯著提高了智能問答檢索系統(tǒng)的準確性和魯棒性. 實驗結(jié)果表明， 在基準數(shù)據(jù)集WebQSP和WebQSP-50上， RMP-KGQA的準確率分別比EmbedKGQA提升了2.8，2.4個百分點. 消融實驗進一步驗證了關(guān)系記憶感知和路徑信息在模型中的關(guān)鍵作用. 因此， RMP-KGQA是一種解決復雜環(huán)境下多跳知識圖譜問答問題的有效方法.

關(guān)鍵詞： 知識圖譜問答； 知識圖譜； 知識圖譜嵌入； 關(guān)系記憶網(wǎng)絡(luò)

中圖分類號： TP391.1""文獻標志碼： A""文章編號： 1671-5489（2024）06-1391-10

Multi-hop Knowledge Graph Question Answering Algorithm Based on Relational Memory and Path Information

MENG Lingxin1， CAI Hua1， FU Qiang2， YI Yaxi1， LIU Guangwen1， ZHANG Chenjie1

（1. School of Electronic and Information Engineering， Changchun University of Science and Technology，Changchun 130022， China;

2. Institute of Space Ophotoelectronics Technology，Changchun University of Science and Technology， Changchun 130022， China）

Abstract： Aiming at the problem that in the field of natural language processing， "incomplete knowledge graphs led to the entity association expansion，

which required additional inference and reasoning to make the derivation process of answers "more complex， we proposed "a knowledge graph question answering algorithm "RMP-KGQA

that combined relational memory and "path information. The algorithm used a relational memory network to solve "the problem of inconsistency between the problem and the knowledge graph mapping space，

and "enriched the scoring function with its path information， significantly enhancing the accuracy and robustness of the intelligent question answering retrieval system.

The experimental results show that on the WebQSP and WebQSP-50 benchmark datasets， the accuracy of RMP-KGQA "increases by 2.8 and 2.4 percentage points respectively compared to EmbedKGQA.

Ablation experiments further verify "the key roles of relational memory perception and path information in the model. Therefore， "RMP-KGQA is an effective method for solving "multi-hop knowledge graph question answering

problems "in complex environments.

Keywords： knowledge graph question answering; knowledge graph; knowledge graph embedding; relational memory network

知識圖譜問答（knowledge graph question answering， KGQA）作為滿足人們對知識獲取日益強烈需求的有效途徑， 已逐漸成為研究焦點^［1］. KGQA通過查詢和推理知識圖譜，提取與自然語言問題相關(guān)的答案. 其基礎(chǔ)元素是三元組（h，r，t）， 其中： h表示頭實體; r表示關(guān)系， 描述頭尾實體間的聯(lián)系; t表示尾實體， 作為事實或關(guān)系的目標實體. KGQA已廣泛應(yīng)用于農(nóng)業(yè)、 軌道交通、 醫(yī)療保健、 水利信息、 旅游以及政務(wù)數(shù)據(jù)等各領(lǐng)域^［2］， 使用戶可以更準確、 直接、 專業(yè)地獲取所需信息， 從而提高了信息檢索的效率和滿意度.

近年來， 深度學習的發(fā)展推動了多跳知識圖譜問答的發(fā)展， 主要包括基于路徑^［3-4］、 基于邏輯^［5-6］和基于嵌入^［7-11］的方法. 基于路徑的方法依賴于主題實體的識別和知識圖譜的隨機遍歷； 基于邏輯的方法則通過將問題轉(zhuǎn)化為邏輯表達式并在知識圖譜中進行推理. 但這兩種方法在處理知識圖譜的多跳檢索時， 由于知識圖譜的不完整性和稀疏性， 經(jīng)常會因缺少實體間的關(guān)系路徑鏈接而無法得出正確答案. 相比于上述兩種方法， 基于嵌入的方法則利用知識圖譜嵌入， 將實體和關(guān)系映射到低維空間進行推理， 實現(xiàn)語義消歧并有效解決知識圖譜中的查詢不準確問題， 提高問答的準確性和效率. 但上述方法常獨立處理問題嵌入和知識圖譜嵌入， 忽視了兩者的潛在依賴關(guān)系. 此外， 單一的評分函數(shù)也可能導致答案的遺漏， 影響模型的魯棒性.

本文針對基于嵌入的KGQA模型中由于問題與知識圖譜嵌入使用不同網(wǎng)絡(luò)導致的映射空間不同， 以及評分函數(shù)單一的問題， 提出一種基于關(guān)系記憶與路徑信息的多跳問答算法RMP-KGQA（relation memory-based path for knowledge graph question answering）. 該算法通過引入基于關(guān)系記憶的感知網(wǎng)絡(luò)， 分析兩者間的潛在依賴關(guān)系， 解決映射空間不同的問題； 同時， 還引入了知識圖譜的路徑信息以豐富評分函數(shù)， 從而提高智能問答檢索系統(tǒng)的準確性和魯棒性.

1"基于嵌入的多跳知識圖譜問答

基于嵌入的多跳知識圖譜問答方法利用知識圖譜嵌入算法將實體和關(guān)系嵌入到低維向量空間中， 并通過定義得分函數(shù)或解碼器對目標查詢對象進行排名， 以實現(xiàn)問答推理^［12］. 早期的知識圖譜嵌入算法如TransE模型^［13］， 其基于實體頭、 尾和關(guān)系之間的潛在關(guān)系計算實體之間的距離. 之后出現(xiàn)的TransR^［14］，TransD^［15］，RotatE^［16］等基于距離的嵌入模型， 盡管在簡單場景中表現(xiàn)出色， 但在處理更復雜的多跳問答場景時還需更深入研究.

Chen等^［7］提出的雙向注意力記憶網(wǎng)絡(luò)（BAMnet）模擬了問題與知識庫之間的雙向交互流程， 提高了知識庫問題回答（KBQA）的效率， 并提供了超越其他基準方法的解釋能力. Huang等^［8］推出的知識嵌入式問題回答（KEQA）框架， 通過嵌入問題的頭實體、 謂詞和尾實體， 利用聯(lián)合距離度量返回最近的事實作為答案. Teru等^［9］提出的基于圖神經(jīng)網(wǎng)絡(luò)的關(guān)系預(yù)測框架GraIL能在局部子圖結(jié)構(gòu)上進行推理， 顯示了實體學習的能力. Saxena等^［10］提出的EmbedKGQA方法使用知識圖譜嵌入技術(shù)處理稀疏的知識圖譜， 并放寬了答案選擇的限制. Niu等^［11］提出了一種基于路徑和知識嵌入增強的多關(guān)系問答模型（PKEEQA）， 該模型通過評估路徑嵌入和多關(guān)系問題嵌入之間的相關(guān)性， 獲得更精確的答案.

盡管上述模型取得了很好的成果， 但基于嵌入的KGQA模型通常忽視問題嵌入與知識圖譜嵌入間的潛在關(guān)系， 且評分函數(shù)的單一性可能導致答案遺漏， 影響模型的魯棒性. 為解決這些問題， 本文提出一種關(guān)系記憶和路徑信息相結(jié)合的知識圖譜問答算法RMP-KGQA， 它通過關(guān)系記憶網(wǎng)絡(luò)解決問題與知識圖譜映射空間不一致的問題， 同時利用其路徑信息豐富評分函數(shù)， 顯著提高了智能問答檢索系統(tǒng)的準確性和魯棒性.

2"本文方法

本文對知識圖譜定義如下： 知識圖譜G由實體集合E和關(guān)系集合R構(gòu)成， 其中三元組集合K包含所有由E和R中的實體和關(guān)系組成的三元組， 即K={（h，r，t）h，t∈E， r∈R}.

每個三元組（h，r，t）表示主體實體h與客體實體t之間存在關(guān)系r. RMP-KGQA模型的任務(wù)定義為： 給定自然語言問題q和主題實體eh∈E， 通過查詢知識圖譜中與主題實體eh相關(guān)的信息， 提取實體et∈R正確回答問題q. 其中， 關(guān)系集合R用于表示知識圖譜中實體之間的關(guān)聯(lián)關(guān)系. 模型通過關(guān)系記憶網(wǎng)絡(luò)與問題相關(guān)的路徑信息ep分析問題向量與實體向量

之間的潛在依賴關(guān)系， 并將其重新映射為新的問題向量. 最后通過計算問題q和知識圖譜中的實體及關(guān)系之間的匹配度選擇最可能正確的實體et作為問題的答案a. 該模型整體建構(gòu)如圖1所示.

1） 嵌入預(yù)處理： 學習知識圖譜中實體和關(guān)系的嵌入表示與自然語言問題的嵌入表示， 分別將它們映射到嵌入空間中；

2） 多跳路徑矢量化： 在知識圖譜中抽取主體實體與答案之間的關(guān)系路徑， 并通過路徑嵌入的方式建立一個向量空間；

3） 關(guān)系記憶感知： 利用關(guān)系記憶網(wǎng)絡(luò)將輸入的嵌入向量分析問句嵌入與實體嵌入之間潛在的依賴關(guān)系， 得到重新映射的問題向量；

4） 答案選擇： 通過結(jié)合路徑的評分函數(shù)計算每個候選答案與問題之間的相似度并選擇最終答案.

2.1"嵌入預(yù)處理

嵌入預(yù)處理分為知識圖譜嵌入和自然語言問句嵌入兩部分， 用于將知識圖譜中的實體和關(guān)系以及自然語言問句分別嵌入到對應(yīng)的低維空間中. 受EmbedKGQA^［10］啟發(fā)， 本文選用ComplEx算法^［17］"將知識圖譜進行嵌入映射， 將知識圖譜中的實體e∈E和關(guān)系r∈R映射到復數(shù)向量空間， 得到實體嵌入ee∈^de和關(guān)系嵌入er∈^dr， 其中ee和er分別是de和dr維向量. 給定h，t∈E和r∈R， ComplEx定義評分函數(shù)為φ（h，r，t）=Re（〈eh，er，et〉）=Re∑dk=1e^（k）he^（k）re^（k）t，（1）使得對于所有真三元組φ（h，r，t）gt;0， 對于假三元組φ（h，r，t）lt;0， 其中Re表示復數(shù)的實部.

其旨在準確地捕獲和保留實體和關(guān)系間的語義關(guān)聯(lián)性， 同時體現(xiàn)其線性與非線性交互. 另一方面， 自然語言問題嵌入先采用預(yù)訓練的RoBERTa模型^［18］進行微調(diào)， 再通過全連接網(wǎng)絡(luò)層進一步加工， 從而生成問題q的嵌入向量eq∈d. 兩種嵌入向量的生成過程如下， 它們將作為后續(xù)模型的有效輸入.

算法1"RMP-KGQA預(yù)處理.

1） 輸入： 知識圖譜KG與實體E和關(guān)系R， 自然語言問題Q， 預(yù)訓練的RoBERTa模型M；

2） 輸出： 實體的嵌入表示E′和關(guān)系R′， 問題嵌入Q′;

3） 初始化： 為KG中的每個實體和關(guān)系隨機初始化復嵌入向量；

4） 循環(huán)

5） ""從KG中隨機選擇一個三元組（t，h，r）;

6） ""隨機選擇一個負樣本三元組（t′，h′，r′）， 其中t′或h′是一個隨機實體， r′是一個隨機關(guān)系;

7） ""計算三元組的分數(shù)： score（t，h，r）=Re（〈h，r，t〉）;

8） ""計算負樣本的分數(shù)： score（t′，h′，r′）= Re（〈h′，r′，t′〉）;

9） ""計算損失： loss=max{0，margin+score（t′，h′，r′）-score（t，h，r）};

10） ""使用梯度下降更新實體和關(guān)系的嵌入以最小化損失;

11） 直到知識圖譜實體和關(guān)系的嵌入E′，R′穩(wěn)定;

12） 使用RoBERTa模型M將問題Q嵌入為一個實值向量;

13） 通過4個帶有ReLU激活的全連接層將實值向量投影到復空間以獲得Q′;

14） 返回實體的嵌入表示E′、 關(guān)系R′和問題Q′.

2.2"多跳路徑矢量化

多跳路徑矢量化旨在對問題和知識圖譜中的多跳路徑進行建模， 其通過路徑搜索算法尋找與問題相關(guān)的路徑， 并將路徑中的實體、 關(guān)系和屬性嵌入表示成固定長度的向量， 以便于后續(xù)的推理和推斷.

首先， 查詢獲取自然語言問句中的主體實體h與問題答案a在知識圖譜G之間的鏈路連接. 三元組的實體之間通過關(guān)系相連接， 在問答檢索任務(wù)中， 如果主體實體與問題答案存在知識圖譜上的關(guān)系連接， 則對當前關(guān)系的路徑進行記錄， 記錄為一個路徑p=（r1，r2，…，rl）， 將主體實體h與問題答案a所有的路徑進行記錄為P={p1，p2，…，pi}.

其次， 對上述獲取的路徑嵌入P={p1，p2，…，pi}中的每條路徑p=（r1，r2，…，rl）進行路徑嵌入得到關(guān)系路徑嵌入向量ep.

即在基于張量分解的知識圖譜嵌入模型中， 存在每個三元組的值可通過頭部實體嵌入向量h和尾部實體嵌入向量t與關(guān)系矩陣Mr的乘積計算， 期望滿足h·Mrt=1. 所以在基于張量分解的公式中對于路徑滿足約束：

ep=∏ri∈Peri，（2）

其中P表示包含從主體實體h到問題答案a或候選實體h的路徑序列中所有關(guān)系的集合， eri表示第i個關(guān)系ri在集合P中的嵌入.

最后， 將主體實體嵌入向量eh、 問題答案嵌入向量ea與關(guān)系路徑嵌入向量ep進行拼接， 得到一個包含了答案路徑信息的嵌入向量ex.

2.3"關(guān)系記憶感知

在RMP-KGQA模型中， 關(guān)系記憶感知是一個關(guān)鍵的組成部分， 用于對問句和實體進行嵌入處理， 該模塊使用關(guān)系記憶網(wǎng)絡(luò)（relation-aware memory-based network， RAMN）^［19］捕捉問題中的關(guān)系信息， 并將其映射為固定長度的向量表示. RAMN網(wǎng)絡(luò)可分別將問句中的實體和關(guān)系嵌入表示為向量， 然后通過注意力機制將這些向量組合成一個表示問題的向量. 在該過程中， RAMN網(wǎng)絡(luò)可以學習到關(guān)系之間的交互信息， 并在不同的語境下自適應(yīng)地調(diào)整向量的權(quán)重， 以獲得更準確的問句表示. RAMN的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示.

首先， 將自然語言問句嵌入所得的自然語言問句嵌入向量eq與包含答案路徑信息的嵌入向量ex送入關(guān)系記憶感知模塊， 用于分析問句嵌入與實體嵌入之間潛在的依賴關(guān)系， 并得到重映射的問題嵌入向量e′q. 即使用一種基于關(guān)系記憶感知的神經(jīng)網(wǎng)絡(luò)， 假設(shè)內(nèi)存M由N行組成， 其中每行是一個內(nèi)存槽.

用M^（t）表示內(nèi)存的步驟， M^（t）i，：∈k表示時間步驟t中的第i個內(nèi)存槽. 遵循xt更新M^（t）i，：

使用多頭自注意機制：

^（t+1）i，：=（^（

^{t+1），1}i，：^{（t+1），2}i，：…^{（t+1），H}i，：），（3）

其中

^{（t+1），h}i，：= "αi，N+1，h（W^h，Vxt）+ "∑Nj=1αi，j，h（W^h，VM^（t）j，：），（4）

H為注意頭數(shù)， 為向量拼接操作. 對于第h個頭， W^h，V∈^n×k是一個值投影矩陣， n表示頭的大小， k=nH. {αi，j，h}Nj=1和αi，N+1，

h為注意力權(quán)重， 使用Softmax函數(shù)在比例點積上計算：

αi，j，h=exp{βi，j，h}∑N+1m=1exp{βi，m，h}，（5）

αi，N+1，h=exp{βi，N+1，h}∑N+1m=1exp{βi，m，h}，（6）

其中

βi，j，h=（W^h，QM^（t）i，：）·（W^h，KM^（t）j，：）

n，（7）

βi，N+1，h=（W^h，QM^（t）i，：）·（W^h，Kxt）n

，（8）

W^h，Q∈^n×k， W^h，K∈^n×k分別為查詢投影矩陣和鍵投影矩陣. xt和^（t+1）i，：之間的殘差連接提供給多層感知器， 然后通過內(nèi)存的門控機制， 生成表示時間步長t的編碼向量yt∈k. 同時， 該門控機制也會生成代表時間步長（t+1）的下一個內(nèi)存槽M^（t+1）i，：.

其次， 使用一個全連接層和一個殘差塊. 全連接層將輸入H線性變換為q=e′qW+b， 殘差塊使用函數(shù)f進行非線性變換， 輸出eq=f（q）+eq.

最終將eq作為新的嵌入向量， 用于后續(xù)的推理和推斷.

整體RAMN網(wǎng)絡(luò)訓練使用ComplEx函數(shù)作為評分函數(shù)， 給定問題q， 主題實體h∈E和應(yīng)答實體集AE， 其以如下方式學習問題嵌入：

φ（eh，eq，ea）gt;0，a∈A，

φ（eh，eq，ea）lt;0，aA，（9）

其中φ是ComplEx評分函數(shù)， ea和ea是在上一步中學習的實體嵌入. 對于每個問題， 使用所有候選答案實體a′E計算得分φ（·）. 該模型是通

過最小化分數(shù)的Sigmoid和目標標簽之間的二進制交叉熵損失學習， 其中對正確答案， 目標標簽為1， 否則為0. 當實體總數(shù)較大時， 將進行標簽平滑.

2.4"答案選擇函數(shù)

答案選擇在RMP-KGQA模型中的作用是通過結(jié)合路徑評分計算每個候選答案與問題之間的相似度， 對所有候選答案進行打分并選擇最佳答案， 以提高問答的準確性和效率.

將eq，eh，ea送入評分函數(shù)中進行評分計算， 并引入路徑評分， 選擇與計算最終得到答案aans. 即將關(guān)系記憶感知模塊得到的重映射的問題嵌入向量eq和主體實體嵌入向量eh、 候選問題答案嵌入向量ea送入評分函數(shù)中進行評分計算， 并引入關(guān)系路徑嵌入向量ep， 設(shè)置評分函數(shù)進行路徑評分. 最終的評分函數(shù)為

aans=argmax φ（eh，eq，ea′）+αtanh（sim（ep，eq））.（10）

評分函數(shù)由兩部分組成： 左半部分為ComplEx評分函數(shù)， 右半部分為路徑評分函數(shù). 其中： tanh（sim（ep，eq））表示問題嵌入向量和路徑嵌入向量之間的相似度， 選擇余弦距離函數(shù)計算相似度; α為超參數(shù)， 表示三元關(guān)系和路徑問題相關(guān)性之間權(quán)衡的權(quán)重. tanh函數(shù)的輸出值在［-1，1］內(nèi)， 可反映路徑和問題之間的兩極相關(guān)性， 因為與問題不匹配的路徑甚至可以推斷出不太可能的答案. 特定于路徑的分數(shù)可表明路徑和給定問題之間的正相關(guān)或負相關(guān)， 這可進一步與三元組分數(shù)相結(jié)合， 以探索更準確的答案.

3"實驗結(jié)果與分析

3.1數(shù)據(jù)集和評價指標

本文在數(shù)據(jù)集WebQSP（Web QuestionSP）^［20］上進行實驗， 該數(shù)據(jù)集中的問題來自Bing搜索引擎的日志， 并由人工標注者根據(jù)給定的知識圖譜和答案標注進行標注， 其包含

4 737個問題. 這些問題為1跳和2跳問題， 可通過Freebase KG進行回答. 為方便實驗， 將知識庫限制為Freebase的一個子集， 該子集包含WebQSP問題中提到的任何實體的2跳

內(nèi)的所有事實. 進一步， 本文還修剪了知識庫， 僅包含數(shù)據(jù)集中提到的那些關(guān)系. 最終， 得到較小的知識庫包含180萬個實體和570萬個三元組實體.

為更符合實際場景， 需對質(zhì)量保證模型進行不完整知識庫測試. 本文使用隨機刪除知識庫中1/2的三元組的方式模擬不完整知識庫， 稱為WebQSP-50， 對完整的知識庫， 稱為WebQSP-Full. 在WebQSP-50中， 隨機刪除概率為0.5的事實， 這樣可以模擬在實際應(yīng)用中遇到不完整知識庫的情況.

使用準確率P作為主要評價指標衡量知識圖譜多跳問答的性能. 在實驗中， 準確率定義為在測試集中的所有問題中， 系統(tǒng)給出的答案中與標準答案完全匹配的數(shù)量除以總問題數(shù). 如果一個問題有多個正確答案， 則將所有正確答案計入總體統(tǒng)計中.

3.2"定量實驗

為進一步評估本文模型的性能， 進行了定性實驗分析. 在這些實驗中， 手動挑選一些具有挑戰(zhàn)性的問題， 并使用本文模型與其他模型進行比較. 對比模型包括KVMem^［21］，GraftNet^［22］，PullNet^［23］和EmbedKGQA^［10］. 本文選擇這些對比模型是因為它們在目前的基準測試中性能良好， 并代表了現(xiàn)有最先進的問答系統(tǒng)模型.

不同方法的定量實驗結(jié)果列于表1. 由表1可見， RMP-KGQA模型在數(shù)據(jù)集WebQSP-Full上的準確率為68.9%， 相比其他模型具有較大優(yōu)勢. 在數(shù)據(jù)集WebQSP-50上， 由于刪除了50%的三元組， 導致知識圖譜變得非常稀疏， 使得許多問題的頭實體節(jié)點到答案節(jié)點的路徑更長， 路徑跳轉(zhuǎn)步長大于3. 因此， 需要構(gòu)建問題特定子圖的模型（如GraftNet，PullNet）在生成的子圖中無法調(diào)用答案實體， 從而導致模型性能下降. 而RMP-KGQA模型并不受限于子圖的范圍， 利用知識圖譜嵌入預(yù)測鏈接屬性， 可以推斷缺失鏈接之間的關(guān)系. 此外， RMP-KGQA模型還引入了關(guān)系記憶感知模塊和路徑信息評分， 充分利用了知識圖譜的結(jié)構(gòu)信息. 因此， RMP-KGQA模型在知識圖譜問答中的性能優(yōu)越， 為處理更復雜的多跳問答場景提供了一個強大且魯棒的解決方案， 有效改進了答案檢索的準確性和魯棒性.

3.3"消融實驗

為評估模型各組成部分對其性能的貢獻， 本文在數(shù)據(jù)集WebQSP-Full和WebQSP-50上進行消融實驗， 比較了剔除關(guān)系記憶感知模塊和刪除多跳路徑矢量化模塊后的模型性能， 結(jié)果列于表2.

由表2可見， 在數(shù)據(jù)集WebQSP-50上刪除關(guān)系記憶感知模塊后， 準確率下降了2.9個百分點， 刪除多跳路徑矢量化模塊后， 準確率下降了1.8個百分點. 表明這兩個模塊對RMP-KGQA模型的性能具有重要作用， 證明了本文模型在設(shè)計中添加路徑信息和關(guān)系記憶的意義. 關(guān)系記憶感知模塊能有效地將自然語言問句嵌入與知識圖譜嵌入相聯(lián)系， 從而解決了映射空間不同的問題， 并考慮了兩者之間存在的潛在依賴關(guān)系； 而多跳路徑矢量化模塊能利用路徑信息豐富評分函數(shù)， 從而提高知識圖譜多跳問答檢索系統(tǒng)的準確性和魯棒性.

3.4"可解釋性分析

利用可視化方法進行可解釋性分析. 本文對模型預(yù)測的前10個答案Ehit_10={e1，e2，…，e10}進行自相關(guān)性熱力圖的可視化， 并選取8組數(shù)據(jù)生成對應(yīng)的熱力圖， 結(jié)果如圖3所示.

這些熱力圖展示了模型在嵌入空間中準確區(qū)分正確答案和錯誤答案的能力， 主要表現(xiàn)在正確答案之間的嵌入相似度顯著高于錯誤答案的嵌入相似度. 自相關(guān)性的計算公式為

R（ei，ej）=∑Nk=1（ei，k-ei）（ej，k-ej）∑Nk=1（ei，k

-ei）2∑Nk=1（ej，k-ej）2，（11）

其中R（ei，ej）為嵌入向量ei和ej的自相關(guān)系數(shù)， 實體嵌入向量ei，ej∈E， ei，k和ej，k為嵌入向量ei和ej在第k維的元素， ei和ej為向量ei和ej的平均值， N為嵌入向量的維度.

分析問題經(jīng)過關(guān)系記憶感知模塊處理前后嵌入向量與預(yù)測前10個答案嵌入向量之間的余弦相似度， 并對8組數(shù)據(jù)生成對應(yīng)的折線圖， 結(jié)果如圖4所示.

本文采用折線圖進行可視化是因為它能有效揭示問題嵌入與答案嵌入的余弦相似度隨答案排名的變化趨勢， 清晰地展示不同數(shù)據(jù)系列間的對比差異， 并能反映數(shù)據(jù)的波動程度. 由圖4可見， 經(jīng)過關(guān)系記憶感知模塊處理后的問題嵌入向量與正確答案的相似度普遍提高， 與錯誤答案的相似度則有所降低， 從而驗證了關(guān)系記憶感知模塊的有效性. 余弦相似度計算公式為

Similarity=cos（ei，eq）=∑Ni=1（e

i×eq）∑Ni=1（ei）2×∑Ni=1（eq）2，（12）

其中cos（ei，eq）是實體嵌入向量ei和問題嵌入向量eq的余弦值， 實體嵌入向量ei∈E.

為更深入地理解模型性能， 本文選取一個案例進行分析. 在該案例中， 問題為“what else did ben franklin invent”， 預(yù)測的前10個答案為Franklin stove，lightningrod，bifocallens，glassharmonica，Boston，actor，F(xiàn)ranklinton，Mobile，diplomat，Brevard County. 由圖3（A）可見， 正確答案（答案0，1，2，3）之間的相關(guān)度很高， 與錯誤答案的相關(guān)度較低. 由圖4（A）可見， 處理后的問題嵌入向量與正確答案的相似度提高， 與錯誤答案的相似度降低.

此外， 在可視化結(jié)果中， 自相關(guān)性熱力圖展示了模型在嵌入空間中明確區(qū)分正確和錯誤答案的能力. 同時， 折線圖揭示了關(guān)系記憶感知模塊能有效提升問題與正確答案之間的嵌入相似度， 降低與錯誤答案的相似度. 這些結(jié)果均驗證了模塊的有效性和提高模型預(yù)測性能的能力. 實驗結(jié)果表明， RMP-KGQA模型在知識圖譜多跳問答領(lǐng)域具有較高的準確率， 并且關(guān)系記憶感知模塊和多跳路徑矢量化模塊對提高模型性能具有重要作用.

綜上所述， 針對自然語言處理領(lǐng)域中不完整知識圖譜導致實體關(guān)聯(lián)膨脹， 進而需進行額外推理和推斷使答案的推導過程變得更復雜的問題， 本文提出了一種RMP-KGQA模型， 該模型結(jié)合了關(guān)系記憶網(wǎng)絡(luò)和路徑信息， 引入了關(guān)系記憶感知和多跳路徑矢量化的方法， 通過利用路徑信息和關(guān)系記憶網(wǎng)絡(luò)提高答案推斷的準確率. 同時， RMP-KGQA模型不局限于問題特定子圖， 可通過利用KG嵌入的鏈接預(yù)測屬性推斷缺失鏈接的關(guān)系， 從而提高模型的魯棒性. 實驗結(jié)果表明， RMP-KGQA模型性能優(yōu)異， 尤其在處理復雜問題時的準確率明顯高于其他模型.

參考文獻

［1］"陳成， 陳躍國， 劉宸， 等. 意圖知識圖譜的構(gòu)建與應(yīng)用 ［J］. 大數(shù)據(jù)， 2020， 6（2）： 57-68. （CHEN C， CHEN Y G， LIU C， et al. Constructing and Analyzing Intention Knowledge Graphs ［J］. Big Data， 2020， 6（2）： 57-68.）

［2］"杜會芳， 王昊奮， 史英慧， 等. 知識圖譜多跳問答推理研究進展、 挑戰(zhàn)與展望 ［J］. 大數(shù)據(jù)， 2021， 7（3）： 60-79. （DU H F， WANG H F， SHI Y H， et al. Progress， Challenges and Research Trends of Reasoning in Multi-hop Knowledge Graph Based Question Answering ［J］. Big Data， 2021， 7（3）： 60-79.）

［3］"XIONG W H， HOANG T， WANG W Y. DeepPath： A Reinforcement Learning Method for Knowledge Graph Reasoning ［C］//Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. ［S.l.］： ACL， 2017： 564-573.

［4］"MO Y， YIN W， HASAN K S， et al. Improved Neural Relation Detection for Knowledge Base Question Answering ［C］//Proceedings of the 55th Annual Meeting of the Association for Computation Linguistics. ［S.l.］： ACL， 2017： 571-581.

［5］"VARDHAN L， GUO J， KOK S. Probabilistic Logic Graph Attention Networks for Reasoning ［C］//Proceedings of the 2020 International Conference on World Wide Web. "New York： ACM， 2020： 669-673.

［6］"REN H Y， HU W H， LESKOVEC J. Query2box： Reasoning over Knowledge Graphs in Vector Space Using Box Embeddings ［C］//8th International Conference on Learning Representations （ICLR）. Washington DC： ICLR， 2020： 1-16.

［7］"CHEN Y， WU L F， ZAKI M J. Bidirectional Attentive Memory Networks for Question Answering over Knowledge Bases ［C］//Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. ［S.l.］： ACL， 2019： 2913-2923.

［8］"HUANG X， ZHANG J Y， LID C， et al. Knowledge Graph Embedding Based Question Answering ［C］//Proceedings of the "ACM International Conference on Web Search and Data Mining （WSDM）. New York： ACM， 2019： 105-113.

［9］"TERU K K， DENIS E G， HAMILTON W L. Inductive Relation Prediction by Subgraph Reasoning ［C］//Proceedings of the 37th International Conference on Machine Learning. New York： ACM， 2020： 9448-9457.

［10］"SAXENA A， TRIPATHI A， TALUKDAR P. Improving Multi-hop Question Answering ove

r Knowledge Graphs Using Knowledge Base Embeddings ［C］//Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. ［S.l.］： ACL， 2020： 4498-4507.

［11］"NIU G L， LI Y， TANG C G， et al. Path-Enhanced Multi-relational Question Answering with Knowledge Graph Embeddings ［EB/OL］. （2021-10-29）［2023-04-22］. https：//arxiv.org/abs/2110.15622.

［12］"WANG M， WANG R J， LIU J， et al. Towards Empty Answers in SPARQL： Approximating Querying with RDF Embedding ［C］//Proceedingd of the 17th International Semantic Web Conference. Berlin： Springer， 2018： 513-529.

［13］"BORDES A， USUNIER N， GARCIA-DURAN A， et al. Translating Embeddings for Model

ing Multi-relational Data ［C］//Processing of the 26th Annual Conference on Neural Information Processing Systems. New York： ACM， 2013： 2315-2323.

［14］"LIN Y K， LIU Z Y， SUN M S， et al. Learning Entity and Relation Embeddings for Knowledge Graph Completion ［C］//Proceedings of the AAAI Conference on Artificial Intelligence. New York： ACM， 2015： 2181-2187.

［15］"JI G L， HE S Z， XU L H， et al. Knowledge Graph Embedding via Dynamic Mapping Matrix ［C］//Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing. ［S.l.］： ACL， 2015： 687-696.

［16］"SUN Z Q， DENG Z H， NIE J Y， et al. RotatE： Knowledge Graph Embedding by Relational Rotation in Complex Space ［C］//Proceedings of the 6th International Conference on Learning Representations. ［S.l.］： ICLR， 2018： 1-18.

［17］"TROUILLON T， WELBL J， RIEDEL S， et al. Complex Embeddings for Simple Link Prediction ［C］//Proceedings of the 33rd International Conference on Machine Learning. New York： ACM， 2016： 2071-2080.

［18］"LIU Y H， OTT M， GOYAL N， et al. RoBERTa： A Robustly Optimized BERT Pretraining Approach ［EB/OL］. （2019-07-26）［2023-04-22］. https：//arxiv.org/abs/1907.11692.

［19］"SANTORO A， FAULKNER R， RAPOSO D， et al. Relational Recurrent Neural Networks

［C］//Advances in Neural Information Proceeding Systems 31 （NeurIPS 2018）. New York： ACM， 2018： 7310-7321.

［20］"YIH W， RICHARDSON M， MEEK C， et al. The Value of Semantic Parse Labeling for Knowledge Base Question Answering ［C］//Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics. ［S.l.］： ACL， 2016： 201-206.

［21］"MILLER A， FISCH A， DODGE J， et al. Key-Value Memory Networks for Directly Reading Documents ［C］//Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. ［S.l.］： ACL， 2016： 1400-1409.

［22］"SUN H T， DHINGRA B， ZAHEER M， et al. Open Domain Question Answering Using Early Fusion of Knowledge Bases and Text

［C］//Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. ［S.l.］： ACL， 2018： 4231-4242.

［23］"SUN H T， BEDRAX-WEISS T， COHEEN W W. PullNet： Open Domain Question Answering with Iterative Retrieval on Knowledge Bases and Text

［C］//Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint

Conference on Natural Language Processing. ［S.l.］： ACL， 2019： 2380-2390.

（責任編輯： 韓"嘯）