基于可微神經(jīng)計(jì)算機(jī)和貝葉斯網(wǎng)絡(luò)的知識(shí)推理方法

孫建強(qiáng)，許少華

（山東科技大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，山東青島 266590）

（*通信作者電子郵箱sunjianqiangv@outlook.com）

0 引言

人工智能（Artificial Intelligence，AI）的發(fā)展大致可分為三個(gè)層次：計(jì)算智能、感知智能和認(rèn)知智能。人工智能的終極目標(biāo)是實(shí)現(xiàn)通用人工智能（Artificial General Intelligence，AGI）［1］?，F(xiàn)階段，機(jī)器對(duì)海量數(shù)據(jù)的處理得益于其高性能的運(yùn)算能力，機(jī)器的計(jì)算智能已遠(yuǎn)超人類水平。感知智能是機(jī)器對(duì)語音、圖像等進(jìn)行感知的能力，例如在畫面中可以識(shí)別出客體信號(hào)，已基本達(dá)到甚至超過了人類水平。認(rèn)知智能對(duì)人工智能提出了更高要求，機(jī)器需要具有人類智能水平，具有解釋數(shù)據(jù)、解釋過程、解釋現(xiàn)象的能力，從而對(duì)問題進(jìn)行推理、規(guī)劃、創(chuàng)作，得到正確的決策判斷［2-3］。

知識(shí)圖譜（Knowledge Graph，KG）被認(rèn)為是人工智能由感知智能通向認(rèn)知智能的基石，其中很大的原因在于KG 強(qiáng)大的語義理解能力和知識(shí)推理能力［4］。KG 可將知識(shí)以機(jī)器可讀的方式進(jìn)行結(jié)構(gòu)化，基于語義表達(dá)解決實(shí)際問題，但它不能處理知識(shí)的不確定性。貝葉斯網(wǎng)絡(luò)（Bayesian Network，BN）通過置信度，以概率表示知識(shí)的不確定性，并結(jié)合圖論，展現(xiàn)了其在知識(shí)推理方面解決不確定性問題和處理非完整性信息的優(yōu)勢［5］。

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）具有強(qiáng)大的學(xué)習(xí)能力和泛化能力，被廣泛應(yīng)用于知識(shí)推理領(lǐng)域［6］。針對(duì)KG 中許多隱藏事實(shí)未能挖掘的問題，文獻(xiàn)［7］中提出了一種神經(jīng)張量網(wǎng)絡(luò)（Neural Tensor Network，NTN）模型，對(duì)發(fā)現(xiàn)實(shí)體間隱藏關(guān)系具有良好效果；但其計(jì)算復(fù)雜度非常高，且在稀疏KG 上的效果較差。文獻(xiàn)［8］中提出了投影嵌入（Embedding Projection，ProjE）模型，對(duì)模型參數(shù)規(guī)模進(jìn)行了優(yōu)化，降低了計(jì)算復(fù)雜度；但它對(duì)實(shí)體和關(guān)系嵌入向量預(yù)處理的效果存在很大的依賴。針對(duì)神經(jīng)網(wǎng)絡(luò)有限的存儲(chǔ)記憶能力，基于輔助存儲(chǔ)的推理受到了研究者的重視。文獻(xiàn)［9］中提出了隱性推理網(wǎng)（Implicit ReasoNets，IRN）模型，使用共享記憶部件存儲(chǔ)記憶信息，通過對(duì)共享記憶組件的讀取來隱式地進(jìn)行推理；但I(xiàn)RN 模型無法對(duì)記憶信息進(jìn)行即時(shí)寫入或修改。文獻(xiàn)［10］中提出了神經(jīng)圖靈機(jī)（Neural Turing Machine，NTM）模型，模擬馮諾依曼體系，將深度神經(jīng)網(wǎng)絡(luò)和輔助存儲(chǔ)分別視為中央處理器和內(nèi)存，為推理功能提供了記憶基礎(chǔ)；但NTM無法避免多個(gè)存儲(chǔ)單元互相干擾，而且無法釋放存儲(chǔ)單元。文獻(xiàn)［11］中提出的可微神經(jīng)計(jì)算機(jī)（Differentiable Neural Computer，DNC）在NTM 基礎(chǔ)上對(duì)存儲(chǔ)管理方式進(jìn)行了改進(jìn)，而且時(shí)序記憶鏈接的加入使得DNC 可以跳躍讀取或更新記憶信息；但同其他神經(jīng)網(wǎng)絡(luò)模型一樣，DNC無法對(duì)數(shù)據(jù)不確定性進(jìn)行處理。針對(duì)現(xiàn)有方法有限的記憶能力無法很好對(duì)KG中隱含信息進(jìn)行挖掘和KG 無法處理不確定知識(shí)的問題，提出一種可微神經(jīng)計(jì)算機(jī)（DNC）和貝葉斯網(wǎng)絡(luò)（BN）相結(jié)合的推理方法DNC-BN，并通過實(shí)驗(yàn)驗(yàn)證了DNC-BN的推理效果。

本文的主要工作是：

1）將具有長期記憶功能的可微神經(jīng)計(jì)算機(jī)應(yīng)用到KG 推理領(lǐng)域，以解決KG推理中隱含信息挖掘不充分的問題；

2）提出了DNC-BN 方法，模擬人腦推理過程，把人工神經(jīng)網(wǎng)絡(luò)、輔助存儲(chǔ)和不確定性推理相結(jié)合，通過引入BN 處理數(shù)據(jù)不確定性，使用極大似然估計(jì)計(jì)算實(shí)體概率參數(shù)，量化了實(shí)體關(guān)系真實(shí)存在的可能性。

1 相關(guān)工作

1.1 知識(shí)圖譜

KG 的概念［12］于2012 年由谷歌公司提出，其本質(zhì)為具有圖數(shù)據(jù)結(jié)構(gòu)的知識(shí)庫，可以認(rèn)為KG 由語義網(wǎng)絡(luò)（Semantic Network，SN）［4］發(fā)展而來。KG 最初用于增強(qiáng)搜索引擎的智能化，由于包含了豐富的語義關(guān)聯(lián)和知識(shí)結(jié)構(gòu)，可為學(xué)習(xí)和研究提供有價(jià)值的數(shù)據(jù)信息。如圖1所示，可視化KG展示了2019新型冠狀病毒與宿主、基因和蛋白等的關(guān)系。

圖1 KG示意圖Fig.1 Schematic diagram of KG

KG 可以使用事實(shí)三元組（頭實(shí)體，關(guān)系，尾實(shí)體）來形式化表示事物及其之間關(guān)系，例如事實(shí)三元組（2019 新型冠狀病毒，宿主實(shí)體，人類）中，頭實(shí)體和尾實(shí)體分別為“2019 新型冠狀病毒”和“人類”，兩者之間的關(guān)系為“宿主實(shí)體”。

目前大部分的開放KG 并非很完善，大量的隱含信息亟待挖掘。KG 的不完整性對(duì)其可發(fā)揮的作用產(chǎn)生了一定的制約，因此，如何挖掘隱含信息，對(duì)KG 中的知識(shí)進(jìn)行完善是一項(xiàng)重要的研究問題［13］。知識(shí)圖譜補(bǔ)全（Knowledge Graph Completion，KGC）技術(shù)可以預(yù)測殘缺信息，挖掘隱含數(shù)據(jù)，為解決KG 不完整性問題提供了重要支持。KGC 技術(shù)中，最重要的方法就是面向KG的知識(shí)推理［14］。

1.2 可微神經(jīng)計(jì)算機(jī)

ANN 處理數(shù)據(jù)時(shí)，計(jì)算和存儲(chǔ)并不是分開的，而是通過網(wǎng)絡(luò)參數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)混合在一起，它對(duì)存儲(chǔ)需求的處理有限，并不能隨著任務(wù)存儲(chǔ)需求的增長對(duì)存儲(chǔ)進(jìn)行靈活的更迭。DNC則提供了解決問題的一種思路。

DNC 可以視為ANN 和外部存儲(chǔ)矩陣的結(jié)合，即主要由控制器和記憶體組成［10，15］。和其他神經(jīng)網(wǎng)絡(luò)相比，DNC 可選擇性地對(duì)存儲(chǔ)進(jìn)行讀寫，并迭代地修改存儲(chǔ)數(shù)據(jù)。利用記憶體存儲(chǔ)矩陣，DNC可以獲取推理隱含信息，存儲(chǔ)推理過程中的重要數(shù)據(jù)，通過模擬人腦的推理過程，提高了推理效率。DNC的核心是控制器，其本質(zhì)是ANN，相當(dāng)于計(jì)算機(jī)系統(tǒng)中的處理器。記憶體大大提高了DNC 的記憶能力，是DNC 的創(chuàng)新之處。DNC的模型結(jié)構(gòu)見圖2。

圖2 DNC結(jié)構(gòu)Fig.2 Structure of DNC

控制器和記憶體的交互對(duì)DNC 具有重要意義?？刂破骺蛇x擇性將記憶信息寫入記憶體，并對(duì)寫入的位置進(jìn)行確定?？刂破骺梢愿乱粋€(gè)位置的記憶信息，并對(duì)信息是否釋放作出決定?？刂破鬟€可以從記憶體的多個(gè)位置進(jìn)行讀取，關(guān)聯(lián)時(shí)序鏈接記錄了記憶信息被存儲(chǔ)的順序。

因此，DNC在具有長期記憶功能的同時(shí)，還可以靈活地對(duì)記憶信息進(jìn)行更新，本文提出的方法將DNC 引入到KG 推理領(lǐng)域中，對(duì)推理和隱含信息的挖掘具有重要作用。

1.3 概率圖模型

概率圖模型（Probabilistic Graphical Model，PGM）由文獻(xiàn)［16］提出，它結(jié)合了概率論和圖論，通過構(gòu)建圖來表達(dá)問題中變量的聯(lián)合概率分布，是不確定性推理問題的重要工具。

BN 是PGM 的一種，理論基礎(chǔ)為貝葉斯法則［5］。BN 可形式化表示為BN(G，θ)，其中網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)G為有向無環(huán)圖（Directed Acyclic Graph，DAG），圖中節(jié)點(diǎn)為隨機(jī)變量，包括已知變量、隱含變量以及未知參數(shù)等，節(jié)點(diǎn)之間的連線表示隨機(jī)變量間的條件依賴，θ定量描述這種依賴，并通過條件概率表（Conditional Probability Table，CPT）表示。BN 運(yùn)用不確定性推理原理，模擬人類推理過程中的因果關(guān)系，避免了數(shù)據(jù)的過擬合以及主觀因素造成的偏差，可以出色地處理挖掘數(shù)據(jù)中潛在知識(shí)的問題［17］。

2 DNC-BN模型結(jié)構(gòu)

本文提出的DNC-BN 模型主要由控制器、記憶體、BN 等組成，輸入數(shù)據(jù)形式為已預(yù)處理為編碼數(shù)據(jù)的事實(shí)三元組。輸入數(shù)據(jù)在控制器中處理得到的記憶信息被寫入到記憶體中，控制器和記憶體之間的交互通過讀寫頭完成?？刂破魈幚砗蟮娜M數(shù)據(jù)再由BN計(jì)算實(shí)體節(jié)點(diǎn)之間的概率參數(shù)，推理實(shí)體之間存在關(guān)系的可能性，最終輸出補(bǔ)全的三元組數(shù)據(jù)。DNC-BN模型整體架構(gòu)和數(shù)據(jù)處理流程如圖3所示。

圖3 DNC-BN模型總體架構(gòu)Fig.3 Overall structure of DNC-BN model

2.1 控制器

控制器是模型的核心。在t時(shí)刻，控制器從數(shù)據(jù)集中接收輸入向量xt，在記憶體存儲(chǔ)矩陣Mt-1中獲取R個(gè)讀向量，經(jīng)過控制器網(wǎng)絡(luò)處理，得到輸出向量yt。令

控制器網(wǎng)絡(luò)可以選擇任何結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，本文使用長短時(shí)記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)作為控制器網(wǎng)絡(luò)［18］。在t時(shí)刻，控制器網(wǎng)絡(luò)l層輸出值為：

在每一時(shí)刻，控制器網(wǎng)絡(luò)都計(jì)算得到一個(gè)網(wǎng)絡(luò)輸出向量υt和一個(gè)交互向量ξt，其中交互向量用來參數(shù)化t時(shí)刻控制器和記憶體的交互：

控制器通過在計(jì)算圖中創(chuàng)建循環(huán)將信息傳遞回來［19］，進(jìn)而得到υt等。計(jì)算圖可如圖4簡要展示。

圖4 控制器計(jì)算圖Fig.4 Computation graph of controller

最后，控制器輸出向量為：

這種設(shè)計(jì)使控制器通過加強(qiáng)對(duì)記憶體存儲(chǔ)矩陣的依賴調(diào)節(jié)其輸出決策。

2.2 讀寫頭和記憶體

如圖5 所示，控制器通過讀寫頭對(duì)記憶體中的數(shù)據(jù)進(jìn)行操作。

圖5 控制器通過讀寫頭與記憶體的交互Fig.5 Interaction between controller with memory through read and write heads

讀取或?qū)懭氲奈恢糜上鄳?yīng)的權(quán)重決定，N個(gè)位置上允許權(quán)重的集合是RN中標(biāo)準(zhǔn)單純形的非負(fù)象限：

其中：°表示Hadamard乘積；E為N×M的全1矩陣。

DNC的尋址機(jī)制是多種結(jié)合的：在記憶體中寫入數(shù)據(jù)時(shí)，使用了基于內(nèi)容的尋址和動(dòng)態(tài)尋址；在記憶體中讀取數(shù)據(jù)時(shí)，使用了基于內(nèi)容的尋址和時(shí)序記憶鏈接來獲取位置。

2.2.1 基于內(nèi)容的尋址

在存儲(chǔ)矩陣M上進(jìn)行內(nèi)容查找操作定義為：

其中：向量k為查找鍵；β為鍵強(qiáng)度參數(shù)；D()為余弦相似度，用來作為內(nèi)容相似性的評(píng)估函數(shù)。

C(M，k，β) ∈SN定義了存儲(chǔ)位置上的歸一化概率分布。SN是約束向量，被定義為標(biāo)準(zhǔn)(N-1)-單純形：

2.2.2 動(dòng)態(tài)尋址

動(dòng)態(tài)尋址是通過釋放列表φt實(shí)現(xiàn)的。釋放列表記錄了記憶體中空閑的存儲(chǔ)位置，控制器對(duì)記憶體中數(shù)據(jù)進(jìn)行改動(dòng)后，釋放列表也隨之更新。

在寫入數(shù)據(jù)之前，控制器為讀取頭i分配釋放門參數(shù)用來判斷最近讀取的位置信息是否被釋放。ψt為保留向量，表示位置信息不會(huì)被釋放的程度：

ut表示t時(shí)刻的存儲(chǔ)使用向量，u0=0，

得到ut的值，對(duì)各個(gè)存儲(chǔ)位置的使用情況進(jìn)行升序排列，可以對(duì)釋放列表進(jìn)行更新。φt[1]記錄了利用率最低的存儲(chǔ)位置。排序操作使得順序有變動(dòng)的位置產(chǎn)生不連續(xù)性，在計(jì)算梯度時(shí)，由于產(chǎn)生的不連續(xù)性對(duì)學(xué)習(xí)無關(guān)，故將其忽略。

2.2.3 寫入權(quán)重

定義分配權(quán)重at，用來產(chǎn)生新分配的寫入位置：

控制器對(duì)新分配的位置可選擇寫入或不寫入。首先，定義寫內(nèi)容權(quán)重：

2.2.4 讀取權(quán)重

對(duì)于讀取頭i，定義讀內(nèi)容權(quán)重

2.3 時(shí)序記憶鏈接

時(shí)序記憶鏈接保存了記憶體位置寫入順序的信息，被表示為Lt。Lt[i，j]表示位置i在寫入位置j后被寫入的程度，而且Lt的每行每列都可定義位置權(quán)重。

其中，pt為優(yōu)先權(quán)重，pt[i]表示位置i被最后寫入的程度：

對(duì)于讀取頭i，定義反向權(quán)重和前向權(quán)重：

2.4 貝葉斯網(wǎng)絡(luò)

BN 可有效表達(dá)節(jié)點(diǎn)間的條件獨(dú)立性。節(jié)點(diǎn)n1，n2，…，nd的聯(lián)合概率分布為：

其中pai為ni的父節(jié)點(diǎn)集。模型訓(xùn)練的過程為參數(shù)估計(jì)的過程，本文使用極大似然估計(jì)計(jì)算網(wǎng)絡(luò)各個(gè)節(jié)點(diǎn)的概率參數(shù)。參數(shù)θt唯一確定PB(pai|ni)，為方便表達(dá)，記PB(pai|ni)為PB(pai|θi)。參數(shù)θi對(duì)pai的似然是：

參數(shù)θi的極大似然估計(jì)為：

通過控制器網(wǎng)絡(luò)對(duì)KG 三元組數(shù)據(jù)處理，記憶體對(duì)記憶信息的存儲(chǔ)和更迭以及BN對(duì)不確定性信息的分析，本文模型對(duì)三元組數(shù)據(jù)進(jìn)行推理，實(shí)現(xiàn)KG的補(bǔ)全。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文實(shí)驗(yàn)使用公開數(shù)據(jù)集WN18RR［20］和FB15k-237［21］來評(píng)估模型性能。WN18RR 和FB15k-237 分別為WordNet 子集WN18 和Freebase 子集FB15k 的修訂數(shù)據(jù)集。WordNet 是一個(gè)基于認(rèn)知語言學(xué)的大規(guī)模英語詞匯語義知識(shí)圖譜，WN18包含了其中的18 個(gè)關(guān)系和40 943 個(gè)實(shí)體；Freebase 是一個(gè)開放性的大規(guī)模鏈接數(shù)據(jù)庫，F(xiàn)B15k 包含了其中的1 345 個(gè)關(guān)系和14 951個(gè)實(shí)體。WN18和FB15k存在測試集泄漏問題，即測試集中包含有可由訓(xùn)練集中三元組翻轉(zhuǎn)得到的用例，這就使得實(shí)驗(yàn)?zāi)Ｐ蜆O易取得較優(yōu)結(jié)果。WN18RR 和FB15k-237 將訓(xùn)練集和測試集中的反向關(guān)系三元組數(shù)據(jù)進(jìn)行了處理，解決了測試集泄漏的問題。WN18RR 和FB15k-237 基本情況統(tǒng)計(jì)如表1所示。

表1 數(shù)據(jù)集的基本情況統(tǒng)計(jì)Tab.1 Basic statistics of datasets

WN18RR 和FB15k-237 數(shù)據(jù)集都由多文件組成，其中train、valid、test 文件分別代表訓(xùn)練集文件、驗(yàn)證集文件、測試集文件，每個(gè)文件的第一行標(biāo)注了樣本的個(gè)數(shù)，其余每行的樣本為三元組格式，以編碼數(shù)據(jù)存儲(chǔ)，且都保持（頭實(shí)體，尾實(shí)體，關(guān)系）的順序。entity2id 文件保存了所有實(shí)體及其對(duì)應(yīng)的id編碼，relation2id文件保存了所有關(guān)系及其對(duì)應(yīng)的id編碼。

3.2 實(shí)驗(yàn)參數(shù)設(shè)置

本文模型實(shí)驗(yàn)參數(shù)的設(shè)置參考了文獻(xiàn)［11］，并通過驗(yàn)證集對(duì)部分參數(shù)進(jìn)行微調(diào)。其中控制器網(wǎng)絡(luò)選擇為LSTM，隱藏層設(shè)置為256 個(gè)神經(jīng)元，使用均值為0、方差為0.1 的高斯分布初始化可更新參數(shù)。為提高收斂速度，優(yōu)化算法選擇為RMSProp，其中學(xué)習(xí)率設(shè)置為1× 10-4，模糊因子設(shè)置為1×10-10。記憶體中，設(shè)置64 個(gè)存儲(chǔ)位置，每個(gè)位置的寬度設(shè)置為256，用于存儲(chǔ)控制器處理生成的記憶信息。模型設(shè)置了2個(gè)讀頭和1 個(gè)寫頭用于控制器和記憶體之間記憶信息的交互。BN 使用極大似然估計(jì)計(jì)算網(wǎng)絡(luò)各個(gè)實(shí)體節(jié)點(diǎn)的概率參數(shù)，并使用貝葉斯打分函數(shù)對(duì)實(shí)體之間的關(guān)系進(jìn)行評(píng)估。

3.3 拷貝任務(wù)

拷貝任務(wù)可以作為一種健全性檢查對(duì)動(dòng)態(tài)存儲(chǔ)分配進(jìn)行測試，并通過可視化對(duì)實(shí)驗(yàn)過程進(jìn)行分析。如圖6（a）和（b）所示（圖的橫向表示時(shí)間步，縱向表示存儲(chǔ)位置），在數(shù)據(jù)集中隨機(jī)選擇若干條序列作為輸入，并在記憶體中按輸入順序進(jìn)行召回創(chuàng)建為輸出序列。在召回階段，不再提供輸入，從而確保網(wǎng)絡(luò)將所有序列存儲(chǔ)到了記憶體中。通過設(shè)置較少的存儲(chǔ)位置，來測試動(dòng)態(tài)存儲(chǔ)分配和存儲(chǔ)位置重用等。如圖6（c）和（d）所示，相同的存儲(chǔ)位置被重復(fù)使用。同時(shí)，結(jié)合圖6（e）和（f），可以看出在讀取階段，釋放門處于活躍狀態(tài)，這意味著存儲(chǔ)位置在被讀取之后會(huì)被立即釋放；在寫入階段，分配門處于活躍狀態(tài)，這表明被釋放的位置可以重新使用。

圖6（g）給出了一個(gè)錯(cuò)誤分配情況，第9 個(gè)位置未能正確地更新，導(dǎo)致其余的序列在后面的時(shí)間步中都不可以使用這些存儲(chǔ)位置。

圖6 拷貝任務(wù)可視化Fig.6 Visualization of copy task

3.4 結(jié)果分析

為了評(píng)估本文模型各組成部分對(duì)實(shí)驗(yàn)性能的影響，本文先進(jìn)行消融實(shí)驗(yàn)；為了評(píng)估本文模型的綜合推理性能，本文模型與TransE［22］模型、ConvE［20］模型及DistMult［23］模型進(jìn)行了對(duì)比實(shí)驗(yàn)。

本文實(shí)驗(yàn)環(huán)境為JetBrains PyCharm 2018.3，64 位Windows 10 操作系統(tǒng)，使用了開源機(jī)器學(xué)習(xí)平臺(tái)TensorFlow；硬件配置為Intel Core i5-4 210 CPU @2.4 GHz，8 GB物理內(nèi)存。

對(duì)于每一個(gè)測試三元組，使用數(shù)據(jù)集中所有實(shí)體分別替換要推理的實(shí)體，如對(duì)于測試三元組(hei，tei，teli)，若需要推理hei，則需要構(gòu)造三元組(he1，tei，teli)，(he2，tei，teli)，…，(hen，tei，teli)，其中he1，he2，…，hen∈E，n為實(shí)體總數(shù)，每一個(gè)構(gòu)造出的三元組都有對(duì)應(yīng)的得分。

實(shí)驗(yàn)評(píng)估指標(biāo)使用Mean Rank 及Hits@10，其中Mean Rank 代表正確實(shí)體在得分排名中的平均位次，Hits@10 代表正確實(shí)體在前十排名中的比例。因此，Mean Rank 取得較低值、Hits@10取得較大值是理想的結(jié)果。

消融實(shí)驗(yàn)在WN18RR 數(shù)據(jù)集上進(jìn)行，結(jié)果如表2 所示。從表2 中可以看出，當(dāng)添加了BN 后，推理效果有較為明顯的提升，這表明BN 對(duì)隱含信息的推理產(chǎn)生了效果；而在LSTM基礎(chǔ)上使用記憶體，即DNC的提升效果明顯更好；同時(shí)，DNCBN 較僅使用DNC 的提升效果不如在LSTM 上使用BN 的提升效果明顯，也表明記憶體的引入對(duì)增強(qiáng)方法的推理能力起到了更大的作用。

本文DNC-BN模型同其他推理模型在WN18RR和FB15k-237 上的對(duì)比實(shí)驗(yàn)結(jié)果如表3 所示。同TransE、DistMult、ConvE 相比，本文模型在WN18RR 上Mean Rank 至少提前了769，Hits@10至少提高了0.8個(gè)百分點(diǎn)；在FB15k-237 上，Mean Rank 至少提前了42，Hits@10至少提高了1.8個(gè)百分點(diǎn)。

可以看出，本文模型在Mean Rank 上的性能較對(duì)比模型提升明顯，這一結(jié)果表明，知識(shí)圖譜推理過程中，考慮對(duì)記憶信息的存儲(chǔ)和利用以及對(duì)不確定性的處理，可以更好地挖掘潛在信息，提升推理效果。

表2 在WN18RR上的消融實(shí)驗(yàn)結(jié)果Tab.2 Results of ablation experiment on WN18RR

表3 DNC-BN同其他模型在WN18RR和FB15k-237上的Mean Rank 和Hits@10對(duì)比實(shí)驗(yàn)結(jié)果Tab.3 Comparison of Mean Rank and Hits@10 between DNC-BN and other models on WN18RR and FB15K-237

4 結(jié)語

本文提出的DNC-BN 模型基于可微神經(jīng)計(jì)算機(jī)（DNC）和貝葉斯網(wǎng)絡(luò)（BN），遵循認(rèn)知智能的思想，使用人工神經(jīng)網(wǎng)絡(luò)作為控制器對(duì)數(shù)據(jù)進(jìn)行處理，將記憶信息存儲(chǔ)在記憶體，通過讀寫頭進(jìn)行交互，并結(jié)合不確定性理論，對(duì)知識(shí)圖譜進(jìn)行推理。在數(shù)據(jù)集WN18RR 和FB15k-237 上的實(shí)驗(yàn)結(jié)果表明，本文模型所具有的輔助存儲(chǔ)及不確定性推理等提升了推理結(jié)果排名，展現(xiàn)了良好的推理效果。同多層LSTM 類似，堆疊型DNC 在原理上可以增加模型的學(xué)習(xí)和推理能力，研究堆疊型DNC的知識(shí)推理效果，是下一步將要開展的工作。