基于四元數(shù)膠囊網(wǎng)絡(luò)的知識(shí)圖譜補(bǔ)全模型

陳 恒，王思懿，李冠宇，祁瑞華，楊 晨，王維美

（1.大連外國語大學(xué) 語言智能研究中心，遼寧 大連 116044；2.大連海事大學(xué) 信息科學(xué)技術(shù)學(xué)院，遼寧 大連 116026）

0 概述

知識(shí)圖譜（Knowledge Graph，KG）是一種規(guī)模較大的語義網(wǎng)絡(luò)系統(tǒng)，旨在描述客觀真實(shí)世界中實(shí)體或概念之間的關(guān)聯(lián)關(guān)系。KG 在各領(lǐng)域的應(yīng)用越來越廣泛，YAGO［1］、Freebase［2］和DBpedia［3］等眾多知識(shí)圖譜采用RDF 三元組的形式描述真實(shí)世界中的關(guān)系和頭、尾實(shí)體，即（主語，謂語，賓語），例如（Chicago，City_Of，US）。知識(shí)圖譜已被廣泛應(yīng)用于許多行業(yè)與領(lǐng)域，如推薦系統(tǒng)［4］、問答系統(tǒng)［5］、搜索系統(tǒng)［6］和自然語言處理［7］。盡管KG 應(yīng)用場(chǎng)景較為廣泛，但是知識(shí)圖譜仍不完整，即缺少大量真實(shí)客觀三元組［8-11］。為此，研究人員提出許多典型嵌入模型，如TransE［12］、TransH［13］、TransR［14］等模型，這些模型用來學(xué)習(xí)KG 中實(shí)體和關(guān)系的低維嵌入。TransE 將知識(shí)圖譜中的關(guān)系解釋為頭實(shí)體到尾實(shí)體的平移，但不能建模較為復(fù)雜的關(guān)系模式。因此，TransH 和TransR 提出了新的解決方法，便于有效建模M-M 等關(guān)系。Trans 系列模型面向KG 中的實(shí)體和關(guān)系進(jìn)行表示學(xué)習(xí)，該類模型在建模和推理缺失三元組方面效果顯著［15-16］。

TransE、DistMult［17］和ComplEx［18］作為典型的嵌入模型，僅能挖掘?qū)嶓w之間的線性關(guān)聯(lián)，不能有效捕獲三元組空間結(jié)構(gòu)信息。目前，很多神經(jīng)網(wǎng)絡(luò)模型被應(yīng)用于知識(shí)圖譜補(bǔ)全任務(wù)［19-20］。文獻(xiàn)［19］提出基于三元組整體架構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)模型，ConvKB 在基準(zhǔn)數(shù)據(jù)集WN18RR 和FB15K-237 上具有較好的鏈接預(yù)測(cè)結(jié)果。大部分KG 嵌入模型通過對(duì)三元組同維度條目進(jìn)行建模表示，每個(gè)維度獲取三元組相應(yīng)的屬性信息。但是，上述嵌入表示模型并未利用“深層”結(jié)構(gòu)來挖掘和建模實(shí)體和關(guān)系的特征信息。文獻(xiàn)［21］引入膠囊網(wǎng)絡(luò)（CapsNet），CapsNet 利用一組神經(jīng)元獲取圖形中的對(duì)象，然后通過動(dòng)態(tài)路由機(jī)制確定從父膠囊到子膠囊的連接。因此，膠囊網(wǎng)絡(luò)不僅能基于統(tǒng)計(jì)信息提取特征，還可以解釋特征。與CNN 相比，膠囊網(wǎng)絡(luò)的優(yōu)勢(shì)在于：在CNN 中，卷積層的每個(gè)值都是線性權(quán)重的總和，即標(biāo)量，在CapsNet 中，膠囊是一組神經(jīng)元，即一個(gè)向量，其中包含對(duì)象的方向、狀態(tài)和其他特征［21］，因此，與神經(jīng)元相比，膠囊可以在嵌入三元組中編碼更多特征，深層次挖掘各維度屬性信息；CNN 每層都需要相同的卷積操作，因此需要大量網(wǎng)絡(luò)數(shù)據(jù)學(xué)習(xí)特征，與CNN不同，膠囊網(wǎng)絡(luò)可以學(xué)習(xí)膠囊中的特征變量，并最大限度地保留有價(jià)值的信息［22］，因此膠囊網(wǎng)絡(luò)利用較少的數(shù)據(jù)學(xué)習(xí)推斷特征變量，并達(dá)到CNN 預(yù)期效果；CNN 不斷池化會(huì)丟失大量重要的特征信息，不能有效處理圖像的模糊性問題，與CNN 不同，膠囊網(wǎng)絡(luò)每個(gè)膠囊攜帶大量信息，這些信息會(huì)在整個(gè)網(wǎng)絡(luò)保存［21］，因此膠囊網(wǎng)絡(luò)可以有效處理圖像的模糊性問題。

近年來，四元數(shù)和神經(jīng)網(wǎng)絡(luò)模型的組合受到越來越多的關(guān)注，原因在于四元數(shù)允許神經(jīng)網(wǎng)絡(luò)模型在學(xué)習(xí)過程中使用比CNN 更少的參數(shù)來編碼輸入特征組之間的潛在依存關(guān)系。深層四元數(shù)網(wǎng)絡(luò)［23］、深層四元數(shù)卷積神經(jīng)網(wǎng)絡(luò)［24］和深層四元數(shù)循環(huán)神經(jīng)網(wǎng)絡(luò)［25］已經(jīng)用于圖像和語言處理任務(wù)。然而，在知識(shí)圖譜補(bǔ)全領(lǐng)域，關(guān)于四元數(shù)和膠囊網(wǎng)絡(luò)相結(jié)合的工作較少，因此將四元數(shù)引入膠囊網(wǎng)絡(luò)，以此探索優(yōu)化的膠囊網(wǎng)絡(luò)模型在鏈接預(yù)測(cè)和三元組分類任務(wù)的應(yīng)用。本文將實(shí)體、關(guān)系的四元數(shù)嵌入向量作為優(yōu)化的膠囊網(wǎng)絡(luò)模型的輸入，以此捕獲實(shí)體和關(guān)系在低維空間中的聯(lián)系，為評(píng)估四元數(shù)嵌入的膠囊神經(jīng)網(wǎng)絡(luò)模 型，使用FB15K、WN18RR 和FB15K-237 進(jìn)行鏈接預(yù)測(cè)實(shí)驗(yàn)。

1 相關(guān)工作

1.1 基準(zhǔn)嵌入模型

TransE 模型將知識(shí)圖譜中的關(guān)系解釋為頭實(shí)體到尾實(shí)體的平移，例如，對(duì)于事實(shí)三元組（Chicago，City_Of，US），即h+r≈t，如圖1所示。在TransE 中，認(rèn)為||h+r-t||無限接近零，即t無限接近 于h+r［26］。TransE 的打分函數(shù)如式（1）所示：

圖1 實(shí)體和關(guān)系的低維嵌入Fig.1 Low dimensional embedding of entities and relationships

TransE 模型在處理一對(duì)一關(guān)系模式方面效果顯著，但不適合一對(duì)多/多對(duì)一關(guān)系。因此，TransH 模型提出任意一個(gè)實(shí)體在不同的關(guān)系下應(yīng)該擁有不同的表示［27］。TransH 的打分函數(shù)如式（2）所示。區(qū)別于TransH，TransR 認(rèn)為一個(gè)實(shí)體是多種屬性的綜合體，且不同的關(guān)系應(yīng)擁有不同的語義空間。式（3）為TransR 模型的打分函數(shù)。

DisMult 是RESCAL 的簡化模型，因此只能建模知識(shí)圖譜中存在的對(duì)稱關(guān)系，不能建模知識(shí)圖譜中其他類型的關(guān)系。針對(duì)DisMult 存在的問題，ComplEx 將DisMult 擴(kuò)展到復(fù)數(shù)空間。在ComplEx模型中，頭實(shí)體、關(guān)系和尾實(shí)體的嵌入向量h、r、t不再投影到實(shí)數(shù)空間，而是映射于復(fù)數(shù)空間。DistMult和ComplEx 打分函數(shù)如式（4）和式（5）所示：

1.2 神經(jīng)網(wǎng)絡(luò)模型

典型的嵌入模型僅能挖掘?qū)嶓w之間的線性關(guān)聯(lián)而不能有效捕獲三元組空間結(jié)構(gòu)信息。為解決該問題，研究者開始應(yīng)用CNN 補(bǔ)全知識(shí)圖譜，DKRL［28］模型利用兩種編碼器來編碼實(shí)體描述信息，分別是連續(xù)詞袋模型和CNN 模型，之后利用三元組的全局特性和實(shí)體的描述資源進(jìn)行表示學(xué)習(xí)。DKRL 的打分函數(shù)如式（6）所示：

ConvE［29］隨機(jī)初始化頭實(shí)體和關(guān)系，通過卷積和全連接操作建模三元組，最終權(quán)重矩陣和尾實(shí)體向量進(jìn)行點(diǎn)乘運(yùn)算，得分用于判定當(dāng)前三元組的可信度。在ConvE 中，僅將頭實(shí)體嵌入和關(guān)系嵌入視為CNN 模型的輸入，并未考慮三元組全局特性，為解決此問題，ConvKB 以嵌入三元組(h，r，t)為輸入，和不同過濾器進(jìn)行卷積操作，從而獲取三元組的全局特性。ConvE 和ConvKB 的打分函數(shù)如式（7）和式（8）所示：

ConvKB 模型利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)實(shí)體和關(guān)系進(jìn)行編碼，無法捕獲三元組空間結(jié)構(gòu)信息。參照文獻(xiàn)［21］，本文將神經(jīng)元替換為膠囊，以學(xué)習(xí)實(shí)體和關(guān)系的矢 量表示。CapsE［20］使 用TransE 訓(xùn)練的實(shí) 體、關(guān)系嵌入作為膠囊網(wǎng)絡(luò)輸入，但在表征不同實(shí)體外部依賴關(guān)系方面表現(xiàn)力仍然較差。因此，本文引入四元數(shù)編碼三元組結(jié)構(gòu)信息，以盡可能全面地捕獲三元組的全局特性，從而有效補(bǔ)全知識(shí)圖譜中丟失的三元組。實(shí)驗(yàn)結(jié)果表明，在KGC 補(bǔ)全任務(wù)中，四元數(shù)嵌入的膠囊網(wǎng)絡(luò)知識(shí)圖譜補(bǔ)全方法較CapsE 效果更優(yōu)。CapsE 的打分函數(shù)如式（9）所示：

上述知識(shí)圖譜補(bǔ)全模型的打分函數(shù)如表1 所示。

表1 不同模型的打分函數(shù)及參數(shù)Table 1 Scoring functions and parameters of different models

2 模型設(shè)計(jì)

2.1 相關(guān)算法

四元數(shù)是包含一個(gè)實(shí)數(shù)和3 個(gè)虛數(shù)單位的超復(fù)數(shù)，其表示形式為Q=a+bi+cj+dk，其中，a、b、c、d是實(shí)數(shù)，i、j、k 是虛數(shù)單位。四元數(shù)嵌入模型QuaR［30］具有以下優(yōu)點(diǎn)：1）四元數(shù)嵌入模型參數(shù)較少，計(jì)算復(fù)雜度低；2）四元數(shù)嵌入模型結(jié)構(gòu)簡單，易于擴(kuò)展，在知識(shí)圖譜補(bǔ)全領(lǐng)域效果顯著。本文使用由QuaR 模型訓(xùn)練的實(shí)體和關(guān)系的四元數(shù)嵌入矩陣作為膠囊網(wǎng)絡(luò)模型的輸入。與結(jié)合TransE 的膠囊網(wǎng)絡(luò)模型CapsE 不同，本文采用QuaR 模型訓(xùn)練得到的實(shí)體和關(guān)系的超復(fù)數(shù)嵌入，將更加準(zhǔn)確和直觀。受歐拉四元數(shù)擴(kuò)展公式的啟發(fā)，在QuaR 模型中，實(shí)體被表示為四元數(shù)，關(guān)系則被建模為四元數(shù)空間中的旋轉(zhuǎn)。另外，與實(shí)數(shù)模型TransE 相比，四元數(shù)融入膠囊神經(jīng)網(wǎng)絡(luò)可以建模和推理更多的關(guān)系［30］。與TransE 相比，QuaR 模型可以建模對(duì)稱與反對(duì)稱等多種關(guān)系類型，因此，在四元數(shù)嵌入的膠囊網(wǎng)絡(luò)模型中可以推理更多的關(guān)系模式，準(zhǔn)確率更高。

優(yōu)化的膠囊神經(jīng)網(wǎng)絡(luò)算法如算法1 所示。在四元數(shù)膠囊網(wǎng)絡(luò)算法中，本文使用QuaR 模型訓(xùn)練生成的四元數(shù)矩陣來初始化實(shí)體和關(guān)系嵌入（分別見第3 行和第4 行）。在算法迭代過程中，采用卷積操作和內(nèi)積運(yùn)算來訓(xùn)練矩陣。首先，從訓(xùn)練集S中抽取一個(gè)小批量數(shù)據(jù)集b（見第6 行）。其次，對(duì)數(shù)據(jù)集中每個(gè)三元組，選取負(fù)樣本S′（錯(cuò)誤三元組），其中負(fù)樣本從正例三元組獲取得到（見第9 行）。最后，對(duì)抽樣得到的小批量數(shù)據(jù)集進(jìn)行分?jǐn)?shù)預(yù)測(cè)和損失校正（分別見第12 行和第14 行）。另外，使用Adam 優(yōu)化器更新模型參數(shù)，算法依據(jù)驗(yàn)證集性能而中止。最終，本文將KG=(E，R，T)表示為知識(shí)圖譜，實(shí)體的集合表示為E，關(guān)系的集合表示為R，三元組的集合表示為T。

算法1膠囊網(wǎng)絡(luò)算法

2.2 模型架構(gòu)

膠囊網(wǎng)絡(luò)模型由輸入層、卷積層、初級(jí)膠囊層、數(shù)字膠囊層和輸出層5 個(gè)部分構(gòu)成。其中，膠囊神經(jīng)網(wǎng)絡(luò)的隱藏層包含卷積層、初級(jí)膠囊層和數(shù)字膠囊層。膠囊網(wǎng)絡(luò)的卷積層通過不同的卷積核在輸入矩陣的不同位置提取特征，以獲得包含多個(gè)神經(jīng)元的特征矩陣。初級(jí)膠囊層將卷積操作生成的特征圖重組成相應(yīng)的膠囊，之后通過動(dòng)態(tài)路由算法將初級(jí)膠囊層與數(shù)字膠囊層連接以獲得輸出值。數(shù)字膠囊層位于卷積層和初級(jí)膠囊層后，其功能是將卷積層、初級(jí)膠囊層中具有類別區(qū)分性的局部信息進(jìn)行整合，以在整個(gè)膠囊神經(jīng)網(wǎng)絡(luò)中執(zhí)行回歸分類任務(wù)。

本文優(yōu)化的四元數(shù)膠囊模型如圖2 所示。該模型主要分為4 個(gè)層次：第1 層為卷積層，本文使用數(shù)百個(gè)濾波器（卷積核）在三元組矩陣上重復(fù)卷積操作；第2 層為主膠囊層，該層將卷積操作生成的特征圖重構(gòu)成相應(yīng)的膠囊，從而最大限度地保留有價(jià)值的信息；第3 層為次膠囊層，父膠囊與權(quán)重矩陣相乘生成較小維度的子膠囊，同時(shí)得到多個(gè)連續(xù)矢量；第4 層為內(nèi)積膠囊層，連續(xù)矢量與權(quán)重矩陣執(zhí)行內(nèi)積操作生成相應(yīng)的三元組分?jǐn)?shù)，該分?jǐn)?shù)用于判斷給定三元組的正確性。

圖2 四元數(shù)膠囊模型Fig.2 Quaternion capsule model

在卷積層中，首先將h、r、t分別表示為K維四元數(shù)向量，其表示形式為h=(a1+b1i+c1j+d1k，…，aK+bKi+cKj+dKk)，其中，ai表示頭實(shí)體的實(shí)部，bi、ci、di表示頭實(shí) 體的虛部，ai、bi、ci、di隨機(jī)初始化或 由QuaR 模型訓(xùn)練得到，i、j、k 是虛數(shù)單位，即指在超復(fù)數(shù)空間中的旋轉(zhuǎn)。與結(jié)合實(shí)數(shù)嵌入的膠囊網(wǎng)絡(luò)模型CapsE 不同，本文采用QuaR 模型訓(xùn)練得到的超復(fù)數(shù)嵌入表示實(shí)體和關(guān)系，這可以深層次挖掘?qū)嶓w和關(guān)系之間的復(fù)雜聯(lián)系。參照文獻(xiàn)［12］，本文將超復(fù)數(shù)嵌入三元組向量h、r、t定義成一個(gè)三元組嵌入矩陣A=[h，r，t]∈QK×3，其中，表示A的第i行。然后，本文使用濾波器（卷積核）ω∈Q2×3與A=[h，r，t]∈QK×3重復(fù)卷積操作，最終生成特征 圖q=[q1，q2，…，qK-1]∈QK，qi=g(ω·Ai，：+b)，·表示點(diǎn)積，其中，b∈Q是偏差項(xiàng)，g是非線性激活函數(shù)，例如ReLU或Sigmoid。在卷積層中，本文使用四元數(shù)乘法和四元數(shù)加法計(jì)算并編碼多個(gè)向量膠囊，得到包含多個(gè)向量膠囊的特征矩陣。由此，相關(guān)的四元數(shù)運(yùn)算規(guī)則如式（10）～式（13）所示：

將Q1=a+bi+cj+dk 和Q2=a′+b′i+c′j+d′k 相加，得到：

將Q1=a+bi+cj+dk 和Q2=a′+b′i+c′j+d′k 相乘，得到：

將Q1=a+bi+cj+dk 和Q2=a′+b′i+c′j+d′k 相除，得到：

在主膠囊層中，本文將卷積操作生成的多個(gè)特征向量重組以構(gòu)建膠囊（v1，v2，v3，v4，v5）。膠囊是一組神經(jīng)元的集合，vi包含4 個(gè)神經(jīng)元。在次膠囊層中，本文將重組后的父膠囊和變換矩陣相乘生成低維度的子膠囊，并得到一個(gè)向量s；最終，向量s和權(quán)重執(zhí)行內(nèi)積操作生成相應(yīng)分?jǐn)?shù)，該得分用于確定一個(gè)事實(shí)三元組的準(zhǔn)確與否。本文將嵌入維度設(shè)置為K=6，卷積核的數(shù)量為ω=4，主膠囊層內(nèi)神經(jīng)元的數(shù)目定義為4，次膠囊內(nèi)神經(jīng)元的數(shù)目定義為2。在膠囊層中，本文使用四元數(shù)乘法、四元數(shù)加法和四元數(shù)范數(shù)計(jì)算并編碼多個(gè)向量膠囊，從而深層次挖掘?qū)嶓w和關(guān)系之間復(fù)雜的語義聯(lián)系。

在所有膠囊層中，首先將每個(gè)膠囊i∈{1，2，…，K}向量輸出值定義為Vi∈QN×1，然后矢量輸出Vi和變換矩陣Wi∈Qd×N相乘產(chǎn)生和不同權(quán) 重內(nèi)積生成膠囊矢量s，最終壓縮矢量e與W執(zhí)行點(diǎn)乘運(yùn)算獲得對(duì)應(yīng)得分，其值用來判斷三元組正確性，如式（14）～式（17）所示：

四元數(shù)膠囊網(wǎng)絡(luò)模型的評(píng)分函數(shù)如式（8）所示：

其中：Ψ表示卷積核的數(shù)量；*表示卷積操作；Caps 代表膠囊神經(jīng)網(wǎng)絡(luò)運(yùn)算。另外，四元數(shù)膠囊網(wǎng)絡(luò)模型的損失函數(shù)如式（19）所示：

其中：T表示正確的三元組；T′表示錯(cuò)誤的三元組，負(fù)樣本由正確三元組生成；θ的數(shù)值通過式（20）計(jì)算。

負(fù)樣本的組建方式如式（21）所示，即把正例三元組中的尾實(shí)體與頭實(shí)體依次使用其他實(shí)體取代，即不能同時(shí)替換。

本文利用Adam［31］最小化四元數(shù)膠囊網(wǎng)絡(luò)模型的目標(biāo)函數(shù)，將Re LU 視為模型的激活函數(shù)。

3 KGC 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

本文使用從Freebase 和WordNet 中抽取的FB15K［12］、FB15K-237［32］和WN18RR［29］3 個(gè)基準(zhǔn)數(shù)據(jù)集進(jìn)行知識(shí)圖譜補(bǔ)全實(shí)驗(yàn)。參照文獻(xiàn)［32］，將數(shù)據(jù)集FB15K 中反轉(zhuǎn)事實(shí)三元組丟棄，得到新數(shù)據(jù)集FB15K-237。同理，本文將數(shù)據(jù)集WN18 中反轉(zhuǎn)事實(shí)三元組丟棄，得到新數(shù)據(jù)集WN18RR。

數(shù)據(jù)集的統(tǒng)計(jì)如表2 所示。

表2 數(shù)據(jù)集統(tǒng)計(jì)Table 2 Dataset statistics

3.2 參數(shù)設(shè)置

本文利用ConvKB［19］模型和QuaR［30］模型實(shí)現(xiàn)基于四元數(shù)嵌入的膠囊網(wǎng)絡(luò)方法。在ConvKB 中，本文設(shè)置濾波器（卷積核）的數(shù)量為|ω|=N∈{50，100，200，400，600}，其中，Adam 學(xué)習(xí)率設(shè)定為γ∈{0.000 01，0.000 05，0.000 1，0.000 5}。在實(shí)驗(yàn)中，訓(xùn)練膠囊網(wǎng)絡(luò)模型100 次記錄一次Hit@10，最優(yōu)Hit@10 超參數(shù)如下：在 FBI5K-237 上，N=50，K=100，γ=0.000 01；在WN18RR 上，N=400，K=100，γ=0.000 05。

在實(shí)驗(yàn)中，本文將批量大小定義成128，動(dòng)態(tài)路由過程的迭代次數(shù)定義為m∈{1，3，5，7}，次膠囊層內(nèi)神經(jīng)元數(shù)目定義為8，權(quán)重矩陣W隨機(jī)初始化生成。本文訓(xùn)練膠囊網(wǎng)絡(luò)模型多達(dá)1 000 次，其中，訓(xùn)練膠囊網(wǎng)絡(luò)模型100 次記錄一次Hit@10，最優(yōu)Hit@10 超參數(shù)如下：在數(shù)據(jù)集FBI5K-237 上，N=50，K=100，γ=0.000 1；在數(shù)據(jù)集WN18RR 上，N=400，K=100，γ=0.000 05。

3.3 鏈接預(yù)測(cè)

3.3.1 實(shí)驗(yàn)設(shè)置

鏈接預(yù)測(cè)即發(fā)現(xiàn)知識(shí)圖譜中缺失的鏈接（事實(shí)三元組）。對(duì)于RDF 三元組（Chicago，City_Of，？），即預(yù)測(cè)并補(bǔ)全該元組中缺失的尾實(shí)體。本文參考TransE 模型，將測(cè)試數(shù)據(jù)集中的三元組依次移除頭實(shí)體或者尾實(shí)體后，采用評(píng)價(jià)函數(shù)對(duì)每個(gè)新三元組得分進(jìn)行排名。

3.3.2 評(píng)估指標(biāo)

本文采用3 個(gè)評(píng)價(jià)標(biāo)準(zhǔn)：正確實(shí)體的平均排名MR、正確實(shí)體在TopN的比例Hit@N和正確實(shí)體的平均倒數(shù)排名MRR。其中，MR 越小、MRR 越大或者Hit@N 越大，代表模型效果越好。

3.3.3 實(shí)驗(yàn)分析

本文在如下環(huán)境中進(jìn)行鏈接預(yù)測(cè)實(shí)驗(yàn)：Window 7操作系統(tǒng)，64 位處理器，GPU 類型為1755 MHz，24GD6 GeForce RTX 2080 Ti。數(shù)據(jù)集WN18RR 和FB15K-237在不同模型下的實(shí)驗(yàn)結(jié)果如表3 所示，其中粗體表示最優(yōu)結(jié)果。

表3 不同模型在WN18RR 和FB15k-237 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Table 3 Experimental results of different models on WN18RR and FB15K-237 datasets

分析表3 可以看出：四元數(shù)膠囊網(wǎng)絡(luò)模型在WN18RR 和FB15K-237 上取得較好的實(shí)驗(yàn)結(jié)果。

在FB15K-237 上，四元數(shù)膠囊網(wǎng)絡(luò)方法獲得最高Hit@3、Hit@10 和最好MRR。具體分析如下：

1）本文方法優(yōu)于CapsE 模型，但Hit@1 除外；本文方法較CapsE 在MRR 上提高了4.4%，在Hit@10 上提高了2.5 個(gè)百分點(diǎn)。由此可知，四元數(shù)編碼序列輸入的膠囊網(wǎng)絡(luò)模型在很多實(shí)驗(yàn)指標(biāo)上要優(yōu)于結(jié)合實(shí)值嵌入的膠囊網(wǎng)絡(luò)模型。這也說明四元數(shù)在表征不同實(shí)體之間的外部依存關(guān)系方面性能強(qiáng)大。

2）本文方法 較ConvE 在Hit@3 上提高了7.9 個(gè)百分點(diǎn)，在Hit@10 上提高了11.7 個(gè)百分點(diǎn)。由此可知，與卷積神經(jīng)網(wǎng)絡(luò)模型相比，膠囊網(wǎng)絡(luò)模型可以在嵌入三元組中編碼更多的特征信息，以捕獲實(shí)體和關(guān)系在低維空間中的聯(lián)系。

在WN18RR 數(shù)據(jù)集上，四元數(shù)膠囊網(wǎng)絡(luò)方法獲得最高Hit@1、Hit@10 和最好MR，具體分析如下：

1）本文方法優(yōu)于RotatE 模型，但MRR 除外；本文方法較RotatE 在Hit@3 上提高了2.2 個(gè)百分點(diǎn)，在Hit@10 上提高了2.1 個(gè)百分點(diǎn)。由此可知，和復(fù)數(shù)模型相比，結(jié)合四元數(shù)嵌入的膠囊網(wǎng)絡(luò)模型表現(xiàn)能力更優(yōu)，原因在于四元數(shù)作為一種超復(fù)數(shù)，是復(fù)數(shù)在更高維度上的擴(kuò)展。最終，訓(xùn)練得到的實(shí)體、關(guān)系超復(fù)數(shù)嵌入結(jié)合膠囊網(wǎng)絡(luò)可以深層次挖掘?qū)嶓w及關(guān)系間存在的某種關(guān)聯(lián)。

2）本文方法較ConvKB 在MR 上提高了8.1%，在Hit@10 上提高了2.5 個(gè)百分點(diǎn)；本文方法較ConvE在Hit@1 上提高了3.0 個(gè)百分點(diǎn)，在Hit@10 上提高了7.2 個(gè)百分點(diǎn)。由此可知，和CNN 模型相比，膠囊網(wǎng)絡(luò)可以學(xué)習(xí)實(shí)體和關(guān)系更多的特征信息，深入挖掘各維度屬性信息。

3）RotatE 模型的MRR 指標(biāo)優(yōu)于ConvE、ConvKB等模型?？梢钥闯觯瑥?fù)數(shù)旋轉(zhuǎn)模型RotatE 在WN18RR上補(bǔ)全效果顯著，在某個(gè)指標(biāo)上優(yōu)于現(xiàn)有CNN 模型。

為驗(yàn)證超復(fù)數(shù)膠囊網(wǎng)絡(luò)模型推理各類關(guān)系模式的能力，本文選取WN18RR 進(jìn)行鏈接預(yù)測(cè)實(shí)驗(yàn)。如圖3 所示，超復(fù)數(shù)膠囊網(wǎng)絡(luò)模型在建模和推理多種關(guān)系模式中具有優(yōu)越的表示能力。

圖3 不同關(guān)系模式的MRR 指標(biāo)Fig.3 MRR index of different relationship patterns

3.4 三元組分類

3.4.1 實(shí)驗(yàn)設(shè)置

三元組分類即判斷一個(gè)事實(shí)三元組是否正確，或頭、尾實(shí)體是否存在某種依存關(guān)系，這是一個(gè)簡單的二分類問題。例如，（Beijing，Capital_Of，China）是正確的三元組，（London，Capital_Of，China）是錯(cuò)誤的三元組。參照文獻(xiàn)［12-14］，本文將閾值設(shè)置為δ=0.5，即對(duì)于任意一個(gè)測(cè)試三元組，使用評(píng)分函數(shù)計(jì)算三元組的分?jǐn)?shù)，若該分?jǐn)?shù)高于閾值δ=0.5，則三元組是正確的，否則為負(fù)例三元組。在實(shí)驗(yàn)中，本文選取驗(yàn)證集上的三元組，依次計(jì)算每個(gè)三元組的得分，并將每個(gè)分?jǐn)?shù)作為閾值δ來計(jì)算三元組的分類準(zhǔn)確率。最終，本文將分類準(zhǔn)確率最高時(shí)的δ作為模型閾值，即δ的數(shù)值大小最終設(shè)置為0.5。另外，閾值取值范圍為δ∈[0，1]。

3.4.2 實(shí)驗(yàn)分析

參考文獻(xiàn)［14，34］，利用Freebase 的子集FB15K執(zhí)行三元組分類任務(wù)。實(shí)驗(yàn)環(huán)境與3.3.3 節(jié)相同。FB15K 最優(yōu)參數(shù)為：N=50，K=100，γ=0.000 1。三元組分類的實(shí)驗(yàn)結(jié)果如表4 所示。

表4 三元組分類實(shí)驗(yàn)結(jié)果比較Table4 Comparison of experimental results of triple classification %

分析表4 可以看出：基于四元數(shù)嵌入的膠囊網(wǎng)絡(luò)模型優(yōu)于其他所有模型，準(zhǔn)確率達(dá)到92.7%，這說明四元數(shù)嵌入的膠囊網(wǎng)絡(luò)模型在預(yù)測(cè)精度方面效果顯著，適用于大規(guī)模的知識(shí)圖譜補(bǔ)全任務(wù)。

4 結(jié)束語

為補(bǔ)全知識(shí)庫中缺失的事實(shí)三元組，本文將四元數(shù)融入膠囊神經(jīng)網(wǎng)絡(luò)模型以預(yù)測(cè)缺失的知識(shí)。采用超復(fù)數(shù)嵌入取代傳統(tǒng)的實(shí)值嵌入編碼三元組結(jié)構(gòu)信息，捕獲三元組全局特性，四元數(shù)結(jié)合優(yōu)化的膠囊網(wǎng)絡(luò)模型可以有效補(bǔ)全知識(shí)圖譜中丟失的三元組，預(yù)測(cè)精度更高。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)嵌入方法相比，四元數(shù)膠囊網(wǎng)絡(luò)模型在硬性指標(biāo)上顯著提升。下一步將重新設(shè)計(jì)膠囊網(wǎng)絡(luò)模型，采用內(nèi)聯(lián)膠囊路由協(xié)議或核密度估計(jì)路由協(xié)議代替?zhèn)鹘y(tǒng)的動(dòng)態(tài)路由，并且將關(guān)系和實(shí)體的文本信息融入膠囊神經(jīng)網(wǎng)絡(luò)，提高四元數(shù)膠囊網(wǎng)絡(luò)模型的預(yù)測(cè)精確率。