知識圖譜嵌入技術(shù)研究進(jìn)展

舒世泰，李 松，郝曉紅，張麗平

哈爾濱理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，哈爾濱150080

知識圖譜（knowledge graph，KG）[1]是一種用圖模型來描述知識和建模世界萬物之間關(guān)系的技術(shù)方法，屬于語義層面的知識庫（knowledge base，KB）[2]，通常以網(wǎng)絡(luò)的形式出現(xiàn)。在網(wǎng)絡(luò)中，節(jié)點(diǎn)表示實(shí)體，節(jié)點(diǎn)之間的邊表示關(guān)系，并使用三元組（h,r,t）對知識進(jìn)行表示。KG 最早應(yīng)用于提升搜索引擎的能力。隨后，KG 在輔助智能問答、自然語言處理、大數(shù)據(jù)分析、推薦計(jì)算、可解釋性人工智能等方面展現(xiàn)出較大的應(yīng)用價(jià)值[3-5]。其中，知識表示是這些應(yīng)用的基礎(chǔ)。然而，由于知識的不斷積累，KB 的規(guī)模擴(kuò)展非常快，知識形式也變得越來越多樣化[6-8]。以傳統(tǒng)的形式對知識進(jìn)行表示的弊端越來越明顯，如實(shí)體間語義關(guān)系的推理變困難、數(shù)據(jù)稀疏性問題嚴(yán)重、計(jì)算的復(fù)雜性高、難以運(yùn)用到大型KG 上等。

近年來，以知識表示為代表的知識圖譜嵌入（knowledge graph embedding，KGE）[9]技術(shù)取得了新的研究進(jìn)展，提出了將稀疏的三元組（h,r,t）語義信息映射到低維稠密的向量空間，將實(shí)體與關(guān)系的推理轉(zhuǎn)變?yōu)閷ο箝g距離的計(jì)算，計(jì)算的距離越小，實(shí)體間的相似性越高[10]。同時(shí)，KGE 通過對實(shí)體和關(guān)系進(jìn)行表示，能夠解決傳統(tǒng)表示方法面臨的數(shù)據(jù)稀疏、知識推理困難等問題，并且促進(jìn)了知識獲取、實(shí)體消岐性能的不斷提升[11-13]。

根據(jù)KGE的典型特性，學(xué)者們提出了眾多KGE模型，主要分為兩類：平移距離模型[14]、語義匹配模型[15]。對于平移距離模型，比較經(jīng)典的有TransE（translating embedding）[16]、TransA（translating adaptive）[17]、TransR（translating in relation space）[18]、TransH（translating on hyperplanes）[19]、TransM（translating with relational mapping）[20]、KG2E（knowledge graphs with Gaussian embedding）[21]以及SE（structured embedding）[22]模 型等，這些模型的共同點(diǎn)是評分函數(shù)采用距離進(jìn)行衡量。對于語義匹配模型，比較有代表性的是RESCAL模型[23]、SME（semantic matching energy）模型[24]、NTN（neural tensor network）模型[25]等，這些模型的共同點(diǎn)是評分函數(shù)采用相似度進(jìn)行衡量。然而，KGE模型仍然面臨知識圖譜補(bǔ)全（knowledge graph completion，KGC）完成不足、圖形結(jié)構(gòu)特征未被充分利用、無法處理復(fù)雜的語義關(guān)系等問題。本文將對現(xiàn)有的KGE方法進(jìn)行分析與研究，通過整理與歸納，總結(jié)目前研究面臨的挑戰(zhàn)，并對未來的研究趨勢進(jìn)行展望。本文的主要貢獻(xiàn)如下：

（1）對KGE 方法進(jìn)行了較為全面的分類，以解決問題類型作為分類依據(jù)，分為基于深度學(xué)習(xí)的方法、基于圖形特征的方法、基于翻譯模型的方法以及基于其他模型的方法。

（2）詳細(xì)闡述每種模型的算法思想，歸納并分析KGE 方法中每種算法的優(yōu)點(diǎn)和存在的局限性；最后從方法分類、文獻(xiàn)發(fā)表年份、模型優(yōu)缺點(diǎn)、所用數(shù)據(jù)集、評價(jià)指標(biāo)和算法思想等角度對知識圖譜嵌入方法做了橫縱向比較。

（3）列出所述方法常用的實(shí)體關(guān)系數(shù)據(jù)集；對方法中常用評價(jià)指標(biāo)進(jìn)行說明；以WN18 和FB15K 數(shù)據(jù)集為例，對相關(guān)方法在該兩種數(shù)據(jù)集上的鏈接預(yù)測結(jié)果進(jìn)行對比和分析。

（4）討論了當(dāng)前研究的難點(diǎn)問題，并預(yù)測了未來的研究趨勢。

1 知識圖譜嵌入概述

1.1 知識圖譜嵌入概念

KGE 旨在將KG 中包括實(shí)體和關(guān)系的內(nèi)容映射到低維連續(xù)向量空間中，也稱知識表示學(xué)習(xí)[26]。在詞向量的啟發(fā)下，考慮如何將知識圖譜中的實(shí)體和關(guān)系映射到連續(xù)向量空間中，并包含一些語義層面的信息[27-29]，使得在下游任務(wù)中更充分應(yīng)用知識圖譜，如智能問答、關(guān)系抽取等任務(wù)。連續(xù)向量的表達(dá)蘊(yùn)含著更多的語義信息，更容易被計(jì)算機(jī)理解和操作[30-31]。

1.2 知識圖譜嵌入的特點(diǎn)

傳統(tǒng)的知識表示方法，如早期專家系統(tǒng)時(shí)代的知識表示方法都是以符號邏輯為基礎(chǔ)進(jìn)行知識表示，其特點(diǎn)是易于刻畫離散、顯性的知識，具有較好的可解釋性。但仍有許多不能用符號來刻畫連續(xù)、隱形的知識，在表示過程中失去魯棒性，從而在下游任務(wù)中難以達(dá)到預(yù)期效果。通過嵌入（embedding）技術(shù)將KG 中的實(shí)體和關(guān)系映射到低維連續(xù)向量空間中，提高了知識表示的能力。該方法主要有以下特點(diǎn)：

（1）使用向量的表示方式可以提高應(yīng)用時(shí)的計(jì)算效率。將KG 的實(shí)體和關(guān)系映射到向量空間中，實(shí)現(xiàn)語義相似度計(jì)算等復(fù)雜操作[32-33]，計(jì)算效率顯著提高，有效解決數(shù)據(jù)稀疏等問題。

（2）增加了下游應(yīng)用設(shè)計(jì)的多樣性。用向量表示后，KG 更適用于當(dāng)前流行的機(jī)器學(xué)習(xí)算法，例如神經(jīng)網(wǎng)絡(luò)等方法[34-35]。因?yàn)橄掠螒?yīng)用輸入的并不再是符號，所以可以考慮的方法也不僅限于圖算法。

（3）將KGE 作為下游應(yīng)用的預(yù)訓(xùn)練向量輸入，使得輸入的信息不再是孤立的不包含語義信息的符號，而是已經(jīng)經(jīng)過一次訓(xùn)練，并且包含一定信息的向量[36-37]，還可用來監(jiān)督神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程。

2 知識圖譜嵌入方法

目前，學(xué)者們的研究主要集中在基于深度學(xué)習(xí)的方法、基于圖形特征的方法、基于翻譯模型的方法三方面，少數(shù)學(xué)者的研究集中在基于其他模型的方法。這四方面雖然已經(jīng)提出了一些成果，但是，很少有學(xué)者能夠在鏈接預(yù)測、三元組分類以及實(shí)體對齊任務(wù)上取得實(shí)質(zhì)性的突破，提升的性能也并不是很明顯。因此，這四方面在今后很長一段時(shí)間內(nèi)仍然是研究的熱點(diǎn)。

2.1 基于深度學(xué)習(xí)的方法

KGC問題是指在知識圖譜中某些鏈路往往是不完整的，即圖中缺少鏈接。例如，在Freebase 和DBpedia中，超過66%的人條目缺少出生地。先前有關(guān)KGC的工作主要集中在淺、快速的模型上，這些模型可以縮放到大型KG 上。但是，與深度多層模型相比，這些模型學(xué)習(xí)的表達(dá)功能較少，可能會(huì)限制其性能[38]。針對此問題，研究者提出若干模型，比較有代表性的是ComplEx模型[39]、ConvE模型[40]、LCPE（local combination projection embedding）模型[41]。

ComplEx 模型的核心是利用潛在因子分解和復(fù)數(shù)的嵌入。算法思想是利用復(fù)數(shù)空間嵌入的組合來處理多種二元關(guān)系，包括對稱和反對稱關(guān)系，解決鏈接預(yù)測問題。該方法首先證明了在實(shí)體之間只有單一關(guān)系的方陣情況下使用復(fù)向量嵌入方法，然后推廣到三階張量中的一組堆疊方陣，以表示多個(gè)關(guān)系。該方法還認(rèn)為只要使用正確的表示方法，標(biāo)準(zhǔn)的嵌入點(diǎn)積可以是一個(gè)非常有效的復(fù)合函數(shù)；當(dāng)使用復(fù)向量時(shí)，由于它涉及兩個(gè)向量之一的共軛轉(zhuǎn)置，點(diǎn)積通常被稱為Hermitian 點(diǎn)積，此時(shí)點(diǎn)積不再是對稱的，而反對稱關(guān)系可以根據(jù)所涉及實(shí)體的順序得到不同的分?jǐn)?shù)。因此復(fù)向量可以有效地捕獲反對稱關(guān)系，同時(shí)保留點(diǎn)積的計(jì)算優(yōu)勢，保證在空間和時(shí)間復(fù)雜度上都是最優(yōu)的。由于只使用Hermitian 點(diǎn)積，與神經(jīng)張量網(wǎng)絡(luò)等模型相比，該方法更簡單[42-44]。

嵌入的點(diǎn)積可很好地縮放，并且可以處理關(guān)系的對稱性和自反性，使用適當(dāng)?shù)膿p失函數(shù)甚至可以實(shí)現(xiàn)傳遞性。同時(shí)，該方法可擴(kuò)展到大規(guī)模數(shù)據(jù)集上。在基于FB15K 數(shù)據(jù)集的鏈接預(yù)測實(shí)驗(yàn)中，該模型性能比TransE[16]提高19.9%，具有較好的實(shí)驗(yàn)效果。然而，此模型也存在一些缺陷，如預(yù)測性能偏低，生成的負(fù)采樣較少，訓(xùn)練時(shí)間偏長，不能同時(shí)對所有的關(guān)系模式和復(fù)雜關(guān)系進(jìn)行建模和推理[45]。

ConvE 模型的核心是使用多層卷積神經(jīng)網(wǎng)絡(luò)。算法思想是使用2D 卷積來預(yù)測KG 中缺失的鏈接，通過卷積層和全連接層對輸入實(shí)體和關(guān)系之間的相互聯(lián)系進(jìn)行建模。如圖1 所示，具體過程如下：

（1）將實(shí)體和關(guān)系嵌入進(jìn)行重塑和連接；

（2）將所得矩陣作為卷積層的輸入；

（3）將所得的特征映射張量矢量化并投影到k維空間中；

（4）與所有候選對象嵌入匹配。

該模型的主要特點(diǎn)是得分函數(shù)由二維嵌入上的卷積定義。得分函數(shù)為：

式中，es和eo分別為頭實(shí)體s和尾實(shí)體o的嵌入表示，rr∈Rk是依賴于r的一個(gè)關(guān)系參數(shù)，W為權(quán)值矩陣，和分別表示es和rr的2D 重塑。為了訓(xùn)練模型參數(shù)，該模型使用邏輯回歸函數(shù)來表示得分情況，即：

Fig.1 Process diagram of ConvE圖1 ConvE 流程圖

并最小化交叉熵?fù)p失函數(shù)，即：

式中，N表示實(shí)體數(shù)量，t表示維度為R1×1或維度為R1×N的標(biāo)簽向量，判別關(guān)系是否存在，若不存在則為0。同時(shí)，該方法為更快訓(xùn)練文獻(xiàn)[46]模型，使用修正線性單元作為非線性函數(shù)f，并在每一層之后進(jìn)行批量歸一化處理，以提高收斂速度。此外，在嵌入運(yùn)算和卷積運(yùn)算后的特征映射和全連接層上使用了Dropout 算法及Adam 優(yōu)化器，對標(biāo)簽進(jìn)行平滑處理，防止過擬合現(xiàn)象。

在WN18 和FB15K 數(shù)據(jù)集上，ConvE 性能優(yōu)于ComplEx，具有較高的參數(shù)效率，在對具有高度關(guān)聯(lián)性的節(jié)點(diǎn)建模時(shí)也非常有效。但是，它仍然存在一些局限性，例如嵌入之間的交互次數(shù)偏低，模型卷積深度偏淺。

LCPE 模型的核心是使用參數(shù)共享的神經(jīng)網(wǎng)絡(luò)。該模型思想是將ProjE 模型和實(shí)體相似度信息相結(jié)合，先判斷兩個(gè)實(shí)體是否有關(guān)系，后判斷該關(guān)系的具體類型，由于相似的實(shí)體嵌入向量在向量空間中距離更近，可根據(jù)實(shí)體分布稠密的局部空間來判斷實(shí)體之間的具體關(guān)系類型。如圖2 所示，該模型是由判斷兩個(gè)實(shí)體之間是否存在關(guān)系和實(shí)體之間相似度的網(wǎng)絡(luò)構(gòu)成。

在圖2 中，Wc是由候選實(shí)體向量組成的矩陣，WE是由實(shí)體向量組成的矩陣，WR是由關(guān)系向量組成的矩陣，Ei和Ej分別是從Wc和WE中提取出的一個(gè)實(shí)體向量，R是從WR中提取出的關(guān)系向量，De和Dr分別代表組合矩陣。

該模型將ProjE 模型和實(shí)體間的相似度結(jié)合，定義如下得分函數(shù)：

Fig.2 LCPE model structure圖2 LCPE 模型結(jié)構(gòu)

式中，h(e,r)i指代實(shí)體集中第i個(gè)實(shí)體的得分，f和g表示激活函數(shù)，Wc∈Rs×k表示候選實(shí)體矩陣，bp表示偏移量，e⊕r表示實(shí)體和關(guān)系的組合運(yùn)算，表示實(shí)體向量e和候選實(shí)體集中第i個(gè)實(shí)體的嵌入向量的內(nèi)積。用softmax 和tanh 作為激活函數(shù)替換后得到的得分函數(shù)為：

并利用listwise 方法進(jìn)行訓(xùn)練。LCPE 模型的損失函數(shù)定義如下：

在公開數(shù)據(jù)集WN18 中，LCPE 正例三元組的MeanRank 比ProjE 提高了11.0，而正例三元組的Hit@10 比ProjE 提升了0.20%；在FB15K 中，Mean-Rank 提前了7.5，Hits@10 平均提升了3.05%。然而，此模型也存在一些局限性，例如共享變量神經(jīng)網(wǎng)絡(luò)層數(shù)偏淺。

無論是ComplEx，還是ConvE 與LCPE，這些都是非常新穎的嵌入模型，能夠較好地用于KGC 工作，只是每個(gè)模型的側(cè)重點(diǎn)不同，ComplEx 模型側(cè)重于使用Hermitian 點(diǎn)積，ConvE 模型側(cè)重于使用多層卷積網(wǎng)絡(luò)，LCPE 模型側(cè)重于將ProjE 模型和實(shí)體相似度信息相結(jié)合。除此之外，也可以考慮使用卷積神經(jīng)網(wǎng)絡(luò)改進(jìn)最先進(jìn)的模型，每個(gè)三元組都表示為一個(gè)三列矩陣，其中每個(gè)列向量代表一個(gè)元素，再將此三列矩陣輸入到卷積層，在卷積層上對矩陣操作多個(gè)過濾器以生成不同的特征圖；將這些特征圖連接到一個(gè)表示輸入三元組的單個(gè)特征向量中，通過點(diǎn)積將特征向量與權(quán)重向量相乘以返回分?jǐn)?shù)，來預(yù)測三元組是否有效。同時(shí)，也可以考慮融合稀疏的關(guān)注機(jī)制，通過共享概念探索三元組中隱藏的關(guān)系。

2.2 基于圖形特征的方法

知識圖譜是由若干實(shí)體和關(guān)系組成的一個(gè)復(fù)雜的多關(guān)系圖形網(wǎng)絡(luò)結(jié)構(gòu)。圖形特征問題是指當(dāng)前知識圖譜嵌入方法不能很好地利用KG 中圖形結(jié)構(gòu)特征。傳統(tǒng)的KGE 模型在學(xué)習(xí)時(shí)注重將KG 視為一組獨(dú)立的三元組，這樣會(huì)忽略圖結(jié)構(gòu)中的重要信息，包括實(shí)體特征信息、三元組上下文等。為解決此問題，研究者們提出若干模型，比較有代表性的包括TCE（triple-context-based knowledge embedding）模型[47]、DPTransE 模型[48]。

TCE 模型也稱三重上下文的知識嵌入模型。算法思想是充分利用KG 中的圖形結(jié)構(gòu)特征，尤其圍繞三元組的局部結(jié)構(gòu)，即由鄰居上下文和路徑上下文組成的三元組上下文，在統(tǒng)一的框架中表示三元組及其上下文的結(jié)構(gòu)信息（如圖3），這樣三元組上下文中的結(jié)構(gòu)信息就可以結(jié)構(gòu)化。

Fig.3 Description of triple context of triples in KG圖3 KG 中三元組的三重上下文的說明

對于鄰居上下文，給定一個(gè)實(shí)體e，實(shí)體e的鄰居上下文是一個(gè)集合：

即以e為頭實(shí)體的三元組中出現(xiàn)的所有關(guān)系-尾實(shí)體對。例如在圖3 中，實(shí)體h的鄰居上下文是：

對于路徑上下文，是指KG 中的一個(gè)實(shí)體到另一個(gè)實(shí)體的一組路徑。這種結(jié)構(gòu)特征有利于對實(shí)體對之間的關(guān)系進(jìn)行建模并捕捉到它們的信息交互。例如在圖3 中，實(shí)體h和實(shí)體t的路徑上下文是：

因此該模型可形式化表示為：

傳統(tǒng)模型的得分函數(shù)只與實(shí)體和關(guān)系的嵌入有關(guān)，如TransE 的得分函數(shù)為：

而該模型的得分函數(shù)是在此基礎(chǔ)上融合三重上下文得到的，形式化為：

式中，C(h,r,t)表示(h,r,t)的三重上下文。一個(gè)三元組得分越高，表明它在更大程度上具有不變性。但是，此模型的局限性是在基線上不如經(jīng)典的翻譯模型。

DPTransE 模型的核心是利用判別路徑進(jìn)行嵌入表示。算法思想是采用聯(lián)合學(xué)習(xí)機(jī)制，將基于圖像特征模型和基于潛在特征模型相結(jié)合。

對于潛在特征模型，在KG 中，多步關(guān)系和中間實(shí)體帶來了更多的交互信息，因此在多步關(guān)系和直接關(guān)系之間建立強(qiáng)相關(guān)性是非常必要的。為此該方法提出語義關(guān)聯(lián)假設(shè)，假設(shè)直接關(guān)系可以通過多步關(guān)系路徑的線性組合來重構(gòu)，這些判別路徑可以提高多個(gè)關(guān)系之間的嵌入能力。但是，基于潛在特征模型的語義信息丟失是不可避免的，須根據(jù)上述假設(shè)，將內(nèi)在損失與語義損失一起最小化，公式如下：

式中，rk=αkP(h,t)表示直接關(guān)系的語義可以通過給定相似實(shí)體對的多步關(guān)系線性組合來近似重構(gòu)，P(h,t)={p1,p2,…,pn}表示多個(gè)關(guān)系路徑的集合，為歸一化因子，λ1用于平衡左右兩部分，函數(shù)得分越小，說明三元組被翻譯的效果越好。

對于圖像特征模型，為衡量每條路徑的可靠性，引入PRA-style方法，該方法不同于原始PRA，而是使用路徑作為特征來預(yù)測實(shí)體對之間的關(guān)系。在關(guān)系聚類階段，使用K-means 算法將相似的關(guān)系分成一組；在特征計(jì)算階段，基于實(shí)體相似性假設(shè)計(jì)算每條路徑特征值，相似性定義如下：

式中，z是給定實(shí)體對(hi,ti)的每條路徑的中間實(shí)體，dz表示實(shí)體z的度。

基于圖特征在發(fā)現(xiàn)語義相關(guān)性和為實(shí)體-關(guān)系提供更精確、更有判別性的語義嵌入方面起著關(guān)鍵作用。該模型可同時(shí)從潛在特征和圖形特征中學(xué)習(xí)，建立這兩個(gè)特征之間的相互聯(lián)系。不足之處在于基于圖形特征必須與三元組交互。

TCE 模型、DPTransE 模型都能夠較好地處理圖形特征問題。TCE 模型的核心是利用三元組上下文，雖然這種思想并不是第一次出現(xiàn)，但是，將其利用到評分函數(shù)中還是首次出現(xiàn)，改進(jìn)的空間仍然很大，不足之處是在基線上不如經(jīng)典的翻譯模型。DPTransE 模型的核心是利用判別路徑的嵌入，將不同的模型進(jìn)行融合，互相取長補(bǔ)短已經(jīng)成為當(dāng)下研究的新常態(tài)，此模型今后的發(fā)展空間較廣闊，不足之處是基于圖的特征必須與三元組交互。

2.3 基于翻譯模型的方法

為了解決KG 中復(fù)雜關(guān)系問題，許多基于翻譯的模型將KG 中的實(shí)體和關(guān)系嵌入到連續(xù)的向量空間中，并將關(guān)系編碼為該空間中的翻譯操作，從而獲得更好的性能[49]。這些模型在表達(dá)KG 的自反性、1-N、N-1 和N-N等復(fù)雜關(guān)系時(shí)都有局限性。針對這個(gè)問題，比較有代表性的有NTransGH 模型[50]、STransH 模型[51]、TransG 模型[52]。

NTransGH 模型的核心是將神經(jīng)網(wǎng)絡(luò)與廣義超平面的翻譯機(jī)制相結(jié)合。算法思想是首先通過廣義超平面轉(zhuǎn)換機(jī)制，將關(guān)系建模為轉(zhuǎn)換操作，使得實(shí)體在不同的關(guān)系中有不同的角色；然后設(shè)計(jì)一個(gè)神經(jīng)網(wǎng)絡(luò)以捕獲復(fù)雜的關(guān)系模式，使用一組特殊矢量而不是TransH 中的一個(gè)法向量來確定廣義超平面[53-54]。為了表達(dá)復(fù)雜的關(guān)系，引入了兩層神經(jīng)網(wǎng)絡(luò)來定義得分函數(shù)：

式中，W1∈Rn×n、W2∈Rn為權(quán)重參數(shù)，m=Mrh⊥+r-Mrt⊥為投影后經(jīng)過平移操作得到的三元組。

NtransGH 模型可視化如圖4 所示。在模型訓(xùn)練時(shí)，通過替換語義相似實(shí)體來提高生成負(fù)例的質(zhì)量。該模型的損失函數(shù)為：

其中，A1、A2表示如下：

式中，C是一個(gè)用于衡量軟約束重要性的超參數(shù)，P是正例三元組的集合，N是負(fù)例三元組的集合；在式（17）、式（18）中，表示向量，ε是小標(biāo)量，

Fig.4 Comparison of TransH and NTransGH models圖4 TransH 和NTransGH 模型比較

與TransH[19]相比，該模型基于FB15K 的鏈接預(yù)測實(shí)驗(yàn)中，Hits@10 提高了17.1%。該模型缺陷是需要操作的參數(shù)偏多，訓(xùn)練難度大。

STransH 模型的核心是分別在實(shí)體空間和關(guān)系空間中建模。算法思想是將SE 模型與TransE 模型進(jìn)行結(jié)合，借鑒TransH 模型的思想，引入投影到特定關(guān)系超平面的機(jī)制。具體方法：首先將三元組中的頭實(shí)體h和尾實(shí)體t映射到給定關(guān)系的超平面wr上，分別用h⊥和t⊥表示，用關(guān)系向量r將超平面上的h⊥和t⊥聯(lián)系起來。即：

由此得到該模型的得分函數(shù)，即：

式中，Wr,1、Wr,2用于三元組中頭實(shí)體和尾實(shí)體的投影操作，g(x)為tanh 函數(shù)。實(shí)驗(yàn)表明使用L1 距離效果更好。

其次采用單層神經(jīng)網(wǎng)絡(luò)的非線性操作來刻畫實(shí)體與關(guān)系之間的語義聯(lián)系。該方法中，對負(fù)例三元組的抽樣策略進(jìn)行改進(jìn)，以不同的概率替換頭實(shí)體和尾實(shí)體，定義如下參數(shù)：

采用參數(shù)p的伯努利分布抽樣策略，在式（21）中，tph指每個(gè)頭實(shí)體對應(yīng)的尾實(shí)體的平均數(shù)量，hpt指每個(gè)尾實(shí)體對應(yīng)的頭實(shí)體的平均數(shù)量。并選擇最相近的實(shí)體進(jìn)行替換，實(shí)體和關(guān)系之間的語義相似度通常使用向量之間的相似度表示。定義實(shí)體的相似度為：

式中，h和h′分別表示正例三元組和負(fù)例三元組中的頭實(shí)體。

實(shí)驗(yàn)表明，該模型性能比TransH[19]提高3.4%。缺陷是沒有將關(guān)系路徑考慮在內(nèi)，在今后研究中可將關(guān)系路徑考慮在內(nèi)，以達(dá)到更好的表示效果。

在知識圖譜的一個(gè)三元組(h,r,t)中，一個(gè)關(guān)系可能與該三元組中多個(gè)實(shí)體存在潛在聯(lián)系，即產(chǎn)生多重關(guān)系語義問題。為解決該問題，研究者提出一種模型即TransG 模型。該模型的核心算法是使用高斯混合模型來刻畫三元組中頭實(shí)體h和尾實(shí)體t的聯(lián)系，并結(jié)合貝葉斯非參數(shù)無限混合嵌入模型。關(guān)系r代表的每種語義用高斯分布來描述，由此形成多個(gè)高斯分布，從而區(qū)分出正確和錯(cuò)誤三元組。

下面從幾何角度解釋該思想：對于給定的三元組(h,r,t)，TransE模型希望h+r≈t，即頭向量加關(guān)系向量約等于尾向量，而TransG模型將該幾何關(guān)系推廣為：

相比基于TransE 的若干模型，TransG 可根據(jù)三元組的特定語義自動(dòng)選擇最佳的翻譯向量，更專注于特定的語義嵌入，避免其他不相關(guān)的語義成分帶來的干擾。缺陷是不適用于多特征關(guān)聯(lián)挖掘。

在處理復(fù)雜關(guān)系問題上，NTransGH 模型、STransH模型、TransG 模型都表現(xiàn)出了很大的發(fā)展?jié)摿?。NTransGH 模型的核心是將神經(jīng)網(wǎng)絡(luò)與廣義超平面的翻譯操作相結(jié)合，當(dāng)前，在KGE 方法中，將神經(jīng)網(wǎng)絡(luò)運(yùn)用于鏈接預(yù)測和三元組分類任務(wù)中仍然屬于比較熱門的研究點(diǎn)；同樣，將翻譯機(jī)制運(yùn)用到KGE 中也屬于比較熱門的研究點(diǎn)，這是第一次將兩者結(jié)合在一起，具有很大的研究價(jià)值，不足之處是需要操作的參數(shù)偏多。STransH 模型的核心是分別在實(shí)體空間和關(guān)系空間建模，將兩種簡單、常見的模型融合在一起，通過特定的機(jī)制進(jìn)而提升預(yù)測的性能，仍有很大的研究空間，不足之處是沒有將關(guān)系路徑考慮在內(nèi)。對于TransG模型，它的核心是貝葉斯非參數(shù)無限混合嵌入，不足之處是不適用于多特征關(guān)聯(lián)挖掘。

2.4 基于其他模型的方法

除上述三種方法外，少數(shù)學(xué)者正在拓展其他方面的研究，如關(guān)于實(shí)體的層次類型中的豐富信息、關(guān)于實(shí)體簡潔的描述、關(guān)于三元組的相互聯(lián)系與相互依賴、關(guān)于邏輯規(guī)則的背景信息等。這些方面的研究雖然取得突破性進(jìn)展的不多，但極大豐富了KGE方法的研究，擁有廣闊的研究前景。

基于翻譯模型的知識表示方法在2013 年首次被提出，研究者們針對各種問題提出了許多解決方案。現(xiàn)有的大多數(shù)方法集中于對三元組結(jié)構(gòu)化信息的表示，忽略了層次類型中豐富的語義信息。文獻(xiàn)[55]利用層次實(shí)體類型的優(yōu)勢，提出TKRL（typeembodied knowledge representation learning）模 型。在遵循TransE 模型的假設(shè)下，TKRL 模型首先將頭、尾實(shí)體投影到對應(yīng)的類型空間，然后通過兩種類型編碼器對層次結(jié)構(gòu)進(jìn)行建模，最后根據(jù)得分函數(shù)優(yōu)化TKRL。該模型能夠很好地利用層次類型信息，與TransE[16]、TransR[18]相比，性能分別提高11.3%、6.2%。但缺陷是只將類型信息考慮到KG 的表示學(xué)習(xí)中。在未來的研究中可將圖像和文本形式的語義信息融合到該模型中，同時(shí)融合多元知識庫信息如維基百科，以引入更深層次的內(nèi)容。

表示學(xué)習(xí)旨在將實(shí)體和關(guān)系投影到連續(xù)低維空間中，大多數(shù)方法專注于表示三元組中實(shí)體和關(guān)系之間的聯(lián)系。實(shí)際上，在許多知識圖譜中，通常都有對實(shí)體的簡潔描述，而現(xiàn)有方法都無法很好地表示這些信息。因此，文獻(xiàn)[56]根據(jù)實(shí)體描述的特點(diǎn)提出了DKRL（description-embodied knowledge representation learning）模型。算法思想是將詞袋模型（continuous bag-of-words，CDOW）和卷積神經(jīng)網(wǎng)絡(luò)模型（convolutional neural networks，CNN）相結(jié)合來表示語義信息。DKRL 模型對相應(yīng)的三元組和實(shí)體描述的信息進(jìn)行建模，并將每個(gè)三元組中的關(guān)系視為從頭實(shí)體到尾實(shí)體的轉(zhuǎn)換；同時(shí)，CNN 考慮了文本中單詞之間復(fù)雜的局部交互作用，即文本詞序。特別的，有些實(shí)體并不存在，只有其描述信息，而DKRL 模型可以根據(jù)實(shí)體的描述自動(dòng)構(gòu)建實(shí)體的表示。與TransE[16]模型相比，性能提升了5.3%，具有良好的泛化能力和魯棒性，可嘗試應(yīng)用于大規(guī)模知識圖譜及Web 領(lǐng)域。此模型的局限性是僅考慮用于表示學(xué)習(xí)的實(shí)體描述，未考慮各種關(guān)系或?qū)嶓w類型的文本信息。

現(xiàn)有的大多數(shù)方法將KB 視為一組三元組，再分別學(xué)習(xí)它們的表示形式。但是，三元組是相互聯(lián)系并相互依賴的。針對此問題，文獻(xiàn)[57]提出一種圖感知KGE 方法，即GAKE（graph aware knowledge embedding）模型。算法思想是首先將KB 表示為有向圖，利用圖的結(jié)構(gòu)信息來學(xué)習(xí)任何頂點(diǎn)或邊的表示形式；其次引入鄰居上下文、路徑上下文和邊緣上下文三種類型的圖上下文進(jìn)行嵌入，每種類型都從不同的角度反映知識的屬性；最后提出一種注意力機(jī)制，以學(xué)習(xí)不同實(shí)體和關(guān)系的表示能力。在鏈路預(yù)測和三元組分類實(shí)驗(yàn)中，GAKE 模型的性能優(yōu)于TransE、TrnasH 等模型。缺陷是未使用實(shí)體描述或來源于其他文本信息來構(gòu)建文本上下文。

邏輯規(guī)則包含豐富的背景信息，但往往并未得到很好的研究。針對此問題，文獻(xiàn)[58]將知識圖譜和邏輯規(guī)則相結(jié)合，即KALE（knowledge and logic embedding）模型，核心是將三元組和邏輯規(guī)則在統(tǒng)一的框架中表示和建模。算法思想是將三元組看作原子，根據(jù)TransE 模型假設(shè)對其建模；邏輯規(guī)則看作由原子與邏輯連接詞組成的公式，采用t范數(shù)模糊邏輯進(jìn)行建模。通過這種方式以獲得更具預(yù)測性的實(shí)體和關(guān)系嵌入，有利于知識獲取和知識推理。與TransE[16]相比，性能提升了1.4%。該方法可以獲得更多的預(yù)測性實(shí)體嵌入，甚至可以在純邏輯推理范圍之外做出更好的預(yù)測。缺陷是未考慮合并其他類型的邏輯規(guī)則。

TKRL 模型、DKRL 模型、GAKE 模型及KALE 模型分別在處理實(shí)體的層級類型中的豐富信息、實(shí)體簡潔的描述、三元組的相互聯(lián)系與相互依賴、邏輯規(guī)則的問題時(shí)，都發(fā)揮了各自的優(yōu)勢，提高了預(yù)測的效果。但是，由于這些方面的研究屬于KGE 領(lǐng)域的難點(diǎn)，研究結(jié)果并不是很理想。然而，這些模型對于實(shí)體識別、關(guān)系抽取等任務(wù)仍然具有較大的作用，因此，這些方面的探索仍具有一定的研究價(jià)值。

3 知識圖譜嵌入實(shí)驗(yàn)比較

本章介紹了上述模型所使用的數(shù)據(jù)集，介紹了實(shí)驗(yàn)中常用的評價(jià)指標(biāo)，對上述模型的算法思想、模型優(yōu)缺點(diǎn)、所用數(shù)據(jù)集及評價(jià)指標(biāo)進(jìn)行了總結(jié)。最后以WN18 和FB15K 數(shù)據(jù)集為例，展示了上述模型在鏈接預(yù)測上的實(shí)驗(yàn)結(jié)果。

3.1 常用數(shù)據(jù)集

隨著人工智能和大數(shù)據(jù)技術(shù)的飛速發(fā)展，研究者已構(gòu)建出多個(gè)大規(guī)模知識庫，如語言知識庫WordNet[59]和世界知識庫Freebase[60]等。以上模型所用數(shù)據(jù)集都基于這兩種知識庫，使用其中的部分子集開展實(shí)驗(yàn)。為了加強(qiáng)對上述KGE 方法性能的評估，本文收集了比較常用的實(shí)體關(guān)系數(shù)據(jù)集，總共達(dá)11 個(gè)，每個(gè)數(shù)據(jù)集的實(shí)際數(shù)據(jù)見表1。

Table 1 Often-used data sets of entity relationships表1 實(shí)體關(guān)系常用數(shù)據(jù)集

3.2 評價(jià)指標(biāo)

對于KGE 算法實(shí)驗(yàn)，主要的評價(jià)指標(biāo)有Mean-Rank、Hits@n以及ACC。對于鏈接預(yù)測中的關(guān)系預(yù)測和實(shí)體預(yù)測，常用的評價(jià)指標(biāo)為MeanRank、Hits@n；對于三元組分類效果的預(yù)測，常用的指標(biāo)為ACC。

（1）MeanRank

MeanRank 表示正確實(shí)體的平均排序得分，MeanRank 值越小表示排名越靠前，實(shí)體向量化結(jié)果越好，是衡量鏈接預(yù)測的重要指標(biāo)。

（2）Hits@n

Hits@n表示正確實(shí)體排在前n名的概率，該值越高表示效果越好。常見的有Hits@10、Hits@3和Hits@1。此外，在Hits@n中，將未經(jīng)處理的實(shí)驗(yàn)設(shè)置稱為“Raw”，將剔除了對實(shí)驗(yàn)有干擾的損壞三元組的實(shí)驗(yàn)設(shè)置稱為“Filt”。

（3）ACC

ACC 是評價(jià)三元組分類任務(wù)準(zhǔn)確率的重要指標(biāo)，值越高，表明模型在三元組分類這一任務(wù)上的效果越好。公式如下：

式中，Tp表示預(yù)測正確的正例三元組的數(shù)量；Tn表示預(yù)測正確的負(fù)例三元組數(shù)量；Npos和Nneg分別表示訓(xùn)練集中的正例三元組和負(fù)例三元組的數(shù)量。

3.3 方法比較

本文將KGE 算法分為四類，分別對比了每一種算法的分類、名稱、發(fā)表年份、數(shù)據(jù)集、評價(jià)指標(biāo)、算法思想、局限性，具體的比較結(jié)果見表2。

Table 2 KGE algorithm comparison表2 KGE 算法比較

表2 （續(xù)）

3.4 實(shí)驗(yàn)結(jié)果

為了加深對基于深度學(xué)習(xí)的方法、基于圖形特征的方法、基于翻譯模型的方法及基于其他模型的方法算法的理解，對比了每種算法在FB15K 數(shù)據(jù)集上的鏈接預(yù)測實(shí)驗(yàn)，具體結(jié)果見表3。

Table 3 Experimental results of link prediction on FB15K表3 在FB15K 上鏈接預(yù)測實(shí)驗(yàn)結(jié)果

從表3 可以看出，在基于深度學(xué)習(xí)的方法中，LCPE模型MeanRank（Filt）比ComplEx 和ConvE 分別低14.5、11.0，區(qū)分度明顯；ComplEx 的Hits@10 最高，為84.0%，但與后兩種算法結(jié)果差距不大，總體上，LCPE 模型的實(shí)驗(yàn)效果相對較好。在基于圖形特征的方法中，TCE模型MeanRank比DPTransE低99.0，而兩者Hits@10 相差不大，綜合來講，TCE 模型略勝一籌。在基于翻譯模型的方法中，NTransGH 模型的MeanRank 最低且Hits@10最高，故NTransGH模型的效果最好。

從表4 可得，以WN18 子集做鏈接預(yù)測時(shí)，在基于深度學(xué)習(xí)的方法中，LCPE 模型的MeanRank 最低，ComplEx 的Hits@10 最高，綜合評定，LCPE 模型相對較好。在基于圖形特征的方法中，TCE 的MeanRank最低，DPTransE 的Hits@10 最高，兩者的實(shí)驗(yàn)效果平分秋色。在基于翻譯模型的方法中，NTransGH 模型MeanRank 最低并且Hits@10 最高，因此，NTransGH的實(shí)驗(yàn)效果最好。在今后的研究中，可嘗試將這幾種模型進(jìn)行融合，以得到更好的實(shí)際應(yīng)用。

Table 4 Experimental results of link prediction on WN18表4 在WN18 上鏈接預(yù)測實(shí)驗(yàn)結(jié)果

4 研究與展望

本文對現(xiàn)階段KGE 的研究現(xiàn)狀進(jìn)行了綜述，對目前KGE 領(lǐng)域已有的研究成果總結(jié)歸納。本章討論了目前研究的難點(diǎn)問題，并對知識圖譜嵌入技術(shù)的未來發(fā)展進(jìn)行了展望。

從知識表示概念首次被提出到現(xiàn)在，基于距離模型、能量模型、單層神經(jīng)網(wǎng)絡(luò)模型、雙線性模型、張量神經(jīng)網(wǎng)絡(luò)模型、矩陣分解模型及翻譯模型等幾類模型的研究一直在持續(xù)，尤其2013 年Bordes 等人提出TransE 模型后，針對TransE 模型存在的局限性，學(xué)者們從不同角度改進(jìn)該模型，但仍未得到廣泛的應(yīng)用。目前該領(lǐng)域仍存在以下研究難點(diǎn)：

（1）表示空間的選擇。表示空間在編碼實(shí)體的語義信息并獲取相關(guān)屬性等方面起著關(guān)鍵作用。目前研究人員在Point-wise 空間、復(fù)向量空間、高斯分布和流形空間都取得了研究進(jìn)展。在建模時(shí)，如何設(shè)計(jì)一個(gè)合適的表示空間，以提高實(shí)體和關(guān)系的表示能力并降低計(jì)算的復(fù)雜性，仍是今后研究難點(diǎn)。

（2）少樣本的不確定性。KG 遵循長尾分布，尤其在領(lǐng)域知識圖譜中，許多實(shí)體只有少量的三元組描述。在鏈接預(yù)測實(shí)驗(yàn)中往往需要足夠的樣本進(jìn)行訓(xùn)練，顯然少量的三元組無法完成有效的模型訓(xùn)練，在下游任務(wù)中難以達(dá)到預(yù)期效果。此外這些小樣本存在不確定性，實(shí)體和關(guān)系之間的語義非常模糊，導(dǎo)致無法準(zhǔn)確學(xué)習(xí)到實(shí)體和關(guān)系之間的語義表示。如何解決少樣本的不確定性問題亟待研究。

隨著KGE 技術(shù)的不斷發(fā)展，越來越多的研究者開始關(guān)注此領(lǐng)域，未來的發(fā)展趨勢如下：

（1）基于圖卷積神經(jīng)網(wǎng)絡(luò)的嵌入

隨著對知識圖譜研究的不斷深入，KG 得到了廣泛的應(yīng)用，包括智能問答和信息檢索。研究者對知識庫和知識圖譜的創(chuàng)建及維護(hù)上投入了大量的精力，但即使最大的知識庫也存在知識缺失問題。針對該問題，文獻(xiàn)[61]首次提出將圖卷積神經(jīng)網(wǎng)絡(luò)（graph convolutional network，GCN）應(yīng)用于建模知識圖譜中多關(guān)系數(shù)據(jù)。過程如圖5 所示。

Fig.5 Entity update graph based on GCN圖5 基于GCN 的實(shí)體更新圖

具體的，在對每個(gè)實(shí)體進(jìn)行表示時(shí)，和當(dāng)前實(shí)體有直接關(guān)聯(lián)的所有關(guān)系分別用GCN 進(jìn)行聚合，聚合后的每個(gè)結(jié)果通過激活函數(shù)生成新的實(shí)體。該方法引入了參數(shù)共享和加強(qiáng)稀疏約束機(jī)制，對于KG 中的其他實(shí)體，可通過共享參數(shù)實(shí)現(xiàn)新實(shí)體的形成。

實(shí)驗(yàn)表明，該方法在鏈接預(yù)測方面比同類型方法提高29.8%，證明了該方法的有效性，可用于大規(guī)模多關(guān)系知識圖譜的建模。該方法可推廣到其他關(guān)系因子分解模型，有效地應(yīng)用于關(guān)系提取和知識推理等工作。在未來的研究中，可將圖形自動(dòng)編碼器模型和其他因子分解模型相結(jié)合，用一種依賴數(shù)據(jù)的注意力機(jī)制來取代該模型在鄰居節(jié)點(diǎn)和關(guān)系類型上的聚合操作。基于GCN 的表示學(xué)習(xí)研究方興未艾，是一個(gè)重要的研究方向。

（2）基于復(fù)雜上下文的嵌入

通過圖上下文進(jìn)行知識嵌入時(shí)有以下挑戰(zhàn)：①在KG 中，由于三元組都有獨(dú)特的屬性結(jié)構(gòu)，會(huì)有許多不同類型的圖上下文。如何設(shè)計(jì)一種框架來處理不同類型的圖上下文是未來工作的一個(gè)挑戰(zhàn)。②在同種類型的圖上下文中，不同實(shí)體具有不同的表示能力?？煽紤]將實(shí)體描述信息和本地鄰居上下文相結(jié)合形成“復(fù)合鄰居”，利用一種新的圖存儲網(wǎng)絡(luò)從復(fù)合鄰居中提取潛在語義信息，設(shè)計(jì)一種更有效的鄰居選擇機(jī)制，避免選擇過程中的遺漏；同時(shí)尋求其他類型的編碼器，減少實(shí)驗(yàn)過程中的參數(shù)和內(nèi)存開銷，更好地解決KG的稀疏性問題，具有重要的意義。

（3）基于時(shí)間模型的嵌入

KGE 是一種預(yù)測KG 缺失環(huán)節(jié)的有效方法，旨在學(xué)習(xí)實(shí)體和關(guān)系的分布式表示形式?，F(xiàn)有的知識圖嵌入模型主要考慮頭、尾實(shí)體所在的空間具有相同的屬性。但頭、尾實(shí)體可以是不同類型的對象，不應(yīng)該位于具有相同屬性的向量空間中。文獻(xiàn)[62]提供了一種新的研究思路。算法思想是引入時(shí)域和頻域兩個(gè)概念，將頭實(shí)體表示為時(shí)域空間的一個(gè)點(diǎn)，尾實(shí)體表示為頻域空間的一個(gè)點(diǎn)，將實(shí)體之間的轉(zhuǎn)換和實(shí)體投影到時(shí)域空間的對角投影矩陣定義為一個(gè)組合關(guān)系。

該模型性能比ComplEx 提高約1.4 個(gè)百分點(diǎn)，在鏈接預(yù)測任務(wù)上取得一定成效。此外，還可考慮不同關(guān)系模式下實(shí)體嵌入的多樣性分布問題，對所有關(guān)系模式如對稱/反對稱、反演和合成的關(guān)系進(jìn)行建模，也是一個(gè)具有研究價(jià)值的方向。在后續(xù)的研究中，一方面可利用時(shí)間捕捉實(shí)體之間的差異，另一方面可以充分利用KG 的多模態(tài)信息（如文本、圖像等），將其與KG 的網(wǎng)絡(luò)結(jié)構(gòu)和時(shí)間這三部分融合，以獲得更好的實(shí)驗(yàn)效果。

（4）基于空間投影和復(fù)雜關(guān)系路徑的嵌入

傳統(tǒng)的KGE 模型在進(jìn)行知識表示時(shí)往往僅關(guān)注頭、尾實(shí)體對之間直接的關(guān)系，而忽略掉了KG 中可能包含的關(guān)系路徑。PTransE 模型提供了一種簡單關(guān)系路徑推理模式，如三元組（谷歌，是，人工智能公司）和三元組（人工智能公司，屬于，高科技公司）具有潛在的關(guān)系路徑，即（谷歌，是，高科技公司）。通過這種推理模式，提高了知識表示的有效性。

而在知識圖譜中還有許多復(fù)雜的關(guān)系路徑，如三元組（姚明，出生于，上海）和三元組（姚明，是，NBA 球星）之間存在著復(fù)雜的推理關(guān)系，解決這種復(fù)雜的關(guān)系路徑，一種比較新穎的思路是對關(guān)系進(jìn)行建模，并且在空間進(jìn)行投影，考慮結(jié)合關(guān)系的語義信息，探索一階邏輯的分布式表示進(jìn)行知識的嵌入，也是一個(gè)重要的研究方向[63]。