基于幾何深度學(xué)習(xí)的知識(shí)圖譜關(guān)鍵技術(shù)研究進(jìn)展

杜博　萬國佳　紀(jì)穎

摘 要：知識(shí)圖譜以圖的方式承載著結(jié)構(gòu)化的人類知識(shí)。作為將知識(shí)整合進(jìn)入人工智能系統(tǒng)的媒介，知識(shí)圖譜的研究日益流行。知識(shí)圖譜在眾多人工智能相關(guān)的應(yīng)用上嶄露頭角，例如問答系統(tǒng)、信息檢索、自然語言處理、推薦系統(tǒng)等。然而，傳統(tǒng)的深度學(xué)習(xí)不能很好地處理知識(shí)圖譜這類非歐式數(shù)據(jù)。隨著圖神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，幾何深度學(xué)習(xí)成為建模非歐式數(shù)據(jù)的重要理論。本文以幾何深度學(xué)習(xí)的視角，以圖神經(jīng)網(wǎng)絡(luò)為重點(diǎn)，總結(jié)了近期基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)圖譜關(guān)鍵技術(shù)研究進(jìn)展。具體地，本文總結(jié)了知識(shí)圖譜中知識(shí)獲取、知識(shí)表示、知識(shí)推理這三個(gè)較為核心的研究領(lǐng)域，并展望了未來的研究方向和前景，探討知識(shí)圖譜在航空航天軍事上的潛在應(yīng)用。

關(guān)鍵詞： 知識(shí)圖譜; 幾何深度學(xué)習(xí); 人工智能; 圖神經(jīng)網(wǎng)絡(luò); 知識(shí)推理

中圖分類號(hào)： TJ760;TP18文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)： 1673-5048（2020）03-0001-10

0 引言

知識(shí)代表人類解決問題過程中所啟發(fā)產(chǎn)生的思考和行為模式。將知識(shí)整合進(jìn)人工智能（Artificial Intelligence）系統(tǒng)可以提高AI解決復(fù)雜任務(wù)的能力。 近年來，作為一種結(jié)構(gòu)化人類知識(shí)的形式，知識(shí)圖譜（Knowledge Graph）引起了學(xué)術(shù)界和業(yè)界的極大關(guān)注[1]。知識(shí)圖譜是事實(shí)的結(jié)構(gòu)化表示，由實(shí)體、關(guān)系抽象為圖結(jié)構(gòu)。實(shí)體可以是現(xiàn)實(shí)世界中的對(duì)象和抽象概念，關(guān)系表示實(shí)體之間的關(guān)系，實(shí)體的語義描述及其關(guān)系包含具有明確定義的類型和屬性[2]。

圖1展示了一個(gè)基于百科的

航空兵器知識(shí)圖譜的例子。實(shí)體以節(jié)點(diǎn)的形式，被關(guān)系以有向邊的形式串聯(lián)成圖的結(jié)構(gòu)。從一個(gè)實(shí)體到另外一個(gè)實(shí)體，可以得到一條事實(shí)三元組。例如（洛克希德·馬丁公司，生產(chǎn)，F(xiàn)22）。大量三元組的集合又可稱為知識(shí)庫（Knowledge Base）。常見的知識(shí)圖譜有谷歌知識(shí)圖譜[3]，F(xiàn)reebase[4]，中國Hownet等。

近年來，以CNN為代表的深度學(xué)習(xí)模型取得了巨大突破。一系列神經(jīng)網(wǎng)絡(luò)模型在人臉識(shí)別、語音識(shí)別、機(jī)器翻譯、計(jì)算機(jī)視覺及圖像分析[5-6]成功落地。然而，與傳統(tǒng)的歐幾里德結(jié)構(gòu)式數(shù)據(jù)不同，知識(shí)圖譜的數(shù)據(jù)形式是高度非歐的。圖片、文字、音頻等歐式數(shù)據(jù)可以以網(wǎng)格化的矩陣存儲(chǔ)和表示[7-8]，如圖2所示。歐式數(shù)據(jù)可以利用CNN，RNN，LSTM學(xué)習(xí)數(shù)據(jù)點(diǎn)鄰居的隱式特征，然而非歐數(shù)據(jù)卻不能很好地學(xué)習(xí)。知識(shí)圖譜非歐性質(zhì)意味著

不存在諸如全局參數(shù)化、通用坐標(biāo)系、向量空間結(jié)構(gòu)或平移不變性之類的屬性[9]，因而傳統(tǒng)的深度學(xué)習(xí)模型難以學(xué)習(xí)實(shí)體、關(guān)系間的幾何拓?fù)涮卣鳌?/p>

幾何深度學(xué)習(xí)（Geometric Deep Learning）[10]由圖靈獎(jiǎng)獲得者LeCun在2016年提出，該理論指出

非歐數(shù)據(jù)的學(xué)習(xí)依賴于數(shù)據(jù)分布的流形學(xué)習(xí)和圖結(jié)構(gòu)學(xué)習(xí)。近期，圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Network）[11]的研究成為幾何深度學(xué)習(xí)中最活躍的一支研究方向。圖神經(jīng)網(wǎng)絡(luò)的核心在于實(shí)現(xiàn)圖數(shù)據(jù)上的類似于傳統(tǒng)深度學(xué)習(xí)的操作，例如卷積、池化等，從而實(shí)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)。通過層次化堆疊這些操作，深度學(xué)習(xí)模型進(jìn)一步地實(shí)現(xiàn)了圖上的節(jié)點(diǎn)分類、鏈接預(yù)測、節(jié)點(diǎn)聚類、排序等任務(wù)。

圖神經(jīng)網(wǎng)絡(luò)可以有效地建模知識(shí)圖譜，廣泛地促進(jìn)了大部分研究方向的發(fā)展，例如關(guān)系抽取、實(shí)體抽取、知識(shí)表示學(xué)習(xí)、知識(shí)圖譜補(bǔ)全、知識(shí)推理等。

本文從幾何深度學(xué)習(xí)的角度出發(fā)，總結(jié)近期基于圖神經(jīng)網(wǎng)絡(luò)，流形學(xué)習(xí)的知識(shí)圖譜技術(shù)的相關(guān)研究進(jìn)展，從而展望知識(shí)圖譜未來發(fā)展的趨勢(shì)和挑戰(zhàn)，并對(duì)知識(shí)圖譜在航空航天軍事上的潛在應(yīng)用進(jìn)行初步探討。

1 概覽

1.1 知識(shí)圖譜發(fā)展

結(jié)構(gòu)化的知識(shí)表示方法在人工智能的研究中有很長的歷史。MYCIN[12]建立了基于規(guī)則的醫(yī)學(xué)診斷專家系統(tǒng)。后來，隨著Web技術(shù)的發(fā)展，這種結(jié)構(gòu)化的知識(shí)也可以被資源描述框架（RDF）和Web本體語言（OWL）描述，并成為語義網(wǎng)的重要標(biāo)準(zhǔn)。 隨后，發(fā)布了許多開放式知識(shí)庫或本體，例如WordNet，DBpedia，YAGO和Freebase[4]。到2012年，谷歌首次提出了知識(shí)圖譜的概念，其發(fā)展的Knowledge Vault[3]知識(shí)圖譜系統(tǒng)特別適用于解決與實(shí)體相關(guān)的智能問答問題，由此誕生一種全新的信息檢索模式。近年來，知識(shí)圖譜進(jìn)一步發(fā)展，研究者提出了諸多知識(shí)圖譜驅(qū)動(dòng)的智能問答、商品推薦、數(shù)據(jù)挖掘范式，展現(xiàn)了知識(shí)圖譜廣闊的應(yīng)用前景。

1.2 符號(hào)及定義

1.2.1 知識(shí)圖譜定義

知識(shí)圖譜是一個(gè)有向圖G=（ε， R， E），其中ε是實(shí)體構(gòu)成的集合，R是關(guān)系集合，E是從頭實(shí)體s指向尾實(shí)體o的邊的集合，由三元組（s，r，o）描述。一個(gè)三元組也稱為一個(gè)事實(shí)。知識(shí)圖譜是一種多關(guān)系圖，其中實(shí)體和關(guān)系均可綁定復(fù)雜的屬性信息。

1.2.2 圖卷積神經(jīng)網(wǎng)絡(luò)

本文主要的圖卷積網(wǎng)絡(luò)基于空域的半監(jiān)督圖卷積算子[13]，定義如下：

Hl+1=σ（D-12A^D-12HlW）

其中： Hl指第l層的隱層表示，當(dāng)l=0時(shí)，為初始輸入的屬性信息;A^表示加入了自環(huán)的圖鄰接矩陣; W表示可學(xué)習(xí)的權(quán)重矩陣。

1.2.3 知識(shí)圖譜嵌入表示

1.2.4 知識(shí)圖譜推理

在三個(gè)查詢模式中（s， r， ？）， （s， ？， o）， （？， r， o）給定一個(gè)查詢，知識(shí)圖譜推理旨在通過一條推理鏈條來預(yù)測？元素。這條推理鏈條如e1r1e2…rkek+1。如果k=1，便是單步推理，若k>1則為多步推理。

1.2.5 本文常用符號(hào)表

本文用字母的粗體表示其對(duì)應(yīng)的向量或者矩陣，例如e是實(shí)體e的對(duì)應(yīng)表示向量。

1.3 知識(shí)圖譜研究分類

本文重點(diǎn)關(guān)注知識(shí)圖譜中的知識(shí)獲取、知識(shí)圖譜表示、知識(shí)圖譜推理及補(bǔ)全三個(gè)核心研究領(lǐng)域。

2 知識(shí)獲取

知識(shí)獲取是構(gòu)建知識(shí)圖譜的第一步，指自動(dòng)地從無結(jié)構(gòu)或半結(jié)構(gòu)化的文本、Web數(shù)據(jù)中提取到結(jié)構(gòu)化的知識(shí)，存儲(chǔ)在數(shù)據(jù)庫中。涉及到的關(guān)鍵技術(shù)有實(shí)體抽取、關(guān)系抽取、知識(shí)加工等。

2.1 實(shí)體抽取

實(shí)體抽取又被稱為命名實(shí)體識(shí)別，指在文本中標(biāo)注或者提取關(guān)鍵的實(shí)體，例如人物、地點(diǎn)、組織、時(shí)間等，如圖3所示。早期的實(shí)體抽取方法基于手寫規(guī)則。這種方法雖然在特定領(lǐng)域的數(shù)據(jù)中識(shí)別準(zhǔn)確率較高，但是需要耗費(fèi)大量專家知識(shí)來人為設(shè)計(jì)有效規(guī)則。

近期實(shí)體抽取工作聚焦于數(shù)據(jù)驅(qū)動(dòng)的方法，如機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等。LSTM-CNN[14]通過學(xué)習(xí)字母級(jí)別和詞級(jí)別的語義特征和編碼匹配部分詞典，進(jìn)行NER任務(wù)。Lmaple等人[15]提出一種通過堆疊雙向LSTM層和CRF層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，在主要的數(shù)據(jù)集中實(shí)現(xiàn)了對(duì)特征工程方法的超越。MGNER[16]集成框架具有各種粒度的實(shí)體位置檢測以及基于嵌套和非重疊命名實(shí)體的基于注意力的實(shí)體分類方法。Yadav[17]在字母級(jí)別及詞級(jí)別的架構(gòu)基礎(chǔ)上，加入了詞綴信息的構(gòu)建。

上述方法均為基于深度學(xué)習(xí)的網(wǎng)絡(luò)構(gòu)架，未考慮詞義間的空間拓?fù)潢P(guān)系。將NER任務(wù)抽象為一個(gè)圖的節(jié)點(diǎn)分類任務(wù)。根據(jù)類似思想，Cui 等人[18]提出基于GNN方法來避免中文NER任務(wù)中漢字歧義的問題。通過詞典來構(gòu)建圖，從而對(duì)詞義進(jìn)行建模。這個(gè)模型可以捕捉NER過程中的非序列依賴關(guān)系。與之不同，Ding 等人[19]提出一種在地名詞典上構(gòu)建多有向圖的方法，實(shí)現(xiàn)中文NER任務(wù)中有效利用地名信息。Sui 等人[20]提出協(xié)同圖網(wǎng)絡(luò)模型來利用詞匯知識(shí)進(jìn)行中文NER，在各數(shù)據(jù)集上達(dá)到了SOTA效果。

2.2 關(guān)系抽取

關(guān)系抽取是建立大規(guī)模知識(shí)圖譜的關(guān)鍵任務(wù)，其作用是從大量實(shí)體標(biāo)記完成的文本數(shù)據(jù)中識(shí)別實(shí)體之間的關(guān)聯(lián)關(guān)系，抽取事實(shí)或者事件。通過關(guān)系抽取，文本中的實(shí)體可以被關(guān)聯(lián)起來，形成知識(shí)的網(wǎng)絡(luò)結(jié)構(gòu)。早期的關(guān)系是通過語法規(guī)則和人工設(shè)計(jì)的語義規(guī)則進(jìn)行抽取。這些方法與基于規(guī)則的學(xué)習(xí)方式相同，需要大量領(lǐng)域?qū)＜抑R(shí)和腦力勞動(dòng)。近期關(guān)系抽取的方法重點(diǎn)關(guān)注半監(jiān)督、無監(jiān)督及遠(yuǎn)程監(jiān)督的關(guān)系抽取模型，如圖4所示。Bootstrapping 方法利用大量未標(biāo)記的詞典和種子實(shí)例，來學(xué)習(xí)關(guān)系抽取的模式。第一個(gè)Bootstrapping 為Brin提出的DIPRE（Dual Iterative Pattern Relation Expansion）[21]。Sun 和 Grishman 提出基于主動(dòng)學(xué)習(xí)的關(guān)系抽取方法LGCo-Testing[22]。Qian等人[23]提出一種雙語言主動(dòng)學(xué)習(xí)方法。隨著深度學(xué)習(xí)的迅猛發(fā)展，早期一些基于CNN的監(jiān)督學(xué)習(xí)方法被研究[24]。這些方法需要手工在詞典里進(jìn)行標(biāo)注。隨著Word2vec[25]的誕生，大量自然語言處理任務(wù)開始應(yīng)用預(yù)訓(xùn)練詞向量對(duì)文本進(jìn)行建模。雖然遠(yuǎn)程監(jiān)督[26]比詞向量的概念早，但是正因?yàn)樵~向量而取得突破。Zeng 等人[27-28]先后在訓(xùn)練CNN網(wǎng)絡(luò)中引入預(yù)訓(xùn)練詞向量，Maxpooling，Piecewise Pooling實(shí)現(xiàn)多實(shí)例的遠(yuǎn)程關(guān)系分類。隨后，一些基于Attention機(jī)制[29]，RNN[30]，LSTM[31]，Transformer[32]的關(guān)系分類方法也被提出。

上述方法都是將文本作為一維序列數(shù)據(jù)進(jìn)行建模，然而實(shí)體間的聯(lián)系是多對(duì)多的關(guān)系，因此使用GNN來進(jìn)行關(guān)系間的推理十分合適。近期Zhu 等人[33]提出了基于GNN的關(guān)系抽取模型GP-GNN。GP-GNN通過文本序列中的實(shí)體，構(gòu)建全連接圖，然后分別通過邊編碼模塊進(jìn)行關(guān)系的分類。Zhang [34]等人提出一個(gè)基于知識(shí)圖譜嵌入的少樣本關(guān)系抽取方法，基于GCN學(xué)習(xí)知識(shí)圖譜的嵌入表示。在關(guān)系抽取過程中，語法依存樹通?？梢砸胝Z法規(guī)則，從而提升模型性能，但是如果語法依存樹過于復(fù)雜，則需要進(jìn)行減枝。Zhang 等人[34]提出一種基于GCN學(xué)習(xí)的依存樹減枝模型。

2.3 知識(shí)融合

通過實(shí)體抽取和關(guān)系抽取后得到的知識(shí)圖譜，包含結(jié)構(gòu)化的實(shí)體、關(guān)系、屬性信息及事實(shí)。但是初步的信息抽取過程產(chǎn)生的知識(shí)圖譜仍然存在很多冗余和錯(cuò)誤信息。知識(shí)加工即指對(duì)知識(shí)圖譜中的知識(shí)進(jìn)行清理、整合，提高知識(shí)的質(zhì)量，形成層次化和邏輯化的高可用性知識(shí)圖譜。

2.3.1 實(shí)體鏈接

實(shí)體鏈接，又稱為實(shí)體消歧，旨在將文本中出現(xiàn)的指代鏈接至具體的實(shí)體。例如，“愛因斯坦獲得了1921年的諾貝爾獎(jiǎng)”，“愛因斯坦”這個(gè)指代應(yīng)該被鏈接到“阿爾伯特·愛因斯坦”這個(gè)實(shí)體。由于深度學(xué)習(xí)模型的優(yōu)良泛化性能和避免人工特征等優(yōu)勢(shì)，近期的實(shí)體鏈接模型均基于神經(jīng)網(wǎng)絡(luò)模型。Yamada 等人[35]將詞義和實(shí)體一同嵌入至連續(xù)空間中，通過判斷詞義和實(shí)體的相似度進(jìn)行實(shí)體消歧。Gupta 等人[36]則進(jìn)一步融合多元信息，由實(shí)體屬性、實(shí)體類型等來學(xué)習(xí)詞義的語義特征。這兩種方法僅僅局部地學(xué)習(xí)詞語和實(shí)體的語義特征，不能實(shí)現(xiàn)集體實(shí)體鏈接。為處理這個(gè)問題，Nguyen 等人[37]提出了基于詞向量CNN編碼局部語義和RNN編碼全局實(shí)體共現(xiàn)的框架。但是基于全局模型的方法通常需要近似優(yōu)化技術(shù)，例如隨機(jī)游走、減枝等。這些方法不可微分，因此不能用反向傳播來優(yōu)化模型。然而，GCN可以全局地學(xué)習(xí)實(shí)體和詞語之間的關(guān)系。由此，Cao 等人[38] 提出了基于GCN的NCEL模型，實(shí)現(xiàn)對(duì)實(shí)體圖的編碼。Xin 等人[39]進(jìn)一步使用圖注意力網(wǎng)絡(luò)來集成局部和全局特征進(jìn)行判別表示。

2.3.2 實(shí)體對(duì)齊

實(shí)體對(duì)齊指在多個(gè)異構(gòu)知識(shí)圖譜中，對(duì)齊某個(gè)實(shí)體，以融合相同或類似的知識(shí)。形式化描述為：給定兩個(gè)實(shí)體集合ε1和ε2，實(shí)體對(duì)齊目標(biāo)為找到一個(gè)對(duì)齊集合A={（e1， e2）∈ε1×ε2|e1≡e2}?；谇度氲膶?shí)體對(duì)齊會(huì)計(jì)算實(shí)體對(duì)的相似度，從而判定兩個(gè)實(shí)體是否等價(jià)。IPTransE [40]將所有實(shí)體映射到一個(gè)統(tǒng)一的空間，通過翻譯模型e1+r（ε1ε2）-e2、線性轉(zhuǎn)換模型M（ε1ε2）e1-e2和共享實(shí)體參數(shù)，迭代地去求解累計(jì)誤差。BootEA[41]提出一個(gè)Bootstrapping方法以增量訓(xùn)練方式進(jìn)行實(shí)體對(duì)齊。MultiKE[42]同樣基于嵌入的方法，但是同時(shí)學(xué)習(xí)實(shí)體的名稱和實(shí)體屬性嵌入，通過設(shè)計(jì)的跨知識(shí)圖譜的推理方法進(jìn)行實(shí)體的對(duì)齊。

上述方法的基本思想都是基于同一個(gè)框架的跨語言知識(shí)聯(lián)合學(xué)習(xí)，這需要平衡兩個(gè)損失函數(shù)。如果要引入屬性信息，還需要設(shè)計(jì)額外的框架，而GCN可以有效地解決這個(gè)問題。Wang 等人[43]提出利用GCN進(jìn)行跨語言的知識(shí)圖譜實(shí)體對(duì)齊。隨后Cao 等人[44]也同樣提出用GCN來進(jìn)行實(shí)體對(duì)齊任務(wù)，不過他們?cè)O(shè)計(jì)的是多通道GCN，具有更好的魯棒性。Xu 等人[45]將跨語言知識(shí)圖譜的對(duì)齊任務(wù)抽象為圖匹配問題，然后利用圖注意力網(wǎng)絡(luò)來構(gòu)建模型。

3 知識(shí)圖譜表示學(xué)習(xí)

知識(shí)圖譜是一種大規(guī)模的稀疏有向圖，因此如何在計(jì)算過程中對(duì)知識(shí)圖譜中的要素進(jìn)行合理的表示是知識(shí)計(jì)算的核心問題。傳統(tǒng)的基于RDF，OWL語言的離散表示方式會(huì)帶來數(shù)據(jù)稀疏的問題，同時(shí)計(jì)算效率較低。近期以深度學(xué)習(xí)為代表的表示學(xué)習(xí)技術(shù)在圖像、語音等任務(wù)上取得突破。其核心在于利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)數(shù)據(jù)的低維連續(xù)實(shí)值向量或矩陣。

本節(jié)重點(diǎn)綜述近期知識(shí)圖譜表示算法，并以幾何深度學(xué)習(xí)的視角分析其學(xué)習(xí)過程。

3.1 基于歐式空間的嵌入表示

TransE是諸多翻譯模型的鼻祖，其將實(shí)體和關(guān)系嵌入至p范數(shù)空間。給定一個(gè)事實(shí)（s，r，o），那么該模型假設(shè)頭實(shí)體向量經(jīng)關(guān)系向量平移后，等價(jià)于尾實(shí)體s+r≈o，因此其距離函數(shù)為

f（s，r，o）=s+r-op

通常嵌入空間為2范數(shù)空間，即歐式空間。那么實(shí)體間的距離便決定了實(shí)體之間的相似度。盡管TransE[46]是一個(gè)簡單且高效的算法，但是其簡單的嵌入距離函數(shù)不能表達(dá)復(fù)雜的語義關(guān)系，這讓TransE在處理1-N，N-1，N-N等多對(duì)多關(guān)系時(shí)表現(xiàn)較差。隨后，TransR[47]，TransH[48]分別對(duì)其嵌入的空間做了改進(jìn)。TransR認(rèn)為應(yīng)該將實(shí)體和關(guān)系分別嵌入至兩個(gè)空間，如圖5所示。用一個(gè)轉(zhuǎn)移矩陣來關(guān)聯(lián)兩個(gè)嵌入空間，其距離函數(shù)為

3.2 基于非歐空間的嵌入表示

上節(jié)探討了基于歐式空間的低維嵌入表示， 然而歐式空間仍然不足以表達(dá)實(shí)體和關(guān)系間復(fù)雜的關(guān)系，因此很多研究者將視線轉(zhuǎn)移到了一些非歐空間的嵌入學(xué)習(xí)。

TransA [50]選擇將實(shí)體和關(guān)系嵌入至馬氏距離空間：

TransG [51]，KG2E[52]等將實(shí)體和關(guān)系視為服從高斯分布的隨機(jī)變量，以KL散度來度量隨機(jī)變量的相似度。

特別地，TransG進(jìn)一步考慮高斯混合模型來對(duì)關(guān)系進(jìn)行建模，從而解決翻譯模型中的多語義問題。

ManifoldE[53]提出基于流形學(xué)習(xí)的嵌入框架，如圖6所示。該方法是一個(gè)可以將之前翻譯模型點(diǎn)式建模的方法拓展為流形式建模，從而解決之前模型在代數(shù)系統(tǒng)病態(tài)的問題。該方法考慮了兩個(gè)流形系統(tǒng)： 球形和超平面形。

TorusE[54]指出，TransE的平移相似性假設(shè)與其正則化沖突。為了解決TransE這個(gè)問題，作者將實(shí)體和關(guān)系嵌入至環(huán)面上，而環(huán)面則屬于是緊李群，從而可以更加致密地表示嵌入向量，并且避免正則化。

RotatE[55]通過歐拉恒等式，提出一個(gè)酉復(fù)數(shù)，可以被視為在復(fù)數(shù)超平面上的一個(gè)旋轉(zhuǎn)操作。根據(jù)這個(gè)原理，作者定義一個(gè)旋轉(zhuǎn)操作將實(shí)體和關(guān)系向量嵌入至復(fù)數(shù)空間，實(shí)現(xiàn)對(duì)稱關(guān)系、 非對(duì)稱關(guān)系、 逆關(guān)系、 復(fù)合關(guān)系的建模。

3.3 線性/雙線性模型

RESCAL[56]是一個(gè)較早的雙線性模型，學(xué)習(xí)實(shí)體和關(guān)系的隱層特征。其得分函數(shù)定義如下：

istMult[57]是隨后用對(duì)角矩陣簡化了RESCAL模型，其得分函數(shù)如下：

f（s，r，o）=sTMro

此模型雖然在當(dāng)時(shí)取得了較好的效果，但是卻不能對(duì)非對(duì)稱關(guān)系進(jìn)行建模。隨后HolE[58]結(jié)合了RESCAL的表達(dá)力和DistMult的簡化能力，其定義了一個(gè)循環(huán)相關(guān)二元運(yùn)算：

[s*o]i=∑d-1k=0[s]k·[o]（k+i）mod d

其得分函數(shù)可以對(duì)非對(duì)稱及對(duì)稱關(guān)系進(jìn)行建模：

f（s，r，o）=rT（s*o）

ComplEx[59]將實(shí)體和關(guān)系嵌入這復(fù)數(shù)空間拓展了DistMult。由于實(shí)體和關(guān)系的復(fù)數(shù)表示，該方法可以

對(duì)非關(guān)系進(jìn)行建模，同時(shí)獲得更好的表達(dá)力[60]。

f（s，r，o）=Re（sTdiag（r）o）

TuckER[61]提出將知識(shí)圖譜視為一個(gè)張量，通過進(jìn)行張量的TuckER分解，得到對(duì)實(shí)體和關(guān)系的隱層表示。作者還指出， RESCAL，DistMult，ComplEx是TuckER的特殊情形。

3.4 神經(jīng)網(wǎng)絡(luò)模型

Dong 等人[3]提出用多層感知機(jī)來學(xué)習(xí)實(shí)體和關(guān)系向量的隱式特征。其得分函數(shù)如下：

f（s，r，o）=wTtanh（M1s+M2r+M3o）

ConvE [62]利用2D CNN對(duì)拼接實(shí)體和關(guān)系向量提取特征，證明了CNN也可以學(xué)習(xí)到實(shí)體和關(guān)系之間的非線性關(guān)聯(lián)特征，從而進(jìn)行知識(shí)圖譜補(bǔ)全。其得分函數(shù)為

f（s，r，o）=σ（ves（σ[Ms; Mr]·ω））W）t

隨后ConvKB[63]在ConvE的基礎(chǔ)上，引入經(jīng)典翻譯模型的語義平移相似性。其得分函數(shù)如下：

f（s，r，o）=concat（σ（[s，r，o]·ω））·W

3.5 圖神經(jīng)網(wǎng)絡(luò)模型

Welling課題組在提出GCN[13]之后，緊接著在知識(shí)圖譜上提出了RGCN[64]，將GCN拓展到了多關(guān)系圖的學(xué)習(xí)任務(wù)上。其編碼器的定義如下：

其中xli為第l層的隱層表示，N ri是節(jié)點(diǎn)周圍的鄰居節(jié)點(diǎn)集合。整個(gè)圖卷積以消息傳遞機(jī)制進(jìn)行實(shí)現(xiàn)。

RGCN使用與DistMult相同的解碼器。

SACN[65]將ConvE和GCN融合起來，實(shí)現(xiàn)結(jié)構(gòu)可感知的端到端模型。

4 知識(shí)圖譜推理

知識(shí)的一個(gè)特性就是“知識(shí)+知識(shí)=新的知識(shí)”，因此基于知識(shí)圖譜的推理非常重要。在許多知識(shí)圖譜相關(guān)的應(yīng)用中，需要基于知識(shí)圖譜已有的知識(shí)，推理得到未知的知識(shí)，提高智能系統(tǒng)對(duì)于實(shí)體、關(guān)系間的聯(lián)想預(yù)測能力。同時(shí)知識(shí)圖譜的另一個(gè)重要特點(diǎn)是不完全性。因此，如何基于已有知識(shí)，補(bǔ)全知識(shí)圖譜，以達(dá)到知識(shí)圖譜的自我更新和演化。

4.1 傳統(tǒng)推理方法

早期在專家系統(tǒng)或者知識(shí)庫中進(jìn)行推理是基于規(guī)則的推理。這些規(guī)則以一階邏輯的方式進(jìn)行描述。例如，在NELL[66]中，其知識(shí)推理模塊基于一階關(guān)系學(xué)習(xí)的方式。通過人工篩選的邏輯或者規(guī)則，即可進(jìn)行部署用于獲取、補(bǔ)全新的知識(shí)。Bühmann[67]提出知識(shí)庫上的頻繁原子模式挖掘方法。在具體知識(shí)庫中查詢相關(guān)匹配數(shù)據(jù)記錄，根據(jù)正確性統(tǒng)計(jì)的得分判斷新知識(shí)的真?zhèn)巍ujara[68]提出基于本體約束的分塊概率軟邏輯推理方法。

傳統(tǒng)的知識(shí)推理方法主要建立在規(guī)則、統(tǒng)計(jì)、本體上。這些方法準(zhǔn)確率較高，解釋性也很好，但是這些方法的可計(jì)算性較差，不能端到端進(jìn)行知識(shí)的推理。同時(shí)，推理規(guī)則的設(shè)計(jì)篩選依賴于專家知識(shí)。面對(duì)不同領(lǐng)域，或者更大規(guī)模的知識(shí)圖譜時(shí)，其泛化性較差。

4.2 知識(shí)圖譜單步推理

知識(shí)圖譜的單步推理指基于已觀測的知識(shí)，推出事實(shí)三元組中的缺失成分。例如（s，？，o）型為給定頭尾實(shí)體，推理這兩個(gè)實(shí)體可能存在的關(guān)系。（？，r，o）或者（s，r，？）是給定一個(gè)實(shí)體，推理可能匹配的實(shí)體。這種任務(wù)也被稱為知識(shí)圖譜的鏈接預(yù)測。

4.2.1 基于分布式表示模型

上述的知識(shí)表示模型均以鏈接預(yù)測的形式進(jìn)行模型的評(píng)估。因此知識(shí)表示學(xué)習(xí)得到的分布式向量，可以直接進(jìn)行知識(shí)推理。在分布式表示學(xué)習(xí)過程中，會(huì)定義一個(gè)得分函數(shù)f（s，r，o），用于計(jì)算給定事實(shí)存在的可能性分?jǐn)?shù)：

y（s，r，o）=σ（f（s，r，o））

通常，這種對(duì)預(yù)測基于開放世界假設(shè)，即認(rèn)為知識(shí)圖譜中未記錄的知識(shí)是不確定的。因此，其優(yōu)化通常是對(duì)排序損失函數(shù)[46]進(jìn)行優(yōu)化：

在推理過程中，根據(jù)候選的實(shí)體或關(guān)系，計(jì)算事實(shí)的得分函數(shù)置信度，學(xué)習(xí)一個(gè)閾值來判斷事實(shí)是否存在。

基于分布式表示的模型還有一個(gè)特點(diǎn)就是可以靈活地融合其他信息。Krompaβ[69]將實(shí)體的類型信息融入至嵌入模型中。Long [70]配合詞向量方法，進(jìn)行知識(shí)圖譜推理。Xie [71]利用預(yù)訓(xùn)練的圖像向量來融入實(shí)體的圖像信息。這些方法都基于對(duì)額外信息的嵌入表示學(xué)習(xí)。

4.2.2 混合規(guī)則的推理模型

盡管分布式表示的推理模型的可計(jì)算性好，但是其很大程度上缺乏解釋性。因此Wang 等人[72]提出以整形線性規(guī)劃（ILP）的方式將邏輯規(guī)則和物理規(guī)則融入至分布式表示模型中，提高模型的可解釋性。Demeester 等人[73]在關(guān)系嵌入學(xué)習(xí)中加入一階邏輯約束作為正則項(xiàng)，并提出序?qū)W習(xí)概念，用于獲取偏序關(guān)系的學(xué)習(xí)。具體來說，如果一個(gè)關(guān)系r1能夠推出r2 ， 那么讓r2的關(guān)系向量的每一維比r1小。該約束可以得到全局一致的關(guān)系表示。

4.2.3 基于圖神經(jīng)網(wǎng)絡(luò)的推理模型

前文提到的RGCN可以有效地學(xué)習(xí)知識(shí)圖譜中實(shí)體和關(guān)系的拓?fù)涮卣?。目前基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)圖譜推理模型均基于自編碼機(jī)結(jié)構(gòu)，即分為編碼器和解碼器。RGCN的解碼器基于DistMult，定義如下：

f（s，r，o）=sTRro

SACN[65]在加權(quán)GCN的編碼器的基礎(chǔ)上，進(jìn)一步擴(kuò)展了編碼器。其解碼器為Conv-TransE結(jié)構(gòu)，在解碼過程中融入翻譯魔性的語義平移相似性。

上述公式構(gòu)成了一個(gè)核向量M（s，r）=[mc（s，r，o），…，mc（s，r，F(xiàn)l-1）]。由此可以定義得分函數(shù)：

4.3 知識(shí)圖譜多步推理

單步推理可以視為知識(shí)推理k=1時(shí)的情形。多步推理不僅在問答系統(tǒng)上扮演重要的角色，同時(shí)可以給出知識(shí)推理的過程。例如從“（梅西，效力于，巴塞羅那俱樂部，屬于，西班牙甲級(jí)聯(lián)賽）”這一條鏈條中推理得出（梅西，效力于，西班牙甲級(jí)聯(lián)賽）。反之，多步推理可以通過（梅西，效力于，西班牙甲級(jí)聯(lián)賽）推斷（梅西，效力于，巴塞羅那俱樂部，屬于，西班牙甲級(jí)聯(lián)賽）的可能性。

4.3.1 基于路徑的多步推理

路徑指在知識(shí)圖譜中遍歷一條從一個(gè)實(shí)體到另外一個(gè)實(shí)體的序列。Lao[74]提出PRA算法，其利用隨機(jī)游走，在多關(guān)系圖上進(jìn)行遍歷路徑模式。接著將挖掘到的路徑模式作為特征向量。利用邏輯回歸進(jìn)行關(guān)系分類。隨后Lao[75]進(jìn)一步拓展了PRA算法，提出了受限和加權(quán)隨機(jī)游走的路徑產(chǎn)生方式。Liu [76]提出了層次化的隨機(jī)游走模型HiRi在大規(guī)模的知識(shí)圖譜上進(jìn)行學(xué)習(xí)。HiRi 中的隨機(jī)游走分為兩層：上層基于PRA，旨在學(xué)習(xí)全局的路徑特征;下層用于抽取子圖的局部特征。

4.3.2 基于分布式表示的多步推理

盡管大部分的分布式表示主要關(guān)注實(shí)現(xiàn)單步推理，但是通過路徑約束，分布式表示也可以實(shí)現(xiàn)多步推理。Guu[77]將多步推理視為一個(gè)在知識(shí)圖譜向量空間的組合問題。直接建模中間關(guān)系，加入實(shí)體的向量分布正則項(xiàng)，然后學(xué)習(xí)多步的關(guān)系模式。Lin [78]提出基于TransE的多步關(guān)系約束的PTransE。該方法認(rèn)為推理路徑上關(guān)系的轉(zhuǎn)移為加和、 連乘等操作形式，然后將特定操作組合后的路徑作為得分函數(shù)的輸入，從而對(duì)多步推理的路徑進(jìn)行建模。

4.3.3 基于強(qiáng)化學(xué)習(xí)的多步推理

多步推理是一個(gè)序列決策問題，因此可以用強(qiáng)化學(xué)習(xí)來學(xué)習(xí)這個(gè)過程?；诓呗缘膹?qiáng)化學(xué)習(xí)的智能體通過知識(shí)圖譜環(huán)境之間的交互來學(xué)習(xí)推理路徑[79]。DeepPath[80]是首先提出的基于強(qiáng)化學(xué)習(xí)的多步推理模型。但是其只能在給定兩個(gè)實(shí)體的情況下去推測中間的關(guān)系鏈。MINERVA[81]改進(jìn)了這一點(diǎn)，并將LSTM引入至策略函數(shù)中，用于編碼序列歷史信息。M-Walk[82]引入了蒙特卡羅樹搜索到強(qiáng)化學(xué)習(xí)模型的搜索推理路徑中，有效降低了路徑稀疏問題，同時(shí)其歷史信息由RNN來編碼。Multi-Hop[83]指出強(qiáng)化學(xué)習(xí)過程的獎(jiǎng)賞函數(shù)需要人為定義。為了解決這個(gè)問題，該方法提出了一個(gè)可學(xué)習(xí)的獎(jiǎng)賞函數(shù)，從而可以自適應(yīng)地調(diào)節(jié)路徑的探索， 同時(shí)其還在策略選擇時(shí)采用了類似Dropout的技術(shù)。

4.3.4 基于圖神經(jīng)網(wǎng)絡(luò)的多步推理

圖神經(jīng)網(wǎng)絡(luò)展現(xiàn)了對(duì)序列數(shù)據(jù)的建模能力。Xu[84]提出了基于圖神經(jīng)網(wǎng)絡(luò)的序列建模方法—Graph2seq。該方法利用GCN將輸入的圖映射為一個(gè)向量，然后利用LSTM將隱藏表示解碼為一條序列。Venkatakrishnan[85]在同期提出了Graph2seq。該方法將圖表示為一條有限時(shí)間序列，通過不限制表示的維數(shù)，可以自由地?cái)U(kuò)展圖的屬性維數(shù)和節(jié)點(diǎn)維數(shù)。同時(shí)該方法是可逆的，可以實(shí)現(xiàn)從圖到序列，也可以從序列到圖。

此外，問答系統(tǒng)的多跳推理問題也可以基于圖神經(jīng)網(wǎng)絡(luò)建模。Qiu[86]提出動(dòng)態(tài)圖網(wǎng)絡(luò)（DFGN），實(shí)現(xiàn)基于文本的問答。該方法在文檔上構(gòu)建動(dòng)態(tài)圖網(wǎng)絡(luò)，然后利用動(dòng)態(tài)圖網(wǎng)絡(luò)進(jìn)行多跳推理。

5 知識(shí)圖譜的典型應(yīng)用

豐富的結(jié)構(gòu)化知識(shí)可以有效協(xié)助AI系統(tǒng)，但是如何將知識(shí)整合進(jìn)面向真實(shí)需求的應(yīng)用仍然是一個(gè)挑戰(zhàn)。

5.1 自然語言理解

人類語言是由情緒表達(dá)和事實(shí)表達(dá)組成。因此知識(shí)感知的語言理解將更好地幫助AI系統(tǒng)理解語言的背景事實(shí)。Logan[87]提出基于知識(shí)圖譜的語言模型。該方法可以學(xué)習(xí)到未出現(xiàn)在語料庫中的詞義。

ERNIE[88]利用知識(shí)圖譜來增強(qiáng)BERT的訓(xùn)練效果。

5.2 問答系統(tǒng)

問答系統(tǒng)是人類和AI對(duì)話的重要組成部分，其目的在于可以根據(jù)提問做出相應(yīng)回答。而知識(shí)圖譜也可以理解為一個(gè)大規(guī)模的常識(shí)庫，因此， 知識(shí)圖譜可以簡化問答的模式，即在知識(shí)圖譜上進(jìn)行推理。問答系統(tǒng)目前已經(jīng)成功應(yīng)用在智能客服、語音助手等業(yè)務(wù)場景，例如蘋果Siri、小米公司的小愛同學(xué)等。

5.3 推薦系統(tǒng)

推薦系統(tǒng)指在電子購物過程中，服務(wù)端通過用戶的喜好推薦用戶的潛在購買目標(biāo)。目前基于用戶歷史信息的協(xié)同過濾算法得到了廣泛的研究，在各大電商、視頻、信息流推薦中取得了巨大的經(jīng)濟(jì)效益。然而，推薦系統(tǒng)需要解決稀疏性問題和冷啟動(dòng)問題。將知識(shí)圖譜集成為外部信息，可使推薦系統(tǒng)具有常識(shí)推理能力。

5.4 信息檢索

在信息檢索領(lǐng)域知識(shí)圖譜起著非常重要的作用。Google公司基于其Knowledge Vault有效提高了搜索場景的準(zhǔn)確率和交互性。當(dāng)查詢被輸入至搜索引擎時(shí)，搜索引擎可以利用知識(shí)圖譜推理得出精確回答，同時(shí)在搜索結(jié)果的右側(cè)顯示該查詢的深層信息。其他類似的還有百度的中文知識(shí)圖譜搜索、搜狗的知立方等。

6 研究展望

近年來，知識(shí)圖譜引發(fā)了巨大的關(guān)注，大量的工作發(fā)展了知識(shí)圖譜相關(guān)理論和技術(shù)。然而，目前對(duì)知識(shí)圖譜研究和認(rèn)知離它的愿景還有較大距離，仍有許多挑戰(zhàn)和亟待解決的問題。

6.1 復(fù)雜推理

目前，面向知識(shí)圖譜的推理已經(jīng)大量啟用分布式表示學(xué)習(xí)方法。用于知識(shí)表示和推理的數(shù)值計(jì)算，需要連續(xù)的向量空間來捕獲實(shí)體和關(guān)系的語義。然而基于嵌入的方法在復(fù)雜的邏輯推理上仍有局限性。該類方法需要精心設(shè)計(jì)嵌入的空間來捕捉實(shí)體和關(guān)系的語義特征，這在一定程度上仍然是耗費(fèi)大量專家腦力的。隨著GNN的研究迅猛發(fā)展，人們對(duì)圖的拓?fù)涮卣鲗W(xué)習(xí)認(rèn)識(shí)更加深入，基于圖神經(jīng)網(wǎng)絡(luò)的研究會(huì)進(jìn)一步發(fā)展知識(shí)圖譜技術(shù)。其中所需要面對(duì)的最大問題是如何處理知識(shí)圖譜的異質(zhì)性。

值得進(jìn)一步探討關(guān)系路徑和符號(hào)邏輯的兩個(gè)方向。諸如循環(huán)關(guān)系路徑編碼、基于GNN的消息傳遞、基于增強(qiáng)學(xué)習(xí)的路徑查找和推理等一些有前途的方法，對(duì)于處理復(fù)雜的推理有廣闊的研究前景。

6.2 規(guī)模性

通用型知識(shí)圖譜通常會(huì)包含海量的事實(shí)和實(shí)體。因此如何將現(xiàn)有的知識(shí)圖譜方法推廣到大規(guī)模知識(shí)圖譜是這些方法能夠得到應(yīng)用的前提。一方面，可以從神經(jīng)網(wǎng)絡(luò)減枝、網(wǎng)絡(luò)結(jié)構(gòu)搜索等方法，改善目前的知識(shí)獲取、知識(shí)推理算法; 另一方面，需要在研究新的方法時(shí)考慮知識(shí)圖譜的規(guī)模性。

6.3 多源信息融合及多模態(tài)學(xué)習(xí)

知識(shí)圖譜中的屬性信息為異構(gòu)數(shù)據(jù)，如文本、圖片、音頻、視頻等。通過融合多種屬性信息，可以彌補(bǔ)稀疏知識(shí)的學(xué)習(xí)問題。同時(shí)，通過多模態(tài)數(shù)據(jù)的學(xué)習(xí)，可以進(jìn)一步拓展知識(shí)圖譜的應(yīng)用，例如從知識(shí)圖譜到圖片，知識(shí)圖譜到視頻等。

6.4 知識(shí)圖譜的隱私保護(hù)

知識(shí)圖譜的構(gòu)建過程需要耗費(fèi)大量資源，各個(gè)公司出于對(duì)數(shù)據(jù)保護(hù)的需求，很難共享構(gòu)建知識(shí)圖譜， 因此，如何在基于數(shù)據(jù)保護(hù)的情況下，構(gòu)建跨越數(shù)據(jù)孤島的知識(shí)圖譜是值得探討的問題。聯(lián)邦學(xué)習(xí)[89]正是解決這個(gè)問題的重要研究方向。聯(lián)邦學(xué)習(xí)的目標(biāo)是在保證數(shù)據(jù)隱私安全及合法合規(guī)的基礎(chǔ)上，實(shí)現(xiàn)共同建模，跨越數(shù)據(jù)孤島，提升AI模型的效果。

7 知識(shí)圖譜與航空軍事

隨著現(xiàn)代軍事信息化的發(fā)展，在航空領(lǐng)域涉及到海量的軍事大數(shù)據(jù)。因此，如何有效將這些軍事數(shù)據(jù)進(jìn)行結(jié)構(gòu)化，是知識(shí)圖譜在航空軍事應(yīng)用的核心問題?；谲娛轮R(shí)賦能的人工智能系統(tǒng)，可以有效提高軍事決策的智能性和便捷性。例如，可以通過航空軍事知識(shí)圖譜，建立航空武器裝備的百科知識(shí)圖譜，或者基于航空領(lǐng)域知識(shí)圖譜的問答系統(tǒng)，方便用于軍事教學(xué)、航空對(duì)抗訓(xùn)練等; 建立基于知識(shí)圖譜的航空戰(zhàn)斗態(tài)勢(shì)研判系統(tǒng)，可以輔助指揮員在特定場景內(nèi)分析戰(zhàn)場態(tài)勢(shì)，并通過典型示例簡單直觀和合理的演示戰(zhàn)場態(tài)勢(shì)，協(xié)助進(jìn)行多軍種，復(fù)雜戰(zhàn)場的聯(lián)合作戰(zhàn); 還可以基于知識(shí)的目標(biāo)識(shí)別和目標(biāo)追蹤技術(shù)，在空域、 海域、 陸域中識(shí)別重要單位?？傊?，在航空軍事中，仍鮮有知識(shí)圖譜應(yīng)用的相關(guān)研究，亟需多學(xué)科交叉，填補(bǔ)研究空白。

8 結(jié) 束 語

隨著AI技術(shù)研究的持續(xù)發(fā)展，深度學(xué)習(xí)更加關(guān)注數(shù)據(jù)的幾何特征，幾何深度學(xué)習(xí)應(yīng)運(yùn)而生。圖神經(jīng)網(wǎng)絡(luò)的興起引發(fā)廣泛的研究興趣。而知識(shí)圖譜作為典型的異構(gòu)圖數(shù)據(jù)，在圖神經(jīng)網(wǎng)絡(luò)的發(fā)展受益匪淺。本文基于幾何深度學(xué)習(xí)的視角，重點(diǎn)關(guān)注圖神經(jīng)網(wǎng)絡(luò)和低維嵌入的空間幾何特征，總結(jié)了近期知識(shí)圖譜關(guān)鍵技術(shù)中知識(shí)獲取，知識(shí)表示和知識(shí)推理的重點(diǎn)研究。大量的研究表明圖神經(jīng)網(wǎng)絡(luò)在知識(shí)圖譜上有廣闊的前景。然而，目前此方向的研究仍處于發(fā)展階段，許多潛在的研究問題都值得以圖神經(jīng)網(wǎng)絡(luò)的方式去探索。相信知識(shí)圖譜將在未來的航空軍事領(lǐng)域扮演重要角色。

參考文獻(xiàn)：

[1] 徐增林，盛泳潘，賀麗榮，等. 知識(shí)圖譜技術(shù)綜述[J]. 電子科技大學(xué)學(xué)報(bào)，2016，45（4）：589-606.

Xu Zenglin，Sheng Yongpan，He Lirong，et al.Review on Know-ledge Graph Techniques[J].Journal of University of Electronic Science and Technology of China，2016，45（4）：589-606.（in Chinese）

[2] 劉嶠，李楊，段宏，等. 知識(shí)圖譜構(gòu)建技術(shù)綜述[J]. 計(jì)算機(jī)研究與發(fā)展，2016，53（3）：582-600.

Liu Qiao，Li Yang，Duan Hong，et al.Knowledge Graph Construction Techniques[J].Journal of Computer Research and Development，2016，53（3）： 582-600.（in Chinese）

[3] Dong X，Gabrilovich E，Heitz G，et al. Knowledge Vault：A Web- Scale Approach to Probabilistic Knowledge Fusion[C]∥Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining，2014：601-610.

[4] Bollacker K D，Evans C，Paritosh P，et al. Freebase：A Collaboratively Created Graph Database for Structuring Human Knowledge[C]∥ Proceedings of the ACM SIGMOD International Conference on Management of Data，2008.

[5] Wang Z，Jiang J J，Wu Y，et al. Learning Sparse and Identity-Preserved Hidden Attributes for Person Re-Identification[J]. IEEE Transactions on Image Processing，2019，29（1）：2013-2025.

[6] Wang Z，Hu R M，Liang C，et al. Zero-Shot Person Re-Identification via Cross-View Consistency[J]. IEEE Transactions on Multimedia，2015，18（2）：260-272.

[7] Kansal K，Subramanyam A V，Wang Z，et al. SDL：Spectrum-Disentangled Representation Learning for Visible-Infrared Person Re-Identification[J/OL]. IEEE Transactions on Circuits and Systems for Video Technology.DOI：10.1109/tcsvt.2019.2963721.

[8] Wang Z，Hu R M，Chen C，et al. Person Reidentification via Discrepancy Matrix and Matrix Metric[J]. IEEE Transactions on Cybernetics，2018，48（10）：3006-3020.

[9] Zeng Z L，Wang Z X，Wang Z，et al. Illumination-Adaptive Person Re-Identification[EB/OL].（2019-05-11）[2020-03-04]. https： ∥arxiv.org/pdf/1905.04525v1.pdf.

[10] Bronstein M M，Bruna J，LeCun Y，et al. Geometric Deep Lear-ning：Going Beyond Euclidean Data[J]. IEEE Signal Processing Magazine，2017，34（4）：18-42.

[11] Wu Z H，Pan S R，Chen F W，et al. A Comprehensive Survey on Graph Neural Networks[EB/OL]. （2019-12-04）[2020-03-04]. https： ∥arxiv.org/pdf/1901.00596.pdf.

[12] Shortliffe E H，Davis R，Axline S G，et al. Computer-Based Consultations in Clinical Therapeutics：Explanation and Rule Acquisition Capabilities of the MYCIN System[J]. Computers and Biomedical Research，1975，8（4）：303-320.

[13] Kipf T N，Welling M. Semi-Supervised Classification with Graph Convolutional Networks[EB/OL]. （2017-02-22）[2020-03-04]. https： ∥arxiv.org/pdf/1609.02907.pdf.

[14] Chiu J P C，Nichols E. Named Entity Recognition with Bidirectional LSTM-CNNs[J]. Transactions of the Association for Computational Linguistics，2016，4：357-370.

[15] Lample G，Ballesteros M，Subramanian S，et al. Neural Architectures for Named Entity Recognition[EB/OL]. （2016-04-07）[2020-03-04]. https： ∥arxiv.org/pdf/1603.01360.pdf.

[16] Xia C Y，Zhang C W，Yang T，et al. Multi-Grained Named Entity Recognition[EB/OL]. （2019-01-20） [2020-03-04]. https： ∥arxiv.org/pdf/1906.08449.pdf.

[17] Yadav V，Sharp R，Bethard S. Deep Affix Features Improve Neural Named Entity Recognizers[C]∥Proceedings of the Seventh Joint Conference on Lexical and Computational Semantics，2018： 167-172.

[18] Gui T，Zou Y C，Zhang Q，et al. A Lexicon-Based Graph Neural Network for Chinese NER[C]∥Proceedings of the 2019 Conference on EMNLP and the 9th IJCNLP，2019.

[19] Ding R X，Xie P J，Zhang X Y，et al. A Neural Multi-Digraph Model for Chinese NER with Gazetteers[C]∥Proceedings of the 57th ACL，2019.

[20] Sui D B，Chen Y B，Liu K，et al. Leverage Lexical Knowledge for Chinese Named Entity Recognition via Collaborative Graph Network[C]∥Proceedings of the 2019 Conference on EMNLP and the 9th IJCNLP，2019： 3830-3840.

[21] Brin S. Extracting Patterns and Relations from the World Wide Web[M]. The World Wide Web and Databases， Springer Berlin Heidelberg， 1998： 172-183.

[22] Sun A，Grishman R. Active Learning for Relation Type Extension with Local and Global Data Views[C]∥Proceedings of the 21st ACM International CIKM， 2012：1105-1112.

[23] Qian L H，Hui H T，Hu Y N，et al. Bilingual Active Learning for Relation Classification via Pseudo Parallel Corpora[C]∥ Proceedings of the 52nd ACL， 2014：582-592.

[24] Liu C Y，Sun W B，Chao W H，et al. Convolution Neural Network for Relation Extraction[C]∥International Conference on Advanced Data Mining and Applications， 2013：231-242.

[25] Mikolov T，Sutskever I，Chen K，et al. Distributed Representations of Words and Phrases and Their Compositionality[C]∥ Neural Information Processing Systems，2013：3111-3119.

[26] Riedel S，Yao L M，Mccallum A. Modeling Relations and Their Mentions without Labeled Text[C]∥Joint European Conference on Machine Learning and Knowledge Discovery in Databases，Barcelona， Spain， 2010： 148-163.

[27] Zeng D J，Liu K，Lai S W，et al. Relation Classification via Convolutional Deep Neural Network[C]∥25th International Conference on Computational linguistics， Dublin， Ireland， 2014：2335- 2344.

[28] Zeng D J，Liu K，Chen Y B，et al. Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks[C]∥Proceedings of the Conference on EMNLP，2015.

[29] Zhou P，Shi W，Tian J，et al. Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification[C]∥Proceedings of the 54th ACL，2016： 207-212.

[30] Vu N T，Adel H，Gupta P，et al. Combining Recurrent and Convolutional Neural Networks for Relation Classification[EB/OL]. （2016-05-24） [2020-03-04]. https： ∥arxiv.org/pdf/1605.07333.pdf.

[31] Miwa M，Bansal M. End-to-End Relation Extraction Using LSTM on Sequences and Tree Structures[EB/OL]. （2016-06-08） [2020-03-04]. https： ∥arxiv.org/pdf/1601.00770.pdf.

[32] Du J H，Han J G，Way A，et al. Multi-Level Structured Self-Attentions for Distantly Supervised Relation Extraction[EB/OL]. （2018-09-03） [2020-03-04]. https： ∥arxiv.org/pdf/1809.00699.pdf.

[33] Zhu H，Lin Y K，Liu Z Y，et al. Graph Neural Networks with Generated Parameters for Relation Extraction[EB/OL]. （2019-02-02） [2020-03-04]. https： ∥arxiv.org/pdf/1902.00756.pdf.

[34] Zhang Y H，Qi P，Manning C D. Graph Convolution over Pruned Dependency Trees Improves Relation Extraction[EB/OL].（2018-09-26）[2020-03-04]. https： ∥arxiv.org/pdf/1809.10185.pdf.

[35] Yamada I，Shindo H，Takeda H，et al. Joint Learning of the Embedding of Words and Entities for Named Entity Disambiguation[C]∥Proceedings of the 20th SIGNLL Conference on Computational Natural Language Learning，2016.

[36] Gupta N，Singh S，Roth D. Entity Linking via Joint Encoding of Types，Descriptions，and Context[C]∥Proceedings of the Conference on Empirical Methods in Natural Language Processing，2017.

[37] Nguyen T H，F(xiàn)auceglia N R，Muro M R，et al. Joint Learning of Local and Global Features for Entity Linking via Neural Networks[C]∥Proceedings of the 26th International Conference on Computational Linguistics，2016： 2310-2320.

[38] Cao Y X，Hou L，Li J Z，et al. Neural Collective Entity Linking[C]∥Proceedings of the 27th International Conference on Computational Linguistics，2018： 675-686.

[39] Xin K X，Hua W，Liu Y，et al. Entity Disambiguation Based on Parse Tree Neighbours on Graph Attention Network[C]∥ Proceedings of the 20th International Conference on Web Information Systems Engineering，2019： 523-537.

[55] Sun Z Q，Deng Z H，Nie J Y，et al. RotatE：Knowledge Graph Embedding by Relational Rotation in Complex Space[EB/OL]. （2019-02-26）[2020-03-04]. https： ∥arxiv.org/pdf/1902.10197.pdf.

[56] Nickel M，Tresp V，Kriegel H P. A Three-Way Model for Collective Learning on Multi-Relational Data[C]∥Proceedings of the 28th ICML，2011.

[57] Yang B S，Yih W T，He X D，et al. Embedding Entities and Relations for Learning and Inference in Knowledge Bases[EB/OL]. （2015-08-29） [2020-03-04]. https： ∥arxiv.org/pdf/1412.6575.pdf.

[58] Nickel M，Rosasco L，Poggio T. Holographic Embeddings of Knowledge Graphs[C]∥ Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence，2016： 1955-1961.

[59] Trouillon T，Welbl J，Riedel S，et al. Complex Embeddings for Simple Link Prediction[C]∥ Proceedings of the 33rd ICML，2016：2071-2080.

[60] Wan G J，Du B，Pan S R，et al. Adaptive Knowledge Subgraph Ensemble for Robust and Trustworthy Knowledge Graph Completion[J]. World Wide Web，2020， 23（1）：471-490.

[61] Trouillon T，Dance C R，Gaussier ，et al. Knowledge Graph Completion via Complex Tensor Factorization[J]. Journal of Machine Learning Research，2017，18 （130）： 1-38.

[62] Dettmers T，Minervini P，Stenetorp P，et al. Convolutional 2D Knowledge Graph Embeddings[C]∥ Proceedings of the Thirty-Second AAAI Conference on Artificial Intelligence，2018： 1811-1818.

[63] Nguyen D Q，Nguyen T D，Phung D. A Novel Embedding Model for Knowledge Base Completion Based on Convolutional Neural Network[C]∥Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies，2018： 327-333.

[64] Schlichtkrull M，Kipf T N，Bloem P，et al. Modeling Relational Data with Graph Convolutional Networks[C]∥European Semantic Web Conference：The Semantic Web， 2018： 593-607.

[65] Shang C，Tang Y，Huang J，et al. End-to-End Structure-Aware Convolutional Networks for Knowledge Base Completion[C]∥Proceedings of the Thirty-Third AAAI Conference on Artificial Intelligence，2019： 3060-3067.

[66] Carlson A，Betteridge J，Kisiel B，et al. Toward an Architecture for Never-Ending Language Learning[C]∥ Proceedings of the Twenty-Fourth AAAI Conference on Artificial Intelligence，2010.

[67] Bühmann Lorenz，Lehmann Jens. Pattern Based Knowledge Base Enrichment[C]∥International Semantic Web Conference：The Semantic Web，2013：33-48.

[68] Pujara J，Miao H，Getoor L，et al. Ontology-Aware Partitioning for Knowledge Graph Identification[C] ∥Proceedings of the Workshop on Automated Knowledge Base Construction，2013： 19-24.

[69] Krompaβ D，Baier S，Tresp V. Type-Constrained Representation Learning in Knowledge Graphs[C]∥International Semantic Web Conference：The Semantic Web，2015： 640-655.

[70] Long T，Lowe R，Cheung J C K，et al. Leveraging Lexical Resources for Learning Entity Embeddings in Multi-Relational Data[EB/OL].（2016-05-18） [2020-03-04]. https： ∥arxiv.org/pdf/1605.05416v1.pdf.

[71] Xie R B，Liu Z Y，Luan H B，et al. Image-Embodied Knowledge Representation Learning[EB/OL].（2017-05-22）[2020-03-04]. https： ∥arxiv.org/pdf/1609.07028v2.pdf.

[72] Wang Q，Wang B，Guo L. Knowledge Base Completion Using Embeddings and Rules[C]∥ Proceedings of the 24th IJCAI，2015：1859-1865.

[73] Demeester T，Rocktschel T，Riedel S. Regularizing Relation Representations by First-Order Implications[C]∥ Proceedings of the 5th Workshop on Automated Knowledge Base Construction， 2016.

[74] Lao N，Cohen W W. Relational Retrieval Using a Combination of Path-Constrained Random Walks[J]. Machine Learning，2010，81（1）：53-67.

[75] Lao N，Mitchell T，Cohen W W. Random Walk Inference and Learning in a Large Scale Knowledge Base[C]∥Proceedings of the Conference on EMNLP，2011：529-539.

[76] Liu Q，Jiang L Y，Han M H，et al. Hierarchical Random Walk Inference in Knowledge Graphs[C]∥Proceedings of the 39th International ACM SIGIR Conference on Research and Development in Information Retrieval，2016：445-454.

[77] Guu K，Miller J，Liang P. Traversing Knowledge Graphs in Vector Space[EB/OL].（2015-08-19）[2020-03-04]. https： ∥arxiv.org/pdf/1506.01094.pdf.

[78] Lin Y K，Liu Z Y，Luan H B，et al. Modeling Relation Paths for Representation Learning of Knowledge Bases[C]∥Proceedings of the Conference on EMNLP，2015： 705-714.

[79] Wan G J，Du B，Pan S R，et al. Reinforcement Learning Based Meta-Path Discovery in Large-Scale Heterogeneous Information Networks[C]∥ The Thirty-Fourth AAAI Conference on Artificial Intelligence， 2020.

[80] Xiong W H，Hoang T，Wang W Y. DeepPath：A Reinforcement Learning Method for Knowledge Graph Reasoning[C]∥Proceedings of the Conference on EMNLP，2017： 575-584.

[81] Das R，Dhuliawala S，Zaheer M，et al. Go for a Walk and Arrive at the Answer：Reasoning over Paths in Knowledge Bases Using Reinforcement Learning[EB/OL]. （2018-11-30） [2020-03-04]. https： ∥arxiv.org/pdf/1711.05851.pdf.

[82] Shen Y L，Chen J S，Huang P S，et al. M-Walk：Learning to Walk over Graphs Using Monte Carlo Tree Search[C]∥ Confe-rence on NeuIPS， 2018： 6786-6797.

[83] Lin X V，Socher R，Xiong C M. Multi-Hop Knowledge Graph Reasoning with Reward Shaping[C]∥Proceedings of the Confe-rence on Empirical Methods in Natural Language Processing，2018.

[84] Xu K，Wu L F，Wang Z G，et al. Graph2seq：Graph to Sequence Learning with Attention-Based Neural Networks[EB/OL].（2018-12-03）[2020-03-04]. https： ∥arxiv.org/pdf/1804.00823.pdf.

[85] Venkatakrishnan S B，Alizadeh M，Viswanath P. Graph2seq：Scalable Learning Dynamics for Graphs[EB/OL].（2018-10-09）[2020-03-04]. https： ∥arxiv.org/pdf/1802.04948.pdf.

[86] Qiu L，Xiao Y X，Qu Y R，et al. Dynamically Fused Graph Network for Multi-Hop Reasoning[C]∥Proceedings of the 57th ACL，2019： 6140-6150.

[87] Logan R，Liu N F，Peters M E，et al. Baracks Wife Hillary：Using Knowledge Graphs for Fact-Aware Language Modeling[C]∥Proceedings of the 57th ACL，2019：5962-5971.

[88] Zhang Z Y，Han X，Liu Z Y，et al. ERNIE：Enhanced Language Representation with Informative Entities[C]∥Proceedings of the 57th ACL，2019： 1441-1451.

[89] Yang Q，Liu Y，Chen T J，et al. Federated Machine Learning：Concept and Applications[J]. ACM Transactions on Intelligent Systems and Technology （TIST），2019，10（2）：1-19.

A Review of Knowledge Graph Techniques from

the View of Geometric Deep Learning

DuBo1，2*，Wan Guojia1，2，Ji Ying1，2

（1. School of Computer Science， Wuhan University， Wuhan 430072，China;

2. Artificial Intelligence Institute， Wuhan University，Wuhan430072， China）

Abstract：Knowledge Graphs carry structured human knowledge in the term of graph. As a medium for incorporating knowledge into Artificial Intelligence systems， the study of knowledge graph is becoming increasingly popular. knowledge graphs have been being emerging in many AI-related applications， such as question answering systems， information retrieval， natural language processing， recommendation systems， etc. However， the traditional deep learning approaches fail to handle non-European data such as knowledge graphs. With the rapid development of graph neural networks， geometric deep learning has become an important theory for modeling non-European data. From the perspective of geometric deep learning and focusing on graph neural networks， this paper summarizes the recent research progress on key knowledge graph techniques based on graph neural networks. Specifically， this paper summarizes the three core research fields of knowledge acquisition， knowledge representation， and knowledge reasoning on knowledge graphs， and discuss future research directions and prospects.

Key words：knowledge graph; geometric deep learning; artificial intelligence; graph neural network; knowledge reasoning

收稿日期： 2020-03-04

基金項(xiàng)目： 國家自然科學(xué)基金項(xiàng)目（61822113）; 國家重點(diǎn)研發(fā)計(jì)劃（2018YFA060550）; 湖北省自然科學(xué)基金項(xiàng)目（2018CFA050）; 湖北省科技廳重大專項(xiàng)（2019AEA170）

作者簡介： 杜博（1986-），男，教授，博士生導(dǎo)師，國家自然科學(xué)基金優(yōu)秀青年科學(xué)基金獲得者，研究方向是人工智能、機(jī)器視覺、知識(shí)圖譜。

E-mail： dubo@whu.edu.cn

引用格式： 杜博，萬國佳，紀(jì)穎. 基于幾何深度學(xué)習(xí)的知識(shí)圖譜關(guān)鍵技術(shù)研究進(jìn)展[ J].

航空兵器，2020， 27（ 3）： 1-10.

Du Bo， Wan Guojia， Ji Ying. A Review of Knowledge Graph Techniques from the View of Geometric Deep Learning[ J]. Aero Weaponry，2020， 27（ 3）： 1-10.（ in Chinese）