圖神經(jīng)網(wǎng)絡(luò)在知識(shí)圖譜構(gòu)建與應(yīng)用中的研究進(jìn)展

許鑫冉，王騰宇，魯 才

1.電子科技大學(xué) 資源與環(huán)境學(xué)院，成都 611731

2.中國(guó)石油天然氣股份有限公司塔里木油田分公司 勘探開發(fā)研究院，新疆 庫(kù)爾勒 841000

3.電子科技大學(xué) 信息與通信工程學(xué)院，成都 611731

知識(shí)圖譜的概念最早在2012 年由Google 提出，隨后在工業(yè)界和學(xué)術(shù)界掀起了熱潮。在數(shù)據(jù)庫(kù)技術(shù)和Web應(yīng)用的快速發(fā)展下，數(shù)據(jù)呈現(xiàn)了爆炸式增長(zhǎng)，并產(chǎn)生了大量有價(jià)值的知識(shí)，傳統(tǒng)的數(shù)據(jù)庫(kù)技術(shù)已無法滿足現(xiàn)有市場(chǎng)環(huán)境中不斷擴(kuò)大的應(yīng)用需求。大量研究人員在知識(shí)工程的基礎(chǔ)上，通過引用語(yǔ)義上有意義的元數(shù)據(jù)，將實(shí)例數(shù)據(jù)同上下文結(jié)構(gòu)集成，從非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)中提取出有用的知識(shí)信息[1]，推動(dòng)了知識(shí)圖譜在人工智能領(lǐng)域的應(yīng)用。近年來，開發(fā)了大量有意義的大型知識(shí)庫(kù)，如YAGO（yet another great ontology）[2]、Freebase[3]、DBpedia[4]等，存儲(chǔ)公共知識(shí)的結(jié)構(gòu)化信息。

但是，由于知識(shí)圖譜系統(tǒng)存在數(shù)據(jù)稀疏問題，使得大規(guī)模知識(shí)圖譜計(jì)算和管理存在困難，為了解決該問題，提出了知識(shí)圖譜嵌入的思路，將知識(shí)圖譜的實(shí)體和關(guān)系嵌入到低維連續(xù)的實(shí)體向量空間中，并參與知識(shí)圖譜構(gòu)建。知識(shí)圖譜構(gòu)建的關(guān)鍵在于信息抽取[5]和知識(shí)合并與加工[6]兩部分。信息抽取是知識(shí)圖譜中基礎(chǔ)的操作，從非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)中提取知識(shí)。同時(shí)，知識(shí)圖譜總是不完整的，常常存在很多缺失信息，需要對(duì)知識(shí)圖譜的信息融合和加工，在此基礎(chǔ)上提出了鏈接預(yù)測(cè)[7]、實(shí)體對(duì)齊[8]、實(shí)體消歧[9]、知識(shí)推理[10]等任務(wù)。

圖神經(jīng)網(wǎng)絡(luò)（graph neural network，GNN）作為深度學(xué)習(xí)的熱點(diǎn)之一，歸結(jié)為其強(qiáng)大的數(shù)據(jù)處理能力。首先，圖神經(jīng)網(wǎng)絡(luò)擴(kuò)展了現(xiàn)有的馬爾可夫鏈路模型和遞歸神經(jīng)網(wǎng)絡(luò)模型方法來處理圖域中的數(shù)據(jù)，保留了二者的特征，能夠處理現(xiàn)實(shí)中大多數(shù)可用的數(shù)據(jù)類型，實(shí)現(xiàn)將一個(gè)圖及其節(jié)點(diǎn)映射到一維的歐幾里德空間[11]；其次，GNN模型能夠保留圖上的結(jié)構(gòu)信息，通過消息傳遞規(guī)則來捕獲圖上的依賴關(guān)系，達(dá)到聚合鄰域信息迭代更新的目的[12]。近年來，很多研究人員嘗試將圖神經(jīng)網(wǎng)絡(luò)應(yīng)用到知識(shí)圖譜處理中，借助其強(qiáng)大的處理結(jié)構(gòu)化數(shù)據(jù)的能力，提高知識(shí)圖譜在構(gòu)建和推理的準(zhǔn)確性和魯棒性，并應(yīng)用于下游任務(wù)中，如推薦系統(tǒng)[13]、自然語(yǔ)言處理[14]、計(jì)算機(jī)視覺[15]等，提高在下游應(yīng)用場(chǎng)景中的效率。

近幾年的綜述文章，側(cè)重于對(duì)早期的知識(shí)圖譜嵌入[16]和應(yīng)用[17]進(jìn)行全面的總結(jié)，或者針對(duì)圖神經(jīng)網(wǎng)絡(luò)[18]現(xiàn)有的方法進(jìn)行全面論述，介紹各個(gè)圖神經(jīng)網(wǎng)絡(luò)模型，較少涉及圖神經(jīng)網(wǎng)絡(luò)在知識(shí)圖譜公開數(shù)據(jù)集上進(jìn)行廣泛且深入的研究。譬如，文獻(xiàn)[19]圖神經(jīng)網(wǎng)絡(luò)應(yīng)用于知識(shí)推理進(jìn)行了綜述，按照?qǐng)D神經(jīng)網(wǎng)絡(luò)模型對(duì)知識(shí)推理研究進(jìn)行了分類，并著重介紹了知識(shí)推理在醫(yī)學(xué)、軍事等領(lǐng)域的應(yīng)用；文獻(xiàn)[20]對(duì)2019 年到2022 年知識(shí)圖譜的構(gòu)建相關(guān)工作進(jìn)行了綜述，梳理了知識(shí)抽取、知識(shí)融合和知識(shí)推理三類知識(shí)圖譜構(gòu)建的研究工作，并進(jìn)行了分析和討論；文獻(xiàn)[21]對(duì)知識(shí)圖譜增強(qiáng)的圖神經(jīng)網(wǎng)絡(luò)進(jìn)行了研究；文獻(xiàn)[22]面向圖神經(jīng)網(wǎng)絡(luò)的知識(shí)圖譜嵌入研究進(jìn)展進(jìn)行了綜述，將模型框架分為圖卷積網(wǎng)絡(luò)、圖神經(jīng)網(wǎng)絡(luò)、圖注意力網(wǎng)絡(luò)和圖自編碼器的知識(shí)圖譜嵌入研究，分析了圖神經(jīng)網(wǎng)絡(luò)參與知識(shí)圖譜嵌入研究的優(yōu)勢(shì)；文獻(xiàn)[23]開放領(lǐng)域知識(shí)圖譜問答研究綜述，將知識(shí)圖譜的問答系統(tǒng)分為基于規(guī)則的知識(shí)圖譜問答和基于深度學(xué)習(xí)的知識(shí)圖譜問答系統(tǒng)，對(duì)2021 年以前的問答系統(tǒng)進(jìn)行了深入研究。其余知識(shí)圖譜相關(guān)的研究可以歸納為兩類（表1）：知識(shí)圖譜構(gòu)建研究工作（知識(shí)圖譜表示學(xué)習(xí)、實(shí)體對(duì)齊、知識(shí)推理等）[24]和知識(shí)圖譜應(yīng)用相關(guān)研究（推薦系統(tǒng)、問答系統(tǒng)等）[25]。

雖然上述已有諸多文獻(xiàn)對(duì)知識(shí)圖譜相關(guān)工作進(jìn)行研究[26]，但仍缺乏圖神經(jīng)網(wǎng)絡(luò)參與知識(shí)圖譜構(gòu)建廣泛而又系統(tǒng)的研究，深入且詳細(xì)的梳理工作。與其他綜述不同的是，本文主要關(guān)注圖神經(jīng)網(wǎng)絡(luò)參與知識(shí)圖譜構(gòu)建和應(yīng)用中的研究，對(duì)近三年的文章進(jìn)行深入分析，并提出了一些現(xiàn)存的問題和未來的研究方向，本文脈絡(luò)框架如圖1所示。本文面向圖神經(jīng)網(wǎng)絡(luò)參與知識(shí)圖譜構(gòu)建工作進(jìn)行了系統(tǒng)的總結(jié)，并涵蓋了近幾年的最新研究。本文的貢獻(xiàn)總結(jié)如下：

圖1 基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)圖譜構(gòu)建及應(yīng)用Fig.1 Construction and application of knowledge graph based on graph neural network

（1）對(duì)知識(shí)圖譜構(gòu)建中的相關(guān)任務(wù)進(jìn)行分類整理，類別包括知識(shí)抽取中的實(shí)體、關(guān)系和屬性抽取，以及知識(shí)合并與加工中的鏈接預(yù)測(cè)、知識(shí)推理、實(shí)體對(duì)齊等，探索了基于圖神經(jīng)網(wǎng)絡(luò)的最新研究方法；

（2）對(duì)鏈接預(yù)測(cè)模型文獻(xiàn)進(jìn)行了系統(tǒng)的分類整理，類別包括圖卷積網(wǎng)絡(luò)模型、圖注意力網(wǎng)絡(luò)模型、子圖提取模型和曲率空間模型，闡述并比較了不同鏈接預(yù)測(cè)方法的原理及優(yōu)缺點(diǎn)；

（3）梳理了基于圖神經(jīng)網(wǎng)絡(luò)方法在知識(shí)圖譜應(yīng)用方面的相關(guān)文獻(xiàn)和探索了本研究未來發(fā)展前景。

1 知識(shí)圖譜表示學(xué)習(xí)

知識(shí)圖譜表示學(xué)習(xí)（knowledge graph embedding,KGE）旨在將知識(shí)圖譜映射到低維連續(xù)向量空間中，并為下游任務(wù)提供統(tǒng)一的底層表示?，F(xiàn)有的知識(shí)圖譜表示學(xué)習(xí)模型分為四類，分別包括基于翻譯模型、語(yǔ)義匹配模型、神經(jīng)網(wǎng)絡(luò)模型和圖神經(jīng)網(wǎng)絡(luò)模型，如表2 所示，列舉了常見的知識(shí)圖譜表示學(xué)習(xí)模型，并給出了各個(gè)模型的優(yōu)缺點(diǎn)。

表2 知識(shí)圖譜表示學(xué)習(xí)模型Table 2 Knowledge graph representing learning model

翻譯模型將關(guān)系解釋為對(duì)隱藏實(shí)體表示的簡(jiǎn)單平移并試圖找到與實(shí)體平移相關(guān)的實(shí)體的低維向量表示。TransE[40]是最常見的翻譯模型之一，TransE模型將關(guān)系表示為實(shí)體之間的平移操作，即將頭實(shí)體與關(guān)系向量相加得到尾實(shí)體。它的目標(biāo)是最小化平移后的頭實(shí)體與尾實(shí)體之間的距離，其中實(shí)體和關(guān)系都被建模成同一空間中的向量，但是在對(duì)于一對(duì)多和多對(duì)多關(guān)系時(shí)表現(xiàn)不佳，為此提出了一系列擴(kuò)展模型，如TransH[41]、TransD[42]、TransR[43]、TransM[44]等。

語(yǔ)義匹配模型使用張量積來捕獲豐富的交互，試圖將實(shí)體的潛在語(yǔ)義與關(guān)系聯(lián)系起來。如Compl-Ex[45]和DistMult[46]等。ComplEx模型擴(kuò)展了DistMult模型，使用復(fù)數(shù)向量表示實(shí)體和關(guān)系。它通過在實(shí)體和關(guān)系的復(fù)數(shù)向量之間進(jìn)行乘法操作來計(jì)算得分，可以更好地捕捉實(shí)體和關(guān)系之間的多樣性和對(duì)稱性。上述嵌入方法通常不適用于巨大的KG（knowledge graph），因?yàn)樗鼈冃枰黾覭G 嵌入的維度以增強(qiáng)其表現(xiàn)力。

神經(jīng)網(wǎng)絡(luò)方法使用不同的神經(jīng)網(wǎng)絡(luò)模型從純嵌入中獲得表達(dá)表示，具體來講ConvE[47]和ComKB[48]是一種基于卷積神經(jīng)網(wǎng)絡(luò)的知識(shí)圖譜表示學(xué)習(xí)模型，它將實(shí)體和關(guān)系映射到二維矩陣中，并通過卷積操作來計(jì)算實(shí)體和關(guān)系之間的語(yǔ)義關(guān)系，能很好地應(yīng)對(duì)參數(shù)量大的問題。

近年來，圖神經(jīng)網(wǎng)絡(luò)（GNN）因其強(qiáng)大的特征提取能力被廣泛應(yīng)用于知識(shí)圖譜嵌入，大多數(shù)基于GNN的知識(shí)圖譜表示學(xué)習(xí)模型使用聚合運(yùn)算從三元組中提取潛在信息，通過使用KG中的拓?fù)浣Y(jié)構(gòu)來學(xué)習(xí)強(qiáng)大的嵌入[49]。GNN通常通過聚合和傳播圖中的節(jié)點(diǎn)特征來更新節(jié)點(diǎn)表示。與傳統(tǒng)嵌入不同，GNN能夠進(jìn)行端到端的監(jiān)督學(xué)習(xí)，獲取知識(shí)圖譜的語(yǔ)義和結(jié)構(gòu)信息，并通過模型的自由參數(shù)共享學(xué)習(xí)的知識(shí)，如圖2 所示，為圖神經(jīng)網(wǎng)絡(luò)模型及其隱藏層數(shù)據(jù)嵌入信息。這使它們能夠獲得更具表現(xiàn)力的表示并降低嵌入的維數(shù)，同時(shí)減少性能下降，可以執(zhí)行各種分類及推理任務(wù)；其次圖神經(jīng)網(wǎng)絡(luò)能夠處理知識(shí)圖譜中實(shí)體和關(guān)系之間復(fù)雜的關(guān)系結(jié)構(gòu)，有效地捕捉語(yǔ)義特征和結(jié)構(gòu)信息；最后圖神經(jīng)網(wǎng)絡(luò)適應(yīng)性強(qiáng)，能夠通過引入注意力機(jī)制、跨層連接等方法來實(shí)現(xiàn)模型性能的提升，并能夠適應(yīng)復(fù)雜的應(yīng)用場(chǎng)景。

圖2 GNN網(wǎng)絡(luò)及隱藏層數(shù)據(jù)形式Fig.2 Data form of GNN network and hidden layer

2 基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)圖譜構(gòu)建

2.1 信息抽取

信息抽取的關(guān)鍵在于從結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)中抽取出結(jié)構(gòu)化的實(shí)體及關(guān)系信息，為查詢、組織和數(shù)據(jù)分析開辟新途徑[53]，是知識(shí)圖譜構(gòu)建過程中重要的一環(huán)，信息抽取在知識(shí)圖譜中主要包含實(shí)體、關(guān)系和屬性信息的抽取等，在實(shí)體抽取和屬性抽取方面，圖神經(jīng)網(wǎng)絡(luò)的研究相對(duì)較少，因此信息抽取方面主要側(cè)重于關(guān)系抽取的研究。

2.1.1 實(shí)體抽取

實(shí)體抽取在知識(shí)圖譜中指從原始語(yǔ)料庫(kù)中自動(dòng)識(shí)別出命名實(shí)體，因?yàn)閷?shí)體是知識(shí)圖譜處理的最基本的元素，所以實(shí)體抽取的準(zhǔn)確性將直接關(guān)系到后續(xù)知識(shí)庫(kù)的質(zhì)量，對(duì)學(xué)習(xí)知識(shí)圖譜起到關(guān)鍵性的作用。實(shí)體抽取的方法可以歸納為三種：（1）基于規(guī)則的方法，該方法的特點(diǎn)是在限定的語(yǔ)義和文本鄰域的條件下進(jìn)行，在定義好的規(guī)則下抽取出實(shí)體信息，但是該方法大量依賴專家的經(jīng)驗(yàn)，很難適應(yīng)各種變化數(shù)據(jù)的新要求；（2）基于統(tǒng)計(jì)學(xué)習(xí)的實(shí)體抽取方法[54-55]，將命名實(shí)體識(shí)別問題視為序列標(biāo)注問題，使用部分標(biāo)注或完全標(biāo)注的語(yǔ)義信息進(jìn)行訓(xùn)練；（3）基于深度學(xué)習(xí)的方法[56-57]，深度學(xué)習(xí)對(duì)于復(fù)雜非線性問題具有較好的擬合能力，能夠?qū)W習(xí)到復(fù)雜的特征。

目前在實(shí)體抽取方面，圖神經(jīng)網(wǎng)絡(luò)研究較少，傳統(tǒng)的基于深度學(xué)習(xí)和機(jī)器學(xué)習(xí)的方法，在實(shí)體抽取方面已經(jīng)取得了很好的效果，圖神經(jīng)網(wǎng)絡(luò)尚在發(fā)展階段，相信不久的將來圖神經(jīng)網(wǎng)絡(luò)在實(shí)體抽取方面也會(huì)有相應(yīng)的探索。

2.1.2 關(guān)系抽取

關(guān)系抽取經(jīng)典的方法是基于依賴樹的方法挖掘語(yǔ)義信息，關(guān)系抽取從抽取類型來看，可以分為基于句子級(jí)別的關(guān)系抽取和基于文檔級(jí)別的關(guān)系抽取。C-GCN[58]是一種新穎的基于上下文的圖卷積網(wǎng)絡(luò)的方法用于關(guān)系抽取，有效地將信息匯集在任意依賴樹中的關(guān)系結(jié)構(gòu)上。如圖3所示，使用一種新穎的以路徑為中心的剪枝技術(shù)，在最大限度保留相關(guān)內(nèi)容的同時(shí)，從樹中刪除無關(guān)的信息，提高建模的魯棒性，實(shí)體之間的依賴關(guān)系用粗體表示，通過使用以路徑為中心的剪枝技術(shù)，使用圖卷積網(wǎng)絡(luò)進(jìn)行關(guān)系提取，在不忽略關(guān)鍵信息的基礎(chǔ)上刪除無關(guān)信息。同樣基于依賴樹的另一種方法為Guo 等人提出的AGGCN（attention guided graph convolutional networks for relation extraction）[59]，以完整的依賴樹作為輸入，采用注意力機(jī)制用一種軟加權(quán)策略來自動(dòng)學(xué)習(xí)如何選擇有助于關(guān)系提取任務(wù)的句子，這種方法充分利用有用的信息，忽略無用的信息，但是破壞了原始依賴樹的結(jié)構(gòu)信息。為解決這個(gè)問題，Sun等人提出LSTAGGCN[60]，在不破壞原始依賴樹結(jié)構(gòu)的基礎(chǔ)上，利用注意力機(jī)制聚合分類任務(wù)中不同傳播層次的最終表示，圖中的節(jié)點(diǎn)和邊緣將得到不同的權(quán)值，同樣也能夠?qū)崿F(xiàn)有效信息的有效利用，忽略無用信息。Bastos等人提出RECON（relation extraction using knowledge graph context）[61]新方法，使用圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)存儲(chǔ)在知識(shí)圖譜中的句子和事實(shí)的表示，該方法可以自動(dòng)識(shí)別句子中的關(guān)系并對(duì)齊到知識(shí)圖譜中。上述研究大多存在依賴樹的噪聲，特別是當(dāng)依賴樹自動(dòng)生成時(shí)。A-GCN（attentive graph convolutional networks）[62]基于圖卷積網(wǎng)絡(luò)的注意機(jī)制考慮到單詞之間的依賴關(guān)系類型及重要的上下文指導(dǎo)，有助于關(guān)系的提取。

以上模型都是基于句子級(jí)別的關(guān)系抽取，實(shí)現(xiàn)更加完備的知識(shí)理解需要多個(gè)句子實(shí)現(xiàn)句子間的關(guān)系捕獲，文獻(xiàn)[63]提出了面向邊緣的圖神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)文檔級(jí)別關(guān)系的提取，實(shí)體之間的關(guān)系使用節(jié)點(diǎn)之間路徑形成的唯一的邊來表示。GCNN（genetic convolutional neural network）[64]、GLRE（globalto-local neural networks for document-level relation extraction）[65]、dialog-HGAT（dialogue relation extraction with document-level heterogeneous graph attention networks）[66]模型側(cè)重于模型優(yōu)化和實(shí)體集上下文的細(xì)粒度實(shí)現(xiàn)對(duì)文檔的語(yǔ)義信息的使用，進(jìn)行關(guān)系抽取。上述方法大多不考慮對(duì)文檔級(jí)別圖的推理，圖聚合推理網(wǎng)絡(luò)（graph aggregation-and-inference network，GAIN）[67]，使用一種新的路徑推理機(jī)制來推斷實(shí)體之間的關(guān)系，異構(gòu)的MG（mention-level graph），它帶有一個(gè)基于圖的神經(jīng)網(wǎng)絡(luò)，用于對(duì)文檔中不同提及之間的交互進(jìn)行建模，并提供文檔感知提及表示，實(shí)驗(yàn)表明，該增益模型具有良好的性能，不僅能夠準(zhǔn)確識(shí)別關(guān)系抽取，還能提高知識(shí)圖譜的可解釋性。同樣，KRST[66]也通過引入關(guān)系路徑覆蓋和關(guān)系路徑置信度的概念，在模型訓(xùn)練前過濾不可靠路徑，以提高模型性能。

通過上述對(duì)關(guān)系抽取研究，如表3 所示，可以通過挖掘句子之間和句子之間的關(guān)系路徑來實(shí)現(xiàn)關(guān)系抽取，來提高知識(shí)抽取的可解釋性和充分發(fā)揮圖神經(jīng)網(wǎng)絡(luò)挖掘圖結(jié)構(gòu)信息的優(yōu)勢(shì)。

表3 關(guān)系抽取模型Table 3 Relational extraction model

2.2 知識(shí)合并及加工

2.2.1 鏈接預(yù)測(cè)

盡管在創(chuàng)建和維護(hù)上投入了大量努力，但大多數(shù)現(xiàn)有的知識(shí)圖譜還是不完整的，從而導(dǎo)致下游任務(wù)執(zhí)行時(shí)性能略差。為了避免這種情況，需要對(duì)知識(shí)圖譜進(jìn)行鏈接預(yù)測(cè)，也稱為知識(shí)庫(kù)完成，根據(jù)給定的事實(shí)推斷缺失的事實(shí)，如圖4 所示，為知識(shí)圖譜鏈接預(yù)測(cè)的通用流程。通過輸入原始知識(shí)圖譜，圖神經(jīng)網(wǎng)絡(luò)作為編碼器[70]，生成實(shí)體及關(guān)系級(jí)別的知識(shí)嵌入，最后使用不同的解碼器實(shí)現(xiàn)鏈接預(yù)測(cè)，目前幾乎所有主流的基于圖神經(jīng)網(wǎng)絡(luò)的鏈接預(yù)測(cè)模型都遵循圖4所示的編碼器-解碼器架構(gòu)?，F(xiàn)將鏈接預(yù)測(cè)模型大致分為四類，具體如表4 和表5 所示，對(duì)各個(gè)模型的特點(diǎn)及其優(yōu)缺點(diǎn)進(jìn)行介紹，并列舉了各個(gè)模型用到的信息。

圖4 鏈接預(yù)測(cè)通用模型框架Fig.4 Common model framework for link prediction

表5 鏈接預(yù)測(cè)模型關(guān)鍵信息Table 5 Link prediction model key information

（1）基于卷積神經(jīng)網(wǎng)絡(luò)模型。R-GCN（relational graph convolutional networks）[49]用圖神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)鏈接預(yù)測(cè)任務(wù)的模型，如圖5 所示，顯示的知識(shí)圖譜表示中單個(gè)節(jié)點(diǎn)信息更新的過程，從相鄰的藍(lán)色收集信息，聚合更新到紅色節(jié)點(diǎn)的表示中，通過下游任務(wù)不斷迭代更新，直到節(jié)點(diǎn)向量達(dá)到不動(dòng)點(diǎn)，在知識(shí)圖表示學(xué)習(xí)之后使用DisMult 解碼器為圖中每個(gè)潛在的邊生成可能性評(píng)分，最終挑選出最具可能性的邊的預(yù)測(cè)。雖然R-GCN 模型有效聚合了鄰域信息，實(shí)現(xiàn)信息的迭代加強(qiáng)，但是該模型也存在一些不足，比如：①平等地對(duì)待鄰域中不同的實(shí)體；②表征能力低、疊加平直和對(duì)噪聲的魯棒性差；③不涉及向量化的關(guān)系嵌入。針對(duì)第一個(gè)問題，Shang 提出了SACN（structure-aware convolutional networks）模型[71]，相較于R-GCN 在相同關(guān)系的實(shí)體聚合上引入了加權(quán)GCN 來對(duì)相鄰實(shí)體之間的關(guān)系進(jìn)行定義，核心思想是利用節(jié)點(diǎn)的結(jié)構(gòu)和屬性信息，以及關(guān)系類型捕獲知識(shí)圖譜中的結(jié)構(gòu)信息，最終傳入解碼器來進(jìn)行鏈接預(yù)測(cè)任務(wù)；針對(duì)第二個(gè)問題，Wang 等人提出了MGNN（multi-level structures graph neural network）模型[72]，該模型對(duì)于不同的關(guān)系擁有不同的權(quán)重，鄰域聚合時(shí)引入多層感知機(jī)（multilayer perceptron，MLP）彌補(bǔ)R-GCN 表征能力低、疊加平直和對(duì)噪聲的魯棒性差的問題，對(duì)圖上的多個(gè)GNN進(jìn)行堆疊，對(duì)原始圖的多層次結(jié)構(gòu)進(jìn)行建模；針對(duì)第三個(gè)問題，Liu等人提出了RAGAT（relation aware graph attention network）[73]，引入了關(guān)系特定網(wǎng)絡(luò)參數(shù)，來自適應(yīng)地研究不同關(guān)系下相鄰實(shí)體的消息，從而彌補(bǔ)了R-GCN 網(wǎng)絡(luò)可擴(kuò)展性差的問題。

圖5 關(guān)系圖神經(jīng)網(wǎng)絡(luò)模型Fig.5 Relational graph neural network model

（2）基于圖注意力網(wǎng)絡(luò)模型。Luo 等人提出的RGHAT（relational graph neural network）模型[75]，引入了實(shí)體和關(guān)系級(jí)別的注意力機(jī)制，強(qiáng)調(diào)了不同相鄰實(shí)體在同一關(guān)系下的重要性，即在同一關(guān)系下，不同的實(shí)體也擁有不同的權(quán)重信息。分層注意力機(jī)制，使得該模型更為有效地利用鄰域信息，但是相應(yīng)的算法復(fù)雜度也會(huì)增大。在此基礎(chǔ)上，HRAN（hierarchical recurrent attention network）模型[76]針對(duì)知識(shí)圖譜中不同的關(guān)系擁有不同重要性，使用新穎的注意力聚合機(jī)制，獲得不同關(guān)系路徑的重要性。和上述模型不同的是，它能夠捕獲各種類型的語(yǔ)義信息，并且可以有選擇性地對(duì)特征信息進(jìn)行有效的聚合，在鏈路預(yù)測(cè)任務(wù)上實(shí)現(xiàn)了魯棒性的效果。Liu等人提出INDIGO（inductive knowledge graph completion）模型[77]，KG以透明的方式完全編碼為GNN，并且預(yù)測(cè)的三元組可以直接從GNN 的最后一層讀出，而無需額外的組件或評(píng)分函數(shù)。通過圖注意力網(wǎng)絡(luò)，讓知識(shí)圖譜的實(shí)體通過多次迭代聚合操作，更高效地使知識(shí)圖譜上所有不同距離的實(shí)體通過邊互相分享其帶有的信息，輔助完成預(yù)測(cè)推理工作。

（3）基于子圖提取模型。通常三元組的預(yù)測(cè)依賴于其常量在輸入KG中的獨(dú)立鄰域，但沒有考慮到這些鄰域的共同部分是什么，因此提出了構(gòu)造局部子圖的方法。Teru 等人提出GraIL（graph inductive relation）模型[78]，通過提取兩個(gè)節(jié)點(diǎn)周圍的封閉子圖結(jié)構(gòu)來預(yù)測(cè)兩個(gè)節(jié)點(diǎn)之間的關(guān)系，并以類似于RGCN 的方式對(duì)其進(jìn)行編碼，并使用評(píng)分函數(shù)對(duì)其專用子圖中所有節(jié)點(diǎn)的輸出向量進(jìn)行全局應(yīng)用，從而對(duì)這個(gè)三元組進(jìn)行預(yù)測(cè)。Xu 等人提出DPMPN（dynamically pruned message passing network）[79]，通過修改給定查詢的不相關(guān)實(shí)體來構(gòu)造局部子圖，對(duì)GNN模型做的預(yù)測(cè)提供一些解釋，而不是將GNN視為一個(gè)黑盒子，在這些子圖中，可以對(duì)每個(gè)節(jié)點(diǎn)使用注意力權(quán)值進(jìn)行差分著色，從而可以看到哪些節(jié)點(diǎn)對(duì)于預(yù)測(cè)是重要的。GraIL[78]模型不需要經(jīng)過訓(xùn)練的嵌入就可以對(duì)子圖做歸納式推理，這就使得對(duì)于未知節(jié)點(diǎn)也可以使用圖結(jié)構(gòu)進(jìn)行打分，但是在子圖抽取和子圖標(biāo)簽中復(fù)雜度較高，不適合在大規(guī)模圖中應(yīng)用。針對(duì)這個(gè)問題，Zhang 等人提出RED-GNN（relational digraph graph neural network）模型[91]，結(jié)合基于路徑方法的可解釋性和基于子圖結(jié)構(gòu)的保留特性的優(yōu)點(diǎn)，使用遞歸和并行計(jì)算的方法，使GNN可以一次性建模多個(gè)關(guān)系子圖，在聚合方面是基于實(shí)體之間的關(guān)系進(jìn)行消息聚合。他們首先根據(jù)k跳鄰域，使用圖神經(jīng)網(wǎng)絡(luò)（GNN）對(duì)子圖進(jìn)行編碼，然后學(xué)習(xí)映射子圖結(jié)構(gòu)模式以鏈接存在的函數(shù)。盡管這些方法取得了巨大的成功，但通常會(huì)導(dǎo)致鄰域呈指數(shù)級(jí)別的擴(kuò)展，從而由于過度平滑而降低GNN 表現(xiàn)力?；诖藛栴}，LCILP（locality-aware subgraphs for inductive link prediction）[80]模型將子圖提取表述為一種局部聚類過程，旨在基于個(gè)性化PageRank 方法對(duì)目標(biāo)鏈接周圍緊密相關(guān)的子圖進(jìn)行采樣。

（4）基于曲率空間模型。Wang 等人提出的混合曲率多關(guān)系圖神經(jīng)網(wǎng)絡(luò)（metapath and multi-interest aggregated graph neural network，M2GNN）[81]，將知識(shí)圖譜嵌入到雙曲空間中，而非傳統(tǒng)的歐幾里德空間中，便于捕獲層次結(jié)構(gòu)。傳統(tǒng)的嵌入歐幾里德空間的方法忽略了知識(shí)圖譜的異質(zhì)性，無法捕捉知識(shí)圖譜的結(jié)構(gòu)。M2GNN將多關(guān)系知識(shí)圖譜嵌入到混合曲率知識(shí)空間，來模擬各種結(jié)構(gòu)。缺點(diǎn)是混合曲率空間曲率需手動(dòng)定義固定曲率，需要鄰域外的知識(shí)和額外的數(shù)據(jù)分析，如果無法定義到準(zhǔn)確的曲率空間就無法準(zhǔn)確捕捉知識(shí)圖譜的結(jié)構(gòu)。為了解決這個(gè)問題，將該混合曲率設(shè)置為可以訓(xùn)練的參數(shù)，以便更好地捕捉知識(shí)圖譜的底層結(jié)構(gòu)，使用了圖神經(jīng)網(wǎng)絡(luò)的更新器，可以更好地捕捉知識(shí)圖譜的底層結(jié)構(gòu)。Wang 等人[82]提出了雙曲空間圖注意力網(wǎng)絡(luò)模型（hyperbolic graph attention network for reasoning over knowledge graphs，HyGGE），使得限制性能的復(fù)雜關(guān)系在該模型的基礎(chǔ)上得到提升。一方面，對(duì)鄰域結(jié)構(gòu)和關(guān)系特征的關(guān)注彌補(bǔ)了嵌入空間完全由三元組單獨(dú)誘導(dǎo)的奇異性，從而優(yōu)化了嵌入空間的表達(dá)能力；另一方面，它們配合雙曲幾何的作用，捕獲局部結(jié)構(gòu)中包含的層次特征，從而使雙曲嵌入的優(yōu)勢(shì)得到更充分的發(fā)揮。

2.2.2 知識(shí)推理

知識(shí)推理[83]在某種程度上可以看作鏈接預(yù)測(cè)的一種，和鏈接預(yù)測(cè)不同的是，它是在已有的數(shù)據(jù)的基礎(chǔ)上，利用特定的方法來推斷新的關(guān)系或者識(shí)別錯(cuò)誤的信息，以解決知識(shí)圖譜不完備的問題。知識(shí)推理可以通過引入馬爾可夫邏輯網(wǎng)絡(luò)和路徑機(jī)制來提高知識(shí)推理的可解釋性和魯棒性。

Zhang 等人提出ExpressGNN 模型[86]，首次將馬爾可夫邏輯網(wǎng)絡(luò)引入到圖神經(jīng)網(wǎng)絡(luò)中，將概率邏輯與圖神經(jīng)網(wǎng)絡(luò)結(jié)合起來,從而實(shí)現(xiàn)應(yīng)用少量數(shù)據(jù)實(shí)現(xiàn)更高的性能，馬爾可夫邏輯網(wǎng)絡(luò)不需要對(duì)目標(biāo)任務(wù)使用很多標(biāo)記。而對(duì)于大規(guī)模知識(shí)圖譜推理任務(wù)，DPMPN[79]包含兩個(gè)遵循消息傳遞神經(jīng)網(wǎng)絡(luò)框架的模塊，其中一個(gè)基于全局的消息傳播，另一個(gè)基于局部的信息傳播，能有效聚合知識(shí)圖譜的鄰域信息，緩解規(guī)模問題帶來的推理效果的影響。

現(xiàn)有的知識(shí)推理可以利用關(guān)系路徑增強(qiáng)推理效果及可解釋性。Lin 等人提出基于圖的關(guān)系推理模型（KagNet）[26],該模型使用GCN 更新知識(shí)圖譜中的實(shí)體表示后，利用長(zhǎng)短記憶網(wǎng)絡(luò)為候選路徑打分，從而選出最佳推理路徑。由于數(shù)據(jù)標(biāo)注成本過高，對(duì)于監(jiān)督信號(hào)的缺乏成為了重大挑戰(zhàn)，可以通過KGQA（knowledge graph question answer）模型[87]實(shí)現(xiàn)將多條知識(shí)圖譜問答轉(zhuǎn)換為知識(shí)圖譜中的路徑生成任務(wù)。Jung等人提出了T-GAP（time-aware knowledge graph completion）模型[88]，其編碼器和解碼器最大限度地利用時(shí)間信息和圖結(jié)構(gòu)。T-GAP 通過關(guān)注每個(gè)事件與查詢時(shí)間之間的時(shí)間位移來編碼TKG（timeaware knowledge graph）的特定查詢子結(jié)構(gòu)，并通過在圖中傳播注意力來執(zhí)行基于路徑的推理，有效應(yīng)對(duì)知識(shí)圖譜的動(dòng)態(tài)特性和可解釋性。Acheampong等人提出CogQA（cognitive graph QA）模型[89]，使用BERT（bidirectional encoder representation from transformers）輸出的若干片段構(gòu)建一個(gè)知識(shí)圖譜，并利用圖神經(jīng)網(wǎng)絡(luò)的消息傳播機(jī)制，實(shí)現(xiàn)認(rèn)知圖譜的多跳計(jì)算。Deep-IDA（deep predicting isoform-disease associations）[90]通過結(jié)合基于路徑的算法支持基于嵌入的方法。首次將傳統(tǒng)的路徑搜索算法與深度神經(jīng)網(wǎng)絡(luò)相結(jié)合進(jìn)行KG推理。Zhang等人提出RED-GNN[91]方法，利用動(dòng)態(tài)規(guī)劃的方法對(duì)多個(gè)具有共享邊信息的有向圖進(jìn)行遞歸編碼，用查詢注意力機(jī)制選擇強(qiáng)相關(guān)的邊，同時(shí)學(xué)習(xí)到的權(quán)重信息可以為知識(shí)圖譜的推理任務(wù)提供可解釋性證據(jù)。

2.2.3 實(shí)體對(duì)齊

實(shí)體對(duì)齊也可稱為實(shí)體匹配或者實(shí)體鏈接，用于發(fā)現(xiàn)不同知識(shí)圖譜中指代的具有同一事物的實(shí)體，是知識(shí)圖譜中知識(shí)融合的關(guān)鍵技術(shù)。傳統(tǒng)的知識(shí)圖譜對(duì)齊技術(shù)、基于關(guān)系推理和基于相似度計(jì)算的方法等，忽略了知識(shí)圖譜的結(jié)構(gòu)特性，基于圖神經(jīng)網(wǎng)絡(luò)的實(shí)體對(duì)齊模型，利用圖神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)知識(shí)圖譜不同實(shí)體的低維向量表示。和傳統(tǒng)的基于相似度的方法相比，基于嵌入的方法進(jìn)行實(shí)體對(duì)齊任務(wù)，解決了需要大量專家的參與或者由其他用戶貢獻(xiàn)外部資源的問題，無需人工設(shè)計(jì)相似度特征即可實(shí)現(xiàn)實(shí)體對(duì)齊，表6 為基于圖神經(jīng)網(wǎng)絡(luò)的實(shí)體對(duì)齊模型，對(duì)它們注意力機(jī)制對(duì)象和應(yīng)用的信息進(jìn)行了詳細(xì)的描述。

表6 實(shí)體對(duì)齊模型關(guān)鍵信息Table 6 Entity alignment model key information

（1）圖卷積網(wǎng)絡(luò)模型

圖卷積網(wǎng)絡(luò)模型通過遞歸聚合鄰居節(jié)點(diǎn)的特征來表征實(shí)體，優(yōu)點(diǎn)是能獲得全面、魯棒的實(shí)體表示。最早使用圖神經(jīng)網(wǎng)絡(luò)進(jìn)行實(shí)體對(duì)齊的是Wang 等人提出的GCN-Align[92]，如圖6（a）所示。通過多層GCN將實(shí)體和屬性的信息嵌入低維向量，等效實(shí)體期望盡可能接近，同時(shí)允許編碼不同知識(shí)圖譜的兩個(gè)GCN 模型使用相同的參數(shù)，利用實(shí)體之間的結(jié)構(gòu)傳播實(shí)體之間的對(duì)齊關(guān)系。但是該模型只考慮節(jié)點(diǎn)級(jí)別的實(shí)體對(duì)齊，無法對(duì)異構(gòu)數(shù)據(jù)圖進(jìn)行建模并利用知識(shí)圖譜中豐富的關(guān)系信息。針對(duì)這種情況，Wu等人提出了RDGCN（region-enhanced deep graph convolutional networks）模型[93]，通過GCN來實(shí)現(xiàn)實(shí)體的嵌入，并建立知識(shí)圖譜的對(duì)偶關(guān)系圖，將關(guān)系視為節(jié)點(diǎn)，實(shí)體視為邊，通過對(duì)偶圖的約束增強(qiáng)對(duì)不同實(shí)體網(wǎng)絡(luò)結(jié)構(gòu)的判別，極大增加了知識(shí)圖譜的效率。Wu等人提出HGCN（hierarchical graph convolution networks）[98]，不僅考慮到了異構(gòu)關(guān)系的嵌入，還考慮到聚合鄰居節(jié)點(diǎn)時(shí)可能存在的噪聲問題，通過增加Highway Gate 控制噪聲在GCN 結(jié)構(gòu)中的傳播，使用實(shí)體表示來近似關(guān)系表示，從而優(yōu)化關(guān)系對(duì)齊的目標(biāo)。和前幾個(gè)模型相似，還有兩個(gè)模型也考慮到了實(shí)體關(guān)系屬性的建模，分別是Yang 等人提出的HMAN（hybrid multi-aspect alignment networks）[94]，使用一個(gè)GCN和兩個(gè)全連接網(wǎng)絡(luò)分別對(duì)知識(shí)圖的拓?fù)浣Y(jié)構(gòu)、關(guān)系特征和屬性特征進(jìn)行編碼，同時(shí)將訓(xùn)練前模型BERT 納入框架，進(jìn)一步提高模型效果。Wu 等人提出的NMN（neighborhood matching network）模型[100]通過同時(shí)考慮拓?fù)浣Y(jié)構(gòu)和鄰域相似性來估計(jì)兩個(gè)實(shí)體的相似性，在使用GCN 嵌入的同時(shí)采用跨圖注意力機(jī)制設(shè)計(jì)了一個(gè)近鄰匹配模塊來獲取鄰域?qū)嶓w之間的差異，以解決知識(shí)圖譜中普遍存在的鄰域異質(zhì)性。

圖6 實(shí)體對(duì)齊模型Fig.6 Entity alignment model

在聚合鄰域信息的同時(shí)，會(huì)考慮到鄰域多跳鄰域的信息可否被利用。Sun 等人提出AliNet（alignment network）模型[104]，使用一個(gè)全局結(jié)構(gòu)和局部語(yǔ)義保持網(wǎng)絡(luò)，以粗到細(xì)的方式學(xué)習(xí)實(shí)體表示，通過引入遠(yuǎn)端鄰居的注意機(jī)制來擴(kuò)大其鄰域結(jié)構(gòu)的重疊，并限制等效實(shí)體對(duì)的兩個(gè)實(shí)體在每個(gè)GCN層中具有相同的隱藏狀態(tài)，最后使用關(guān)系損失來細(xì)化實(shí)體表示。聚合信息時(shí)，AliNet[104]視一個(gè)實(shí)體的所有單跳鄰居同等重要，但并不是所有的單跳鄰居都對(duì)目標(biāo)實(shí)體的特征化有積極的貢獻(xiàn)。因此如果不仔細(xì)選擇，會(huì)引入噪聲，從而降低性能。上文提出的NMN模型[100]避免了該問題，使用部分預(yù)先對(duì)齊的實(shí)體作為訓(xùn)練數(shù)據(jù)，選擇信息最豐富的鄰居進(jìn)行實(shí)體對(duì)齊，極大提高了實(shí)體對(duì)齊的效果。同樣的想法，如圖6（b）所示，Nie等人提出SSP（global structure and local semanticspreserved embeddings）[99]，互補(bǔ)地利用全局結(jié)構(gòu)和局部語(yǔ)義來學(xué)習(xí)魯棒和準(zhǔn)確的實(shí)體表示，全局結(jié)構(gòu)和局部語(yǔ)義可以為實(shí)體對(duì)齊提供互補(bǔ)的信息：全局結(jié)構(gòu)可以為實(shí)體表示提供全面和健壯的信息，而局部語(yǔ)義可以提供細(xì)粒度的細(xì)節(jié)來細(xì)化粗粒度的實(shí)體表示。

在圖卷積網(wǎng)絡(luò)模型進(jìn)行實(shí)體對(duì)齊時(shí)，通過考慮鄰域信息來聚合實(shí)體及關(guān)系的特征，同時(shí)，會(huì)考慮到單跳和多跳鄰域信息來實(shí)現(xiàn)高效的特征聚合過程，提高實(shí)體對(duì)齊的效率。

（2）圖注意力網(wǎng)絡(luò)模型

①?gòu)淖⒁饬C(jī)制角度考慮。圖注意力網(wǎng)絡(luò)通過對(duì)邊緣賦予不同的權(quán)重信息，如圖7 所示，來實(shí)現(xiàn)對(duì)有用信息的高效處理。Ye 等人提出AVR-GCN（a vectorized relational graph convolutional network）模型[96]，采用不同于傳統(tǒng)GAT的鄰域特征融合方法，與TransE模型一樣，實(shí)體的不同鄰居通過添加（或減去）不同的關(guān)系向量來合并和表示，從而更直接地將鄰域關(guān)系引入模型中。Mao 等人提出MRAEA（meta relation aware entity alignment）[97]，采用不同于AVRGCN 的方法，在圖神經(jīng)網(wǎng)絡(luò)的框架下考慮實(shí)體之間的關(guān)系，將關(guān)系劃分為若干元關(guān)系，學(xué)習(xí)彼此之間的注意參數(shù)，并將其集成到實(shí)體表示中，最后對(duì)模型進(jìn)行半監(jiān)督訓(xùn)練。Cao 等人提出多通道圖神經(jīng)網(wǎng)絡(luò)模型MuGNN（multi-channel graph neural network）[95]，在GNN 模型的基礎(chǔ)上，使用多個(gè)通道穩(wěn)健地編碼兩個(gè)知識(shí)圖譜，在每個(gè)通道中添加自注意力機(jī)制和圖交叉知識(shí)圖譜注意力機(jī)制，采用圖池化操作對(duì)二者進(jìn)行徹底集成，該模型發(fā)現(xiàn)了知識(shí)圖譜矩陣的結(jié)構(gòu)不完備性，并針對(duì)基于規(guī)則的KG矩陣完備性進(jìn)行了研究。Zhu等人提出了NAEA（neighborhood-aware attentional representation）模型[110]，該模型合并了實(shí)體的鄰域子圖級(jí)信息，通過圖注意力網(wǎng)絡(luò)捕獲鄰域級(jí)信息。上述模型中，MuGNN[95]、NAEA[110]和MRAEA[97]根據(jù)實(shí)體之間的關(guān)系類型賦予不同的權(quán)重系數(shù)，使模型能夠區(qū)分不同實(shí)體之間的重要性。NAEA 同時(shí)考慮了單跳鄰居對(duì)齊，并使用GAT 對(duì)實(shí)體之間的結(jié)構(gòu)信息進(jìn)行編碼，從而提升實(shí)體對(duì)齊的效率。

圖7 實(shí)體對(duì)齊模型SSPFig.7 Entity alignment model SSP

②從數(shù)據(jù)集偏差的角度考慮。許多先進(jìn)的KG嵌入模型都有一個(gè)共同的思想，將實(shí)體嵌入轉(zhuǎn)化為特定關(guān)系的嵌入。Mao等人提出RREA（relational reflection entity alignment）模型[101]，指出它們的變換矩陣很難符合正交性質(zhì)，這就是它們?cè)趯?shí)體對(duì)齊方面表現(xiàn)不佳的根本原因。RREA 模型采用一種稱為關(guān)系反射的新轉(zhuǎn)換操作來滿足實(shí)體對(duì)齊的理想轉(zhuǎn)換操作的兩個(gè)關(guān)鍵標(biāo)準(zhǔn)：關(guān)系分化和維度等距，提高實(shí)體對(duì)齊的準(zhǔn)確性。Liu 等人提出AttrGNN（attributes graph neural network）模型[103]，集成屬性和關(guān)系三元組，采用不同的重要性，以獲得更好的性能，該模型可以有效地緩解嚴(yán)重的數(shù)據(jù)集偏差，取得顯著的改進(jìn)效果。

③從噪聲的角度考慮。Pei等人提出REA（robust entity alignment）模型[102]，使用GNN 嵌入，假設(shè)人工標(biāo)記的對(duì)齊實(shí)體對(duì)在真實(shí)的實(shí)體對(duì)齊任務(wù)中可能有噪聲，噪聲檢測(cè)模塊采用生成式對(duì)抗網(wǎng)絡(luò)來達(dá)到降噪的目的。Chen 等人提出SS-AGA（self-supervised adaptive graph alignment）模型[111]，將對(duì)齊實(shí)體視為一種新的邊緣類型，引入關(guān)系感知的圖注意力機(jī)制來控制知識(shí)傳播和噪聲影響，并使用新的具有自我監(jiān)督的對(duì)齊生成機(jī)制來緩解種子對(duì)齊的稀缺性。

2.2.4 實(shí)體消歧

實(shí)體消歧不同于實(shí)體對(duì)齊，實(shí)體消歧需要將文本內(nèi)容中提及的實(shí)體鏈接到文本內(nèi)容中所提到的實(shí)體，實(shí)體對(duì)齊是將兩個(gè)多結(jié)構(gòu)化的知識(shí)圖譜或知識(shí)圖譜中的實(shí)體進(jìn)行等價(jià)對(duì)齊。知識(shí)圖譜利用圖神經(jīng)網(wǎng)絡(luò)（GNN）進(jìn)行實(shí)體消歧，能更好地實(shí)現(xiàn)對(duì)圖結(jié)構(gòu)數(shù)據(jù)的特征表示。Hu 等人提出GNED（graph neural entity disambiguation）模型[112]，是一種端到端的利用圖神經(jīng)網(wǎng)絡(luò)進(jìn)行實(shí)體消歧的模型，充分利用全局語(yǔ)義信息通過為每個(gè)文檔建立一個(gè)異構(gòu)實(shí)體單詞圖，來模擬同一文檔中候選實(shí)體之間的全局語(yǔ)義關(guān)系，將圖卷積神經(jīng)網(wǎng)絡(luò)用于實(shí)體子圖上來生成編碼全局語(yǔ)義的增強(qiáng)型實(shí)體嵌入，最終送入CRF（conditional random field）中進(jìn)行實(shí)體消歧。Li 等人針對(duì)現(xiàn)有的實(shí)體消歧中存在信息利用不充分、準(zhǔn)確率低等特點(diǎn)，提出一種基于常用實(shí)體關(guān)系圖的實(shí)體消歧方法，通過路徑長(zhǎng)度和個(gè)數(shù)實(shí)現(xiàn)連接強(qiáng)度和閾值的比較，最終實(shí)現(xiàn)實(shí)體消歧[113]。為應(yīng)對(duì)互聯(lián)網(wǎng)中內(nèi)容模式的增加，提出MMGraph（multi-modal graph convolution network）模型，使用多模態(tài)圖卷積網(wǎng)絡(luò)來聚合上下文語(yǔ)言信息，加上自監(jiān)督的三元組網(wǎng)絡(luò)，在多模態(tài)無標(biāo)簽數(shù)據(jù)中學(xué)習(xí)知識(shí)表示，來進(jìn)行實(shí)體消歧，為后續(xù)語(yǔ)義網(wǎng)建模提供了思路。

2.3 數(shù)據(jù)集分析

本節(jié)將全面介紹在圖神經(jīng)網(wǎng)絡(luò)參與知識(shí)圖譜構(gòu)建任務(wù)中使用的數(shù)據(jù)集，因?yàn)樵谠O(shè)計(jì)關(guān)系提取模型之前需要確定該數(shù)據(jù)集。本文總共調(diào)查了7 個(gè)數(shù)據(jù)集，并統(tǒng)計(jì)了7 個(gè)常用的關(guān)系提取數(shù)據(jù)集的細(xì)節(jié)，如表7所示。本節(jié)還介紹了數(shù)據(jù)集的局限性。

表7 知識(shí)圖譜常用數(shù)據(jù)集Table 7 Common datasets of knowledge graph

（1）WN18RR：WordNet 18（簡(jiǎn)稱WN18）是一個(gè)英語(yǔ)詞匯數(shù)據(jù)庫(kù)，包含大量的單詞、同義詞和詞匯間的語(yǔ)義關(guān)系。WN18RR 是對(duì)WN18 數(shù)據(jù)集的重新劃分。

（2）NELL-955：NELL（never-ending language learner）是一個(gè)自動(dòng)化的知識(shí)抽取系統(tǒng)，旨在從互聯(lián)網(wǎng)上自動(dòng)學(xué)習(xí)知識(shí)。NELL-955是從NELL中提取出來的一個(gè)小型知識(shí)圖譜數(shù)據(jù)集，其中實(shí)體涵蓋了人、組織機(jī)構(gòu)、地點(diǎn)和其他類型。

（3）FB15K-237：Freebase 15（簡(jiǎn)稱FB15K）是一個(gè)基于Freebase 知識(shí)圖譜數(shù)據(jù)集的鏈接預(yù)測(cè)任務(wù)數(shù)據(jù)集。FB15K-237 是對(duì)FB15K 數(shù)據(jù)集的重新劃分，它只保留那些出現(xiàn)次數(shù)大于等于50 次的關(guān)系，并將其數(shù)量從1 345 個(gè)減少到237 個(gè)，便于模型更好地學(xué)習(xí)和推理。

（4）WN18：WN18 是一個(gè)英語(yǔ)詞匯數(shù)據(jù)庫(kù)，包含大量的單詞、同義詞和詞匯間的語(yǔ)義關(guān)系。WordNet中的單詞被組織成一個(gè)層次結(jié)構(gòu)，其中每個(gè)單詞都與其他單詞之間存在不同類型的關(guān)系。WN18 是一個(gè)用于鏈接預(yù)測(cè)任務(wù)的基準(zhǔn)數(shù)據(jù)集，其中包含有40 943個(gè)實(shí)體和93 003個(gè)三元組。

（5）FB15K：FB15K 是一個(gè)基于Freebase 知識(shí)圖譜數(shù)據(jù)集的鏈接預(yù)測(cè)任務(wù)數(shù)據(jù)集。FB15K是一個(gè)用于鏈接預(yù)測(cè)任務(wù)的基準(zhǔn)數(shù)據(jù)集，其中包含有14 951個(gè)實(shí)體和592 213個(gè)三元組。

（6）YOGO3-10[114]：YOGO3-10 是一個(gè)日本語(yǔ)言的知識(shí)圖譜數(shù)據(jù)集，包括人物、地點(diǎn)和組織機(jī)構(gòu)等。該數(shù)據(jù)集可以用于實(shí)現(xiàn)文本到知識(shí)圖譜的實(shí)體鏈接任務(wù)。

（7）DBP15K[4]：DBP15K 是南京大學(xué)提出的，用于跨語(yǔ)言實(shí)體對(duì)齊數(shù)據(jù)集，其中包含ZH-EN、JA-EN、FR-EN三種跨語(yǔ)言實(shí)體對(duì)齊的語(yǔ)料庫(kù)。

這些數(shù)據(jù)集都是非常有價(jià)值的資源，它們可以用于支持各種類型的知識(shí)圖譜構(gòu)建任務(wù)，并且可以幫助機(jī)器理解自然語(yǔ)言文本中的含義?，F(xiàn)有的通用領(lǐng)域數(shù)據(jù)集并不適用于所有的知識(shí)圖譜構(gòu)建研究工作，只適用于一些方法研究。關(guān)于垂直領(lǐng)域知識(shí)圖譜的構(gòu)建需要用到領(lǐng)域知識(shí)圖譜數(shù)據(jù)集，具有行業(yè)特殊性，無法一一列舉。下面列舉了現(xiàn)有的圖神經(jīng)網(wǎng)絡(luò)應(yīng)用于知識(shí)圖譜構(gòu)建中常見的數(shù)據(jù)集會(huì)存在的問題：

（1）數(shù)據(jù)集噪聲：知識(shí)圖譜數(shù)據(jù)集中可能包含錯(cuò)誤和不一致的實(shí)體和關(guān)系標(biāo)注。這些錯(cuò)誤可能會(huì)對(duì)模型的性能產(chǎn)生負(fù)面影響[83,98,102,111]。

（2）數(shù)據(jù)集分布：知識(shí)圖譜中的實(shí)體和關(guān)系并不是平均分布的，可能存在一些關(guān)系樣本非常稀少的情況，這可能導(dǎo)致模型對(duì)這些關(guān)系的學(xué)習(xí)效果較差[101]。

（3）特征選擇：特征工程在知識(shí)圖譜中的關(guān)系預(yù)測(cè)任務(wù)中起著至關(guān)重要的作用。如果選擇的特征不足或者不合適，可能會(huì)導(dǎo)致性能較差[77,82,94]。

（4）算法選擇：不同的算法對(duì)于不同的數(shù)據(jù)集通常具有不同的表現(xiàn)?？赡苡幸恍┧惴ㄔ谀承?shù)據(jù)集上表現(xiàn)不佳，但在其他數(shù)據(jù)集上表現(xiàn)良好[13]。

（5）數(shù)據(jù)不平衡性：知識(shí)圖譜中的實(shí)體和關(guān)系通常是不平衡的，即某些實(shí)體和關(guān)系比其他實(shí)體和關(guān)系更常見。這種不平衡性會(huì)導(dǎo)致圖神經(jīng)網(wǎng)絡(luò)在處理知識(shí)圖譜時(shí)出現(xiàn)偏差或誤差等問題。

這些問題都會(huì)對(duì)圖神經(jīng)網(wǎng)絡(luò)在知識(shí)圖譜構(gòu)建任務(wù)中的應(yīng)用產(chǎn)生影響，因此需要采取一些有效的方法來解決這些問題，例如使用更加魯棒的模型、采用更加有效的數(shù)據(jù)預(yù)處理方法等。

3 基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)圖譜應(yīng)用

3.1 推薦系統(tǒng)

圖神經(jīng)網(wǎng)絡(luò)和知識(shí)圖譜的結(jié)合在下游有很多應(yīng)用，具體見表8，列舉了知識(shí)圖譜常見的應(yīng)用。推薦系統(tǒng)是互聯(lián)網(wǎng)發(fā)現(xiàn)潛在用戶興趣的必要工具，來自知識(shí)圖譜的信息需要聚合項(xiàng)目之間的相關(guān)性來進(jìn)行推薦，GNN 的主要特征之一是能夠在生成的密集表示中保留鄰居之間的結(jié)構(gòu)屬性，通常這一操作稱為平滑，在存在同質(zhì)圖時(shí)特別需要平滑。推薦系統(tǒng)中知識(shí)圖譜的構(gòu)建分為四步：（1）收集用戶信息；（2）收集購(gòu)買物品信息；（3）提取用戶和物品屬性特征；（4）構(gòu)建知識(shí)圖譜，將用戶和物品進(jìn)行相關(guān)性連接，屬性被提取為實(shí)體連接到用戶和項(xiàng)目。輸入的知識(shí)圖譜為協(xié)同知識(shí)圖譜，協(xié)同知識(shí)圖譜由用戶和項(xiàng)目組成的二部圖和項(xiàng)目的附加信息組成的知識(shí)圖譜結(jié)合組成。

表8 知識(shí)圖譜應(yīng)用相關(guān)文獻(xiàn)Table 8 Literature related to application of knowledge graph

基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)圖譜推薦系統(tǒng)不同點(diǎn)在于嵌入操作采用的方式不同。Zhang等人提出KGAT（knowledge graph attention network）模型[85]，如圖8（a）所示，由知識(shí)圖譜嵌入和圖神經(jīng)網(wǎng)絡(luò)兩層組成，將GNN 層應(yīng)用到TransR 中獲得知識(shí)圖譜嵌入基礎(chǔ)上，生成節(jié)點(diǎn)嵌入。推薦系統(tǒng)具體操作流程為：（1）嵌入層，通過保留協(xié)同知識(shí)圖譜的結(jié)構(gòu)將每個(gè)節(jié)點(diǎn)參數(shù)化為向量；（2）注意力嵌入傳播層，遞歸地從節(jié)點(diǎn)的鄰居傳播嵌入以更新其表示，并采用知識(shí)感知注意力機(jī)制來學(xué)習(xí)傳播過程中每個(gè)鄰居的權(quán)重；（3）預(yù)測(cè)層，聚合來自所有傳播層的用戶和項(xiàng)目的表示，并輸出預(yù)測(cè)的匹配分?jǐn)?shù)。

圖8 推薦系統(tǒng)模型Fig.8 Recommendation system model

Wang等人提出KGCN（knowledge graph convolutional network）[115]是采用圖神經(jīng)網(wǎng)絡(luò)聚合知識(shí)圖譜中的實(shí)體的開創(chuàng)性項(xiàng)目之一，通過基于感知的注意力圖神經(jīng)網(wǎng)絡(luò)層在知識(shí)圖譜中生成實(shí)體和關(guān)系的嵌入。Wang 等人提出DSKReG（differentiable sampling on knowledge graph for recommendation with relational GNN）模型[116]，使用關(guān)系圖神經(jīng)網(wǎng)絡(luò)在知識(shí)圖譜上進(jìn)行推薦的可微分抽樣，從知識(shí)圖譜中需學(xué)習(xí)連接項(xiàng)目的相關(guān)性分布，并使用該分布對(duì)合適的項(xiàng)目進(jìn)行推薦，設(shè)計(jì)可區(qū)分的抽樣策略使項(xiàng)目在選擇和模型訓(xùn)練過程共同優(yōu)化。以往的知識(shí)圖譜嵌入忽略了圖神經(jīng)網(wǎng)絡(luò)出現(xiàn)的平滑性問題，基于此，Kikuta 等人提出基于知識(shí)查詢的圖卷積KQGC（knowledge querybased graph convolution）[13]模型，如圖8（b）所示，利用圖卷積網(wǎng)絡(luò)的平滑效果增強(qiáng)知識(shí)圖譜嵌入。Wang等人提出DisenHAN（disentangled heterogeneous graph attention network for recommendation）模型[117]，為編碼用戶和項(xiàng)目之間的協(xié)作信號(hào)，利用嵌入傳播來顯式地合并具有豐富語(yǔ)義結(jié)構(gòu)的上下文信息。利用元關(guān)系分解中的高階連通性，并提出一個(gè)解糾纏的嵌入傳播層，分別聚合用戶和項(xiàng)目的語(yǔ)義信息的不同方面，自動(dòng)生成具有語(yǔ)義信息的元路徑。Ma等人[118]設(shè)計(jì)了基于圖卷積網(wǎng)絡(luò)的知識(shí)感知推理方法，使用一種基于過渡的方法來確定三元組得分，并利用核抽樣在每個(gè)用戶-商品對(duì)之間的路徑內(nèi)自適應(yīng)地選擇三元組，為了提高推薦性能和保證解釋的多樣性，將用戶-物品交互和知識(shí)圖譜集成到異構(gòu)圖中，通過圖卷積網(wǎng)絡(luò)實(shí)現(xiàn)，采用路徑層面的自我注意機(jī)制，區(qū)分不同選擇路徑的貢獻(xiàn)，預(yù)測(cè)交互概率，提高最終解釋的相關(guān)性。

3.2 問答系統(tǒng)

知識(shí)圖譜最早在自然語(yǔ)言基礎(chǔ)上構(gòu)建發(fā)展起來，知識(shí)圖譜在自然語(yǔ)言處理上有著大量的應(yīng)用，比如知識(shí)問答等任務(wù)。常識(shí)性問題旨在回答哪些需要背景知識(shí)的問題，而這些知識(shí)在問題中并沒有明確表達(dá)出來，需要從外部知識(shí)中獲取證據(jù)，并在證據(jù)基礎(chǔ)上進(jìn)行預(yù)測(cè)。

知識(shí)圖譜問答目的是利用知識(shí)圖譜中的事實(shí)來回答自然語(yǔ)言的問題，它幫助終端用戶在不了解知識(shí)圖譜數(shù)據(jù)結(jié)構(gòu)的情況下，更有效、更容易地訪問KG中的大量和有價(jià)值的知識(shí)。

通過結(jié)合預(yù)訓(xùn)練模型和KG 實(shí)現(xiàn)智能問答。Yasunaga 等人提出QA-GNN（question answering-GNN）模型[14]，如圖9所示，該模型利用預(yù)訓(xùn)練的語(yǔ)言模型及知識(shí)圖譜的端到端的問答系統(tǒng)模型，在給定的問答系統(tǒng)上下文的條件下來計(jì)算知識(shí)圖譜節(jié)點(diǎn)的相關(guān)性，并在問答系統(tǒng)的上下文和知識(shí)圖譜節(jié)點(diǎn)上進(jìn)行聯(lián)合推理，通過圖神經(jīng)網(wǎng)絡(luò)的消息傳遞機(jī)制公共更新它們的表示。同樣的方法Taunk 等人[119]提出了GrapeQA 模型，結(jié)合預(yù)訓(xùn)練模型和知識(shí)圖譜的推理能力，通過識(shí)別問答系統(tǒng)中的相關(guān)文本塊和預(yù)訓(xùn)練語(yǔ)言模型中的相應(yīng)潛在表示增強(qiáng)知識(shí)圖譜，以及在上下文感知節(jié)點(diǎn)修剪和刪除與問答系統(tǒng)不相關(guān)的節(jié)點(diǎn)。Yang等人[120]提出了一種基于雙模態(tài)圖神經(jīng)網(wǎng)絡(luò)的外部知識(shí)推理的視覺問答方法。視覺問答是指通過計(jì)算機(jī)視覺和自然語(yǔ)言處理技術(shù)，讓計(jì)算機(jī)能夠回答與圖像相關(guān)的問題。通過雙模態(tài)圖神經(jīng)網(wǎng)絡(luò)處理圖像和文本數(shù)據(jù)，根據(jù)已有的信息和規(guī)則，推出新的結(jié)論或答案，這種方法的目的是讓計(jì)算機(jī)能夠利用外部知識(shí)進(jìn)行推理，提高視覺問答的準(zhǔn)確性和可靠性。

針對(duì)大型語(yǔ)言模型（large lauguage models,LM）的解釋問題，雖然這些模型可以處理不同種類的自然語(yǔ)言處理（natural language processing，NLP）任務(wù)，但由于其多層非線性模型結(jié)構(gòu)和數(shù)百萬個(gè)參數(shù)，結(jié)果的解釋可能很困難。Chen等人利用注意力權(quán)重來提供模型預(yù)測(cè)的解釋。然而純基于注意力的解釋無法支持模型日益復(fù)雜的情況，并且不能推理其決策過程，因此提出LMExplainer[121]（知識(shí)增強(qiáng)的解釋模塊），使用知識(shí)圖譜（KG）和圖注意力神經(jīng)網(wǎng)絡(luò)來提取LM的關(guān)鍵決策信號(hào)。

結(jié)合注意力機(jī)制實(shí)現(xiàn)問答系統(tǒng)。Yu 等人提出KG-FiD（knowledge graph in fusion-in-decoder）[122]，解決了開放鄰域問答的任務(wù)，在融合譯碼器框架的基礎(chǔ)上，應(yīng)用圖神經(jīng)網(wǎng)絡(luò)計(jì)算排序得分。Lv 等人[123]提出從異構(gòu)的知識(shí)來源中自動(dòng)獲取證據(jù)，并提出兩個(gè)模塊。首先利用圖結(jié)構(gòu)重新定義單詞之間的距離，后續(xù)采用圖卷積網(wǎng)絡(luò)將鄰居信息編碼為節(jié)點(diǎn)的最終表示形式，利用圖注意力機(jī)制聚合證據(jù)預(yù)測(cè)最終的答案。

將智能問答從單個(gè)KG三元組中生成問題，轉(zhuǎn)換為從一個(gè)更復(fù)雜的KG 子圖中生成問題。Feng 等人提出了一個(gè)多跳圖關(guān)系網(wǎng)絡(luò)（MHGRN）[124]，從外部知識(shí)圖中提取子圖執(zhí)行多跳、多關(guān)系推理任務(wù)，該模塊將基于推理的方法和基于圖神經(jīng)網(wǎng)絡(luò)的方法結(jié)合，具有比較好的擴(kuò)展性和可解釋性。Chen等人[125]采用了雙向圖到序列（Graph2Seq）模型來編碼KG 子圖，以更好地保留KG子圖的顯式結(jié)構(gòu)信息。同時(shí)，該模型還使用了節(jié)點(diǎn)級(jí)別的復(fù)制機(jī)制，允許將KG子圖中的節(jié)點(diǎn)屬性直接復(fù)制到輸出問題中。Guan等人[126]采用基于Co-Attention Transformer 的雙向多級(jí)連接結(jié)構(gòu)。該結(jié)構(gòu)建立了橋梁，連接了文本編碼器和圖編碼器的每一層，可以將QA 實(shí)體關(guān)系從KG 引入到文本編碼器，并將上下文文本信息帶到圖編碼器，以便深度交互融合這些特征以形成綜合的文本和圖節(jié)點(diǎn)表示，并提出了一種QA 感知節(jié)點(diǎn)的KG 子圖構(gòu)建方法，QA感知節(jié)點(diǎn)聚合了問題實(shí)體節(jié)點(diǎn)和答案實(shí)體節(jié)點(diǎn)，并進(jìn)一步指導(dǎo)子圖的擴(kuò)展和構(gòu)建過程，以增強(qiáng)連通性并減少噪聲的引入。上述考慮子圖級(jí)別的注意力機(jī)制能夠充分利用知識(shí)圖譜中的子圖結(jié)構(gòu)信息進(jìn)行特征融合。

3.3 其他領(lǐng)域

圖神經(jīng)網(wǎng)絡(luò)應(yīng)用于知識(shí)圖譜研究除了上述常見的推薦系統(tǒng)和智能問答外，還可以在藥物預(yù)測(cè)、社交網(wǎng)絡(luò)中使用。有的研究需要用到特定領(lǐng)域數(shù)據(jù)集實(shí)現(xiàn)知識(shí)圖譜的成功應(yīng)用。如圖10 所示，通過知識(shí)圖譜進(jìn)行關(guān)系預(yù)測(cè)，得到關(guān)系網(wǎng)絡(luò)中缺失的實(shí)體及關(guān)系信息。對(duì)藥物之間的相互作用可以建模為基于知識(shí)圖譜的鏈接預(yù)測(cè)問題，使用基于圖神經(jīng)網(wǎng)絡(luò)嵌入的方式用于知識(shí)圖譜的藥物發(fā)現(xiàn)，預(yù)測(cè)的步驟分為以下三個(gè)步驟：（1）從數(shù)據(jù)源中提取數(shù)據(jù)，輸入三元組實(shí)體-關(guān)系數(shù)據(jù)和藥物之間的相互作用矩陣；（2）在嵌入過程中，使用各種結(jié)構(gòu)的模型來學(xué)習(xí)知識(shí)圖譜的表示，使用特定的打分函數(shù)和損失函數(shù)來進(jìn)行訓(xùn)練；（3）通過識(shí)別三元組是否為給定的事實(shí)來實(shí)現(xiàn)藥物預(yù) 測(cè)。KGNN（knowledge graph neural network）[127]、MGAN（meta-path guided graph attention network）[108]和SumGNN（knowledge summarization graph neural network）[128]等模型使用圖神經(jīng)網(wǎng)絡(luò)挖掘藥物及其潛在領(lǐng)域知識(shí)圖譜中的關(guān)聯(lián)關(guān)系，其過程本質(zhì)上類似于知識(shí)圖譜的鏈接預(yù)測(cè)，通過捕獲多跳鄰域的相關(guān)子圖，并使用圖神經(jīng)網(wǎng)絡(luò)進(jìn)行消息融合，有效地捕獲藥物及其潛在鄰域的相關(guān)性，實(shí)現(xiàn)對(duì)藥物性能的預(yù)測(cè)，實(shí)現(xiàn)藥物預(yù)測(cè)和藥物的再利用。上述應(yīng)用表明圖神經(jīng)網(wǎng)絡(luò)同知識(shí)圖譜構(gòu)建相結(jié)合，挖掘領(lǐng)域知識(shí)圖譜中潛在的關(guān)聯(lián)關(guān)系，可以是社交網(wǎng)絡(luò)關(guān)系、藥物關(guān)聯(lián)關(guān)系、商品關(guān)聯(lián)關(guān)系、問答系統(tǒng)中的語(yǔ)義關(guān)系等。

圖10 知識(shí)問答流程Fig.10 Question and answer process

4 總結(jié)與展望

4.1 總結(jié)

知識(shí)圖譜是一種圖結(jié)構(gòu)，用來建模事物之間的聯(lián)系，針對(duì)知識(shí)圖譜構(gòu)建存在的問題，提出了使用GNN 的方法解決相應(yīng)的問題，主要關(guān)注四類圖神經(jīng)網(wǎng)絡(luò)參與知識(shí)圖譜構(gòu)建的問題，具體包括：鏈接預(yù)測(cè)、知識(shí)圖譜對(duì)齊、實(shí)體消歧和知識(shí)推理等。在了解相應(yīng)的模型細(xì)節(jié)和這些策略之后，本文對(duì)基于GNN的知識(shí)圖譜的應(yīng)用方面進(jìn)行了闡述，主要包括推薦系統(tǒng)、知識(shí)問答、計(jì)算機(jī)視覺和藥物關(guān)系預(yù)測(cè)等。雖然圖神經(jīng)網(wǎng)絡(luò)應(yīng)用于知識(shí)圖譜已經(jīng)取得了上述發(fā)展，但仍面臨以下挑戰(zhàn)，具體如表9所示。

（1）圖神經(jīng)網(wǎng)絡(luò)可解釋性

現(xiàn)有的解釋大多基于實(shí)例分析和實(shí)現(xiàn)的效果推理得到，圖神經(jīng)網(wǎng)絡(luò)嘗試從基于梯度、擾動(dòng)、代理和分解等角度對(duì)黑盒問題進(jìn)行解釋，在知識(shí)圖譜上應(yīng)用圖神經(jīng)網(wǎng)絡(luò)也有基于邏輯推理的方法嘗試提高深度學(xué)習(xí)的可解釋性，可解釋性依舊是未來持續(xù)研究的方向。現(xiàn)有的研究通過引入額外信息來增加可解釋性，比如文獻(xiàn)[109]提出了減少基于文本信息的同構(gòu)-多深度聯(lián)合實(shí)體對(duì)齊的需求模型，利用實(shí)體的名稱信息和屬性信息，同時(shí)將實(shí)體對(duì)齊問題轉(zhuǎn)化為分配問題，大大提高了模型的可解釋性。還有一些文獻(xiàn)[79,88,129]引入路徑機(jī)制或者規(guī)則，用于緩解知識(shí)圖譜的可解釋性問題[130]，但是由于可解釋性仍然是深度學(xué)習(xí)的黑盒子，仍舊需要不斷探索。

（2）知識(shí)圖譜的動(dòng)態(tài)特性

知識(shí)圖譜的構(gòu)建是一個(gè)不斷更新迭代的過程，現(xiàn)有的知識(shí)圖譜是相對(duì)靜態(tài)的，大多數(shù)知識(shí)圖譜是動(dòng)態(tài)實(shí)時(shí)變化的，動(dòng)態(tài)圖神經(jīng)網(wǎng)絡(luò)已經(jīng)成為當(dāng)前發(fā)展的主要趨勢(shì)，利用圖時(shí)空網(wǎng)絡(luò)研究動(dòng)態(tài)圖是未來的發(fā)展方向，近有研究從元學(xué)習(xí)框架新模型（dynamic graph neural network，MetaDyGNN）[107]出發(fā)，用動(dòng)態(tài)網(wǎng)絡(luò)中的少鏡頭進(jìn)行鏈接預(yù)測(cè)提出了動(dòng)態(tài)圖神經(jīng)網(wǎng)絡(luò)模型（dynamic graph neural network，DGNN）處理動(dòng)態(tài)圖問題。Jung等人提出了T-GAP模型[88]，其編碼器和解碼器最大限度地利用時(shí)間信息和圖結(jié)構(gòu)，TGAP通過關(guān)注每個(gè)事件與查詢時(shí)間之間的時(shí)間位移來編碼TKG 的特定查詢子結(jié)構(gòu)，并通過在圖中傳播注意力來執(zhí)行基于路徑的推理，有效應(yīng)對(duì)知識(shí)圖譜的動(dòng)態(tài)特性。Gao 等人通過TS-GCN（two-stream graph convolutional networks）[15]模式實(shí)現(xiàn)零鏡頭動(dòng)作識(shí)別，巧妙實(shí)現(xiàn)了動(dòng)作識(shí)別預(yù)測(cè)。動(dòng)態(tài)圖神經(jīng)網(wǎng)絡(luò)研究將成為未來不斷研究的熱點(diǎn)之一。

（3）標(biāo)記數(shù)據(jù)的依賴

垂直領(lǐng)域知識(shí)圖譜對(duì)準(zhǔn)確數(shù)據(jù)有嚴(yán)格的要求，希望能夠克服對(duì)標(biāo)記數(shù)據(jù)的依賴，緩解數(shù)據(jù)稀疏的問題，這將是未來領(lǐng)域知識(shí)圖譜的一個(gè)發(fā)展方向。例如：在實(shí)體對(duì)齊任務(wù)中，通過將位置信息整合到具有位置注意力層的表示學(xué)習(xí)中來增強(qiáng)遠(yuǎn)處實(shí)體與標(biāo)記實(shí)體之間的聯(lián)系，并提出一種弱監(jiān)督學(xué)習(xí)框架來增強(qiáng)實(shí)體對(duì)齊[105]，緩解缺乏標(biāo)記數(shù)據(jù)而導(dǎo)致的性能瓶頸。MI-KGNN（multi-dimension user-item interactions with attentional knowledge graph neural networks）[131]可以有效地捕獲和表示知識(shí)圖譜中的結(jié)構(gòu)信息（即交互的拓?fù)浣Y(jié)構(gòu)）和語(yǔ)義信息（即交互的權(quán)重），緩解數(shù)據(jù)稀疏的問題。對(duì)數(shù)據(jù)的依賴性可以通過修改模型來進(jìn)行，采用無監(jiān)督或弱監(jiān)督學(xué)習(xí)的方式，學(xué)習(xí)現(xiàn)有的有限數(shù)據(jù)信息。如何解決樣本不足或缺失問題，是未來一個(gè)充滿前景的方向。

（4）知識(shí)圖譜結(jié)構(gòu)異質(zhì)性

KG 之間的結(jié)構(gòu)異質(zhì)性[132]嚴(yán)重阻礙了實(shí)體對(duì)齊的發(fā)展，現(xiàn)有研究主要從實(shí)體鄰域異質(zhì)性的角度緩解結(jié)構(gòu)異質(zhì)性，而忽略了關(guān)系異質(zhì)性對(duì)其的重要作用?；诖?，可以采用基于門控機(jī)制DvGNet的雙視圖神經(jīng)網(wǎng)絡(luò)（GNN）[108]，從實(shí)體和關(guān)系交互的角度全面緩解KG的結(jié)構(gòu)異質(zhì)性。MuGNN[95]提出了一種多通道圖神經(jīng)網(wǎng)絡(luò)框架，并利用規(guī)則生成三元組來補(bǔ)充KG，從而緩解實(shí)體的鄰域異質(zhì)性，并利用鄰域聚類來應(yīng)對(duì)實(shí)體鄰域異質(zhì)性。并將實(shí)體對(duì)齊視為最大二分匹配問題，由匈牙利算法解決；AliNet[104]通過使用門控策略和注意力機(jī)制聚合多跳鄰域來緩解實(shí)體的鄰域異構(gòu)性。關(guān)系異質(zhì)性也是KG 結(jié)構(gòu)異質(zhì)性的重要原因。此外，一些研究，如KDCoE（co-training embeddings of knowledge graphs and entity descriptions）[133]和AttrE（attribute embeddings）[134]在學(xué)習(xí)實(shí)體嵌入的過程中加入了實(shí)體的其他配置文件信息，緩解結(jié)構(gòu)異質(zhì)性。但知識(shí)圖譜的異質(zhì)性仍然是長(zhǎng)期存在的問題，需要不斷研究。表9總結(jié)了現(xiàn)如今存在的問題及其解決方案。

4.2 展望

（1）GNN模型的可擴(kuò)展性

GNN（圖神經(jīng)網(wǎng)絡(luò)）模型長(zhǎng)期存在可擴(kuò)展性問題，在處理大規(guī)模圖數(shù)據(jù)時(shí)，雖然許多新的技術(shù)和算法已被開發(fā)用于提高GNN 模型的可擴(kuò)展性，但是仍然存在一些問題導(dǎo)致GNN模型的可擴(kuò)展性較差。首先是圖的規(guī)模，GNN 模型需要處理大規(guī)模的節(jié)點(diǎn)和邊實(shí)體，會(huì)導(dǎo)致內(nèi)存消耗和復(fù)雜度等問題；其次是許多GNN 模型在設(shè)計(jì)時(shí)考慮了特定類型的圖數(shù)據(jù)，可能不太適合處理其他類型的數(shù)據(jù)（例如：現(xiàn)有的GNN模型主要用于處理自然語(yǔ)言處理數(shù)據(jù)，但對(duì)于醫(yī)療數(shù)據(jù)、地震解釋數(shù)據(jù)，還未能挖掘到有效的處理方法），為了提高GNN的可擴(kuò)展性，需要考慮這些因素，并尋找相應(yīng)的解決方案。

（2）圖神經(jīng)網(wǎng)絡(luò)的工業(yè)應(yīng)用

現(xiàn)有的圖神經(jīng)網(wǎng)絡(luò)的研究大多基于理論上公開數(shù)據(jù)集，沒有應(yīng)用于大規(guī)模的實(shí)際應(yīng)用領(lǐng)域，例如地質(zhì)構(gòu)造建模、航空航天、金融領(lǐng)域等，很少使用圖神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，領(lǐng)域知識(shí)圖譜對(duì)數(shù)據(jù)的準(zhǔn)確性要求很高，需要得到準(zhǔn)確的結(jié)果，但圖神經(jīng)網(wǎng)絡(luò)的泛化能力仍有待提升，最終實(shí)現(xiàn)工業(yè)落地并發(fā)揮圖神經(jīng)網(wǎng)絡(luò)處理像知識(shí)圖譜這樣圖結(jié)構(gòu)的數(shù)據(jù)，仍舊需要不斷研究。

（3）知識(shí)圖譜的工業(yè)落地

現(xiàn)如今對(duì)知識(shí)圖譜的需求呈現(xiàn)爆炸式增長(zhǎng)，但是對(duì)于領(lǐng)域知識(shí)圖譜的構(gòu)建仍然存在一些局限性。首先是知識(shí)圖譜的用處，通過各個(gè)深度學(xué)習(xí)的方法構(gòu)建的知識(shí)圖譜能否應(yīng)用于垂直領(lǐng)域，會(huì)不會(huì)存在花費(fèi)大量人力、物力構(gòu)建知識(shí)圖譜的問題，因?yàn)樯疃葘W(xué)習(xí)的不可解釋性和不確定性，導(dǎo)致無法滿足實(shí)際工程的需求。以及會(huì)不會(huì)存在知識(shí)圖譜交叉的問題，構(gòu)建的多個(gè)領(lǐng)域知識(shí)圖譜在很大程度上是重合的，從而造成了資源浪費(fèi)。由于圖神經(jīng)網(wǎng)絡(luò)仍然是個(gè)黑盒子，使用圖神經(jīng)網(wǎng)絡(luò)構(gòu)建的知識(shí)圖譜仍舊無法在工業(yè)上落地。