少樣本知識(shí)圖譜補(bǔ)全技術(shù)研究

彭晏飛，張睿思，王瑞華，郭家隆

遼寧工程技術(shù)大學(xué) 電子與信息工程學(xué)院，遼寧 葫蘆島125100

知識(shí)圖譜（knowledge graph，KG）用結(jié)構(gòu)化的形式描述客觀世界中概念、實(shí)體及其關(guān)系，它將互聯(lián)網(wǎng)的信息表達(dá)成更接近人類認(rèn)知世界的形式，提供了一種更好地組織、管理和理解互聯(lián)網(wǎng)海量信息的能力[1]。知識(shí)圖譜以三元組的形式（頭實(shí)體，關(guān)系，尾實(shí)體）存儲(chǔ)知識(shí)和事件，以網(wǎng)絡(luò)的形式作為展示，在網(wǎng)絡(luò)中每個(gè)節(jié)點(diǎn)代表實(shí)體，節(jié)點(diǎn)之間相互連接的邊代表關(guān)系。目前一些大規(guī)模知識(shí)圖譜NELL（never-ending language learner）[2]、Wikidate[3]、YAGO（yet another great ontology）[4]等被廣泛應(yīng)用于各種自然語言處理任務(wù)中，例如語義搜索[5]、智能問答[6-7]、推薦系統(tǒng)[8-9]等。

盡管知識(shí)圖譜中有著大量的實(shí)體、關(guān)系、三元組，但是現(xiàn)有的大部分知識(shí)圖譜都是不完整的，具體體現(xiàn)在一些實(shí)體之間缺少對(duì)應(yīng)的關(guān)系，一些頭實(shí)體和關(guān)系間缺少對(duì)應(yīng)的尾實(shí)體。知識(shí)圖譜補(bǔ)全任務(wù)（knowledge graph completion，KGC）旨在學(xué)習(xí)知識(shí)圖譜中現(xiàn)有的實(shí)體關(guān)系三元組，進(jìn)而推斷出知識(shí)圖譜缺失的實(shí)體或關(guān)系。

知識(shí)圖譜嵌入（knowledge graph embedding，KGE）旨在將實(shí)體和關(guān)系嵌入到潛在的低維數(shù)字表示中[10]。在過去幾年，KGE 方法被證明在KGC 任務(wù)上是有效的[11-12]，并且許多KGE方法已經(jīng)應(yīng)用于KGC任務(wù)，其中包括TransE（translating embedding）[13]、ComplEx（complex embeddings）[14]和ConvE（convolutional 2D knowledge graph embeddings）[12]等方法。但是目前的這些方法都假設(shè)KG包含足夠的實(shí)體和關(guān)系數(shù)據(jù)，然而在KG 中少樣本關(guān)系數(shù)據(jù)是廣泛存在的，例如Wikidate 中大約有10%的關(guān)系只有不超過10 個(gè)三元組實(shí)例[3]。此外，在實(shí)際應(yīng)用的過程中，社交媒體或推薦系統(tǒng)產(chǎn)生的KG，會(huì)隨著時(shí)間的流動(dòng)進(jìn)行動(dòng)態(tài)更新，更新后的新關(guān)系通常只有少量的三元組實(shí)例。這種情況會(huì)導(dǎo)致大部分KGC 方法的效果下降，因?yàn)檫@些方法都要求擁有足夠的訓(xùn)練實(shí)例[15]，所以在只擁有少數(shù)三元組實(shí)例的情況下，如何完成知識(shí)圖譜補(bǔ)全任務(wù)是重要且具有挑戰(zhàn)性的。

鑒于上述問題，Xiong等人[16]在2018年第一次定義少樣本知識(shí)圖譜補(bǔ)全概念，并提出Gmatching 模型用來解決FKGC（few-shot knowledge graph completion）任務(wù)。這也是少樣本學(xué)習(xí)[17]在知識(shí)圖譜補(bǔ)全上的第一項(xiàng)研究，之前少樣本學(xué)習(xí)的研究主要集中在計(jì)算機(jī)視覺[18]、情感分析[19]和文本分類[20]等領(lǐng)域上。近年來，學(xué)者們也提出了很多解決FKGC 任務(wù)的方法[21]，然而FKGC模型仍然面臨著FKGC補(bǔ)全程度不高、無法很好利用KG中的結(jié)構(gòu)信息、太過依賴于實(shí)體的鄰域信息[22]等問題。本文將現(xiàn)有的FKGC 方法作為研究對(duì)象，整理并歸納FKGC經(jīng)典方法以及最新研究成果，總結(jié)目前研究面臨的挑戰(zhàn)，并對(duì)未來的研究趨勢進(jìn)行展望。本文的主要貢獻(xiàn)如下：

（1）對(duì)目前FKGC 方法進(jìn)行全面分類，以解決問題的方法作為分類依據(jù)，分為基于度量學(xué)習(xí)的方法、基于元學(xué)習(xí)的方法以及基于其他模型的方法。

（2）詳細(xì)闡述了每種FKGC 模型的思想，歸納并分析每種模型的核心、模型思路、特點(diǎn)和局限性；最后從方法分類、發(fā)表年份、數(shù)據(jù)集、評(píng)價(jià)指標(biāo)、模型優(yōu)缺點(diǎn)和模型思路上對(duì)FKGC方法進(jìn)行橫縱比較。

（3）列出常用的FKGC 數(shù)據(jù)集；對(duì)FKGC 中常用的評(píng)價(jià)指標(biāo)進(jìn)行說明；以NELL-One 和Wiki-One 數(shù)據(jù)集為例，在不同數(shù)據(jù)集上比較各個(gè)模型間的性能差異并進(jìn)行分析。

（4）討論了目前FKGC 任務(wù)的難點(diǎn)問題，展望了FKGC方法未來值得關(guān)注的發(fā)展方向。

1 少樣本知識(shí)圖譜補(bǔ)全概述和相關(guān)內(nèi)容

知識(shí)圖譜G表示為三元組{(h,r,t)}?E×R×E的集合，其中E和R是實(shí)體集合和關(guān)系集合。每個(gè)三元組都由一個(gè)關(guān)系r∈R和兩個(gè)實(shí)體h,t∈E組成，它們之間可以表示為頭實(shí)體h到尾實(shí)體t有一條有向邊r連接。

在知識(shí)圖譜中，知識(shí)圖譜補(bǔ)全任務(wù)分為兩種：一種是在已知兩個(gè)實(shí)體(h,?,t)的情況下，預(yù)測其中的關(guān)系r；另一種是在已知頭部實(shí)體和關(guān)系(h,r,?)的情況下，預(yù)測尾部實(shí)體t。目前研究者更專注于后一種研究。

少樣本知識(shí)圖譜補(bǔ)全任務(wù)考慮了實(shí)際場景，與知識(shí)圖譜補(bǔ)全中假設(shè)每個(gè)關(guān)系都有足夠的實(shí)體對(duì)不同。該任務(wù)只擁有少數(shù)與關(guān)系r相關(guān)的三元組作為參考集，需要預(yù)測查詢集中潛在的尾實(shí)體t。

對(duì)于該任務(wù)而言，少樣本知識(shí)圖譜補(bǔ)全方法的目標(biāo)是在給定參考集S的情況下，查詢集Q正確尾實(shí)體ttrue的排名要高于其他錯(cuò)誤尾實(shí)體。

對(duì)于FKGC任務(wù)而言，一些當(dāng)前領(lǐng)域的相關(guān)內(nèi)容如下：

背景知識(shí)圖譜G′：是當(dāng)前知識(shí)圖譜G的一個(gè)子集，其中包含和任務(wù)關(guān)系r相關(guān)的三元組。

實(shí)體的一跳鄰居集合Ne：一般在FKGC任務(wù)中Ne也被稱為實(shí)體e的鄰域，它是由背景知識(shí)圖譜G′產(chǎn)生，其中包含所有與實(shí)體e相連接的關(guān)系r和尾實(shí)體t。

少樣本關(guān)系的鄰域：針對(duì)少樣本關(guān)系r而言，它自身的鄰域可以被定義為{h,t,Nh,Nt}，其中h、t是頭實(shí)體和尾實(shí)體，它們和關(guān)系r可以構(gòu)成一個(gè)三元組(h,r,t)；Nh、Nt是頭實(shí)體和尾實(shí)體的一跳鄰居集合。

2 少樣本知識(shí)圖譜補(bǔ)全方法

2018 年Xiong 等人[16]提出了少樣本知識(shí)圖譜補(bǔ)全的任務(wù)，并利用基于匹配網(wǎng)絡(luò)的模型Gmatching試圖對(duì)少樣本三元組進(jìn)行少樣本關(guān)系學(xué)習(xí)來解決這一問題。由此少樣本知識(shí)圖譜補(bǔ)全任務(wù)受到學(xué)者們的廣泛關(guān)注，目前現(xiàn)有的FKGC方法按照解決問題的方法分類可以分為基于度量學(xué)習(xí)的方法[16,23-34]、基于元學(xué)習(xí)的方法[35-45]以及基于其他模型的方法[46-63]。

2.1 基于度量學(xué)習(xí)的方法

度量學(xué)習(xí)的方法一般是從一組待訓(xùn)練的任務(wù)中學(xué)習(xí)到可概括的距離公式和相應(yīng)的匹配函數(shù)，進(jìn)而推廣到新出現(xiàn)的任務(wù)中[20]，此類方法大多采用深度孿生網(wǎng)絡(luò)中所提出的通用匹配框架Matching Nets[64]。在KGC中，很多KGC模型在訓(xùn)練過程中都需要大量的數(shù)據(jù)作為支撐，如果在FKGC任務(wù)中使用，就會(huì)面對(duì)性能受限制或者沒有足夠數(shù)據(jù)支持的問題。針對(duì)這種情況，學(xué)者們結(jié)合度量學(xué)習(xí)的思想，提出了若干模型。

Gmatching 模型[16]是由Xiong 等人在2018 年提出，該模型的核心是利用實(shí)體嵌入信息和局部圖結(jié)構(gòu)來構(gòu)建匹配度量函數(shù)。模型思想是針對(duì)當(dāng)前任務(wù)的關(guān)系r，計(jì)算查詢實(shí)體對(duì)與參考實(shí)體對(duì)的相似度，排序得到正確尾實(shí)體ttrue的排名。

如圖1 所示，Gmatching 模型由鄰居編碼器和匹配處理器構(gòu)成，在鄰居編碼器部分，為了得到實(shí)體e的鄰域表示f(Ne)，首先將實(shí)體e相連接的每一個(gè)關(guān)系和尾實(shí)體拼接，得到關(guān)系實(shí)體對(duì)的嵌入信息將每個(gè)關(guān)系實(shí)體對(duì)的嵌入信息合并：

圖1 Gmatching模型結(jié)構(gòu)Fig. 1 Gmatching model structure

其中，vrk、vek分別是關(guān)系實(shí)體對(duì)(rk,ek)中關(guān)系和實(shí)體的嵌入信息，⊕表示拼接操作，σ為激活函數(shù)tanh，Wc是權(quán)重參數(shù)。在匹配處理器中，為了得到ttrue排名，分別將參考集實(shí)體對(duì)(h0,t0) 和查詢集實(shí)體對(duì)(hi,tij)的鄰域表示拼接后得到對(duì)應(yīng)的參考集關(guān)系向量s和查詢集關(guān)系向量q；最后利用式（2）求出所有查詢集與參考集的關(guān)系相似度得分。

其中，hk、ck是LSTM（long short-term memory）網(wǎng)絡(luò)的隱藏狀態(tài)和單元狀態(tài)，k是超參數(shù)。

作為少樣本知識(shí)圖譜補(bǔ)全任務(wù)的開山之作，Gmatching模型提出了一種基于關(guān)系學(xué)習(xí)的框架，與傳統(tǒng)的知識(shí)圖譜補(bǔ)全方法相比，該模型可以對(duì)任何關(guān)系進(jìn)行預(yù)測，處理新添加的關(guān)系時(shí)也無需重新訓(xùn)練模型，而之前的方法通常需要微調(diào)模型以適應(yīng)新關(guān)系。

雖然Gmatching模型的整體結(jié)構(gòu)簡單，但是每個(gè)部分都有各自的作用，其中鄰居編碼器利用局部的圖結(jié)構(gòu)更好地表示了實(shí)體信息，匹配處理器利用多步循環(huán)對(duì)兩個(gè)集合的信息進(jìn)行打分。在基于Wiki-One 數(shù)據(jù)集的實(shí)驗(yàn)中，該模型性能比TransE 在MRR（mean reciprocal rank）指標(biāo)上提高12.8%，具有較好的實(shí)驗(yàn)效果。然而，此模型也存在一定缺點(diǎn)，由于鄰居編碼器在獲取實(shí)體的鄰域表示時(shí)，平等地集合鄰域中的不同信息，忽略了無效實(shí)體對(duì)模型產(chǎn)生的影響，導(dǎo)致模型效果降低。

為彌補(bǔ)Gmatching 模型的缺點(diǎn)，Zhang 等人[23]在2020 年提出FSRL（few-shot relation learning）模型。該模型的核心是利用異構(gòu)鄰居解碼器分配給鄰域信息不同的權(quán)重，并在參考三元組集合中集成了來自多個(gè)三元組的信息，而在Gmatching中僅將單個(gè)三元組用于FKGC。如圖2 所示，F(xiàn)SRL 模型提出了異構(gòu)鄰居解碼器模塊和聚合模塊，在異構(gòu)鄰居編碼器中，實(shí)體e的鄰域表示f(Ne)不再采用集合所有嵌入信息的計(jì)算方式，而是為每個(gè)嵌入信息賦予一個(gè)權(quán)重αi，具體公式如下：

圖2 FSRL模型結(jié)構(gòu)Fig. 2 FSRL model structure

與Gmatching 模型相比，F(xiàn)SRL 模型的異構(gòu)鄰居編碼器彌補(bǔ)了Gmatching模型平等分配權(quán)重的缺點(diǎn)，新增的聚合模塊增加了三元組間的交互。實(shí)驗(yàn)結(jié)果表明，在Wiki-One 和NELL-One 數(shù)據(jù)集上，該模型的性能比Gmatching模型分別提高了0.08、0.04，這足以證明它的改進(jìn)是有效的。此外，F(xiàn)SRL還通過實(shí)驗(yàn)證明在訓(xùn)練過程中參考集的大小會(huì)影響參考集嵌入的質(zhì)量，為后續(xù)FKGC的研究提供了支撐。

盡管FSRL模型根據(jù)不同實(shí)體提供不同權(quán)重，在一定程度上降低了無效實(shí)體對(duì)模型的影響，但其賦予權(quán)重的方式仍是靜態(tài)的，2020年Sheng等人[24]提出FAAN（novel adaptive attentional network）模型，該模型的核心是使用了實(shí)體和關(guān)系的動(dòng)態(tài)屬性[65]。之前的模型大多關(guān)注于實(shí)體和關(guān)系的靜態(tài)信息，而忽略了它們的動(dòng)態(tài)信息，例如實(shí)體在不同關(guān)系下的含義可能有所不同。為此FAAN模型提出自適應(yīng)注意力[66]鄰居編碼器和Transformer[67]編碼器來捕捉實(shí)體與關(guān)系的動(dòng)態(tài)信息。

如圖3 所示，在自適應(yīng)注意力鄰居編碼器部分，由任務(wù)關(guān)系嵌入r和鄰接關(guān)系嵌入rk求得權(quán)重αk，實(shí)體對(duì)嵌入信息為尾實(shí)體嵌入信息的集合，最后利用頭實(shí)體嵌入h和實(shí)體對(duì)嵌入得到鄰域表示f(Ne)。公式如下所示：

圖3 FAAN模型結(jié)構(gòu)Fig. 3 FAAN model structure

其中，qr為查詢集關(guān)系嵌入表示，sk為參考集關(guān)系嵌入表示。

與當(dāng)時(shí)其他模型不同，F(xiàn)AAN模型提出了一種新的范式，并且在鄰居編碼器部分將任務(wù)關(guān)系與鄰接關(guān)系結(jié)合，這些改進(jìn)不僅為鄰域表示加入了更多的細(xì)粒度信息，也提供了一種計(jì)算相似度得分的新方法。在FKGC數(shù)據(jù)集上，F(xiàn)AAN模型的實(shí)驗(yàn)結(jié)果優(yōu)于當(dāng)時(shí)其他的FKGC方法，其他實(shí)驗(yàn)證明FAAN模型獲取動(dòng)態(tài)屬性的方法提升了模型效果并且針對(duì)不同的任務(wù)關(guān)系具有良好的魯棒性。但是FAAN 模型在鄰居編碼器部分，只是針對(duì)實(shí)體的動(dòng)態(tài)信息進(jìn)行改進(jìn)，并沒有建立參考集三元組間的聯(lián)系，忽略了三元組間的交互信息。

現(xiàn)有的大多數(shù)基于度量學(xué)習(xí)的方法，都忽略了三元組內(nèi)部和三元組間的實(shí)體交互，因?yàn)檫@些模型都是針對(duì)實(shí)體對(duì)表示進(jìn)行相似度匹配。為探索這種交互信息在FKGC 中的作用，Liang 等人[25]在2022 年提出TransAM（transformer appending matcher）模型，他們認(rèn)為這些實(shí)體的交互信息可以提供有價(jià)值的顆粒度語義表示。該模型的核心是將參考實(shí)體對(duì)和查詢實(shí)體對(duì)作為序列以捕捉三元組內(nèi)和三元組間實(shí)體的交互信息。具體過程為，將參考集和查詢集實(shí)體化為一個(gè)序列sq，sq=[[CLS],h1,t1,…,hK,tK,hq,tq]，其中hK、tK是參考集實(shí)體對(duì)的頭實(shí)體和尾實(shí)體，hq、tq是查詢集的頭實(shí)體和尾實(shí)體；再通過實(shí)體編碼器和實(shí)體鄰域得到每個(gè)實(shí)體的最終表示xe，即：

與其他模型相比，TransAM模型利用旋轉(zhuǎn)操作編碼每個(gè)實(shí)體對(duì)的頭尾實(shí)體，這種操作使得模型學(xué)習(xí)到了更多的結(jié)構(gòu)化信息（即對(duì)稱和反對(duì)稱信息）。為了使三元組內(nèi)部交互，TransAM構(gòu)建了塊注意掩碼矩陣來約束每個(gè)實(shí)體，使它只關(guān)注于自身三元組。此外，Liang 等人為了保留三元組結(jié)構(gòu)的同時(shí)分離實(shí)體信息和三元組位置信息，設(shè)計(jì)了一種分離三元組位置信息的編碼方式。上述的這些方法使TransAM模型成為了目前最先進(jìn)的方法之一，但是TransAM 的局限性在于模型過多地關(guān)注實(shí)體信息，而三元組內(nèi)的關(guān)系信息只用于貢獻(xiàn)權(quán)重，導(dǎo)致模型不能處理復(fù)雜的少樣本關(guān)系，今后可以在這一方向上進(jìn)一步研究。

表1匯總了本節(jié)所提到的基于度量學(xué)習(xí)的FKGC方法，可以看出度量學(xué)習(xí)的方法在逐步完善缺點(diǎn)的同時(shí)也在尋找更適合的匹配方法，但是復(fù)雜的少樣本關(guān)系不僅是少樣本知識(shí)圖譜補(bǔ)全所遇到的問題，也是目前知識(shí)圖譜補(bǔ)全存在的難點(diǎn)。

表1 度量學(xué)習(xí)方法匯總Table 1 Summary of measurement learning methods

根據(jù)對(duì)現(xiàn)有的基于度量學(xué)習(xí)的少樣本知識(shí)圖譜補(bǔ)全方法的整理，可以發(fā)現(xiàn)：目前的模型一方面在探索如何通過實(shí)體的鄰域信息，獲得更加豐富的關(guān)系嵌入表示，如FSRL、FAAN 等；另一方面受到當(dāng)前自然語言處理中預(yù)訓(xùn)練語言模型的影響，探索如何構(gòu)建一種匹配方法，能夠更好地求出參考集與查詢集的相似度得分，如TransAM等。

2.2 基于元學(xué)習(xí)的方法

元學(xué)習(xí)就是學(xué)會(huì)學(xué)習(xí)的學(xué)習(xí)[68]，其特點(diǎn)是只使用少量的訓(xùn)練樣本，也能快速學(xué)習(xí)新的概念或知識(shí)[69]。在FKGC的研究中，基于元學(xué)習(xí)的方法旨在學(xué)習(xí)訓(xùn)練任務(wù)中的關(guān)聯(lián)三元組特征，從而在新的任務(wù)上進(jìn)行泛化，其中比較有代表性的方法有MetaR（meta relational learning）模型[35]、Meta-KGR（meta-based multi-hop reasoning）模型[36]、GANA（gated and attentive neighbor aggregator）模型[37]、Meta-iKG模型[38]。

MetaR 模型[35]是由Chen 等人在2019 年提出的，該模型是第一個(gè)將元學(xué)習(xí)應(yīng)用于FKGC 上的方法。MetaR 模型的核心是利用關(guān)系元信息和梯度元信息來加速模型的更新迭代與完成FKGC任務(wù)。

如圖4 所示，首先聚合所有實(shí)體對(duì)的關(guān)系表示R(hi,ti)，計(jì)算得到關(guān)系元信息RTr：

圖4 MetaR模型結(jié)構(gòu)Fig. 4 MetaR model structure

在得到當(dāng)前任務(wù)Tr的關(guān)系元信息后，通過損失函數(shù)生成梯度元信息GTr：

其中，||x||代表向量x的L2 范數(shù)，s(hi,ti)是利用了TransE中的思想得到的評(píng)分函數(shù)，它假設(shè)頭實(shí)體嵌入h、關(guān)系嵌入r、尾實(shí)體嵌入t滿足h+r=t，L(Sr)是模型的損失函數(shù)，γ是超參數(shù)，L(Sr)代表損失函數(shù)的梯度。之后利用GTr對(duì)關(guān)系元信息的更新進(jìn)行加速：

作為第一個(gè)將元學(xué)習(xí)應(yīng)用于FKGC 的方法，MetaR模型不僅融合了TransE模型的思想，還證明了將關(guān)系特定的元信息從參考集轉(zhuǎn)移到查詢集的方法，在FKGC 任務(wù)上是有效的。同時(shí)，在基于Wiki-One 和NELL-One 數(shù)據(jù)集的實(shí)驗(yàn)中，無論是1-shot 還是5-shot的結(jié)果，都比當(dāng)時(shí)的其他模型效果更好。但是MetaR模型的局限性在于計(jì)算關(guān)系元信息時(shí)，認(rèn)為所有實(shí)體對(duì)的貢獻(xiàn)相同，忽略了參考集中三元組對(duì)關(guān)系表示的不同影響。

Meta-KGR 模型[36]是由Lv 等人在2019 年提出的，該模型的核心是將強(qiáng)化學(xué)習(xí)（reinforcement learning，RL）[70]與元學(xué)習(xí)結(jié)合。該模型將具有相同關(guān)系r的三元組查詢都視為一項(xiàng)任務(wù)，對(duì)每個(gè)任務(wù)先利用RL 訓(xùn)練一個(gè)代理，目的是搜索目標(biāo)尾實(shí)體和推理路徑，其中該模型為了使用決策的歷史信息使用LSTM網(wǎng)絡(luò)對(duì)搜索路徑進(jìn)行編碼，訓(xùn)練過程中，此部分的損失函數(shù)定義為：

其中，r是查詢關(guān)系，D是查詢關(guān)系的三元組集合，es、eo代表頭實(shí)體和目標(biāo)尾實(shí)體，ai是動(dòng)作，R(sT|es,r)是RL 中的獎(jiǎng)勵(lì)機(jī)制。在得到參考集合DS的參數(shù)θ后，為了使其包含不同任務(wù)的共同特征，達(dá)到能夠快速適應(yīng)少樣本任務(wù)的效果，該模型利用元學(xué)習(xí)的思想，通過每個(gè)任務(wù)的查詢集合DQ對(duì)θ進(jìn)行更新，更新公式如下：

Meta-KGR 模型作為一種基于元學(xué)習(xí)的多跳推理模型，與之前的多跳推理模型相比，Meta-KGR 模型在FKGC 任務(wù)上更有優(yōu)勢。與其他FKGC 方法相比，Meta-KGR 模型能提供多跳的解釋路徑，而大多數(shù)方法都是缺乏可解釋性的。此外，在基于FB15k-237 和NELL-995 數(shù)據(jù)集的少樣本實(shí)驗(yàn)中，該模型效果均優(yōu)于當(dāng)時(shí)最先進(jìn)的多跳推理方法，并且實(shí)驗(yàn)還證明了模型具有魯棒性，即可以推廣到不同類型的知識(shí)圖譜。但是由于該模型的推理每一步都要求有對(duì)應(yīng)的路徑進(jìn)行搜索查找，當(dāng)出現(xiàn)沒有路徑的答案時(shí)，模型效果就大大降低。

在少樣本知識(shí)圖譜補(bǔ)全過程中，如果當(dāng)前鄰域過于稀疏，那么在構(gòu)建鄰域表示時(shí)鄰域中的噪音信息會(huì)被放大，從而影響模型效果。為解決該問題，Niu等人[37]在2021年提出了GANA模型，該模型的核心是通過門控網(wǎng)絡(luò)和圖注意力機(jī)制[71]過濾鄰域中的噪音信息，找到鄰域中最有價(jià)值的信息。為了確定實(shí)體鄰域的范圍進(jìn)而減少實(shí)體鄰域中噪音信息的影響，GANA 模型首先拼接與實(shí)體相連接的每個(gè)關(guān)系嵌入和尾實(shí)體嵌入得到ci，同時(shí)賦予每個(gè)ci對(duì)應(yīng)的權(quán)重αi：

其中，g是門值，它的目的是自動(dòng)確定實(shí)體鄰域的范圍，進(jìn)而利用圖注意力機(jī)制賦予權(quán)重，得到噪音信息更少的實(shí)體鄰域表示e′，即：

其中，ve是當(dāng)前實(shí)體的嵌入信息，W是權(quán)重參數(shù)。對(duì)于當(dāng)前三元組(h,r,t)而言，將頭實(shí)體鄰域表示h′和尾實(shí)體鄰域表示t′拼接就得到了減少噪音信息后的三元組關(guān)系鄰域表示s。此外，GANA模型為了對(duì)復(fù)雜關(guān)系進(jìn)行建模，提出了MTransH 方法，這種方法將TransH[72]作為評(píng)分函數(shù)與元學(xué)習(xí)進(jìn)行結(jié)合，與MetaR模型相比，這種結(jié)合效果更好，因?yàn)門ransH模型相對(duì)于TransE 模型可以更好地模擬三元組中的復(fù)雜關(guān)系。GANA 模型在基于Wiki-One 和NELL-One 數(shù)據(jù)集的實(shí)驗(yàn)中，與MetaR模型相比，MRR指標(biāo)分別提升8%、5%。在針對(duì)復(fù)雜關(guān)系建模的實(shí)驗(yàn)中，GANA 模型也證明了自身在處理1-N、N-1上的優(yōu)勢，這說明將元學(xué)習(xí)與TransH結(jié)合的方法在對(duì)復(fù)雜關(guān)系建模時(shí)是有效的。但是實(shí)驗(yàn)同時(shí)也暴露出GANA在N-N上的效果不佳，這也和N-N 的情況下，F(xiàn)KGC 任務(wù)難度增加有關(guān)。

Meta-iKG 模型[38]是Zheng 等人在2022 年提出的，該模型的核心是利用局部子圖傳輸特定子圖信息。該模型將FKGC任務(wù)轉(zhuǎn)換為子圖建模問題，將相同關(guān)系的三元組查詢視為一個(gè)任務(wù)。在特定關(guān)系學(xué)習(xí)模塊利用GNN網(wǎng)絡(luò)[73]圍繞特定關(guān)系的子圖學(xué)習(xí)到參數(shù)θ，再構(gòu)建元學(xué)習(xí)器模塊，從θ中提取出不同任務(wù)中的相同特征，最終達(dá)到快速適應(yīng)少樣本和多樣本任務(wù)的目的。

與其他元學(xué)習(xí)模型相比，Meta-iKG 模型在傳統(tǒng)元學(xué)習(xí)的基礎(chǔ)上，引入了多樣本關(guān)系的更新過程，使其能夠很好地對(duì)少樣本關(guān)系進(jìn)行泛化，基于FB15k-237 數(shù)據(jù)集的實(shí)驗(yàn)也證明了這一觀點(diǎn)。同時(shí)因?yàn)槟Ｐ椭荒芴崛∽訄D的結(jié)構(gòu)語義，而子圖是一個(gè)有向圖結(jié)構(gòu)，這就導(dǎo)致模型不能很好地解決反對(duì)稱關(guān)系的三元組類型。

表2 匯總了本節(jié)所提到的基于元學(xué)習(xí)的FKGC方法，MetaR模型[35]、Meta-KGR模型[36]、GANA模型[37]、Meta-iKG 模型[38]都在元學(xué)習(xí)的方法中具有代表性，同時(shí)它們都能夠較好地適用于FKGC任務(wù)，只是每個(gè)模型的側(cè)重點(diǎn)不同。MetaR 模型側(cè)重于利用元學(xué)習(xí)來解決少樣本問題，Meta-KGR 模型側(cè)重于將RL 和元學(xué)習(xí)結(jié)合，GANA 模型側(cè)重于使用門控網(wǎng)絡(luò)和圖注意力來消除噪音，Meta-iKG 側(cè)重于利用局部子圖來傳輸特定的子圖信息。

表2 元學(xué)習(xí)方法匯總Table 2 Summary of meta learning methods

整體而言，基于元學(xué)習(xí)的方法更關(guān)注于關(guān)系信息的獲取，模型整體結(jié)構(gòu)一般分成兩部分：第一部分負(fù)責(zé)融合信息，獲取到任務(wù)關(guān)系的表示；第二部分負(fù)責(zé)利用元學(xué)習(xí)加速更新過程，達(dá)到快速適應(yīng)新關(guān)系的目的。在這個(gè)過程中，研究者為了達(dá)到更好的效果，一般將元學(xué)習(xí)的方法與其他方法進(jìn)行結(jié)合，例如Meta-KGR 模型中結(jié)合RL，GANA 模型中結(jié)合圖注意力網(wǎng)絡(luò)，Meta-iKG模型中結(jié)合GNN網(wǎng)絡(luò)等。

2.3 基于其他模型的方法

除了上述兩種主流方法外，還有少數(shù)研究者正在拓展其他方法的研究，但是由于這些方法之間理論不同，又無法匯總出一個(gè)新的類別，只能暫時(shí)將它們歸為基于其他模型的方法。雖然這些研究并不一定有突破的進(jìn)展，但是為后續(xù)的研究者提供了一條新的思路。本節(jié)將介紹一些其中典型的方法，例如基于雙重過程理論的模型CogKR（cognitive knowledge graph reasoning）[46]、基于知識(shí)協(xié)同微調(diào)方法的模型（knowledge coordination fine-tuning，KnowCo-Tuning）[47]、基于對(duì)抗遷移學(xué)習(xí)的模型wRAN（weighted relation adversarial network）[48]和基于注意力機(jī)制的模型[49]。

雙重過程理論[74]認(rèn)為人類的推理系統(tǒng)由兩種不同形式的系統(tǒng)組成：一個(gè)系統(tǒng)是無意識(shí)且隱藏的，它負(fù)責(zé)檢索大腦中的信息；另一個(gè)系統(tǒng)是有意識(shí)且可控的，它負(fù)責(zé)將收集到的信息進(jìn)行推理?；诖死碚摚珼u 等人[46]在2019 年提出了CogKR 模型，該模型的思路是首先在摘要模塊中通過實(shí)體對(duì)(h,t)得到潛在關(guān)系表示ωh,t：

其中，Ne是實(shí)體e的鄰域，ve、vr是實(shí)體和關(guān)系的嵌入表示，W是權(quán)重參數(shù)，ωe是實(shí)體的信息表示。之后給定一個(gè)頭實(shí)體h^，與人類的推理過程類似，模型通過對(duì)認(rèn)知圖譜的迭代更新，最終預(yù)測出正確的尾實(shí)體t^，這個(gè)過程結(jié)合了隱式搜索和可控推理。

與其他方法相比，認(rèn)知圖譜的使用具有兩個(gè)優(yōu)勢：一是圖結(jié)構(gòu)的數(shù)據(jù)更加靈活；二是搜索效率更高，因?yàn)閭鹘y(tǒng)的嵌入方法完成一次查詢需要遍歷整個(gè)實(shí)體集合，而CogKR 模型依靠局部結(jié)構(gòu)大大降低了時(shí)間復(fù)雜度，所以CogKR 可以更容易地?cái)U(kuò)展到大型知識(shí)圖譜上。在FKGC 的數(shù)據(jù)集上，CogKR 模型與Gmatching模型相比，MRR指標(biāo)提高了5.0%，但是在長路徑的推理上，Gmatching 模型更占優(yōu)勢，尤其是一些沒有路徑的答案，這與CogKR 模型結(jié)構(gòu)模擬了推理系統(tǒng)的搜索與推理有關(guān)，導(dǎo)致路徑越長找到答案的概率就越小，在后續(xù)的研究中，可以將更多的信息融入到模型中，進(jìn)而加強(qiáng)長路徑上的推理能力。

預(yù)訓(xùn)練語言模型已經(jīng)在自然語言處理的各個(gè)領(lǐng)域取得了優(yōu)異的結(jié)果[75]，研究者最近的工作是研究如何利用提示對(duì)下游任務(wù)進(jìn)行微調(diào)，以更好地利用預(yù)訓(xùn)練語言模型。提示包含兩部分：一是模板，它由自然語言組成用來提示模型的輸出；二是提示詞，它表示如何將模型輸出的詞匯轉(zhuǎn)換為每一個(gè)類別的分?jǐn)?shù)。因此，在FKGC 任務(wù)中，如何結(jié)合知識(shí)圖譜的顯示知識(shí)和預(yù)訓(xùn)練語言模型的隱式知識(shí)成為了一個(gè)問題。針對(duì)此問題，文獻(xiàn)[47]提出了一種知識(shí)協(xié)同微調(diào)模型（KnowCo-Tuning），該模型的核心是通過協(xié)同微調(diào)算法來學(xué)習(xí)最優(yōu)的模板和標(biāo)簽。具體過程如下：

首先基于知識(shí)圖譜的結(jié)構(gòu)化知識(shí)為FKGC 任務(wù)生成模板τ：

其中，XS、XO分別是頭實(shí)體和尾實(shí)體。

其次使用一對(duì)多的映射函數(shù)M(yj)=={v1,v2,…,vk},v∈V來表示標(biāo)簽的語義信息特點(diǎn)，其中v表示語言模型字典中的字或詞。

最后KnowCo-Tuning 模型的標(biāo)簽概率組合為如下形式：

其中，h[MASK]是τ中[MASK]位置對(duì)應(yīng)的特征向量，wM(y)是標(biāo)簽詞匯對(duì)應(yīng)的特征矩陣，兩者相乘最終得到匹配概率。

與其他FKGC模型相比，KnowCo-Tuning模型不僅是一種新穎的基于預(yù)訓(xùn)練語言模型的微調(diào)范式，而且模型訓(xùn)練過程簡單、有效，同時(shí)KnowCo-Tuning模型具有拓展到其他任務(wù)的能力。與常規(guī)的Fine-Tuning模型相比，KnowCo-Tuning模型能夠更好地利用模型中存儲(chǔ)的外部信息，這是因?yàn)槠渥陨頉]有引入新的網(wǎng)絡(luò)框架和其他參數(shù)并且將微調(diào)和預(yù)訓(xùn)練統(tǒng)一進(jìn)行。在FKGC 的實(shí)驗(yàn)中，其性能優(yōu)于傳統(tǒng)的TransE[13]、TransH[72]等模型。但是在模板τ中，頭尾實(shí)體被直接使用，由于實(shí)體在不同情況下，它的含義可能是不相同的，而通過實(shí)體的鄰域可以得到更多的實(shí)體信息，KnowCo-Tuning模型忽略了實(shí)體的鄰域信息。

對(duì)抗遷移學(xué)習(xí)指通過對(duì)抗性學(xué)習(xí)提取域的不變特征以完成遷移學(xué)習(xí)，一般從一個(gè)領(lǐng)域的多資源數(shù)據(jù)中學(xué)習(xí)特征，用于不同但相關(guān)的領(lǐng)域中，通常應(yīng)用于少樣本領(lǐng)域[76]。受到對(duì)抗遷移學(xué)習(xí)的啟發(fā)，Zhang等人[48]在2020 年提出了wRAN 模型，模型核心是在特征遷移的過程中，通過選取無關(guān)樣本減少負(fù)遷移的影響。首先利用卷積神經(jīng)網(wǎng)絡(luò)將三元組編碼成向量，其次利用對(duì)抗遷移學(xué)習(xí)框架區(qū)分不同關(guān)系的分布，最后為了識(shí)別不相關(guān)的樣本并降低它們的權(quán)重，該模型提出了一種關(guān)系門控機(jī)制成功解決負(fù)遷移問題。作為第一個(gè)將對(duì)抗遷移學(xué)習(xí)應(yīng)用于FKGC 任務(wù)的wRAN 模型，不僅可以將FKGC 任務(wù)和關(guān)系提取任務(wù)相結(jié)合，而且在FKGC和關(guān)系提取的少樣本數(shù)據(jù)集上都超過了當(dāng)時(shí)的模型。但是wRAN模型在識(shí)別不相關(guān)樣本時(shí)，會(huì)對(duì)語義相似樣本給予不正確的權(quán)重，這也影響了模型的最終結(jié)果，在未來的研究中，可以將注意力機(jī)制引入到模型中，與關(guān)系門控機(jī)制一起合理分配權(quán)重。

現(xiàn)如今，注意力機(jī)制已經(jīng)被廣泛應(yīng)用于各個(gè)領(lǐng)域中。Xie 等人在2019 年提出了一種基于注意力機(jī)制的模型（因?yàn)樵闹胁]有給出模型名稱，所以下文皆用AMmodel代表此模型）[49]，與FAAN 模型獲取關(guān)系嵌入信息相比，該模型直接利用注意力機(jī)制構(gòu)建了一種新的匹配函數(shù)。首先將Gmatching 模型的1-shot匹配處理器升級(jí)成為少樣本匹配處理器；接著利用注意力機(jī)制對(duì)隱藏層狀態(tài)進(jìn)行處理，這樣的操作為模型引入了更多的信息；最后集合所有少樣本信息得到相似度分?jǐn)?shù)。與其他模型相比，新的匹配函數(shù)不僅可以獲取到更為豐富的關(guān)系表示，還在訓(xùn)練的過程中減少了大量的參數(shù)。在基于Nell-One 的實(shí)驗(yàn)中，該模型與Gmatching 相比，性能提高了0.03。但是由于該模型在獲取關(guān)系實(shí)體對(duì)的嵌入信息時(shí)，只是單純地將實(shí)體關(guān)系信息拼接，沒有考慮到鄰域中的噪音信息。

表3匯總了本節(jié)所提到的基于其他模型的FKGC方法，可以看出CogKR模型[46]、Know-CoTuning模型[47]、wRAN模型[48]、AMmodel模型[49]分別在搜索和推理效率、結(jié)合預(yù)訓(xùn)練語言模型、降低不相關(guān)信息權(quán)重、減少參數(shù)和優(yōu)化匹配函數(shù)等方面都發(fā)揮了各自的優(yōu)勢，提高FKGC方法的效果。但是由于它們都來源于不同的理論方法，它們的局限性也互不相同，例如CogKR模型的理論源自推理模型，從數(shù)學(xué)角度分析，路徑越長推理出結(jié)果的概率就越小，因此CogKR 模型在長路徑的推理上效果不好；wRAN模型的理論源自對(duì)抗遷移學(xué)習(xí)，對(duì)于對(duì)抗網(wǎng)絡(luò)而言，語義相似但是字符不同的語句就是不相同的兩句話，這樣就會(huì)導(dǎo)致wRAN 模型初始在語義相似樣本上的效果不好?？傮w來說，這些模型的提出不僅推動(dòng)了FKGC領(lǐng)域的進(jìn)步，還豐富了FKGC 方法的研究，為后續(xù)的研究者提供了廣泛的思路。

表3 其他方法匯總Table 3 Summary of other methods

3 少樣本知識(shí)圖譜實(shí)驗(yàn)比較

本章介紹了在少樣本知識(shí)圖譜補(bǔ)全任務(wù)中常使用的數(shù)據(jù)集，介紹了實(shí)驗(yàn)中常用的評(píng)價(jià)指標(biāo)，對(duì)上述模型的常用數(shù)據(jù)集、評(píng)價(jià)指標(biāo)、模型特點(diǎn)和實(shí)驗(yàn)結(jié)果進(jìn)行了總結(jié)歸納。最后以NELL-One 和Wiki-One 數(shù)據(jù)集為例，展示了上述模型在少樣本知識(shí)圖譜補(bǔ)全任務(wù)上的實(shí)驗(yàn)結(jié)果。

3.1 常用數(shù)據(jù)集介紹

隨著研究者對(duì)少樣本知識(shí)圖譜補(bǔ)全任務(wù)的探索，逐漸出現(xiàn)了一些針對(duì)少樣本知識(shí)圖譜補(bǔ)全任務(wù)的數(shù)據(jù)集，其中Xiong 等人構(gòu)建的兩個(gè)數(shù)據(jù)集NELL-One和Wiki-One頻繁被用于少樣本知識(shí)圖譜補(bǔ)全任務(wù)。

NELL-One和Wiki-One分別源自NELL和Wikidata數(shù)據(jù)集。NELL數(shù)據(jù)集[2]是一個(gè)通過閱讀網(wǎng)絡(luò)持續(xù)收集結(jié)構(gòu)化知識(shí)的數(shù)據(jù)集，而NELL-One數(shù)據(jù)集刪除了NELL中的反向關(guān)系并篩選出其中擁有少于500個(gè)大于50個(gè)的實(shí)體關(guān)系三元組。但是NELL-One數(shù)據(jù)集不能測試出模型在大規(guī)模KG 上運(yùn)行的能力，同時(shí)，Xiong等人也希望有足夠多數(shù)據(jù)可以對(duì)此進(jìn)行評(píng)估，因此他們用同樣的方法構(gòu)建一個(gè)基于Wikidata[3]的FKGC數(shù)據(jù)集Wiki-One。從表4中可知，就實(shí)體和三元組的數(shù)量而言，Wiki-One數(shù)據(jù)集比NELL-One數(shù)據(jù)集都要大一個(gè)數(shù)量級(jí)。

表4 少樣本知識(shí)圖譜補(bǔ)全常用數(shù)據(jù)集Table 4 Often-used datasets of FKGC

除了上述兩種經(jīng)常被使用的數(shù)據(jù)集外，還有一些在FKGC 任務(wù)中使用過的數(shù)據(jù)集，其中包括具有多種關(guān)系類別的Umls[77]數(shù)據(jù)集、基于WordNet[78]的WN18RR 數(shù)據(jù)集、基于Freebase[79]的FB15K-237 數(shù)據(jù)集和基于NELL的NELL-995數(shù)據(jù)集。本文收集了出現(xiàn)在FKGC 任務(wù)中的數(shù)據(jù)集，總共6 個(gè)，每個(gè)數(shù)據(jù)集的實(shí)際數(shù)據(jù)見表4。

3.2 評(píng)價(jià)指標(biāo)

目前針對(duì)少樣本知識(shí)圖譜補(bǔ)全算法，還沒有特定的評(píng)價(jià)指標(biāo)，而是使用傳統(tǒng)的知識(shí)圖譜補(bǔ)全算法的評(píng)價(jià)指標(biāo)MRR 以及Hits@n，其中MRR 是每個(gè)少樣本知識(shí)圖譜補(bǔ)全算法普遍使用的評(píng)價(jià)指標(biāo)，此外，不同的少樣本知識(shí)圖譜補(bǔ)全算法也會(huì)采用不同的Hits@n指標(biāo)。

（1）MRR

MRR指標(biāo)代表在所有預(yù)測的三元組中正確實(shí)體在預(yù)測結(jié)果中的平均排名的倒數(shù)，該指標(biāo)數(shù)值越大代表正確實(shí)體的排名越靠前，是評(píng)價(jià)少樣本知識(shí)圖譜補(bǔ)全算法的重要指標(biāo)。

（2）Hits@n

Hits@n指標(biāo)代表在所有預(yù)測的三元組中正確的缺失實(shí)體排名在前n名的概率，例如Hits@1 代表正確的缺失實(shí)體在所有預(yù)測結(jié)果中排名第一的概率。該指標(biāo)的數(shù)值越大代表少樣本知識(shí)圖譜補(bǔ)全算法的性能越好，常見的指標(biāo)參數(shù)為Hits@10、Hits@3 和Hits@1。

3.3 方法比較

本文將FKGC方法分為三類，并針對(duì)每種方法所述模型，從方法分類、發(fā)表年份、數(shù)據(jù)集、評(píng)價(jià)指標(biāo)、模型優(yōu)點(diǎn)、局限性和模型思路上進(jìn)行比較，具體的比較結(jié)果見表5。

表5 少樣本知識(shí)圖譜補(bǔ)全模型比較Table 5 Comparison of FKGC models

從論文的發(fā)表時(shí)間可以看出，自從FKGC任務(wù)在2018 年被提出后，有越來越多的研究者開始探索如何完善FKGC 方法或者是提出新的方法來完成FKGC任務(wù)；從數(shù)據(jù)集的使用上可以看出，NELL-One和Wiki-One 數(shù)據(jù)集是FKGC 任務(wù)中的常用數(shù)據(jù)集，但是隨著時(shí)間的發(fā)展，一些新的數(shù)據(jù)集也被用于此任務(wù)，例如2022年KnowCo-Tuning[47]模型使用umls、WN18RR、FB15K-237（mini）數(shù)據(jù)集，這些數(shù)據(jù)集第一次出現(xiàn)在FKGC任務(wù)中；從評(píng)價(jià)指標(biāo)的使用上可以看出，MRR、Hits@n已經(jīng)成為FKGC方法通用的評(píng)價(jià)指標(biāo)，但是一些模型也在使用新的評(píng)價(jià)指標(biāo)，這些新出現(xiàn)的評(píng)價(jià)指標(biāo)也可能成為以后的通用評(píng)價(jià)指標(biāo)；從模型的局限性分析，可以看出早期模型的局限性問題已經(jīng)被新的模型所解決，但是對(duì)于最新的模型來說，少樣本中復(fù)雜的關(guān)系、對(duì)稱與反對(duì)稱問題一直是一個(gè)難點(diǎn)。

3.4 實(shí)驗(yàn)結(jié)果

為了加深對(duì)FKGC方法的理解，本節(jié)匯總了上述模型在NELL-One 和Wiki-One 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。此外，為了與傳統(tǒng)的KGC方法進(jìn)行比較，表中還加入了TransE 模型、TransH 模型、DisMult 模型等經(jīng)典的傳統(tǒng)KGC模型結(jié)果。為了保證實(shí)驗(yàn)結(jié)果的公平和客觀，本文只選用了這些模型中在NELL-One 和Wiki-One 數(shù)據(jù)集上的結(jié)果，并保證它們在訓(xùn)練時(shí)的嵌入維度分別是100和50。

傳統(tǒng)KGC方法的最佳參數(shù)源自相關(guān)文獻(xiàn)[26,37]；FSRL模型中LSTM層隱藏狀態(tài)維度為200和100，匹配網(wǎng)絡(luò)的遞歸步數(shù)為2；FAAN 模型中transformer 層數(shù)為3和4；GANA模型中BiLSTM層數(shù)為2；TransAM模型中transformer層數(shù)為3和4（其中傳統(tǒng)KGC方法實(shí)驗(yàn)結(jié)果來自文獻(xiàn)[26]和文獻(xiàn)[37]，Gmatching 模型、MetaR模型、FSRL模型、GANA模型結(jié)果來自文獻(xiàn)[37]，其余模型結(jié)果均源自相關(guān)文獻(xiàn)。表6、表7 中加粗為最好結(jié)果，下劃線為次好結(jié)果，“—”代表此模型并沒有相關(guān)的實(shí)驗(yàn)結(jié)果）。

表6 在NELL-One數(shù)據(jù)集上FKGC實(shí)驗(yàn)結(jié)果Table 6 Experimental results of FKGC on NELL-One dataset

表7 在Wiki-One數(shù)據(jù)集上FKGC實(shí)驗(yàn)結(jié)果Table 7 Experimental results of FKGC on Wiki-One dataset

從表6可以看出，在NELL-One數(shù)據(jù)集上，F(xiàn)KGC的方法在5-shot 的條件下，每個(gè)指標(biāo)都優(yōu)于傳統(tǒng)的KGC模型，在其他shot的條件下，大多數(shù)指標(biāo)都優(yōu)于傳統(tǒng)的KGC 模型，這證明了FKGC 方法在FKGC 任務(wù)上的優(yōu)越性；在基于度量的方法中，1-shot 的條件下，TransAM的效果最好，其MRR指標(biāo)優(yōu)于其他的方法；整體而言，GANA 模型的效果最好，因?yàn)槠浯蟛糠种笜?biāo)都是最好的結(jié)果，只有3-shot 條件下，Hits@5的結(jié)果是次好結(jié)果。

從表7 可以看出，在Wiki-One 數(shù)據(jù)集上，F(xiàn)KGC方法的指標(biāo)沒有全部優(yōu)于傳統(tǒng)的KGC 模型，這是因?yàn)閃iki-One 數(shù)據(jù)集比NELL-One 數(shù)據(jù)集大一個(gè)數(shù)量級(jí)，使得傳統(tǒng)的KGC 模型學(xué)習(xí)到了更多的信息。在基于其他模型的方法中，CogKR模型的效果在1-shot的條件下最好；在基于度量學(xué)習(xí)的方法中，TransAM模型的效果在1-shot 的條件下最好；整體而言，GANA模型的效果要優(yōu)于其他FKGC模型。

4 研究與展望

本文對(duì)目前FKGC任務(wù)的研究現(xiàn)狀進(jìn)行了闡述，對(duì)目前FKGC 領(lǐng)域中經(jīng)典的模型和最新的成果進(jìn)行了總結(jié)和歸納。本章討論了目前FKGC 研究的難點(diǎn)問題，并對(duì)少樣本知識(shí)圖譜補(bǔ)全技術(shù)的發(fā)展方向進(jìn)行了展望。

基于各種方法的FKGC 任務(wù)雖然已經(jīng)取得了一些成果，但是依然面臨著一些問題：

一是鄰域信息的使用和去噪。目前大部分的FKGC 方法都是集合實(shí)體的鄰域信息得到關(guān)系表示最終完成任務(wù)，這就導(dǎo)致在集合實(shí)體鄰域信息的過程中，很多方法只選用了實(shí)體的一階鄰居信息，而忽略了三元組周圍的高階鄰域信息。其次，在集合實(shí)體鄰域信息時(shí)，有些實(shí)體并沒有很多鄰居信息，但是伴隨編碼范圍的擴(kuò)大，就需要引入很多無關(guān)的信息甚至是噪音信息，這就導(dǎo)致得到的實(shí)體鄰域信息質(zhì)量不高甚至嚴(yán)重影響最終模型效果。目前研究者已經(jīng)開始研究如何獲取和使用更高階的鄰域信息同時(shí)降低鄰域信息中的噪音，例如GANA 模型中使用門控網(wǎng)絡(luò)處理了一部分的噪音信息并取得了很好的效果。后續(xù)的研究者還需要探索更好的方法。

二是復(fù)雜的關(guān)系。對(duì)于三元組的關(guān)系而言，可分為1-1、1-N、N-1 以及N-N 的關(guān)系；對(duì)于模型而言，越復(fù)雜的關(guān)系越需要更多的樣本來學(xué)習(xí)，但是少樣本知識(shí)圖譜補(bǔ)全任務(wù)又無法提供大量的樣本，這就導(dǎo)致了復(fù)雜的關(guān)系對(duì)于所有FKGC 方法而言都是困難且充滿挑戰(zhàn)的。因此如何設(shè)計(jì)一種針對(duì)復(fù)雜關(guān)系的表示方法，讓模型在少量樣本下也能識(shí)別出復(fù)雜關(guān)系，仍是今后研究難點(diǎn)。

隨著FKGC技術(shù)的不斷發(fā)展，越來越多的研究者開始關(guān)注此任務(wù)，未來的發(fā)展方向可以從以下幾方面考慮：

一是少樣本時(shí)序知識(shí)圖譜的補(bǔ)全?，F(xiàn)有的大多數(shù)知識(shí)圖譜都是靜態(tài)的圖結(jié)構(gòu)[81]，但在實(shí)際使用的過程中，知識(shí)圖譜的圖結(jié)構(gòu)往往會(huì)伴隨著時(shí)間而發(fā)生變化，例如增加實(shí)體或者刪除實(shí)體之間的關(guān)系。這種結(jié)構(gòu)變化雖然短時(shí)間內(nèi)對(duì)全局影響不大，但在長期的改變下，為了靜態(tài)圖而研究的方法無法適用于動(dòng)態(tài)的變化。文獻(xiàn)[82]提供了一種新穎的思路，利用自我注意力機(jī)制來編碼實(shí)體間的時(shí)序信息，通過一次性學(xué)習(xí)框架來完成少樣本時(shí)序知識(shí)圖譜的補(bǔ)全任務(wù)。除此之外，還有很多少樣本時(shí)序知識(shí)圖譜的補(bǔ)全方法[83-84]。因此如何對(duì)少樣本時(shí)序知識(shí)圖譜進(jìn)行補(bǔ)全具有較大的顯示意義和應(yīng)用價(jià)值，同時(shí)可能也是未來的研究方向之一。

二是知識(shí)圖譜嵌入方法的結(jié)合。知識(shí)圖譜嵌入的方法被廣泛應(yīng)用在FKGC 的方法中，例如：Gmatching模型[16]中利用知識(shí)圖譜嵌入的各種方法作為預(yù)訓(xùn)練得到實(shí)體和關(guān)系的嵌入信息；MetaR 模型[35]中利用TransE[13]的思想求出梯度元信息，并對(duì)最終的結(jié)果進(jìn)行打分；GANA模型[25]在局部階段將TransH[72]與元學(xué)習(xí)結(jié)合建模復(fù)雜的關(guān)系信息。知識(shí)圖譜嵌入方法的質(zhì)量對(duì)FKGC方法的效果具有顯著的影響[22]，因此研究FKGC 中如何更好地結(jié)合知識(shí)圖譜嵌入方法具有重要的意義。

三是對(duì)零樣本方法的研究。零樣本學(xué)習(xí)[85-86]的目的在于預(yù)測出沒有在訓(xùn)練數(shù)據(jù)中出現(xiàn)的數(shù)據(jù)。在現(xiàn)實(shí)生活中，知識(shí)圖譜每次更新都有可能加入新的數(shù)據(jù)，那么這些沒有被模型見過的數(shù)據(jù)，會(huì)影響到模型的實(shí)際效果[86-87]，如文獻(xiàn)[88]利用GAN（generative adversarial networks）的思想，創(chuàng)建了一種生成類的零樣本學(xué)習(xí)框架，對(duì)不可見數(shù)據(jù)進(jìn)行預(yù)測以完成零樣本知識(shí)圖譜補(bǔ)全任務(wù)。因此，對(duì)零樣本知識(shí)圖譜補(bǔ)全任務(wù)的關(guān)注和研究也具有一定的意義。此外，為了更加有效地評(píng)估零樣本知識(shí)圖譜補(bǔ)全方法，根據(jù)具體的任務(wù)定義，制作通用的數(shù)據(jù)集和評(píng)價(jià)指標(biāo)也有著一定的必要性[89]。