基于動(dòng)態(tài)圖注意力與標(biāo)簽傳播的實(shí)體對(duì)齊

莫少聰,陳慶鋒,謝澤,劉春雨,邱俊錸

(廣西大學(xué)計(jì)算機(jī)與電子信息學(xué)院,廣西 南寧 530004)

0 引言

知識(shí)圖譜是一系列顯示知識(shí)組成結(jié)構(gòu)關(guān)系的實(shí)體集合,可高效利用可視化技術(shù)描述知識(shí)資源,是人工智能、自然語言處理、語義網(wǎng)等領(lǐng)域的重要知識(shí)載體。知識(shí)圖譜構(gòu)建一個(gè)機(jī)器與人都能理解的關(guān)系網(wǎng)絡(luò),隨著深度學(xué)習(xí)、表示學(xué)習(xí)模型的迅速發(fā)展,知識(shí)圖譜在知識(shí)推理[1]、推薦系統(tǒng)[2]、知識(shí)問答[3]等領(lǐng)域得到廣泛應(yīng)用。但是,隨著各種知識(shí)圖譜數(shù)據(jù)集數(shù)量的持續(xù)擴(kuò)大,知識(shí)圖譜數(shù)據(jù)愈發(fā)呈現(xiàn)跨領(lǐng)域、知識(shí)逐漸細(xì)分的特性,進(jìn)一步提高了融合多源知識(shí)圖譜的難度。知識(shí)圖譜數(shù)據(jù)的不同語言與不同規(guī)則之間的構(gòu)造方式不同,使得人們難以整合數(shù)據(jù)庫(kù)中的豐富信息。

最早的實(shí)體對(duì)齊模型專注于符號(hào)表示的對(duì)齊規(guī)則[4],但需要大量的人工對(duì)齊成本并制定大量面向?qū)I(yè)領(lǐng)域的對(duì)齊規(guī)則。近年來,基于表示學(xué)習(xí)的模型逐漸成為實(shí)體對(duì)齊任務(wù)中的主流范式并取得了優(yōu)異的效果?，F(xiàn)有表示學(xué)習(xí)模型主要關(guān)注對(duì)知識(shí)圖譜中的(實(shí)體,關(guān)系,實(shí)體)三元組進(jìn)行特征學(xué)習(xí)。此外,也有一些模型嘗試結(jié)合知識(shí)圖譜中的結(jié)構(gòu)表示與實(shí)體自身的屬性特征表示進(jìn)行實(shí)體對(duì)齊,其中屬性特征包括屬性值的字符信息以及屬性三元組(實(shí)體,屬性名,屬性值)。以往的實(shí)體對(duì)齊模型在利用屬性特征信息時(shí),多采用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)屬性值內(nèi)部的字符序列信息,但大都只針對(duì)單個(gè)屬性內(nèi)部信息的字符序列進(jìn)行學(xué)習(xí),忽略了不同屬性對(duì)實(shí)體對(duì)齊任務(wù)的重要性差異。

本文認(rèn)為不同的屬性應(yīng)當(dāng)對(duì)實(shí)體表示有不同的作用,應(yīng)當(dāng)降低不重要屬性的影響,因此,本文提出基于動(dòng)態(tài)圖注意力與標(biāo)簽傳播的實(shí)體對(duì)齊模型。本文的主要工作為:

1)提出一種由3個(gè)模塊組成的實(shí)體對(duì)齊模型:首先通過動(dòng)態(tài)圖注意力屬性結(jié)構(gòu)表示模塊學(xué)習(xí)節(jié)點(diǎn)的屬性三元組特征;然后利用多維標(biāo)簽?zāi)K進(jìn)一步把屬性特征作為初始化標(biāo)簽,在實(shí)體間進(jìn)行迭代傳播從而完成屬性結(jié)構(gòu)與關(guān)系結(jié)構(gòu)的最終實(shí)體表示學(xué)習(xí);最后引入線性規(guī)劃算法對(duì)實(shí)體相似度矩陣進(jìn)行迭代,得到更精準(zhǔn)的實(shí)體對(duì)齊結(jié)果。

2)在不同訓(xùn)練集上進(jìn)行實(shí)驗(yàn),將本文模型與基準(zhǔn)模型的實(shí)體對(duì)齊結(jié)果進(jìn)行對(duì)比,驗(yàn)證本文模型的魯棒性。

3)在跨語言英法數(shù)據(jù)集EN-FR-15K、中英數(shù)據(jù)集EN-ZH-15K和中文醫(yī)學(xué)領(lǐng)域的實(shí)體對(duì)齊數(shù)據(jù)基準(zhǔn)MED-BBK-9K上進(jìn)行消融實(shí)驗(yàn),驗(yàn)證本文模型的效果。

1 研究現(xiàn)狀

1.1 知識(shí)圖譜表示學(xué)習(xí)

知識(shí)表示是人工智能領(lǐng)域至關(guān)重要的一個(gè)環(huán)節(jié),指將現(xiàn)實(shí)世界中的知識(shí)轉(zhuǎn)化為計(jì)算機(jī)可處理形式的過程。知識(shí)表示的發(fā)展經(jīng)歷了從早期的規(guī)則、框架等模型到現(xiàn)在的知識(shí)圖譜的演化。知識(shí)圖譜為了描述自然界中實(shí)體的多個(gè)文本語義,建立基于實(shí)體與關(guān)系的知識(shí)數(shù)據(jù)庫(kù)。每個(gè)語義可以用三元組(頭實(shí)體,關(guān)系,尾實(shí)體)表示,這種表達(dá)方式具有強(qiáng)大的靈活性,已被廣泛應(yīng)用于相關(guān)領(lǐng)域。

計(jì)算機(jī)領(lǐng)域中的知識(shí)表示模型最早可以追溯到1956年。RICHENS在劍橋語言研究中心創(chuàng)造了計(jì)算機(jī)領(lǐng)域中第一個(gè)語義網(wǎng)絡(luò)系統(tǒng)[5]。隨后,BORSBOOM等[6]進(jìn)一步提出了知識(shí)圖譜網(wǎng)絡(luò)分析的新思想。PARIS[7]實(shí)體對(duì)齊模型是目前使用最廣泛的模型之一,該模型首先基于概率模型對(duì)關(guān)系、實(shí)體和類之間的概率進(jìn)行建模,以無須手動(dòng)定義任何參數(shù)的優(yōu)點(diǎn)完成實(shí)體對(duì)齊任務(wù)。然而,該對(duì)齊模型在面對(duì)知識(shí)圖譜等數(shù)據(jù)庫(kù)特征有較大差異的情況時(shí),很難實(shí)現(xiàn)高精度的對(duì)齊結(jié)果,同時(shí)該模型還依賴于相似性計(jì)算規(guī)則的手動(dòng)定義。

TransE[8]是一種最早采用知識(shí)圖譜表示學(xué)習(xí)的嵌入式學(xué)習(xí)模型,然而,TransE不能捕捉實(shí)體對(duì)的一對(duì)多語義關(guān)系。為了改進(jìn)這一點(diǎn),出現(xiàn)了TransH[9]、TransR[10]等平移距離模型,但這類模型對(duì)實(shí)體和關(guān)系之間的一對(duì)多知識(shí)圖譜的表示能力不足,因?yàn)樗鼈冎荒軐?duì)關(guān)系進(jìn)行建模,這意味著它們不能有效地捕捉涉及多個(gè)實(shí)體的復(fù)雜關(guān)系,而這些關(guān)系往往存在于現(xiàn)實(shí)世界的知識(shí)圖譜中,因此不適用于對(duì)復(fù)雜關(guān)系進(jìn)行建模。

近幾年,深度學(xué)習(xí)被更多地用來作為知識(shí)圖譜表示的學(xué)習(xí)模型,包括ProjE[11]、ConvE[12]、R-GCN[13]等。ProjE利用多層感知機(jī)進(jìn)行建模;ConvE利用卷積和全連接層對(duì)實(shí)體和關(guān)系的聯(lián)系進(jìn)行建模;R-GCN利用圖卷積網(wǎng)絡(luò)(GCN)[14]進(jìn)行建模;ConvKB[15]將實(shí)體和關(guān)系建模為相同大小的嵌入向量,將每個(gè)三元組的嵌入連接到一個(gè)輸入矩陣;ConvR[16]用不同位數(shù)的一維向量表示實(shí)體嵌入和關(guān)系特征,通過點(diǎn)積結(jié)合神經(jīng)網(wǎng)絡(luò)輸出得到三元組;CaPsEM[17]采用膠囊網(wǎng)絡(luò)進(jìn)行實(shí)體和關(guān)系建模;RSN[18]使用隨機(jī)游走方式選擇實(shí)體并學(xué)習(xí)三元組的關(guān)系路徑。

1.2 標(biāo)簽傳播算法

標(biāo)簽傳播算法[19]是一種經(jīng)典的半監(jiān)督學(xué)習(xí)方法,其基本思路是根據(jù)節(jié)點(diǎn)之間的相似度在圖中進(jìn)行標(biāo)簽分布,利用樣本之間的關(guān)系建立完全圖模型,并將節(jié)點(diǎn)分為已標(biāo)注和未標(biāo)注兩類。通過學(xué)習(xí)圖中的鄰接關(guān)系,已標(biāo)注的節(jié)點(diǎn)將標(biāo)簽數(shù)據(jù)傳播到未標(biāo)注節(jié)點(diǎn)。節(jié)點(diǎn)之間的相似度越高,標(biāo)簽在2個(gè)節(jié)點(diǎn)之間越容易傳播。該算法的最大優(yōu)點(diǎn)是具有較低的復(fù)雜度且分類效果良好,被廣泛應(yīng)用于社區(qū)挖掘和節(jié)點(diǎn)分類領(lǐng)域。設(shè)R為社區(qū)圖上的鄰接矩陣,E為圖的度矩陣,B(m)為每個(gè)節(jié)點(diǎn)隨機(jī)初始化的特征矩陣,m為標(biāo)簽傳播的迭代輪數(shù),標(biāo)簽傳播過程可以表示如下:

B(m+1)=R(-1)EB(m)

(1)

標(biāo)簽傳播算法只需要少量的已知節(jié)點(diǎn)進(jìn)行訓(xùn)練,就可以按照制定的傳播規(guī)則對(duì)未知節(jié)點(diǎn)賦予標(biāo)簽。根據(jù)該假設(shè),在標(biāo)簽傳播時(shí),應(yīng)該盡可能選擇稀疏數(shù)據(jù)而不是密集的樣本數(shù)據(jù)點(diǎn),以預(yù)測(cè)和傳播未標(biāo)記數(shù)據(jù)的標(biāo)簽。只要同一類數(shù)據(jù)在空間分布上是相近的,那么不管數(shù)據(jù)分布是什么形狀,都可以通過標(biāo)簽傳播將它們分到同一個(gè)類中。因此,標(biāo)簽傳播算法可以高效處理圖像、知識(shí)圖譜以及視頻節(jié)點(diǎn)分類等問題。

1.3 實(shí)體對(duì)齊

1.3.1 基于翻譯模型的實(shí)體對(duì)齊模型

MTransE[20]模型最先將實(shí)體和關(guān)系編碼成向量,并通過翻譯模型捕捉它們之間的映射關(guān)系,以便在異構(gòu)知識(shí)圖譜中對(duì)齊目標(biāo)實(shí)體。JAPE[21]算法假設(shè)相似實(shí)體具有相似的相關(guān)屬性,該算法包含了上文提到的結(jié)構(gòu)嵌入和屬性嵌入,然后利用2種向量的嵌入結(jié)合學(xué)習(xí)得到知識(shí)圖譜中實(shí)體的嵌入再進(jìn)行實(shí)體對(duì)齊推測(cè)學(xué)習(xí)。

BootEA[22]采用基于翻譯的模型進(jìn)行嵌入,并通過預(yù)對(duì)齊結(jié)果反復(fù)訓(xùn)練分類器。在每次迭代中新的可能的映射被分類器標(biāo)記,將那些預(yù)對(duì)齊的實(shí)體對(duì)齊結(jié)果添加到下一次迭代中進(jìn)行訓(xùn)練。

為了利用多視圖進(jìn)行學(xué)習(xí),可以在知識(shí)圖譜表示學(xué)習(xí)步驟中融入實(shí)體名稱、實(shí)體屬性和關(guān)系結(jié)構(gòu)進(jìn)行實(shí)體對(duì)齊,MultiKE[23]使用多個(gè)視圖來實(shí)現(xiàn)實(shí)體的多個(gè)信息融合,通過對(duì)真實(shí)關(guān)系事實(shí)進(jìn)行評(píng)分、實(shí)體標(biāo)識(shí)推理來提高對(duì)齊效果。

1.3.2 基于圖神經(jīng)網(wǎng)絡(luò)的實(shí)體對(duì)齊模型

GCN-Align[24]假設(shè)對(duì)齊的實(shí)體往往具有更類似的屬性字符嵌入以及更相似的鄰居實(shí)體,其首次利用對(duì)偶圖卷積網(wǎng)絡(luò)模型學(xué)習(xí)節(jié)點(diǎn)向量和圖結(jié)構(gòu)特征。文獻(xiàn)[25]提出一種將圖元用于實(shí)體對(duì)齊的模型,把一對(duì)一的分類問題當(dāng)成實(shí)體對(duì)齊問題,生成候選實(shí)體對(duì)的標(biāo)簽。上述模型都是基于GNN[26]模型的進(jìn)一步拓展。

RDGCN[27]利用關(guān)系感知對(duì)偶圖卷積網(wǎng)絡(luò)學(xué)習(xí)源知識(shí)圖譜的關(guān)系結(jié)構(gòu)表示。為了進(jìn)一步編碼異構(gòu)關(guān)系知識(shí)圖譜中普遍存在的鄰居實(shí)體差異,RDGCN通過注意力機(jī)制建立原始圖和對(duì)偶關(guān)系圖之間的聯(lián)系,并將關(guān)系信息與相鄰的結(jié)構(gòu)信息進(jìn)行合并從而利用圖的三角結(jié)構(gòu)實(shí)現(xiàn)特征學(xué)習(xí)。該模型僅使用了較少的訓(xùn)練數(shù)據(jù)就在基準(zhǔn)數(shù)據(jù)集上實(shí)現(xiàn)了優(yōu)越的對(duì)齊性能。

RSN4EA[28]使用隨機(jī)游走來采樣訓(xùn)練集中預(yù)對(duì)齊實(shí)體之間的路徑,并提出循環(huán)跳過網(wǎng)絡(luò)的序列模型學(xué)習(xí)嵌入,然后使用該模型學(xué)習(xí)不同知識(shí)圖譜之間的關(guān)聯(lián)信息。RNM[29]通過圖卷積網(wǎng)絡(luò)學(xué)習(xí)實(shí)體和關(guān)系的嵌入,在得到對(duì)齊關(guān)系對(duì)的相似度矩陣后,利用已對(duì)齊的關(guān)系語義信息和屬性結(jié)構(gòu)信息,再用半監(jiān)督的方式進(jìn)行實(shí)體對(duì)齊和關(guān)系對(duì)齊的迭代。

NMN[30]為了解決實(shí)體對(duì)齊中普遍存在的實(shí)體鄰居不一致問題,通過基于抽樣的模型篩選知識(shí)圖譜中語義最豐富的鄰居,在實(shí)體對(duì)齊時(shí)同時(shí)考慮節(jié)點(diǎn)的拓?fù)浣Y(jié)構(gòu)與鄰居實(shí)體的相似度。DGMC[31]進(jìn)一步深化節(jié)點(diǎn)的鄰域特征學(xué)習(xí),采用局部特征匹配建模,通過進(jìn)一步檢測(cè)在預(yù)對(duì)齊結(jié)果中明顯錯(cuò)誤的部分并以迭代的方式消除匹配錯(cuò)誤的實(shí)體。目前,研究人員普遍使用圖卷積學(xué)習(xí)知識(shí)圖譜的特征,使得錯(cuò)誤傳播的問題得到了一定程度的緩解,但是以上模型對(duì)于單跳和多跳實(shí)體的傳播信息學(xué)習(xí)仍存在許多不足[32]。

2 本文模型設(shè)計(jì)與實(shí)現(xiàn)

知識(shí)圖譜實(shí)體對(duì)齊任務(wù)可以描述為給定2個(gè)需要對(duì)齊的知識(shí)圖譜,即源知識(shí)圖譜G1=(E1,R1,A1,V1,Tr1,Ta1)和待對(duì)齊的目標(biāo)知識(shí)圖譜G2=(E2,R2,A2,V2,Tr2,Ta2),其中,E、R、A、V、Tr、Ta分表代表知識(shí)圖譜中的實(shí)體、關(guān)系、屬性、屬性值、實(shí)體三元組、屬性三元組的集合。給定預(yù)先在2個(gè)圖中的對(duì)齊種子集M={(e1,e2)∈E1×E2|e1≡e2},其中,≡連接現(xiàn)實(shí)中實(shí)質(zhì)等同的對(duì)齊實(shí)體。實(shí)體對(duì)齊任務(wù)的目標(biāo)就是基于G1、G2、M找到2個(gè)知識(shí)圖譜中所有的相同實(shí)體。

如圖1所示,實(shí)體“椎動(dòng)脈型頸椎病”在另一個(gè)知識(shí)圖譜中會(huì)由其醫(yī)保號(hào)“a67095”所指代,都有名為“消炎藥物”的屬性,但其他較多的實(shí)體也有“消炎藥物”這一常見屬性,這2個(gè)實(shí)體的鄰居節(jié)點(diǎn)都與“頸痛”和“視力減退”有關(guān),不難發(fā)現(xiàn)在特征表示時(shí),更常見的屬性在區(qū)分實(shí)體時(shí)重要性更低,而不常見的屬性明顯對(duì)區(qū)分實(shí)體的特征更有利,如何利用屬性的重要性區(qū)分實(shí)體成為實(shí)體對(duì)齊任務(wù)的一大難題。

圖1 實(shí)體對(duì)齊示例Fig.1 Example of entity alignment

本文所提出的實(shí)體對(duì)齊模型如圖2所示。給定G1、G2、實(shí)體對(duì)齊種子M,動(dòng)態(tài)圖注意力對(duì)屬性三元組初步編碼得到實(shí)體表示,再通過多維標(biāo)簽傳播融合關(guān)系三元組鄰域信息后對(duì)實(shí)體表示進(jìn)行傳播以學(xué)習(xí)實(shí)體間的結(jié)構(gòu)特征,在得到相似度矩陣后,通過Sinkhorn線性規(guī)劃迭代得到最終的實(shí)體對(duì)齊相似度矩陣結(jié)果。

圖2 本文模型框架Fig.2 Framework of the model in this paper

2.1 動(dòng)態(tài)圖注意力屬性結(jié)構(gòu)表示模塊

圖注意力網(wǎng)絡(luò)[33]常用于計(jì)算節(jié)點(diǎn)的表示學(xué)習(xí)加權(quán)平均值,并利用打分函數(shù)為每個(gè)鄰居的邊計(jì)算權(quán)重,以確定鄰居節(jié)點(diǎn)對(duì)中心節(jié)點(diǎn)嵌入表示的影響程度。但是,這種圖注意力所學(xué)習(xí)到的注意力權(quán)重對(duì)普遍性的注意類型學(xué)習(xí)能力較差。例如“克羅恩病”與“克隆病”是對(duì)齊實(shí)體,且都有“消瘦”和“腸梗阻”2種屬性,在傳統(tǒng)圖注意力上,“消瘦”這一屬性在多個(gè)疾病中多次出現(xiàn),而“腸梗阻”則出現(xiàn)得較少,因此,學(xué)習(xí)到的鄰接關(guān)系特征應(yīng)該突出 “腸梗阻”這一注意力權(quán)重。

為了更好地學(xué)習(xí)不同屬性對(duì)實(shí)體表示的重要性,本文利用預(yù)訓(xùn)練模型來生成實(shí)體的屬性信息嵌入,進(jìn)而得到它的屬性特征序列和屬性值的字符特征序列。本文將屬性三元組視作邊,將屬性值視作節(jié)點(diǎn),構(gòu)建一個(gè)包含實(shí)體、屬性和屬性值的實(shí)體屬性子圖。為了有效地匯聚屬性與屬性值信息以更新實(shí)體表示,本文從圖節(jié)點(diǎn)預(yù)測(cè)領(lǐng)域得到啟發(fā),引入動(dòng)態(tài)圖注意力機(jī)制[34],在圖注意力網(wǎng)絡(luò)中,注意力系數(shù)分別將節(jié)點(diǎn)特征使用權(quán)重矩陣映射到新的空間,將新的向量進(jìn)行拼接,再利用單層前饋神經(jīng)網(wǎng)絡(luò)進(jìn)行內(nèi)積操作并通過LeakyReLU激活函數(shù)進(jìn)行激活,隨后使用Softmax將目標(biāo)節(jié)點(diǎn)與所有鄰居節(jié)點(diǎn)計(jì)算出來的相關(guān)度進(jìn)行歸一化。本文模型先將實(shí)體屬性子圖的節(jié)點(diǎn)特征向量進(jìn)行拼接,然后應(yīng)用線性變換進(jìn)行注意力系數(shù)非歸一化計(jì)算,如式(2)所示:

(2)

(3)

(4)

最終訓(xùn)練目標(biāo)是對(duì)2個(gè)空間的實(shí)體表示進(jìn)行統(tǒng)一,使得訓(xùn)練集中對(duì)齊種子的嵌入盡可能保持相似,確保其他潛在實(shí)體的表示盡可能相似。本文模型采用以下基于邊緣排名的損失函數(shù)訓(xùn)練L:

(5)

β-G(e′i,e′j)}

(6)

其中:β是超參數(shù);是正樣本集,是負(fù)樣本集,在對(duì)齊實(shí)體對(duì)中使用k近鄰算法,選取某個(gè)實(shí)體的鄰近實(shí)體作為負(fù)樣本集,以獲得一組正負(fù)樣本集合。采用AdaGrad優(yōu)化算法來優(yōu)化該損失函數(shù),對(duì)各鄰居實(shí)體根據(jù)式(3)、式(4)計(jì)算權(quán)重并加權(quán)組合,從而引入屬性名稱和結(jié)構(gòu)消息聚合同時(shí)減少無關(guān)屬性所帶來的噪聲影響,得到融合了屬性結(jié)構(gòu)特征的實(shí)體表示。

2.2 多維標(biāo)簽傳播模塊

在獲得知識(shí)圖譜的屬性結(jié)構(gòu)表示后,本文利用多維標(biāo)簽傳播模塊進(jìn)一步探索知識(shí)圖譜的關(guān)系三元組結(jié)構(gòu)信息。此前,大多數(shù)關(guān)系結(jié)構(gòu)信息學(xué)習(xí)模型主要基于圖神經(jīng)網(wǎng)絡(luò),該類模型在處理關(guān)系結(jié)構(gòu)特征時(shí),采用對(duì)每種關(guān)系類型訓(xùn)練單獨(dú)的參數(shù)矩陣的方式進(jìn)行特征學(xué)習(xí),忽略了圖關(guān)系三元組結(jié)構(gòu)的特征判別,且無法解決由于不同知識(shí)圖譜的模式定義而導(dǎo)致的異構(gòu)性問題。

LightEA[35]最先把實(shí)體對(duì)齊問題視為人臉識(shí)別中的身份標(biāo)簽對(duì)匹配問題,基于文獻(xiàn)[36]提出的理論:任意一對(duì)隨機(jī)采樣的高維向量都近似于正交向量,例如,當(dāng)實(shí)體向量維度為1 024時(shí),2個(gè)向量的內(nèi)積相似度大于0.1的概率小于4.96×10-3。LightEA利用隨機(jī)初始化賦予預(yù)對(duì)齊實(shí)體相同的向量特征,并將未對(duì)齊的實(shí)體和關(guān)系初始化為全零向量,再利用特定的傳播規(guī)則將標(biāo)簽進(jìn)行傳播以學(xué)習(xí)實(shí)體間的關(guān)系結(jié)構(gòu)特征。這種模型可以有效解決異構(gòu)關(guān)系結(jié)構(gòu)的實(shí)體對(duì)齊問題,為實(shí)體對(duì)齊提供一個(gè)多方面的信息視角。

(7)

(8)

(9)

2.3 基于線性規(guī)劃的對(duì)齊實(shí)體推測(cè)模塊

(10)

其中:E∈|ε|×|ε|指實(shí)體的相似度矩陣,ε是實(shí)體數(shù)量,矩陣中的每一個(gè)代表實(shí)體對(duì)的相似度;P是一個(gè)方形二進(jìn)制矩陣,在每行和每列中只有一個(gè)1而其他元素為0,P代表了實(shí)體對(duì)齊的推測(cè)結(jié)果矩陣,其每一行及每一列只有一個(gè)1以表示G1和G2之間的實(shí)體對(duì)齊結(jié)果;〈〉F代表弗羅貝尼烏斯內(nèi)積運(yùn)算;指置換矩陣所有可能出現(xiàn)的集合。

文獻(xiàn)[38]進(jìn)一步證明了利用最優(yōu)傳輸算法Sinkhorn可將式(10)轉(zhuǎn)化為式(11),在只利用相似度矩陣E作為輸入的情況下,獲得最后的實(shí)體對(duì)齊結(jié)果P:

(11)

本模塊利用最優(yōu)傳輸算法Sinkhorn對(duì)2個(gè)知識(shí)圖譜G1及G2的對(duì)齊實(shí)體結(jié)果進(jìn)行進(jìn)一步處理,能夠充分利用雙方實(shí)體的相似度信息,在提高對(duì)齊準(zhǔn)確度的前提下也能提高推測(cè)效率。Sinkhorn是一種迭代算法,時(shí)間復(fù)雜度為O(kn2),k為迭代的次數(shù),該算法利用非常小的迭代次數(shù)就可以生成精準(zhǔn)的實(shí)體對(duì)齊結(jié)果,算法1描述了本文算法流程。

算法1基于動(dòng)態(tài)圖注意力與標(biāo)簽傳播的實(shí)體對(duì)齊算法

輸入知識(shí)圖譜G1=(E1,R1,A1,V1,Tr1,Ta1),G2=(E2,R2,A2,V2,Tr2,Ta2),預(yù)對(duì)齊種子集M

輸出所有的對(duì)齊實(shí)體對(duì)

1.初始化實(shí)體特征維度ns←1 024,β←0.8,隨機(jī)初始化學(xué)習(xí)矩陣參數(shù)W和uT

2.通過式(1)～式(3)獲得屬性結(jié)構(gòu)關(guān)于實(shí)體的注意力權(quán)重系數(shù)qk

3.通過式(5)得到實(shí)體的屬性結(jié)構(gòu)嵌入he

4.按三元組實(shí)體嵌入生成三維鄰接張量L

5.對(duì)三維鄰接張量L的3個(gè)軸進(jìn)行壓縮,得到Lside、Lfront和Ltop

6.設(shè)置標(biāo)簽傳播輪數(shù)k = 0

7.While(k <2)

8.for each 實(shí)體e∈G do:

9.根據(jù)式(7)以及初始關(guān)系標(biāo)簽更新實(shí)體標(biāo)簽He

10.根據(jù)式(8)更新關(guān)系標(biāo)簽Hr

11.k←k+1

12.end

13.根據(jù)式(9)把每一層的標(biāo)簽拼接生成最終的節(jié)點(diǎn)嵌入hout

14.根據(jù)得到的節(jié)點(diǎn)嵌入生成G1和G2的相似度矩陣E

15.利用式(11)對(duì)相似度矩陣E進(jìn)行Sinkhorn迭代,得到最后的實(shí)體對(duì)齊結(jié)果P

3 實(shí)驗(yàn)與分析

3.1 實(shí)體對(duì)齊數(shù)據(jù)集

為了證明本文所提模型的有效性,在以下數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)(數(shù)據(jù)集的統(tǒng)計(jì)信息如表1所示):

表1 數(shù)據(jù)集信息Table 1 Datasets information

1)最常見的實(shí)體對(duì)齊基準(zhǔn)數(shù)據(jù)集DBP15K[39],取其中的EN-FR-15K及EN-ZH-15K語言數(shù)據(jù)集,其中EN-FR代表英語-法語跨語言實(shí)體對(duì)齊數(shù)據(jù),EN-ZH代表英語-中文數(shù)據(jù)。該數(shù)據(jù)庫(kù)提取出的數(shù)據(jù)集確保2種語言的構(gòu)造規(guī)范以及實(shí)體的指稱都不相同,隨機(jī)刪除源圖譜中低連接度實(shí)體,使平均屬性度數(shù)增加1倍,然后執(zhí)行IDS算法來生成新的知識(shí)圖譜,每個(gè)子集包含15 000個(gè)預(yù)先對(duì)齊的實(shí)體對(duì)。

2)MED-BBK-9K[40]數(shù)據(jù)集是由實(shí)際使用的2個(gè)異構(gòu)知識(shí)圖譜醫(yī)療業(yè)務(wù)數(shù)據(jù)集經(jīng)過專業(yè)醫(yī)生手動(dòng)標(biāo)注的實(shí)體對(duì)齊數(shù)據(jù)集。MED-BBK-9K預(yù)設(shè)種子映射,與常規(guī)的基準(zhǔn)數(shù)據(jù)集相比,其有著更大的節(jié)點(diǎn)度差距、名稱差異和屬性結(jié)構(gòu)差異,為每個(gè)知識(shí)圖譜提取實(shí)體并附加一個(gè)本體節(jié)點(diǎn)作為實(shí)體的屬性,包括類結(jié)構(gòu)(子類關(guān)系)和成員關(guān)系,確保數(shù)據(jù)集更貼近真實(shí)醫(yī)療場(chǎng)景中的實(shí)體對(duì)齊應(yīng)用,每個(gè)子集包含9 162個(gè)預(yù)先對(duì)齊的實(shí)體對(duì)。

3.2 參數(shù)設(shè)置及評(píng)價(jià)指標(biāo)

在模型的動(dòng)態(tài)圖注意力層中設(shè)置屬性嵌入維度為1 024,通過BERT模型對(duì)數(shù)據(jù)進(jìn)行詞嵌入。為確保屬性特征都有等長(zhǎng)的表示,在經(jīng)過池化操作后得到固定長(zhǎng)度的特征表示。選擇0.005作為學(xué)習(xí)率,損失函數(shù)閾值β為0.8,批次大小為4 000。利用正例實(shí)體隨機(jī)生成10個(gè)負(fù)實(shí)例形成訓(xùn)練負(fù)例,并利用早停機(jī)制避免在過擬合后仍然持續(xù)訓(xùn)練。標(biāo)簽傳播的輪數(shù)k設(shè)為2,保留實(shí)體相似度最高的前400個(gè)實(shí)體作為訓(xùn)練集中和預(yù)測(cè)樣本特征最近的樣本,迭代Sinkhorn輪數(shù)設(shè)為10,參數(shù)U為0.05。

實(shí)驗(yàn)采用平均倒數(shù)排名(MMR)、Hits@1、Hits@10作為實(shí)體對(duì)齊結(jié)果的評(píng)價(jià)指標(biāo),三者數(shù)值越高代表實(shí)體對(duì)齊結(jié)果越好。

3.3 實(shí)驗(yàn)結(jié)果

3.3.1 基于基準(zhǔn)的實(shí)驗(yàn)結(jié)果分析

本文將現(xiàn)有主流實(shí)體對(duì)齊模型作為對(duì)比,包括基于翻譯模型的實(shí)體對(duì)齊模型(BootEA、MultiKE)和基于圖神經(jīng)網(wǎng)絡(luò)的實(shí)體對(duì)齊模型(RDGCN、RSN4EA、RNM、NMN、DGMC)。這些評(píng)估和基準(zhǔn)研究都在理想的監(jiān)督學(xué)習(xí)環(huán)境下利用不同的知識(shí)圖譜信息并取得了最優(yōu)性能,被廣泛使用并作為不同技術(shù)的代表性模型。不同模型的實(shí)體對(duì)齊結(jié)果如表2所示,最優(yōu)結(jié)果加粗標(biāo)注。

表2 不同模型的實(shí)體對(duì)齊結(jié)果Table 2 Entity alignment results of different models

從表2可以看出,本文模型在3個(gè)數(shù)據(jù)集上都取得了最優(yōu)的效果。MultiKE模型根據(jù)實(shí)體名稱、關(guān)系和屬性的視圖嵌入獲得實(shí)體特征,忽略了鄰域關(guān)系結(jié)構(gòu)信息的挖掘,并且MultiKE過度依賴實(shí)體名稱的屬性表示,而實(shí)體名稱在跨語言知識(shí)圖譜中有較大差異,如EN數(shù)據(jù)庫(kù)中的實(shí)體“Nintendo_DS”在FR知識(shí)圖譜中的實(shí)體名則是完全不同的 “Bomberman_(jeu_vidéo,_2005)”,可以看到這種情況下利用實(shí)體名稱反而會(huì)阻礙實(shí)體的對(duì)齊效果。與MultiKE模型相比,本文模型在EN-FR-15K數(shù)據(jù)集中的Hits@1、Hits@10、MRR分別提升了0.19、0.12、0.17,在EN-ZH-15K數(shù)據(jù)集中的Hits@1、Hits@10、MRR分別提升了0.09、0.06、0.07。

在EN-FR、EN-ZH、MED-BBK數(shù)據(jù)集中,與最優(yōu)的基準(zhǔn)模型DGMC相比,本文模型的Hits@1分別提升了0.019、0.018和0.026。NMN與DGMC模型使用由圖神經(jīng)網(wǎng)絡(luò)計(jì)算的局部節(jié)點(diǎn)嵌入,證明了圖卷積網(wǎng)絡(luò)能夠有效融合圖之間局部鄰域的匹配特征,在3種數(shù)據(jù)集上都明顯優(yōu)于其他基準(zhǔn)模型,可以看出關(guān)系鄰域特征對(duì)于實(shí)體對(duì)齊任務(wù)有著明顯的積極作用,然而這2種模型都忽略了屬性關(guān)系的特征歸納。本文模型相較于最優(yōu)基準(zhǔn)模型的性能提升,驗(yàn)證了基于動(dòng)態(tài)圖注意力與多維標(biāo)簽傳播的實(shí)體對(duì)齊框架的有效性。

3.3.2 超參數(shù)設(shè)置對(duì)實(shí)驗(yàn)結(jié)果的影響

本節(jié)通過實(shí)驗(yàn)驗(yàn)證模型中各種超參數(shù)對(duì)模型性能的影響。

對(duì)實(shí)體維度與對(duì)齊結(jié)果的關(guān)系進(jìn)行分析,結(jié)果如圖3所示。從圖3可以看出,當(dāng)維度在128～1 024之間時(shí)對(duì)齊的Hits@1結(jié)果都在穩(wěn)定上升,而到了1 024維之后Hits@1的提高顯著降低,原因正如前文所提的2個(gè)隨機(jī)生成的高維向量相似的概率會(huì)隨著維數(shù)的增加而呈指數(shù)下降,因此,當(dāng)維度大于1 024時(shí)增加維度對(duì)Hits@1的影響顯著減少,此時(shí)再提高維度對(duì)實(shí)體對(duì)齊結(jié)果作用很小,有著明顯的邊際效應(yīng)。

圖3 不同向量維度下的實(shí)驗(yàn)結(jié)果Fig.3 Experimental results under different vector dimensions

標(biāo)簽傳播任務(wù)與常規(guī)的監(jiān)督及半監(jiān)督模型相同,圖4展示了不同標(biāo)簽傳播輪數(shù)對(duì)傳播效果的影響。從圖4可以看到,不同傳播輪數(shù)時(shí)模型性能具有差異,當(dāng)輪數(shù)k= 2時(shí),模型在所有數(shù)據(jù)集中都達(dá)到了最佳的實(shí)體對(duì)齊結(jié)果,但隨著輪數(shù)繼續(xù)提高,實(shí)驗(yàn)結(jié)果開始明顯下降,在第4輪傳播時(shí),在EN-FR-15K、EN-ZH-15K、MED-BBK-9K數(shù)據(jù)集中模型性能分別下降41%、39%與52%。

圖4 不同傳播迭代輪數(shù)下的實(shí)驗(yàn)結(jié)果Fig.4 Experimental results under different propagation iteration rounds

與圖神經(jīng)網(wǎng)絡(luò)的信息融合層數(shù)類似,雖然通過傳播壓縮后的鄰居矩陣特征,實(shí)體能夠?qū)W習(xí)多跳鄰居的關(guān)系結(jié)構(gòu)特征,但更多的傳播輪數(shù)也會(huì)導(dǎo)致過平滑問題,聚合遠(yuǎn)距離鄰居節(jié)點(diǎn)使得對(duì)齊結(jié)果受更多噪聲影響,引入過遠(yuǎn)的鄰居標(biāo)簽會(huì)加強(qiáng)實(shí)體表征的近似度,造成實(shí)體對(duì)齊結(jié)果出現(xiàn)更多誤差。

與傳統(tǒng)的實(shí)體對(duì)齊算法在2個(gè)知識(shí)圖譜間進(jìn)行貪婪搜索以計(jì)算所有實(shí)體的相似度不同,本文模型將實(shí)體對(duì)齊結(jié)果的發(fā)現(xiàn)看成是基于線性規(guī)劃的最優(yōu)化過程,先從相似度矩陣中保留n個(gè)潛在的對(duì)齊節(jié)點(diǎn)(top-n),將n作為最近鄰范圍數(shù),再利用Sinkhorn迭代算法得到最后的實(shí)體對(duì)齊結(jié)果,對(duì)齊實(shí)體發(fā)現(xiàn)幾乎不會(huì)影響對(duì)齊性能。從圖5可以看出,當(dāng)n為500時(shí),取得了較高的對(duì)齊結(jié)果精度。

圖5 不同最近鄰數(shù)下的實(shí)驗(yàn)結(jié)果Fig.5 Experimental results under different nearest neighbor numbers

在表3的消融實(shí)驗(yàn)中:移除動(dòng)態(tài)圖注意力屬性結(jié)構(gòu)代表模塊(-屬性注意力),即不利用屬性名信息,僅通過隨機(jī)初始化獲得節(jié)點(diǎn)的特征進(jìn)行標(biāo)簽傳播,結(jié)合線性規(guī)劃完成實(shí)體對(duì)齊任務(wù),為公平起見,對(duì)其他使用到文本信息的模型也只進(jìn)行隨機(jī)初始化實(shí)體表示;移除多維標(biāo)簽傳播算法(-標(biāo)簽傳播)只使用基準(zhǔn)標(biāo)簽傳播模型進(jìn)行結(jié)構(gòu)特征傳播;刪除Sinkhorn線性規(guī)劃實(shí)體推測(cè)模塊(-Sinkhorn)只使用貪心算法選擇最近的實(shí)體作為對(duì)齊結(jié)果。

表3 消融實(shí)驗(yàn)結(jié)果Table 3 Results of ablation experiment

從表3可以看出,刪除其中任何一個(gè)模塊都會(huì)導(dǎo)致顯著的性能下降。與去掉所有模塊之后的模型相比,本文模型在各個(gè)數(shù)據(jù)集上都取得了更優(yōu)的效果,證明通過屬性圖注意力權(quán)重和多維標(biāo)簽傳播,可以有效豐富知識(shí)圖譜嵌入的語義。

3.3.3 不同種子集比例設(shè)置對(duì)實(shí)驗(yàn)結(jié)果的影響

在目前的實(shí)體數(shù)據(jù)集構(gòu)造中,對(duì)大規(guī)模知識(shí)圖譜手動(dòng)標(biāo)注對(duì)齊的實(shí)體對(duì)非常耗費(fèi)精力?，F(xiàn)有的模型都嚴(yán)重依賴預(yù)對(duì)齊的標(biāo)注種子實(shí)體才能在實(shí)體對(duì)齊任務(wù)中發(fā)揮出優(yōu)越性能。為了驗(yàn)證本文提出的實(shí)體對(duì)齊模型能夠在較少的預(yù)對(duì)齊實(shí)體種子集中也能保持良好的性能,在相同的參數(shù)配置環(huán)境下進(jìn)行實(shí)驗(yàn),圖6展示了本文模型在不同預(yù)對(duì)齊種子比例下的實(shí)驗(yàn)結(jié)果。在MED-BBK-9K數(shù)據(jù)集中,本文模型的Hits@1可以達(dá)到0.389,且在3種數(shù)據(jù)集上均明顯優(yōu)于基準(zhǔn)模型,可知結(jié)合動(dòng)態(tài)圖注意力對(duì)實(shí)體屬性信息進(jìn)行建?？梢愿鶆虻貙W(xué)習(xí)豐富的實(shí)體關(guān)系結(jié)構(gòu)信息和屬性語義信息。當(dāng)測(cè)試集的知識(shí)不完整時(shí),基準(zhǔn)模型在知識(shí)圖譜嵌入階段對(duì)所獲取的實(shí)體或關(guān)系表達(dá)能力不足,生成的嵌入表示區(qū)分度不夠,增加了該模型在語義匹配時(shí)出現(xiàn)誤判的幾率,進(jìn)而導(dǎo)致模型在不完整訓(xùn)練集與完整訓(xùn)練集上的對(duì)齊預(yù)測(cè)準(zhǔn)確率有較大差距。實(shí)驗(yàn)結(jié)果證明,多維標(biāo)簽壓縮方法可以更好地獲得實(shí)體與關(guān)系間的整體信息,并且多輪次的標(biāo)簽傳播可以更高效地利用預(yù)訓(xùn)練實(shí)體的語料信息。

圖6 不同種子集比例下的實(shí)驗(yàn)結(jié)果Fig.6 Experimental results under different seed set ratios

4 結(jié)束語

本文提出一種基于動(dòng)態(tài)圖注意力與標(biāo)簽傳播的實(shí)體對(duì)齊模型。將屬性作為節(jié)點(diǎn)加入圖結(jié)構(gòu)中構(gòu)建一個(gè)新的屬性-實(shí)體-關(guān)系圖,利用動(dòng)態(tài)圖注意力機(jī)制為屬性分配不同的注意力權(quán)重,以降低無關(guān)屬性的影響,為噪聲屬性提供更好的魯棒性。為了緩解知識(shí)圖譜中的實(shí)體異構(gòu)問題,利用多維標(biāo)簽傳播算法對(duì)實(shí)體和關(guān)系的鄰接表示進(jìn)行壓縮,在壓縮后的鄰接矩陣上傳播實(shí)體特征以學(xué)習(xí)關(guān)系三元組結(jié)構(gòu)特征。最后,將實(shí)體向量對(duì)齊過程轉(zhuǎn)化為帶約束的線性規(guī)劃問題,通過實(shí)體的雙向匹配信息來解決傳統(tǒng)實(shí)體對(duì)齊推斷模型中存在的問題,并找出知識(shí)圖譜中的等價(jià)實(shí)體,從而有效提高模型的實(shí)體對(duì)齊效果。實(shí)驗(yàn)結(jié)果驗(yàn)證了本文模型的有效性。

本文模型在對(duì)屬性文本字符進(jìn)行表示學(xué)習(xí)階段過于依賴預(yù)訓(xùn)練模型的語義質(zhì)量,這在實(shí)際的專業(yè)領(lǐng)域?qū)嶓w對(duì)齊中可能會(huì)由于語料不足而降低對(duì)齊的準(zhǔn)確性。因此,下一步將利用屬性以及其他知識(shí)圖譜信息(如本體類別),進(jìn)一步提高實(shí)體對(duì)齊模型的準(zhǔn)確性。