融合雙層注意力機(jī)制的屬性網(wǎng)絡(luò)節(jié)點(diǎn)嵌入*

楊凡億，馬慧芳,2，閆彩瑞，宿 云

(1.西北師范大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，甘肅 蘭州 730070;2.桂林電子科技大學(xué)廣西可信軟件重點(diǎn)實(shí)驗(yàn)室,廣西 桂林 541004)

1 引言

網(wǎng)絡(luò)在現(xiàn)實(shí)世界中無(wú)處不在，其中屬性網(wǎng)絡(luò)近年來(lái)引起了學(xué)者的廣泛關(guān)注。與僅提供拓?fù)浣Y(jié)構(gòu)的普通網(wǎng)絡(luò)相比，屬性網(wǎng)絡(luò)除了具有復(fù)雜的結(jié)構(gòu)關(guān)聯(lián)，節(jié)點(diǎn)也擁有與結(jié)構(gòu)互補(bǔ)的豐富屬性信息，有效地利用這些屬性信息可以使網(wǎng)絡(luò)分析受益?，F(xiàn)有的研究表明節(jié)點(diǎn)的屬性可以反映并影響其社區(qū)結(jié)構(gòu)[1,2]。因此，面向?qū)傩跃W(wǎng)絡(luò)的研究方興未艾。典型的屬性網(wǎng)絡(luò)包括學(xué)術(shù)引文網(wǎng)絡(luò)和社交網(wǎng)絡(luò)等。在學(xué)術(shù)引文網(wǎng)絡(luò)中，不同文章之間引用關(guān)系形成一個(gè)網(wǎng)絡(luò)，其中每個(gè)節(jié)點(diǎn)代表文章，并且每個(gè)節(jié)點(diǎn)附著著和文章主題相關(guān)的大量文本信息；在社交網(wǎng)絡(luò)中，除了用戶之間密切的交流外，用戶的個(gè)人資料也可以作為屬性信息。

網(wǎng)絡(luò)嵌入作為網(wǎng)絡(luò)分析的基本工具，是近年來(lái)的研究熱點(diǎn)。該研究是在保留近似的同時(shí)學(xué)習(xí)網(wǎng)絡(luò)中節(jié)點(diǎn)的低維表示，然后用于節(jié)點(diǎn)分類(lèi)[3]、節(jié)點(diǎn)聚類(lèi)[4]和鏈接預(yù)測(cè)[5]等下游任務(wù)。例如，基于隨機(jī)游走的DeepWalk[6]采用截?cái)嚯S機(jī)游走方式，從網(wǎng)絡(luò)中每個(gè)節(jié)點(diǎn)出發(fā)，游走遍歷網(wǎng)絡(luò)中的其他節(jié)點(diǎn)得到若干節(jié)點(diǎn)序列，根據(jù)窗口獲取采樣節(jié)點(diǎn)的上下文節(jié)點(diǎn)，然后運(yùn)用skip-gram模型最大化隨機(jī)游走序列的似然概率。LINE(Large-scale Information Network Embedding)算法[7]在網(wǎng)絡(luò)上定義了一階相似度和二階相似度，并最小化表示相似度與實(shí)際相似度的KL散度得到節(jié)點(diǎn)的表示。node2vec[8]為了挖掘網(wǎng)絡(luò)結(jié)構(gòu)的特性，引入2個(gè)超參數(shù)控制隨機(jī)游走的策略，將得到的特定節(jié)點(diǎn)序列輸入到skip-gram模型中以學(xué)習(xí)節(jié)點(diǎn)表示。上述經(jīng)典方法只考慮了網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)信息，沒(méi)有將節(jié)點(diǎn)的屬性信息考慮進(jìn)去。研究人員面向?qū)傩跃W(wǎng)絡(luò)已提出各種各樣的嵌入模型。針對(duì)屬性網(wǎng)絡(luò)得到的節(jié)點(diǎn)低維表示，可以使具有拓?fù)浜蛯傩韵嗨频墓?jié)點(diǎn)在嵌入空間彼此接近。經(jīng)典的工作包括：Yang等人[9]在矩陣分解的框架下，提出TADW(Text-Associated DeepWalk)算法，將節(jié)點(diǎn)的文本特征引入到網(wǎng)絡(luò)表示學(xué)習(xí)中。Gao等人[10]提出深度屬性網(wǎng)絡(luò)嵌入DANE(Deep Attributed Network Embedding)算法，通過(guò)捕捉結(jié)構(gòu)與屬性的高度非線性關(guān)聯(lián)，在拓?fù)浣Y(jié)構(gòu)和節(jié)點(diǎn)屬性上保持近似性特征，同時(shí)該算法可以從拓?fù)渲袑W(xué)習(xí)結(jié)構(gòu)和節(jié)點(diǎn)屬性的一致和互補(bǔ)表示形式。

作為人類(lèi)不可或缺的復(fù)雜認(rèn)知功能之一，注意力機(jī)制[11]是指人在關(guān)注一些信息的同時(shí)可以忽略另一些信息的選擇能力，已在眾多研究領(lǐng)域[12-14]得到了廣泛應(yīng)用。本質(zhì)上，注意力機(jī)制通過(guò)對(duì)模型中不同部分賦予不同權(quán)重，獲取模型中更加重要的和關(guān)鍵的信息，從而優(yōu)化模型并做出更為準(zhǔn)確的判斷。為了充分利用節(jié)點(diǎn)屬性信息以及隱含在節(jié)點(diǎn)-屬性中的語(yǔ)義信息，本文結(jié)合注意力機(jī)制，提出一種融合雙層注意力機(jī)制的屬性網(wǎng)絡(luò)節(jié)點(diǎn)嵌入算法NETA(Node Embedding combining Two-level Attention mechanism on attributed network)。該算法的主要步驟如下：首先，構(gòu)造結(jié)構(gòu)-屬性交互二部圖，捕獲直接鄰居和間接鄰居；其次，設(shè)計(jì)節(jié)點(diǎn)級(jí)注意力，考慮節(jié)點(diǎn)鄰居的相對(duì)重要性，分別聚合直接鄰居表示和間接鄰居表示；最后，基于語(yǔ)義級(jí)注意力融合2種嵌入表示得到最終嵌入。在人工數(shù)據(jù)集和真實(shí)數(shù)據(jù)集上設(shè)計(jì)了不同的實(shí)驗(yàn)來(lái)驗(yàn)證本文算法的有效性。

2 問(wèn)題定義

令G=(V,E,F)表示屬性網(wǎng)絡(luò)，其中V={v1,v2,…,vn}表示節(jié)點(diǎn)集合，E?V×V表示邊集，F(xiàn)={f1,f2,…,fm}表示屬性集合，n為屬性網(wǎng)絡(luò)中節(jié)點(diǎn)總數(shù)，m為屬性網(wǎng)絡(luò)中屬性總數(shù)。矩陣An×n為拓?fù)浣Y(jié)構(gòu)鄰接關(guān)系矩陣，若節(jié)點(diǎn)vi與節(jié)點(diǎn)vj之間存在邊，則Aij=1,否則Aij=0。矩陣Qn×m表示節(jié)點(diǎn)-屬性關(guān)系矩陣，若節(jié)點(diǎn)vi具有屬性fj，則Qij=1,否則Qij=0，Qi是節(jié)點(diǎn)vi的屬性向量。

給定一個(gè)屬性網(wǎng)絡(luò)G=(V,E,F)，屬性網(wǎng)絡(luò)嵌入的目標(biāo)是學(xué)習(xí)一個(gè)映射函數(shù)，將圖G中的每個(gè)節(jié)點(diǎn)映射到一個(gè)低維的向量空間中，使得具有拓?fù)浜蛯傩韵嗨频墓?jié)點(diǎn)在低維空間彼此接近。

為了描述清晰起見(jiàn)，將本文主要用到的符號(hào)及其含義總結(jié)如表1所示。

3 融合雙層注意力機(jī)制的屬性網(wǎng)絡(luò)節(jié)點(diǎn)嵌入NETA

3.1 結(jié)構(gòu)-屬性二部圖

結(jié)構(gòu)-屬性交互二部圖通過(guò)“節(jié)點(diǎn)-屬性-節(jié)點(diǎn)”的跳轉(zhuǎn)方式將2個(gè)節(jié)點(diǎn)聯(lián)系起來(lái)，能夠清晰地捕獲節(jié)點(diǎn)與屬性的關(guān)系。值得注意的是，在“節(jié)點(diǎn)-屬性-節(jié)點(diǎn)”的跳轉(zhuǎn)方式上，起始節(jié)點(diǎn)可能最終會(huì)跳轉(zhuǎn)到其非拓?fù)溧従庸?jié)點(diǎn)上。為了和拓?fù)浣Y(jié)構(gòu)中的直接鄰居進(jìn)行區(qū)分，本文將其稱為基于屬性關(guān)系的間接鄰居。具體定義如下所示：

Table 1 Notations and meanings

定義1(結(jié)構(gòu)-屬性二部圖) 結(jié)構(gòu)-屬性二部圖用SAG=(V∪F,ESAG)表示，其中ESAG?V×F。則節(jié)點(diǎn)-屬性關(guān)系矩陣Qn×m即對(duì)應(yīng)于該二部圖的鄰接矩陣Qn×m。對(duì)于?vi∈V,?fj∈F,若節(jié)點(diǎn)vi與屬性fj之間存在連邊(即節(jié)點(diǎn)vi邊包含屬性fj),則Qij=1，否則Qij=0。

Figure 1 Overall framework of node embedding combining two-level attention mechanism on attributed network

3.2 節(jié)點(diǎn)級(jí)注意力機(jī)制

屬性網(wǎng)絡(luò)中每個(gè)節(jié)點(diǎn)的鄰居扮演著不同的角色，并且在學(xué)習(xí)節(jié)點(diǎn)嵌入中表現(xiàn)出不同的重要性。本節(jié)利用注意力機(jī)制學(xué)習(xí)網(wǎng)絡(luò)中每個(gè)節(jié)點(diǎn)鄰居的重要性，并整合這些有意義的鄰居表示以形成節(jié)點(diǎn)的嵌入。本文中，節(jié)點(diǎn)vi的鄰居包括基于拓?fù)浣Y(jié)構(gòu)的直接鄰居和基于屬性關(guān)系的間接鄰居?；趯傩躁P(guān)系的間接鄰居和基于拓?fù)浣Y(jié)構(gòu)的直接鄰居相類(lèi)似，為了節(jié)約篇幅，下文中均以基于拓?fù)浣Y(jié)構(gòu)的直接鄰居為例進(jìn)行說(shuō)明。

為了能夠獲得可靠的節(jié)點(diǎn)嵌入，本文首先對(duì)節(jié)點(diǎn)vi的初始特征進(jìn)行變換，如式(1)所示：

h′i=W1hi

(1)

其中，hi和h′i分別表示節(jié)點(diǎn)vi的初始特征向量和變換后的向量表示，W1是所有節(jié)點(diǎn)共享的可學(xué)習(xí)的變換權(quán)重矩陣，是模型需要學(xué)習(xí)的一個(gè)參數(shù)。將節(jié)點(diǎn)的初始特征通過(guò)W1進(jìn)行變換可以得到比初始特征相對(duì)好的節(jié)點(diǎn)表示，同時(shí)可以將節(jié)點(diǎn)的向量維度轉(zhuǎn)換為所需要的維度。

然后，使用注意力機(jī)制來(lái)學(xué)習(xí)節(jié)點(diǎn)vi鄰居的重要性，并通過(guò)聚合這些有著不同權(quán)重的鄰居節(jié)點(diǎn)以得到節(jié)點(diǎn)vi新的特征表示。給定節(jié)點(diǎn)vi，通過(guò)注意力機(jī)制[11]學(xué)習(xí)節(jié)點(diǎn)vj對(duì)節(jié)點(diǎn)vi的重要性權(quán)重αij，其計(jì)算方法如式(2)所示：

αij=softmaxj(attnode(h′i,h′j))=

(2)

(3)

(4)

3.3 語(yǔ)義級(jí)注意力機(jī)制

(5)

其中，attsem是一個(gè)深度神經(jīng)網(wǎng)絡(luò)，表示語(yǔ)義級(jí)注意力。

(6)

其中，W2是權(quán)重矩陣，b是偏置向量，q語(yǔ)義級(jí)注意力向量。同樣地，可以得到結(jié)構(gòu)-屬性二部圖的重要程度wAE。進(jìn)一步通過(guò)softmax函數(shù)進(jìn)行歸一化，可得到拓?fù)浣Y(jié)構(gòu)的重要性權(quán)重，如式(7)所示：

(7)

(8)

為了提高所提算法的性能，本文增加一個(gè)全連接層用于分類(lèi)，并利用部分有標(biāo)簽的節(jié)點(diǎn)算法對(duì)進(jìn)行優(yōu)化，設(shè)計(jì)交叉熵作為損失函數(shù)，如式(9)所示：

(9)

其中，VL是擁有標(biāo)簽的節(jié)點(diǎn)集合，Yi為節(jié)點(diǎn)vi的標(biāo)簽，zi為節(jié)點(diǎn)vi的最終向量表示，C是分類(lèi)器的參數(shù)。最后通過(guò)反向傳播對(duì)模型進(jìn)行優(yōu)化，學(xué)習(xí)節(jié)點(diǎn)的向量表示。

3.4 雙層注意力屬性網(wǎng)絡(luò)節(jié)點(diǎn)嵌入算法步驟

雙層注意力屬性網(wǎng)絡(luò)節(jié)點(diǎn)嵌入方法步驟如算法1所示。

算法1雙層注意力屬性網(wǎng)絡(luò)節(jié)點(diǎn)嵌入算法NETA

輸入:屬性網(wǎng)絡(luò)G=(V,E,F)，節(jié)點(diǎn)初始特征{hi,?vi∈V}，多頭注意力數(shù)K。

輸出:最終節(jié)點(diǎn)表示Z。

步驟1構(gòu)造結(jié)構(gòu)-屬性交互二部圖SAG

步驟2特征轉(zhuǎn)換:?vi∈V,h′i←W1·hi;

步驟3 fork=1..Kdo:

步驟4forvi∈Vdo:

步驟8end

步驟9 end

步驟10根據(jù)式(7)計(jì)算直接鄰居和間接鄰居的重要性權(quán)重βSE和βAE；

步驟12計(jì)算交叉熵?fù)p失:L=-∑vi∈VLYiln(C·zi);

步驟13反向傳播和更新參數(shù)；

步驟14返回：最終嵌入Z。

4 實(shí)驗(yàn)及結(jié)果分析

本節(jié)通過(guò)在數(shù)據(jù)集上進(jìn)行廣泛實(shí)驗(yàn)，來(lái)回答以下研究問(wèn)題，以驗(yàn)證本文算法的有效性。

問(wèn)題1NETA在節(jié)點(diǎn)分類(lèi)和節(jié)點(diǎn)聚類(lèi)中性能如何？

問(wèn)題2NETA對(duì)參數(shù)的敏感程度如何？

問(wèn)題3NETA的兩級(jí)注意力機(jī)制對(duì)算法的性能貢獻(xiàn)如何？

本節(jié)首先介紹實(shí)驗(yàn)所需的數(shù)據(jù)集，其次介紹對(duì)比算法和實(shí)驗(yàn)設(shè)置，最后對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析并結(jié)合案例分析闡釋本文算法的有效性。所有代碼都是使用Python3.7實(shí)現(xiàn)。

4.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)數(shù)據(jù)集包括真實(shí)數(shù)據(jù)集和人工數(shù)據(jù)集。表2和表3分別給出了真實(shí)數(shù)據(jù)集的統(tǒng)計(jì)信息和人工數(shù)據(jù)集中的參數(shù)及其含義。

Table 2 Statistics of real-world datasets

Table 3 LFR parameters and meanings

Cora(https://linqs.soe.ucsc.edu/data)是一個(gè)科學(xué)論文的引文網(wǎng)絡(luò)，其中共有2 708篇論文(節(jié)點(diǎn))，5 429對(duì)論文之間的引用關(guān)系(邊)，分為7個(gè)研究領(lǐng)域。每篇論文均用一個(gè)0/1值的詞向量描述，該詞向量指示論文中是否存在相應(yīng)的詞，共包含1 433個(gè)單詞,并視為每篇論文的屬性。

Citeseer(https://linqs.soe.ucsc.edu/data)是一個(gè)引文網(wǎng)絡(luò)數(shù)據(jù)集。它包含6個(gè)研究領(lǐng)域的3 312篇研究論文，含有4 732條邊。每篇論文均用一個(gè)0/1值的詞向量描述，該詞向量指示論文中是否存在相應(yīng)的詞，共包含3 703個(gè)單詞,并視為每篇論文的屬性。

人工數(shù)據(jù)集是使用LFR 基準(zhǔn)[15]生成的LFR-1和LFR-2。在人工數(shù)據(jù)集的每個(gè)真實(shí)類(lèi)別中，節(jié)點(diǎn)均附有隨機(jī)生成的相似屬性，且2個(gè)不同類(lèi)別之間的屬性有差異。LFR參數(shù)符號(hào)及其含義如表3所示，其具體參數(shù)的設(shè)置如下所示：

LFR-1:N=20000,k=10,max_k=50,μ=0.1,τ1=2,τ2=1,min_c=20,max_c=50,On=0,Om=0。

4.2 對(duì)比算法

為評(píng)估本文算法NETA的性能，選取以下2類(lèi)算法進(jìn)行對(duì)比，第1類(lèi)算法只考慮網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)而沒(méi)有考慮節(jié)點(diǎn)的屬性信息，即DeepWalk和node2vec。第2類(lèi)算法融合了網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和節(jié)點(diǎn)屬性信息，即TADE和DANE。具體描述如下所示：

(1)DeepWalk[6]：通過(guò)從每個(gè)圖節(jié)點(diǎn)開(kāi)始隨機(jī)游走生成節(jié)點(diǎn)序列來(lái)模擬句子，這一系列節(jié)點(diǎn)序列組成了“語(yǔ)料庫(kù)”。DeepWalk 設(shè)定了背景窗口的大小，然后將隨機(jī)游走得到的“語(yǔ)料庫(kù)”輸入skip-gram模型，得到每個(gè)圖節(jié)點(diǎn)的圖嵌入表示。

(2)node2vec[8]：為了挖掘網(wǎng)絡(luò)結(jié)構(gòu)的局部特性和全局特性，引入2個(gè)超參數(shù)p和q控制隨機(jī)游走的策略，得到特定的節(jié)點(diǎn)序列后也運(yùn)用skip-gram模型學(xué)習(xí)節(jié)點(diǎn)表示。

(3)TADE[9]：在矩陣分解的框架下，將節(jié)點(diǎn)的文本特征引入到網(wǎng)絡(luò)表示學(xué)習(xí)中。

(4)DANE[10]：該算法可以捕捉到結(jié)構(gòu)與屬性的高度非線性關(guān)聯(lián)，并在拓?fù)浣Y(jié)構(gòu)和節(jié)點(diǎn)屬性上保持近似性特征。

對(duì)于DeepWalk和node2vec，窗口大小設(shè)置為10，步長(zhǎng)為80，步數(shù)為10。對(duì)于其余的對(duì)比算法，其參數(shù)設(shè)置遵循原始論文，最后將節(jié)點(diǎn)表示的維數(shù)設(shè)置為64。

4.3 實(shí)驗(yàn)結(jié)果與分析

4.3.1 節(jié)點(diǎn)分類(lèi)和節(jié)點(diǎn)聚類(lèi)(問(wèn)題1)

為了驗(yàn)證本文算法NETA的性能，將NETA得到的節(jié)點(diǎn)表示分別用于節(jié)點(diǎn)分類(lèi)和節(jié)點(diǎn)聚類(lèi)任務(wù)。在節(jié)點(diǎn)分類(lèi)任務(wù)中，采用K近鄰KNN(K-Nearest Neighbor)(K=7)分類(lèi)器進(jìn)行節(jié)點(diǎn)分類(lèi)。本文使用Macro-F1和Micro-F1作為評(píng)價(jià)指標(biāo)。表4給出了算法運(yùn)行10次的平均結(jié)果。在節(jié)點(diǎn)聚類(lèi)任務(wù)中，采用K-Means聚類(lèi)算法進(jìn)行節(jié)點(diǎn)聚類(lèi)，將K-Means的簇?cái)?shù)設(shè)置為每個(gè)數(shù)據(jù)集的類(lèi)別數(shù)，使用歸一化互信息NMI(Normalized Mutual Information)和調(diào)整蘭德系數(shù)ARI(Adjusted Rand Index)作為評(píng)價(jià)指標(biāo)。由于K-Means的性能受初始簇中心的影響，因此將本文算法重復(fù)運(yùn)行10次，并在表5中給出了平均結(jié)果。

從表4和表5中可以看出，在節(jié)點(diǎn)分類(lèi)和節(jié)點(diǎn)聚類(lèi)任務(wù)中，本文算法的效果相比其他對(duì)比算法均為最優(yōu)。在分類(lèi)任務(wù)中，針對(duì)2個(gè)數(shù)據(jù)集而言，TADE、DANE和本文算法NETA均優(yōu)于DeepWallk和node2vec，這在一定程度上表明，網(wǎng)絡(luò)中節(jié)點(diǎn)的屬性可以為網(wǎng)絡(luò)嵌入提供較好的支持，將網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和節(jié)點(diǎn)屬性信息融合之后，網(wǎng)絡(luò)嵌入的效果有了較大提升，這點(diǎn)在表5中也有體現(xiàn)。其次，本文算法NETA在2個(gè)數(shù)據(jù)集上均優(yōu)于TADE和DANE，這說(shuō)明捕獲節(jié)點(diǎn)的重要性和節(jié)點(diǎn)-屬性的重要性對(duì)網(wǎng)絡(luò)嵌入是有益的，不同的節(jié)點(diǎn)在進(jìn)行嵌入表示時(shí)應(yīng)該有著不同的重要程度。

4.3.2 參數(shù)敏感性分析(問(wèn)題2)

在數(shù)據(jù)集Cora，Citeseer和LFR-1上對(duì)參數(shù)的敏感性進(jìn)行分析，研究不同參數(shù)對(duì)本文算法NETA的影響。

(1)最終節(jié)點(diǎn)嵌入的維度。

本文算法NETA的分類(lèi)效果受最終的節(jié)點(diǎn)嵌入向量z維度的影響。本節(jié)在3個(gè)不同數(shù)據(jù)集上對(duì)不同維度的節(jié)點(diǎn)嵌入向量z進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果如圖2所示?？梢钥闯?，在Cora和Citeseer數(shù)據(jù)集上，本文算法NETA的性能在維度為64時(shí)效果最好，后續(xù)隨著維度的繼續(xù)增加，NMI值開(kāi)始降低，算法性能也隨之下降；在LFR-1人工數(shù)據(jù)集上，當(dāng)最終嵌入維度為128時(shí)，本文算法NETA性能最好，后續(xù)同樣隨著維度的增加，算法性能也下降。原因是NETA需要一個(gè)合適的維度來(lái)編碼信息，更大或者更小的維度可能會(huì)使信息不充分或者帶來(lái)冗余，導(dǎo)致效果不佳。

(2)語(yǔ)義級(jí)注意力向量維度。

語(yǔ)義級(jí)注意力的性能受語(yǔ)義級(jí)注意力向量的影響，本節(jié)在3個(gè)不同的數(shù)據(jù)集上對(duì)不同維度的語(yǔ)義級(jí)注意力向量進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果如圖3所示。

Table 4 Performance comparison of node classification

Table 5 Performance comparison of node clustering

Figure 2 Effect of dimension of embedding on NMI

Figure 3 Effect of the semantic-level attention vector dimensionality on NMI

可以看出，在3個(gè)數(shù)據(jù)集上，當(dāng)注意力向量的維度均在128時(shí)，本文算法NETA的性能最好。之后，算法性能開(kāi)始降低，這可能是由于過(guò)擬合引起的。

(3)多頭注意力機(jī)制數(shù)量。

為測(cè)試多頭注意力機(jī)制的效果，本節(jié)在3個(gè)不同的數(shù)據(jù)集上設(shè)置不同K值進(jìn)行測(cè)試，當(dāng)K=1時(shí)多頭注意力機(jī)制退化為單頭注意力機(jī)制，實(shí)驗(yàn)結(jié)果如圖4所示。從圖4中可以看出，隨著K值的增加，本文算法NETA在3個(gè)數(shù)據(jù)集上的性能都得到了提升，當(dāng)K=8時(shí)算法性能達(dá)到最好。

Figure 4 Effect of number of multiple attention mechanism on NMI

4.3.3 注意力機(jī)制分析(問(wèn)題3)

在學(xué)習(xí)節(jié)點(diǎn)的嵌入表示時(shí)，本文考慮了不同類(lèi)型的鄰居及其重要性，并為其分配了不用的權(quán)重。為了更好地理解權(quán)重的意義，本節(jié)設(shè)計(jì)案例對(duì)節(jié)點(diǎn)級(jí)注意力和語(yǔ)義級(jí)注意力進(jìn)行分析。

(1)節(jié)點(diǎn)級(jí)注意力機(jī)制。

以Cora數(shù)據(jù)集為例，將節(jié)點(diǎn)P2583及其鄰居表示為圖5，它們的注意力權(quán)重如圖6所示。P2853、P1423和P2135表示神經(jīng)網(wǎng)絡(luò)領(lǐng)域的論文；P378和P1173表示概率方法領(lǐng)域的論文；P2337表示基于案例領(lǐng)域的論文。從圖6可以看到，表示神經(jīng)網(wǎng)絡(luò)領(lǐng)域論文的節(jié)點(diǎn)的鄰居節(jié)點(diǎn)權(quán)重較大，其他領(lǐng)域論文的節(jié)點(diǎn)的鄰居節(jié)點(diǎn)權(quán)重較小。其中，節(jié)點(diǎn)P2583在節(jié)點(diǎn)級(jí)上有著最大的注意力權(quán)重，這說(shuō)明節(jié)點(diǎn)本身在嵌入中起著最重要的作用。這是合理的，因?yàn)楸硎疽粋€(gè)節(jié)點(diǎn)，最重要的是節(jié)點(diǎn)自身的信息，而通常將鄰居的信息視為一種補(bǔ)充信息。此外，節(jié)點(diǎn)P1423和P2135有著第2和第3的注意力權(quán)重，因?yàn)樗鼈円脖硎旧窠?jīng)網(wǎng)絡(luò)領(lǐng)域的論文，可以為識(shí)別P2583的類(lèi)別做出重要貢獻(xiàn)。其余鄰居的注意力權(quán)重較小，因?yàn)樗鼈兯硎镜恼撐牟粚儆谏窠?jīng)網(wǎng)絡(luò)領(lǐng)域并且不能很好地為識(shí)別P2583做出一定的貢獻(xiàn)。根據(jù)上述分析，可以看到節(jié)點(diǎn)級(jí)的注意力權(quán)重可以區(qū)分鄰居之間的重要程度，并為一些有意義的節(jié)點(diǎn)分配較高的權(quán)重。

Figure 5 Neighbors of P2583 in topology

Figure 6 Weight distribution of neighbors of P2583

(2)語(yǔ)義級(jí)注意力機(jī)制。

為了分析鄰居類(lèi)型對(duì)節(jié)點(diǎn)表示的重要性，本文對(duì)比了僅使用某一種鄰居類(lèi)型進(jìn)行節(jié)點(diǎn)表示的結(jié)果及該鄰居類(lèi)型的注意力權(quán)重，結(jié)果如圖7所示。從圖7中可以看出，僅考慮單獨(dú)鄰居類(lèi)型的節(jié)點(diǎn)表示結(jié)果與該鄰居類(lèi)型的注意力權(quán)重成正比，由此可見(jiàn)，本文算法能夠較好地學(xué)習(xí)到不同鄰居類(lèi)型對(duì)節(jié)點(diǎn)表示的重要性。

Figure 7 Attention weight of two types of neighbors

4.3.4 注意力機(jī)制消融分析(問(wèn)題3)

為了分析節(jié)點(diǎn)級(jí)注意力和語(yǔ)義級(jí)注意力對(duì)本文算法的貢獻(xiàn)，本節(jié)設(shè)計(jì)了該算法的2種變體。首先變體1僅考慮語(yǔ)義級(jí)注意力(NETA-N)，并為每個(gè)節(jié)點(diǎn)的鄰居分配相同的權(quán)重；變體2僅考慮節(jié)點(diǎn)級(jí)注意力(NETA-S)，并認(rèn)為拓?fù)浣Y(jié)構(gòu)和結(jié)構(gòu)-屬性二部圖的重要程度相同，最后以本文算法NETA為基準(zhǔn)，在Cora數(shù)據(jù)集上分別進(jìn)行了節(jié)點(diǎn)分類(lèi)和節(jié)點(diǎn)聚類(lèi)任務(wù)，表6為3種算法執(zhí)行10次的平均結(jié)果。

Table 6 Performance comparison of NETA and variants

從表6中可以看出，首先，不考慮節(jié)點(diǎn)級(jí)注意力(NETA-N)或者不考慮語(yǔ)義級(jí)注意力(NETA-S)時(shí)，性能都比基準(zhǔn)算法NETA差，這說(shuō)明對(duì)節(jié)點(diǎn)級(jí)注意力和語(yǔ)義級(jí)注意力建模是很有必要的。其次，通過(guò)比較NETA-N和NETA-S可以得知，在不考慮節(jié)點(diǎn)級(jí)注意力時(shí)本文算法性能下降比不考慮語(yǔ)義級(jí)別時(shí)算法性能下降要多一些，這說(shuō)明節(jié)點(diǎn)級(jí)注意力相比語(yǔ)義級(jí)注意力更加重要，因?yàn)楣?jié)點(diǎn)級(jí)注意力對(duì)節(jié)點(diǎn)的鄰居根據(jù)重要程度分配不同的權(quán)重，其包含的信息更加有助于節(jié)點(diǎn)的表示。

5 結(jié)束語(yǔ)

本文設(shè)計(jì)了一種融合雙層注意力機(jī)制的節(jié)點(diǎn)嵌入算法來(lái)有效實(shí)現(xiàn)屬性網(wǎng)絡(luò)的嵌入。首先將節(jié)點(diǎn)的直接鄰居和間接鄰居利用注意力機(jī)制進(jìn)行表示；然后聚合直接鄰居的重要性和間接鄰居的重要性以生成節(jié)點(diǎn)的最終嵌入。在真實(shí)數(shù)據(jù)集上的大量實(shí)驗(yàn)驗(yàn)證了本文算法NETA的有效性。但是，在構(gòu)建結(jié)構(gòu)-屬性二部圖時(shí)，本文僅考慮了節(jié)點(diǎn)間是否擁有相同屬性，并未考慮節(jié)點(diǎn)擁有相同屬性的數(shù)量。其次，在結(jié)構(gòu)-屬性二部圖上進(jìn)行的跳轉(zhuǎn)僅考慮了鄰居節(jié)點(diǎn)對(duì)嵌入的貢獻(xiàn)，并未考慮中間節(jié)點(diǎn)的影響，這將是下一步需要研究的問(wèn)題。