基于改進(jìn)圖注意機(jī)制的網(wǎng)絡(luò)嵌入方法研究及應(yīng)用

韓津津，李智杰，李昌華，張 頡

(西安建筑科技大學(xué) 信息與控制工程學(xué)院，西安 710055)

0 引言

信息網(wǎng)絡(luò)是最為常見的一種信息載體和形式，隨著互聯(lián)網(wǎng)的不斷發(fā)展，各種應(yīng)用場景下極為豐富的信息網(wǎng)絡(luò)數(shù)據(jù)已成為日常生活中不可或缺的一部分[1]。網(wǎng)絡(luò)數(shù)據(jù)結(jié)構(gòu)可以自然地表達(dá)物體與物體間的聯(lián)系，用于對數(shù)據(jù)信息進(jìn)行系統(tǒng)的建模。如社交媒體網(wǎng)絡(luò)中熱點(diǎn)話題的深度挖掘[2]、移動通信網(wǎng)絡(luò)中用戶群體的分類[3]以及論文推薦系統(tǒng)中引文網(wǎng)絡(luò)的劃分[4]等.在這些場景中，用戶、項(xiàng)目、分子和知識概念等現(xiàn)實(shí)實(shí)體被抽象為網(wǎng)絡(luò)中的節(jié)點(diǎn)，而實(shí)體之間的關(guān)系被建模為它們之間的鏈接[3]?；诰W(wǎng)絡(luò)嵌入的表示學(xué)習(xí)研究旨在探索更好地分析復(fù)雜信息網(wǎng)絡(luò)中節(jié)點(diǎn)間的聯(lián)系，尋找解決信息網(wǎng)絡(luò)背景下的各種實(shí)際問題的普適方法，有效融合網(wǎng)絡(luò)結(jié)構(gòu)與節(jié)點(diǎn)外部信息，形成更具區(qū)分性的網(wǎng)絡(luò)嵌入表示[6]。網(wǎng)絡(luò)嵌入的目的是將每個(gè)節(jié)點(diǎn)映射到一個(gè)低維向量空間，得到節(jié)點(diǎn)的低維向量表示。節(jié)點(diǎn)的表示向量可以應(yīng)用到許多下游分析任務(wù)，如網(wǎng)絡(luò)節(jié)點(diǎn)分類[7]、可視化[8]等。為獲得有效的網(wǎng)絡(luò)嵌入并在實(shí)際任務(wù)中獲得更好的表現(xiàn)，需要充分利用圖的拓?fù)浣Y(jié)構(gòu)及節(jié)點(diǎn)特征中蘊(yùn)含的豐富信息。

網(wǎng)絡(luò)數(shù)據(jù)信息特征挖掘首先需要面對的挑戰(zhàn)是如何恰當(dāng)?shù)谋硎揪W(wǎng)絡(luò)數(shù)據(jù)[9]。早期的網(wǎng)絡(luò)嵌入算法基于矩陣特征向量計(jì)算，利用相近節(jié)點(diǎn)其特征相似的思想，通過對矩陣分解來近似網(wǎng)絡(luò)嵌入中節(jié)點(diǎn)的特征向量表示，例如GraRep[10]、HOPE[11]等模型，但這種方式對于大規(guī)模的網(wǎng)絡(luò)嵌入是非常耗時(shí)的。隨機(jī)游走通過近似網(wǎng)絡(luò)節(jié)點(diǎn)中心性和相似性等屬性來獲得網(wǎng)絡(luò)嵌入表示，這針對大型網(wǎng)絡(luò)圖是有效的，典型的模型有DeepWalk[12]、node2vec[13]等。

圖神經(jīng)網(wǎng)絡(luò)(GNN，graph neural network)[14]的研究解決了非歐氏空間結(jié)構(gòu)網(wǎng)絡(luò)數(shù)據(jù)在經(jīng)過傳統(tǒng)離散卷積的過程中無法保持平移不變形的局限性。利用實(shí)體之間的內(nèi)在關(guān)系，為網(wǎng)絡(luò)嵌入學(xué)習(xí)開辟了一條獨(dú)特的道路。GNN通過聚合目標(biāo)節(jié)點(diǎn)的鄰域來更新自身新的嵌入表示，大多數(shù)GNN變體將在其聚合器中分配將和之間的非參數(shù)化權(quán)重.例如傳統(tǒng)的圖卷積神經(jīng)網(wǎng)絡(luò)(GCN，graph convolutional neural networks)[15]因其強(qiáng)大的迭代訓(xùn)練模式和聚合信息的能力，能夠?qū)崿F(xiàn)網(wǎng)絡(luò)嵌入中聚合一階鄰域信息近似的節(jié)點(diǎn)特征更新方式，但是訓(xùn)練過程中由于共享相同的參數(shù)化權(quán)重，因此無法學(xué)習(xí)和區(qū)分目標(biāo)節(jié)點(diǎn)及其鄰居之間的信息，然而考慮網(wǎng)絡(luò)中節(jié)點(diǎn)的不同貢獻(xiàn)在現(xiàn)實(shí)世界數(shù)據(jù)中是非常重要的，因?yàn)椴⒎撬械倪叾加邢嗨频挠绊憽Ｒ粋€(gè)自然的替代解決方案是使邊權(quán)重能夠訓(xùn)練，以具有更好的表達(dá)能力。為了在聚合中分配可學(xué)習(xí)的權(quán)重，圖注意力網(wǎng)絡(luò)(GAT，graph attention network)[16]在進(jìn)行鄰域聚合時(shí)，采用注意力機(jī)制為目標(biāo)節(jié)點(diǎn)的鄰域節(jié)點(diǎn)分配不同的權(quán)重系數(shù)，以區(qū)分鄰居對目標(biāo)節(jié)點(diǎn)的不同貢獻(xiàn)程度，以此來聚合網(wǎng)絡(luò)中的節(jié)點(diǎn)信息表征。盡管在GNN聚合器中加入注意力機(jī)制在各種任務(wù)上取得了令人滿意的性能，但是存在兩個(gè)局限性：首先，圖卷積過程中只能聚合中心節(jié)點(diǎn)的一階鄰域特征，無法獲得高階鄰域信息來擴(kuò)大局部網(wǎng)絡(luò)結(jié)構(gòu)的感受野，這將造成網(wǎng)絡(luò)嵌入表征局部節(jié)點(diǎn)劃分不明確的問題，其次，通過注意力機(jī)制篩選節(jié)點(diǎn)造成的問題是權(quán)重分配雖然將節(jié)點(diǎn)特征按照重要程度進(jìn)行劃分，但是當(dāng)下一層網(wǎng)絡(luò)訓(xùn)練時(shí)會受到權(quán)重特征篩選的影響，無法將最原始的基數(shù)信息作為新一層的網(wǎng)絡(luò)訓(xùn)練[17]，這些基數(shù)信息包含了網(wǎng)絡(luò)節(jié)點(diǎn)的屬性特征和局部結(jié)構(gòu)信息，由于注意力權(quán)重，這些基數(shù)信息會被過濾掉一部分，這致使網(wǎng)絡(luò)嵌入表征學(xué)習(xí)過程會丟失掉初始信息，影響了對于網(wǎng)絡(luò)結(jié)構(gòu)的判別能力。

為了解決這些問題，本文基于圖注意力機(jī)制為出發(fā)點(diǎn)，探索可解決的改進(jìn)方案，提出了一種二階鄰域基數(shù)保留策略的圖注意力神經(jīng)網(wǎng)絡(luò)模型(SNCR-GAT)，綜合考慮網(wǎng)絡(luò)嵌入中的多鄰域信息聚合以及模型訓(xùn)練中的基數(shù)信息保留問題。本文的貢獻(xiàn)有以下3點(diǎn)：1)基于網(wǎng)絡(luò)節(jié)點(diǎn)鄰接矩陣的冪實(shí)現(xiàn)二階鄰域連通性，以擴(kuò)大局部信息的收斂感受野來聚合二階鄰域信息；2)為了保證模型在訓(xùn)練階段保留更多的基數(shù)信息，對注意力機(jī)制更新網(wǎng)絡(luò)節(jié)點(diǎn)特征的聚合函數(shù)進(jìn)行了一些改進(jìn)；以實(shí)現(xiàn)基數(shù)信息的保留；3)為驗(yàn)證SNCR-GAT模型的網(wǎng)絡(luò)嵌入效果，我們在3個(gè)真實(shí)的網(wǎng)絡(luò)數(shù)據(jù)集Cora、Citeseer、Pumbed上進(jìn)行了節(jié)點(diǎn)分類及可視化兩個(gè)實(shí)際應(yīng)用實(shí)驗(yàn)，相比較其它基準(zhǔn)圖神經(jīng)網(wǎng)絡(luò)模型具有更高的網(wǎng)絡(luò)嵌入效果。

1 相關(guān)工作

圖1 圖注意力信息特征聚合方式

節(jié)點(diǎn)特征聚合依賴于Attention對鄰域重要節(jié)點(diǎn)的選擇，在K階鄰域生成的鄰接矩陣中，對于每個(gè)節(jié)點(diǎn)xi，為了表現(xiàn)目標(biāo)節(jié)點(diǎn)對待鄰域節(jié)點(diǎn)選擇的偏向不同，注意力機(jī)制α:RF′×F′→R是共享的，它為每個(gè)鄰域節(jié)點(diǎn)計(jì)算一個(gè)與目標(biāo)節(jié)點(diǎn)的相關(guān)度值，這個(gè)值決定了該鄰域?qū)χ行墓?jié)點(diǎn)的重要程度。計(jì)算方式如下：

(1)

(2)

注意力機(jī)制Attention是一種靜態(tài)非線性映射，基于單層結(jié)構(gòu)實(shí)現(xiàn)的前饋神經(jīng)網(wǎng)絡(luò)，能夠高效完成任意大小樣本集的訓(xùn)練。節(jié)點(diǎn)間的注意系數(shù)αij∈R2F′作為網(wǎng)絡(luò)參數(shù)參與訓(xùn)練，并使用LeakReLU作為非線性激活函數(shù)，其計(jì)算方式如下：

(3)

(4)

根據(jù)公式，對于節(jié)點(diǎn)i新的特征向量表示聚合方式是：先將所有鄰居節(jié)點(diǎn)特征向量hj與權(quán)重矩陣W進(jìn)行線性求和，同時(shí)乘以注意力權(quán)重系數(shù)，最后將線性和進(jìn)行激活做非線性轉(zhuǎn)換。

2 二階鄰域基數(shù)信息保留策略

2.1 二階鄰域節(jié)點(diǎn)信息聚合方案

為了深度挖掘網(wǎng)絡(luò)數(shù)據(jù)中局部結(jié)構(gòu)特征，聚合更多的鄰域信息來生成有效的目標(biāo)節(jié)點(diǎn)嵌入表示，采用了如圖2所示的二階鄰域信息聚合方案。

圖2 二階鄰域信息聚合

二鄰域信息聚合通過網(wǎng)絡(luò)節(jié)點(diǎn)鄰接矩陣的2次冪作為屏蔽矩陣實(shí)現(xiàn)2階鄰域的信息收斂，從各階鄰域提取局部結(jié)構(gòu)特征，獲得節(jié)點(diǎn)的多個(gè)中間表示。通過增加鄰接矩陣的2次冪能夠?qū)崿F(xiàn)目標(biāo)節(jié)點(diǎn)與2階鄰居的連通性，獲取到2階鄰居的信息傳遞，通過鄰接矩陣得到目標(biāo)節(jié)點(diǎn)2跳鄰域的邊連接，如下所示:

在一階鄰域鄰接矩陣A中，當(dāng)兩個(gè)點(diǎn)之間存在一條邊時(shí)，矩陣中元素αij=1，不存在邊時(shí)αij=0，這表明從點(diǎn)vi出發(fā)走一跳到點(diǎn)vj有1條路徑。當(dāng)對鄰接矩陣A平方之后，對角線元素αii表示了當(dāng)前節(jié)點(diǎn)的度，并且跳數(shù)加一，每一個(gè)元素αij表示的是當(dāng)前目標(biāo)節(jié)點(diǎn)vi經(jīng)過兩跳到達(dá)鄰居節(jié)點(diǎn)vj的路徑有多少，以節(jié)點(diǎn)vi→vj為例，經(jīng)過兩跳可到達(dá)的路徑數(shù)為2，分別是v1→v4→v2和v1→v3→v2。因此可以說A2建立了以中心節(jié)點(diǎn)為目標(biāo)的周圍二階鄰域的邊連接，由于節(jié)點(diǎn)之間是通過邊進(jìn)行信息傳遞的，這樣的操作首先增加了圖的連通性，保障了目標(biāo)節(jié)點(diǎn)更新新的節(jié)點(diǎn)過程中聚合更多的局部鄰域結(jié)構(gòu)信息，對于目標(biāo)節(jié)點(diǎn)，擴(kuò)大了局部信息收斂的感受野，同時(shí)也提高了嵌入向量的有效性。

2.2 基數(shù)保留策略

為提高圖注意力模型在節(jié)點(diǎn)嵌入中的結(jié)構(gòu)判別能力，保證在不改變注意力函數(shù)保持原來的注意機(jī)制學(xué)習(xí)能力的情況下，在式(4)目標(biāo)節(jié)點(diǎn)特征聚合方式上優(yōu)化了每一層網(wǎng)絡(luò)更新新的節(jié)點(diǎn)向量特征的輸出方式：

(5)

(6)

SNCR-GAT模型訓(xùn)練過程如下：

輸入：網(wǎng)絡(luò)數(shù)據(jù)集Cora、Citeseer和Pumbed

處理：1)節(jié)點(diǎn)特征預(yù)處理(劃分節(jié)點(diǎn)特征和標(biāo)簽信息);

2)應(yīng)用稀疏矩陣存儲節(jié)點(diǎn)特征，劃分訓(xùn)練集、驗(yàn)證集和測試集;

3)構(gòu)建二階信息收斂的鄰接矩陣。

訓(xùn)練：1)初始化權(quán)重用于輸入特征的線性變化；

2)計(jì)算參數(shù)化權(quán)值向量并初始化；

3)線性變換節(jié)點(diǎn)特征；

4)利用公式(1)計(jì)算注意力系數(shù)；

5)Softmax歸一化鄰居節(jié)點(diǎn)特征；

6)根據(jù)基數(shù)保留策略公式(6)生成嵌入向量矩陣。

輸出：節(jié)點(diǎn)分類預(yù)測精度。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集

為了驗(yàn)證本文所提模型SNCR-GAT的實(shí)際效果，在3個(gè)引文網(wǎng)絡(luò)數(shù)據(jù)集Cora，Citeseer和Pumbed上進(jìn)行實(shí)驗(yàn).每個(gè)數(shù)據(jù)集中的節(jié)點(diǎn)表示一篇論文，邊構(gòu)成引用關(guān)系，數(shù)據(jù)集詳細(xì)信息見表1。

表1 數(shù)據(jù)集信息描述

3.2 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)是基于半監(jiān)督的訓(xùn)練模式，主網(wǎng)絡(luò)采用兩層基于注意力機(jī)制的GCN，第一層用來學(xué)習(xí)節(jié)點(diǎn)的特征表示，利用12個(gè)多頭注意力端來平衡模型訓(xùn)練，特征向量聚合后非線性激活采用LeakRelu函數(shù).第二層網(wǎng)絡(luò)是數(shù)據(jù)節(jié)點(diǎn)分類層，通過softmax函數(shù)實(shí)現(xiàn)。

為了能夠找到適合模型性能的最好參數(shù)，在參考其它GNN模型的最優(yōu)參數(shù)的同時(shí)也進(jìn)行了自行調(diào)整，并且為了方便比較模型的實(shí)驗(yàn)效果，采取控制單一變量的原則構(gòu)建實(shí)驗(yàn)所涉及對比的圖神經(jīng)網(wǎng)絡(luò)模型，為了驗(yàn)證改進(jìn)模型在圖嵌入時(shí)的表現(xiàn)效果，對多個(gè)不同的標(biāo)準(zhǔn)數(shù)據(jù)集進(jìn)行了訓(xùn)練，測試以及驗(yàn)證.實(shí)驗(yàn)中初始網(wǎng)絡(luò)學(xué)習(xí)率為0.02，模型優(yōu)化采用自適應(yīng)的Adam[18]優(yōu)化器，統(tǒng)一設(shè)置Dropout率為0.6，模型訓(xùn)練迭代100次，經(jīng)過測試隨著迭代次數(shù)的增加，結(jié)果會出現(xiàn)平滑現(xiàn)象，同時(shí)采用多頭注意力機(jī)制來增加模型訓(xùn)練的穩(wěn)定性,實(shí)驗(yàn)環(huán)境配置見表2。

表2 實(shí)驗(yàn)環(huán)境配置

3.3 節(jié)點(diǎn)分類應(yīng)用實(shí)驗(yàn)

3.3.1 模型對比

實(shí)驗(yàn)結(jié)果將所提模型SNCR-GAT與其它基準(zhǔn)方法生成的網(wǎng)絡(luò)嵌入進(jìn)行比較，包括通過隨機(jī)游走生成節(jié)點(diǎn)序列學(xué)習(xí)網(wǎng)絡(luò)嵌入的DeepWalk、學(xué)習(xí)節(jié)點(diǎn)連續(xù)特征表示的node2vec、基于譜分解定義卷積操作的GCN、通過Attention生成不同權(quán)重的基準(zhǔn)模型GAT。前面兩個(gè)方法都是通過中心節(jié)點(diǎn)沿邊游走，利用后續(xù)節(jié)點(diǎn)出現(xiàn)的概率保持節(jié)點(diǎn)的高度相似來生成節(jié)點(diǎn)特征表示。而基于神經(jīng)網(wǎng)絡(luò)訓(xùn)練的GCN和GAT則是利用迭代訓(xùn)練聚合不同的鄰域信息來生成網(wǎng)絡(luò)節(jié)點(diǎn)嵌入。通過對比這幾個(gè)典型的基本算法在節(jié)點(diǎn)嵌入上的效果來表現(xiàn)SNCR-GAT的優(yōu)勢。

3.3.2 結(jié)果與分析

為驗(yàn)證SNCR-GAT模型相較于在網(wǎng)絡(luò)嵌入中的整體分類效果，與文獻(xiàn)[14]模型進(jìn)行了對比實(shí)驗(yàn)，同時(shí)為保證實(shí)驗(yàn)結(jié)果的公平準(zhǔn)確性，采用了十折交叉驗(yàn)證[19]測試模型，將數(shù)據(jù)集分成10份，每一份都作為一次測試集來進(jìn)行實(shí)驗(yàn)，最終結(jié)果以10次結(jié)果均值為準(zhǔn)。10次實(shí)驗(yàn)結(jié)果對比如圖3所示.其中橫軸代表每一份測試集，縱軸表示分類精度(單位：%)。

圖3 十折交叉驗(yàn)證節(jié)點(diǎn)分類精度對比

實(shí)驗(yàn)結(jié)果表明，本文采用的二階鄰域基數(shù)保留策略在網(wǎng)絡(luò)嵌入上的效果的確優(yōu)于基準(zhǔn)GAT模型，分析其原因，SNCR-GAT在目標(biāo)節(jié)點(diǎn)特征更新上能夠聚合更大范圍內(nèi)的鄰域信息，保留更多的結(jié)構(gòu)屬性。同時(shí)也減小了網(wǎng)絡(luò)訓(xùn)練中受注意力系數(shù)篩選影響導(dǎo)致的部分早期基數(shù)信息的丟失，這為提高節(jié)點(diǎn)分類任務(wù)準(zhǔn)確率方面的表現(xiàn)做出了極大的貢獻(xiàn).總的實(shí)驗(yàn)結(jié)果對比匯總在表3中。

表3 節(jié)點(diǎn)分類精確率對比

通過比較節(jié)點(diǎn)的分類精度，SNCR-GAT模型在總體上表現(xiàn)良好，在Cora、Citeseer、Pubmed三個(gè)數(shù)據(jù)集上的訓(xùn)練準(zhǔn)確率相比較原始的GAT網(wǎng)絡(luò)提升分別為：5.6、3.6和4.5。特別是Cora數(shù)據(jù)集上分類精度提升明顯。這也表明SNCR-GAT模型在圖嵌入過程中進(jìn)行節(jié)點(diǎn)表示向量更新時(shí)的，有效的減少了信息丟失的問題，重要的是在基于二階鄰域的信息聚合方式對于當(dāng)前節(jié)點(diǎn)更新新的向量表示提供了更廣泛的信息，基數(shù)保留信息聚合策略對于重要的鄰域信息選擇更可靠。

3.3.3 復(fù)雜度分析

SNCR-GAT在訓(xùn)練階段首先會將節(jié)點(diǎn)的特征向量做一個(gè)維數(shù)F→F′的空間映射，其時(shí)間復(fù)雜度為O(|V|×F×F′)，|V|是網(wǎng)絡(luò)中節(jié)點(diǎn)數(shù)；另外注意力機(jī)制α(·)是將2F′維的特征向量映射為實(shí)數(shù)的過程，因此會產(chǎn)生O(|E|×F′)的計(jì)算復(fù)雜度，其中|E|是邊數(shù)。二階鄰域聚合過程是一個(gè)加權(quán)求和的過程，只涉及到一次鄰接矩陣的平方運(yùn)算，同時(shí)基數(shù)保留的聚合函數(shù)做了一次特征向量的加法運(yùn)算，均不存在高復(fù)雜度的乘法運(yùn)算。采用二階鄰域基數(shù)保留策略能夠使模型在最少的epoch次數(shù)下收斂到最好的結(jié)果，綜合評價(jià)，SNCR-GAT模型在復(fù)雜度上也存在明顯的優(yōu)勢。

3.3.4 階鄰域分析

為了證明二階鄰域信息收斂的有效性，在實(shí)驗(yàn)中以逐步增長階數(shù)的方式測試采用不同階鄰域?qū)δＰ驼w的影響，隨著階數(shù)增加，利用節(jié)點(diǎn)分類實(shí)驗(yàn)結(jié)果和算法模型訓(xùn)練時(shí)間進(jìn)行評估，同樣地，對每一階的測試中，模型運(yùn)行10次，以平均準(zhǔn)確率為作為最終結(jié)果。實(shí)驗(yàn)在Cora數(shù)據(jù)集上測試，如圖4所示，為方便比較，將節(jié)點(diǎn)分類精確度曲線與時(shí)間曲線在同一圖上進(jìn)行描述，橫軸代表鄰域階數(shù)k，縱軸代表時(shí)間(min)。

圖4 k階鄰域節(jié)點(diǎn)分類準(zhǔn)確率對比

實(shí)驗(yàn)結(jié)果表明，隨著鄰域階數(shù)的增加，實(shí)驗(yàn)結(jié)果沒有受到太大的波動，反觀模型收斂時(shí)間在增加。分析其原因，考慮二階以上的鄰域信息收斂會致使SNCR-GAT模型可能會從不太相關(guān)的鄰居那里獲取大量信息，從而無法學(xué)習(xí)合適的節(jié)點(diǎn)表示，因此影響到網(wǎng)絡(luò)嵌入節(jié)點(diǎn)分類的精度，同時(shí)階數(shù)的增加，需要計(jì)算鄰接矩陣的次冪來增加圖的k跳連通性以傳遞信息，這會提高模型初期數(shù)據(jù)特征處理的計(jì)算復(fù)雜度，訓(xùn)練時(shí)間會更長，不利于實(shí)驗(yàn)的高效進(jìn)行，因此基于二階鄰域下的基數(shù)信息保留方案是更有效的，在保證模型性能的條件下，控制時(shí)間復(fù)雜度在可行的范圍內(nèi)是可取的。

3.4 網(wǎng)絡(luò)可視化應(yīng)用實(shí)驗(yàn)

對網(wǎng)絡(luò)嵌入效果的另一種評估方式是對學(xué)習(xí)到的網(wǎng)絡(luò)嵌入表示進(jìn)行可視化展示。網(wǎng)絡(luò)嵌入向量作為d維空間的表示，無法直觀的根據(jù)向量特征進(jìn)行評估模型的嵌入效果。我們以Cora數(shù)據(jù)集進(jìn)行可視化展示來評估SNCR-GAT的網(wǎng)絡(luò)嵌入效果。對比模型選用了GCN，GAT這兩個(gè)同為聚合收斂的基準(zhǔn)模型.首先將對比模型及我們的模型鎖所學(xué)習(xí)到的節(jié)點(diǎn)嵌入向量輸入到t分布隨機(jī)鄰域嵌入(t-SNE，t-distributed stochastic neighbor embedding)[20]模型中，t-SNE能夠通過降維的方式將網(wǎng)絡(luò)嵌入向量表示映射到指定維數(shù)空間中進(jìn)行展示，為了能夠在分類可視化的基礎(chǔ)上更好的觀察網(wǎng)絡(luò)嵌入效果的層次結(jié)構(gòu)劃分，我們在三維空間中實(shí)現(xiàn)了所有模型的可視化。

圖5展示了Cora數(shù)據(jù)集在不同模型學(xué)習(xí)到的網(wǎng)絡(luò)嵌入表示的三維可視化效果。其中每一個(gè)點(diǎn)在三維空間中都有一個(gè)坐標(biāo)，以實(shí)現(xiàn)可視化。每一種類別標(biāo)簽對應(yīng)一種形狀，具有相同類別標(biāo)簽的節(jié)點(diǎn)再二維空間中對應(yīng)的點(diǎn)具有相同的形狀。對比GCN、GAT和SNCR-GAT在三維可視化上的節(jié)點(diǎn)分類效果，可以通過明顯的層次結(jié)構(gòu)清楚的看到節(jié)點(diǎn)之間的類別劃分，同時(shí)在GCN的可視化任務(wù)中，不同類別的簇形成鮮明的對比，但是簇與簇之間的簇間距很小導(dǎo)致一些相鄰邊界之間的點(diǎn)劃入錯(cuò)誤的類別中。比較明顯的是，SNCR-GAT在可視化任務(wù)上性能更好，表現(xiàn)出了清晰的類別和邊界距離感，錯(cuò)分的節(jié)點(diǎn)也比較少。因此，可以認(rèn)為SNCR-GAT在可視化任務(wù)上獲得了具有競爭性的結(jié)果。

圖5 Cora數(shù)據(jù)集t-SNE下的三維可視化

4 結(jié)束語

在本文中，為解決網(wǎng)絡(luò)嵌入節(jié)點(diǎn)分類不精確，網(wǎng)絡(luò)可視化層次結(jié)構(gòu)劃分不清晰等問題，提出了基于二階鄰域基數(shù)信息保留策略的改進(jìn)圖注意力機(jī)制模型SNCR-GAT。首先，通過目標(biāo)節(jié)點(diǎn)的二階鄰域來增大局部感受野以獲得更多的網(wǎng)絡(luò)結(jié)構(gòu)信息，其次，使用保留基數(shù)信息的聚合方式來避免GAT模型訓(xùn)練中節(jié)點(diǎn)信息因權(quán)重篩選造成的原始特征丟失問題，以此來生成目標(biāo)節(jié)點(diǎn)新的特征向量表示。最后實(shí)驗(yàn)結(jié)果表明，與其它基線算法相比本文所改進(jìn)方案本文展現(xiàn)了更好的優(yōu)勢，這對于實(shí)際的智能應(yīng)用是可行的，尤其是在節(jié)點(diǎn)分類中模型預(yù)測的高精確率更體現(xiàn)了本文方案的優(yōu)越性以及穩(wěn)定性。