基于自適應差異化圖卷積的圖注意力網絡表示學習算法

摘" 要： 為解決傳統(tǒng)圖卷積網絡在處理節(jié)點間復雜關系時存在的局限性，提出一種基于自適應差異化圖卷積的圖注意力網絡表示學習算法。采用差異化圖卷積網絡，依據每個節(jié)點自身特征和鄰居信息進行差異化采樣，捕捉節(jié)點間的復雜關系；再結合二階段關鍵相鄰采樣方式優(yōu)先挖掘重要節(jié)點并保留隨機性，完成關鍵鄰居節(jié)點的采樣；然后結合圖注意力網絡，通過局部關注和自適應學習權重分配將關鍵鄰居節(jié)點特征聚合到自身節(jié)點上，增強節(jié)點的特征表示；最后經網絡訓練，進一步增強網絡表示學習能力。實驗結果表明，所提出的算法優(yōu)化了節(jié)點聚合程度和邊界清晰度，提高了節(jié)點分類的準確性和可視化效果，并且通過關注二階鄰居和使用雙頭注意力，在網絡表示學習上也展現(xiàn)出了優(yōu)越性能。

關鍵詞： 網絡表示學習； 圖卷積網絡； 自適應差異化機制； 節(jié)點采樣； 特征聚合； 網絡訓練； 圖注意力網絡

中圖分類號： TN912?34； TP391" " " " " " " " " "文獻標識碼： A" " " " " " " " " " " 文章編號： 1004?373X（2025）02?0051?04

Graph attention network representation learning algorithm based on adaptive differentiation graph convolution

WU Yulan1， SHU Jianwen2

（1. School of Science and Technology， Nanchang Hangkong University， Jiujiang 332020， China; 2. Nanchang Hangkong University， Nanchang 330063， China）

Abstract： In order to solve the limitation of traditional graph convolution network in dealing with complex relationships between nodes， a graph attention network representation learning algorithm based on adaptive differentiation graph convolution network is proposed. The differentiation graph convolution network is used to conduct differential sampling according to each node's own characteristics and neighbor information， so as to capture the complex relationships between nodes. The two?stage key neighbor sampling method is used to mine important nodes first and retain randomness to complete the sampling of key neighbor nodes. In combination with graph attention network， the key neighbor node features are aggregated to their own nodes by means of local attention and adaptive learning weight distribution， so as to enhance the node feature representation. After training the network， the learning ability of network representation is enhanced further. The experimental results show that the proposed algorithm can optimize the degree of node aggregation and boundary clarity， and improve the accuracy and visualization of node classification. The algorithm also shows superior performance in network representation learning by paying attention to second?order neighbors and using double attention.

Keywords： network representation learning; graph convolution network; adaptive differentiation mechanism; node sampling; feature aggregation; network training; graph attention network

網絡表示學習可以確保學習節(jié)點獲取其低維向量描述[1]，確保相似節(jié)點在向量空間內的距離最小化。通過學習節(jié)點表示[2]可以更好地理解圖的內在結構和模式，從而為相關任務提供有力的支持。圖數(shù)據在各個領域的應用越來越廣泛，如社交網絡、推薦系統(tǒng)、生物信息學等，這些領域中的圖數(shù)據通常具有復雜的結構和豐富的信息，如何有效地表示和處理這些圖數(shù)據成為一個亟待解決的問題。

網絡表示學習作為一種新型的圖數(shù)據學習方法，越來越受到研究者的關注，如文獻[3]提出一種網絡表示學習算法，該方法基于結構平衡理論和高階互信息，通過網絡中的正負關系生成負圖，獲取隱含的高階互信息，并利用節(jié)點局部嵌入、網絡全局結構和節(jié)點特征之間的高階互信息，得到網絡特性的節(jié)點表示；但是該方法需要進行反轉操作和挖掘高階互信息，時間復雜度很高。文獻[4]提出一種雙視角的網絡表示學習算法，該方法分別在邊與節(jié)點下完成不同的采樣結果，再對其采樣結果進行融合并訓練，實現(xiàn)節(jié)點和邊的表示學習；但是該方法無法完全捕捉到網絡中的復雜結構和模式，需要進行進一步的改進和優(yōu)化。文獻[5]提出一種基于社區(qū)折疊策略的網絡表示學習算法，利用社區(qū)折疊策略，將目標網絡的每個社區(qū)視為一個折疊單元，使用網絡表示學習算法分別學習折疊網絡和目標網絡上節(jié)點的向量表示，最后將這些向量表示拼接起來，形成最終的節(jié)點表示；然而，該方法對節(jié)點向量較為敏感，存在一定的弊端。文獻[1]提出一種融合社區(qū)結構信息的網絡表示學習算法，通過借鑒模塊度思想，融合鄰近性信息和節(jié)點的屬性信息，完成網絡表示學習；但是，該方法面臨著數(shù)據稀疏性的挑戰(zhàn)。傳統(tǒng)的圖數(shù)據處理方法往往只關注節(jié)點的標簽或屬性，忽略了節(jié)點間的復雜關系和差異性。然而，在許多實際應用中，節(jié)點間的關系對于理解圖的模式和規(guī)律至關重要。自適應差異化機制能夠根據節(jié)點的特征和鄰居信息動態(tài)調整節(jié)點的表示，通過自適應差異化機制能夠更好地捕捉節(jié)點間的復雜關系和差異性。本文將自適應差異化圖卷積的圖注意力應用于網絡表示學習算法，能夠提高節(jié)點表示的準確性和穩(wěn)定性，更全面地理解圖的模式和規(guī)律，為圖數(shù)據的學習和處理提供新的思路和方法。

1" 圖注意力網絡表示學習算法

1.1" 基于自適應差異化圖卷積的鄰居節(jié)點采樣

在差異化圖卷積網絡[6]中，每個節(jié)點根據其自身的特征和鄰居節(jié)點的信息進行差異化采樣，不同節(jié)點具有不同的鄰居采樣策略，能夠更好地捕捉各節(jié)點間的復雜關系和差異性。為了優(yōu)化此過程，并充分考慮到鄰居之間的差異，將結合優(yōu)先采樣與隨機采樣形成一種二階段關鍵相鄰采樣方式，融合圖的結構特征，使節(jié)點能夠更全面地表示其狀態(tài)和屬性，提高節(jié)點表示的準確性和穩(wěn)定性。二階段關鍵相鄰采樣方式中的優(yōu)先采樣階段是對節(jié)點的鄰居差異性進行挖掘，優(yōu)先對具有高重要性的節(jié)點進行采樣，同時為了防止采樣方式存在較大的偏差，需結合隨機采樣階段使采樣過程保留隨機性。

將節(jié)點[u]的全部相鄰節(jié)點按照重要程度進行排序并采樣，相鄰節(jié)點的重要程度則是根據節(jié)點特征向量間的余弦相似度衡量，公式表達如下：

[Pcos（i，j）=xi?xjxi?xj]" " " " （1）

式中：[xi]和[xj]表示節(jié)點[i]和節(jié)點[j]的特征向量；[·]表示向量的模。由于節(jié)點的單向鄰居優(yōu)先級低于雙向鄰居，需分別求出節(jié)點[ui]與[Nuniu]和[Nbiu]的相似性，進行排序并合并后得到相似性序列，公式表達為：

[Pcos（u）=" " " "Pcos（u，v1），…，Pcos（u，vm），Pcos（u，vm+1），…，Pcos（u，vn）]" " （2）

式中：[Pcos（u，v1）]到[Pcos（u，vm）]和[Pcos（u，vm+1）]到[Pcos（u，vn）]為降序排列。將節(jié)點按照優(yōu)先級順序加入優(yōu)先采樣序列[SampleList（u）]，如果鄰居節(jié)點的數(shù)量少于采樣數(shù)量，需一直重復該過程，直到采樣數(shù)量符合要求為止；再通過隨機采樣方法按照一定的概率對鄰居節(jié)點進行采樣，形成采樣序列[SampleList（r）]。最后合并優(yōu)先采樣序列和隨機采樣序列，完成鄰居節(jié)點的采樣，公式為：

[S（ur）=SampleListpri（u）?SampleListrand（r）]" "（3）

1.2" 基于圖注意力網絡的差異化特征聚合

基于1.1節(jié)獲取了鄰居節(jié)點的信息后，將其特征聚合到自身節(jié)點上，使節(jié)點能夠更全面地表示特征屬性。然而針對一階鄰居采樣存在一定的局限性，為了進一步提高節(jié)點表示的準確性和穩(wěn)定性，將通過節(jié)點的一階鄰居和二階鄰居共同完成其特征聚合。獲取節(jié)點一階鄰居[N1（u）]后，再利用該鄰居節(jié)點通過1.1節(jié)的鄰居節(jié)點采樣方法獲取二階鄰居節(jié)點[N2（u）]，則有：

[N1（u）=Pcos（i，j）·Pcos（u）·Sur]" " （4）

[N2（u）=SampleList（vi），" vi∈N1（u）]" " " "（5）

在傳統(tǒng)的圖卷積神經網絡[7]中，從二階鄰居到一階鄰居，最終到中心節(jié)點，完成特征聚合，這種層次化聚合方式會導致信息損失。因此，為了避免信息損失，將[N1（u）]和[N2（u）]合并，提升二階鄰居節(jié)點信息的利用率，更有效地利用和傳遞外層節(jié)點的特征信息。節(jié)點[u]的鄰居序列[N（u）]可表示為：

[N（u）=N1（u）?N2（u）] （6）

圖注意力網絡（Graph Attention Network， GAT）是在圖卷積網絡中引入注意力機制[8]，為了調整節(jié)點特征，需要通過GAT聚合節(jié)點及關鍵鄰居節(jié)點的特征。通過關注局部鄰居節(jié)點，避免全局計算，從而提高算法的泛化能力；同時，通過注意力機制設置鄰居節(jié)點的學習權重，該權重可體現(xiàn)鄰居節(jié)點的重要度，從而能夠更好地理解和表示圖的內在結構和模式。

依據注意力權重，GAT會放大和縮小重要性高以及低的鄰居節(jié)點特征，通過自適應地調整特征聚合方式，獲取更新后的節(jié)點特征表示[H]，計算公式為：

[H=σ·Nu]" （7）

式中[σ]表示權重系數(shù)。通過雙頭圖注意力機制和均值描述節(jié)點特征，獲取網絡節(jié)點的特征矩陣，計算公式為：

[Xu=GAT·Fu·Au·H]" （8）

式中：[Fu]表示[u]特征矩陣；[Au]為[u]相鄰節(jié)點矩陣；[GAT]表示均值組合方式的雙頭圖注意力網絡。

GAT為了提取更豐富、更具代表性的特征表示[9]，將特征向量[h=h1，h2，…，hN，hu∈RF]進行線性變換后轉換為高級特征，學習節(jié)點特征之間的關聯(lián)，從而更好地理解圖的內在結構和模式，再采用注意力機制確定節(jié)點間的信息交互。根據節(jié)點間的關系自適應地調整注意力權重，從而更準確地捕獲重要信息。為了增強其非線性表達能力，注意力機制引入了非線性激活函數(shù)，學習復雜的特征表示，從而更好地處理圖數(shù)據中的非線性關系。通過歸一化處理，GAT進一步調整注意力權重，確保它們在合理的范圍內，提高網絡的穩(wěn)定性和可解釋性，使得注意力權重更具代表性，實現(xiàn)了對圖數(shù)據的深入理解和有效特征提取。[αuj]公式為：

[αuj=aT·W·Nuαuj] （9）

式中：[aT∈R2F']表示權值向量；[W]表示節(jié)點均可使用矩陣；[Nu]表示鄰居節(jié)點集；[αuj]表示歸一化的節(jié)點[u]和其相鄰節(jié)點[j]的權重。

1.3" 網絡訓練

為了訓練網絡，將通過有監(jiān)督的網絡表示學習方法構建節(jié)點分類能力的目標函數(shù)。在1.2節(jié)實現(xiàn)節(jié)點特征的聚合后，獲取了節(jié)點特征矩陣[Xu]，將[Xu]輸入到1.1節(jié)的圖卷積網絡中，完成不同類別節(jié)點的分類，公式表達為：

[Xnode=ω（D·A·Xnode·Wc）]" " " " "（10）

式中：[ω]表示激活函數(shù)（非線性）；[A]表示鄰居節(jié)點特征矩陣；[D]表示[A]的對角矩陣；[Wc]表示可以學習的參數(shù)矩陣；[Xnode]表示節(jié)點類別數(shù)量。以全部節(jié)點的交叉熵損失最小為目標進行訓練，實現(xiàn)節(jié)點分類的準確性，從而提升網絡表示學習能力，訓練公式表達為：

[k=Xnode·Ylc·Xnodelc·αuj]" " " " " （11）

式中：[Ylc]表示第[l]個節(jié)點類型的真實性以及節(jié)點類型集；[Xnodelc]表示第[l]個節(jié)點的圖卷積層輸出的第c個類別。

2" 實驗分析

為了驗證本文方法的有效性，進行實驗分析。實驗數(shù)據集是兩個引文網絡Cora和ACM、一個社交網絡BlogCatalog，詳細情況如表1所示。數(shù)據集中的文檔用節(jié)點表示，文檔之間的聯(lián)系用邊表示。每個數(shù)據集中選取600個節(jié)點用于測試，在其中選取300個節(jié)點用于驗證，不同類別中含有20個節(jié)點。通過Adam優(yōu)化器對本文算法的圖卷積神經網絡進行優(yōu)化，以實現(xiàn)節(jié)點交叉熵損失最小。設置訓練次數(shù)不高于1 000次，數(shù)據集Cora、ACM和BlogCatalog的學習率分別為0.003、0.005和0.007，設置權重分別為0.002、0.01和0.002，迭代次數(shù)為5次，當測試的數(shù)據集節(jié)點交叉熵損失在連續(xù)80個節(jié)點上均不降低時，完成訓練，并對3個數(shù)據集進行10次測試后取平均值。

節(jié)點可視化是圖數(shù)據領域的一個重要任務，目的是將圖中的節(jié)點在低維空間中進行表示，以便更好地理解節(jié)點的屬性和關系。分別在數(shù)據集Cora、ACM和BlogCatalog的各類別上隨機抽取3個節(jié)點進行可視化展示。同時，為了確保展示結果的準確性，采取多次實驗并取平均準確率的方法進行測試，驗證結果見圖1。

圖1中每一個圖形都表示一個節(jié)點，橫、縱坐標軸均表示節(jié)點在空間中的兩個維度值，節(jié)點的形狀表示節(jié)點的類別，通過各節(jié)點的形狀可以直觀地分辨出不同類別的節(jié)點。由圖可知：針對3個數(shù)據集，本文算法確保了可視化空間中各類節(jié)點能夠達到最佳的聚合程度；同時，不同類別之間的邊界清晰度也得到了優(yōu)化，使得不同類別的節(jié)點能夠明確區(qū)分開來，提高節(jié)點分類的準確性和可視化效果的可讀性，能夠更好地理解數(shù)據集的結構和模式。分析本文算法中圖卷積網絡的k取值不同時，本文算法對3種數(shù)據集的分類準確率情況，結果見表2。

從表2中3個數(shù)據集上得出的結果可以清晰地看出，當[k]值從1增加到2時，網絡在節(jié)點分類任務上的準確率有所提升。然而，隨著[k]值繼續(xù)增加，節(jié)點分類的準確率開始逐漸下降。這主要是因為當[k]值過大時，網絡會受到大量不相關鄰居的影響，導致無法有效地學習到每個節(jié)點的合適表示。本文算法特別關注二階鄰居，可實現(xiàn)網絡節(jié)點的有效分類。

為了進一步驗證本文算法的網絡表示學習性能，通過設置不同注意力頭的數(shù)量，分別在數(shù)據集Cora、ACM和BlogCatalog上進行實驗，注意力頭的數(shù)量需要與每個注意力頭輸出的特征表示維度相乘，以保持維度相同。不同數(shù)量注意力頭時分類準確率如表3所示。

由表3可知，在數(shù)據集Cora、ACM和BlogCatalog上，均使用雙頭注意力時的節(jié)點分類準確率較高，與只使用單個注意力頭和多個注意力頭相比，雙頭注意力機制確實能夠提升網絡的分類準確率。說明通過本文算法能夠更好地捕捉節(jié)點之間的復雜模式和關系，從而提取更豐富、更有針對性的特征表示。

3" 結" 論

本文結合自適應差異化圖卷積和圖注意力網絡，有效地解決了傳統(tǒng)圖卷積網絡在處理節(jié)點間復雜關系時的局限性。通過差異化采樣和關鍵相鄰節(jié)點挖掘，增強了節(jié)點特征表示，提高了節(jié)點分類的準確性和可視化效果。本文方法關注二階鄰居和使用雙頭注意力，進一步驗證了該方法的優(yōu)越性能，為解決復雜圖數(shù)據問題提供了更多且有效的工具。

注：本文通訊作者為舒建文。

參考文獻

[1] 劉彥北，劉金新，耿磊，等.一種融合社區(qū)結構信息的網絡表示學習算法[J].天津工業(yè)大學學報，2022，41（2）：53?59.

[2] 王巖，任浩，王喆.動態(tài)連續(xù)時間網絡表示學習[J].計算機工程與應用，2022，58（12）：163?169.

[3] 郁湧，錢天宇，高悅，等.基于結構平衡理論和高階互信息的符號網絡表示學習算法[J].電子科技大學學報，2023，52（5）：780?788.

[4] 倪琦瑄，張霞，卜湛.基于雙視角的耦合網絡表示學習算法[J].計算機系統(tǒng)應用，2021，30（9）：247?255.

[5] CHEN D， NIE M， YAN J， et al. Network representation learning algorithm based on community folding [J]. Journal of internet technology， 2022， 23（2）： 415?423.

[6] 劉鵬飛，李偉彤.基于時空自適應圖卷積網絡的跌倒檢測算法[J].電子測量技術，2023，46（3）：150?156.

[7] 劉寬，奚小冰，周明東.基于自適應多尺度圖卷積網絡的骨架動作識別[J].計算機工程，2023，49（10）：264?271.

[8] 李績鵬，陳穎，王東振.融合雙注意力與深度神經網絡的遙感圖像配準[J].計算機仿真，2022，39（7）：42?47.

[9] 康世澤，吉立新，張建朋.一種基于圖注意力網絡的異質信息網絡表示學習框架[J].電子與信息學報，2021，43（4）：915?922.

[10] 凌雨婷.面向多任務的網絡表示學習方法研究與應用[D].濟南：山東師范大學，2023.

[11] 吳正昊，曾國蓀.基于自適應差異化圖卷積的社交網絡新增惡意用戶檢測[J].計算機應用研究，2023，40（9）：2820?2825.

[12] 劉冬帥.基于多關系圖注意力網絡的知識表示學習[D].大連：大連海事大學，2023.

[13] 劉錦濤，謝穎華.基于圖注意力網絡表示學習的協(xié)同過濾推薦算法[J].計算機系統(tǒng)應用，2022，31（4）：273?280.