基于動(dòng)態(tài)超圖小波神經(jīng)網(wǎng)絡(luò)的半監(jiān)督超圖節(jié)點(diǎn)分類(lèi)

摘 要：

半監(jiān)督超圖節(jié)點(diǎn)分類(lèi)任務(wù)旨在利用少量節(jié)點(diǎn)的標(biāo)簽信息，預(yù)測(cè)未標(biāo)記節(jié)點(diǎn)的標(biāo)簽，在復(fù)雜網(wǎng)絡(luò)分析和應(yīng)用中具有重要意義?，F(xiàn)有半監(jiān)督超圖節(jié)點(diǎn)分類(lèi)模型主要存在以下兩點(diǎn)不足：a） 神經(jīng)網(wǎng)絡(luò)層數(shù)增加后，忽視隱藏的高階關(guān)系；b） 模型時(shí)間復(fù)雜度高。因此，提出了一種新的動(dòng)態(tài)超圖小波神經(jīng)網(wǎng)絡(luò)（dynamic hypergraph wavelet neural network，DHGWNN），解決半監(jiān)督超圖節(jié)點(diǎn)分類(lèi)問(wèn)題。一方面，提出了一種基于k-NN、k-Hop和注意力機(jī)制的超圖動(dòng)態(tài)構(gòu)建方法，挖掘節(jié)點(diǎn)之間隱藏的高階關(guān)系，進(jìn)一步豐富超圖特征嵌入；另一方面，使用超圖上的小波變換，構(gòu)建了一種超圖小波卷積網(wǎng)絡(luò)，并重新推導(dǎo)了卷積更新公式，以解決模型時(shí)間復(fù)雜度高的問(wèn)題。四個(gè)引文網(wǎng)絡(luò)真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，該方法的分類(lèi)性能優(yōu)于基線模型。

關(guān)鍵詞：超圖；半監(jiān)督學(xué)習(xí)；節(jié)點(diǎn)分類(lèi)；小波變換

中圖分類(lèi)號(hào)：TP391"" 文獻(xiàn)標(biāo)志碼：A""" 文章編號(hào)：1001-3695（2024）12-028-3735-07

doi： 10.19734/j.issn.1001-3695.2024.05.0129

Semi-supervised hypergraph node classification based on dynamic hypergraph wavelet neural network

Pang Jun1，2， Cheng Jun’ao1， Lin Xiaoli1，2， Wang Mengxiang3

（1.College of Computer Science amp; Technology， Wuhan University of Science amp; Technology， Wuhan 430065， China; 2.Hubei Province Key Laboratory of Intelligent Information Processing amp; Real-time Industrial System， Wuhan 430065， China; 3.China Institute of Standardization， Beijing 100088， China）

Abstract：

The semi-supervised hypergraph node classification task aims to predict the labels of unlabeled nodes using the labeling information of a small number of nodes， which is important in complex network analysis and applications. Existing semi-supervised hypergraph node classification models have the following two main shortcomings： a） neglecting hidden higher-order relations with the number of neural network layers increasing. b） high model time complexity. Therefore， this paper proposed a new dynamic hypergraph wavelet neural network （DHGWNN） to solve the semi-supervised hypergraph node classification problem. On the one hand， it proposed a hypergraph dynamic construction method based on k-NN， k-Hop and attention mecha-nism to mine the hidden higher-order relationships between nodes， which further enriched the hypergraph feature embedding. On the other hand， it constructed a hypergraph wavelet convolutional network using wavelet transform on hypergraph and rederived the convolutional update formula to solve the problem of high time complexity of the model. Experimental results on four real datasets of citation networks show that the classification performance of the proposed method is better than the baseline models.

Key words：hypergraph; semi-supervised learning; node classification; wavelet transform

0 引言

圖數(shù)據(jù)由節(jié)點(diǎn)和邊組成，可表示各種關(guān)系和網(wǎng)絡(luò)結(jié)構(gòu)，如社交網(wǎng)絡(luò)、知識(shí)圖譜和分子結(jié)構(gòu)等。半監(jiān)督圖節(jié)點(diǎn)分類(lèi)任務(wù)旨在利用少量標(biāo)記節(jié)點(diǎn)的標(biāo)簽信息，預(yù)測(cè)未標(biāo)記節(jié)點(diǎn)的標(biāo)簽，使得模型能夠?qū)⒐?jié)點(diǎn)分配到正確的類(lèi)別中。該任務(wù)具有廣泛的應(yīng)用領(lǐng)域，例如社交媒體分析［1］、推薦系統(tǒng)［2，3］、生物信息學(xué)［4］、計(jì)算機(jī)視覺(jué)［5］等。

現(xiàn)有半監(jiān)督節(jié)點(diǎn)分類(lèi)方法多面向普通圖（即簡(jiǎn)單二元關(guān)系圖，參見(jiàn)圖1（b）），主要采用圖神經(jīng)網(wǎng)絡(luò)（graph neural networks，GNN）處理非歐幾里德數(shù)據(jù)，以實(shí)現(xiàn)節(jié)點(diǎn)分類(lèi)。例如，Kipf等人［6］在譜理論的基礎(chǔ)上結(jié)合深度學(xué)習(xí)，提出了一種圖卷積模型GCN并將其應(yīng)用于半監(jiān)督節(jié)點(diǎn)分類(lèi)任務(wù)。Velickovic等人［7］關(guān)注節(jié)點(diǎn)鄰域特征，為鄰域中不同節(jié)點(diǎn)指定不同權(quán)重來(lái)更新節(jié)點(diǎn)特征，并利用自注意層來(lái)解決圖卷積只關(guān)注鄰居節(jié)點(diǎn)而無(wú)法捕捉圖結(jié)構(gòu)中更遠(yuǎn)距離的節(jié)點(diǎn)關(guān)系的不足。此外，GraphSAGE［8］模型使用采樣方法，GraphGAN［9］模型加入生成對(duì)抗網(wǎng)絡(luò)。

這些方法針對(duì)普通圖，聚焦成對(duì)關(guān)系。然而現(xiàn)實(shí)世界中許多對(duì)象之間的關(guān)系并非簡(jiǎn)單的成對(duì)關(guān)系。例如，多位作者合作完成一篇論文，多位用戶(hù)討論同一話題等。雖然這些高階關(guān)系可轉(zhuǎn)換為成對(duì)關(guān)系進(jìn)行表示，但是存在信息丟失或信息冗余問(wèn)題［10］。因此，可用超圖直接建模這些高階關(guān)系［11］。超圖是由節(jié)點(diǎn)和超邊組成的圖，超邊可以連接任意數(shù)量的節(jié)點(diǎn)。下文給出一個(gè)用普通圖或超圖表示引文網(wǎng)絡(luò)的示例。

例1 如圖1（a）所示，已知作者合作發(fā)表論文的相關(guān)信息（張?zhí)m、李?yuàn)W、王東合作發(fā)表了論文A等），這些信息的普通成對(duì)圖和超圖表示分別如圖1（b）（c）所示。節(jié)點(diǎn)表示論文，邊表示所關(guān)聯(lián)的論文有共同的作者。圖1（c）虛線框起來(lái)的超邊表示論文A、B、C有共同作者。顯然從圖1（b）很難判斷多篇論文是否有共同作者（如只能判斷論文A、B、C兩兩分別有共同作者，而不能判別這三篇論文有共同的作者），而從圖1（c）卻可清晰地辨識(shí)。

采用超圖直接建模高階關(guān)系后，半監(jiān)督圖節(jié)點(diǎn)分類(lèi)轉(zhuǎn)換為半監(jiān)督超圖節(jié)點(diǎn)分類(lèi)。半監(jiān)督超圖節(jié)點(diǎn)分類(lèi)具有廣泛的應(yīng)用。例如：a） 圖1中引文網(wǎng)絡(luò)的例子，通過(guò)對(duì)論文分類(lèi)可以識(shí)別出不同的研究領(lǐng)域和學(xué)科的論文，在實(shí)際的應(yīng)用中這有助于了解各領(lǐng)域的發(fā)展?fàn)顩r和趨勢(shì)；b） 圖2中社交網(wǎng)絡(luò)的例子，通過(guò)對(duì)用戶(hù)節(jié)點(diǎn)進(jìn)行分類(lèi)，可以更好地了解用戶(hù)的興趣和行為，從而提供個(gè)性化的內(nèi)容推薦。已有不少學(xué)者研究了半監(jiān)督超圖節(jié)點(diǎn)分類(lèi)方法，根據(jù)處理方式的不同可分為兩類(lèi)：基于譜分析的方法［10，12］和基于神經(jīng)網(wǎng)絡(luò)的方法［13～20］?；谧V分析的方法是一類(lèi)以譜理論為基礎(chǔ)的分析方法。例如：Agarwal等人［10］在譜理論的基礎(chǔ)上提出星式展開(kāi)和團(tuán)式展開(kāi)，將超圖轉(zhuǎn)換為普通圖，從而將超圖問(wèn)題轉(zhuǎn)換為普通圖問(wèn)題，進(jìn)而采用普通圖方法進(jìn)行解決，該方法存在信息丟失、信息冗余的問(wèn)題。Zhou等人［12］定義了超圖上的拉普拉斯算子，首次提出超圖學(xué)習(xí)，并將超圖應(yīng)用于半監(jiān)督節(jié)點(diǎn)分類(lèi)，但該方法有存在孤立節(jié)點(diǎn)時(shí)拉普拉斯算子失效的問(wèn)題。該類(lèi)方法通常有著嚴(yán)密的推導(dǎo)過(guò)程，同時(shí)相關(guān)的理論基礎(chǔ)對(duì)其他類(lèi)型算法的設(shè)計(jì)有著重要的指導(dǎo)意義。

基于神經(jīng)網(wǎng)絡(luò)的方法首先根據(jù)已知信息進(jìn)行超圖建模，接著將超圖表示為關(guān)聯(lián)矩陣，并采用卷積、注意力等技術(shù)來(lái)提取節(jié)點(diǎn)的特征表示，最后基于上一步獲取的節(jié)點(diǎn)嵌入表示訓(xùn)練一個(gè)分類(lèi)器來(lái)預(yù)測(cè)未分類(lèi)節(jié)點(diǎn)的類(lèi)別［13，14］。例如：Feng等人［13］受圖卷積網(wǎng)絡(luò)的啟發(fā)，將Zhou等人［12］提出的拉普拉斯矩陣引入圖卷積網(wǎng)絡(luò)，從而設(shè)計(jì)超圖卷積運(yùn)算并將其應(yīng)用于半監(jiān)督節(jié)點(diǎn)分類(lèi)任務(wù)。Wu等人［14］提出一種節(jié)點(diǎn)-超邊網(wǎng)絡(luò)的超圖卷積來(lái)對(duì)節(jié)點(diǎn)和超邊進(jìn)行過(guò)濾，并使用交叉熵?fù)p失和超圖重構(gòu)損失進(jìn)行反向傳播。該類(lèi)方法主要存在以下兩點(diǎn)不足：a） 當(dāng)前大部分神經(jīng)網(wǎng)絡(luò)模型都采用靜態(tài)超圖結(jié)構(gòu)，在神經(jīng)網(wǎng)絡(luò)層數(shù)增加的過(guò)程中，忽視了隱藏的高階關(guān)系；b） 當(dāng)前普遍使用文獻(xiàn)［13］中提出的超圖卷積網(wǎng)絡(luò)，該卷積網(wǎng)絡(luò)由于正反傅里葉變換及大量矩陣分解操作，模型訓(xùn)練的時(shí)間復(fù)雜度過(guò)高。本文研究第二類(lèi)方法。

針對(duì)第一個(gè)問(wèn)題，本文提出了一種針對(duì)半監(jiān)督超圖節(jié)點(diǎn)分類(lèi)的超圖動(dòng)態(tài)構(gòu)建方法，通過(guò)在每一層神經(jīng)網(wǎng)絡(luò)后添加超圖動(dòng)態(tài)構(gòu)建模塊，使用由超圖小波卷積網(wǎng)絡(luò)和注意力機(jī)制提取的節(jié)點(diǎn)特征，重新構(gòu)建新的超圖結(jié)構(gòu)。該方法結(jié)合k-NN和k-Hop算法以及注意力機(jī)制帶來(lái)的先驗(yàn)信息，迭代學(xué)習(xí)超圖中節(jié)點(diǎn)之間更深層次的隱藏高階關(guān)系信息。針對(duì)第二個(gè)問(wèn)題，本文提出了一種超圖上的小波變換，使用超圖小波變換和超圖拉普拉斯矩陣設(shè)計(jì)出了一種超圖小波卷積網(wǎng)絡(luò)，并推導(dǎo)出新的卷積更新公式，通過(guò)超圖小波變換稀疏且易于計(jì)算的特點(diǎn)降低模型時(shí)間復(fù)雜度?；谏鲜龉ぷ鳎疚奶岢隽艘环N新的動(dòng)態(tài)超圖小波神經(jīng)網(wǎng)絡(luò)解決半監(jiān)督超圖節(jié)點(diǎn)分類(lèi)問(wèn)題。與DHGNN［19］相比，本文使用k-NN和k-Hop算法構(gòu)建超邊集，通過(guò)等量融合方法形成超圖。k-NN算法利用注意力權(quán)重選擇相關(guān)性高的鄰居節(jié)點(diǎn)，提供局部信息，減少噪聲。k-Hop算法通過(guò)聚合目標(biāo)節(jié)點(diǎn)k跳內(nèi)的所有節(jié)點(diǎn)，提供全局信息。與小波卷積網(wǎng)絡(luò)相比，本文利用超圖小波變換構(gòu)建了超圖小波卷積網(wǎng)絡(luò)，推導(dǎo)了新的卷積公式，并引入注意力機(jī)制增強(qiáng)節(jié)點(diǎn)特征表達(dá)能力。

本文的主要貢獻(xiàn)包括：

a）提出了一種新的超圖動(dòng)態(tài)構(gòu)建方法，使用k-NN和k-Hop算法以及注意力機(jī)制帶來(lái)的先驗(yàn)信息構(gòu)建新的超圖，作為下一層神經(jīng)網(wǎng)絡(luò)的輸入，迭代學(xué)習(xí)深層隱藏高階關(guān)系，進(jìn)一步豐富節(jié)點(diǎn)嵌入特征。

b）提出了一種基于小波變換的超圖小波卷積網(wǎng)絡(luò)，使用超圖小波變換重新推導(dǎo)了新的卷積更新公式，利用小波變換稀疏的特點(diǎn)以降低模型訓(xùn)練的時(shí)間復(fù)雜度；為進(jìn)一步提升模型表達(dá)能力，采用注意力權(quán)重矩陣聚合節(jié)點(diǎn)特征。

c）在四個(gè)公開(kāi)的引文網(wǎng)絡(luò)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，驗(yàn)證了本文方法的節(jié)點(diǎn)分類(lèi)準(zhǔn)確率優(yōu)于所有baseline方法。

1 相關(guān)工作

1.1 面向普通圖的半監(jiān)督節(jié)點(diǎn)分類(lèi)方法

最早期的簡(jiǎn)單圖嵌入方法，如DeepWalk［21］、node2vec［22］等側(cè)重于捕獲節(jié)點(diǎn)之間的鄰域鄰近性。近些年，圖神經(jīng)網(wǎng)絡(luò)因?yàn)槠鋸?qiáng)大的表示學(xué)習(xí)能力，在一些任務(wù)上取得了優(yōu)秀的成績(jī)，例如節(jié)點(diǎn)分類(lèi)任務(wù)、社交網(wǎng)絡(luò)分析任務(wù)等?，F(xiàn)有基于圖神經(jīng)網(wǎng)絡(luò)的半監(jiān)督節(jié)點(diǎn)分類(lèi)方法可分為兩類(lèi)［23］：基于譜方法的半監(jiān)督節(jié)點(diǎn)分類(lèi)方法和基于空間方法的半監(jiān)督節(jié)點(diǎn)分類(lèi)方法。第一類(lèi)方法通過(guò)圖的傅里葉變換在譜域中定義卷積過(guò)程。由于該方法涉及拉普拉斯矩陣分解的操作，導(dǎo)致算法復(fù)雜度升高。為了降低計(jì)算復(fù)雜度，Defferrard等人［24］通過(guò)圖拉普拉斯的切比雪夫展開(kāi)來(lái)參數(shù)化卷積濾波器。為了進(jìn)一步提高圖卷積性能，Kipf等人［6］在卷積的每一層采用切比雪夫一階多項(xiàng)式，在有效性和效率上取得良好的性能。第二類(lèi)方法利用空間采樣器和聚合器來(lái)獲取鄰居的特征表示。Hamilton等人［8］提出了GraphSAGE方法，通過(guò)采樣選擇相鄰節(jié)點(diǎn)，然后將其饋送到聚合函數(shù)。注意力機(jī)制可以改進(jìn)卷積方法，Velickovic等人［7］將注意力機(jī)制引入到神經(jīng)網(wǎng)絡(luò)對(duì)節(jié)點(diǎn)信息聚合的過(guò)程中，提出了圖注意力網(wǎng)絡(luò)GAT。陳東洋等人［15］提出了SC-HGANN模型，使用單純復(fù)形提取網(wǎng)絡(luò)高階結(jié)構(gòu)，并結(jié)合注意力網(wǎng)絡(luò)完成半監(jiān)督節(jié)點(diǎn)分類(lèi)任務(wù)。然而，這些方法是針對(duì)成對(duì)關(guān)系而設(shè)計(jì)，直接應(yīng)用于非成對(duì)的高階關(guān)系時(shí)，因未充分考慮多節(jié)點(diǎn)之間的組合關(guān)系，造成信息丟失；這些方法還會(huì)使圖規(guī)模急劇增大，引發(fā)信息冗余問(wèn)題。

1.2 面向超圖的半監(jiān)督節(jié)點(diǎn)分類(lèi)方法

根據(jù)使用技術(shù)的不同，該類(lèi)方法可分為基于譜分析的方法和基于神經(jīng)網(wǎng)絡(luò)的方法兩類(lèi)。

第一類(lèi)是譜分析的方法。Zhou等人［12］將普通圖上的矩陣分解方法推廣到超圖上提出了N-cut算法，進(jìn)一步推動(dòng)了超圖上譜分析方法的發(fā)展，為后續(xù)的其他方法提供了一個(gè)良好的工具。Agarwal等人［10］提出了星式展開(kāi)和團(tuán)式展開(kāi)兩種經(jīng)典的展開(kāi)方法，將超圖分解為普通圖，然后使用普通圖的方法完成半監(jiān)督節(jié)點(diǎn)分類(lèi)任務(wù)，但展開(kāi)存在信息丟失或者信息冗余的問(wèn)題。然而，由于理論的限制，這類(lèi)方法通常泛化性較差，且不夠靈活，神經(jīng)網(wǎng)絡(luò)類(lèi)方法能夠很好地彌補(bǔ)譜分析方法的缺陷。

第二類(lèi)是神經(jīng)網(wǎng)絡(luò)的方法。Feng等人［13］提出了第一個(gè)超圖神經(jīng)網(wǎng)絡(luò)HGNN，將圖卷積神經(jīng)網(wǎng)絡(luò)的思想自然地?cái)U(kuò)展到了超圖上，設(shè)計(jì)了超圖上的卷積操作，然而矩陣分解操作和傅里葉變換使得模型復(fù)雜度升高。同年，Yadati等人［16］認(rèn)為HGNN在信息融合過(guò)程中有太多噪聲，使用采樣展開(kāi)的方式提出了HyperGCN并將其應(yīng)用到超圖半監(jiān)督學(xué)習(xí)中。之后，陸續(xù)出現(xiàn)在超圖神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行神經(jīng)網(wǎng)絡(luò)模型改進(jìn)的研究。Bai等人［17］在HGNN［13］中的卷積網(wǎng)絡(luò)基礎(chǔ)上加入了注意力機(jī)制，通過(guò)利用自注意力層進(jìn)一步增強(qiáng)了表示學(xué)習(xí)的能力。吳越等人［18］將HGNN［13］的應(yīng)用范圍擴(kuò)充至異質(zhì)網(wǎng)絡(luò)，使用網(wǎng)絡(luò)模體來(lái)構(gòu)造超邊，將異質(zhì)網(wǎng)絡(luò)轉(zhuǎn)換為超圖。該模型通過(guò)超圖卷積網(wǎng)絡(luò)和注意力機(jī)制聚合超圖內(nèi)部不同類(lèi)型節(jié)點(diǎn)的信息，完成半監(jiān)督超圖節(jié)點(diǎn)分類(lèi)任務(wù)。Jiang等人［19］認(rèn)為構(gòu)造的初始超圖可能不適合最終的數(shù)據(jù)表示，隨后首次提出了一種動(dòng)態(tài)超圖神經(jīng)網(wǎng)絡(luò)DHGNN用于進(jìn)行半監(jiān)督超圖節(jié)點(diǎn)分類(lèi)等任務(wù)。Wu等人［14］受DHGNN［19］的啟發(fā)，使用節(jié)點(diǎn)特征重構(gòu)超圖結(jié)構(gòu)的方法，加強(qiáng)模型發(fā)掘信息的能力。同時(shí)，引入超圖重建損失函數(shù)和交叉熵?fù)p失函數(shù)，加強(qiáng)反向傳播的效果，從而提升半監(jiān)督超圖節(jié)點(diǎn)分類(lèi)的性能。Gao等人［20］在HGNN［13］的工作基礎(chǔ)上，將卷積進(jìn)一步擴(kuò)展到空間域中，提出HGNN+。Li等人［25］提出HGTN模型，利用不同類(lèi)型的節(jié)點(diǎn)和超邊之間的通信能力，學(xué)習(xí)高階關(guān)系，并使用多尺度的注意力模塊聚合節(jié)點(diǎn)嵌入。此外，Gu等人［26］研究了超圖的并行加速處理。

綜上所述，現(xiàn)有神經(jīng)網(wǎng)絡(luò)類(lèi)方法忽視了節(jié)點(diǎn)間隱藏的高階關(guān)系，存在卷積網(wǎng)絡(luò)時(shí)間復(fù)雜度高的問(wèn)題。本文通過(guò)超圖動(dòng)態(tài)構(gòu)建和超圖小波卷積網(wǎng)絡(luò)解決了這些問(wèn)題。

2 問(wèn)題形式化定義

Xi+1=σ（D－1/2vHWD－1eHTD－1/2vXiΘ）（1）

其中：Xi+1、Xi分別是卷積第i+1和i層的特征矩陣；Θ是在訓(xùn)練過(guò)程中需要學(xué)習(xí)的參數(shù)；σ是非線性激活函數(shù)。

定義3 半監(jiān)督超圖節(jié)點(diǎn)分類(lèi)。假設(shè)給定一個(gè)超圖G=（V， E），其中V表示節(jié)點(diǎn)的集合，E表示邊的集合。對(duì)于每個(gè)節(jié)點(diǎn)，可以用特征向量Xv表示節(jié)點(diǎn)的特征。半監(jiān)督超圖節(jié)點(diǎn)分類(lèi)的目標(biāo)是，通過(guò)少量已知的節(jié)點(diǎn)標(biāo)簽信息和超圖中的高階關(guān)系，學(xué)習(xí)一個(gè)函數(shù)f：V→C，將每個(gè)節(jié)點(diǎn)v映射到其所屬的類(lèi)別或標(biāo)簽。

3 DHGWNN模型

3.1 DHGWNN框架

DHGWNN模型的主要思想是：首先，通過(guò)節(jié)點(diǎn)特征構(gòu)建超圖，并獲得超圖關(guān)聯(lián)矩陣；然后，將關(guān)聯(lián)矩陣和初始節(jié)點(diǎn)特征傳入超圖小波卷積網(wǎng)絡(luò)，得到卷積后的節(jié)點(diǎn)特征；接著，使用注意力權(quán)重對(duì)節(jié)點(diǎn)特征加權(quán)聚合，采用聚合后的節(jié)點(diǎn)特征和超圖動(dòng)態(tài)構(gòu)建和重建超圖結(jié)構(gòu)，并重復(fù)上述步驟直至達(dá)到停止條件（設(shè)定的模型層數(shù)）；最后將最終的節(jié)點(diǎn)特征送入分類(lèi)器中訓(xùn)練，并對(duì)未分類(lèi)節(jié)點(diǎn)進(jìn)行類(lèi)別預(yù)測(cè)。模型整體框架結(jié)構(gòu)如圖3所示。DHGWNN模型主要包括超圖小波卷積網(wǎng)絡(luò)、注意力加權(quán)聚合、超圖動(dòng)態(tài)構(gòu)建三個(gè)模塊。下文分別展開(kāi)介紹這三個(gè)模塊。

3.2 超圖小波卷積網(wǎng)絡(luò)

本節(jié)提出一種新的超圖小波卷積網(wǎng)絡(luò)。該卷積網(wǎng)絡(luò)與第2章中介紹的超圖譜卷積不同，其使用超圖上的小波變換重新構(gòu)建了網(wǎng)絡(luò)，并推導(dǎo)了新的卷積更新公式。尺度sgt;0的超圖小波基定義如式（2）所示。

Ψs=（ψs，1|ψs，2|…|ψs，N）=UGsUT（2）

其中：Gs=diag（g（sλ1），g（sλ2），…，g（sλN））是在圖拉普拉斯矩陣上定義的拉伸濾波器。通過(guò)將超圖小波基應(yīng)用到單個(gè)節(jié)點(diǎn)上，則節(jié)點(diǎn)vi上尺度為s的超圖小波定義如式（3）所示。

ψs，i=UGsUTδi（3）

其中：δi是一個(gè)向量，其第i項(xiàng)為1，其他項(xiàng)為0。信號(hào)x的超圖小波系數(shù)Cx（s，i）是由超圖小波基與信號(hào)x的內(nèi)積而產(chǎn)生的。計(jì)算過(guò)程如式（4）所示。

Cx（s，i）=〈ψs，i，x〉=ψTs，ix（4）

然而，通過(guò)式（1）定義的小波變換需要計(jì)算超圖拉普拉斯矩陣的完整特征值和特征向量，計(jì)算成本太高使處理速度大幅下降。為了解決該問(wèn)題，使用切比雪夫多項(xiàng)式來(lái)近似超圖小波系數(shù)。那么尺度s節(jié)點(diǎn)vi上的超圖小波系數(shù)可近似為

Cx（s，i）≈12cs，0x+∑Mm=1cs，mTm（）x（5）

其中：Tm（）為切比雪夫多項(xiàng)式；cs，m為切比雪夫系數(shù)?；谑剑?）中定義的超圖小波變換，尺度s上第l+1層卷積更新如式（6）所示。

Xl+1=σ12cs，0I+∑MM=1cs，mTm（）XlΘ（6）

其中：Xl+1和Xl分別為卷積第l+1層和卷積第l層的節(jié)點(diǎn)特征矩陣；Θ是在訓(xùn)練過(guò)程中需要學(xué)習(xí)的參數(shù)矩陣；I是單位矩陣；σ是非線性激活函數(shù)。為了方便計(jì)算機(jī)運(yùn)算，將其改寫(xiě)為矩陣形式，同時(shí)使用切比雪夫多項(xiàng)式令M=1，λmax=1，Δ=I－D－1/2vHWD－1eHTD－1/2v，將其代入式（6）中，得到矩陣形式的卷積更新公式，如式（7）所示。

Xl+1=σ（（（12cs，0+cs，1）I－

2cs，1D－1/2vHWD－1eHTD－1/2v）XlΘ）（7）

如圖3中超圖小波卷積網(wǎng)絡(luò)所示，超圖小波卷積層可以進(jìn)行“節(jié)點(diǎn)-超邊-節(jié)點(diǎn)”變換，完成節(jié)點(diǎn)到超邊再到節(jié)點(diǎn)的信息傳播過(guò)程，這樣可以更好地細(xì)化節(jié)點(diǎn)特征。首先通過(guò)可學(xué)習(xí)的參數(shù)矩陣Θ對(duì)初始的節(jié)點(diǎn)特征進(jìn)行處理，然后通過(guò)節(jié)點(diǎn)特征聚合到超邊中形成超邊特征，即通過(guò)乘以關(guān)聯(lián)矩陣H的轉(zhuǎn)置來(lái)實(shí)現(xiàn)。最后通過(guò)聚合超邊特征生成這層最終輸出的節(jié)點(diǎn)特征，即通過(guò)乘以關(guān)聯(lián)矩陣H來(lái)實(shí)現(xiàn)。

3.3 注意力加權(quán)聚合

本節(jié)介紹了注意力權(quán)重的計(jì)算、注意力權(quán)重使用和節(jié)點(diǎn)特征融合的過(guò)程。因?yàn)榕c目標(biāo)節(jié)點(diǎn)相距太遠(yuǎn)的節(jié)點(diǎn)提供信息有限，所以本文將節(jié)點(diǎn)注意力權(quán)重計(jì)算的范圍限制在2跳內(nèi)的所有鄰居節(jié)點(diǎn)。

為了通過(guò)注意力機(jī)制獲得足夠的表達(dá)能力，將輸入的節(jié)點(diǎn)特征轉(zhuǎn)換為更高級(jí)別的特征，本文遵循GAT［7］中的設(shè)置。注意力權(quán)重的計(jì)算過(guò)程如式（8）所示。

eij=a（Wxi，Wxj）（8）

其中：eij表示節(jié)點(diǎn)j的特征對(duì)節(jié)點(diǎn)i的重要性；W為權(quán)重矩陣；a為一種共享注意力機(jī)制。本文設(shè)置只需要計(jì)算節(jié)點(diǎn)j∈Euclid Math OneNApi的注意力權(quán)重eij，其中，Euclid Math OneNApi是節(jié)點(diǎn)i的某個(gè)鄰域。為了使不同節(jié)點(diǎn)之間的注意力權(quán)重易于比較，使用softmax函數(shù)對(duì)節(jié)點(diǎn)i鄰域內(nèi)的所有節(jié)點(diǎn)j進(jìn)行標(biāo)準(zhǔn)化，標(biāo)準(zhǔn)化過(guò)程如式（9）所示。

aij=softmax（eij）=exp（eij）∑k∈Euclid Math OneNApiexp（eik）（9）

獲得歸一化的注意力權(quán)重后，將其用于計(jì)算對(duì)應(yīng)特征的線性組合，作為每個(gè)節(jié)點(diǎn)的輸出特征，計(jì)算過(guò)程如式（10）所示。

x′i=σ（∑j∈Euclid Math OneNApiaijWxi）（10）

其中：σ為非線性激活函數(shù)。

通過(guò)對(duì)超圖節(jié)點(diǎn)特征執(zhí)行上述超圖小波卷積網(wǎng)絡(luò)和注意力機(jī)制后，獲得了最終的節(jié)點(diǎn)嵌入表示X′，接著將其用于學(xué)習(xí)基于標(biāo)記節(jié)點(diǎn)的分類(lèi)器。本文使用softmax函數(shù)作為激活函數(shù)，并且同時(shí)評(píng)估所有樣本的交叉熵?fù)p失函數(shù)，計(jì)算公式如式（11）（12）所示。

X^i=softmax（xi+b）（11）

Euclid Math OneLApcross-entropy=－∑l∈CL ∑Kk=1ClklnX^lk（12）

其中：xi為節(jié)點(diǎn)特征向量；b為偏置項(xiàng)；CL為具有標(biāo)簽節(jié)點(diǎn)的索引集。

3.4 超圖動(dòng)態(tài)構(gòu)建

本節(jié)介紹提出的超圖動(dòng)態(tài)構(gòu)建方法。超圖構(gòu)建方法基于注意力加權(quán)聚合后的節(jié)點(diǎn)特征，重新獲得超邊，使得超圖結(jié)構(gòu)可以獲得更多的隱藏高階關(guān)系。受到DHGNN［26］超圖動(dòng)態(tài)構(gòu)建的啟發(fā)，本文使用兩種不同的超邊集構(gòu)建策略來(lái)構(gòu)建超邊，還將注意力權(quán)重作為k-NN方法的先驗(yàn)信息，最后通過(guò)等量融合方法構(gòu)成超圖。具體如算法1所示。

算法1 超圖動(dòng)態(tài)構(gòu)建

輸入：經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)處理后的節(jié)點(diǎn)特征X、k-NN方法中的k值k1、k-Hop方法中的k值k2。

輸出：超圖關(guān)聯(lián)矩陣H。

函數(shù)：k近鄰算法k-NN、k跳鄰居算法k-Hop、拼接算法cancat、獲取關(guān)聯(lián)矩陣算法GETH。

1 for u in range（len（X）） do //循環(huán)開(kāi)始

2 "Eknn=k-NN（X［u］， X， k1）" /*通過(guò)k-NN函數(shù)選擇目標(biāo)節(jié)點(diǎn)x的k1個(gè)鄰居形成超邊Eknn*/

3 "KNNE.insert（Eknn） //將超邊Eknn插入到超邊集KNNE中

4 "Ekhop=k-Hop（X［u］， X， k2） /*通過(guò)k-Hop函數(shù)選擇目標(biāo)節(jié)點(diǎn)x的k2跳內(nèi)的所有節(jié)點(diǎn)形成超邊Ekhop*/

5 "KHOPE.insert（Ekhop） /*將超邊Ekhop插入到超邊集KHOPE中*/

6 end for //循環(huán)結(jié)束

7 H1=GETH（KNNE） /*通過(guò)GETH函數(shù)獲得超邊集KNNE的關(guān)聯(lián)矩陣H1*/

8 H2=GETH（KHOPE） /*通過(guò)GETH函數(shù)獲得超邊集KHOPE的關(guān)聯(lián)矩陣H2*/

9 H=concat（H1， H2） /*通過(guò)concat函數(shù)拼接H1和H2得到超圖的關(guān)聯(lián)矩陣H*/

10 return H //返回關(guān)聯(lián)矩陣H

算法結(jié)束

算法1描述了超圖動(dòng)態(tài)構(gòu)建流程。第1～6行循環(huán)執(zhí)行直到遍歷完所有節(jié)點(diǎn)。首先，通過(guò)k-NN算法選擇目標(biāo)節(jié)點(diǎn)的k1個(gè)鄰居節(jié)點(diǎn)形成超邊，并插入到超邊集KNNE中（第2、3行）。然后，通過(guò)k-Hop算法選擇目標(biāo)節(jié)點(diǎn)的k2跳內(nèi)的所有節(jié)點(diǎn)形成超邊，并插入到超邊集KHOPE中（第4、5行）。接著，根據(jù)兩個(gè)超邊集分別獲得H1和H2關(guān)聯(lián)矩陣（第7、8行）。最后通過(guò)concat操作獲得最終的超圖關(guān)聯(lián)矩陣（第9行）。構(gòu)建出的具有更多隱藏高階關(guān)系的新超圖結(jié)構(gòu)可以作為下一層神經(jīng)網(wǎng)絡(luò)的輸入。

接下來(lái)，給出一個(gè)根據(jù)上述兩種不同策略構(gòu)建超邊的示例，如圖4所示。

例1 已知圖4（a）所示的普通圖，分別根據(jù)k-Hop方法和k-NN方法構(gòu)建超邊組。使用k-Hop方法來(lái)生成超邊組如圖4（b）所示，圖中選擇v1作為中心節(jié)點(diǎn)。當(dāng)k值設(shè)置為1時(shí)，將節(jié)點(diǎn)v1和其1跳范圍內(nèi)的所有節(jié)點(diǎn)連接形成超邊Ek-Hop1（v1）插入超邊集，如圖中內(nèi)圈橢圓所示。當(dāng)k值設(shè)置為2時(shí)，將外圈橢圓內(nèi)所有節(jié)點(diǎn)連接起來(lái)形成超邊Ek-Hop2（v1）插入超邊集。這類(lèi)超邊可以捕捉到節(jié)點(diǎn)之間更遠(yuǎn)距離的相關(guān)性。使用k-NN算法生成超邊組如圖4（c）所示，圖中選擇v1作為中心節(jié)點(diǎn)。當(dāng)k值設(shè)置為2時(shí)，將中心節(jié)點(diǎn)及其2個(gè)鄰居節(jié)點(diǎn)連接起來(lái)形成超邊Ek-NN2（v1）插入超邊集。當(dāng)k值設(shè)置為4時(shí)，將中心節(jié)點(diǎn)及其4個(gè)鄰居節(jié)點(diǎn)連接起來(lái)形成超邊Ek-NN4（v1）插入超邊集。由于中心節(jié)點(diǎn)每個(gè)鄰居對(duì)中心節(jié)點(diǎn)的貢獻(xiàn)度是不同的，所以采用注意力機(jī)制選擇中心節(jié)點(diǎn)的k個(gè)鄰居，以達(dá)到更好的效果。

3.5 訓(xùn)練過(guò)程

算法2描述了DHGWNN模型的訓(xùn)練過(guò)程。第2～9行不斷迭代執(zhí)行，迭代次數(shù)由模型層數(shù)Item決定，其處理過(guò)程如下：首先根據(jù)節(jié)點(diǎn)特征和關(guān)聯(lián)矩陣等信息，使用卷積公式計(jì)算下一層的節(jié)點(diǎn)特征（第3行），然后根據(jù)節(jié)點(diǎn)特征計(jì)算注意力權(quán)重，并使用注意力權(quán)重對(duì)節(jié)點(diǎn)特征進(jìn)行加權(quán)聚合得到新的節(jié)點(diǎn)特征（第4、5行），接著計(jì)算交叉熵?fù)p失進(jìn)行反向傳播（第6、7行），最后根據(jù)新的節(jié)點(diǎn)特征，使用超圖動(dòng)態(tài)構(gòu)建模塊得到新的超圖繼續(xù)迭代（第8行）。

算法2 DHGWNN模型訓(xùn)練過(guò)程

輸入：節(jié)點(diǎn)特征X、模型層數(shù)Item。

輸出：節(jié)點(diǎn)特征X′、節(jié)點(diǎn)類(lèi)別C。

根據(jù)普通圖構(gòu)建初始超圖，獲得超圖關(guān)聯(lián)矩陣H

for i range（Item） do

由式（7）計(jì)算i+1層節(jié)點(diǎn)特征Xi+1

由式（8）計(jì)算注意力權(quán)重矩陣E

由式（11）計(jì)算融合注意力權(quán)重后的節(jié)點(diǎn)特征X′i+1

根據(jù)節(jié)點(diǎn)特征X′i+1使用超圖動(dòng)態(tài)構(gòu)建模塊構(gòu)建出新的超圖結(jié)構(gòu)并獲得超圖關(guān)聯(lián)矩陣H′

end for

根據(jù)神經(jīng)網(wǎng)絡(luò)最后一層聚合后的節(jié)點(diǎn)特征X′訓(xùn)練一個(gè)分類(lèi)器classifier

使用分類(lèi)器對(duì)未分類(lèi)節(jié)點(diǎn)預(yù)測(cè)得到節(jié)點(diǎn)類(lèi)別C

由式（13）計(jì)算交叉熵?fù)p失函數(shù)Lc-e

進(jìn)行反向傳播

return X′ and C

算法結(jié)束

4 實(shí)驗(yàn)

本章在四個(gè)廣泛使用的公開(kāi)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，對(duì)比了本文DHGWNN模型和baseline模型的節(jié)點(diǎn)分類(lèi)準(zhǔn)確率、macro-F1、micro-F1和模型運(yùn)行時(shí)間。此外，還報(bào)道和分析了相關(guān)消融實(shí)驗(yàn)、參數(shù)分析和案例實(shí)驗(yàn)。下文分別介紹數(shù)據(jù)集、實(shí)驗(yàn)設(shè)置、基線模型、相關(guān)實(shí)驗(yàn)結(jié)果和分析。

4.1 數(shù)據(jù)集

本文實(shí)驗(yàn)采用四個(gè)用于節(jié)點(diǎn)分類(lèi)任務(wù)的引文網(wǎng)絡(luò)數(shù)據(jù)集：Cora［13］、Pumbed［13］、Citeseer［15］和DBLP［15］。

表1展示了這些數(shù)據(jù)集的統(tǒng)計(jì)信息，其中，nodes、edges、feature和class分別表示數(shù)據(jù)集中節(jié)點(diǎn)數(shù)量、邊的數(shù)量、特征數(shù)和節(jié)點(diǎn)類(lèi)別數(shù)。

4.2 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)使用的操作系統(tǒng)為Ubuntu，CPU為IntelCore i5-10400F，GPU為NVIDIA GeForce RTX 3070，在PyCharm平臺(tái)上進(jìn)行開(kāi)發(fā)和調(diào)試。使用PyTorch框架實(shí)現(xiàn)DHGWNN模型。

對(duì)于所有數(shù)據(jù)集，從每個(gè)類(lèi)別隨機(jī)選擇10個(gè)樣本作為訓(xùn)練集，剩余樣本50%作為測(cè)試集，另外50%作為驗(yàn)證集。例如，Cora數(shù)據(jù)集中節(jié)點(diǎn)有7種類(lèi)型，在每個(gè)類(lèi)型的節(jié)點(diǎn)中隨機(jī)選擇10個(gè)節(jié)點(diǎn)作為訓(xùn)練集，剩余節(jié)點(diǎn)分別作為測(cè)試集和驗(yàn)證集。隱藏層的特征維數(shù)被設(shè)置為16，并且使用dropout drop率p=0.5以避免過(guò)擬合。選擇ReLU作為非線性激活函數(shù)。在訓(xùn)練過(guò)程中，使用Adam優(yōu)化器使交叉熵?fù)p失函數(shù)最小化，學(xué)習(xí)率設(shè)置為l=0.001。

4.3 基線模型和評(píng)價(jià)指標(biāo)

本文采用目前流行的節(jié)點(diǎn)分類(lèi)模型作為基線模型，包括：

a）基于普通圖的模型GCN［6］、GraphSAGE［8］、GAT［7］、SC-HGANN［15］。

b）基于超圖的模型HyperGCN［16］、Hyper-Atten［17］、HGNN［13］、HCNH［14］、HGTN［25］、HGNN+［20］。

評(píng)價(jià)指標(biāo)選擇節(jié)點(diǎn)分類(lèi)常用的評(píng)價(jià)標(biāo)準(zhǔn)，即節(jié)點(diǎn)分類(lèi)準(zhǔn)確率（accuracy）［13］、macro-F1［14］和micro-F1［14］。這三者值越大代表模型性能越好。

4.4 實(shí)驗(yàn)結(jié)果分析

本節(jié)報(bào)道并分析了本文提出模型與基線模型的節(jié)點(diǎn)分類(lèi)準(zhǔn)確率、macro-F1、micro-F1、模型訓(xùn)練時(shí)間。

4.4.1 節(jié)點(diǎn)分類(lèi)準(zhǔn)確率

本節(jié)分別在Cora、Pumbed、Citeseer和DBLP四個(gè)數(shù)據(jù)集上對(duì)比本文DHGWNN模型與Baseline方法的節(jié)點(diǎn)分類(lèi)準(zhǔn)確率，實(shí)驗(yàn)結(jié)果如表2所示。其中，加粗的數(shù)據(jù)為每項(xiàng)評(píng)價(jià)指標(biāo)的最優(yōu)結(jié)果。

從表2的實(shí)驗(yàn)結(jié)果中可以看到，DHGWNN模型在四個(gè)數(shù)據(jù)集上的節(jié)點(diǎn)分類(lèi)準(zhǔn)確率均優(yōu)于其他基線模型。其中，相較于每個(gè)數(shù)據(jù)集中準(zhǔn)確率最高的方法，DHGWNN模型在四個(gè)數(shù)據(jù)集上的節(jié)點(diǎn)分類(lèi)準(zhǔn)確率分別提升了2.71、2.04、1.59、2.58百分點(diǎn)。一方面，本文DHGWNN模型使用了超圖動(dòng)態(tài)構(gòu)建，能夠更好地適應(yīng)神經(jīng)網(wǎng)絡(luò)運(yùn)行過(guò)程中節(jié)點(diǎn)特征的變化，構(gòu)建出更好的超圖結(jié)構(gòu)；同時(shí)在使用k-NN策略構(gòu)建超邊時(shí)，使用上一層模型中的注意力權(quán)重作為先驗(yàn)知識(shí)，提高了節(jié)點(diǎn)對(duì)鄰居節(jié)點(diǎn)特征的聚合能力。另一方面，使用超圖上的小波變換構(gòu)建了新的超圖小波卷積網(wǎng)絡(luò)，使得卷積網(wǎng)絡(luò)能夠更有效地聚合節(jié)點(diǎn)的鄰居信息，并將信息

傳播到更遠(yuǎn)的節(jié)點(diǎn)，從而獲取更全局的超圖結(jié)構(gòu)信息。

綜上所述，在公開(kāi)數(shù)據(jù)集Cora、Pumbed、Citeseer和DBLP上的實(shí)驗(yàn)結(jié)果表明，相較于基線模型，DHGWNN模型在節(jié)點(diǎn)分類(lèi)準(zhǔn)確性中取得了最優(yōu)結(jié)果，驗(yàn)證了該模型的有效性。

4.4.2 F1得分與模型訓(xùn)練時(shí)間

為了能夠更好地評(píng)估DHGWNN模型的性能，還與HGNN對(duì)比了F1得分及模型的運(yùn)行時(shí)間。

F1得分結(jié)果如表3所示，從表中可以看出，DHGWNN模型在各個(gè)數(shù)據(jù)集上的macro-F1和micro-F1得分都要比HGNN模型高。因?yàn)樵诔瑘D動(dòng)態(tài)構(gòu)建中加入的k-Hop方法可以同時(shí)獲得鄰居的信息、鄰居的鄰居信息，使得超圖不僅更全面地描述了節(jié)點(diǎn)之間的關(guān)系，還能夠獲得更多的鄰居節(jié)點(diǎn)信息，與k-NN方法獲得的鄰居信息互補(bǔ)，有利于發(fā)現(xiàn)節(jié)點(diǎn)的相似性。表3的實(shí)驗(yàn)結(jié)果也驗(yàn)證了DHGWNN模型捕獲節(jié)點(diǎn)信息的能力更強(qiáng)，節(jié)點(diǎn)分類(lèi)的效果更好。

圖5展示了DHGWNN和DHGNN模型分別在四個(gè)實(shí)驗(yàn)數(shù)據(jù)集上的訓(xùn)練時(shí)間。DHGNN模型為將本文DHGWNN模型中的超圖小波卷積網(wǎng)絡(luò)替換為文獻(xiàn)［13］中提出的超圖卷積網(wǎng)絡(luò)，其他模塊與本文提出的模型保持一致。訓(xùn)練過(guò)程中兩種模型的神經(jīng)網(wǎng)絡(luò)層數(shù)都設(shè)置為2。從圖中可知，DHGWNN模型在四個(gè)數(shù)據(jù)集上的訓(xùn)練時(shí)間均少于DHGNN模型，驗(yàn)證了DHGWNN模型使用的超圖小波卷積網(wǎng)絡(luò)能夠更快地完成卷積操作。通過(guò)使用超圖上的小波變換構(gòu)建的超圖小波卷積網(wǎng)絡(luò)，可通過(guò)快速算法獲得，不需要進(jìn)行正反傅里葉變換，節(jié)省時(shí)間。此外，小波變換是稀疏的計(jì)算，計(jì)算效率比傅里葉變換高。

綜上，DHGWNN模型的節(jié)點(diǎn)分類(lèi)準(zhǔn)確率、F1得分、模型訓(xùn)練時(shí)間均優(yōu)于其他基線模型。

4.5 消融實(shí)驗(yàn)

本節(jié)將通過(guò)消融實(shí)驗(yàn)來(lái)驗(yàn)證DHGWNN超圖動(dòng)態(tài)構(gòu)建模塊和超圖小波卷積網(wǎng)絡(luò)的有效性，其結(jié)果如表4所示。w/o DHG表示只使用超圖小波卷積網(wǎng)絡(luò)在數(shù)據(jù)集上進(jìn)行分類(lèi)，w/o HGWNN表示去除超圖小波卷積網(wǎng)絡(luò)只使用動(dòng)態(tài)構(gòu)建模塊進(jìn)行節(jié)點(diǎn)分類(lèi)實(shí)驗(yàn)。

從表4可見(jiàn)，DHGWNN模型的半監(jiān)督超圖節(jié)點(diǎn)分類(lèi)性能優(yōu)于單獨(dú)使用超圖動(dòng)態(tài)構(gòu)建模塊或超圖小波卷積網(wǎng)絡(luò)的模型。這驗(yàn)證了使用超圖動(dòng)態(tài)構(gòu)建模塊可以發(fā)現(xiàn)更多的隱藏高階關(guān)系，且使用超圖小波卷積網(wǎng)絡(luò)能夠?qū)?duì)象的局部特征進(jìn)行更好地捕捉。將超圖動(dòng)態(tài)構(gòu)建方法和超圖小波卷積網(wǎng)絡(luò)相結(jié)合，兩者相輔相成、相互促進(jìn)，可挖掘出更多隱藏高階關(guān)系，提高了半監(jiān)督超圖節(jié)點(diǎn)分類(lèi)的準(zhǔn)確率。

4.6 參數(shù)分析

為了探究動(dòng)態(tài)超圖小波神經(jīng)網(wǎng)絡(luò)的層數(shù)對(duì)超圖半監(jiān)督節(jié)點(diǎn)分類(lèi)效果的影響，在Pumbed和Citeseer數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖6所示。

從圖6可見(jiàn)，隨著超圖小波卷積網(wǎng)絡(luò)層數(shù)的增加，本文模型的分類(lèi)準(zhǔn)確率先增加后下降。因?yàn)楫?dāng)動(dòng)態(tài)超圖小波神經(jīng)網(wǎng)絡(luò)層數(shù)較少時(shí)，增加模型層數(shù)能夠有效提取節(jié)點(diǎn)之間的高階關(guān)系，從而提高節(jié)點(diǎn)嵌入質(zhì)量，但持續(xù)增加模型層數(shù)，可能會(huì)出現(xiàn)梯度消失或者是過(guò)擬合的情況，使得模型難以得到優(yōu)化和調(diào)整，從而導(dǎo)致分類(lèi)準(zhǔn)確率開(kāi)始出現(xiàn)不同程度的下降。

4.7 案例分析

本節(jié)進(jìn)行案例實(shí)驗(yàn)與分析。從數(shù)據(jù)集Cora中選取多個(gè)經(jīng)典案例進(jìn)行實(shí)驗(yàn)評(píng)估，實(shí)驗(yàn)結(jié)果如表5所示。表5中第1列是各種測(cè)試案例；第2、3列中數(shù)字表示對(duì)于不同模型，在測(cè)試案例中模型預(yù)測(cè)論文正確類(lèi)別的概率排名結(jié)果，其直觀反映出模型預(yù)測(cè)論文類(lèi)別的準(zhǔn)確率。已知11 148、35 922、30 901號(hào)論文的ground truth類(lèi)標(biāo)簽分別是rule_learning、probabilistic_methods、theory。

以（11148， belong to， ？， 25413， 193354， 1131719）案例為例，其中編號(hào)為11148的論文ground truth類(lèi)標(biāo)簽為rule_lear-ning，問(wèn)號(hào)代表待模型預(yù)測(cè)的論文類(lèi)別，問(wèn)號(hào)后的數(shù)字表示11148號(hào)論文引用的論文編號(hào)。該案例在DHGWNN模型中，正確論文類(lèi)別“rule_learning”的預(yù)測(cè)排名是第1；而在HGNN+模型中，其排名為第5。實(shí)驗(yàn)結(jié)果表明，對(duì)于未出現(xiàn)在訓(xùn)練樣本中的測(cè)試論文，DHGWNN模型節(jié)點(diǎn)分類(lèi)的準(zhǔn)確性高于其他基線模型，這再次驗(yàn)證了DHGWNN模型的有效性。

5 結(jié)束語(yǔ)

本文提出了一種新的動(dòng)態(tài)超圖小波神經(jīng)網(wǎng)絡(luò)DHGWNN，解決半監(jiān)督超圖節(jié)點(diǎn)分類(lèi)問(wèn)題。與目前最優(yōu)方法相比，DHGWNN模型提出了一種新的超圖動(dòng)態(tài)構(gòu)建方法，根據(jù)神經(jīng)網(wǎng)絡(luò)處理后的節(jié)點(diǎn)特征動(dòng)態(tài)調(diào)整超圖結(jié)構(gòu)，挖掘節(jié)點(diǎn)之間更多隱藏的高階關(guān)系。為了降低模型訓(xùn)練的時(shí)間復(fù)雜度，本文提出了一種超圖小波卷積網(wǎng)絡(luò)，依靠小波變換相較于傅里葉變換稀疏易于計(jì)算的優(yōu)勢(shì)，可以減少卷積網(wǎng)絡(luò)的時(shí)間復(fù)雜度，進(jìn)而減少模型的訓(xùn)練時(shí)間。在四個(gè)公開(kāi)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文提出的半監(jiān)督節(jié)點(diǎn)分類(lèi)模型優(yōu)于其他基線模型。未來(lái)的工作將研究在不影響模型性能的前提下，通過(guò)對(duì)注意力機(jī)制進(jìn)行優(yōu)化，進(jìn)一步降低模型訓(xùn)練的時(shí)間復(fù)雜度和加快超圖動(dòng)態(tài)構(gòu)建方法構(gòu)建新超圖的時(shí)間。

參考文獻(xiàn)：

［1］Antonio P， Gianvito P， Domenico R， et al. SAIRUS： spatially-aware identification of risky users in social networks ［J］. Information Fusion， 2023， 92： 435-449.

［2］吳相帥， 孫福振， 張文龍， 等. 基于圖注意力的異構(gòu)圖社交推薦網(wǎng)絡(luò) ［J］. 計(jì)算機(jī)應(yīng)用研究， 2023， 40（10）： 3076-3081， 3106. （Wu Xiangshuai， Sun Fuzhen， Zhang Wenlong， et al. GAT based heterogeneous graph neural network for social recommendation ［J］. Application Research of Computers， 2023， 40（10）： 3076-3081， 3106.）

［3］Su Yuhang， Gu Yu， Wang Zhigang， et al. Efficient subhypergraph matching based on hyperedge features ［J］. IEEE Trans on Know-ledge and Data Engineering， 2023， 35（6）： 5808-5822.

［4］Huang Yufei， Li Siyan， Wu Lirong， et al. Protein 3D graph structure learning for robust structure-based protein property prediction ［C］// Proc of the 38th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2024： 12662-12670.

［5］Wei Zhou， Xia Zhiwu， Dou Peng， et al. Double attention based on graph attention network for image multi-label classification ［J］. ACM Trans on Multimedia Computing Communications and Applications， 2023， 19（1）： 1-28.

［6］Kipf N T， Welling M. Semi-supervised classification with graph con-volutional networks ［EB/OL］ （2016） ［2017-02-22］. https：//arxiv. org/abs/1609. 02907.

［7］Velickovic P， Cucurull G， Casanova A， et al. Graph attention networks ［EB/OL］ （2017） ［2018-02-04］. https：//arxiv. org/abs/1710. 10903.

［8］Hamilton W， Ying R， Leskovec J. Inductive representation learning on large graphs ［C］// Proc of the 31st Neural Information Processing Systems. San Diego： NIPS Foundation， 2017： 1024-1034.

［9］Wang Hangwei， Wang Jia， Wang Jialin， et al. GraphGAN： graph representation learning with generative adversarial nets ［C］// Proc of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2018： 2508-2515.

［10］Agarwal S， Branson K， Belongie S. Higher order learning with graphs ［C］// Proc of the 23rd International Conference on Machine Lear-ning. New York： ICML Press， 2006： 17-24.

［11］Berge C. Hypergraphs： combinatorics of finite sets ［M］. New York： Elsevier Science amp; Technology Books， 1984.

［12］Zhou Dengyong， Huang Jiayuan， Schlkopf B. Learning with hyper-graphs： clustering， classification， and embedding ［C］// Proc of the 20th Neural Information Processing Systems. San Diego： NIPS Foundation， 2006： 1601-1608.

［13］Feng Yifan， You Haoxuan， Zhang Zizhao， et al. Hypergraph neural networks ［C］// Proc of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019： 3558-3565.

［14］Wu Hanrui， NG M K. Hypergraph convolution on nodes-hyperedges network for semi-supervised node classification ［J］. ACM Trans on Knowledge Discovery from Data， 2022， 16（4）： 1-19.

［15］陳東洋， 郭進(jìn)利. 基于圖注意力的高階網(wǎng)絡(luò)節(jié)點(diǎn)分類(lèi)方法 ［J］. 計(jì)算機(jī)應(yīng)用研究， 2023， 40（4）： 1095-1100， 1136. （Chen Dong-yang， Guo Jinli. Node classification method of higher order network based on graph attention ［J］. Application Research of Compu-ters， 2023， 40（4）： 1095-1100， 1136.）

［16］Yadati N， Nimishakavi M， Yadav P， et al. HyperGCN： a new method of training graph convolutional networks on hypergraphs ［C］// Proc of the 33rd Neural Information Processing Systems. San Diego： NIPS Foundation， 2019： 1511-1522.

［17］Bai Song， Zhang Feihu， Torr P H S. Hypergraph convolution and hypergraph attention ［J］. Pattern Recognition， 2021， 110： 107637.

［18］吳越， 王英， 王鑫，等. 基于超圖卷積的異質(zhì)網(wǎng)絡(luò)半監(jiān)督節(jié)點(diǎn)分類(lèi) ［J］. 計(jì)算機(jī)學(xué)報(bào)， 2021， 44（11）： 2248-2260. （Wu Yue， Wang Ying， Wang Xin， et al. Motif-based hypergraph convolution network for semi-supervised node classification on heterogeneous graph ［J］. Chinese Journal of Computers， 2021， 44（11）： 2248-2260.）

［19］Jiang Jianwen， Wei Yuxuan， Feng Yifan， et al. Dynamic hypergraph neural networks ［C］// Proc of the 28th International Joint Conference on Artificial Intelligence. San Francisco： Morgan Kaufmann， 2019： 2635-2641.

［20］Gao Yue， Feng Yifan， Ji Shuyi， et al. HGNN+： general hypergraph neural networks ［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2023， 45（3）： 3181-3199.

［21］Perozzi B， Al-Rfou R， Skiena S. DeepWalk： online learning of social representations ［C］// Proc of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press， 2014： 701-710.

［22］Grover A， Leskovec J. node2vec： scalable feature learning for networks ［C］// Proc of the 22nd ACM SIGKDD International Confe-rence on Knowledge Discovery and Data Mining. New York： ACM Press， 2016： 855-864.

［23］馬帥， 劉建偉， 左信. 圖神經(jīng)網(wǎng)絡(luò)綜述 ［J］. 計(jì)算機(jī)研究與發(fā)展， 2022， 59（1）： 47-80. （Ma Shuai， Liu Jianwei， Zuo Xin. Survey on graph neural network ［J］. Journal of Computer Research and Development， 2022， 59（1）： 47-80.）

［24］Defferrard M， Bresson X， Vandergheynst P. Convolutional neural networks on graphs with fast localized spectral filtering ［C］// Proc of the 30th Neural Information Processing Systems. San Diego： NIPS Foundation， 2016： 3844-3852.

［25］Li Mengran， Zhang Yong， Li Xiaoyong， et al. Hypergraph transformer neural networks ［J］. ACM Trans on Knowledge Discovery from Data， 2023， 17（5）： 1-22.

［26］Gu Yu， Yu Laiqiang， Song Zhen， et al. Distributed hypergraph processing using intersection graphs ［J］. IEEE Trans on Knowledge and Data Engineering， 2022， 34（7）： 3182-3195.