基于自適應(yīng)特征更新的動(dòng)態(tài)深度圖神經(jīng)網(wǎng)絡(luò)

劉穎穎,葉海良,曹飛龍

(中國(guó)計(jì)量大學(xué) 理學(xué)院,浙江 杭州 310018)

近幾年,人們對(duì)圖神經(jīng)網(wǎng)絡(luò)(graph neural networks,GNN)[1]的研究興趣增加了很多。圖神經(jīng)網(wǎng)絡(luò)是一種強(qiáng)大的處理圖結(jié)構(gòu)數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)類型,廣泛應(yīng)用于節(jié)點(diǎn)分類[2-4]和圖分類[5-6]等任務(wù)。經(jīng)典的圖神經(jīng)網(wǎng)絡(luò)包括圖卷積網(wǎng)絡(luò)(graph convolutional networks,GCNs)[7],圖注意力網(wǎng)絡(luò)(graph attention networks,GAT)[8]等。目前,大多數(shù)GCN模型[9-11]僅限于淺層網(wǎng)絡(luò)架構(gòu),這種淺層架構(gòu)限制了網(wǎng)絡(luò)提取高階信息的能力。然而,當(dāng)直接加深網(wǎng)絡(luò)層數(shù)時(shí),它們通常遭遇過擬合或過平滑問題,從而導(dǎo)致網(wǎng)絡(luò)性能不佳。因此,如何將圖神經(jīng)網(wǎng)絡(luò)推廣到深層結(jié)構(gòu)是當(dāng)前的具有挑戰(zhàn)的問題。

實(shí)現(xiàn)加深圖神經(jīng)網(wǎng)絡(luò)的關(guān)鍵是解決過擬合或過平滑問題。過擬合問題源于訓(xùn)練數(shù)據(jù)分布有限,解決此問題通常采用過采樣[12-14]和插值[15-17]的方法來學(xué)習(xí)擬合訓(xùn)練數(shù)據(jù)。圖隨機(jī)神經(jīng)網(wǎng)絡(luò)[18]設(shè)計(jì)了一種隨機(jī)傳播策略對(duì)圖數(shù)據(jù)進(jìn)行增強(qiáng),表現(xiàn)出比現(xiàn)有的GNNs更好的泛化能力。邊刪除技術(shù)(DropEdge)[13]在每個(gè)訓(xùn)練階段從輸入圖中隨機(jī)刪除一定數(shù)量的邊,從而動(dòng)態(tài)地生成與原始圖中不同的鄰接矩陣,以增加輸入數(shù)據(jù)的多樣性。然而,這些方法往往在通過隨機(jī)增加或刪除圖的節(jié)點(diǎn)和邊的過程中破壞了原始圖數(shù)據(jù),從而導(dǎo)致信息丟失。本文利用局部和全局相結(jié)合的架構(gòu),通過全局分支加入原始信息改善了這一方法存在的問題。

隨著圖網(wǎng)絡(luò)層數(shù)的增加,節(jié)點(diǎn)的特征變得越來越難以區(qū)分,這就產(chǎn)生了過平滑問題。許多學(xué)者提出了深度模型優(yōu)化網(wǎng)絡(luò)體系,可以有效地解決這一問題。殘差網(wǎng)絡(luò)(residual network,resNet)[19-20]采用簡(jiǎn)單堆疊層中的殘差連接,為梯度傳播提供額外的路徑,由此解決了消失梯度問題并使網(wǎng)絡(luò)層數(shù)大幅度增加。深度圖神經(jīng)網(wǎng)絡(luò)(deep graph neural networks,DeepGCNs)[21]繼續(xù)擴(kuò)展了這一想法,Li等[21]將密集連接[22-23]和擴(kuò)張卷積[24]結(jié)合起來,使訓(xùn)練深度網(wǎng)絡(luò)更具有穩(wěn)定性。圖神經(jīng)網(wǎng)絡(luò)變體(simple and deep graph convolutional networks,GCNII)[25]采用初始?xì)埐詈秃愕扔成涞慕Y(jié)合,這有效地緩解了過平滑問題,并且文中提供了相應(yīng)的理論證明。

雖然上述工作提出了許多提取深層特征的方法,且在節(jié)點(diǎn)分類任務(wù)上取得了比較好的性能。然而,大部分深度圖網(wǎng)絡(luò)對(duì)不同層的特征融合仍然不夠充分,這在很大程度上限制了不同層特征的融合。大多數(shù)模型超參數(shù)需要人為設(shè)定,這使得網(wǎng)絡(luò)框架的效率大大降低。

為了克服上述不足,本文設(shè)計(jì)了一個(gè)基于自適應(yīng)特征更新的動(dòng)態(tài)深度圖神經(jīng)網(wǎng)絡(luò)框架來學(xué)習(xí)深層有效特征。所提出的方法是一種深度局部分支和全局分支相結(jié)合的架構(gòu)。在深度局部分支中,通過DropEdge在每個(gè)訓(xùn)練階段動(dòng)態(tài)地生成不同的鄰接矩陣,從而增加數(shù)據(jù)多樣性,緩解過擬合問題。隨后,將所得數(shù)據(jù)輸入自適應(yīng)恒等映射濾波器進(jìn)行特征提取。在濾波器中,將自適應(yīng)恒等映射添加到濾波器函數(shù)可使模型達(dá)到至少與其淺層模型相同的效果。此外,本文還添加了存儲(chǔ)塊以存儲(chǔ)每層更新后的特征。特別地,所設(shè)計(jì)的存儲(chǔ)塊通過自適應(yīng)權(quán)重加入更新后的特征信息,動(dòng)態(tài)地保留各階節(jié)點(diǎn)之間的特征。最后將存儲(chǔ)塊的特征和初始特征經(jīng)過卷積進(jìn)行融合改變其維度,以便于進(jìn)行節(jié)點(diǎn)分類。在全局分支中,通過卷積將原始特征與深度特征進(jìn)行融合,以保證原始信息在整體框架中的完整性。

總之,本文首先采用局部特征和全局特征相結(jié)合的方法,構(gòu)建了基于自適應(yīng)特征更新的動(dòng)態(tài)深度圖神經(jīng)網(wǎng)絡(luò)框架。其次,我們提出了一種自適應(yīng)策略,以數(shù)據(jù)驅(qū)動(dòng)的方式學(xué)習(xí)多項(xiàng)式濾波器系數(shù)和各階特征組合系數(shù)。最后,將提出的框架與基于采樣的方法相結(jié)合,以提高輸入數(shù)據(jù)的多樣性。模型的訓(xùn)練達(dá)到128層,在數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果驗(yàn)證了所提模型的正確性和有效性。

1 基于自適應(yīng)特征更新的動(dòng)態(tài)深度圖神經(jīng)網(wǎng)絡(luò)

1.1 前期準(zhǔn)備

圖卷積網(wǎng)絡(luò):圖卷積網(wǎng)絡(luò)是近年來提出的一種將傳統(tǒng)卷積運(yùn)算應(yīng)用于圖結(jié)構(gòu)的網(wǎng)絡(luò)模型,它依然存在著深度學(xué)習(xí)[26]中復(fù)雜度的問題。圖卷積操作中的濾波函數(shù)f(L)通常用拉普拉斯多項(xiàng)式近似:

(1)

(2)

式(2)中,σ(·)為激活函數(shù)。

DropEdge:為了對(duì)原始圖數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng),有學(xué)者提出DropEdge[13]機(jī)制。即從原始圖中隨機(jī)刪除邊,緩解節(jié)點(diǎn)隨著層數(shù)的增加收斂到一個(gè)平穩(wěn)點(diǎn),從而解決過平滑現(xiàn)象。DropEdge按一定比例隨機(jī)丟棄輸入圖中的邊,也旨在通過生成的鄰接矩陣變體Adrop來提高模型泛化能力,從而提高數(shù)據(jù)多樣性。生成的鄰接矩陣與初始鄰接矩陣A之間的關(guān)系為

(3)

式(3)中,A′是根據(jù)比率保留鄰接矩陣,其中p是鄰接矩陣中邊總數(shù)的丟棄率。

1.2 整體網(wǎng)絡(luò)框架

(4)

在已有工作的基礎(chǔ)上,本文設(shè)計(jì)了一種基于自適應(yīng)特征更新的動(dòng)態(tài)深度圖神經(jīng)網(wǎng)絡(luò)框架,它具有深度局部分支和全局分支的融合架構(gòu),如圖1。全局分支是為了防止初始節(jié)點(diǎn)的特征被來自高階節(jié)點(diǎn)的特征掩蓋。通過在整體網(wǎng)絡(luò)中添加全局分支特征提取來優(yōu)化其結(jié)構(gòu),其目的是學(xué)習(xí)捕獲節(jié)點(diǎn)及其鄰域結(jié)構(gòu)特征的淺層信息并減少原始信息的丟失。深度局部分支采用DropEdge得到新的鄰接矩陣,并將其輸入到自適應(yīng)恒等映射濾波器中。濾波器更新后的特征添加到自適應(yīng)跳躍連接存儲(chǔ)塊中,通過自適應(yīng)跳躍連接完成深度特征傳播。深度局部分支有利于加深網(wǎng)絡(luò)層的數(shù)量,并能夠自適應(yīng)的儲(chǔ)存高階節(jié)點(diǎn)之間的信息。

圖1 基于自適應(yīng)特征更新的動(dòng)態(tài)深度圖神經(jīng)網(wǎng)絡(luò)框架Figure 1 Structure of dynamic deep graph neural network based on adaptive feature update

1.3 深度局部分支

在深度局部分支中,我們首先設(shè)計(jì)了與現(xiàn)有的DropEdge相結(jié)合的方法得到初始局部圖特征。隨后,初始局部圖特征通過構(gòu)建的自適應(yīng)恒等映射濾波器進(jìn)行深層特征更新。最后,局部深層節(jié)點(diǎn)特征在自適應(yīng)跳躍連接存儲(chǔ)塊中自適應(yīng)交互學(xué)習(xí)并實(shí)現(xiàn)信息儲(chǔ)存。存儲(chǔ)塊輸出特征與初始局部圖特征融合實(shí)現(xiàn)信息利用率最大化。

首先,通過GCN卷積聚合初始節(jié)點(diǎn)特征和經(jīng)過DropEdge處理變化的鄰接矩陣,構(gòu)建一個(gè)局部圖特征輸入應(yīng)用于深度局部分支。這一操作將初始特征維度壓縮到與深度局部隱藏層相同的維度,初始局部圖特征定義為

(5)

其外,為了將網(wǎng)絡(luò)擴(kuò)展到深層以增強(qiáng)其特征提取能力,自適應(yīng)恒等映射添加到濾波器中是一種有效的手段。自適應(yīng)恒等映射濾波器能夠表示任意系數(shù)的K階多項(xiàng)式濾波器,模型的第l層定義為

(6)

最后,在深度局部分支中構(gòu)造一個(gè)自適應(yīng)跳躍連接存儲(chǔ)塊,保證不同層之間的特征動(dòng)態(tài)融合,并且當(dāng)融合更多層信息時(shí)避免了信息冗余。更新的深層特征X(l)進(jìn)入存儲(chǔ)塊,存儲(chǔ)塊通過添加參數(shù)α的自適應(yīng)跳躍連接向前傳遞。隨著層數(shù)加深,各層更新特征不斷加入到存儲(chǔ)塊中,各層信息連接參數(shù)也隨之發(fā)現(xiàn)動(dòng)態(tài)變化。在層組合中,深層特征來補(bǔ)充每個(gè)自適應(yīng)跳躍連接存儲(chǔ)塊,在保留特征的局部特征的同時(shí),利用了所有層的信息。深層特征X(l)和存儲(chǔ)塊的輸出特征H(l)之間的關(guān)系定義為

H(l)=αH(l-1)+X(l),l=1,2,…L。

(7)

式(7)中,H(l)為自適應(yīng)跳躍連接存儲(chǔ)塊的輸出,H(l-1)為初始存儲(chǔ)塊,H(0)由構(gòu)建的局部圖特征X(0)傳入,參數(shù)α初始值范圍設(shè)置為[-1,1],并通過反向傳播進(jìn)行進(jìn)行動(dòng)態(tài)更新。L為深度局部分支總層數(shù)。

在X(0)和H(l)之間使用跳躍連接,它將初始局部圖特征與存儲(chǔ)塊輸出特征組合起來,以便組合所有層的節(jié)點(diǎn)信息并最大化來自淺層的信息。通過圖卷積將深度局部分支的特征壓縮到節(jié)點(diǎn)分類的維度,最后深度局部分支的特征為

(8)

1.4 全局分支與融合

由于深度局部分支聚合沒有考慮初始圖信息,僅使用了經(jīng)過DropEdge處理后的鄰接矩陣。為了保留初始特征的完整信息,本文將全局分支獲得的節(jié)點(diǎn)特征與通過深度局部分支獲得的節(jié)點(diǎn)特征連接起來,將其作為全局分支后的輸出特征H′。最后,深度局部分支和全局分支攜帶的不同信息完成聚合,最終的輸出特征Y為

(9)

(10)

2 實(shí)驗(yàn)及結(jié)果分析

2.1 數(shù)據(jù)集

本文考慮三個(gè)數(shù)據(jù)集:Cora、Citeseer和Pubmed。這三個(gè)數(shù)據(jù)集是節(jié)點(diǎn)分類任務(wù)常用的基準(zhǔn)數(shù)據(jù)集,每個(gè)數(shù)據(jù)集都由以下八個(gè)文件(三種類型)組成:第一種類型:x、tx、allx;第二種類型:y、ty、ally是對(duì)應(yīng)的標(biāo)簽;第三種類型:圖形、測(cè)試、索引。表1統(tǒng)計(jì)了實(shí)驗(yàn)中數(shù)據(jù)集的組成。

表1 實(shí)驗(yàn)中使用的數(shù)據(jù)集的統(tǒng)計(jì)數(shù)據(jù)Table 1 Statistics of datasets used in experiments

Cora由機(jī)器學(xué)習(xí)論文組成,是近年來該圖形深度學(xué)習(xí)的熱門數(shù)據(jù)集。在面向數(shù)據(jù)集中,本文分為以下七類:基于案例的,遺傳算法,神經(jīng)網(wǎng)絡(luò),概率法,強(qiáng)化學(xué)習(xí),規(guī)則學(xué)習(xí)理論等。數(shù)據(jù)可以轉(zhuǎn)換為模型中的任務(wù),并且可以在訓(xùn)練集中訪問節(jié)點(diǎn)特征。

Citeseer是一個(gè)關(guān)于論文數(shù)據(jù)集,由3 327篇論文的圖表組成,包含六個(gè)標(biāo)簽:代理,AI(人工智能),DB(數(shù)據(jù)庫(kù)),IR(信息檢索),ML(機(jī)器語(yǔ)言)和HCI(人機(jī)交互)。它總共有3 703個(gè)功能部件和3 327個(gè)節(jié)點(diǎn)。

Pubmed是19 717份與糖尿病相關(guān)的論文的數(shù)據(jù)集。Pubmed中的每篇論文都由術(shù)語(yǔ)頻率逆文檔頻率(TF-IDF)向量表示。它總共有500個(gè)功能部件和19 717個(gè)節(jié)點(diǎn)。

2.2 實(shí)驗(yàn)設(shè)置

本文采用GCNII[25]和DropEdge[13]中使用的全監(jiān)督訓(xùn)練方式,分別對(duì)每個(gè)數(shù)據(jù)集里的文件進(jìn)行訓(xùn)練、驗(yàn)證和測(cè)試。模型的初始學(xué)習(xí)率為0.02,L2正則化系數(shù)設(shè)置為0.000 01,線性層的丟棄率為0.5。本模型采用自適應(yīng)學(xué)習(xí)率優(yōu)化算法(adaptive moment estimation,Adam)[28]訓(xùn)練網(wǎng)絡(luò)中的權(quán)值與偏置。該模型有自適應(yīng)調(diào)整機(jī)制,能夠自適應(yīng)地平衡卷積層中特征和儲(chǔ)存信息塊的參數(shù)。因此,模型需要調(diào)整的唯一參數(shù)p是鄰接矩陣中邊的丟棄率。

2.3 對(duì)比方法

本文模型與其它基于圖神經(jīng)網(wǎng)絡(luò)的模型進(jìn)行精度比較,將這些基準(zhǔn)圖網(wǎng)絡(luò)主要分為三類。首先,我們比較三種先進(jìn)的淺層圖卷積模型:GCNs[7]、GAT[8]、近似個(gè)性化傳播(approximate personalized popagation of nural pedictions,APPNP)[29]。其次,我們比較最近的深度模型:GCNII[25],跳躍知識(shí)網(wǎng)絡(luò)(jumping knowledge networks,JKNet)[30],ResGCN[19],DropEdge[13]分別在三個(gè)不同的主干模型中(DropEdge-GCN、DropEdge-JKNet、DropEdge-ResGCN)。最后,我們比較最近的圖數(shù)據(jù)增強(qiáng)模型:自適應(yīng)采樣圖卷積網(wǎng)絡(luò)(adaptive sampling towards fast graph representation learning,AS-GCN)[31],節(jié)點(diǎn)分類圖正則神經(jīng)網(wǎng)絡(luò)(neural graph learning-nodeNet,NodeNet)[32],幾何圖卷積網(wǎng)絡(luò)(geometric graph convolutional networks,Geom-GCN)[33],邊蒸餾(link distillation,LinkDist)[34]和隨機(jī)點(diǎn)對(duì)的對(duì)比蒸餾(contrastive training with negative links,CoLinkDist)[34]。為了確保公平的評(píng)價(jià)指標(biāo),實(shí)驗(yàn)中固定了隱藏單元的數(shù)量,每個(gè)數(shù)據(jù)集以相同的比例進(jìn)行相同的訓(xùn)練和測(cè)試過程。

2.4 實(shí)驗(yàn)結(jié)果

為了真實(shí)地反映該模型對(duì)不同的數(shù)據(jù)集的影響,我們對(duì)模型的參數(shù)進(jìn)行了大量的隨機(jī)搜索,選擇最終的最佳精度結(jié)果。

表2展示了本文模型在2、4、8、16、32、64、128層情形下Cora、Citeseer和Pubmed數(shù)據(jù)集的性能,最佳精度結(jié)果以粗體突出顯示。節(jié)點(diǎn)分類測(cè)試精度取得了較大的提高,平均精度提高了0.6%～2.0%。從模型深度的角度上來看,所提出模型突破了4層的網(wǎng)絡(luò)層數(shù),隨著網(wǎng)絡(luò)層數(shù)的增加,分類精度得到一定程度的改善。其中,在Cora和Pubmed兩個(gè)數(shù)據(jù)集上,網(wǎng)絡(luò)層數(shù)增加到128層時(shí),分類精度最高;在Citeseer數(shù)據(jù)集上,隨著網(wǎng)絡(luò)層數(shù)增加,分類精度在16層時(shí)達(dá)到最佳,隨后略微下降。從后續(xù)的消融實(shí)驗(yàn)也可以看出,GCN模型當(dāng)層數(shù)超過4層時(shí),精度會(huì)有明顯的斷層式下降。本文模型的精度隨著層數(shù)加深并沒有顯著下降,這表明模型對(duì)緩解過平滑的問題起到了一定作用。本文網(wǎng)絡(luò)深度增加到128層,成功地將普通的GCN擴(kuò)展到深度模型。

表2 不同深度的分類精度結(jié)果匯總Table 2 Summary of classifification accuracy results with various depths %

表3展示了本文的模型與基準(zhǔn)模型在Cora、Citeseer和Pubmed數(shù)據(jù)集上進(jìn)行的精度比較,最佳精度的層數(shù)標(biāo)注在括號(hào)中。我們可以觀察到淺層模型GCN在三個(gè)數(shù)據(jù)集上的性能都非常低,這表明只使用淺層框架限制了節(jié)點(diǎn)分類任務(wù)。淺層模型與深層模型相比,層數(shù)較高的節(jié)點(diǎn)會(huì)從鄰居節(jié)點(diǎn)獲得更多的信息。我們?cè)黾恿俗赃m應(yīng)跳躍儲(chǔ)存層,既得到深層特征又融合了各階特征,因此獲得了較高精度。此外,GAT,ResGCN和Geom-GCN不優(yōu)于GCNII這一事實(shí)驗(yàn)證了恒等映射技術(shù)更為重要。另一方面,我們注意到,當(dāng)層數(shù)超過32時(shí),DropEdge的卷積性能迅速下降,這表明了簡(jiǎn)單的數(shù)據(jù)增強(qiáng)只能加深有限的網(wǎng)絡(luò)層數(shù)。與其它網(wǎng)絡(luò)相比,我們模型中可變的參數(shù)量較少,更容易調(diào)整模型的精度。我們的模型相比于其他的模型達(dá)到了最高的層數(shù),成功地實(shí)現(xiàn)了提高網(wǎng)絡(luò)深度這一目的,并在數(shù)據(jù)集上取得較好的結(jié)果。

表3 不同對(duì)比方法的分類精度結(jié)果匯總Table 3 Summary of classifification accuracy results with different comparison methods %

2.5 超參數(shù)討論

本節(jié)基于Cora、Citeseer和Pubmed三個(gè)數(shù)據(jù)集進(jìn)行超參數(shù)實(shí)驗(yàn)。模型中有三個(gè)參數(shù),其中自適應(yīng)恒等映射濾波器和自適應(yīng)跳躍連接存儲(chǔ)塊中的參數(shù)將在模型中進(jìn)行自適應(yīng)調(diào)整。根據(jù)表4的結(jié)果,我們將評(píng)估DropEdge的參數(shù)p丟棄率的影響,并檢查其抗魯棒性的潛在性能。一些對(duì)抗性攻擊圖數(shù)據(jù)的論文[35-37]分析了圖神經(jīng)網(wǎng)絡(luò)在參數(shù)的變化下容易出現(xiàn)顯著的性能下降的問題,此問題也引起了我們的關(guān)注。故本文對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行綜合性改進(jìn),其它參數(shù)也得到了自適應(yīng)的調(diào)整。為了能夠在深度網(wǎng)絡(luò)中觀察到實(shí)驗(yàn)的性能,我們選擇精度最高的層進(jìn)行超參數(shù)的討論。例如,在Cora數(shù)據(jù)集實(shí)驗(yàn)中,我們固定了l=128層。為了顯示模型在這些超參數(shù)擾動(dòng)下的穩(wěn)定性,p的參數(shù)以0.1為區(qū)間步長(zhǎng),取值范圍為[0.1,1.0)。我們將網(wǎng)格搜索范圍設(shè)置為{0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9}。我們對(duì)圖數(shù)據(jù)進(jìn)行不同邊擾動(dòng),利用超參數(shù)實(shí)驗(yàn)來評(píng)估模型的魯棒性。

表4 DropEdge超參數(shù)實(shí)驗(yàn)Table 4 Hyper-parameter experiments of DropEdge

在三個(gè)數(shù)據(jù)集的不同邊丟棄擾動(dòng)條件下,實(shí)驗(yàn)的精度仍保持一定的穩(wěn)定性。在90%的邊被丟棄,導(dǎo)致原始圖數(shù)據(jù)信息過度損失的情況下,三個(gè)數(shù)據(jù)集上的準(zhǔn)確率仍沒有明顯的下降趨勢(shì)。這一比較突出了我們的模型能夠適應(yīng)更廣泛的數(shù)據(jù),我們的方法可以從數(shù)據(jù)中學(xué)習(xí)適當(dāng)?shù)臑V波器多項(xiàng)式的系數(shù),減少圖濾波器相關(guān)的超參數(shù),為訓(xùn)練模型和提高魯棒性提供強(qiáng)大的指導(dǎo)。這些觀察結(jié)果表明,通過優(yōu)化模型,它在不同等級(jí)的擾動(dòng)下仍然有較強(qiáng)的魯棒性。

2.6 消融分析

在本節(jié)中,我們將討論圖神經(jīng)網(wǎng)絡(luò)對(duì)自適應(yīng)恒等映射濾波器和自適應(yīng)跳躍連接存儲(chǔ)塊的評(píng)估技術(shù),以及通過添加全局分支和DropEdge對(duì)模型的整體改進(jìn)。我們?cè)谠撃Ｐ蜕线M(jìn)行消融實(shí)驗(yàn),并將其與原始圖神經(jīng)網(wǎng)絡(luò)進(jìn)行比較。表明了我們的方法顯著提高了網(wǎng)絡(luò)性能,并驗(yàn)證了框架中不同組塊的影響,以確保深度模型的有效性。在模塊自適應(yīng)恒等映射濾波器(adaptive identity mapping,AIM)、自適應(yīng)跳躍連接存儲(chǔ)塊(adaptive residual connection storage block,ARS)、全局分支(global branch,global)和DropEdge中,我們?cè)谂c實(shí)驗(yàn)裝置相同的條件下,對(duì)Cora、Citeseer、Pubmed數(shù)據(jù)集在2、4、8、16、32、64、128層進(jìn)行實(shí)驗(yàn)。

我們從圖2～4中得到了6個(gè)觀察結(jié)果。

圖2 Cora數(shù)據(jù)集消融研究Figure 2 Ablation study of Cora

圖3 Citeser數(shù)據(jù)集消融研究Figure 3 Ablation study of Citeser

圖4 Pubmed數(shù)據(jù)集消融研究Figure 4 Ablation study of Pubmed

第一,當(dāng)以原始的GCN作為初始實(shí)驗(yàn)時(shí),在三個(gè)數(shù)據(jù)集上只能進(jìn)行淺層實(shí)驗(yàn),在層數(shù)加深的過程中,精度大大降低。

第二,直接將自適應(yīng)恒等映射應(yīng)用于GCN時(shí),其性能略優(yōu)于GCN,它可以延緩過平滑的問題,但當(dāng)層數(shù)超過8層時(shí),精度仍然大幅度降低。

第三,直接將自適應(yīng)跳躍連接存儲(chǔ)塊應(yīng)用于GCN的深化效果顯著,但在網(wǎng)絡(luò)層的深化過程中,精度呈下降趨勢(shì)。

第四,應(yīng)用自適應(yīng)恒等映射和自適應(yīng)跳躍連接存儲(chǔ)塊,使模型能夠克服過度平滑,保持穩(wěn)定性。這表明兩個(gè)塊應(yīng)該一起使用,否則,自適應(yīng)恒等映射傾向于學(xué)習(xí)無用的零映射。

第五,在網(wǎng)絡(luò)保持穩(wěn)定的深層環(huán)境后,我們添加了DropEdge來進(jìn)一步提高網(wǎng)絡(luò)的精度,這說明了通過生成鄰接矩陣不同變體提高了模型泛化能力。

第六,在網(wǎng)絡(luò)保持穩(wěn)定和趨于更深層后,模型加入全局分支,這一操作使網(wǎng)絡(luò)更好地利用初始節(jié)點(diǎn)的信息,有利于網(wǎng)絡(luò)整體的穩(wěn)定性。

通過消融實(shí)驗(yàn)的比較,我們發(fā)現(xiàn)應(yīng)用混合組塊明顯優(yōu)于使用其任一組塊。它不僅增加了網(wǎng)絡(luò)層的層數(shù),而且在三個(gè)數(shù)據(jù)集上的結(jié)果精度明顯更高,這驗(yàn)證了本文模型的有效性。所提出的模型隨著層數(shù)的增加而保持了較高的精度,并且網(wǎng)絡(luò)的層數(shù)達(dá)到128層,有效地緩解過擬合和過平滑問題。

3 結(jié) 語(yǔ)

由于圖神經(jīng)網(wǎng)絡(luò)在逐漸加深其網(wǎng)絡(luò)層數(shù)時(shí)會(huì)出現(xiàn)過擬合和過平滑的問題,大多數(shù)圖網(wǎng)絡(luò)方法均具有較淺層的網(wǎng)絡(luò)結(jié)構(gòu)。本文基于此問題創(chuàng)建了基于自適應(yīng)特征更新的動(dòng)態(tài)深度圖神經(jīng)網(wǎng)絡(luò),進(jìn)而緩解了此現(xiàn)象,以更好地完成節(jié)點(diǎn)分類任務(wù)。在模型的整體調(diào)整中,全局分支上的淺層節(jié)點(diǎn)為網(wǎng)絡(luò)的深度擴(kuò)展發(fā)揮了指導(dǎo)性的作用。在深度局部分支中,經(jīng)過DropEdge進(jìn)行動(dòng)態(tài)數(shù)據(jù)增強(qiáng),構(gòu)建自適應(yīng)圖濾波器更新深層特征,并用自適應(yīng)跳躍連接存儲(chǔ)塊實(shí)現(xiàn)不同階特征的動(dòng)態(tài)儲(chǔ)存。對(duì)Cora、Citeseer和Pubmed數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),所提出的方法與其他節(jié)點(diǎn)分類方法相比較網(wǎng)絡(luò)層數(shù)可以增加到128層,且有效緩解了過擬合和過平滑問題,在節(jié)點(diǎn)分類任務(wù)中精度得到顯著提高。

本文提出的方法從整體來看具有較好的性能,然而對(duì)于在大規(guī)模的圖數(shù)據(jù)是否適用還有待研究,這很大程度上是由于層數(shù)的增加,大規(guī)模圖數(shù)據(jù)采樣充分性往往是不確定的。