融合結(jié)構(gòu)和特征的圖層次化池化模型

馬涪元，王 英，李麗娜，汪洪吉

1.吉林大學(xué)計算機科學(xué)與技術(shù)學(xué)院，長春130012

2.符號計算與知識工程教育部重點實驗室（吉林大學(xué)），長春130012

3.吉林大學(xué)人工智能學(xué)院，長春130012

為了定義圖卷積操作，研究者們定義了基于譜域和基于空間的圖卷積方法，這些方法都涉及沿著圖中的邊轉(zhuǎn)換、傳遞和聚合圖中的節(jié)點信息，在學(xué)習(xí)節(jié)點表示的任務(wù)中取得了良好效果。然而，在面對圖分類任務(wù)時，考慮到圖中不同位置和不同狀態(tài)的節(jié)點有著不同的作用，以及圖中還可能存在著一些具有特定功能的子結(jié)構(gòu)，僅通過圖卷積操作無法利用這些信息。例如，在一個蛋白質(zhì)圖中，分子（圖的節(jié)點）通過鍵（圖的邊）連接，一些由特定分子以及連接它們的鍵組成的子結(jié)構(gòu)具有特定的功能。這些具有特定功能的局部結(jié)構(gòu)對整個圖的表示也十分重要。因此，受卷積神經(jīng)網(wǎng)絡(luò)啟發(fā)，利用圖的局部和全局結(jié)構(gòu)獲取圖表示的層次化池化應(yīng)運而生。

目前，圖的層次化池化研究已有一定成果，主要有兩種策略對圖進(jìn)行池化：（1）聚類策略，通過應(yīng)用聚類算法將當(dāng)前層的節(jié)點分配給若干個聚類，每個聚類將作為池化后下一層的一個節(jié)點，池化后節(jié)點的表示通過對聚類內(nèi)部的節(jié)點特征進(jìn)行聚合獲得，節(jié)點間的連接關(guān)系則通過聚合聚類間節(jié)點的連接關(guān)系獲得。（2）采樣策略，通過設(shè)計一種重要性標(biāo)準(zhǔn)為當(dāng)前層每一個節(jié)點計算一個重要性得分，根據(jù)得分選擇top-k節(jié)點作為池化后下一層的節(jié)點，池化后節(jié)點的表示為原節(jié)點表示與節(jié)點得分的一個點積，考慮到拋棄的節(jié)點中仍含有大量信息，Zhang 等人[1]提出對被選擇的節(jié)點進(jìn)行一次信息傳遞，將其鄰居信息匯聚以獲取新節(jié)點表示，池化后節(jié)點的連接關(guān)系為原節(jié)點間的連接關(guān)系?？紤]到被拋棄的大量結(jié)構(gòu)信息以及出現(xiàn)孤立節(jié)點的可能性，Zhang 等人[2]提出應(yīng)用結(jié)構(gòu)學(xué)習(xí)機制為節(jié)點學(xué)習(xí)新的鏈接關(guān)系。以這兩種策略構(gòu)建層次池化模型取得了較好的效果。

考慮對圖數(shù)據(jù)池化的兩種實現(xiàn)策略，聚類策略一般隱式地利用結(jié)構(gòu)信息和節(jié)點特征信息，使得其可能產(chǎn)生不合理的分配矩陣，而采樣策略在池化節(jié)點時僅利用結(jié)構(gòu)信息或是節(jié)點特征，節(jié)點的重要性僅被從一個方面考慮，沒有充分利用圖數(shù)據(jù)中蘊含的信息。因此，本文結(jié)合節(jié)點特征和圖結(jié)構(gòu)提出結(jié)構(gòu)和特征融合池化（structure and feature fusion pooling，SAFPool）。主要貢獻(xiàn)如下：

（1）基于聚類策略，分別捕獲圖結(jié)構(gòu)信息和節(jié)點特征信息學(xué)習(xí)聚類分配，并結(jié)合得到最終的聚類分配結(jié)果。

（2）SAFPool 模型顯式利用圖結(jié)構(gòu)信息和節(jié)點特征信息為圖生成聚類分配矩陣，依照聚類對節(jié)點信息進(jìn)行聚合得到粗化圖實現(xiàn)池化。

（3）在相同的模型結(jié)構(gòu)和數(shù)據(jù)集下，與其他方法相比，SAFPool取得了較好的效果。

1 相關(guān)性研究

1.1 圖卷積神經(jīng)網(wǎng)絡(luò)

圖卷積神經(jīng)網(wǎng)絡(luò)由于其在處理圖結(jié)構(gòu)數(shù)據(jù)上優(yōu)異的表現(xiàn)正受到越來越多的關(guān)注，目前也已經(jīng)有了豐富的成果，基于譜域的圖卷積神經(jīng)網(wǎng)絡(luò)有著堅實的理論基礎(chǔ)，其從信號處理的角度看待圖數(shù)據(jù)。Bruna等人[3]將圖信號從節(jié)點域變換到譜域后根據(jù)卷積定理通過點積實現(xiàn)卷積操作，譜域卷積依賴對拉普拉斯矩陣的特征分解，需要耗費大量算力且沒有局部化，每次卷積將對所有的節(jié)點進(jìn)行聚合；Defferrard 等人[4]利用切比雪夫多項式，將聚合范圍縮減到節(jié)點的k階鄰域，同時利用k階多項式避免了對拉普拉斯矩陣的特征分解，減少了運算復(fù)雜度；隨著Kipf 等人[5]進(jìn)一步的簡化，將k階鄰域變?yōu)閮H聚合一階鄰域信息，在效率和效果上取得了極好的效果，基于譜域的圖卷積神經(jīng)網(wǎng)絡(luò)變得有效實用。基于空間的方法學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)，利用圖空間結(jié)構(gòu)即節(jié)點間的連接關(guān)系對鄰域信息進(jìn)行聚合（例如，消息傳遞神經(jīng)網(wǎng)絡(luò)（message passing neural networks，MPNNs)[6]、Graph-Sage[7]、GAT（graph attention network）[8]、GIN（graph isomorphism network）[9]）。由于圖數(shù)據(jù)不同于圖像數(shù)據(jù)，節(jié)點不具有固定的鄰域結(jié)構(gòu)，如此便不能如同卷積神經(jīng)網(wǎng)絡(luò)一樣共享濾波器中的加權(quán)參數(shù)，其聚合函數(shù)只能選擇使用不受節(jié)點排列順序影響的函數(shù)。不論是基于譜域還是基于空間的圖卷積神經(jīng)網(wǎng)絡(luò)，其操作都可概括為根據(jù)圖結(jié)構(gòu)對節(jié)點特征信息轉(zhuǎn)換、傳遞和聚合。

1.2 圖層次池化模型

層次化池化模型通過層次結(jié)構(gòu)利用圖的全局和局部結(jié)構(gòu)信息得到更有效的圖表示，為了利用圖的局部結(jié)構(gòu)信息，其在每一個池化層通過聚類或采樣策略縮減節(jié)點的規(guī)模得到一個粗化圖。

基于聚類的方法通過利用圖中節(jié)點和結(jié)構(gòu)信息對節(jié)點聚類，將每一個聚類作為池化后的粗化圖中的一個節(jié)點，通過聚合局部聚類的信息利用圖的局部結(jié)構(gòu)。DiffPool[10]在池化層通過圖神經(jīng)網(wǎng)絡(luò)模塊為節(jié)點學(xué)習(xí)聚類分配矩陣，通過聚類分配矩陣聚合同一聚類下的節(jié)點特征和聚類間的拓?fù)浣Y(jié)構(gòu)。EigenPool[11]直接通過譜聚類獲得節(jié)點分配矩陣，并基于譜域理論通過上采樣為聚類學(xué)習(xí)新的表示。StructPool[12]在獲取聚類分配矩陣時，著重考慮節(jié)點的鄰域節(jié)點對其聚類分配的影響，利用條件隨機場從結(jié)構(gòu)上考慮節(jié)點的鄰域節(jié)點的聚類分配對節(jié)點聚類分配的影響。

基于采樣的策略通過為節(jié)點計算重要性得分，保留最重要的前k個節(jié)點以及它們間的連接關(guān)系生成粗化圖實現(xiàn)池化。gPool[13]通過計算節(jié)點表示在一個與節(jié)點表示等長的可訓(xùn)練權(quán)重上投影計算節(jié)點重要性。SAGPool[14]通過GCN（graph convolutional networks）為節(jié)點計算重要性得分，GCN 利用結(jié)構(gòu)信息的同時也隱式利用了節(jié)點的特征信息。HGP-SL（hierarchical graph pooling with structure learning）[2]則考慮節(jié)點與鄰域的信息差異，將與鄰域信息差異越大的節(jié)點作為越重要的節(jié)點。

以上基于聚類的策略在生成聚類分配矩陣時都從圖結(jié)構(gòu)信息入手。DiffPool 通過GCN 利用圖結(jié)構(gòu)信息，譜聚類則是通過圖最小切思想對圖進(jìn)行聚類劃分，StructPool 則考慮鄰域信息的聚類分配對當(dāng)前節(jié)點的影響?？紤]到采樣策略中許多模型利用圖節(jié)點特征信息進(jìn)行采樣并獲得了良好的效果，為提升基于聚類策略的模型的效果，本文模型SAFPool在為節(jié)點生成聚類分配矩陣時，同時考慮利用圖中的結(jié)構(gòu)信息和節(jié)點信息，以使模型在分類任務(wù)中更加客觀和準(zhǔn)確。

2 層次化池化模型

為了獲得圖的表示，全局池化策略利用圖卷積神經(jīng)網(wǎng)絡(luò)獲得節(jié)點表示，通過加和、讀出、神經(jīng)網(wǎng)絡(luò)等方法將圖中所有節(jié)點的特征聚合得到圖的表示?？紤]到全局池化沒有利用圖中豐富的結(jié)構(gòu)信息，所有節(jié)點不論位置、屬性為形成圖的表示發(fā)揮同樣的作用，本質(zhì)上十分“平坦”。因此，通過學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的層次池化模型提出圖層次化池化模型，針對圖結(jié)構(gòu)數(shù)據(jù)設(shè)計池化操作，以利用圖的全局和局部結(jié)構(gòu)信息獲取更有效的圖表示。為了逐層地捕獲圖的局部結(jié)構(gòu)，針對圖數(shù)據(jù)的池化操作主要有兩種策略：基于聚類策略和基于采樣策略。

2.1 基于聚類的層次化模型

由于圖數(shù)據(jù)的結(jié)構(gòu)復(fù)雜性，對數(shù)據(jù)的池化難以直接學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)中的對網(wǎng)格狀數(shù)據(jù)進(jìn)行池化操作。同時，不同的圖擁有不同的節(jié)點數(shù)和邊數(shù)，為池化操作的設(shè)計帶來了更大挑戰(zhàn)。為了解決這些問題，Ying 等人[10]開創(chuàng)性地使用聚類方法實現(xiàn)池化，提出DiffPool 模型，在圖數(shù)據(jù)上引入了層次池化操作用以生成圖的分層表示，其能夠以端到端的方式堆疊圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)與各種圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的結(jié)合。

給定一個圖神經(jīng)網(wǎng)絡(luò)模型的輸出Z=GNN(A,X)和圖的鄰接矩陣A∈Rn×n，X∈Rn×d表示節(jié)點特征矩陣，其中d是節(jié)點特征的維度。池化操作需要定義一種策略輸出一張粗化圖，該粗化圖將包含m＜n個節(jié)點，節(jié)點間具有帶權(quán)鄰接矩陣A′∈Rm×m和節(jié)點嵌入表示Z′∈Rm×d，使得該新粗化圖可以用于輸入另一個圖神經(jīng)網(wǎng)絡(luò)層。通過重復(fù)該粗化圖的過程L次可以構(gòu)建出一個L層圖神經(jīng)網(wǎng)絡(luò)的模型，該模型可以輸出關(guān)于輸入圖的一系列越來越粗化的圖。因此，池化操作需要學(xué)習(xí)如何利用圖神經(jīng)網(wǎng)絡(luò)層的輸出對節(jié)點進(jìn)行聚類或者池化，如此才能將粗化圖作為圖神經(jīng)網(wǎng)絡(luò)的輸入。相較于傳統(tǒng)圖粗化任務(wù)，針對圖分類的層次化池化模型面對著更大的挑戰(zhàn)，不同于在一張圖上進(jìn)行粗化，圖分類任務(wù)需要對一組圖進(jìn)行處理，而不同的圖具有不同的節(jié)點數(shù)目、邊數(shù)目和結(jié)構(gòu)信息，因此，池化操作在實現(xiàn)時必須能夠涵蓋不同的圖且適應(yīng)不同圖結(jié)構(gòu)。

為了利用圖神經(jīng)網(wǎng)絡(luò)的輸出實現(xiàn)聚類，池化操作的關(guān)鍵是在L層的模型中，利用上一層生成的節(jié)點表示為當(dāng)前層學(xué)習(xí)一個聚類分配矩陣。因此，需要每一層同時提取對圖分類有用的節(jié)點表示和對層次池化有用的節(jié)點表示，并使用圖神經(jīng)網(wǎng)絡(luò)模塊構(gòu)建對一組圖都有效的一般的池化策略。池化操作由兩部分構(gòu)成：（1）根據(jù)聚類分配矩陣實現(xiàn)池化；（2）使用圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)生成分配矩陣。

在得到一層節(jié)點到聚類的分配矩陣Sl后，DiffPool 的池化操作根據(jù)分配矩陣Sl對這些節(jié)點表示進(jìn)行聚合得到對應(yīng)聚類的表示，依據(jù)l層的鄰接矩陣Al，根據(jù)不同聚類內(nèi)包含的節(jié)點間的連接關(guān)系生成表示每對聚類間連接強度的粗化鄰接矩陣。DiffPool 通過將該層節(jié)點信息聚合到聚類實現(xiàn)對輸入圖的粗化。

為了獲取在l層進(jìn)行池化所需要的分配矩陣Sl和嵌入表示矩陣Zl，DiffPool利用兩個獨立的圖卷積神經(jīng)網(wǎng)絡(luò)分別生成這兩個矩陣，兩個圖卷積神經(jīng)網(wǎng)絡(luò)的輸入相同，是從前一層輸入l層的節(jié)點特征Xl和節(jié)點鄰接矩陣Al。在l層生成節(jié)點嵌入表示的是一個標(biāo)準(zhǔn)圖神經(jīng)網(wǎng)絡(luò)模塊：

該模塊將l層中的聚類節(jié)點的節(jié)點表示傳入一個圖神經(jīng)網(wǎng)絡(luò)模塊，進(jìn)而學(xué)習(xí)一個關(guān)于聚類節(jié)點的新的表示Zl。另一方面，在l層生成分配矩陣的是帶有Softmax 的另一個圖神經(jīng)網(wǎng)絡(luò)模塊：

其中，Softmax 函數(shù)以行方式作用在圖神經(jīng)網(wǎng)絡(luò)的輸出上，GNNl,pool(·)的輸出維度是預(yù)定義參數(shù)，其決定對l層節(jié)點分配到多少個聚類（也即l+1 層的節(jié)點數(shù)），是模型中的超參數(shù)。DiffPool 池化層中的兩個圖神經(jīng)網(wǎng)絡(luò)模塊接受相同的輸入，但各自有著不同的參數(shù)且發(fā)揮著不同的作用，GNNl,embed(·)用于在l層為l層的節(jié)點生成新的表示，GNNl,pool(·)用于在l層為l層節(jié)點生成分配矩陣。在第0 層時，池化模型的輸入為原始圖數(shù)據(jù)，在l-1 層時，該層生成的分配矩陣維度應(yīng)設(shè)置為1，如此在最后一層將前一層中的所有信息聚合在一起生成最終的圖表示。

2.2 基于采樣的層次化模型

為了在池化層縮減節(jié)點規(guī)模，另一種策略是對節(jié)點采樣，池化層不斷地尋找重要節(jié)點，卷積層則對這些重要節(jié)點的信息進(jìn)行局部匯聚，最終通過這些采樣獲取重要節(jié)點信息對整張圖進(jìn)行表示。Lee 等人[14]提出SAGPool 使用圖神經(jīng)網(wǎng)絡(luò)模塊計算一個自注意力分?jǐn)?shù)作為選擇標(biāo)準(zhǔn)。注意力機制[15]在深度學(xué)習(xí)模型中廣泛使用，這樣的機制可以使得模型更多關(guān)注重要的特征而較少關(guān)注不重要的特征。具體而言，自注意力[16]也被稱為內(nèi)部注意力，其允許輸入特征作為自身的注意力要素。SAGPool 通過圖卷積神經(jīng)網(wǎng)絡(luò)獲取自注意力分?jǐn)?shù)，其可以利用不同的圖卷積神經(jīng)網(wǎng)絡(luò)層，例如使用前文所述的1stChebNet，其自注意力分?jǐn)?shù)的計算可通過如下公式進(jìn)行：

其中，Xidx,：是對節(jié)點特征矩陣的行索引，即僅保留節(jié)點特征矩陣中被idx 作為索引選擇的節(jié)點；Aidx,idx是一個包含行和列的索引，即僅保留鄰接矩陣中兩個端點都是被idx 作為索引選擇的節(jié)點的邊。Xout和Aout分別作為經(jīng)過池化的新圖的節(jié)點表示矩陣和鄰接矩陣。SAGPool 通過舍棄所有未被選擇的節(jié)點的相關(guān)信息，僅保留通過自注意力分?jǐn)?shù)選擇的節(jié)點信息進(jìn)行池化操作。

3 結(jié)構(gòu)和特征融合池化

本文提出結(jié)構(gòu)和特征融合池化（SAFPool），考慮顯式地利用圖結(jié)構(gòu)信息和圖節(jié)點特征信息實現(xiàn)聚類策略。池化層模型主要包含兩部分：聚類學(xué)習(xí)和聚類池化。

3.1 聚類學(xué)習(xí)

聚類學(xué)習(xí)是SAFPool 模型的關(guān)鍵，SAFPool 模型同時顯式地利用圖的結(jié)構(gòu)信息和圖中節(jié)點特征為節(jié)點學(xué)習(xí)聚類劃分，其包含三個組成部分：基于結(jié)構(gòu)的聚類學(xué)習(xí)（structure-based cluster learning，SBCL）、基于特征的聚類學(xué)習(xí)（feature-based cluster learning，F(xiàn)BCL）和結(jié)構(gòu)-特征聚類學(xué)習(xí)（structure feature cluster learning，SFCL）。池化層進(jìn)行聚類學(xué)習(xí)過程如圖1所示。

圖1 池化層聚類學(xué)習(xí)Fig.1 Cluster learning in pooling layer

池化層進(jìn)行聚類學(xué)習(xí)首先需要通過基于結(jié)構(gòu)信息的聚類學(xué)習(xí)模塊和基于節(jié)點特征信息的聚類學(xué)習(xí)模塊，基于結(jié)構(gòu)的聚類學(xué)習(xí)利用圖卷積神經(jīng)網(wǎng)絡(luò)通過圖結(jié)構(gòu)為節(jié)點學(xué)習(xí)聚類分配，基于特征的聚類學(xué)習(xí)則利用多層感知機通過節(jié)點特征為節(jié)點學(xué)習(xí)聚類分配，結(jié)構(gòu)-特征聚類學(xué)習(xí)則融合二者學(xué)習(xí)到的聚類表示生成最終的聚類分配。

基于結(jié)構(gòu)的聚類學(xué)習(xí)：一般來說，一張圖中包含著大量的節(jié)點和邊，蘊含著豐富的結(jié)構(gòu)信息，因此在學(xué)習(xí)節(jié)點的聚類分配時就要考慮充分利用這些信息，圖卷積神經(jīng)網(wǎng)絡(luò)模塊沿著圖中的邊利用節(jié)點的鄰域信息對節(jié)點表示進(jìn)行更新，這個過程中通過利用鄰域信息，即節(jié)點的鄰居構(gòu)成和鄰居屬性實現(xiàn)對結(jié)構(gòu)信息的利用。因此本文使用圖神經(jīng)網(wǎng)絡(luò)模塊利用圖中結(jié)構(gòu)信息為節(jié)點學(xué)習(xí)聚類分配，利用結(jié)構(gòu)信息進(jìn)行聚類學(xué)習(xí)可以表示為：

基于特征的聚類學(xué)習(xí)：在圖數(shù)據(jù)中，節(jié)點也往往包含著特征信息，這些特征信息能在很大程度上對節(jié)點進(jìn)行表示，因此直接利用節(jié)點的特征信息學(xué)習(xí)聚類分配也有其必要性。本文通過應(yīng)用多層感知機來通過節(jié)點特征學(xué)習(xí)聚類分配，公式如下：

結(jié)構(gòu)-特征聚類學(xué)習(xí)：圖卷積神經(jīng)網(wǎng)絡(luò)能夠高效地利用圖結(jié)構(gòu)信息，多層感知機則專注于節(jié)點特征信息，為了同時利用這兩種方法學(xué)習(xí)到的聚類分配矩陣，使結(jié)果更加客觀且具有更好的魯棒性，在獲取從圖結(jié)構(gòu)和節(jié)點特征信息學(xué)習(xí)到的聚類分配矩陣后，將兩個聚類分配矩陣融合在一起：

其中，權(quán)重a是一個預(yù)定義的超參數(shù)。

3.2 聚類池化

在獲取最終的聚類分配矩陣后，將根據(jù)聚類分配矩陣實現(xiàn)池化。將層次模型中l(wèi)層的分配矩陣表示為Sl∈Rnl×nl+1，Sl中每一行對應(yīng)著l層的nl個節(jié)點（或是聚類），每一列則對應(yīng)著l+1 層的nl+1個聚類，Sl中每一個值對應(yīng)著該行的l層節(jié)點屬于該列對應(yīng)的l+1 層聚類的概率。直觀上，分配矩陣Sl為l層的所有節(jié)點提供了分配給l+1 層各個聚類的概率。

假設(shè)已獲取l層的分配矩陣Sl，并將該層的節(jié)點鄰接矩陣表示為Al，該層的節(jié)點嵌入表示用Zl進(jìn)行表示。給定這些輸入，聚類池化將依照分配矩陣將屬于各個聚類的節(jié)點特征聚合作為聚類表示，將各個聚類包含的節(jié)點到其他聚類包含的節(jié)點的連接強度聚合作為聚類間的連接強度，以此得到池化后的粗化圖。該粗化圖的鄰接矩陣和嵌入表示分別使用Al+1和Xl+1表示，即(Al+1,Xl+1)=Pool(Al,Zl)。具體而言，其使用以下兩個公式進(jìn)行池化：

整個層次化池化模型是通過將圖卷積神經(jīng)網(wǎng)絡(luò)模塊和池化模塊依次堆疊起來建立的，如圖2 所示。通過將卷積層和池化層交替堆疊在一起，可以不斷地匯聚整張圖的信息直到得到整張圖的表示，每經(jīng)過一次池化模型就會在輸入的基礎(chǔ)上對更高層的局部結(jié)構(gòu)信息進(jìn)行匯聚，通過讀出操作在每一次池化后都將池化結(jié)果作為圖表示的一部分，可以極好地保留整張圖在各個層次上表現(xiàn)出的特征，從而實現(xiàn)同時捕獲局部和全局結(jié)構(gòu)得到圖的表示。

圖2 層次化池化模型結(jié)構(gòu)Fig.2 Illustration of hierarchical pooling model architecture

4 實驗

4.1 數(shù)據(jù)集

為了驗證SAFPool模型的有效性，本文使用三個生物信息相關(guān)的圖分類數(shù)據(jù)集，選擇三個時下較新的層次化池化模型進(jìn)行對比。

PROTEINS[17]是一個蛋白質(zhì)圖數(shù)據(jù)集，每張圖中的節(jié)點表示一個氨基酸，若兩個氨基酸之間的距離小于6 埃，則認(rèn)定代表這兩個氨基酸的節(jié)點間存在一條邊，圖的標(biāo)簽則指示該蛋白質(zhì)是否為蛋白酶。NCI1 和NCI109[18]是抗癌活性分類的兩個生物學(xué)數(shù)據(jù)集，其中每張圖都表示一個化合物，圖的節(jié)點和邊分別代表原子和化學(xué)鍵。這三個數(shù)據(jù)集的基本信息如表1 所示。

表1 數(shù)據(jù)集信息表Table 1 Dataset information table

將數(shù)據(jù)集按照8∶1∶1 的比例劃分為訓(xùn)練集、驗證集和測試集，在相同的模型結(jié)構(gòu)和參數(shù)設(shè)置下運行SAFPool以及當(dāng)前較新的三個模型。通過對比不同模型的效果對模型的有效性進(jìn)行驗證，同時通過對不同聚類學(xué)習(xí)模塊的學(xué)習(xí)結(jié)果進(jìn)行可視化，觀察模型的創(chuàng)新點即引入的基于特征的聚類學(xué)習(xí)模塊的效果。

4.2 基線方法與實驗設(shè)置

為了對模型的性能進(jìn)行檢驗，本文選擇了兩個近期工作提出的模型：HGP-SL（hierarchical graph pooling with structure learning）[2]和GSAPool（graph selfadaptive pooling）[1]。由于這兩種模型都是基于采樣策略實現(xiàn)的，本文又選擇了基于聚類策略的Diffpool[10]模型，同時若將本文提出的模型SAFPool中池化層的FBCL 模塊移除即可被視為一個Diffpool模型。

HGP-SL 模型通過將三個卷積層與兩個池化層交替堆疊構(gòu)建層次化模型學(xué)習(xí)圖表示，圖表示亦通過讀出操作聚合各個池化層的局部結(jié)構(gòu)信息獲得，卷積層的輸出節(jié)點表示維度為128。由于HGP-SL 模型使用采樣策略實現(xiàn)聚類，其不必執(zhí)行矩陣乘法操作，可以使用將批次中的圖以分塊對角矩陣組織在一張圖中的形式構(gòu)建批數(shù)據(jù)，此時可以依照池化率在池化時為每張圖保留不同數(shù)目的節(jié)點，這里模型設(shè)置的池化率為0.5。GSAPool模型同樣使用采樣策略，由三個卷積層和三個池化層交替堆疊而成，其池化率亦設(shè)為0.5。Diffpool 模型使用的聚類策略，同本文模型SAFPool一樣由三個卷積層和三個池化層交替堆疊而成，其池化參數(shù)也與本文模型SAFPool相同，三個池化層學(xué)習(xí)的聚類數(shù)分別為14、7、1。模型在訓(xùn)練時都采用相同的訓(xùn)練策略，即迭代的epoch數(shù)為1 000，并且當(dāng)模型在驗證集上的損失連續(xù)50個epoch都不再變得更小時也停止訓(xùn)練，認(rèn)為得到了最好的模型，激活函數(shù)為ReLU函數(shù)，參數(shù)初始化方法為Glorot Uniform。

4.3 實驗結(jié)果與分析

本文模型與三個對比基線方法的對比如表2所示。

表2 圖分類模型在不同數(shù)據(jù)集上的對比實驗結(jié)果Table 2 Comparative experimental results of graph classification models on different datasets 單位：%

表2 中，各個數(shù)據(jù)集中的最優(yōu)效果加粗顯示，可以看到本文模型SAFPool 在三個數(shù)據(jù)集上都取得了最優(yōu)表現(xiàn)。尤其與Diffpool 的對比效果說明在為節(jié)點生成聚類分配矩陣時，通過圖卷積神經(jīng)網(wǎng)絡(luò)利用圖結(jié)構(gòu)信息，同時引入多層感知機處理圖節(jié)點表示信息，為節(jié)點生成聚類分配矩陣進(jìn)行池化可以提升模型效果，證明了池化操作在通過圖卷積神經(jīng)網(wǎng)絡(luò)利用圖結(jié)構(gòu)信息外引入節(jié)點特征信息的有效性。

為了更加直觀地研究基于特征的聚類學(xué)習(xí)模塊的引入的效果，說明基于節(jié)點特征的聚類學(xué)習(xí)的必要性，本文對基于結(jié)構(gòu)的聚類學(xué)習(xí)模塊、基于特征的聚類學(xué)習(xí)模塊以及結(jié)構(gòu)-特征聚類學(xué)習(xí)模塊在一張圖上同一池化層得到的聚類分別進(jìn)行可視化展示，可視化效果見表3。

表3 SAFPool模型不同模塊的聚類分配結(jié)果Table 3 Cluster assignment results of different modules of SAFPool

為了對節(jié)點的聚類分配可視化顯示，本文對節(jié)點分配矩陣進(jìn)行了一定處理，雖然在執(zhí)行池化操作時一個節(jié)點可能屬于多個聚類，依照其屬于該聚類的概率發(fā)揮不同程度的作用，可視化時為了醒目而令節(jié)點僅屬于分配概率最大的聚類，表3 中展示的圖片中節(jié)點的顏色就表示節(jié)點所屬的聚類。從表中可以看出基于結(jié)構(gòu)的聚類學(xué)習(xí)模塊和基于特征的聚類學(xué)習(xí)模塊學(xué)習(xí)的聚類分配矩陣存在著明顯的差別，二者結(jié)合得到的聚類分配也與它們的原本分配概率存在較大差別，說明模型引入特征信息生成聚類確實能夠帶來新的信息，同時對最終的池化結(jié)果帶來較大的影響。

5 結(jié)束語

本文在圖卷積之外顯式地補充節(jié)點特征用于池化，通過實驗說明了這種方法的有效性。同時顯式利用圖結(jié)構(gòu)信息和圖中的節(jié)點信息生成節(jié)點分配矩陣實現(xiàn)聚類策略相較于基線模型取得了較好的效果，尤其與利用圖卷積神經(jīng)網(wǎng)絡(luò)隱式利用圖結(jié)構(gòu)和節(jié)點特征信息實現(xiàn)聚類策略的Diffpool 模型對比，充分說明了圖中的節(jié)點包含的信息對表達(dá)圖特征具有重要作用。

現(xiàn)實的圖數(shù)據(jù)中含有大量富有意義的局部結(jié)構(gòu)信息，層次化池化模型正是為了利用這些局部結(jié)構(gòu)而提出的。在當(dāng)前方法中，局部結(jié)構(gòu)的獲取是通過端到端的訓(xùn)練獲得的，并沒有對應(yīng)上現(xiàn)實數(shù)據(jù)中具有特定作用的局部結(jié)構(gòu)，是否能將現(xiàn)實數(shù)據(jù)中的局部結(jié)構(gòu)引入池化操作過程中以提高模型的有效性和可解釋性也是十分值得研究的方向。

同時，在訓(xùn)練模型時也可以考慮與一些智能算法[19-20]，如MBO（monarch butterfly optimization）[21]、EWA（earthworm optimization algorithm）[22]、MS（moth search）[23]結(jié)合以提高模型的表現(xiàn)。