圖自適應(yīng)原型網(wǎng)絡(luò)的小樣本節(jié)點(diǎn)分類方法

郭瑞澤 魏 巍,2 崔軍彪 馮 凱,2

電子商務(wù)網(wǎng)絡(luò)[1]、引文網(wǎng)絡(luò)[2]和社交網(wǎng)絡(luò)[3]等屬性網(wǎng)絡(luò)廣泛存在于現(xiàn)實(shí)世界中.節(jié)點(diǎn)分類作為這類網(wǎng)絡(luò)的關(guān)鍵任務(wù)之一，可預(yù)測用戶對于商品的購買意圖、論文主題及帖子的歸屬社區(qū).圖表示學(xué)習(xí)可學(xué)習(xí)保留圖數(shù)據(jù)的拓?fù)浣Y(jié)構(gòu)和語義信息的低維表征，為節(jié)點(diǎn)分類等下游任務(wù)創(chuàng)造條件[4-6].因此，利用圖表示學(xué)習(xí)方法進(jìn)行節(jié)點(diǎn)分類已成為現(xiàn)階段研究熱點(diǎn)，受到學(xué)者們的廣泛關(guān)注.

節(jié)點(diǎn)分類任務(wù)通常為監(jiān)督學(xué)習(xí)問題或半監(jiān)督學(xué)習(xí)問題[7]，依賴一定數(shù)量有標(biāo)記節(jié)點(diǎn)實(shí)現(xiàn)圖神經(jīng)網(wǎng)絡(luò)(Graph Neutral Networks, GNN)的訓(xùn)練[8].但對于許多現(xiàn)實(shí)應(yīng)用中的屬性網(wǎng)絡(luò)，標(biāo)記節(jié)點(diǎn)的數(shù)量通常很少[2]，傳統(tǒng)的GNN因標(biāo)記節(jié)點(diǎn)不足產(chǎn)生過擬合問題，泛化能力顯著下降.因此，研究屬性網(wǎng)絡(luò)上的小樣本節(jié)點(diǎn)分類問題具有重要的科學(xué)意義和應(yīng)用價(jià)值[8-10].

元學(xué)習(xí)[10]可快速學(xué)習(xí)適應(yīng)新任務(wù)的可遷移知識(shí)，已成功應(yīng)用于圖像和文本的小樣本學(xué)習(xí)[11-15].基于元學(xué)習(xí)的小樣本學(xué)習(xí)模型是基于優(yōu)化方法的模型，如基于長短期記憶網(wǎng)絡(luò)的元學(xué)習(xí)器(Meta-Learner Based on Long Short-Term Memory, Meta-Learner LSTM)[16]和模型無關(guān)的元學(xué)習(xí)器(Model-Agnostic Meta-Learning, MAML)[10]，均是通過梯度下降法得到優(yōu)化后的參數(shù).

此外，基于度量的小樣本學(xué)習(xí)也是一類重要的方法[17]，該類方法嘗試學(xué)習(xí)跨越不同任務(wù)的查詢集實(shí)例和支撐集實(shí)例間可推廣的度量關(guān)系，如孿生網(wǎng)絡(luò)(Siamese Neural Networks, SN)[11]、匹配網(wǎng)絡(luò)(Matching Networks, MN)[12]、原型網(wǎng)絡(luò)(Prototypical Networks, PN)[13]和關(guān)系網(wǎng)絡(luò)(Relation Networks, RN)[14].

目前，已有的小樣本節(jié)點(diǎn)分類的工作大多屬于基于元學(xué)習(xí)的方法，主要通過基類(大量節(jié)點(diǎn)的類別)組成的元訓(xùn)練任務(wù)學(xué)習(xí)可轉(zhuǎn)移的先驗(yàn)知識(shí)，進(jìn)而應(yīng)用于新類(少量節(jié)點(diǎn)的類別)，實(shí)現(xiàn)元測試任務(wù).但傳統(tǒng)的小樣本學(xué)習(xí)模型無法捕獲圖數(shù)據(jù)的拓?fù)浣Y(jié)構(gòu)，得到的節(jié)點(diǎn)特征不含結(jié)構(gòu)信息，會(huì)導(dǎo)致節(jié)點(diǎn)分類的精度較差.

為此，研究者提出一些圖小樣本學(xué)習(xí)方法，致力于減少方法對標(biāo)記節(jié)點(diǎn)數(shù)量的依賴[18].Yao等[19]提出GFL(Graph Few-Shot Learning)，用于標(biāo)簽集共享的圖小樣本節(jié)點(diǎn)分類任務(wù)，利用輔助圖的先驗(yàn)知識(shí)提高目標(biāo)圖的分類精度.但這種方法在測試階段未考慮未見類，不能直接用于小樣本節(jié)點(diǎn)分類任務(wù).Zhou等[7]提出MAML-GNN(GNN with Meta-Lear-ning)，結(jié)合GNN與元學(xué)習(xí)的MAML，應(yīng)用到節(jié)點(diǎn)分類任務(wù).Wang等[20]提出AMM-GNN(Attribute Ma-tching Meta-Learning GNN),是MAML-GNN的改進(jìn)版本，利用屬性級別的注意力機(jī)制捕獲每個(gè)元任務(wù)的不同重要信息.Ding等[21]提出GPN(Graph Prototypical Networks)，結(jié)合GNN與度量學(xué)習(xí)的PN，應(yīng)用到節(jié)點(diǎn)分類任務(wù).

之后，學(xué)者們對圖編碼器進(jìn)行優(yōu)化，得到更好的面向節(jié)點(diǎn)分類任務(wù)的特征表示，Liu等[22]提出RALE(Relative and Absolute Location Embedding)，為節(jié)點(diǎn)分配基于圖的絕對位置和基于任務(wù)的相對位置，獲得更好的特征表示，實(shí)現(xiàn)節(jié)點(diǎn)分類任務(wù).因此，通過圖卷積網(wǎng)絡(luò)(Graph Convolutional Network, GCN)提取的節(jié)點(diǎn)特征對于小樣本節(jié)點(diǎn)的分類性能至關(guān)重要.另外,由于子任務(wù)中查詢集實(shí)例數(shù)量極少，現(xiàn)有的小樣本節(jié)點(diǎn)分類模型均容易受到查詢集實(shí)例類內(nèi)異常值的影響.

為了解決上述問題，本文提出圖自適應(yīng)原型網(wǎng)絡(luò)(Graph Adaptive Prototypical Networks, GAPN)的小樣本節(jié)點(diǎn)分類方法，采用GCN提取圖數(shù)據(jù)的節(jié)點(diǎn)特征，加權(quán)計(jì)算支撐集中的實(shí)例，得到類原型，可有效減少類內(nèi)異常值對類原型的影響，使查詢集實(shí)例自適應(yīng)地學(xué)習(xí)更魯棒的類原型.加權(quán)融合全局重要度和局部重要度,得到支撐集實(shí)例的權(quán)重.支撐集實(shí)例的全局重要度基于其對應(yīng)節(jié)點(diǎn)在圖中的重要程度定義；局部重要度基于子任務(wù)中支撐集實(shí)例與查詢集實(shí)例的重構(gòu)誤差定義.在常用的圖數(shù)據(jù)集上的實(shí)驗(yàn)表明，在小樣本節(jié)點(diǎn)分類任務(wù)上，本文方法具有一定的優(yōu)越性.

1 問題定義

在圖數(shù)據(jù)上進(jìn)行小樣本節(jié)點(diǎn)分類任務(wù)，形式上，輸入圖可表示為

G=(A,X,C).

其中：A={0,1}|V |×|V |表示鄰接矩陣，代表圖的拓?fù)浣Y(jié)構(gòu)，A中元素為1時(shí)表示節(jié)點(diǎn)間存在邊；X∈R|V |×dX表示特征矩陣，dX表示特征維數(shù)；C表示節(jié)點(diǎn)所屬類別的集合.

在小樣本節(jié)點(diǎn)分類設(shè)置中，

C=Cb∪Cn，

其中，Cb表示基類，Cn表示新類，基類Cb中有足夠數(shù)量的標(biāo)記節(jié)點(diǎn)被用于訓(xùn)練模型，隨后，給定N個(gè)新類Cn的任意子集，目標(biāo)是為新類Cn訓(xùn)練每類只有K個(gè)(K通常取3，5)標(biāo)記節(jié)點(diǎn)的分類器，可預(yù)測N類中剩余未標(biāo)記節(jié)點(diǎn)的標(biāo)簽，這被稱為N-wayK-shot節(jié)點(diǎn)分類問題.

采用元學(xué)習(xí)范式處理小樣本節(jié)點(diǎn)分類問題.基類Cb作為元訓(xùn)練集，新類Cn作為元測試集，

Cb∩Cn=?.

Cb和Cn都被表述為一系列的任務(wù)(Episodes).

從基類Cb中采樣N類構(gòu)造元訓(xùn)練任務(wù)t，t由支持集St和查詢集Qt組成，St由類別N中每類隨機(jī)抽取的K個(gè)節(jié)點(diǎn)組成，表示為

St={(v1,y1),(v2,y2),…,(vN×K,yN×K)}，

Qt由N類中每類抽取Q個(gè)剩余節(jié)點(diǎn)組成，表示為

支持集St為任務(wù)t中被標(biāo)記的節(jié)點(diǎn)，每個(gè)元訓(xùn)練任務(wù)的目標(biāo)都是最小化查詢集Qt的預(yù)測概率和真實(shí)標(biāo)簽之間的分類損失.

給定一系列的元訓(xùn)練任務(wù)，其目標(biāo)是學(xué)習(xí)一個(gè)可應(yīng)用于元測試任務(wù)中含有可轉(zhuǎn)移先驗(yàn)知識(shí)的分類器模型.

類似的N-wayK-shot，在新類Cn中對元測試任務(wù)t′采樣，t′由支持集St′和查詢集Qt′組成，通過分類器模型可預(yù)測查詢集Qt′的標(biāo)簽[21].

下文中的符號說明如表1所示.

表1 主要符號及相關(guān)說明

2 圖自適應(yīng)原型網(wǎng)絡(luò)的小樣本節(jié)

點(diǎn)分類方法

本節(jié)提出自適應(yīng)原型網(wǎng)絡(luò)(GAPN)的小樣本節(jié)點(diǎn)分類方法，主要包括圖編碼器、自適應(yīng)原型網(wǎng)絡(luò)、小樣本節(jié)點(diǎn)分類，框架如圖1所示.

圖1 本文方法框架圖

1.1 圖編碼器

為了從網(wǎng)絡(luò)中學(xué)習(xí)節(jié)點(diǎn)的嵌入表示，本文使用圖編碼器捕獲圖數(shù)據(jù)的節(jié)點(diǎn)特征和拓?fù)浣Y(jié)構(gòu).具體地，圖編碼器使用GNN提取節(jié)點(diǎn)特征，每個(gè)節(jié)點(diǎn)被轉(zhuǎn)換為低維的特征表示.GNN由2個(gè)GCN層組成，每層GCN均遵循鄰域聚合的準(zhǔn)則，通過遞歸組合和聚合鄰居節(jié)點(diǎn)更新中心節(jié)點(diǎn)的特征，并遞歸組合和聚合鄰居節(jié)點(diǎn),更新中心節(jié)點(diǎn)特征.GCN層定義為[20]

組合和聚合是GCN的兩個(gè)關(guān)鍵過程.通過兩層GCN，得到的節(jié)點(diǎn)特征已捕獲遠(yuǎn)距離的節(jié)點(diǎn)依賴關(guān)系,最終學(xué)習(xí)網(wǎng)絡(luò)節(jié)點(diǎn)的特征表示：

(1)

其中，W0∈RdX×F表示GNN第1層參數(shù)，W1∈RF×dM表示GNN第2層參數(shù)，

表示正則化后的拉普拉斯矩陣，

在本文中，fθ∶RdX→RdM表示圖編碼器.

1.2 自適應(yīng)原型網(wǎng)絡(luò)

利用圖編碼器函數(shù)fθ∶RdX→RdM得到子任務(wù)內(nèi)部支撐集實(shí)例和查詢集實(shí)例的dM維嵌入表示，一個(gè)類原型由這個(gè)類所有的支撐集實(shí)例在度量空間中的特征向量求平均得到，計(jì)算類原型

(2)

式(2)將支撐集實(shí)例的平均向量作為類原型，但它忽略支撐集實(shí)例的重要性差異，而小樣本模型在樣本有限時(shí)對支撐集實(shí)例異常值非常敏感.為了應(yīng)對此問題，本文提出圖自適應(yīng)原型網(wǎng)絡(luò)(GAPN)，將全局重要度和局部重要度的融合結(jié)果作為支撐集實(shí)例的權(quán)重，實(shí)現(xiàn)原型的計(jì)算，可有效降低類內(nèi)異常值對類原型的影響，使每個(gè)查詢集實(shí)例自適應(yīng)學(xué)習(xí)更魯棒的原型.在本文中：基于支撐集實(shí)例對應(yīng)節(jié)點(diǎn)在圖中的重要程度定義為全局重要度，由節(jié)點(diǎn)的特征向量與度中心性結(jié)合得到；基于子任務(wù)中支撐集實(shí)例與查詢集實(shí)例的重構(gòu)誤差定義為局部重要度，由兩個(gè)特征向量的相似度度量網(wǎng)絡(luò)作為重構(gòu)誤差表達(dá)式計(jì)算得到.

全局重要度與局部重要度的定義如下.

將節(jié)點(diǎn)i的特征輸入兩層GCN并更新，再輸入全連接層FC，得到節(jié)點(diǎn)i的全局重要度：

其中，W2∈RdX×F,W3∈RF×dM為GCN的參數(shù).

使用gφ(·)表示全局重要度網(wǎng)絡(luò)，具體結(jié)構(gòu)為圖2(a)所示.

(a)全局重要度網(wǎng)絡(luò)結(jié)構(gòu) (b)局部重要度網(wǎng)絡(luò)結(jié)構(gòu)

(3)

在子任務(wù)內(nèi)部，支撐集實(shí)例表示為{v1,v2,…,vN×K}，之后通過度量網(wǎng)絡(luò)計(jì)算針對每個(gè)查詢集實(shí)例的局部重要度:

(4)

其中，abs(·)表示絕對值函數(shù)，z*表示單個(gè)查詢集實(shí)例v*的節(jié)點(diǎn)表征，hλ表示計(jì)算相似度分?jǐn)?shù)的度量網(wǎng)絡(luò).

局部重要度網(wǎng)絡(luò)結(jié)構(gòu)如圖2(b)所示.該網(wǎng)絡(luò)是由4個(gè)卷積塊組成的卷積神經(jīng)網(wǎng)絡(luò)，卷積塊為1×1卷積.

通過查詢集實(shí)例與支撐集實(shí)例的重構(gòu)誤差定義局部重要度，可使與查詢集實(shí)例較遠(yuǎn)的支撐集實(shí)例獲得較小的注意力，并且重構(gòu)誤差的表達(dá)式由神經(jīng)網(wǎng)絡(luò)組成.可根據(jù)預(yù)測結(jié)果對網(wǎng)絡(luò)進(jìn)行參數(shù)更新.

將支撐集實(shí)例在圖中的全局重要度αi和其針對查詢集實(shí)例v*的局部重要度βi融合，得到針對查詢集實(shí)例v*的融合重要度：

(5)

其中，μ為全局重要度和局部重要度比例的超參，定義μ=0.5.

然后，對于每類c，為每個(gè)查詢集實(shí)例v*定義基于該查詢集實(shí)例v*的自適應(yīng)原型:

(6)

可為每個(gè)查詢集實(shí)例獲得更適應(yīng)和魯棒的原型.

1.3 小樣本節(jié)點(diǎn)分類

在Episodic training的元學(xué)習(xí)范式下，隨機(jī)采樣一個(gè)由N-wayK-shot組成的子任務(wù)，每個(gè)元訓(xùn)練任務(wù)的目標(biāo)均是最小化查詢集實(shí)例預(yù)測概率與真實(shí)標(biāo)簽間的分類損失.利用查詢集實(shí)例v*計(jì)算得到自適應(yīng)原型pc，pc與查詢集實(shí)例v*的距離函數(shù)d產(chǎn)生v*屬于類c的概率分布：

其中，dis∶RdM×RdM→[0,+∞)表示平方歐氏距離.學(xué)習(xí)判別性的嵌入空間的直觀想法是在異類支撐集實(shí)例和查詢集實(shí)例之間增加正間隔距離m，這有助于增加度量空間中的類間距離，迫使嵌入為異類的實(shí)例提取更多可區(qū)分的節(jié)點(diǎn)特征.

最后通過隨機(jī)梯度下降(Stochastic Gradient Descent, SGD)最小化負(fù)對數(shù)概率，對于圖編碼器fθ∶RdX→RdM，參數(shù)更新如下：

(7)

在元測試的子任務(wù)中，一個(gè)新的分類任務(wù)與一個(gè)元訓(xùn)練基礎(chǔ)分類任務(wù)是類似的，將帶有標(biāo)簽的支撐集實(shí)例和未標(biāo)記的查詢集實(shí)例輸入訓(xùn)練好的模型,將預(yù)測分類結(jié)果作為輸出，即

綜上所述，圖自適應(yīng)原型網(wǎng)絡(luò)的小樣本節(jié)點(diǎn)分類方法步驟如算法1所示.

算法1圖自適應(yīng)原型網(wǎng)絡(luò)的小樣本節(jié)點(diǎn)分類方法

輸入圖G=(A,X,C)，子任務(wù)數(shù)量T,

元測試的小樣本節(jié)點(diǎn)分類任務(wù)T={St′,Qt′}

輸出預(yù)測元測試查詢集節(jié)點(diǎn)Q的標(biāo)簽

Whilet

t=t+1；

//元訓(xùn)練的過程

采樣元訓(xùn)練子任務(wù)Tt={St,Qt}；

根據(jù)式(1)計(jì)算St和Qt的節(jié)點(diǎn)嵌入；

根據(jù)式(3)和式(4)計(jì)算支撐集實(shí)例的全局重要度和局部重要度；

根據(jù)式(5)和式(6)計(jì)算自適應(yīng)原型pc；

根據(jù)式(7)最小化元訓(xùn)練的損失；

//元測試的過程

計(jì)算St′和Qt′的節(jié)點(diǎn)嵌入和自適應(yīng)原型；

預(yù)測元測試查詢集節(jié)點(diǎn)Qt′的標(biāo)簽;

End

2 實(shí)驗(yàn)及結(jié)果分析

為了驗(yàn)證本文方法在小樣本節(jié)點(diǎn)分類任務(wù)上的有效性，在4個(gè)圖數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，并與經(jīng)典方法進(jìn)行對比.同時(shí)進(jìn)行參數(shù)敏感度分析和消融實(shí)驗(yàn).

2.1 實(shí)驗(yàn)數(shù)據(jù)集

本文選擇在Amazon-Clothing[1]、Amazon-Elec-tronics[1]、DBLP[2]、Reddit[3]這4個(gè)具有大量節(jié)點(diǎn)類的數(shù)據(jù)集上評估方法的節(jié)點(diǎn)分類性能,數(shù)據(jù)集的基本信息如表2所示.

表2 實(shí)驗(yàn)數(shù)據(jù)集基本信息

Amazon-Clothing、Amazon-Electronics數(shù)據(jù)集上均是產(chǎn)品網(wǎng)絡(luò)，產(chǎn)品作為節(jié)點(diǎn)，“共同查看”和“一起購買”的關(guān)系作為邊.DBLP數(shù)據(jù)集是引文網(wǎng)絡(luò)，論文作為節(jié)點(diǎn)，論文間的引用關(guān)系作為邊.Reddit數(shù)據(jù)集是社交網(wǎng)絡(luò)，帖子作為節(jié)點(diǎn)，當(dāng)兩個(gè)帖子被同個(gè)用戶評價(jià)時(shí)存在邊.

2.2 實(shí)驗(yàn)設(shè)置

在PyTorch框架中實(shí)現(xiàn)本文方法，具體地，圖編碼器由2個(gè)維度分別為32和16的GCN層組成，最終得到網(wǎng)絡(luò)中的節(jié)點(diǎn)特征為16維.本文方法使用Adam(Adaptive Moment Estimation)優(yōu)化器進(jìn)行訓(xùn)練，學(xué)習(xí)率最初在不同的數(shù)據(jù)集上設(shè)置不同，權(quán)重衰減為0.000 5.全局重要度和局部重要度比例μ=0.5.正間隔距離m=1.0.

本文選擇如下8種經(jīng)典方法進(jìn)行對比.

1)圖節(jié)點(diǎn)嵌入方法：(1)DeepWalk[3].在獲得隨機(jī)游走的路徑后，可學(xué)習(xí)到節(jié)點(diǎn)嵌入.(2)Node2Vec[23].通過偏置獲得隨機(jī)游走的路徑，學(xué)習(xí)到節(jié)點(diǎn)嵌入后,使用邏輯回歸分類器進(jìn)行多標(biāo)簽節(jié)點(diǎn)分類.(3)GCN[24].通過分層聚合和更新節(jié)點(diǎn)的特征進(jìn)行節(jié)點(diǎn)分類.(4)GraphSAGE[2].通過分層采樣聚合和更新節(jié)點(diǎn)的特征進(jìn)行節(jié)點(diǎn)分類.

2)傳統(tǒng)的小樣本方法：(1)MN[12].基于度量的小樣本學(xué)習(xí)方法，目標(biāo)是學(xué)習(xí)注意力加權(quán)的最近鄰分類器.(2)PN[13].獲取支撐集實(shí)例的平均向量,計(jì)算每類的原型,從而對查詢集實(shí)例進(jìn)行分類.(3)GNN-FSL(Graph Neutral Networks for Few-Shot Learning)[25].通過GNN進(jìn)行信息傳遞,然后進(jìn)行分類.(4)DPGN(Distribution Propagation Graph Net-work)[26].通過分布圖和實(shí)例圖的雙重網(wǎng)絡(luò)對查詢集實(shí)例進(jìn)行節(jié)點(diǎn)分類.

3)小樣本節(jié)點(diǎn)分類方法：(1)MAML-GNN[7].通過GNN將MAML擴(kuò)展到圖數(shù)據(jù)集上,解決小樣本節(jié)點(diǎn)分類問題.(2)GPN[21].通過GNN將原型網(wǎng)絡(luò)擴(kuò)展到圖數(shù)據(jù)集上，并學(xué)習(xí)到更多可遷移的知識(shí)進(jìn)行節(jié)點(diǎn)分類.

2.3 對比實(shí)驗(yàn)結(jié)果

在4個(gè)小樣本節(jié)點(diǎn)分類任務(wù)上，即5-way 3-shot、5-way 5-shot、10-way 3shot、10-way 5-shot，評估方法性能.查詢集實(shí)例數(shù)目為15.實(shí)驗(yàn)采用廣泛的準(zhǔn)確率用于評估性能，共運(yùn)行1 000個(gè)迭代周期，最終結(jié)果為平均10次隨機(jī)抽樣的50個(gè)元測試任務(wù)(共100個(gè)元測試任務(wù))的結(jié)果，具體準(zhǔn)確率對比如表3～表6所示.

表3 各方法在Amazon-Clothing數(shù)據(jù)集上的準(zhǔn)確率對比Table 3 Accuracy comparison of different methods on Amazon-Clothing dataset %

表4 各方法在Amazon-Electronics數(shù)據(jù)集上的準(zhǔn)確率對比Table 4 Accuracy comparison of different methods on Amazon-Electronics dataset %

表5 各方法在DBLP數(shù)據(jù)集上的準(zhǔn)確率對比Table 5 Accuracy comparison of different methods on DBLP dataset %

表6 各方法在Reddit數(shù)據(jù)集上的準(zhǔn)確率對比Table 6 Accuracy comparison of different methods on Reddit dataset %

從綜合的角度上進(jìn)行分析，結(jié)論如下.

1)圖節(jié)點(diǎn)嵌入方法在小樣本節(jié)點(diǎn)分類任務(wù)上的性能較差，因其需要使用學(xué)習(xí)的節(jié)點(diǎn)表示訓(xùn)練監(jiān)督分類器，而這些節(jié)點(diǎn)表示依賴于大量標(biāo)記數(shù)據(jù)以獲得良好的性能.

2)傳統(tǒng)的小樣本方法雖在小樣本圖像分類任務(wù)上取得成功，但在小樣本節(jié)點(diǎn)分類上均表現(xiàn)很差，主要原因是這些方法不能捕獲圖數(shù)據(jù)節(jié)點(diǎn)間的拓?fù)潢P(guān)系，并用于學(xué)習(xí)節(jié)點(diǎn)表示.

3)MAML-GNN和GPN將GNN與元學(xué)習(xí)、度量學(xué)習(xí)結(jié)合進(jìn)行小樣本節(jié)點(diǎn)分類，但GPN僅將支撐集實(shí)例對應(yīng)的節(jié)點(diǎn)在圖中的全局重要度作為權(quán)重計(jì)算原型，忽略一次子任務(wù)中支撐集實(shí)例針對查詢集實(shí)例的局部重要度，得到的原型不夠準(zhǔn)確.

4)本文方法在4個(gè)圖數(shù)據(jù)集的不同任務(wù)設(shè)置上均取得不錯(cuò)的分類結(jié)果.

2.4 參數(shù)敏感性分析

本節(jié)分析本文方法對支撐集類別數(shù)(N-way)、支撐集實(shí)例數(shù)(K-shot)和查詢集實(shí)例數(shù)(Q-query)的敏感性.

實(shí)驗(yàn)還包括GPN-naive和GPN[21]，其中，GPN-naive僅使用原型網(wǎng)絡(luò)執(zhí)行節(jié)點(diǎn)分類任務(wù).

N表示支撐集類別數(shù)，設(shè)置N=5,6,…,9,固定K=5，在4個(gè)數(shù)據(jù)集上觀察3種方法的準(zhǔn)確率，具體如圖3所示.由圖可觀察到：

(a)Amazon-Clothing

1)從綜合角度上看，不同方法的性能均隨著支撐集類別數(shù)目的增加而降低，這是因?yàn)楦嗟念悇e會(huì)導(dǎo)致更廣泛的節(jié)點(diǎn)類被預(yù)測，增加小樣本節(jié)點(diǎn)分類的難度.

2)當(dāng)N相同時(shí)，可進(jìn)一步觀察到，GAPN始終優(yōu)于GPN和GPN-naive，GPN-naive由平均支撐集實(shí)例的向量計(jì)算原型，對類內(nèi)異常值特別敏感，GPN的加權(quán)權(quán)重不夠準(zhǔn)確.由此表明本文方法為每個(gè)查詢集實(shí)例生成的自適應(yīng)原型可得到代表性的原型，這說明方法的魯棒性.

K表示支撐集實(shí)例數(shù)，設(shè)置K=2,3,…,6,固定N=5，各方法在4個(gè)數(shù)據(jù)集上的準(zhǔn)確率如圖4所示.

由圖4可觀察到：

(a)Amazon-Clothing

1)不同方法的性能均隨著K的增加而增加，表明每類中更多的實(shí)例數(shù)目可產(chǎn)生更優(yōu)的分類結(jié)果.

2)當(dāng)K相同時(shí)，相比GPN，本文方法在大部分情況下都表現(xiàn)良好，這表明為每個(gè)查詢集實(shí)例得到自適應(yīng)原型使節(jié)點(diǎn)分類結(jié)果更準(zhǔn)確.

考慮訓(xùn)練階段和測試階段查詢集實(shí)例數(shù)(Q)對實(shí)驗(yàn)結(jié)果的影響，以5-way 5-shot節(jié)點(diǎn)分類任務(wù)為例，設(shè)置Q=5,10,15，各方法準(zhǔn)確率變化情況如圖5所示.

由圖5可觀察到：

(a)Amazon-Clothing

1)訓(xùn)練過程中增加查詢集實(shí)例數(shù)可在所有模型上實(shí)現(xiàn)性能增益，較大的查詢集實(shí)例數(shù)可學(xué)習(xí)更好的元訓(xùn)練任務(wù)的知識(shí)，得到更好的泛化能力.

2)當(dāng)Q相同時(shí)，本文方法預(yù)測準(zhǔn)確率最高，此結(jié)果得益于由全局重要度和局部重要度融合得到的自適應(yīng)原型可提高小樣本節(jié)點(diǎn)分類的準(zhǔn)確率.

另外，在4個(gè)數(shù)據(jù)集上分析全局重要度和局部重要度參數(shù)μ對準(zhǔn)確率的影響，以5-way 5-shot為例，準(zhǔn)確率對比如圖6所示.

由圖6可知，在μ在0.5左右時(shí)，全局重要度和局部重要度的共同調(diào)和,GAPN可取得相對較高的準(zhǔn)確率.

圖6 μ對準(zhǔn)確率的影響

2.5 消融實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文方法中全局重要度和局部重要度在小樣本節(jié)點(diǎn)分類上的有效性，設(shè)置小樣本節(jié)點(diǎn)變體GAPN-G和GAPN-L，GAPN-G僅包含方法中的全局重要度，GAPN-L僅包含方法中的局部重要度.

以5-way 3-shot、5-way 5-shot、10-way 3-shot和10-way 5-shot節(jié)點(diǎn)分類任務(wù)為例，GAPN-G、GAPN- L、GAPN在3個(gè)數(shù)據(jù)集上計(jì)算準(zhǔn)確率，具體數(shù)值對比如表7所示.

由表7可得，GAPN-G和GAPN-L的準(zhǔn)確率均比本文方法降低約1%～2%，本文方法融合全局重要度和局部重要度作為支撐集實(shí)例的權(quán)重計(jì)算原型，減少類內(nèi)異常值對原型的影響，得到更準(zhǔn)確的原型用于節(jié)點(diǎn)分類任務(wù).

表7 各方法在4個(gè)數(shù)據(jù)集上的準(zhǔn)確率對比Table 7 Accuracy comparison of different methods on 4 datasets %

GAPN-G僅使用全局重要度，準(zhǔn)確率低于僅使用局部重要度的GAPN-L，由此可知支撐集實(shí)例對應(yīng)的節(jié)點(diǎn)在圖中的全局重要度在針對子任務(wù)時(shí)不夠準(zhǔn)確，在全局重要度和局部重要度調(diào)和下可為查詢集實(shí)例自適應(yīng)地學(xué)習(xí)更魯棒的原型.

此外，為了驗(yàn)證正間隔距離m對于準(zhǔn)確率的影響，構(gòu)造變體GAPN-W/O margin，即本文方法中不包含正間隔距離.

以5-way 5-shot節(jié)點(diǎn)分類任務(wù)為例，在4個(gè)數(shù)據(jù)集上的準(zhǔn)確率對比如表8所示.

由表8可知，正間隔距離有助于增加度量空間中的類間距離，迫使嵌入為異類的實(shí)例提取更多可區(qū)分的節(jié)點(diǎn)特征，緩解節(jié)點(diǎn)特征準(zhǔn)確與否對分類性能的制約.

表8 正間隔距離對各方法準(zhǔn)確率的影響Table 8 Effect of positive marginal distances on accuracy of different methods %

3 結(jié) 束 語

本文提出圖自適應(yīng)原型網(wǎng)絡(luò)(GAPN)的小樣本節(jié)點(diǎn)分類方法，將圖中的節(jié)點(diǎn)通過圖編碼器嵌入度量空間中，全局重要度和局部重要度的融合結(jié)果作為支撐集實(shí)例的權(quán)重計(jì)算類原型，使查詢集實(shí)例能自適應(yīng)地學(xué)習(xí)更魯棒的類原型.此外，訓(xùn)練時(shí)在度量空間的異類支撐集實(shí)例和查詢集實(shí)例間加入正間隔距離，使學(xué)到的節(jié)點(diǎn)特征具有判別性.4個(gè)通用圖數(shù)據(jù)集上的實(shí)驗(yàn)表明，在不同設(shè)置的小樣本節(jié)點(diǎn)分類任務(wù)中，本文方法性能較優(yōu).今后可考慮結(jié)合子任務(wù)進(jìn)行圖編碼器優(yōu)化，從而提高小樣本節(jié)點(diǎn)分類的準(zhǔn)確率.