基于儲備池計算網(wǎng)絡(luò)的小樣本圖像分類方法

王彬， 蘭海， 俞輝，3， 郭杰龍，3， 魏憲，3*

（1.福州大學(xué) 先進(jìn)制造學(xué)院， 福建 泉州 362200；2.中國科學(xué)院 福建物質(zhì)結(jié)構(gòu)研究所， 福建 福州 350002；3.中國福建光電信息科學(xué)與技術(shù)創(chuàng)新實驗室（閩都創(chuàng)新實驗室）， 福建 福州 350108）

1 引言

近年來，深度學(xué)習(xí)已經(jīng)廣泛應(yīng)用于各行各業(yè)［1-3］，其憑借大規(guī)模數(shù)據(jù)大幅度提高了圖像分類［4］、語義分割［5］、目標(biāo)檢測［6］等任務(wù)的精度，在計算機視覺領(lǐng)域取得了巨大的成功。然而，現(xiàn)實場景并不具備獲得大規(guī)模可訓(xùn)練數(shù)據(jù)的條件，使深度學(xué)習(xí)方法容易產(chǎn)生過擬合、低泛化性等問題。為了能夠在數(shù)據(jù)稀缺的場景下進(jìn)行學(xué)習(xí)，小樣本學(xué)習(xí)［7-9］成為深度學(xué)習(xí)的一個重要研究方向。

小樣本學(xué)習(xí)方法通常可以分為兩類：基于數(shù)據(jù)增強的方法［10］和基于學(xué)習(xí)策略的方法。第一類方法旨在生成新的樣本來擴充原始樣本空間或?qū)μ卣骺臻g進(jìn)行增強；第二類方法可以細(xì)分為基于模型微調(diào)［11］的方法、基于元學(xué)習(xí)［12］的方法等。目前小樣本學(xué)習(xí)的主要問題可以總結(jié)為特征提取網(wǎng)絡(luò)提取的特征判別性不夠充分、網(wǎng)絡(luò)容易過擬合，模型泛化能力不足等。一些基于注意力機制的方法［13-15］被提出來整合特征信息以優(yōu)化上述問題，但此類方法在領(lǐng)域遷移［16］等問題上仍有優(yōu)化空間。

在解決小樣本問題時需要關(guān)注兩方面的問題：（1）更好地提取特征來指導(dǎo)分類；（2）緩解過擬合，提高模型泛化能力，如進(jìn)行數(shù)據(jù)增強等操作。考慮到人腦是一種天然的小樣本學(xué)習(xí)范式，引入類腦知識或許有助于走出小樣本學(xué)習(xí)的困境，再結(jié)合過擬合問題，促使本文應(yīng)用一種類腦模型——儲備池計算（Reservoir Computing， RC）［17-18］來完成小樣本學(xué)習(xí)任務(wù)。因為RC依靠內(nèi)部復(fù)雜動力學(xué)特性而天然具有一定抗過擬合能力，能夠有效表達(dá)復(fù)雜的輸入信息，但在計算機視覺任務(wù)上幾乎沒有應(yīng)用。

針對上述問題，本文提出一種基于儲備池計算的小樣本圖像分類方法（Reservoir Computing Based Network for Few-shot Image Classification，RCFIC），將特征提取網(wǎng)絡(luò)提取的特征輸入特征增強模塊（由儲備池模塊和基于儲備池的注意力機制構(gòu)成）分別進(jìn)行通道級和像素級增強，然后進(jìn)行特征融合得到增強特征。同時，在元學(xué)習(xí)階段使用余弦相似度分類器，聯(lián)合特征增強模塊促使網(wǎng)絡(luò)提取的特征分布具有高類間方差、低類內(nèi)方差的特征，從而更好地指導(dǎo)分類。本文方法在公開常用的小樣本圖像分類數(shù)據(jù)集上的實驗均達(dá)到了具有競爭力的分類精度，表明所提模型和方法具有較強的泛化能力，能夠使網(wǎng)絡(luò)學(xué)習(xí)更具判別性的特征，緩解過擬合問題，增強模型的性能。

2 基于儲備池計算的小樣本圖像分類方法

2.1 問題定義

由于小樣本學(xué)習(xí)的任務(wù)都基于少量有標(biāo)簽數(shù)據(jù)（稱為新類或目標(biāo)數(shù)據(jù)域），而少量數(shù)據(jù)難以學(xué)習(xí)到真實的數(shù)據(jù)模式，容易遇到過擬合問題。因此，一般會引入一個含有豐富標(biāo)注樣本（類別與新類互斥）的輔助數(shù)據(jù)集（稱為基類）以幫助模型學(xué)習(xí)先驗知識，然后再利用這些先驗知識以在目標(biāo)數(shù)據(jù)域上獲得更好的任務(wù)表現(xiàn)。

小樣本學(xué)習(xí)通常以元任務(wù)的方式進(jìn)行訓(xùn)練和評估，每個元任務(wù)都以N-way K-shot方法獲得，即每個元任務(wù)都包括N種類別的數(shù)據(jù)，每類數(shù)據(jù)只包含K個有標(biāo)簽的樣本，同時從每類數(shù)據(jù)中抽取q個樣本作為預(yù)測樣本。有標(biāo)簽樣本構(gòu)成的數(shù)據(jù)集稱為支持集DS，預(yù)測樣本構(gòu)成的數(shù)據(jù)集稱為查詢集DQ。即：

其中：xi和yi分別表示樣本及其對應(yīng)的標(biāo)簽類別，N表示類別數(shù)量，K為支持集中每類樣本的數(shù)量，q表示查詢集中每類預(yù)測樣本的數(shù)量。

模型在支持集上學(xué)習(xí)后在測試集新類中采樣大量的元任務(wù)來獲得這些任務(wù)的平均準(zhǔn)確率，從而評估模型在小樣本學(xué)習(xí)任務(wù)上的分類性能和泛化能力。

2.2 算法框架

基于儲備池計算的小樣本學(xué)習(xí)模型框架如圖1所示。該模型主要由3個模塊組成：特征提取模塊、基于儲備池的特征增強模塊和分類器模塊。首先，通過特征提取模塊f(·|θ)（卷積網(wǎng)絡(luò)，如ResNet12和ResNet18等；θ表示該模塊的可學(xué)習(xí)參數(shù)）對輸入圖像進(jìn)行特征提取。然后，將提取的特征輸入到特征增強模塊。特征增強模塊由儲備池通道級特征增強模塊和基于儲備池的注意力像素級特征增強模塊組成，前者對輸入特征進(jìn)行高維表示以提取重要的通道信息，后者對輸入特征的重要像素信息進(jìn)行提取。最后，將兩部分特征進(jìn)行融合后輸出到分類器模塊C(·|Wcls)（Wcls表示分類權(quán)重矩陣）得到最終的分類結(jié)果。

圖1 基于儲備池計算的小樣本圖像分類模型框架Fig.1 Framework of few-shot image classification model based on reservoir computing

2.3 訓(xùn)練方法

本文使用兩階段訓(xùn)練策略，如圖2所示。

圖2 基于儲備池計算的訓(xùn)練方法流程圖Fig.2 Flowchart of the training method based on RC

第一階段為模型預(yù)訓(xùn)練。將小樣本數(shù)據(jù)集的訓(xùn)練集按照合適的比例劃分為新的訓(xùn)練集和驗證集，模型在新劃分的數(shù)據(jù)集上以傳統(tǒng)圖像分類的方式進(jìn)行訓(xùn)練，分類器使用線性分類器，最后得到預(yù)訓(xùn)練模型Modelpre。該階段使模型能夠充分學(xué)習(xí)基類的特征，為接下來將學(xué)習(xí)到的知識遷移到小樣本學(xué)習(xí)任務(wù)上做準(zhǔn)備，能夠有效緩解過擬合問題。

第二階段為基于模型微調(diào)的小樣本圖像分類階段。將Modelpre的分類器替換為余弦分類器，微調(diào)學(xué)習(xí)率等參數(shù)，再在原始的小樣本數(shù)據(jù)集上以N-wayK-shot的元學(xué)習(xí)方式進(jìn)行模型訓(xùn)練和評估。

2.4 特征提取模塊

隨著卷積網(wǎng)絡(luò)寬度和深度的增加，網(wǎng)絡(luò)對圖像信息的提取更加充分。但由于數(shù)據(jù)樣本較少帶來的過擬合問題，使得在小樣本學(xué)習(xí)任務(wù)中網(wǎng)絡(luò)不能隨意加深加寬，因此小樣本學(xué)習(xí)領(lǐng)域常使用ResNet-12和ResNet-18作為特征提取網(wǎng)絡(luò)。本文也使用這兩個小樣本學(xué)習(xí)任務(wù)中常用的主干網(wǎng)絡(luò)作為特征提取模塊。

通過特征提取模塊f(·|θ)提取輸入圖像x的特征向量z1，如式（3）所示：

其中：C為特征圖的通道數(shù)，H和W分別為特征圖的高和寬。

2.5 特征增強模塊

2.5.1 半全連接的儲備池內(nèi)部拓?fù)浣Y(jié)構(gòu)

儲備池的強大性能源于其內(nèi)部復(fù)雜的動力學(xué)特性，表現(xiàn)為儲備池內(nèi)部神經(jīng)元之間的連接方式（連接矩陣Wres∈R()M，M，M為神經(jīng)元個數(shù)），即儲備池內(nèi)部拓?fù)浣Y(jié)構(gòu)。用儲備池來處理復(fù)雜的視覺信息時，需要設(shè)計一個相匹配的拓?fù)浣Y(jié)構(gòu)來提升儲備池的性能。

本文的Wres不使用傳統(tǒng)的隨機方法生成，也不同于經(jīng)典的延遲線結(jié)構(gòu)、循環(huán)結(jié)構(gòu)以及對稱結(jié)構(gòu)［19］等拓?fù)浣Y(jié)構(gòu)。本文提出了一種半全連接的拓?fù)浣Y(jié)構(gòu)，生成方式如下：

首先生成一個M·M的矩陣Wres，使其元素全為r1∈(0，1]。然后，將第一行最后一個元素和從第二行第一個元素開始的對角線元素設(shè)為r2∈(0，1]，即：

式中的下標(biāo)代表元素在Wres中的位置。隨后從矩陣第一個元素開始，按從左到右從上往下的順序，每隔p個元素將其值設(shè)為r3∈(0，1]，當(dāng)要設(shè)置的元素超出矩陣范圍時停止。對于網(wǎng)絡(luò)的隨機性，本文隨機選擇1/4的元素及其對稱位置的元素設(shè)置為0。整個連接矩陣中1/2的元素為0，其余元素為r1、r2和r3。

為了儲備池能夠穩(wěn)定運行，Wres的譜半徑ρ(Wres)應(yīng)該被約束到1，即對Wres進(jìn)行如式（5）所示的變換：

其中：α∈(0，1)為縮放尺度因子，|λ|max為變換前的Wres的特征值絕對值中的最大值（譜半徑）。相較于其他幾種經(jīng)典拓?fù)浣Y(jié)構(gòu)，所提拓?fù)浣Y(jié)構(gòu)具有較好的信息流動能力和更豐富的動力學(xué)特征，更適合處理復(fù)雜的視覺數(shù)據(jù)。

2.5.2 儲備池模塊

儲備池模塊主要由半全連接拓?fù)浣Y(jié)構(gòu)的儲備池和殘差模塊組成，用來提取輸入特征的重要通道信息，進(jìn)行通道級特征增強。在特征輸入儲備池之前，需要用一個線性層l1(·)對特征z1進(jìn)行維度變換，使其變?yōu)檫m應(yīng)儲備池輸入的維度，即z2=l1(z1)∈R(C，D)，其中D=H·W，代表線性層的輸出維度，也是儲備池輸入的維度。由于儲備池計算的傳統(tǒng)優(yōu)勢在于處理時序數(shù)據(jù)，而小樣本圖像數(shù)據(jù)不具有此種關(guān)系，因此，本文將z2按照通道維度進(jìn)行劃分得到了C個1·D維的數(shù)據(jù)zt∈R(1，D)，將其視為C個時刻的輸入。那么儲備池內(nèi)部神經(jīng)元狀態(tài)更新方程如式（6）所示：

其中：t=0，1，…，C-1。Win是輸入特征到儲備池的連接矩陣，其連接權(quán)重按照高斯分布生成。Wres按照本文所提的半全連接拓?fù)浣Y(jié)構(gòu)的方法生成。這兩個矩陣按照各自的規(guī)律生成后固定不變，不需要學(xué)習(xí)。zt+1表示第t+1個輸入。st+1表示第t+1個輸入時儲備池內(nèi)部神經(jīng)元的狀態(tài)。F(·)表示激活函數(shù)。

儲備池每個時刻的輸出yt+1和整個儲備池的輸出yr根據(jù)式（7）和式（8）計算：

其中，”；”代表矩陣拼接操作；Wout代表儲備池輸出連接矩陣，本文使用一個可學(xué)習(xí)的線性層來逼近該矩陣。

儲備池后接一個殘差模塊，殘差模塊內(nèi)含一個批歸一化層（Batch Normalization， BN）和前饋層（Feed-Forward， FF）以增加網(wǎng)絡(luò)信息流通能力，防止網(wǎng)絡(luò)退化。儲備池通道級特征增強模塊的輸出yRC如式（9）所示：

2.5.3 基于儲備池的注意力機制模塊

在小樣本學(xué)習(xí)領(lǐng)域，注意力機制常被用來整合特征信息。本文提出了一種新穎的基于儲備池網(wǎng)絡(luò)的注意力機制生成方式。該模塊通過儲備池生成新的特征圖Q、K和V，然后根據(jù)式（10）計算輸出像素級增強后的特征yAttn：

與yRC融合后得到最終的增強特征z3：

其中，β1、β2和β3均為可學(xué)習(xí)的標(biāo)量參數(shù)。

2.6 分類器模塊

增強特征z3被送入分類器計算輸出最后的分類結(jié)果y：

第一階段使用線性分類器：

第二階段使用余弦分類器：

其中，τ是一個可學(xué)習(xí)的標(biāo)量參數(shù)。

余弦分類器中的l2歸一化操作促使網(wǎng)絡(luò)提取輸入圖像最具代表性的特征。同時，余弦分類器結(jié)合特征增強模塊使得分類前的特征分布呈現(xiàn)低類內(nèi)方差、高類間方差的特點。儲備池與余弦分類器相結(jié)合，能夠更好地指導(dǎo)分類，提高小樣本任務(wù)分類精度和模型的泛化能力。

3 實驗結(jié)果及分析

3.1 數(shù)據(jù)集和實驗環(huán)境

本文對所提方法和模型在Cifar-FS［20］、FC100［21］和Mini-ImageNet［22］數(shù)據(jù)集上進(jìn)行了常規(guī)小樣本圖像分類實驗。為了驗證模型的泛化性能，設(shè)置了跨域場景，在Mini-ImageNet上訓(xùn)練模型后，在CUB-200［23］數(shù)據(jù)集上測試模型性能。

Cifar-FS和FC100均源自Cifar 100數(shù)據(jù)集。前者共包含100個類，每類有600張32×32的圖像，被劃分為訓(xùn)練集（64類）、驗證集（16類）和測試集（20類）；后者共包含100個類，每類有600張32×32圖像。但FC100是按照超類進(jìn)行劃分的。FC100共20個超類，其中訓(xùn)練集12個超類（60類），驗證集4個超類（20類），測試集4個超類（20類）。

Mini-ImageNet由ImageNet［24］數(shù)據(jù)集中選取的100個類構(gòu)成，每個類別包含600張84×84的圖像，被劃分為訓(xùn)練集（64類）、驗證集（16類）和測試集（20類）。

CUB-200是細(xì)粒度圖像數(shù)據(jù)集，共包含200種鳥類的11 788張84×84圖像，被劃分為訓(xùn)練集（100類）、驗證集（50類）和測試集（50類）。

實驗配置為GTX2080Ti顯卡、Linux操作系統(tǒng)、PyTorch深度學(xué)習(xí)框架。實驗在小樣本任務(wù)階段通過5-way 1-shot和5-way 5-shot方式采樣任務(wù)，最終準(zhǔn)確率是1 500個元任務(wù)的平均分類精度。

3.2 實驗結(jié)果

3.2.1 小樣本圖像分類

首先在公開常用的小樣本數(shù)據(jù)集上進(jìn)行了圖像分類實驗，所提方法和目前先進(jìn)的小樣本學(xué)習(xí)方法的實驗結(jié)果對比如表1和表2所示（加粗?jǐn)?shù)字表示最優(yōu)結(jié)果）。從表1和表2中可以看出，與主流方法相比，以ResNet-12和ResNet-18為主干網(wǎng)絡(luò)的所提方法均取得了最好的分類結(jié)果。

表1 Cifar-FS數(shù)據(jù)集和FC100數(shù)據(jù)集上的分類精度Tab.1 Classification accuracy on Cifar-FS dataset and FC100 dataset %

表2 在Mini-ImageNet數(shù)據(jù)集上的分類精度Tab.2 Classification accuracy on Mini-ImageNet dataset %

在Cifar-FS數(shù)據(jù)集上，5-way 1-shot和5-way 5-shot設(shè)置下的最優(yōu)精度均是在以ResNet-18為特征提取網(wǎng)絡(luò)時取得，分別為79.44%和89.86%，分別比次優(yōu)網(wǎng)絡(luò)MetaQAD高3.61%和1.07%。

在FC100數(shù)據(jù)集上，5-way 1-shot和5-way 5-shot設(shè)置下的最優(yōu)精度均是在以ResNet-18為特征提取網(wǎng)路時取得，分別為50.49%和66.52%，分別比次優(yōu)網(wǎng)絡(luò)TPMN高3.56%和3.26%。

在Mini-ImageNet數(shù)據(jù)集上，在5-way 1-shot設(shè)置下，所提方法在ResNet-18特征提取網(wǎng)絡(luò)下的分類準(zhǔn)確率達(dá)到了69.87%，比次優(yōu)方法DMF提高了2.11%；5-way 5-shot設(shè)置下的最高精度為84.45%，比次優(yōu)方法IEPT提高了1.55%。

同時，所提方法在3個數(shù)據(jù)集上的分類精度比其他基于注意力機制的小樣本圖像分類方法高約2%。

實驗結(jié)果說明所提方法能夠有效對特征進(jìn)行增強以提高分類準(zhǔn)確率，能夠有效處理小樣本圖像分類任務(wù)。

3.2.2 領(lǐng)域遷移

現(xiàn)實世界中基類和新類的數(shù)據(jù)模式差距一般都比較大，使得更加符合真實場景的領(lǐng)域遷移場景成為小樣本學(xué)習(xí)領(lǐng)域的研究重點之一。領(lǐng)域遷移問題要求模型具有良好的泛化能力。為了驗證所提方法的泛化性，本文設(shè)置了此類領(lǐng)域轉(zhuǎn)移的場景：實驗使用ResNet-12和ResNet-18作為特征提取的骨干網(wǎng)絡(luò)，先在粗粒度數(shù)據(jù)集Mini-ImageNet上訓(xùn)練模型，然后再在細(xì)粒度數(shù)據(jù)集CUB-200上測試模型。

實驗結(jié)果如表3所示（加粗?jǐn)?shù)字表示最優(yōu)結(jié)果）。在5-way 1-shot和5-way 5-shot兩種設(shè)置下，所提方法在使用ResNet-18作為特征提取網(wǎng)絡(luò)時均達(dá)到最優(yōu)，分別為49.24%和69.07%，分別超過次優(yōu)方法LFWT 1.77%和2.09%。

表3 領(lǐng)域遷移實驗Tab.3 Cross-domain %

實驗說明所提方法針對領(lǐng)域遷移問題有良好的表現(xiàn)，模型的泛化能力強。

3.3 消融實驗

3.3.1 特征增強模塊的影響

所提方法的特征增強模塊由儲存池模塊和基于儲存池的注意力機制模塊組成。為了探究所提模塊的必要性以及對結(jié)果產(chǎn)生的影響，以ResNet-18為特征提取網(wǎng)絡(luò)在Cifar-FS數(shù)據(jù)集上進(jìn)行了不使用特征增強模塊（No Enhancement，NE）、只使用儲備池模塊（Only Reservoir，OR）和只使用基于儲備池的注意力機制模塊（Only Attention，OA）的消融實驗。

實驗結(jié)果如表4所示（加粗?jǐn)?shù)字表示最優(yōu)結(jié)果）?？梢钥吹绞褂昧颂卣髟鰪娔K的分類精度在兩種設(shè)置下都高于不使用特征增強模塊的網(wǎng)絡(luò)至少3%。同時，當(dāng)儲備池模塊和基于儲備池的注意力模塊聯(lián)合使用時，分類精度比其單獨使用至少高約0.78%。該消融實驗說明了所提特征增強模塊的有效性和兩個模塊聯(lián)合使用的必要性。

表4 特征增強模塊的影響（以對Cifar-FS數(shù)據(jù)集的分類精度為例）Tab.4 Effect of feature enhancement module （taking classification accuracies on Cifar-FS for example） %

3.3.2 不同注意力機制生成方式的影響

為了說明所提方法相比于傳統(tǒng)的線性變換或卷積操生成注意力機制的優(yōu)勢，在Mini-ImageNet數(shù)據(jù)集上以ResNet-18為特征提取網(wǎng)絡(luò)進(jìn)行了小樣本圖像分類實驗。實驗結(jié)果如表5所示（加粗?jǐn)?shù)字表示最優(yōu)結(jié)果）?？梢钥闯鍪褂昧俗⒁饬C制比沒有使用時分類效果好，因為注意力機制整合突出了重要特征信息。所提生成注意力機制方法的精度在5-way 1-shot和5-way 5-shot設(shè)置下分別達(dá)到69.87%和84.45%，優(yōu)于另外兩種方法至少2.12%，說明了儲備池生成方法的有效性。

表5 不同注意力生成方式在Mini-ImageNet上的精度Tab.5 Classification accuracy of attention mechanisms generated by different methods on Mini-ImageNet dataset %

3.3.3 特征分布可視化

在Cifar-FS數(shù)據(jù)集上，以ResNet-18為特征提取網(wǎng)絡(luò)對查詢集的特征進(jìn)行提?。╭=30，共5×30張查詢圖像）。以不同的注意力機制進(jìn)行增強后，采用t-Distributed Stochastic Neighbor Embedding（t-SNE）［38］對特征分布做可視化。

如圖3所示，所提方法對特征進(jìn)行增強后，特征分布相較于傳統(tǒng)的線性變換和卷積操作生成方式而言，具有更大的類間方差和更小的類內(nèi)方差，使得分類器能夠更好地分類，提升小樣本任務(wù)的分類精度。

圖3 不同方式生成注意力機制對特征進(jìn)行增強后的特征分布Fig.3 Feature distributions after the enhancement by attention mechanisms generated in different ways

3.3.4 可學(xué)習(xí)標(biāo)量參數(shù)的影響

可學(xué)習(xí)標(biāo)量參數(shù)主要用來進(jìn)行縮放，主要體現(xiàn)在公式（11）的中的β2和β3、公式（14）中的τ。β2和β3主要用于權(quán)衡通道級增強模塊的輸出和像素級增強模塊的輸出對最終輸出的貢獻(xiàn)程度。因為余弦相似度的范圍被固定為［-1， 1］，所以用τ來控制分類器中softmax算子產(chǎn)生的概率分布的峰值。在Cifar-FS、Mini-ImageNet數(shù)據(jù)集上以ResNet-18為特征提取網(wǎng)絡(luò)進(jìn)行了小樣本圖像分類實驗，討論了是否使用β2和β3以及對τ進(jìn)行不同初始化選擇的影響。

如表6所示（加粗?jǐn)?shù)字表示最優(yōu)結(jié)果），使用β2和β3的效果優(yōu)于未使用時，因為這兩個參數(shù)學(xué)習(xí)如何衡量通道級增強模塊和像素級增強模塊的重要性比例，相較于未使用的情況更合理。同時，這兩個參數(shù)都被初始化為0～1之間的數(shù)值。參數(shù)τ用來控制softmax算子的峰值，其不同初始化值對實驗結(jié)果的影響如圖4所示?？梢园l(fā)現(xiàn)其初始值為4時，在Cifar-FS和Mini-ImageNet數(shù)據(jù)集上的最終分類結(jié)果都比其他初始化值好，因此所做其他實驗中該參數(shù)的初始值設(shè)置為4。

表6 是否使用β1、β2的影響Tab.6 Effect of whether using β1 and β2 %

圖4 不同的τ初始值對分類準(zhǔn)確度的影響Fig.4 Effect of different initial values of τ on classification accuracy

3.3.5 不同儲備池內(nèi)部拓?fù)浣Y(jié)構(gòu)的影響

儲備池內(nèi)部拓?fù)浣Y(jié)構(gòu)使其具有豐富的動力學(xué)特性來處理復(fù)雜的數(shù)據(jù)。為了直觀說明所提拓?fù)浣Y(jié)構(gòu)的優(yōu)勢，在Mini-ImageNet數(shù)據(jù)集上以ResNet-18為特征提取網(wǎng)絡(luò)進(jìn)行了小樣本圖像分類實驗。

實驗結(jié)果如表7所示（加粗?jǐn)?shù)字表示最優(yōu)結(jié)果），所提拓?fù)浣Y(jié)構(gòu)在5-way 1-shot和5-way 5-shot兩種設(shè)置下的分類精度均優(yōu)于其他拓?fù)浣Y(jié)構(gòu)1%～3%，說明所提拓?fù)浣Y(jié)構(gòu)具有更豐富動力學(xué)特性來處理復(fù)雜信息和緩解過擬合，能夠增強模型的泛化能力。

表7 不同儲備池內(nèi)部拓?fù)浣Y(jié)構(gòu)的影響Tab.7 Effect of different internal topologies of RC %

4 結(jié)論

本文提出了一種基于儲備池計算的小樣本圖像分類方法，通過儲備池模塊和基于儲備池模塊的注意力機制對特征進(jìn)行通道級和像素級增強，聯(lián)合余弦分類器使得網(wǎng)絡(luò)提取的特征分布具有高類間方差、低類內(nèi)方差的特性。相較于目前流行的小樣本圖像分類方法，所提方法在標(biāo)準(zhǔn)的小樣本圖像分類任務(wù)和跨域轉(zhuǎn)移場景下的分類精度至少分別高1.07%和1.77%，具有較強的泛化性。本文方法依賴于儲備池內(nèi)部動力學(xué)特性來緩解過擬合、增強模型泛化性能，然而其內(nèi)在機制缺乏可解釋性，這也將是下一步的研究重點。