類(lèi)內(nèi)-類(lèi)間通道注意力少樣本分類(lèi)

楊利平， 張?zhí)煅螅?王宇陽(yáng)， 辜小花

（1. 重慶大學(xué) 光電技術(shù)及系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室，重慶 400044；2. 重慶科技學(xué)院 電氣工程學(xué)院，重慶 401331）

1 引 言

在擁有足夠標(biāo)記數(shù)據(jù)的前提下，深度神經(jīng)網(wǎng)絡(luò)分類(lèi)模型可在模式分類(lèi)任務(wù)中取得優(yōu)異的分類(lèi)性能［1-2］。然而，實(shí)際應(yīng)用的類(lèi)別往往是變化的，可用于訓(xùn)練新分類(lèi)任務(wù)的標(biāo)記數(shù)據(jù)非常少、甚至為零。由于欠擬合或過(guò)擬合現(xiàn)象的存在，簡(jiǎn)單的利用少量新類(lèi)別樣本更新模型參數(shù)并不能使預(yù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)分類(lèi)模型很好地適應(yīng)新分類(lèi)任務(wù)，這即是少樣本分類(lèi)問(wèn)題［3-5］。

元學(xué)習(xí)是當(dāng)前解決少樣本分類(lèi)問(wèn)題的主流方法［6-7］。該類(lèi)方法將少樣本分類(lèi)作為元學(xué)習(xí)任務(wù)來(lái)處理，分別利用元學(xué)習(xí)框架的元訓(xùn)練和元測(cè)試階段完成分類(lèi)經(jīng)驗(yàn)（也稱(chēng)為元知識(shí)）的學(xué)習(xí)與遷移。元訓(xùn)練階段的目標(biāo)是在已有基類(lèi)數(shù)據(jù)集上構(gòu)造大量少樣本分類(lèi)任務(wù)并從中學(xué)習(xí)分類(lèi)經(jīng)驗(yàn)；元測(cè)試階段的目標(biāo)是利用少量新類(lèi)別樣本更新分類(lèi)模型，將元訓(xùn)練階段獲得的少樣本分類(lèi)經(jīng)驗(yàn)遷移到新的分類(lèi)任務(wù)中。

原型網(wǎng)絡(luò)［8］（Prototypical Network， ProtoNet）是一種用于解決少樣本分類(lèi)問(wèn)題的經(jīng)典元學(xué)習(xí)方法。原型網(wǎng)絡(luò)的基本思想是：在一個(gè)嵌入空間中，每個(gè)類(lèi)支持集樣本的特征向量取均值作為原型表示（Prototypes），該類(lèi)別的樣本在嵌入空間中聚集在該原型表示的周?chē)?，通過(guò)距離函數(shù)得到樣本與各個(gè)原型表示之間的相似度。然而，由于原型網(wǎng)絡(luò)采取簡(jiǎn)單平均的方法獲得原型表示，噪聲樣本與正常樣本對(duì)原型表示的影響力度是相同的，因此，極少數(shù)的噪聲樣本可能會(huì)對(duì)原型表示的計(jì)算帶來(lái)較大的影響。為了緩解這種情況，現(xiàn)有方法基于原型網(wǎng)絡(luò)在元訓(xùn)練階段做了很多工作。文獻(xiàn)［9］應(yīng)用空間注意力機(jī)制關(guān)注嵌入空間中較為突出的區(qū)域，以保留目標(biāo)主體的空間關(guān)系。文獻(xiàn)［10］應(yīng)用通道注意力機(jī)制關(guān)注任務(wù)內(nèi)的最大化差異，以增強(qiáng)模型對(duì)新任務(wù)的判別能力。文獻(xiàn)［11］通過(guò)引入額外的自監(jiān)督任務(wù)人為地增加基類(lèi)數(shù)據(jù)集的多樣性和復(fù)雜性。上述少樣本分類(lèi)方法主要通過(guò)引入注意力約束和自監(jiān)督學(xué)習(xí)來(lái)改善特征提取器對(duì)關(guān)鍵信息的提取。盡管這些方法在少樣本分類(lèi)任務(wù)中是有效的，但是這些約束策略都沒(méi)有考慮特征對(duì)類(lèi)別的鑒別能力。由于少樣本分類(lèi)任務(wù)標(biāo)記樣本有限，所以約束策略容易出現(xiàn)欠擬合或過(guò)擬合現(xiàn)象，不易達(dá)到最優(yōu)狀態(tài)。

針對(duì)上述問(wèn)題，本文提出了一種類(lèi)內(nèi)-類(lèi)間通道注意力少樣本分類(lèi)方法（Intra-inter Channel Attention Few-shot Classification， ICAFSC）。該方法在原型網(wǎng)絡(luò)基礎(chǔ)上設(shè)計(jì)了一個(gè)類(lèi)內(nèi)-類(lèi)間通道注意力模塊（Intra-inter Channel Attention Module， ICAM），該模塊通過(guò)類(lèi)內(nèi)-類(lèi)間距離度量計(jì)算通道權(quán)重實(shí)現(xiàn)特征加權(quán)，促使同類(lèi)別特征更加緊湊不同類(lèi)別特征更加分散，提高特征對(duì)類(lèi)別的鑒別能力。ICAM 包含類(lèi)內(nèi)通道注意力和類(lèi)間通道注意力兩個(gè)部分。類(lèi)內(nèi)通道注意力計(jì)算同類(lèi)別樣本特征圖的通道距離，尋找類(lèi)內(nèi)相似度高的通道，并增加這些通道的權(quán)重。類(lèi)間通道注意力計(jì)算不同類(lèi)別樣本特征圖的通道距離，尋找類(lèi)間判別性大的通道，并增加這些通道的權(quán)重。為了使ICAM 充分學(xué)習(xí)類(lèi)內(nèi)通道權(quán)重和類(lèi)間通道權(quán)重，提高特征對(duì)類(lèi)別的鑒別能力，ICAFSC 在元訓(xùn)練之前增加一個(gè)預(yù)訓(xùn)練階段。該階段設(shè)計(jì)具有大量標(biāo)記樣本的分類(lèi)任務(wù)，并利用這些任務(wù)充分訓(xùn)練ICAM，使其達(dá)到最優(yōu)狀態(tài)。在元訓(xùn)練階段，ICAFSC 凍結(jié)ICAM 的參數(shù)，利用少樣本分類(lèi)任務(wù)訓(xùn)練特征提取器并從中學(xué)習(xí)少樣本分類(lèi)經(jīng)驗(yàn)。在元測(cè)試階段，ICAFSC利用少量的新類(lèi)別標(biāo)記樣本更新少樣本分類(lèi)模型，將元訓(xùn)練階段獲得的少樣本分類(lèi)經(jīng)驗(yàn)遷移到新的分類(lèi)任務(wù)中。

2 原 理

2.1 少樣本分類(lèi)問(wèn)題設(shè)置

本文用x表示輸入樣本，y表示類(lèi)別標(biāo)簽；X和Y分別表示輸入樣本和類(lèi)別標(biāo)簽的分布空間。少樣本分類(lèi)任務(wù)Tt給定包含支持集St和查詢(xún)集Qt的數(shù)據(jù)集DT={St，Qt}，其中支持集St=由少量帶有類(lèi)別標(biāo)簽的樣本組成，查詢(xún)集由無(wú)標(biāo)簽數(shù)據(jù)組成；和R分別表示支持集和查詢(xún)集樣本數(shù)量。通常，St包含N個(gè)類(lèi)別，并且每個(gè)類(lèi)別僅擁有K個(gè)樣本（例如K=1 或K=5），即M=N×K。包含上述St的少樣本分類(lèi)任務(wù)Tt被稱(chēng)為N-wayK-shot 任務(wù)。少樣本分類(lèi)利用支持集St中非常有限的標(biāo)記樣本學(xué)習(xí)映射關(guān)系F：X→Y，并利用F對(duì)查詢(xún)集Qt中的樣本進(jìn)行分類(lèi)。但是由于K往往很小，少樣本分類(lèi)僅利用支持集St很難訓(xùn)練出一個(gè)高質(zhì)量的映射關(guān)系F，因此，許多學(xué)者引入元學(xué)習(xí)解決少樣本分類(lèi)。

元學(xué)習(xí)框架下的少樣本分類(lèi)給定一個(gè)擁有大量標(biāo)記樣本的數(shù)據(jù)集，其中表示DB的樣本數(shù)量。首先，元訓(xùn)練階段在DB上隨機(jī)采樣出大量的少樣本分類(lèi)任務(wù)Ti，這些任務(wù)服從任務(wù)分布p(T)，并利用少樣本分類(lèi)任務(wù)Ti訓(xùn)練一個(gè)能夠快速泛化的映射關(guān)系F。然后，元測(cè)試階段利用少樣本分類(lèi)任務(wù)Tt的支持集St更新映射關(guān)系F以適應(yīng)新分類(lèi)任務(wù)，并在Qt上測(cè)試映射關(guān)系F的分類(lèi)效果。需要注意的是，在少樣本分類(lèi)中DB和DT的類(lèi)別是不相交的。

2.2 原型網(wǎng)絡(luò)

圖1 原型網(wǎng)絡(luò)Fig.1 Prototypical Network

原型網(wǎng)絡(luò)計(jì)算查詢(xún)集樣本在嵌入空間與原型表示的距離，并利用softmax 函數(shù)得出查詢(xún)集樣本屬于目標(biāo)類(lèi)別m的概率：

其中d(?)為距離函數(shù)，一般采用歐氏距離。最后，原型網(wǎng)絡(luò)利用梯度下降法最小化目標(biāo)類(lèi)別的負(fù)對(duì)數(shù)概率損失優(yōu)化模型：

在元測(cè)試階段，原型網(wǎng)絡(luò)則利用少樣本分類(lèi)任務(wù)Tt的支持集St構(gòu)建適應(yīng)新分類(lèi)任務(wù)的原型表示，將元訓(xùn)練階段的分類(lèi)經(jīng)驗(yàn)遷移到新分類(lèi)任務(wù)上；然后，利用式(4)給出查詢(xún)集（Qt）樣本的預(yù)測(cè)分?jǐn)?shù)，最后將預(yù)測(cè)分?jǐn)?shù)最高的類(lèi)作為分類(lèi)預(yù)測(cè)結(jié)果。

本文提出的ICAFSC 在原型網(wǎng)絡(luò)基礎(chǔ)上設(shè)計(jì)了一個(gè)類(lèi)內(nèi)-類(lèi)間通道注意力模塊，該模塊通過(guò)類(lèi)內(nèi)-類(lèi)間距離度量計(jì)算通道權(quán)重實(shí)現(xiàn)特征加權(quán)，提高特征對(duì)類(lèi)別的鑒別能力。為了使ICAM充分學(xué)習(xí)類(lèi)內(nèi)通道權(quán)重和類(lèi)間通道權(quán)重，ICAFSC 在元訓(xùn)練之前增加一個(gè)預(yù)訓(xùn)練階段。該階段設(shè)計(jì)具有大量標(biāo)記樣本的分類(lèi)任務(wù)，并利用這些任務(wù)充分訓(xùn)練類(lèi)內(nèi)-類(lèi)間通道注意力模塊，促使該模塊達(dá)到最優(yōu)狀態(tài)。

2.3 類(lèi)內(nèi)-類(lèi)間通道注意力少樣本分類(lèi)

2.3.1 少樣本分類(lèi)的類(lèi)內(nèi)-類(lèi)間通道注意力原型網(wǎng)絡(luò)

原型網(wǎng)絡(luò)包含元訓(xùn)練和元測(cè)試兩個(gè)階段。其中，元訓(xùn)練利用許多任務(wù)訓(xùn)練模型對(duì)少樣本分類(lèi)任務(wù)的適應(yīng)性；元測(cè)試則是利用少量的新類(lèi)別樣本將模型的先驗(yàn)知識(shí)遷移到特定的少樣本分類(lèi)任務(wù)。由于元訓(xùn)練階段每個(gè)類(lèi)別標(biāo)記樣本較少，因此ICAFSC 在原型網(wǎng)絡(luò)的基礎(chǔ)上增加了預(yù)訓(xùn)練階段。預(yù)訓(xùn)練階段的目的是利用包含大量標(biāo)記樣本的分類(lèi)任務(wù)ti訓(xùn)練類(lèi)內(nèi)-類(lèi)間通道注意力模塊，從而能夠?qū)W習(xí)更具有判別性的通道權(quán)重，提高特征對(duì)類(lèi)別的鑒別能力。ti是數(shù)據(jù)集DB上隨機(jī)采樣出的分類(lèi)任務(wù)，服從任務(wù)分布p(t)，即ti～p(t)。ICAFSC 的主要訓(xùn)練與測(cè)試流程如下：首先，預(yù)訓(xùn)練階段利用分類(lèi)任務(wù)ti訓(xùn)練ICAM以學(xué)習(xí)更具有判別性的通道權(quán)重，同時(shí)初步更新嵌入式網(wǎng)絡(luò)的參數(shù)；然后，元訓(xùn)練階段固定ICAM 的參數(shù)，僅利用少樣本分類(lèi)任務(wù)進(jìn)一步提高嵌入式網(wǎng)絡(luò)對(duì)少樣本分類(lèi)的適應(yīng)性；最后，元測(cè)試階段利用訓(xùn)練后的模型對(duì)DT數(shù)據(jù)集進(jìn)行預(yù)測(cè)以測(cè)試模型的少樣本分類(lèi)性能。以上三個(gè)階段采用的模型結(jié)構(gòu)如圖2 所示。

圖2 少樣本分類(lèi)的類(lèi)內(nèi)-類(lèi)間通道注意力原型網(wǎng)絡(luò)Fig.2 Intra-inter channel attention prototypical network for FSC

ICAFSC 將類(lèi)內(nèi)-類(lèi)間通道注意力模塊嵌入原型網(wǎng)絡(luò)中。在預(yù)訓(xùn)練階段，分類(lèi)任務(wù)ti給定支持集和查詢(xún)集其中G非常大（例如G=100 或G=200）；Sb，Qb∈DB。ICAM 利用支持集監(jiān)督信息計(jì)算第m類(lèi)的綜合通道權(quán)重Wm∈RC×1×1，該權(quán)重由類(lèi)內(nèi)通道權(quán)重和類(lèi)間通道權(quán)重線性組合得到。ICAFSC 通過(guò)綜合通道權(quán)重Wm將支持集第m類(lèi)的第i個(gè)特征圖轉(zhuǎn)換成任務(wù)自適應(yīng)特征圖（也稱(chēng)為加權(quán)特征圖）

其中⊙表示元素級(jí)乘法。計(jì)算中，綜合通道權(quán)重值沿空間維度復(fù)制得到尺寸為C×W×H的通道權(quán)重。然后，ICAFSC 利用轉(zhuǎn)換后的任務(wù)自適應(yīng)特征圖計(jì)算任務(wù)自適應(yīng)原型表示

雖然支持集可以根據(jù)監(jiān)督信息計(jì)算更具有可靠性的原型表示，但是需求集缺少監(jiān)督信息無(wú)法計(jì)算對(duì)應(yīng)的通道權(quán)重。因此，在計(jì)算需求集與第m類(lèi)原型表示的距離時(shí)，本文將綜合通道權(quán)重Wm應(yīng)用于需求集特征圖Fq∈RC×W×H：

類(lèi)內(nèi)-類(lèi)間通道注意力模塊主要由類(lèi)內(nèi)通道注意力和類(lèi)間通道注意力組成，如圖3 所示。為了更加簡(jiǎn)明地闡述ICAM，圖3 中只展示了二分類(lèi)的示意圖，更多類(lèi)別的討論方式根據(jù)公式類(lèi)推。類(lèi)內(nèi)通道注意力關(guān)注類(lèi)內(nèi)的相似信息并計(jì)算類(lèi)內(nèi)通道權(quán)重，類(lèi)間通道注意力關(guān)注類(lèi)間判別信息并計(jì)算類(lèi)間通道權(quán)重。然后，ICAM 通過(guò)線性組合（CE）將類(lèi)內(nèi)通道權(quán)重和類(lèi)間通道權(quán)重組，形成一個(gè)綜合通道權(quán)重對(duì)特征圖實(shí)現(xiàn)加權(quán)。

2.3.2 類(lèi)內(nèi)通道注意力

通道注意力［12-13］通常是對(duì)特征圖做池化操作或擠壓-激勵(lì)操作以提取通道間的信息差異，并基于該信息差異對(duì)特征圖施加通道級(jí)的權(quán)重。雖然這種注意力可以獲取特征圖自身每個(gè)通道的重要程度，但是對(duì)于具有一個(gè)或幾個(gè)監(jiān)督樣本的小樣本任務(wù)來(lái)說(shuō)，樣本的缺乏會(huì)極大地限制通道注意力對(duì)通道間信息差異的有效學(xué)習(xí)。為解決該問(wèn)題，本文以同類(lèi)別所有特征圖為基礎(chǔ)設(shè)計(jì)了類(lèi)內(nèi)通道注意力，如圖4 所示。類(lèi)內(nèi)通道注意力主要由通道距離計(jì)算和全連接映射組成，該注意力以第m類(lèi)的特征圖和原型表示作為輸入計(jì)算第m類(lèi)的類(lèi)內(nèi)通道權(quán)重。

圖4 類(lèi)內(nèi)通道注意力示意圖Fig.4 Schematic diagram of intra-class channel attention

當(dāng)給定支持集中類(lèi)別為m的特征圖，可以由式(3) 計(jì)算得到第m類(lèi)的原型表示Pm∈RC×W×H。之后，對(duì)于第m類(lèi)第c個(gè)通道的類(lèi)內(nèi)通道距離的表達(dá)式為：

該距離表示支持集樣本高度激活的通道與原型表示的類(lèi)顯著性通道的相似程度。取通道c上K個(gè)樣本的最大值作為第m類(lèi)第c個(gè)通道的類(lèi)內(nèi)通道距離。距離越小，說(shuō)明第m類(lèi)所有樣本與原型表示在通道c上的距離越小，通道相似程度越高，特征提取器提取的特征在通道c上更顯著。

得到第m類(lèi)的類(lèi)內(nèi)通道距離后，為了更好地整合通道間的相似信息，將類(lèi)內(nèi)通道距離作為輸入送進(jìn)兩層的全連接網(wǎng)絡(luò)中計(jì)算類(lèi)內(nèi)通道權(quán)重

其中：fφ1表示全連接網(wǎng)絡(luò)，φ1表示可學(xué)習(xí)參數(shù)。假定預(yù)訓(xùn)練階段每個(gè)分類(lèi)任務(wù)的類(lèi)別數(shù)N=Npre。ICAM 將所有類(lèi)別的類(lèi)內(nèi)通道距離拼接形成一個(gè)尺寸為Npre×C的向量，并將該向量作為全連接網(wǎng)絡(luò)的輸入。全連接網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

從式(10)可以得出，類(lèi)內(nèi)通道距離越小，支持集樣本與原型表示的通道匹配程度越高，也就意味著這些通道包含類(lèi)內(nèi)相似特征。因此，為了增大具有類(lèi)內(nèi)相似特征通道的權(quán)重，在全連接網(wǎng)絡(luò)最后一層增加了轉(zhuǎn)換層。為了更簡(jiǎn)明地闡述轉(zhuǎn)換層，假設(shè)Npre=1，即有（類(lèi)別為m）：

其中：表示Sigmoid 的輸出，則的元素均屬于0 到1 之間。經(jīng)過(guò)轉(zhuǎn)換層之后，類(lèi)內(nèi)通道距離越小，類(lèi)內(nèi)通道權(quán)重越大。類(lèi)內(nèi)通道權(quán)重強(qiáng)調(diào)了類(lèi)內(nèi)的相似信息，同時(shí)也抑制了類(lèi)內(nèi)的冗余信息。因此，加權(quán)特征圖所計(jì)算的原型表示更可靠，在不斷迭代更新中也能促進(jìn)特征提取器對(duì)類(lèi)別的鑒別能力。

2.3.3 類(lèi)間通道注意力

雖然類(lèi)內(nèi)通道注意力可以增大具有類(lèi)內(nèi)相似特征通道的權(quán)重，但對(duì)于少樣本分類(lèi)任務(wù)，有效地學(xué)習(xí)類(lèi)間判別性特征也尤為重要。圖5 為基于所有原型表示的類(lèi)間通道注意力。類(lèi)間通道注意力主要由通道距離計(jì)算和全連接映射組成，該注意力以所有類(lèi)別的原型表示作為輸入計(jì)算類(lèi)間通道權(quán)重。為了更加簡(jiǎn)明地闡述ICAM，圖3 只展示了二分類(lèi)的示意圖，更多類(lèi)別的討論方式根據(jù)公式類(lèi)推。類(lèi)間通道注意力旨在提高類(lèi)間判別性較大的通道的權(quán)重，以此增加樣本在嵌入空間與其他類(lèi)別樣本的判別性。

圖5 類(lèi)間通道注意力示意圖Fig.5 schematic diagram of inter-class channel attention

當(dāng)給定支持集中類(lèi)別為m的原型表示Pm，第m類(lèi)在第c個(gè)通道與其他類(lèi)別m′的類(lèi)間通道距離的表達(dá)式為：

該距離表示類(lèi)別m高度激活的通道與其他類(lèi)別m′顯著性通道的相似程度。取c通道上N-1 個(gè)類(lèi)別的最小值作為第m類(lèi)第c個(gè)通道的類(lèi)間通道距離。該距離越大，說(shuō)明第m類(lèi)原型表示在通道c上與其他類(lèi)別原型表示的距離越大，通道的差異程度越高。

得到第m類(lèi)的類(lèi)間通道距離后，為了更好地整合通道間的判別信息，將類(lèi)間通道距離作為輸入送進(jìn)兩層的全連接網(wǎng)絡(luò)中得到類(lèi)間通道權(quán)重

其中：fφ2表示全連接網(wǎng)絡(luò)，φ2表示可學(xué)習(xí)參數(shù)。該全連接網(wǎng)絡(luò)相比類(lèi)內(nèi)通道注意力的全連接網(wǎng)絡(luò)僅缺少最后的轉(zhuǎn)換層，其他結(jié)構(gòu)完全相同。

從式(13)可以得出，類(lèi)間通道距離越大，類(lèi)間通道權(quán)重越大。類(lèi)間通道權(quán)重強(qiáng)調(diào)了類(lèi)間的判別性信息，因此嵌入空間中的加權(quán)特征圖的可分性會(huì)提高，在不斷迭代更新的過(guò)程中，特征提取器的鑒別能力會(huì)逐步提升。

2.3.4 類(lèi)內(nèi)-類(lèi)間通道注意力線性組合

類(lèi)內(nèi)通道注意力與類(lèi)間通道注意力分別關(guān)注類(lèi)內(nèi)相似通道和類(lèi)間判別通道。為綜合考慮樣本在嵌入空間類(lèi)別表征，將兩種通道權(quán)重線性組合形成一個(gè)綜合通道權(quán)重，即：

其中：Wm∈RC×1×1，表示第m類(lèi)的綜合通道權(quán)重；α為平衡參數(shù)，α取0.5，以保證綜合通道權(quán)重對(duì)類(lèi)內(nèi)相似通道和類(lèi)間判別通道的關(guān)注度相同。

ICAFSC 在原型網(wǎng)絡(luò)的框架下增加了一個(gè)預(yù)訓(xùn)練階段，并利用ICAM 提高特征對(duì)類(lèi)別的鑒別能力。假定元訓(xùn)練階段每個(gè)少樣本分類(lèi)任務(wù)的類(lèi)別數(shù)N=Ntrain。ICAFSC 凍結(jié)ICAM 的參數(shù)（全連接層）來(lái)保留在預(yù)訓(xùn)練階段中學(xué)習(xí)到的通道特性。由于Npre與Ntrain的值可能不同，并且全連接層的輸入神經(jīng)元不可更改，在元訓(xùn)練階段和元測(cè)試階段中對(duì)輸入全連接層的通道距離施加拆分或復(fù)制的操作，如圖6 所示。

圖6 通道距離拆分和復(fù)制示意圖(f (φ)=f (φ1)∪f(wàn) (φ2))Fig.6 Channel distance splitting and replication ( f (φ)=f (φ1)∪f(wàn) (φ2))

以元訓(xùn)練階段為例，當(dāng)Ntrain>Npre時(shí)，ICAFSC 將通道距離拆分為多份符合全連接網(wǎng)絡(luò)要求的輸入，并將全連接的輸出拼接在一起，如圖6（a）所示；當(dāng)NtrainNpre時(shí)，ICAFSC 執(zhí)行拆分操作；當(dāng)Ntest

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集與預(yù)處理

本文采用MiniImagenet 數(shù)據(jù)集［14］進(jìn)行實(shí)驗(yàn)，該數(shù)據(jù)集包含100 個(gè)類(lèi)別，每個(gè)類(lèi)別有600 個(gè)樣本，共計(jì)60 000 張圖像。數(shù)據(jù)集主要包含鳥(niǎo)類(lèi)、昆蟲(chóng)、汽車(chē)和飛機(jī)等類(lèi)別。文獻(xiàn)［15］將數(shù)據(jù)集按照64∶16∶20 的比例劃分為訓(xùn)練集、評(píng)價(jià)集和測(cè)試集。

根據(jù)文獻(xiàn)［8］，圖像需預(yù)處理為84×84 的分辨率。為防止圖像變形，先對(duì)原始圖像按短邊等比例縮放到84 的大小，然后再利用中心裁剪的方法將圖像裁剪為84×84 的分辨率。

3.2 實(shí)驗(yàn)過(guò)程與參數(shù)設(shè)置

骨干網(wǎng)絡(luò)采用由4 個(gè)卷積神經(jīng)網(wǎng)絡(luò)模塊（CNN Block）堆疊的卷積神經(jīng)網(wǎng)絡(luò)［16-17］。每個(gè)模塊包含卷積層、批歸一化層、ReLU 激活層以及最大池化層。CNN Block 的參數(shù)設(shè)置如表2 所示，其中c表示輸出通道數(shù)，k表示卷積核的尺寸，s表示最大池化的步長(zhǎng)，下標(biāo)表示第幾個(gè)模塊。主干網(wǎng)絡(luò)最后輸出84×5×5 的特征圖。

表2 卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)設(shè)置Tab.2 Parameter setting of convolutional neural network

模型預(yù)訓(xùn)練與訓(xùn)練階段均采用Adam 優(yōu)化器，初始學(xué)習(xí)率為0.001。采用ReduceLROnPlateau 的學(xué)習(xí)率調(diào)整策略對(duì)評(píng)價(jià)集損失進(jìn)行監(jiān)控，當(dāng)10 個(gè)迭代周期的評(píng)價(jià)集損失沒(méi)有下降時(shí)，學(xué)習(xí)率降低到原來(lái)的0.3 倍。在MiniImagenet 數(shù)據(jù)集上的預(yù)訓(xùn)練周期為50 次，訓(xùn)練周期為400 次，當(dāng)100 個(gè)迭代周期的評(píng)價(jià)集損失沒(méi)有下降時(shí)，結(jié)束模型訓(xùn)練。

模型測(cè)試階段，從測(cè)試集中隨機(jī)生成600 組N-wayK-shot 任務(wù)，每類(lèi)包括15 個(gè)查詢(xún)集樣本用于評(píng)估模型少樣本分類(lèi)的性能。分類(lèi)準(zhǔn)確率取測(cè)試集中隨機(jī)生成的600 組任務(wù)的平均值，并給出95 %的置信區(qū)間。

針對(duì)不同N-way K-shot，選擇歐氏距離作為距離函數(shù)［8］以及合適的訓(xùn)練階段任務(wù)參數(shù)配置，具體設(shè)置如表3 所示。

表3 元訓(xùn)練階段少樣本分類(lèi)任務(wù)的參數(shù)配置Tab.3 Parameter configuration of few-shot classification task in meta-train stage

3.3 結(jié)果與分析

首先在MiniImagenet 數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)，驗(yàn)證ICAFSC 在不同訓(xùn)練階段更新ICAM 參數(shù)對(duì)少樣本分類(lèi)結(jié)果的影響。然后，驗(yàn)證ICAFSC 不同少樣本任務(wù)配置對(duì)少樣本分類(lèi)結(jié)果的影響。最后，給出ICAFSC 在MiniImagenet 數(shù)據(jù)集與其他方法的對(duì)比。

3.3.1 消融實(shí)驗(yàn)與分析

為驗(yàn)證提出的ICAM 在不同訓(xùn)練階段更新參數(shù)對(duì)ICAFSC 少樣本分類(lèi)結(jié)果的影響，實(shí)驗(yàn)采用3 種ICAM 參數(shù)更新方式，分別是僅在預(yù)訓(xùn)練階段更新參數(shù)（ICAFSC-pre）、僅在元訓(xùn)練階段更新參數(shù)（ICAFSC-tra）以及預(yù)訓(xùn)練階段和元訓(xùn)練階段均更新參數(shù)（ICAFSC-pre+tra），分類(lèi)結(jié)果如表4 所示。

表4 ICAFSC 在MiniImagenet 數(shù)據(jù)集上不同訓(xùn)練階段更新ICAM 參數(shù)的實(shí)驗(yàn)結(jié)果Tab.4 Experimental results for ICAFSC updating ICAM parameters in different training stages on MiniImagenet

表4 分別展示了5-way 1-shot 和5-way 5-shot兩種少樣本分類(lèi)問(wèn)題的實(shí)驗(yàn)結(jié)果。從5-way 5-shot 和5-way 1-shot 的實(shí)驗(yàn)結(jié)果可以看出，3 種ICAM 參數(shù)更新方式的分類(lèi)準(zhǔn)確率均高于ProtoNet。這說(shuō)明ICAM 有效地增強(qiáng)了模型對(duì)不同類(lèi)別的鑒別能力。在5-shot 和1-shot 情況下，ICAFSC-pre 的分類(lèi)準(zhǔn)確率比ICAFSC-tra 分別提高了0.97%和1.79%。這說(shuō)明預(yù)訓(xùn)練階段大量的標(biāo)記樣本更有利于ICAM 學(xué)習(xí)類(lèi)內(nèi)通道權(quán)重與類(lèi)間通道權(quán)重，提高了特征的鑒別能力。相比于ICAFSC-pre，ICAFSC-pre+tra 在5-shot 和1-shot 的情況下分別下降了0.24%和0.85%，其原因在于元訓(xùn)練階段少量標(biāo)記樣本對(duì)ICAM 的更新會(huì)破壞ICAM 在預(yù)訓(xùn)練階段學(xué)習(xí)到的類(lèi)內(nèi)-類(lèi)間鑒別能力。

3.3.2 不同少樣本任務(wù)配置的實(shí)驗(yàn)與分析

為驗(yàn)證ICAFSC 少樣本分類(lèi)方法的有效性并尋找最優(yōu)的ICAM 預(yù)訓(xùn)練任務(wù)參數(shù)配置，在MiniImagenet 數(shù)據(jù)集上進(jìn)行了不同少樣本任務(wù)配置的實(shí)驗(yàn)，結(jié)果如表5 所示。

表5 ICAFSC 在MiniImagenet 數(shù)據(jù)集上不同少樣本任務(wù)配置的實(shí)驗(yàn)結(jié)果Tab.5 Experimental results for ICAFSC under different classification task configurations in pre-training phase on MiniImagenet

表5 分別展示了5-way 1-shot 和5-way 5-shot兩種少樣本分類(lèi)問(wèn)題的實(shí)驗(yàn)結(jié)果。為與少樣本分類(lèi)問(wèn)題的類(lèi)別數(shù)量匹配，表中3 組預(yù)訓(xùn)練任務(wù)參數(shù)配置的類(lèi)別數(shù)量均設(shè)置為5 的整數(shù)倍。從5-way 5-shot 的實(shí)驗(yàn)結(jié)果可以看出，不同參數(shù)配置的ICAFSC 的分類(lèi)準(zhǔn)確率均高于ProtoNet。當(dāng)預(yù)訓(xùn)練類(lèi)別數(shù)量設(shè)置為5 時(shí)，ICAFSC 的準(zhǔn)確率比ProtoNet 高出1.15%。5-way 1-shot 的實(shí)驗(yàn)結(jié)果也表現(xiàn)出類(lèi)似的結(jié)果，即類(lèi)內(nèi)-類(lèi)間通道注意力模塊可以提高少樣本分類(lèi)的準(zhǔn)確率。這說(shuō)明類(lèi)內(nèi)-類(lèi)間通道注意力模塊能夠改善特征提取器以獲得鑒別性特征，提升少樣本分類(lèi)模型的分類(lèi)準(zhǔn)確率。從不同參數(shù)配置的ICAFSC 的實(shí)驗(yàn)結(jié)果可以看出，隨著預(yù)訓(xùn)練類(lèi)別數(shù)量的增大，模型的分類(lèi)準(zhǔn)確率在逐漸下降。相比于way=5，way=20 的ICAFSC 的分類(lèi)準(zhǔn)確率在1-shot 和5-shot 條件下分別下降了1.58%和0.64%。這說(shuō)明預(yù)訓(xùn)練的類(lèi)別數(shù)量與元測(cè)試的類(lèi)別數(shù)量保持一致時(shí)，ICAFSC 的表現(xiàn)最優(yōu)，其原因在于全連接網(wǎng)絡(luò)的輸入神經(jīng)元不可更改，當(dāng)預(yù)訓(xùn)練的類(lèi)別數(shù)量與元測(cè)試的類(lèi)別數(shù)量不一致時(shí)，通道距離的拆分與復(fù)制會(huì)破壞通道距離的完整性。

3.3.3 對(duì)比實(shí)驗(yàn)

為了更加客觀地評(píng)價(jià)所提出方法的有效性，本文在MiniImagenet 數(shù)據(jù)集上開(kāi)展對(duì)比實(shí)驗(yàn)。表6 對(duì)比了不同方法在MiniImagenet 數(shù)據(jù)集上5-way 5-shot 和5-way 1-shot 的實(shí)驗(yàn)結(jié)果。文獻(xiàn)［8］為ICAFSC 的基線模型，是一種基于度量學(xué)習(xí)的元學(xué)習(xí)方法，并采用歐氏距離作為距離函數(shù)。文獻(xiàn)［16］是一種與模型無(wú)關(guān)的元學(xué)習(xí)方法，采用參數(shù)優(yōu)化的方式尋找泛化性最好的模型參數(shù)。文獻(xiàn)［17］在基于度量學(xué)習(xí)的元學(xué)習(xí)方法中引入注意力機(jī)制，來(lái)刻畫(huà)圖像之間的特征關(guān)系和位置關(guān)系。文獻(xiàn)［18］是文獻(xiàn)［16］的改進(jìn)方法，在外部循環(huán)更新元初始化參數(shù)時(shí)凍結(jié)分類(lèi)器，只在內(nèi)部循環(huán)時(shí)更新分類(lèi)器。文獻(xiàn)［19］使用變分自編碼器建立以跨類(lèi)樣本對(duì)為條件的多模態(tài)權(quán)重分布，并利用該權(quán)重為每個(gè)分類(lèi)任務(wù)生成一個(gè)判別性指標(biāo)。文獻(xiàn)［20］提出使用自監(jiān)督學(xué)習(xí)訓(xùn)練一個(gè)廣義的嵌入網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過(guò)從數(shù)據(jù)本身學(xué)習(xí)為新分類(lèi)任務(wù)來(lái)提供穩(wěn)定的原型表示。

表6 在MiniImagenet 數(shù)據(jù)集上不同方法的分類(lèi)得分（主干網(wǎng)絡(luò)為Conv4-64）Tab.6 Classification scores of different methods with Conv4-64 as backbone on MiniImagenet dataset

從表6 可以看出，ICAFSC 在1-shot 和5-shot條件下的分類(lèi)準(zhǔn)確率分別為51.55% 和69.11%。與文獻(xiàn)［8］的ProtoNet 基線模型相比，ICAFSC 在1-shot 條件下提高了1.93%，在5-shot 條件下提高了1.15%。這表明類(lèi)內(nèi)-類(lèi)間通道注意力模塊有助于提高模型的少樣本分類(lèi)能力。與文獻(xiàn)［16］相比，ICAFSC 在1-shot 條件下提高了3.48%，在5-shot 條件下提高了5.96%。與文獻(xiàn)［17］相比，ICAFSC 在1-shot 條件下提高了2.01%，在5-shot 條件下提高了0.77%。與文獻(xiàn)［21］相比，ICAFSC 在1-shot 條件下提高了0.35%，在5-shot 條件下提高了0.31%。文獻(xiàn)［22］在基線網(wǎng)絡(luò)上增加變分自編碼器、權(quán)重生成器和注意力度量網(wǎng)絡(luò)，利用高復(fù)雜度的網(wǎng)絡(luò)產(chǎn)生復(fù)雜數(shù)據(jù)分布來(lái)提高樣本多樣性。與文獻(xiàn)［19］相比，ICAFSC 在5-shot 條件下分類(lèi)準(zhǔn)確率僅低了0.20%，表明增加的ICAM 對(duì)特征鑒別性的提升與復(fù)雜網(wǎng)絡(luò)的作用相當(dāng)，并且ICAM 可以作為一個(gè)即插即用模塊，嵌入特征提取網(wǎng)絡(luò)和分類(lèi)器之間。ICAFSC 在1-shot 條件下低了2.35%，這種現(xiàn)象是因?yàn)楸疚奶岢龅腎CAM 在1-shot 條件下無(wú)法計(jì)算類(lèi)內(nèi)通道信息造成的。與文獻(xiàn)［20］相比，ICAFSC 在1-shot 條件下提高了0.70%，在5-shot 條件下提高了1.03%。與文獻(xiàn)［24］相比，ICAFSC 在1-shot 條件下的準(zhǔn)確率降低了0.87%，在5-shot 條件下提高了0.33%。以上實(shí)驗(yàn)結(jié)果表明，ICAM 通過(guò)類(lèi)內(nèi)-類(lèi)間距離度量計(jì)算通道權(quán)重實(shí)現(xiàn)特征加權(quán)，提高了特征對(duì)類(lèi)別的鑒別能力以及模型的少樣本分類(lèi)能力。在5-shot條件下，ICAFSC能夠取得最高的分類(lèi)準(zhǔn)確率，在1-shot條件下的分類(lèi)準(zhǔn)確率優(yōu)于當(dāng)前大多數(shù)的方法。

4 結(jié) 論

本文設(shè)計(jì)了類(lèi)內(nèi)-類(lèi)間通道注意力模塊，并將它嵌入原型網(wǎng)絡(luò)中構(gòu)建了類(lèi)內(nèi)-類(lèi)間通道注意力少樣本分類(lèi)方法。該方法利用類(lèi)內(nèi)-類(lèi)間通道注意力模塊改善了特征提取器以獲得鑒別性特征。其中，類(lèi)內(nèi)通道權(quán)重在強(qiáng)調(diào)類(lèi)內(nèi)相似信息的同時(shí)抑制了類(lèi)內(nèi)冗余信息；類(lèi)間通道權(quán)重強(qiáng)調(diào)類(lèi)間判別性信息，使嵌入空間的特征分布更好地表征類(lèi)別。ICAFSC 在元訓(xùn)練之前增加一個(gè)預(yù)訓(xùn)練階段，使類(lèi)內(nèi)-類(lèi)間通道注意力模型能夠充分學(xué)習(xí)類(lèi)內(nèi)通道權(quán)重和類(lèi)間通道權(quán)重，提高了樣本特征的鑒別能力。為了驗(yàn)證所提方法的有效性，在MiniImagenet 數(shù)據(jù)集上分別進(jìn)行了1-shot 和5-shot的少樣本分類(lèi)實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明：ICAFSC少樣本分類(lèi)方法在1-shot 和5-shot 條件下分別取得了51.55%和69.11%的分類(lèi)準(zhǔn)確率。與原型網(wǎng)絡(luò)相比，ICAFSC 的分類(lèi)準(zhǔn)確率在1-shot 條件下提高了1.93%，在5-shot條件下提高了1.15%。顯著提升了少樣本分類(lèi)模型的分類(lèi)性能。