基于信息對齊的半監(jiān)督少樣本學(xué)習(xí)方法

廖凌湘，馮 林，劉鑫磊，張華輝

(四川師范大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院，四川 成都 610101)

0 引 言

現(xiàn)有的少樣本學(xué)習(xí)方法大多存在以下兩個(gè)問題：①在目標(biāo)域和源域數(shù)據(jù)分布差異不大的情況下，實(shí)驗(yàn)效果都取得了較好的成績，但當(dāng)目標(biāo)域和源域分布差異較大，會(huì)導(dǎo)致過擬合，分類準(zhǔn)確率不高，泛化能力差等問題。②當(dāng)輸入樣本經(jīng)由特征提取網(wǎng)絡(luò)得到特征向量，可能會(huì)導(dǎo)致嚴(yán)重的模糊，因?yàn)榭勺R(shí)別類的顯著特征可能在圖像上的任意一個(gè)位置，因此圖像上的顯著特征可能會(huì)與另一個(gè)圖像上的其它位置的不顯著特征進(jìn)行對比。如圖1所示，兩張圖片屬于同一個(gè)類，但關(guān)鍵物體(動(dòng)物)，在圖像上不同位置，如直接采用距離度量，就會(huì)導(dǎo)致分類錯(cuò)誤。

圖1 特征提取模糊示例

針對以上問題，提出一種基于信息對齊的半監(jiān)督少樣本學(xué)習(xí)方法(FSL-SIA)。本文主要貢獻(xiàn)如下：

(1)采用自訓(xùn)練半監(jiān)督的方法，通過引入未標(biāo)注的數(shù)據(jù)樣本輔助模型訓(xùn)練，即通過分類模型對未標(biāo)注的數(shù)據(jù)集進(jìn)行預(yù)測，將預(yù)測概率最大的類別對未標(biāo)注的數(shù)據(jù)樣本進(jìn)行標(biāo)注，將這種偽標(biāo)簽的數(shù)據(jù)集和源域數(shù)據(jù)集對模型進(jìn)行協(xié)同訓(xùn)練，以此提升少樣本學(xué)習(xí)模型的泛化能力。

(2)利用類原型空間的思想和注意力機(jī)制，使查詢圖片和支持圖片上具有相同信息的局部區(qū)域信息對齊，以此解決少樣本學(xué)習(xí)中特征提取網(wǎng)絡(luò)得到的特征向量的模糊性問題。

(3)根據(jù)FSL-SIA模型在少樣本領(lǐng)域的經(jīng)典數(shù)據(jù)集上的實(shí)驗(yàn)，分析模型的跨域適應(yīng)性、分類準(zhǔn)確率和分類穩(wěn)定性，研究表明，相比關(guān)系型網(wǎng)絡(luò)[1]等主要方法的準(zhǔn)確率均有提升。

1 理論基礎(chǔ)

現(xiàn)有的少樣本學(xué)習(xí)方法，可分為4類：

第一類是基于數(shù)據(jù)增強(qiáng)的方法，常用的方式有使用生成對抗網(wǎng)絡(luò)來擴(kuò)充訓(xùn)練數(shù)據(jù)；第二類是基于微調(diào)(fine-tu-ning)的方法，事先在大規(guī)模的數(shù)據(jù)集上做預(yù)訓(xùn)練模型，然后對目標(biāo)數(shù)據(jù)集上對網(wǎng)絡(luò)模型的全連接層進(jìn)行參數(shù)微調(diào)，得到微調(diào)后的模型，在真實(shí)場景和實(shí)驗(yàn)中，目標(biāo)數(shù)據(jù)集和預(yù)訓(xùn)練的數(shù)據(jù)集往往分布并不相近，采用微調(diào)的方式容易導(dǎo)致過擬合；第三類是基于元學(xué)習(xí)(meta-learning)的方法，它的主要思想是讓機(jī)器學(xué)會(huì)學(xué)習(xí)，讓模型學(xué)習(xí)到模型訓(xùn)練之外的元知識(shí)[2,3]；第四類是基于度量學(xué)習(xí)的方法。在數(shù)學(xué)定義上，度量指的是元素之間的距離函數(shù)，通過確定的距離函數(shù)計(jì)算兩個(gè)樣本的距離，從而度量樣本間的相似度[4]。

1.1 少樣本學(xué)習(xí)

目前主要針對少樣本學(xué)習(xí)問題，以任務(wù)task為基本單元，由多個(gè)meta-training任務(wù)訓(xùn)練一個(gè)模型F， 使F可以快速適應(yīng)到少樣本的新任務(wù)上。下面，以元學(xué)習(xí)中的監(jiān)督學(xué)習(xí)為例，采用數(shù)學(xué)定義形式化的方式來闡述與本文相關(guān)的元學(xué)習(xí)定義。

設(shè)X為輸入實(shí)例的特征空間。

定義1 meta-learning數(shù)據(jù)集：

一個(gè)meta-learning任務(wù)集Υ由多個(gè)meta-training任務(wù)Γtr與多個(gè)meta-test任務(wù)Γte組成，滿足：

(1) Γtr, Γte～p(Γ)；

(2) Γtr∪Γte=Υ, Γtr∩Γte=?；

(3) ?Γi,Γk∈Γtr, Γi≠Γk。

定義2 meta-training支持集與查詢集：

定義3 meta-test支持集與查詢集：

(4)Ste∩u=?。

定義4 C-way K-shot數(shù)據(jù)集：

(1) |S|=C；

(2) |Z(y)|=K。

其中， |·| 為集合的勢。

定義5 C-way K-shot元學(xué)習(xí)：

給定任務(wù)集合Γ={Γtr,Γte}， 元學(xué)習(xí)通過兩個(gè)階段的訓(xùn)練完成使模型適應(yīng)任務(wù)分布p(Γ) 的目的。

特別地，在訓(xùn)練F*的過程中，如果涉及模型超參數(shù)的調(diào)整，可以把訓(xùn)練任務(wù)集再劃分為訓(xùn)練任務(wù)集與驗(yàn)證任務(wù)集。驗(yàn)證任務(wù)集可用于模型超參數(shù)的調(diào)整，也可用于對模型的初步評估，并監(jiān)控模型是否過擬合。

1.2 注意力機(jī)制

計(jì)算機(jī)視覺中的注意力機(jī)制的基本思想是要模型學(xué)會(huì)注意力，能夠忽略無關(guān)信息而關(guān)注重點(diǎn)信息，為信息處理提供了便利[5]，可以幫助模型對輸入的每個(gè)部分給予不同的權(quán)重，增強(qiáng)更加關(guān)鍵和重要的信息，對模型做出更加準(zhǔn)確的判斷[6]。

Fusheng Hao等[7]提出一種收集與選擇的策略，利用卷積神經(jīng)網(wǎng)絡(luò)對圖像特征進(jìn)行收集，通過可變注意力對收集到的特征進(jìn)行選擇，以提高分類模型的準(zhǔn)確率。Ilse等[8]使用嵌入級別的注意力方法，將兩層全連接的神經(jīng)網(wǎng)絡(luò)嵌入到模型的輸出，用神經(jīng)網(wǎng)絡(luò)確定注意力權(quán)重的加權(quán)方式，令H={h1,h2,…,hi} 表示輸入到神經(jīng)網(wǎng)絡(luò)的向量，ai表示神經(jīng)網(wǎng)絡(luò)的參數(shù)，則可以表示為

(1)

(2)

其中，ω∈L×1,V∈L×M。

如圖2所示本文使用基于激活的嵌入級注意力機(jī)制提取支持集和查詢集信息相關(guān)區(qū)域的特征，以實(shí)現(xiàn)信息對齊。

圖2 自適應(yīng)權(quán)重分配模塊

1.3 半監(jiān)督學(xué)習(xí)

區(qū)分有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)，是通過輸入樣本是否有監(jiān)督信息，即輸入樣本是否有類的標(biāo)簽。半監(jiān)督學(xué)習(xí)是有監(jiān)督和無監(jiān)督學(xué)習(xí)的結(jié)合[9]，輸入數(shù)據(jù)里中包含有標(biāo)記數(shù)據(jù)集和未標(biāo)注數(shù)據(jù)集。

Li等[10]提出一種半監(jiān)督元學(xué)習(xí)方法，采用自訓(xùn)練模式標(biāo)記無標(biāo)簽數(shù)據(jù)，通過軟權(quán)重網(wǎng)絡(luò)(SWN)為偽標(biāo)簽添加權(quán)重。David等[11]提出混淆匹配半監(jiān)督學(xué)習(xí)模式，用熵正則化和偽標(biāo)簽思想對模型進(jìn)行一致性調(diào)整。

以半監(jiān)督學(xué)習(xí)過程為例，先使用有監(jiān)督的數(shù)據(jù)估計(jì)出先驗(yàn)概率P(Ci)， 再估計(jì)出每一個(gè)類有標(biāo)記數(shù)據(jù)的分布P(x|Ci)， 確定數(shù)據(jù)的分布是協(xié)方差矩陣的高斯分布，那么需要估計(jì)出μi之后就可以估計(jì)某個(gè)數(shù)據(jù)屬于某一個(gè)類的概率，以二分類問題為例，有監(jiān)督學(xué)習(xí)的計(jì)算公式如下

(3)

半監(jiān)督學(xué)習(xí)[12]的前面部分操作與有監(jiān)督學(xué)習(xí)的操作相同，以二分類問題為例使用有監(jiān)督的數(shù)據(jù)xr估計(jì)出P(Ci) 和μi， 使用未標(biāo)記數(shù)據(jù)集xu對得到的模型參數(shù)θ重新估計(jì)，估計(jì)過程按照EM思想分為兩步：①根據(jù)參數(shù)θ計(jì)算出無標(biāo)記數(shù)據(jù)的后驗(yàn)概率Pθ(C1|xu)， ②更新模型參數(shù)θ

(4)

(5)

其中，N為全部的樣本數(shù)量，N1為屬于C1的樣本數(shù)量。

本文采用一種偽標(biāo)簽的半監(jiān)督學(xué)習(xí)方法，對未標(biāo)注的數(shù)據(jù)通過預(yù)測值為其標(biāo)注偽標(biāo)簽，設(shè)置超參數(shù)減弱偽標(biāo)簽所帶來噪聲的影響，在偽標(biāo)簽數(shù)據(jù)集的幫助下和有標(biāo)注數(shù)據(jù)的協(xié)同訓(xùn)練分類模型和提高模型的魯棒性。

2 FSL-SIA模型

FSL-SIA模型的流程如圖3所示，分為特征提取模塊、信息對齊模塊、關(guān)系模塊和半監(jiān)督輔助4個(gè)部分。本章首先對特征提取模塊、信息對齊模塊、關(guān)系模塊3個(gè)部分內(nèi)容進(jìn)行介紹，再對FSL-SIA模型算法進(jìn)行詳細(xì)描述，F(xiàn)SL-SIA算法策略如算法4所示。

圖3 自適應(yīng)權(quán)重分配模塊FSL-SIA流程

2.1 特征提取模塊

將經(jīng)過預(yù)處理的數(shù)據(jù)集按照定義2對其進(jìn)行劃分，輸入到四層卷積神經(jīng)網(wǎng)絡(luò)提取特征向量，特征提取過程如算法1所示。

算法1：特征提取

輸入：meta-training任務(wù)集Γtr

輸出：特征向量Vx={Vxs,Vxq}

(2)隨機(jī)初始化特征提取網(wǎng)絡(luò)參數(shù)

(3)fori=0in|X×Str|do:

(4)根據(jù)式(6)得到通過特征提取網(wǎng)絡(luò)后的特征向量Vx

(5)Endfor

(6)輸出特征向量Vx

表1 特征提取網(wǎng)絡(luò)結(jié)構(gòu)

Vx=AP1(cv4(cv3(MP2(cv2(MP1(cv1(x,ω1)),ω2)),ω3),ω4))

(6)

其中，Vx表示圖像的特征向量，cv1,cv2,cv3,cv4表示卷積層，ω1,ω2,ω3,ω4表示卷積核，MP1，MP2表示最大池化層，AP1表示平均池化層。

2.2 信息對齊模塊

為了將不同區(qū)域內(nèi)的顯著信息進(jìn)行對齊，提出一種信息對齊模塊，該模塊包含兩個(gè)小部分特征對齊，聯(lián)合關(guān)系矩陣，其過程如算法2所示。

算法2：信息對齊模塊

輸入：特征向量Vx={Vxs,Vxq}

輸出：聯(lián)合關(guān)系矩陣Vjoint

(1)fori=0in|Vxq|do:

(2)forj=0in|Vxs|do:

(3)根據(jù)式(7)、式(8)對Vxs和Vxq求原型表達(dá)

(4)根據(jù)式(9)、式(10)，得到信息向量Vixs,Vixq

(5)將Vixs,Vixq根據(jù)式(11)、式(12)進(jìn)行平鋪

(6)平鋪后的向量VIxs,VIxq根據(jù)式(13)、式(14)、式(15)計(jì)算重新加權(quán)后的聯(lián)合關(guān)系矩陣Vjoint

(7)Endfor

(8)Endfor

(9)輸出Vjoint

(7)

(8)

其中，Tq=|Str|。 得到基準(zhǔn)向量后，采用特征向量和基準(zhǔn)向量相減的方式進(jìn)行對齊，得到支持集信息向量Vixs和查詢集信息向量Vixq。 根據(jù)式(6)、式(7)和式(8)，有

Vixs=Vxs-Vmeanxs

(9)

Vixq=Vxq-Vmeanxq

(10)

聯(lián)合關(guān)系矩陣：聯(lián)合關(guān)系矩陣目的是將不同信息向量整合在一起，以便于關(guān)系網(wǎng)絡(luò)對查詢集數(shù)據(jù)進(jìn)行分類，如何構(gòu)建高效的聯(lián)合關(guān)系矩陣是本文的重點(diǎn)和難點(diǎn)。首先，為了提高信息向量對圖像實(shí)例的表達(dá)效果，提升模型效能，根據(jù)Zagoruyko等[13]提出的辦法，將Vixs,Vixq信息向量通過向量內(nèi)叉乘的方式得到其平鋪表達(dá)。根據(jù)式(9)和式(10)，有

VIxs={C,H*W}

(11)

VIxq={C,H*W}

(12)

其中，VIxs轉(zhuǎn)化為平鋪表達(dá)后的支持集信息向量，VIxq轉(zhuǎn)化為平鋪表達(dá)后的查詢集信息向量。然后，針對平鋪表達(dá)后的信息向量，利用矩陣相乘的方式得到聯(lián)合矩陣。根據(jù)式(11)和式(12)，有

Vjoint=Matmul(VIxs,VIxq)

(13)

其中，Vjoint表示聯(lián)合矩陣。為了得到在傳遞關(guān)系過程中更加高效的聯(lián)合關(guān)系矩陣，本文利用注意力機(jī)制，計(jì)算多個(gè)感受野下的聯(lián)合關(guān)系矩陣。針對支持集中不同的信息向量，通過感知機(jī)網(wǎng)絡(luò)為信息向量設(shè)定不同的權(quán)重，增強(qiáng)關(guān)鍵信息區(qū)域的權(quán)重，減弱無關(guān)信息的權(quán)重，得到不同的注意力值。根據(jù)式(9)和式(10)，有

Attention=MLP(Vixs,Vixq)

(14)

其中，Attention為注意力值。利用注意力值對聯(lián)合矩陣進(jìn)行仿射變換得到不同感受野(不同注意力值)下的聯(lián)合關(guān)系矩陣，根據(jù)式(10)和式(14)，有

Vjoint=Attention*Matmul(VIxs,VIxq)

(15)

其中，Vjoint表示不同感受野下的聯(lián)合關(guān)系矩陣。對不同感受野下的聯(lián)合關(guān)系矩陣求和取均值得到最后的聯(lián)合關(guān)系矩陣。根據(jù)式(15)，有

(16)

其中，Vjoint表示不同感受野下的聯(lián)合關(guān)系矩陣，m表示感受野個(gè)數(shù)(支持集類別數(shù)量)。

2.3 關(guān)系模塊

關(guān)系模塊是由輸入層、輸出層和兩層隱含層的四層感知機(jī)，通過感知機(jī)計(jì)算支持集樣本和查詢集樣本的相似程度。取出與查詢集樣本相似程度最高的類別標(biāo)簽作為當(dāng)前樣本的預(yù)測標(biāo)簽。關(guān)系模塊如算法3所示。

算法3：關(guān)系模塊

輸入：聯(lián)合關(guān)系矩陣Vjoint

輸出：預(yù)測標(biāo)簽Y1

(1)將Vjoint輸入到四層感知機(jī)根據(jù)式(17)得到相似度分?jǐn)?shù)Score

(2)根據(jù)式(18)選取相似度分?jǐn)?shù)Score最高的作為Vxq的預(yù)測標(biāo)簽

(3)輸出預(yù)測標(biāo)簽Y1

FC1、FC2、FC3、FC4表示為4個(gè)全連接層，連接權(quán)重為W1、W2、W3、W4。偏置為b1、b2、b3。其表示為

Score=FC4(W3FC3(W2FC2(W1FC1(Vjoint)+b1)+b2)+b3)

(17)

其中，Score是經(jīng)過關(guān)系模塊后，查詢集樣本Vxq與支持集樣本Vxs的相似度分?jǐn)?shù)

Y1=Argmax(Score)

(18)

如式(15)所示選擇與查詢集樣本Vxq相似度得分最高的支持集樣本Vxs的標(biāo)簽作為Vxq的預(yù)測標(biāo)簽

(19)

通過式(19)將預(yù)測的標(biāo)簽與查詢集樣本Vxq的真實(shí)標(biāo)簽進(jìn)行交叉熵，使用交叉熵?fù)p失函數(shù)計(jì)算出Loss1。

2.4 半監(jiān)督訓(xùn)練

設(shè)信息對齊模塊為I()， 關(guān)系模塊為R()， 半監(jiān)督任務(wù)集為Task，半監(jiān)督任務(wù)是指通過無標(biāo)注的數(shù)據(jù)集協(xié)助訓(xùn)練模型。半監(jiān)督訓(xùn)練過程與有監(jiān)督訓(xùn)練相似。其表示為

Score′=R(I(Task))

(20)

將驗(yàn)證集數(shù)據(jù)無標(biāo)注數(shù)據(jù)集輸入到預(yù)訓(xùn)練后的信息對齊模塊和關(guān)系模塊，得到一組相似度分?jǐn)?shù)。根據(jù)相似度得分最高的位置對數(shù)據(jù)進(jìn)行預(yù)測，為數(shù)據(jù)標(biāo)記偽標(biāo)簽。表示為

Y′=Argmax(Score′)

(21)

再將已經(jīng)標(biāo)記偽標(biāo)簽的數(shù)據(jù)輸入到信息對齊模塊和關(guān)系模塊中，得到Y(jié)2， 將其與Y′如式(21)所示，計(jì)算出偽標(biāo)簽數(shù)據(jù)的半監(jiān)督損失，并通過梯度下降法繼續(xù)訓(xùn)練網(wǎng)絡(luò)參數(shù)

(22)

Losstotal=Loss1+λLoss2

(23)

其中，λ為協(xié)同訓(xùn)練系數(shù)，后續(xù)將在實(shí)驗(yàn)部分對協(xié)同訓(xùn)練系數(shù)λ進(jìn)行討論。

2.5 FSL-SIA模型算法描述

算法4：FSL-SIA模型策略。

輸入：meta-learning任務(wù)集Υ，以及參數(shù)C、K、λ、epsiodes；/*根據(jù)定義4，C表示分類種類，K表示類別中的樣本數(shù)，epsiodes模型訓(xùn)練次數(shù)，λ表示協(xié)同訓(xùn)練次數(shù)。

輸出：FSL-SIA分類模型Ω與分類精度。

步驟2 隨機(jī)初始化模型Ω中各網(wǎng)絡(luò)層參數(shù)；

步驟3

forkinepsiodesdo:

(4)根據(jù)式(7)、式(8)、式(9)、式(10)的方法，對Vxs和Vxq進(jìn)行信息對齊得到對齊后的向量，記為VIxs，VIxq。

(5)將VIxs，VIxq根據(jù)式(14)和式(15)，計(jì)算重新加權(quán)的聯(lián)合矩陣Vjoint。

(6)將Vjoint送入到關(guān)系模塊，根據(jù)式(17)計(jì)算每一個(gè)Xs和Xq的相似程度，即Score

(8)取Score′中每行最大的相似度得分作為對應(yīng)半監(jiān)督樣本圖片的預(yù)測標(biāo)簽。

(9)利用式(19)和式(22)計(jì)算損失L1和L2

(10)根據(jù)梯度下降算法反向傳播L1+λL2， 調(diào)整模型的參數(shù)

Endfor

步驟4 選取meta-test數(shù)據(jù)集，進(jìn)行(2)到(6)，根據(jù)Score進(jìn)行預(yù)測，得到分類精度。

步驟5 輸出分類模型Ω與分類精度。

3 實(shí) 驗(yàn)

為了驗(yàn)證FSL-SIA的效果，設(shè)計(jì)了如下4個(gè)部分實(shí)驗(yàn)：①與現(xiàn)有主流的少樣本學(xué)習(xí)算法的對比實(shí)驗(yàn)；②不同尺寸圖片的對比實(shí)驗(yàn)；③分析協(xié)同訓(xùn)練系數(shù)λ對FSL-SIA分類能力的影響；④消融實(shí)驗(yàn)。

3.1 模型對比

實(shí)驗(yàn)1的目的通過與現(xiàn)有主流的少樣本學(xué)習(xí)算法的實(shí)驗(yàn)對比來測試FSL-SIA模型的分類性能。

對于Omniglot數(shù)據(jù)集，設(shè)定5way-1shot、5way-5shot、20way-1shot、20way-5shot問題定義。實(shí)驗(yàn)參數(shù)與結(jié)果見表2，從表中可以看出FSL-SIA的準(zhǔn)確率在Omniglot數(shù)據(jù)集下上升空間有限，在20way-1shot提升1.6%，驗(yàn)證FSL-SIA在面對灰度圖目標(biāo)域時(shí)，具備良好的泛化能力，對于目標(biāo)域也表現(xiàn)出較好的準(zhǔn)確率。

表2 Omniglot數(shù)據(jù)集下與主流少樣本學(xué)習(xí)方法對比/%

對于miniImageNet數(shù)據(jù)集，F(xiàn)SL-SIA模型的準(zhǔn)確率在5way-1shot問題下達(dá)到了62.11±0.69%，且在5way-5shot問題下達(dá)到80.19±0.41%，比Relation Networks的準(zhǔn)確率分別高出了11.67%和14.77%，也均超過了其它主流的少樣本學(xué)習(xí)方法，且實(shí)驗(yàn)驗(yàn)證FSL-SIA模型通過信息對齊模塊可以更有效拉近源域與目標(biāo)域之間特征分布的距離，使得模型具有較強(qiáng)的魯棒性與泛化性。相比于Relation Networks和Pro-networks直接比較兩者關(guān)系或者計(jì)算出在原型空間上的歐氏距離，F(xiàn)SL-SIA模型通過關(guān)系模塊和信息對齊的方式可更精確區(qū)別不同類別間的差異性。實(shí)驗(yàn)參數(shù)設(shè)置見表3，訓(xùn)練次數(shù)epsiodes=60 000，學(xué)習(xí)率=0.001，根據(jù)定義4分別設(shè)置5way-1shot和5way-5shot兩組實(shí)驗(yàn)。

表3 miniImageNet數(shù)據(jù)集下與主流少樣本學(xué)習(xí)方法對比/%

其中：所有方法均采取4層卷積結(jié)構(gòu)作為特征提取網(wǎng)絡(luò)，準(zhǔn)確率A±B%，A代表多次測試過后的均值，B為標(biāo)準(zhǔn)差。

3.2 image

實(shí)驗(yàn)2的主要目的研究不同尺寸的大小對FSL-SIA模型分類效果的影響。為了更充分利用本文中的信息對齊模塊，將miniImageNet數(shù)據(jù)集裁剪為尺寸大小224×224的圖片，并沒有對數(shù)據(jù)集進(jìn)行擴(kuò)充。為了作公平的比較，也將數(shù)據(jù)集裁剪為尺寸大小84×84的圖片。將尺寸大小84×84的圖片輸入到FSL-SIA模型中與Relation Networks和SAML進(jìn)行了比較，見表4，實(shí)驗(yàn)驗(yàn)證我們從圖像尺寸的增加中，使得FSL-SIA模型在信息對齊模塊和半監(jiān)督訓(xùn)練獲得收益更多，圖像尺寸越大，在信息對齊模塊中使查詢集和支持集的圖片在不同感受野下重疊區(qū)域越小，使兩者個(gè)體獨(dú)立性更強(qiáng)。

表4 不同尺寸圖片對比/%

3.3 半監(jiān)督參數(shù)

實(shí)驗(yàn)3的目的是研究協(xié)同訓(xùn)練系數(shù)λ對FSL-SIA模型分類能力的影響，我們采用miniImageNet數(shù)據(jù)集研究訓(xùn)練系數(shù)λ對模型的分類的作用。對于少樣本5way-1shot的問題λ的取值為0.0、0.1、0.2、0.3、0.4、0.5。實(shí)驗(yàn)步驟如下：

步驟1foriin[0.0,0.1,0.2,0.3,0.4,0.5]:

令λ=i， 按照2.5節(jié)算法4步驟，輸出FSL-SIA分類模型Ω的準(zhǔn)確率；

步驟2 記錄不同λ下的分類準(zhǔn)確率，選擇出最優(yōu)λ。

實(shí)驗(yàn)結(jié)果如圖4所示，λ的取值從λ=0.0開始，分類的準(zhǔn)確率緩緩上升，在λ=0.3時(shí)達(dá)到峰值，分類能力達(dá)到最優(yōu)，當(dāng)λ=0.4到λ=0.5時(shí)，模型分類精度迅速下降。

圖4 系數(shù)λ對1-shot模型的影響

對于少樣本5way-5shot的分類問題，協(xié)同訓(xùn)練系數(shù)λ的取值為0.0、0.1、0.2、0.3、0.4、0.5、0.6。實(shí)驗(yàn)步驟如5way-1shot的問題相同，實(shí)驗(yàn)結(jié)果如圖5所示，當(dāng)λ=0.0開始模型精度緩緩上升，當(dāng)λ=0.5時(shí)模型分類達(dá)到最優(yōu)，當(dāng)λ>0.5時(shí)，模型分類精度迅速降低。

圖5 系數(shù)λ對5-shot模型的影響

通過兩組實(shí)驗(yàn)結(jié)果，協(xié)同訓(xùn)練系數(shù)λ對FSL-SIA模型分類能力具有一定的影響，λ的值過小可能對模型的分類效果提升不大，而過大的λ會(huì)對模型產(chǎn)生消極的影響，故λ是一個(gè)經(jīng)驗(yàn)值，選擇合適的λ值對模型的分類能力有著舉足輕重的作用。實(shí)驗(yàn)結(jié)果表明， ?λ∈(0.3,0.5) 能使FSL-SIA模型的分類能力取得不錯(cuò)效果。

3.4 消融實(shí)驗(yàn)

實(shí)驗(yàn)4的目的是為了驗(yàn)證信息對齊模塊和半監(jiān)督輔助訓(xùn)練對于模型的作用，在miniImageNet數(shù)據(jù)集下采用控制變量法進(jìn)行消融實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果見表5，①在只有半監(jiān)督輔助訓(xùn)練的情況下，模型分類精度在5way-1shot的問題下相比于Relation Networks提升了5.11%，在5way-5shot的問題下分類精準(zhǔn)提升了6.87%。②僅在信息對齊模塊的作用下，在5way-1shot的問題下的模型分類精度相比于Relation Networks提升了7.88%，在5way-5shot的問題下分類精準(zhǔn)提升了8.89%。

表5 消融實(shí)驗(yàn)對比/%

實(shí)驗(yàn)驗(yàn)證，信息對齊模塊和半監(jiān)督輔助訓(xùn)練分別單獨(dú)作用于模型對分類精度的提升是顯著的，當(dāng)兩者結(jié)合在一起，在5way-1shot的問題下分類精度可達(dá)62.11%，在5way-5shot的問題下分類精度可達(dá)80.19%，由此可見，兩者共同作用FSL-SIA模型，可有效的幫助少樣本分類任務(wù)。

其中#代表只有半監(jiān)督輔助訓(xùn)練時(shí)的分類準(zhǔn)確率。*代表只包含信息對齊模塊的分類準(zhǔn)確率。

4 結(jié)束語

從數(shù)據(jù)集上可知，能區(qū)分類別的主體部分可能在圖片上的任一位置，因此直接計(jì)算圖片的特征向量之間的距離可能會(huì)導(dǎo)致嚴(yán)重的歧義，原因是錯(cuò)誤地比較圖片見的信息不相關(guān)的局部區(qū)域。

本文針對遇到的問題，提出一種信息對齊的方式，將局部區(qū)域的顯著信息對齊，然后利用注意力技術(shù)來選擇和放縮信息相關(guān)的局部區(qū)域?qū)Α?/p>

另外采用偽標(biāo)簽的半監(jiān)督訓(xùn)練方式協(xié)同整個(gè)模型的訓(xùn)練。實(shí)驗(yàn)結(jié)果表明FSL-SIA模型可行性，對于少樣本學(xué)習(xí)分類任務(wù)具有更高的分類精度和泛化能力，在基準(zhǔn)數(shù)據(jù)集上的大量實(shí)驗(yàn)驗(yàn)證了FSL-SIA模型與目前主流的少樣本學(xué)習(xí)算法的優(yōu)勢。