流形嵌入的選擇性偽標(biāo)記與小樣本數(shù)據(jù)遷移

王耀力, 劉曉慧, 李斌, 常青

(1.太原理工大學(xué) 信息與計(jì)算機(jī)學(xué)院, 山西 太原 030024; 2.西北工業(yè)大學(xué) 航海學(xué)院, 陜西 西安 710071)

特殊場(chǎng)景分類和識(shí)別任務(wù)常常因樣本不易獲得而造成樣本缺乏，即產(chǎn)生所謂小樣本問(wèn)題。如何提高小樣本機(jī)器學(xué)習(xí)在這些困難場(chǎng)景中的分類準(zhǔn)確度與性能是當(dāng)前研究的熱點(diǎn)與難點(diǎn)[1-3]。其中領(lǐng)域自適應(yīng)遷移學(xué)習(xí)方法，利用源域信息對(duì)目標(biāo)域數(shù)據(jù)進(jìn)行標(biāo)注分類具有較好效果。通常領(lǐng)域自適應(yīng)遷移學(xué)習(xí)方法有子空間學(xué)習(xí)法和概率分布適配法等。

子空間學(xué)習(xí)方法主要由統(tǒng)計(jì)特性變換與流形學(xué)習(xí)兩方面組成。在統(tǒng)計(jì)特性變換方面，子空間對(duì)齊法(SA)[4]通過(guò)優(yōu)化將輔助域子空間轉(zhuǎn)換為目標(biāo)子空間的映射函數(shù)來(lái)使輔助域子空間和目標(biāo)域子空間靠近，直接減小2個(gè)域之間差異；子空間分布對(duì)齊(SDA)[5]則是通過(guò)增加子空間方差自適應(yīng)擴(kuò)展了子空間對(duì)齊法，但未考慮子空間局部屬性，忽略了條件分布對(duì)齊；關(guān)聯(lián)對(duì)齊法(CORAL)[6]用二階統(tǒng)計(jì)量對(duì)子空間對(duì)齊，但未考慮分布對(duì)齊；散點(diǎn)成分分析(SCA)[7]是通過(guò)將樣本轉(zhuǎn)化為一組子空間，再最小化子空間之間的散度。在流形學(xué)習(xí)方面，采樣測(cè)地線流方法(SGF)[8]把領(lǐng)域自適應(yīng)看成是一個(gè)增量式"行走"問(wèn)題，在流形空間中采樣有限點(diǎn)，構(gòu)建測(cè)地線流；測(cè)地線流式核方法(GFK)[9]則擴(kuò)展了流形中采樣點(diǎn)方法，提出了域間測(cè)地線流核學(xué)習(xí)方法；域不變映射(DIP)[10]是通過(guò)使用格拉斯曼流形進(jìn)行域自適應(yīng)，但其忽略了條件分布對(duì)齊；統(tǒng)計(jì)流形法(SM)[11]則是利用海林格距離近似黎曼空間中的測(cè)地線距離。

概率分布適配法主要由邊緣分布適配、條件分布適配以及聯(lián)合分布適配等3種方法構(gòu)成。最早將條件分布適配應(yīng)用到遷移學(xué)習(xí)，是通過(guò)特征子集對(duì)條件概率模型的域自適應(yīng)實(shí)現(xiàn)的，后期通過(guò)對(duì)條件轉(zhuǎn)移成分(CTC)[12]進(jìn)行建模，使條件分布適配方法得到發(fā)展。遷移成分分析(TCA)[13]法是將邊緣分布適配應(yīng)用到遷移學(xué)習(xí)中，后經(jīng)多位學(xué)者對(duì)遷移成分分析進(jìn)行了擴(kuò)展，如ACA[14]、DTMKL[15]、DME[16]、CMD[17]方法等。聯(lián)合分布對(duì)齊(JDA)取邊緣分布與條件分布的等量權(quán)值，但未考慮邊緣分布與條件分布的側(cè)重性。平衡分布適配(BDA)[18]改進(jìn)了聯(lián)合分布對(duì)齊，該方法考慮了域間分布適應(yīng)性，能夠自適應(yīng)地改變每個(gè)類的權(quán)重。流形嵌入分布對(duì)齊法(MEDA)[19]結(jié)合概率分布適配與子空間學(xué)習(xí)方法，為定量計(jì)算自適應(yīng)因子提供了一種可行方法。關(guān)聯(lián)式流形分布配準(zhǔn)算法(DC-CMEDA)[2]則針對(duì)上述問(wèn)題，利用深度學(xué)習(xí)方法對(duì)源域與目標(biāo)域圖像數(shù)據(jù)提取高層語(yǔ)義特征，然后用子空間學(xué)習(xí)方法學(xué)習(xí)源域輔助信息，對(duì)目標(biāo)域數(shù)據(jù)標(biāo)注分類，提高了從衛(wèi)星遙感圖像到視頻圖像遷移準(zhǔn)確率，且解決了目標(biāo)域數(shù)據(jù)不足問(wèn)題。但該算法在視頻圖像遷移至衛(wèi)星遙感圖像時(shí)，準(zhǔn)確率仍較低。

現(xiàn)有煙霧圖像檢測(cè)技術(shù)主要為基于深度學(xué)習(xí)類的煙霧識(shí)別方法[20]。該類方法對(duì)具體樣本數(shù)據(jù)依賴性較強(qiáng)，要求樣本滿足獨(dú)立同分布，且需要足夠多的訓(xùn)練樣本。

針對(duì)森林火災(zāi)煙霧本地樣本數(shù)據(jù)缺乏的目標(biāo)域特殊場(chǎng)景，本文提出一種結(jié)合深度遷移網(wǎng)絡(luò)和改進(jìn)的格拉斯曼流形空間中選擇性結(jié)構(gòu)偽標(biāo)記算法(deep convolution and Grassmann manifold embedded selective pseudo-labeling, DC-GMESPL)，試圖建立一種精度高、耗時(shí)少的基于小樣本數(shù)據(jù)的遷移模型。

1 算法描述

以下詳細(xì)描述DC-GMESPL算法中特征提取模型及格拉斯曼流形選擇性偽標(biāo)記算法。算法基本流程如圖1所示。

圖1 DC-GMESPL流程圖

1.1 基于Resnet50特征提取模型

本文基于Resnet50網(wǎng)絡(luò)搭建深度遷移特征提取模型。該模型由卷積層和下采樣層交替構(gòu)成，包含49個(gè)卷積層、4個(gè)下采樣層。其中，第一段由7×7×64卷積核構(gòu)成一層卷積層；第二段由3個(gè)瓶頸結(jié)構(gòu)構(gòu)成，每個(gè)瓶頸結(jié)構(gòu)分別包含1×1×64，3×3×64，1×1×256卷積核構(gòu)成的3層卷積層；第三段由4個(gè)瓶頸結(jié)構(gòu)構(gòu)成，每個(gè)瓶頸結(jié)構(gòu)分別包含1×1×128，3×3×128，1×1×512卷積核構(gòu)成的3層卷積層；第四段由6個(gè)瓶頸結(jié)構(gòu)構(gòu)成，每個(gè)瓶頸結(jié)構(gòu)分別包含1×1×256，3×3×256，1×1×1 024卷積核構(gòu)成的3層卷積層；第五段由3個(gè)瓶頸結(jié)構(gòu)構(gòu)成，每個(gè)瓶頸結(jié)構(gòu)分別包含1×1×512，3×3×512，1×1×2 048卷積核構(gòu)成的3層卷積層。圖2為基于Resnet50網(wǎng)絡(luò)的遷移學(xué)習(xí)模型圖。

圖2 基于Resnet50網(wǎng)絡(luò)遷移學(xué)習(xí)模型

1.2 格拉斯曼流形選擇性偽標(biāo)記法

本文將特征分布關(guān)聯(lián)對(duì)齊法[6]、流形特征變換法[9]及選擇性偽標(biāo)記法[4]三者結(jié)合，提出格拉斯曼流形選擇性偽標(biāo)記方法。

1.2.1 特征分布關(guān)聯(lián)對(duì)齊

特征分布關(guān)聯(lián)對(duì)齊是在原始空間中進(jìn)行的。本文使用A對(duì)原始空間中源域特征作線性變換,其中,CovS表示源域特征變換后的協(xié)方差矩陣,CovT表目標(biāo)域協(xié)方差矩陣。使用Frobenius范數(shù)作為矩陣距離度量,表示如下:

(1)

通過(guò)求解線性變換矩陣A,令(1)式為0,得

CovS=CovT

(2)

分別對(duì)CovS與CovT進(jìn)行奇異值分解,得

(3)

(4)

(5)

式中,秩r取源域和目標(biāo)域協(xié)方差矩陣秩的最小值,即

r=min(rCovS,rCovT)

(6)

由(1)式、(4)式得

(7)

(8)

(9)

(10)

由(10)式,得

(11)

1.2.2 流形空間特征變換

經(jīng)原始空間的輸入特征分布對(duì)齊后,可通過(guò)流形空間的流形特征學(xué)習(xí)消除退化的特征變換。

在學(xué)習(xí)流形特征變換時(shí),先用d維子空間建模數(shù)據(jù)領(lǐng)域,然后將這些子空間嵌入到流形G中。用S和T分別表示源域和目標(biāo)域經(jīng)過(guò)主成分分析(PCA)之后的子空間。G可視為所有d維子空間集合,每個(gè)d維原始子空間都可看作G上的點(diǎn),因此原始空間中源域子空間S、目標(biāo)域子空間T在Grassmann流形空間中可視作2個(gè)點(diǎn),而兩點(diǎn)之間的測(cè)地線{Φ(t):0≤t≤1}可以在2個(gè)子空間之間構(gòu)成一條路徑。

如令S=Φ(0),T=Φ(1),則尋找一條從Φ(0)到Φ(1)測(cè)地線等同于將原始空間特征變換到一個(gè)無(wú)窮維度空間中,最終減小域之間漂移現(xiàn)象,如圖3所示。圖3中,左邊表示原始空間中分別用源域S和目標(biāo)域T表示經(jīng)主成分分析之后的子空間;右邊表示Grassmann流形空間中源域、目標(biāo)域及其間的測(cè)地線。

圖3 流形特征變換

將流形空間特征表示為

Z=Φ(t)TX

(12)

變換后特征zi和zj的內(nèi)積定義了一個(gè)半正定的測(cè)地線流式核。

(13)

1.2.3 選擇性偽標(biāo)記法

為提高域類對(duì)齊準(zhǔn)確率,可通過(guò)局部保持投影[21]算法將2個(gè)域樣本映射至相同子空間,然后利用結(jié)構(gòu)化預(yù)測(cè)法挖掘目標(biāo)域的結(jié)構(gòu)信息,提高源域、目標(biāo)域?qū)R效能以及偽標(biāo)記的準(zhǔn)確性。

1) 有監(jiān)督局部保持投影法

有監(jiān)督局部保持投影能夠?qū)W習(xí)定義域不變的判別子空間C。它通過(guò)學(xué)習(xí)投影矩陣P,將來(lái)自2個(gè)域樣本映射到相同子空間。學(xué)習(xí)該投影矩陣P的最小化代價(jià)函數(shù)形式化表達(dá)為

(14)

(15)

當(dāng)試圖提高域不變性,同時(shí)保留域差異性時(shí),相似度矩陣本質(zhì)上是對(duì)MMD[19]度量的簡(jiǎn)化。

(14)式損失函數(shù)可重寫(xiě)為

(16)

式中：L=D-M是拉普拉斯矩陣;D為對(duì)角矩陣;tr(PTP)是一個(gè)正則化項(xiàng),用于懲罰投影矩陣P中的極值。(17)式的廣義特征值求解式是(16)式的重定義等價(jià)式。

(17)

求解廣義特征值得到最優(yōu)解P=p1,p2,…,pd2,p1,p2,…,pd2是對(duì)應(yīng)于最大的d2個(gè)特征值的特征向量。

在學(xué)習(xí)并更新投影矩陣P過(guò)程中,首先利用帶有標(biāo)記的源域數(shù)據(jù)學(xué)習(xí)投影矩陣P0,得到P0后可將源域與目標(biāo)域樣本映射到相同子空間,并通過(guò)最近鄰類原型和結(jié)構(gòu)化預(yù)測(cè)為目標(biāo)域數(shù)據(jù)分配偽標(biāo)簽[22]。然后在該公共子空間中,結(jié)合偽標(biāo)記目標(biāo)樣本和標(biāo)記源樣本,使用迭代學(xué)習(xí)過(guò)程更新投影矩陣P,并改進(jìn)偽標(biāo)記。

2) 目標(biāo)域樣本偽標(biāo)記法

為了得到目標(biāo)域樣本的偽標(biāo)簽,可以分別通過(guò)最近鄰類原型和結(jié)構(gòu)化預(yù)測(cè)來(lái)對(duì)目標(biāo)域樣本進(jìn)行偽標(biāo)記。

最近鄰類原型偽標(biāo)記法

最近鄰類原型偽標(biāo)記將未標(biāo)記目標(biāo)樣本標(biāo)記在學(xué)習(xí)子空間G中,因此,源樣本和目標(biāo)樣本投影可表示為

(18)

(19)

使用平均聚類集中化方法以及L2正則化方法等,C空間中不同的類的可分性。

我們定義類y的類原型定義為標(biāo)簽為y的投影源樣本的均值向量,其計(jì)算公式為

(20)

式中,y=1,…,|y|,|y|表示類數(shù)量

(21)

(22)

結(jié)構(gòu)預(yù)測(cè)偽標(biāo)記法

我們使用K-means生成所有目標(biāo)樣本投影向量上的|y|簇。

令B∈{0,1}|y|×|y|為一對(duì)一匹配矩陣,當(dāng)Bij=1時(shí),表示第i個(gè)目標(biāo)簇與第j個(gè)源類匹配,因此,優(yōu)化表達(dá)式為

(23)

使用線性規(guī)劃可得出(23)式有效解。因此,可以計(jì)算給定目標(biāo)樣本zt屬于y類的條件概率為

(24)

改進(jìn)偽標(biāo)記法

使用迭代學(xué)習(xí)策略學(xué)習(xí)用于區(qū)域?qū)R的投影矩陣P,并對(duì)目標(biāo)樣本的偽標(biāo)記進(jìn)行改進(jìn)。

將最近鄰類原型的偽標(biāo)記與結(jié)構(gòu)化預(yù)測(cè)偽標(biāo)記二者結(jié)合,其條件概率表示為

p(y|zt)=max{p1(y|zt),p2(y|zt)}

(25)

給定目標(biāo)樣本zt的偽標(biāo)簽則可以通過(guò)以下方法預(yù)測(cè):

(26)

(27)

2 實(shí)驗(yàn)結(jié)果分析

本節(jié)展示了本文方法在不同分辨率煙霧圖像小數(shù)據(jù)集上的遷移學(xué)習(xí)分類效果。

2.1 數(shù)據(jù)集

本文選用200張異地衛(wèi)星遙感圖像與200張本地視頻影像作為實(shí)驗(yàn)數(shù)據(jù)。其中每個(gè)領(lǐng)域分別包括100張有煙圖像與100張無(wú)煙圖像。本地影像數(shù)據(jù)集來(lái)源于山西省林科院引進(jìn)ForestWatch林火智能監(jiān)測(cè)系統(tǒng)。

2.2 評(píng)價(jià)標(biāo)準(zhǔn)

本文利用準(zhǔn)確率(Raccuracy)、精確率(Rprecision)、召回率(Rrecall)和兩者調(diào)和均值(RF1)衡量算法性能。令煙霧圖像為正類,非煙霧圖像為負(fù)類,公式如下:

式中：TP表示預(yù)測(cè)正類為正類;TN表示預(yù)測(cè)負(fù)類為負(fù)類;FP表示預(yù)測(cè)負(fù)類為正類;FN表示預(yù)測(cè)正類為負(fù)類。

2.3 不同算法對(duì)比試驗(yàn)和結(jié)果

從表1中可看出,當(dāng)衛(wèi)星遙感樣本集作為源域,視頻影像樣本集作為目標(biāo)域時(shí),無(wú)論從假陽(yáng)性、假陰性的角度,還是從準(zhǔn)確率角度看,DC-GMESPL的遷移效果均優(yōu)于Easy TL、CMMS、SPL方法,其中,假陽(yáng)性為4.85%、假陰性為2.07%和準(zhǔn)確率為96.50%。與DC-CMEDA相比,DC-GMESPL雖然假陽(yáng)性相對(duì)較高,但是對(duì)森林防火煙霧圖像識(shí)別并不會(huì)造成太大影響;而DC-CMEDA的假陰性較高,煙霧圖像誤判為非煙霧圖像的概率較大,卻很容易因監(jiān)測(cè)失誤而造成漏警;此外,DC-GMESPL的準(zhǔn)確率相對(duì)更高。因此,綜合評(píng)估,DC-GMESPL優(yōu)于DC-CMEDA。從表2中可看出,當(dāng)視頻影像樣本集作為源域,衛(wèi)星遙感樣本集作為目標(biāo)域時(shí), DC-GMESPL的遷移效果遠(yuǎn)優(yōu)于Easy TL、CMMS、SPL、DC-CMEDA方法,其中,假陽(yáng)性為2.94%、假陰性為1.02%和準(zhǔn)確率為98.00%,準(zhǔn)確率有了較大提升。

表1 衛(wèi)星遙感圖像到視頻影像圖像的遷移準(zhǔn)確性對(duì)比

表2 視頻影像圖像到衛(wèi)星遙感圖像的遷移準(zhǔn)確性對(duì)比

對(duì)表1與表2結(jié)果分析總結(jié)可以得出以下結(jié)論:

1) 在流形空間中進(jìn)行選擇性偽標(biāo)記更有利于提高源域、目標(biāo)域?qū)R效果以及分類準(zhǔn)確性。

2) 利用最近鄰類原型方法和結(jié)構(gòu)化預(yù)測(cè)方法分別對(duì)目標(biāo)域樣本進(jìn)行偽標(biāo)記,選取概率大的偽標(biāo)記作迭代可以很大程度提高分類效能。

3) 基于Resnet50特征提取模型可以提取圖像深層語(yǔ)義信息,利用聚類分析可以實(shí)現(xiàn)精確的偽標(biāo)記。

圖4顯示,當(dāng)衛(wèi)星遙感樣本作為源域,視頻影像樣本作為目標(biāo)域時(shí),DC-GMESPL的召回率、調(diào)和均值及準(zhǔn)確率都高于Easy TL、CMMS、SPL、DC-CMEDA方法,精確率略低于DC-CMEDA。因?yàn)樯址阑饝?yīng)用場(chǎng)景,希望誤判概率盡可能小,避免因監(jiān)測(cè)失誤而造成火災(zāi),因此,DC-GMESPL優(yōu)于其他方法。從圖5可看出,當(dāng)視頻影像樣本集作為源域,衛(wèi)星遙感樣本集作為目標(biāo)域時(shí), DC-GMESPL在精確率、召回率、調(diào)和均值及準(zhǔn)確率4個(gè)指標(biāo)中的優(yōu)勢(shì)都非常明顯,遷移效果好。

對(duì)比圖4與圖5可發(fā)現(xiàn),在遷移效果提升方面,DC-GMESPL從衛(wèi)星遙感圖像遷移到視頻圖像與從視頻圖像遷移到衛(wèi)星遙感圖像上提升的幅度相差較大;出現(xiàn)這種現(xiàn)象的原因主要在于最近鄰類原型方法與結(jié)構(gòu)化預(yù)測(cè)方法都利用源域內(nèi)標(biāo)記樣本的類原型完成偽標(biāo)記,由于視頻圖像較衛(wèi)星遙感圖像分辨率更高,作為源域,獲取的類原型更佳,通過(guò)2種方法獲取的最終偽標(biāo)記結(jié)果更準(zhǔn)確,因此,從視頻圖像遷移到衛(wèi)星遙感圖像上提升的準(zhǔn)確率更高,而從衛(wèi)星遙感圖像遷移到視頻圖像上提升的準(zhǔn)確率相對(duì)較低。

圖4 衛(wèi)星遙感圖像遷移視頻影像圖像各方法性能對(duì)比 圖5 視頻影像圖像遷移衛(wèi)星遙感圖像各方法性能對(duì)比

3 結(jié) 論

本文以森林火災(zāi)煙霧圖像識(shí)別分類為例,提出了DC-GMESPL小樣本數(shù)據(jù)遷移算法解決方案。結(jié)果表明,綜合各種檢測(cè)指標(biāo),DC-GMESPL模型優(yōu)于其他方法。需注意的是,在使用本方法進(jìn)行小樣本遷移時(shí),小樣本圖像需具有足夠有效特征,以便于在格拉斯曼流形空間中對(duì)特征進(jìn)行有效處理;其次,源域與目標(biāo)域的小樣本圖像特征雖無(wú)需滿足獨(dú)立同分布,但要求源域與目標(biāo)域的任務(wù)對(duì)象保持一致。本文雖然以森林火災(zāi)煙霧為實(shí)驗(yàn)對(duì)象驗(yàn)證了DC-GMESPL方法,但該方法對(duì)其他情形仍然適用;如不同視角、不同背景、不同光照?qǐng)D像的其他對(duì)象識(shí)別,即源域與目標(biāo)域的特征分布具有差異,但學(xué)習(xí)與識(shí)別的任務(wù)一致。未來(lái),我們將優(yōu)化模型,進(jìn)一步提高算法的泛化性能。