結(jié)合對(duì)抗網(wǎng)絡(luò)與輔助任務(wù)的遙感影像無(wú)監(jiān)督域適應(yīng)方法

許夙暉，慕曉冬，張雄美，柴 棟

1. 火箭軍工程大學(xué)信息工程系，陜西 西安 710025； 2. 北京航空工程技術(shù)研究中心，北京 100076

結(jié)合對(duì)抗網(wǎng)絡(luò)與輔助任務(wù)的遙感影像無(wú)監(jiān)督域適應(yīng)方法

許夙暉1，慕曉冬1，張雄美1，柴 棟2

1. 火箭軍工程大學(xué)信息工程系，陜西 西安 710025； 2. 北京航空工程技術(shù)研究中心，北京 100076

使用機(jī)器學(xué)習(xí)進(jìn)行遙感影像標(biāo)注的一個(gè)重要前提是有足夠的訓(xùn)練樣本，而樣本的標(biāo)注是非常耗時(shí)的。本文采用了域適應(yīng)的方法來(lái)解決遙感影像場(chǎng)景分類(lèi)中小樣本量的無(wú)監(jiān)督學(xué)習(xí)問(wèn)題，提出了結(jié)合對(duì)抗網(wǎng)絡(luò)與輔助任務(wù)的遙感影像域適應(yīng)方法。首先建立了基于深度卷積神經(jīng)網(wǎng)絡(luò)的遙感影像分類(lèi)框架；其次，為了學(xué)習(xí)到域不變特征，在標(biāo)簽分類(lèi)器的基礎(chǔ)上增加域分類(lèi)器，并使域損失函數(shù)在其反射傳播時(shí)的梯度與標(biāo)簽損失的梯度相反，從而保證域分類(lèi)器不能區(qū)分樣本來(lái)自于哪個(gè)域；最后引入了輔助分類(lèi)任務(wù)，擴(kuò)充了樣本的同時(shí)使網(wǎng)絡(luò)更具泛化能力。試驗(yàn)結(jié)果表明，本文方法優(yōu)于主流的無(wú)監(jiān)督域適應(yīng)方法，在小樣本遙感影像無(wú)監(jiān)督分類(lèi)中得到了較好的效果。

遙感影像；場(chǎng)景分類(lèi)；域適應(yīng)；深度卷積神經(jīng)網(wǎng)絡(luò)；對(duì)抗網(wǎng)絡(luò)；多任務(wù)學(xué)習(xí)

遙感影像的分類(lèi)效果很大程度取決于提取的影像特征，文獻(xiàn)[1]將現(xiàn)有的遙感影像特征提取方法分為3大類(lèi)：①人工特征，如影像的光譜、紋理、空間、GIST、SIFT、HOG等；②基于無(wú)監(jiān)督的特征，如主成分分析、K-均值聚類(lèi)、稀疏編碼等；③深度特征，如SAE、CNNs等。由于深度特征可以代表影像更為抽象的特征，因此近兩年大量研究采用深度神經(jīng)網(wǎng)絡(luò)來(lái)提取遙感影像的特征[2-8]。然而，深度網(wǎng)絡(luò)能夠提取出有效特征的前提是有足夠的訓(xùn)練樣本[9]。對(duì)于一幅陌生的遙感影像，首要的是選取大量的樣本并且對(duì)其進(jìn)行標(biāo)記，這在實(shí)際過(guò)程中非常耗時(shí)[10-11]。因此在訓(xùn)練樣本有限甚至沒(méi)有的情況下如何訓(xùn)練出泛化能力較強(qiáng)的網(wǎng)絡(luò)是目前深度學(xué)習(xí)領(lǐng)域正在解決的熱點(diǎn)問(wèn)題。

假設(shè)已有一個(gè)相對(duì)較大的已經(jīng)標(biāo)注過(guò)的遙感影像數(shù)據(jù)集，若利用其更加豐富的數(shù)據(jù)作為訓(xùn)練樣本，理論上可以訓(xùn)練出更為成熟、泛化能力更強(qiáng)的網(wǎng)絡(luò)，用這個(gè)網(wǎng)絡(luò)將會(huì)對(duì)新的遙感影像提取出更好的特征。然而，不同數(shù)據(jù)集之間由于傳感器、拍攝角度、季節(jié)等的差異，造成同一類(lèi)型的地物在不同的域中差異巨大。直接將大規(guī)模數(shù)據(jù)集樣本訓(xùn)練的網(wǎng)絡(luò)來(lái)預(yù)測(cè)目標(biāo)數(shù)據(jù)集，得到的分類(lèi)結(jié)果并不理想。由此，不同數(shù)據(jù)集之間的域適應(yīng)問(wèn)題得以提出，在域適應(yīng)問(wèn)題中，提供訓(xùn)練樣本的數(shù)據(jù)集所在的域稱(chēng)為源域，對(duì)需要進(jìn)行分類(lèi)的數(shù)據(jù)集稱(chēng)為目標(biāo)域。

近些年，諸多學(xué)者對(duì)域適應(yīng)問(wèn)題進(jìn)行了研究，研究的圖像對(duì)象主要集中在Office/Caltech數(shù)據(jù)集，和Mnist/Mnist_M/USPS/SVHN數(shù)據(jù)集，前者包含4個(gè)域，內(nèi)容為數(shù)碼照片，后者是0—9數(shù)字圖像。研究的問(wèn)題可按照目標(biāo)域中是否有可用標(biāo)簽分為兩類(lèi)[12]：一種是監(jiān)督/半監(jiān)督學(xué)習(xí)，即目標(biāo)域中所有類(lèi)或者部分類(lèi)中部分圖像含有標(biāo)簽，可以直接作為訓(xùn)練樣本；另一種是完全無(wú)監(jiān)督學(xué)習(xí)，即目標(biāo)域中沒(méi)有可用標(biāo)簽。研究的方法通常有兩種類(lèi)型：一是用人工特征、或者訓(xùn)練好的CNN網(wǎng)絡(luò)對(duì)遙感影像進(jìn)行特征提取，然后求出一個(gè)轉(zhuǎn)換矩陣，將源域的特征映射到目標(biāo)域中，使兩個(gè)域的影像享有同一個(gè)特征空間，這類(lèi)方法的相關(guān)研究有ARC-t[13]、MMDT[14]、HFA[15]、GFK[16]、Landmarks[17]等，其中，GFK和Landmarks是無(wú)監(jiān)督的，其他方法為監(jiān)督學(xué)習(xí)的方法。

域適應(yīng)的另外一種類(lèi)型是基于深度學(xué)習(xí)的方法。文獻(xiàn)[18]在標(biāo)簽代價(jià)函數(shù)的基礎(chǔ)上，引入了稱(chēng)為域混淆損失的代價(jià)函數(shù)，具體做法是在最后一層全連接層之前加了域適應(yīng)層，源域和目標(biāo)域的樣本經(jīng)過(guò)該層的輸出特征后，計(jì)算其最大平均偏差距離(maximum mean discrepancy，MMD)，該距離與標(biāo)簽損失之和為新的目標(biāo)函數(shù)。針對(duì)監(jiān)督和半監(jiān)督分類(lèi)，文獻(xiàn)[19]在文獻(xiàn)[18]的基礎(chǔ)上加入了軟標(biāo)簽損失，用來(lái)保持源域和目標(biāo)域各類(lèi)之間相對(duì)分布的一致性。文獻(xiàn)[20]使用了對(duì)抗網(wǎng)絡(luò)框架[21]來(lái)解決域適應(yīng)問(wèn)題，其目標(biāo)函數(shù)包括標(biāo)簽分類(lèi)器和域分類(lèi)器兩部分，該方法的對(duì)抗思想體現(xiàn)在：對(duì)于域適應(yīng)問(wèn)題，一是希望網(wǎng)絡(luò)學(xué)到的特征表示具有域不變的特征，這就導(dǎo)致域分類(lèi)器不能正確進(jìn)行域分類(lèi)，即域分類(lèi)器的分類(lèi)損失最大；二是在對(duì)域分類(lèi)器訓(xùn)練同時(shí)，要求標(biāo)簽分類(lèi)器能盡可能地正確分類(lèi)，即標(biāo)簽分類(lèi)器的分類(lèi)損失最小。

目前域適應(yīng)方法普遍的試驗(yàn)對(duì)象為普通圖像，近年來(lái)也有學(xué)者針對(duì)遙感影像的域適應(yīng)方法進(jìn)行針對(duì)性的研究[22-23]。遙感影像相對(duì)于普通圖像在域適應(yīng)問(wèn)題上有很大不同：一方面其源域和目標(biāo)域差異較大；另一方面圖像包含的地物信息豐富，需要更深的網(wǎng)絡(luò)，而更深的網(wǎng)絡(luò)需要更為豐富的樣本數(shù)據(jù)支持。傳統(tǒng)域適應(yīng)方法直接用于遙感影像很難取得較好的分類(lèi)效果。

針對(duì)遙感影像域適應(yīng)過(guò)程中的高分辨率遙感影像尺寸大而數(shù)據(jù)量小的問(wèn)題，本文提出了基于對(duì)抗網(wǎng)絡(luò)和輔助任務(wù)的遙感影像域適應(yīng)方法，其創(chuàng)新點(diǎn)在于：①首次進(jìn)行遙感影像無(wú)監(jiān)督域適應(yīng)場(chǎng)景分類(lèi)的研究，構(gòu)建了遙感影像域適應(yīng)試驗(yàn)的數(shù)據(jù)集，設(shè)計(jì)了結(jié)合輔助任務(wù)的對(duì)抗網(wǎng)絡(luò)架構(gòu)；②引入域損失函數(shù)，在目標(biāo)函數(shù)中增加了域分類(lèi)任務(wù)，使分類(lèi)器學(xué)習(xí)到域不變特征；③引入不同標(biāo)簽空間的輔助分類(lèi)任務(wù)，豐富了訓(xùn)練樣本，提高網(wǎng)絡(luò)的泛化能力和特征提取能力。試驗(yàn)表明，本文方法加入了域損失任務(wù)與輔助分類(lèi)任務(wù)，與主流域適應(yīng)算法相比，在分類(lèi)效果上有明顯的優(yōu)勢(shì)。

1 本文提出的方法

(1)

算法的目的是，利用源域數(shù)據(jù)S，求解一個(gè)分類(lèi)器Cθ，使得

(2)

本文方法的框架如圖1所示，源域和目標(biāo)域的數(shù)據(jù)共同輸入到多層卷積神經(jīng)網(wǎng)絡(luò)提取特征，然后將輔助樣本的特征作為輔助標(biāo)簽預(yù)測(cè)器(上側(cè)區(qū)域)的輸入；將主樣本的特征輸入到主標(biāo)簽預(yù)測(cè)器(中間區(qū)域)和域預(yù)測(cè)器中(下側(cè)區(qū)域)；將目標(biāo)域的特征輸入到域預(yù)測(cè)器中。所有分類(lèi)器輸出后與相應(yīng)的標(biāo)簽計(jì)算損失。本文方法的損失函數(shù)為

L(xs,ys,xt;θf(wàn),θaux,θmain,θd)=

Lmain(xmain,ymain;θf(wàn),θmain)+

λLaux(xaux,yaux;θf(wàn),θaux)+γLd(xmain,xt;θf(wàn),θd)

(3)

損失函數(shù)由3部分構(gòu)成：主損失函數(shù)Lmain、輔助類(lèi)損失函數(shù)Laux和域損失函數(shù)Ld，λ與γ為相應(yīng)的權(quán)重系數(shù)。

圖1 本文方法的框架Fig.1 Framework of the proposed method

1.1 對(duì)抗網(wǎng)絡(luò)

本文設(shè)計(jì)的網(wǎng)絡(luò)基于兩個(gè)目的：一是網(wǎng)絡(luò)可以對(duì)地物類(lèi)型進(jìn)行分類(lèi)，二是網(wǎng)絡(luò)具有域不變特性，即網(wǎng)絡(luò)區(qū)分不出來(lái)輸入影像來(lái)自于哪一個(gè)域。前者可以理解調(diào)整網(wǎng)絡(luò)參數(shù)，使類(lèi)損失函數(shù)最?。缓笳呖梢酝ㄟ^(guò)一個(gè)域損失函數(shù)來(lái)實(shí)現(xiàn)。對(duì)于兩個(gè)不同域的影像，除了其自帶的類(lèi)標(biāo)簽，人為定義一個(gè)域標(biāo)簽，比如對(duì)于源域其標(biāo)簽為0，對(duì)于目標(biāo)域其標(biāo)簽為1。域損失越大，域分類(lèi)器就越難區(qū)別輸入影像來(lái)自源域或目標(biāo)域，網(wǎng)絡(luò)的域適應(yīng)性也就越好。因此，網(wǎng)絡(luò)參數(shù)需要同時(shí)滿足分類(lèi)損失最小化和域損失最大化，這兩個(gè)部分是對(duì)抗的。

主損失函數(shù)為類(lèi)別損失，其定義如下

Lmain(xmain,ymain;θf(wàn),θmain)=

(4)

Ld(xmain,xt,yd;θf(wàn),θd)=

(5)

由于對(duì)抗網(wǎng)絡(luò)的目標(biāo)是學(xué)習(xí)到域不變特征，也就是說(shuō)域分類(lèi)器分辨不出類(lèi)別最好。因此域的損失函數(shù)不能與類(lèi)別損失函數(shù)一樣越小越好，而是在源域類(lèi)別損失相對(duì)較小的情況下，域損失函數(shù)越大越好。因此求解目標(biāo)是

(6)

注意到式(6)中，Ld的求解目標(biāo)是使其最大化，這種情況不能用梯度下降進(jìn)行求解。為了解決這個(gè)問(wèn)題，定義一個(gè)中間函數(shù)R(x)，在前向與反向傳播中

(7)

式(7)表示正向傳播時(shí)無(wú)影響，而反向用梯度更新參數(shù)時(shí)進(jìn)行梯度反轉(zhuǎn)，由此就得到可以滿足使用梯度下降法的表現(xiàn)形式。

1.2 輔助任務(wù)

在本文遙感影像域適應(yīng)應(yīng)用場(chǎng)景中，源域樣本中還包括了目標(biāo)域中不存在類(lèi)別的樣本。為了充分利用源域的樣本，本文加入了輔助任務(wù)，其思想來(lái)源于多任務(wù)學(xué)習(xí)。多任務(wù)學(xué)習(xí)在單一任務(wù)的基礎(chǔ)上，結(jié)合了輔助的任務(wù)學(xué)習(xí)共同的特征表示[24-25]。通過(guò)輔助任務(wù)學(xué)習(xí)，最大限度地豐富了訓(xùn)練樣本，學(xué)習(xí)到的特征相對(duì)于單任務(wù)學(xué)習(xí)具有更好的泛化能力，并且有效地減小類(lèi)內(nèi)距離與增大類(lèi)間距離，有利于提高分類(lèi)精度。

本文的輔助損失函數(shù)的定義如下

Laux(xaux,yaux;θf(wàn),θaux)=

(8)

1.3 算法流程

本文方法的參數(shù)更新流程如下

Whilei

更新參數(shù)：

i+=1

End while

本方法有3個(gè)需要人工設(shè)置的參數(shù)，λ、γ及學(xué)習(xí)率φ。其中，λ是固定的，γ和φ按照式(9)和式(10)更新

(9)

(10)

式中，φ(0)為初始學(xué)習(xí)率；t=i/num_step，i為當(dāng)前迭代次數(shù)，num_step為最大迭代次數(shù)。

2 試 驗(yàn)

2.1 構(gòu)建數(shù)據(jù)集

目前還沒(méi)有公開(kāi)的適用于遙感影像域適應(yīng)試驗(yàn)的數(shù)據(jù)集，故本文使用了3個(gè)數(shù)據(jù)作為數(shù)據(jù)源構(gòu)建域適應(yīng)數(shù)據(jù)集，分別是：①NWPU-RESISC45數(shù)據(jù)集[1](簡(jiǎn)稱(chēng)NWPU)，該數(shù)據(jù)集含有45類(lèi)場(chǎng)景的遙感影像，每類(lèi)影像都包含有700張圖片，共31 500張影像；②一整幅遙感影像為Quickbird衛(wèi)星拍攝的西安市遙感影像(簡(jiǎn)稱(chēng)Xian)，尺寸為13 312×7680像素。對(duì)Xian進(jìn)行了切割，并人工分類(lèi)標(biāo)注，選出與NWPU重疊的8個(gè)類(lèi)，共339張影像；③一整幅遙感影像為高分二號(hào)衛(wèi)星拍攝的廣州市遙感影像(簡(jiǎn)稱(chēng)GZ)，與處理Xian類(lèi)似，對(duì)其進(jìn)行切割與人工標(biāo)注，選出與NWPU重疊的8個(gè)類(lèi)，共826幅影像。因此以上3個(gè)數(shù)據(jù)集共構(gòu)成了兩組遙感影像域適應(yīng)數(shù)據(jù)集，將其分別命名為NWPU-Xian8及NWPU-GZ8。示例圖像如圖2所示，每張示例圖像底部數(shù)字為該類(lèi)樣本數(shù)。從圖2可以看出，NWPU-Xian8的圖像差異較大，Xian的影像顏色存在失真，并且噪聲較為嚴(yán)重，而NWPU-GZ8影像差異較小。兩組數(shù)據(jù)集中NWPU的其余37類(lèi)影像在這里不再展示，請(qǐng)參考文獻(xiàn)[1]。以上所有影像的尺寸為256×256。

圖2 數(shù)據(jù)集各類(lèi)示例Fig.2 Samples from each category in the domain adaptation datasets

2.2 試驗(yàn)設(shè)置

針對(duì)兩組數(shù)據(jù)集進(jìn)行的試驗(yàn)中，分別將NWPU整個(gè)45類(lèi)作為源域，Xian及GZ作為目標(biāo)域。因此在NWPU-Xian8及NWPU-GZ8中，主任務(wù)的數(shù)據(jù)類(lèi)別都為8類(lèi)，輔助類(lèi)別為37類(lèi)。訓(xùn)練及測(cè)試時(shí)對(duì)輸入到網(wǎng)絡(luò)中的影像隨機(jī)裁剪為227×227，網(wǎng)絡(luò)的各個(gè)參數(shù)，比如卷積核大小，步長(zhǎng)和卷積層的層數(shù)如圖3所示，前8個(gè)方框表示特征提取層，本文特征提取階段使用了預(yù)訓(xùn)練的Alexnet網(wǎng)絡(luò)結(jié)構(gòu)[24]。緊接著特征提取層，為3個(gè)網(wǎng)絡(luò)分支，這3個(gè)分支分別為主分類(lèi)器，輔助分類(lèi)器和域分類(lèi)器。3個(gè)分類(lèi)器都是由全連接層構(gòu)成，其最終輸出結(jié)點(diǎn)分別為8、37和2。本文所有試驗(yàn)代碼基于tensorflow進(jìn)行搭建，硬件環(huán)境為Amazon EC2的P2.xlarge實(shí)例，該實(shí)例的GPU型號(hào)為nvidia tesla k80。

圖3 本文方法的網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 The net structure of the proposed approach

2.3 試驗(yàn)結(jié)果與分析

將本文方法與文獻(xiàn)中其他方法進(jìn)行試驗(yàn)對(duì)比。對(duì)比的方法有：①source only，將源域數(shù)據(jù)輸入到網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直接對(duì)目標(biāo)域進(jìn)行分類(lèi)，不加入域損失和輔助損失函數(shù)；②GFK，文獻(xiàn)[5]中的方法；③Landmark，文獻(xiàn)[6]所介紹的方法，是文獻(xiàn)[5]方法的擴(kuò)展，GFK和Landmark，其使用的圖像特征是由預(yù)訓(xùn)練的alexnet網(wǎng)絡(luò)的fc7層提取得到，每張圖像都表示為4096維特征；④source+domain，文獻(xiàn)[20]中的方法，即源域樣本分類(lèi)與域分類(lèi)同時(shí)進(jìn)行，沒(méi)有增加輔助分類(lèi)任務(wù)；⑤MMD，文獻(xiàn)[7]中的方法，使用MMD損失函數(shù)進(jìn)行域間最小化。對(duì)于source only及后3種方法，設(shè)置初始學(xué)習(xí)率φ(0)=0.002，batchsize=64，最大迭代次數(shù)為10 000；MMD中，MMD損失是用fc7的輸出進(jìn)行計(jì)算得到，系數(shù)為0.25；本文方法中，λ=1。各類(lèi)方法最后對(duì)目標(biāo)域數(shù)據(jù)進(jìn)行分類(lèi)，對(duì)于GFK和Landmark，計(jì)算20次試驗(yàn)的平均精度作為其最終精度。對(duì)于其他方法，設(shè)置每訓(xùn)練25次進(jìn)行一次測(cè)試，將最后10次測(cè)試的平均精度作為其最終精度，6種方法最終測(cè)試精度列于表1?；谧詈笠淮螠y(cè)試的結(jié)果計(jì)算各方法預(yù)測(cè)的混淆矩陣，將各個(gè)方法對(duì)于NWPU-Xian8數(shù)據(jù)集的混淆矩陣列于圖4。

表1 不同算法分類(lèi)精度

從表1可以得到看出，本文方法在精度上優(yōu)于其他算法，source+domain次之。圖4中，本文方法相對(duì)于其余5類(lèi)方法，表現(xiàn)較為均衡，對(duì)于容易混淆的intersection、freeway和overpass這3類(lèi)的精度也有了一定的提高。由此表明了對(duì)抗網(wǎng)絡(luò)和輔助任務(wù)可以較好地學(xué)習(xí)到域不變特征，提高網(wǎng)絡(luò)的泛化能力和分類(lèi)精度。

為了進(jìn)一步驗(yàn)證本文方法提取域不變特征的優(yōu)勢(shì)，用高維數(shù)據(jù)可視化工具t-SNE對(duì)NWPU-Xian8數(shù)據(jù)集聚類(lèi)結(jié)果進(jìn)行可視化(t-SNE詳情參見(jiàn)文獻(xiàn)[27])。聚類(lèi)的對(duì)象為進(jìn)入到分類(lèi)器之前目標(biāo)域所有數(shù)據(jù)的特征。如圖5所示，圖(a)為直接采用預(yù)訓(xùn)練的Alexnet網(wǎng)絡(luò)提取的fc7層特征，圖(b)為本文方法倒數(shù)第2層輸出的特征，兩種特征都為4096維。兩張圖分別表示未進(jìn)行域適應(yīng)和進(jìn)行了域適應(yīng)后目標(biāo)域數(shù)據(jù)各類(lèi)之間的關(guān)系。可以看出進(jìn)行域適應(yīng)后，目標(biāo)域各類(lèi)之間距離增大，同類(lèi)之間距離減小，很好地學(xué)習(xí)到了域不變特征。

3 結(jié) 論

本文針對(duì)遙感影像場(chǎng)景分類(lèi)中小樣本量的無(wú)監(jiān)督學(xué)習(xí)問(wèn)題，提出了一種結(jié)合對(duì)抗網(wǎng)絡(luò)與輔助任務(wù)的遙感影像域適應(yīng)方法，建立了基于深度卷積神經(jīng)網(wǎng)絡(luò)的遙感影像分類(lèi)框架，在標(biāo)簽損失函數(shù)的基礎(chǔ)上加入了域分類(lèi)器，并使得域損失函數(shù)與標(biāo)簽損失形成對(duì)抗的關(guān)系，最后引入了輔助分類(lèi)任務(wù)，擴(kuò)充訓(xùn)練樣本。在本文構(gòu)建的遙感影像域適應(yīng)數(shù)據(jù)集上試驗(yàn)結(jié)果表明，本文方法能夠通過(guò)域損失學(xué)習(xí)到域不變特征，通過(guò)輔助分類(lèi)任務(wù)增加類(lèi)間距離、減小類(lèi)內(nèi)距離，并使網(wǎng)絡(luò)具有良好的泛化能力，在不同域的無(wú)監(jiān)督分類(lèi)中有明顯的優(yōu)勢(shì)。對(duì)小樣本量的Xian和GZ數(shù)據(jù)集無(wú)監(jiān)督分類(lèi)精度達(dá)到79.63%和84.63%，相對(duì)于直接利用大樣本量數(shù)據(jù)集NWPU對(duì)Xian和GZ數(shù)據(jù)集分類(lèi)(58.40%和76.99%)，本文方法分類(lèi)效果有顯著提高。

圖4 NWPU-Xian8數(shù)據(jù)集混淆矩陣Fig.4 Confusion matrix for NWPU-Xian8 dataset

圖5 NWPU-Xian8數(shù)據(jù)集目標(biāo)域圖像特征的二維可視化Fig.5 2-D visualization of image feature in the target domain for NWPU-Xian8 dataset

[1] CHENG Gong，HAN Junwei，LU Xiaoqiang.Remote Sensing Image Scene Classification: Benchmark and State of the Art[J].Proceedings of the IEEE，2017，105(10)：1865-1883.

[2] HU Fan，XIA Guisong，HU Jingwen，et al.Transferring Deep Convolutional Neural Networks for the Scene Classification of High-resolution Remote Sensing Imagery[J].Remote Sensing，2015，7(11)：14680-14707.

[3] ZOU Qin，NI Lihao，ZHANG Tong，et al.Deep Learning Based Feature Selection for Remote Sensing Scene Classification[J].IEEE Geoscience and Remote Sensing Letters，2015，12(11)：2321-2325.

[4] 許夙暉，慕曉冬，趙鵬，等.利用多尺度特征與深度網(wǎng)絡(luò)對(duì)遙感影像進(jìn)行場(chǎng)景分類(lèi)[J].測(cè)繪學(xué)報(bào)，2016，45(7)：834-840.DOI：10.11947/j.AGCS.2016.20150623.

XU Suhui，MU Xiaodong，ZHAO Peng，et，al.Scene Classification of Remote Sensing Image Based on Multi-scale Feature and Deep Neural Network[J] Acta Geodaetica et Cartographica Sinica，2016，45(7)：834-840.DOI：10.11947/j.AGCS.2016.20150623.

[5] ZHANG Fan，DU Bo，ZHANG Liangpei.Scene Classification via a Gradient Boosting Random Convolutional Network Framework[J].IEEE Transactions on Geoscience and Remote Sensing，2016，54(3)：1793-1802.

[6] ROMERO A，GATTA C，CAMPS-VALLS G.Unsupervised Deep Feature Extraction for Remote Sensing Image Classification[J].IEEE Transactions on Geoscience and Remote Sensing，2016，54(3)：1349-1362.

[7] NOGUEIRA K，PENATTI O A B，DOS SANTOS J A.Towards Better Exploiting Convolutional Neural Networks for Remote Sensing Scene Classification[J].Pattern Recognition，2017(61)：539-556.

[8] ZHOU Xichuan，LI Shengli，TANG Fang，et al.Deep Learning with Grouped Features for Spatial Spectral Classification of Hyperspectral Images[J].IEEE Geoscience and Remote Sensing Letters，2017，14(1)：97-101.

[9] GE Weifeng，YU Yizhou.Borrowing Treasures from the Wealthy：Deep Transfer Learning through Selective Joint Fine-tuning[J].arXiv preprint arXiv：1702.08690，2017.

[10] LIN Daoyu，F(xiàn)U Kun，WANG Yang，et al.MARTA GANs：Unsupervised Representation Learning for Remote Sensing Image Classification[J].IEEE Geoscience and Remote Sensing letters, 2017,14(11):2092-2096.

[11] 何小飛，鄒崢嶸，陶超，等.聯(lián)合顯著性和多層卷積神經(jīng)網(wǎng)絡(luò)的高分影像場(chǎng)景分類(lèi)[J].測(cè)繪學(xué)報(bào)，2016，45(9)：1073-1080.DOI：10.11947/j.AGCS.2016.20150612.

HE Xiaofei，ZOU Zhengrong，TAO Chao，et al.Combined Saliency with Multi-convolutional Neural Network for High Resolution Remote Sensing Scene Classification[J].Acta Geodaetica et Cartographica Sinica，2016，45(9)：1073-1080.DOI：10.11947/j.AGCS.2016.20150612.

[12] WEISS K，KHOSHGOFTAAR T M，WANG D D.A Survey of Transfer Learning[J].Journal of Big Data，2016，3(1)：9-48.

[13] KULIS B，SAENKO K，DARRELL T.What You Saw is not What You Get：Domain Adaptation Using Asymmetric Kernel Transforms[C]∥Proceedings of 2011 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Colorado Springs，CO，USA：IEEE，2011：1785-1792.

[14] HOFFMAN J，RODNER E，DONAHUE J，et al.Efficient Learning of Domain-invariant Image Representations[C]∥Proceedings of the International Conference on Learning Representations (ICLR).Scottsdale，Arizona：ICLR，2013.

[15] DUAN Lixin，XU Dong，TSANG I W.Learning with Augmented Features for Heterogeneous Domain Adaptation[C]∥Proceedings of the 29th International Conference on Machine Learning.Edinburgh，Scotland，UK：ICML，2012：711-718.

[16] GONG Boqing，SHI Yuan，SHA Fei，et al.Geodesic Flow Kernel for Unsupervised Domain Adaptation[C]∥Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition.Providence，RI，USA：IEEE，2012：2066-2073.

[17] GONG Boqing，GRAUMAN K，SHA Fei.Connecting the Dots with Landmarks：Discriminatively Learning Domain-invariant Features for Unsupervised Domain Adaptation[C]∥Proceedings of the 30th International Conference on Machine Learning.Atlanta，USA：ICML，2013：222-230.

[18] TZENG E，HOFFMAN J，ZHANG Ning，et al.Deep Domain Confusion：Maximizing for Domain Invariance[J].arXiv preprint arXiv：1412.3474，2014.

[19] TZENG E，HOFFMAN J，DARRELL T，et al.Simultaneous Deep Transfer Across Domains and Tasks[C]∥Proceedings of 2015 IEEE International Conference on Computer Vision.Santiago，Chile：IEEE，2015：4068-4076.

[20] GANIN Y，LEMPITSKY V.Unsupervised Domain Adaptation by Backpropagation[C]∥Proceedings of the 32nd International Conference on Machine Learning.Lille，F(xiàn)rance：ICML，2015：1180-1189.

[21] GOODFELLOW I，POUGET-ABADIE J，MIRZA M，et al.Generative Adversarial Nets[C]∥Proceedings of the 27th International Conference on Neural Information Processing Systems.Montreal，Canada：MIT Press，2014：2672-2680.

[22] TUIA D，PERSELLO C，BRUZZONE L.Domain Adaptation for the Classification of Remote Sensing Data：An Overview of Recent Advances[J].IEEE Geoscience and Remote Sensing Magazine，2016，4(2)：41-57.

[23] LI Xue，ZHANG Liangpei，DU Bo，et al.Iterative Reweighting Heterogeneous Transfer Learning Framework for Supervised Remote Sensing Image Classification[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2017，10(5)：2022-2035.

[24] ZHANG Zhanpeng，LUO Ping，LOY C C，et al.Facial Landmark Detection by Deep Multi-task Learning[C]∥Proceedings of the 13th European Conference on Computer Vision.Zurich，Switzerland：Springer，2014：94-108.

[25] SELTZER M L，DROPPO J.Multi-task Learning in Deep Neural Networks for Improved Phoneme Recognition[C]∥Proceedings of 2013 IEEE International Conference on Acoustics，Speech and Signal Processing (ICASSP).Vancouver，BC，Canada：IEEE，2013：6965-6969.

[26] KRIZHEVSKY A，SUTSKEVER I，HINTON G E.Imagenet Classification with Deep Convolutional Neural Networks[C]∥Advances in Neural Information Processing Systems.Spain：NIPS，2012：1097-1105.

[27] VAN DER MAATEN L，HINTON G.Visualizing Data Using t-SNE[J].Journal of Machine Learning Research，2008，9(11)：2579-2605.

Unsupervised Remote Sensing Domain Adaptation Method with Adversarial Network and Auxiliary Task

XU Suhui1,MU Xiaodong1,ZHANG Xiongmei1,CHAI Dong2

1. Department of Information Engineering, Rocket Force Engineering University, Xi’an 710025, China； 2. Beijing Aeronautical Technology Research Center, Beijing 100076, China

An important prerequisite when annotating the remote sensing images by machine learning is that there are enough training samples for training, but labeling the samples is very time-consuming. In this paper, we solve the problem of unsupervised learning with small sample size in remote sensing image scene classification by domain adaptation method. A new domain adaptation framework is proposed which combines adversarial network and auxiliary task. Firstly, a novel remote sensing scene classification framework is established based on deep convolution neural networks. Secondly, a domain classifier is added to the network, in order to learn the domain-invariant features. The gradient direction of the domain loss is opposite to the label loss during the back propagation, which makes the domain predictor failed to distinguish the sample’s domain. Lastly, we introduce an auxiliary task for the network, which augments the training samples and improves the generalization ability of the network. The experiments demonstrate better results in unsupervised classification with small sample sizes of remote sensing images compared to the baseline unsupervised domain adaptation approaches.

remote sensing image; scene classification; domain adaptation; deep convolutional neural network; adversarial network; multi-task learning

The National Natural Science Foundation of China (No. 61640007)

XU Suhui(1989—), female, PhD candidate, majors in remote sensing image processing and pattern recognition.

E-mail： xu_suhui@163.com

許夙暉，慕曉冬，張雄美，等.結(jié)合對(duì)抗網(wǎng)絡(luò)與輔助任務(wù)的遙感影像無(wú)監(jiān)督域適應(yīng)方法[J].測(cè)繪學(xué)報(bào)，2017,46(12)：1969-1977.

10.11947/j.AGCS.2017.20170291.

XU Suhui,MU Xiaodong,ZHANG Xiongmei,et al.Unsupervised Remote Sensing Domain Adaptation Method with Adversarial Network and Auxiliary Task[J]. Acta Geodaetica et Cartographica Sinica,2017,46(12):1969-1977. DOI:10.11947/j.AGCS.2017.20170291.

P237

A

1001-1595(2017)12-1969-09

國(guó)家自然科學(xué)基金(61640007)

張艷玲)

2017-06-05

2017-10-24

許夙暉(1989—), 女, 博士生, 研究方向?yàn)檫b感圖像處理和模式識(shí)別。