基于SMOTE和深度遷移卷積神經(jīng)網(wǎng)絡(luò)的多類不平衡遙感圖像分類算法研究

馮 偉, 龍以君, 全英匯, 邢孟道

(1. 西安電子科技大學電子工程學院, 陜西 西安 710071;2. 西安電子科技大學前沿交叉研究院, 陜西 西安 710071)

0 引 言

土地覆蓋是地球表層系統(tǒng)最突出的景觀標志之一,并直接影響著生態(tài)環(huán)境與氣候的變化[1]。遙感作為全球動態(tài)監(jiān)測的重要手段,在環(huán)境變化監(jiān)測、土地資源合理利用評估等研究中發(fā)揮著巨大的作用。近些年,隨著計算機技術(shù)的進步,機器學習在地物覆蓋分類中獲得了廣泛的應(yīng)用[2],這極大地滿足了遙感信息提取對數(shù)量和速度的需求。然而,盡管以深度卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNR)為代表的智能算法在圖像分類領(lǐng)域獲得過成功的應(yīng)用[3-4],但這些算法對標注數(shù)據(jù)的質(zhì)量和數(shù)量具有極強的依賴性[5]。Pan等[6]指出,盡管數(shù)據(jù)挖掘和機器學習在分類、回歸、集合等知識工程領(lǐng)域取得了重大成果,但是許多機器學習方法是在訓(xùn)練樣本和測試樣本滿足相同概率分布的條件下實現(xiàn)的。遙感圖像數(shù)據(jù),尤其是高光譜圖像數(shù)據(jù),具有的完備標注數(shù)據(jù)較少、數(shù)據(jù)類不平衡特點顯著。另外,在實際應(yīng)用中,遙感圖像中的地物或目標會隨著時間推移產(chǎn)生位置改變,使得數(shù)據(jù)分布會隨時間、空間改變而產(chǎn)生動態(tài)變化(盡管這些數(shù)據(jù)表示的是同一地物)。這些數(shù)據(jù)的特點與訓(xùn)練出優(yōu)秀的分類模型原則相悖。換言之,一個基于固定時相和地理位置訓(xùn)練出的分類器難以處理其他時相或位置的遙感數(shù)據(jù)。此外,Rajan等[7]指出對遙感圖像進行人工標注是相當昂貴且耗時的,重新進行大量的數(shù)據(jù)標注也是不現(xiàn)實的。因此,在遙感圖像分類問題中,深度學習模型的分類性能被極大地限制,分類器訓(xùn)練面臨著相當嚴峻的挑戰(zhàn)[8-9]。此外,當前遙感圖像分類算法主要關(guān)注同一時相與同一空間的數(shù)據(jù)集分類問題[10-11],對前述問題的思考與研究較少。由此觀之,現(xiàn)有樣本的選擇和處理是當前遙感圖像自動解譯的瓶頸問題[12]。

針對該問題,遷移學習可以發(fā)揮重要作用,為遙感分類中的樣本完備標簽信息不夠充分提供有效的解決辦法。例如,吳田軍等[1]認為前期的土地覆蓋專題圖或歷史土地利用矢量圖是有意義的,因為它們涵蓋了大量先驗信息與知識,這些信息能夠為當前目標影像分類任務(wù)服務(wù)。由此觀之,遷移學習可以實現(xiàn)已有信息與知識的再利用,減少目視采集中重復(fù)且冗雜的工作[12]。

目前,研究人員嘗試提出一些有效的將深度學習與遷移學習進行結(jié)合的方法,用以解決上述的學習難題。具體方法包括3種:基于實例的深度遷移學習;基于網(wǎng)絡(luò)的深度遷移學習;基于特征遷移的深度遷移學習。

(1) 基于實例的深度遷移學習。該方法通過調(diào)整權(quán)重的方式,將源域中與目標域相似的樣本遷移至目標域,將源域數(shù)據(jù)與目標域的數(shù)據(jù)共同作為目標任務(wù)的訓(xùn)練數(shù)據(jù)。例如,林聰?shù)萚12]利用圖像變化檢測技術(shù)與光譜形狀編碼的方法,從源域中遷移適用的地物類別知識并標記在目標影像中。Dai等[13]基于遷移學習框架,利用大量輔助標簽數(shù)據(jù)對一部分未標簽?zāi)繕藬?shù)據(jù)進行無監(jiān)督聚類。此外,Liu等[14]在前者的基礎(chǔ)上,增加了重采樣算法。在每次迭代中只挑選出權(quán)重值最大的樣本遷移至目標域,同時與目標域中的有標注樣本共同構(gòu)成訓(xùn)練集。但是該方法建立在源域存在并可以直接被用于目標域數(shù)據(jù)的假設(shè)上,在高光譜數(shù)據(jù)分類應(yīng)用中具有一定的局限性。

(2) 基于網(wǎng)絡(luò)的深度遷移學習。Yosinski[15]指出網(wǎng)絡(luò)的前幾層是相對普遍的特征,隨著網(wǎng)絡(luò)層數(shù)的增加,提取出的特征將會更加專有化。對于新的數(shù)據(jù),可以對已有的神經(jīng)網(wǎng)絡(luò)模型進行微調(diào)后,再將其應(yīng)用在新數(shù)據(jù)上,從而減少重新訓(xùn)練網(wǎng)絡(luò)模型的工作。

(3) 基于特征遷移的深度遷移學習。Pan等[6]認為該方法旨在尋找合適的特征空間,在新空間中處理數(shù)據(jù),從而減少源域與目標域的差異性以及任務(wù)模型的錯誤。Ruckert等[16]提出一種基于核函數(shù)的有監(jiān)督的歸納遷移方法,為目標數(shù)據(jù)尋找出合適的核函數(shù)。Raina等[17]則提出一種無監(jiān)督遷移學習,即通過應(yīng)用稀疏編碼學習高層次的特征。該方法存在基于聯(lián)域映射的深度遷移學習[18]的子類,它是指同時利用源域和目標域的樣本并行訓(xùn)練網(wǎng)絡(luò)模型,從而使得網(wǎng)絡(luò)能夠?qū)W習到使得兩域分布相近的表示。在文獻[19]中,Tzeng等提出一個新的CNR遷移學習框架,該框架引入了自適應(yīng)度量準則和域距離損失,通過最小化分類損失和域距離損失,盡可能對齊兩域間的數(shù)據(jù)。此外,在前者的基礎(chǔ)上,Long等[20]采用多核自適應(yīng)度量,并利用3個全連接層代替一個自適應(yīng)層來計算域距離損失。但是,該方法不能在類別不平衡的數(shù)據(jù)集上進行有效的遷移,而高光譜數(shù)據(jù)類不平衡現(xiàn)象較為普遍也亟待解決[21-23],而且類不平衡現(xiàn)象極大地影響了模型的分類性能[24]。

本文所提算法創(chuàng)新性地采用基于領(lǐng)域自適應(yīng)的深度遷移學習和基于人工少數(shù)類過采樣(synthefic minority oversampling fechnique, SMOTE)方法,為解決前述問題提供了一個新的解決思路。本文算法應(yīng)用遷移學習,放寬了傳統(tǒng)機器學習中的兩個基本假設(shè)[6]條件:① 用于學習的訓(xùn)練樣本與新的測試樣本滿足獨立同分布的條件;② 必須用足夠的訓(xùn)練樣本才能學習到一個好的分類模型。因此,即便遙感圖像的標注數(shù)據(jù)并不充分,數(shù)據(jù)分布隨時空動態(tài)變化,分類器仍然能夠獲得優(yōu)秀的分類性能[25-26]。此外,針對高光譜數(shù)據(jù)集常見的類不平衡現(xiàn)象,本文算法引入SMOTE方法,均衡數(shù)據(jù)集類別數(shù)量,實現(xiàn)數(shù)據(jù)間的有效遷移。

1 SMOTE方法和深度遷移網(wǎng)絡(luò)設(shè)計

本文實驗采用了3種殘差網(wǎng)絡(luò)(residual network, ResNet)結(jié)構(gòu):ResNet34、ResNet50和ResNet101[27]。引言中指出,當前遙感圖像類不平衡的情況比較突出,如果直接對不平衡數(shù)據(jù)進行訓(xùn)練,得到的分類器魯棒性較差,因此需要對數(shù)據(jù)進行SMOTE處理以實現(xiàn)類別平衡。

本文算法在實現(xiàn)遙感圖像數(shù)據(jù)類平衡后,旨在把具有不同概率分布的源域數(shù)據(jù)和目標域數(shù)據(jù)映射到新的特征空間,使兩域分布在該空間中盡可能相似,因而在新特征空間中對源域數(shù)據(jù)進行訓(xùn)練得到的模型也可以遷移至目標域數(shù)據(jù),從而使得模型對目標域數(shù)據(jù)的處理更加準確。此外,為提高模型優(yōu)化的速率,模型的初始參數(shù)是經(jīng)過預(yù)訓(xùn)練后由網(wǎng)絡(luò)遷移所得。

1.1 SMOTE方法

SMOTE方法合成新少數(shù)類樣本的過程可描述如下:

(1) 以歐氏距離為度量準則,計算Smin中每一個樣本xi到Smin除其本身所有樣本的距離,并得到該樣本xi的K個最近鄰點;

(2) 依據(jù)樣本類別不平衡的情況,具體分析并設(shè)置采樣倍率N;

(1)

1.2 CNR的ResNet

網(wǎng)絡(luò)越深,獲得的信息更多,信息的特征更豐富。但同時伴隨著網(wǎng)絡(luò)深度的加深,其表達能力卻變得更差,這是因為層數(shù)深的網(wǎng)絡(luò)會導(dǎo)致梯度爆炸和梯度消失問題。

ResNet殘差結(jié)構(gòu)如圖1所示[23],它能較好地解決網(wǎng)絡(luò)退化的問題:當僅用f(x)來擬合期望的潛在映射時,隨著網(wǎng)絡(luò)的加深,對該映射f(x)求偏導(dǎo)得到的結(jié)果可能極小甚至趨近于0,但是網(wǎng)絡(luò)利用f(x)+x作為輸入,則可以始終獲得大于1的結(jié)果。

圖1 ResNet的殘差結(jié)構(gòu)Fig.1 Residual structure of ResNet

1.3 深度遷移學習的網(wǎng)絡(luò)結(jié)構(gòu)

在實際應(yīng)用中,研究者通常不會針對一個新任務(wù)從頭開始訓(xùn)練一個神經(jīng)網(wǎng)絡(luò),因為這樣的操作是相當昂貴且耗時的。此外,新任務(wù)的訓(xùn)練數(shù)據(jù)通常規(guī)模較小,訓(xùn)練出來的網(wǎng)絡(luò)泛化能力較弱[31]?；诰W(wǎng)絡(luò)的遷移學習將已經(jīng)訓(xùn)練好的模型參數(shù)遷移至自身的任務(wù)上,能夠提高網(wǎng)絡(luò)的泛化能力,以及減少網(wǎng)絡(luò)訓(xùn)練的代價。

本文所提算法中的領(lǐng)域自適應(yīng)學習采用雙流結(jié)構(gòu),其基于CNR模型的結(jié)構(gòu)如圖2所示[19]。

該結(jié)構(gòu)由兩個網(wǎng)絡(luò)分支組成,兩個網(wǎng)絡(luò)分支之間共享權(quán)重參數(shù),分別輸入源域數(shù)據(jù)和目標域數(shù)據(jù)中同一批次的樣本。此后,數(shù)據(jù)流經(jīng)CNR的特征提取層,到達高級特征層,在該層中計算遷移正則項,最后數(shù)據(jù)張量到達輸出層,完成一次前向傳播。兩個網(wǎng)絡(luò)分支都在全連接層前設(shè)置自適應(yīng)層,該層可以計算源域數(shù)據(jù)Ds和目標域數(shù)據(jù)DT的分布差異(domain loss, DL)。此外,源域所在的分支需要流經(jīng)全連接層,獲得分類損失(classification loss, CL),設(shè)為Lct(Ds),目標域所在分支僅需流至自適應(yīng)層即可,最后網(wǎng)絡(luò)的參數(shù)更新受CL和DL所構(gòu)成的聯(lián)合損失約束。聯(lián)合損失可表示為

Lloss=λ·LDL(Ds,DT)+LCL(Ds)

(2)

式中:LDL(Ds,DT)表示源域與目標域數(shù)據(jù)在特征層的DL;Lct(Ds)則是源域數(shù)據(jù)的CL;λ∈(0,∞)是可調(diào)節(jié)的權(quán)重系數(shù)。

1.4 深度遷移學習的領(lǐng)域自適應(yīng)度量準則

由前述工作可知,源域與目標域間的DL需要被度量。利用度量準則,深度遷移網(wǎng)絡(luò)可以定量地給出目標域與源域的DL程度。因此,深度網(wǎng)絡(luò)可以有根據(jù)地增大兩域分布的相似性,從而實現(xiàn)對來自不同源但屬于同一地物的高光譜數(shù)據(jù)的特征學習。

1.4.1 最大均值差異準則

基于最大均值差異(maximum mean discrepancy, MMD)準則的特征遷移學習的本質(zhì)上是要找到一個映射函數(shù),使得經(jīng)此映射,源域與目標域的分布距離最小[32]。MMD的數(shù)學定義如下:

MMD[F,p,q]=

(3)

f(x)=〈f,φ(x)〉H

(4)

利用式(3)和再生希爾伯特空間的性質(zhì),即式(4),MMD距離可進行如下推導(dǎo):

MMD[F,p,q]=

(5)

式(5)利用了再生希爾伯特空間的再生性,可變向量經(jīng)由函數(shù)φ(·)映射到希爾伯特空間,再與該空間中的給定向量f作點積,實現(xiàn)變量到高維的映射變換:

(6)

(7)

在實際計算中,μp和μq采用均值表示,因此MMD距離可表示為

(8)

至此,MMD的理論推導(dǎo)過程已介紹完畢。值得一提的是,在實際應(yīng)用MMD距離時,將采用核技巧,核技巧可使得兩個向量的內(nèi)積并不需要顯式表示映射函數(shù)。對式(8)進行平方處理,并用核函數(shù)表達,如下所示:

(9)

式中:xi與yj在希爾伯特空間內(nèi)積的結(jié)果為原始樣本經(jīng)由k(·,·)計算的結(jié)果。式(9)可表示為如下所示:

(10)

結(jié)合遷移學習,當xi∈Ds,yj∈DT代表源域,DT代表目標域時,為方便運算,MMD距離最后可寫成如下矩陣形式:

MMD=tr(KL)

(11)

結(jié)合式(2),基于MMD準則的深度遷移學習的損失函數(shù)可寫為:

Lloss=λ·LMMD(Ds,DT)+LCL(Ds)

(12)

1.4.2 相互關(guān)系對齊準則

從數(shù)學意義來講,相互關(guān)系對齊(corelation alignment, CORAL)準則可減少源域Ds和目標域DT協(xié)方差矩陣的差異過程,可展開如下。

假定源域的數(shù)據(jù)為Ds={xi}(x∈Rd),LS={yi}(i∈{1,2,…,L}),目標域的數(shù)據(jù)(未標記)為DT={ui}(u∈Rd)。其中,源域和目標域數(shù)據(jù)量分別為nS和nT;d代表數(shù)據(jù)維數(shù)。此外,由圖2網(wǎng)絡(luò)結(jié)構(gòu)可知,此時,x和u是經(jīng)過網(wǎng)絡(luò)深層激活φ(·)的輸入;函數(shù)φ(·)則是網(wǎng)絡(luò)參數(shù)更新時所學習的內(nèi)容[33]。

(13)

源域與目標域的特征協(xié)方差矩陣的計算分別如下:

(14)

(15)

式(14)與式(15)中的1表示全為1的列向量。

利用鏈式法則,計算出源域輸入特征的梯度如下:

(16)

目標域輸入特征的梯度如下:

(17)

結(jié)合式(2),基于CORAL準則的深度遷移學習的損失函數(shù)為

LL=λ·LCORAL(Ds,DT)+LCL(Ds)

2 SMOTE-深度遷移學習實驗設(shè)計

本文算法SMOTE-深度遷移神經(jīng)網(wǎng)絡(luò)(SMOTE-deep transfer ResNet, STR)的流程包括以下4個步驟:① 數(shù)據(jù)預(yù)處理;② SMOTE處理;③ 深度網(wǎng)絡(luò)設(shè)計;④ 遷移神經(jīng)網(wǎng)絡(luò)設(shè)計。

2.1 數(shù)據(jù)預(yù)處理

首先,基于自適應(yīng)度量準則的特征遷移學習要求源域數(shù)據(jù)與目標域數(shù)據(jù)的學習任務(wù)相同以及特征空間相同,兩域僅數(shù)據(jù)分布不完全相同。因此,源域數(shù)據(jù)與目標域數(shù)據(jù)應(yīng)該滿足以下要求:① 來自同一傳感器,這可以保證兩域的數(shù)據(jù)特征空間是相同的;② 高維度的某域數(shù)據(jù)應(yīng)降維至低維度的另一域數(shù)據(jù);③ 兩域的數(shù)據(jù)地物類別的數(shù)量以及類型應(yīng)該保持一致或相似,這可以使兩域的學習任務(wù)是相同的;④ 在兩域數(shù)據(jù)中,相同類別的數(shù)據(jù)標簽應(yīng)是一致的。

隨后,為驗證模型的分類性能,實驗從原數(shù)據(jù)集中無放回地選取部分數(shù)據(jù),構(gòu)成訓(xùn)練模型的訓(xùn)練集,剩余數(shù)據(jù)自動歸為模型的測試集。

數(shù)據(jù)預(yù)處理算法設(shè)計可以總結(jié)為對數(shù)據(jù)進行學習任務(wù)的匹配和特征維的對齊,具體流程如算法1所示。

算法1 匹配學習任務(wù)和對齊特征維輸入:S=[XS,YS]∈{xi,yi}NSi=1:源域的訓(xùn)練數(shù)據(jù);DT=[XDT,YDT]∈{xi,yi}NTi=1:目標域的訓(xùn)練數(shù)據(jù);LS:源域的維度大小;LD:目標域的維度大小; NS:源域樣本數(shù)量;NT:目標域樣本數(shù)量1: 設(shè)置空集SN和DTN2: for i=1:NS(NT) do3: if yi!=0, then4: 將(xi,yi)填入SN或DTN5: end if6: end for7: 計算SN的樣本數(shù)量為NSN和DTN的地物類型8: for i=1:NSNdo9: if SN中的yi不屬于DTN的地物類別, then10: 從SN中剔除(xi,yi)11: end if12: end for13: 比較LS和LD大小,若相同,則直接跳到輸出14: 重新計算SN的樣本數(shù)量為NSN,DTN的樣本數(shù)量為NTN15: for i=1:NSN(or NTN) do16: 對SN(or DTN)中樣本的特征進行降維17: end for輸出:匹配學習任務(wù)以及特征降維后的SN和DTN

2.2 SMOTE流程設(shè)計

針對遙感圖像數(shù)據(jù)集中出現(xiàn)的類不平衡現(xiàn)象,實驗采用的SMOTE方法如算法2所示[34]。

算法2 SMOTE處理輸入:SN:特征與標簽對齊后的源域數(shù)據(jù);DTN:特征與標簽對齊后的目標域訓(xùn)練數(shù)據(jù);β1%:SN整體降采樣率;β2%:DTN整體降采樣率;α%:SMOTE再采樣率;Ni:第i個類別的訓(xùn)練數(shù)據(jù);L:類別數(shù)目1: 對SN和DTN分別以β1%和β2%進行降采樣2: 對SN和DTN中的樣本按類別進行分類,并根據(jù)每個類別的數(shù)量由高到低進行排序,N1是恒為樣本數(shù)量最多的類別3: for c=2:L do4: 對c類別進行有放回的隨機采樣α%·N1個數(shù)據(jù),獲得數(shù)據(jù)集Sct(c=2,3,…,L)5: 對c類別進行SMOTE采樣(1-α)%·N1個數(shù)據(jù),結(jié)合Sct,獲得數(shù)據(jù)集S' ct6: end for7: 拼接N1和S'ct,獲得新數(shù)據(jù)集GSN和GDTN輸出:類別平衡的源域數(shù)據(jù)集GSN和目標域訓(xùn)練數(shù)據(jù)集GDTN

2.3 深度網(wǎng)絡(luò)設(shè)計

本文利用標準數(shù)據(jù)集ImageNet對網(wǎng)絡(luò)進行預(yù)訓(xùn)練(除第1層),由于本文的第1層網(wǎng)絡(luò)的通道數(shù)為1,而ImageNet是3通道圖片,所以第1層的權(quán)重采用隨機值。該部分流程如算法3所示。

算法 3 深度網(wǎng)絡(luò)設(shè)計 輸入:arch:網(wǎng)絡(luò)名稱;block:網(wǎng)絡(luò)的殘差塊堆疊參數(shù);pretrained:預(yù)訓(xùn)練布爾值;model_ω:原ResNet網(wǎng)絡(luò)的預(yù)訓(xùn)練參數(shù);model.state_dict:實驗?zāi)Ｐ偷膮?shù)字典;new_state:更新后的預(yù)訓(xùn)練參數(shù)1: def ResNet(arch, block, pretrained):2: 根據(jù)block值設(shè)計殘差網(wǎng)絡(luò)結(jié)構(gòu)3: if pretrained,then 根據(jù)arch加載預(yù)訓(xùn)練參數(shù)model_ω4: for k,v in model.state_dict do if k in model_ω and k !=‘conv1.weight’,then 加載網(wǎng)絡(luò)參數(shù)進new_state5: 為模型加載新的預(yù)訓(xùn)練參數(shù)new_state6: def ResNet34(block,pretrained):7: ResNet(ResNet34,block,pretrained)8: 同理可得ResNet50和ResNet101輸出:網(wǎng)絡(luò)函數(shù)ResNet34、ResNet50和ResNet101

2.4 遷移神經(jīng)網(wǎng)絡(luò)設(shè)計

遷移神經(jīng)網(wǎng)絡(luò)通過對神經(jīng)網(wǎng)絡(luò)增添自適應(yīng)層來實現(xiàn)知識遷移的功能。自適應(yīng)層,如前所述,就是計算源域與目標域之間DL的環(huán)節(jié)。本文實驗采用單核自適應(yīng)層,該自適應(yīng)層設(shè)置在網(wǎng)絡(luò)全連接層前,計算兩域數(shù)據(jù)經(jīng)過網(wǎng)絡(luò)特征降維與采樣后的特征DL,并聯(lián)合該差異與網(wǎng)絡(luò)的CL,最后再通過梯度下降法,將該聯(lián)合損失反饋至網(wǎng)絡(luò),使得網(wǎng)絡(luò)能夠向減少兩域DL的方向優(yōu)化。該部分的算法分為兩個階段:① 遷移神經(jīng)網(wǎng)絡(luò)前向傳播;② 遷移神經(jīng)網(wǎng)絡(luò)后向傳播。具體流程如算法4所示。

算法 4 遷移神經(jīng)網(wǎng)絡(luò)設(shè)計階段1:遷移神經(jīng)網(wǎng)絡(luò)前向傳播輸入:source(target):源域(目標域)數(shù)據(jù);kernel_p:核函數(shù)參數(shù);numclass:分類類別數(shù)目;BaseNet:采用的深度網(wǎng)絡(luò)結(jié)構(gòu);name_loss:度量準則的名稱;lossdomain:兩域特征分布損失;prediction:網(wǎng)絡(luò)預(yù)測值1: def class MMD_loss(source, target, kernel_p):2: 根據(jù)kernel_p提供的參數(shù),計算source與target的MMD的DL3: def class CORAL_loss(source,target)4: 分別計算source和target的協(xié)方差矩陣,計算出兩者的CORAL的DL5: def class Transfer Net(numclass, BaseNet, name_loss):6: 根據(jù)BaseNet加載算法2中對應(yīng)的網(wǎng)絡(luò),保留除全連接層的所有神經(jīng)網(wǎng)絡(luò)層7: 將source和target輸入進上述網(wǎng)絡(luò),獲得更新后的source和target8: 根據(jù)nameloss,計算source和target的度量損失lossdomain9: 加載分類層,輸入source,獲得預(yù)測值prediction輸出:lossdomain和prediction階段2:遷移神經(jīng)網(wǎng)絡(luò)后向傳播輸入:lossdomain:領(lǐng)域間分布損失;prediction:網(wǎng)絡(luò)的預(yù)測值;source(target):源域(目標域)數(shù)據(jù);lossclf:源域的CL;TransferNet:遷移學習網(wǎng)絡(luò)1: 計算預(yù)測值prediction和源域數(shù)據(jù)source間的交叉熵損失lossclf2: 計算lossclf和lossdomain的聯(lián)合損失3: 反向傳播計算梯度4: 更新網(wǎng)絡(luò)參數(shù)輸出:參數(shù)更新后的網(wǎng)絡(luò)TransferResNet

3 實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)

實驗數(shù)據(jù)采用兩組標準高光譜數(shù)據(jù),分別是Center of Pavia 反射式光學系統(tǒng)成像光譜儀(reflective optics system imaging spectnmeter,ROSIS)和University of Pavia ROSIS(簡稱Pavia組)以及Salinas和SalinaA(簡稱Salinas組)。

(1) Center of Pavia ROSIS是第一組數(shù)據(jù)的源域數(shù)據(jù),University of Pavia ROSIS則是第一組數(shù)據(jù)的目標域數(shù)據(jù)。Center of Pavia ROSIS的圖片大小為1 096×1 096,光譜頻帶有102個,幾何分辨率為1.3 m,一共有9個地物類別。University of Pavia ROSIS的圖片大小為610×610,光譜頻帶有103個,幾何分辨率也為1.3 m,與前者相同,它也有9個地物類別。

(2) Salinas數(shù)據(jù)集和SalinasA數(shù)據(jù)集都由機載可見光/紅外成像光譜儀(airborne visible infrared imaging spectrometer,AVIRIS)傳感器收集而得。前者為第二組數(shù)據(jù)的源域數(shù)據(jù),后者則為第二組數(shù)據(jù)的目標域數(shù)據(jù)。它們的空間分辨率都為3.7 m,光譜頻帶有224個,前者的圖片大小為512×512,地物類別為16個,后者的圖片大小為86×83,地物類別則為6個。

為了更符合實際應(yīng)用情況,模型的源域數(shù)據(jù)量多于目標域,同時目標域訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)并不重疊,且目標域的訓(xùn)練數(shù)據(jù)無標簽。具體數(shù)據(jù)集信息如表1所示。

表1 數(shù)據(jù)集信息

3.2 評價方法與參數(shù)設(shè)置

為評價模型的分類性能,本文計算模型在兩組數(shù)據(jù)上的總體精度(overall accuracy, OA)、平均精度(average accuracy, AA)和Kappa系數(shù)。本文采用的優(yōu)化器為隨機梯度下降器,需要設(shè)置網(wǎng)絡(luò)的學習率(learning rate, LR)。由圖3可知,相比其他學習率設(shè)置(如1e-4和1e-2),當網(wǎng)絡(luò)的學習率為1e-3時,網(wǎng)絡(luò)在Pavia組數(shù)據(jù)和Salinas組數(shù)據(jù)訓(xùn)練的過程中都保持著較好的總體精度,且精度更快地趨向平穩(wěn)值,因此網(wǎng)絡(luò)的學習率設(shè)置為1e-3。此外,根據(jù)式(2)可知,網(wǎng)絡(luò)的聯(lián)合損失需要設(shè)置超參數(shù)λ。由圖4(a)和圖5(a)可知,對于不同的λ設(shè)置,網(wǎng)絡(luò)訓(xùn)練中的總體精度差距不明顯,尤其是在訓(xùn)練后期,3種λ的總體精度相近。因此,需考慮網(wǎng)絡(luò)訓(xùn)練的OA、AA以及Kappa系數(shù)的均值。由圖4(b)和圖5(b)可知,當λ為1e3時,網(wǎng)絡(luò)對Pavia組數(shù)據(jù)和Salinas組數(shù)據(jù)的分類都具有更好的評價分數(shù),尤其是AA分數(shù)顯著突出,Kappa分數(shù)次之。基于此,本文兩組數(shù)據(jù)在實驗中的λ都設(shè)置為1e3。與此同時,為了更客觀地考量分類算法的表現(xiàn),Pavia組中的數(shù)據(jù)每迭代5次進行一次總體精度計算,共迭代45次。Salinas組的數(shù)據(jù)每迭代10次進行一次總體精度計算,共迭代100次。訓(xùn)練結(jié)束后,統(tǒng)計平均OA、AA和Kappa系數(shù)。

圖4 不同λ下網(wǎng)絡(luò)分類Pavia組的評價分數(shù)Fig.4 Network’s classification evaluation indicator on Pavia group with different λ

圖5 不同λ下網(wǎng)絡(luò)分類Salinas組的評價分數(shù)Fig.5 Network’s classification evaluation indicator on Salinas group with different λ

3.3 實驗結(jié)果分析

本文設(shè)置實驗組和對照組,實驗組以3種不同深度和兩種度量準則來討論STR的分類性能;對照組則是ResNet對實驗數(shù)據(jù)進行分類的結(jié)果以及實驗數(shù)據(jù)在多表示適應(yīng)網(wǎng)絡(luò)(multi-representation adaptation network, MRAN)[35]中的結(jié)果。通過設(shè)置對照組,實驗結(jié)果能夠更好地體現(xiàn)本文所提算法在高光譜數(shù)據(jù)分類問題上的優(yōu)異表現(xiàn)。其中,ResNet的超參數(shù)設(shè)置與本文實驗保持一致;MRAN的超參數(shù)(除迭代次數(shù)與本文實驗一致)與原文設(shè)置保持一致。將實驗組與對照組的結(jié)果進行比較,本文發(fā)現(xiàn)基于CORAL準則的STR(CORAL-STR)的分類表現(xiàn)要比ResNet以及MRAN優(yōu)異,如表2所示,其中粗體為CORAL-STR的分類結(jié)果。

表2 Salinas組和Pavia組在STR、ResNet和MRAN的分類評價

根據(jù)前述內(nèi)容,實驗已完成所有準備工作,結(jié)果展示如表3～表6所示。其中,表3、表4分別展示了Salinas組數(shù)據(jù)和Pavia組數(shù)據(jù)基于SMOTE的過采樣處理,在3種ResNet網(wǎng)絡(luò)結(jié)構(gòu)和兩種度量準則下的分類結(jié)果,即OA、AA和Kappa系數(shù)。表5則展示了Pavia組數(shù)據(jù)和Salinas組數(shù)據(jù)未經(jīng)SMOTE過采樣和遷移學習處理的ResNet的分類結(jié)果。表6展示了數(shù)據(jù)在MRAN的分類結(jié)果。其中,結(jié)果的最優(yōu)值均以粗體示意,“-”表示數(shù)據(jù)未進行該輪次迭代。

表3 Salinas組經(jīng)SMOTE處理后的數(shù)據(jù)集在ResNet34、ResNet50和ResNet101分別以MMD和CORAL為度量準則的深度遷移學習分類結(jié)果

表4 Pavia組經(jīng)SMOTE處理后的數(shù)據(jù)集在ResNet34、ResNet50和ResNet101分別以MMD和CORAL為度量準則的深度遷移學習分類結(jié)果

表5 數(shù)據(jù)集在ResNet34、ResNet50和ResNet101分類結(jié)果

續(xù)表5

表6 數(shù)據(jù)集在MRAN(r1+r2)和MRAN的分類結(jié)果

實驗結(jié)果的分析將分為兩部分:① 對不同深度和采用不同度量準則的SMOTE-TransferResNet的分類表現(xiàn)進行比較;② 分別比較CORAL-STR與ResNet[23]以及MRAN者的分類表現(xiàn)。

首先,對于兩組數(shù)據(jù),在相同深度下,采用MMD準則的STR整體上與采用CORAL-STR的精度相近。在Salinas組數(shù)據(jù)中,當網(wǎng)絡(luò)深度為50層和101層時,前者的OA要比后者平均高出1%～1.3%,前者的AA比后者平均高出0.5%～1%,Kappa系數(shù)則高出1%～1.5%。值得一提的是,隨著網(wǎng)絡(luò)深度的上升,網(wǎng)絡(luò)的精度并不與其成正相關(guān)。實驗結(jié)果表明,網(wǎng)絡(luò)深度為50層的評價分數(shù)要比101層高,而且最好的評價分數(shù)出現(xiàn)在第34層,此時網(wǎng)絡(luò)的OA、AA和Kappa系數(shù)分別比高層網(wǎng)絡(luò)高出2%～6%、3%～5%和2.4%～6.5%。從Pavia組數(shù)據(jù)的分類結(jié)果來看,相同深度下,基于MMD準則的STR的OA和Kappa系數(shù)比基于CORAL-STR的OA和Kappa系數(shù)分別高出0.5%～0.8%和0.5%～1.2%。與Salinas組數(shù)據(jù)類似,Pavia組數(shù)據(jù)最好的分類評價分數(shù)也是發(fā)生在第34層網(wǎng)絡(luò),此時網(wǎng)絡(luò)的OA、AA和Kappa系數(shù)比高層網(wǎng)絡(luò)平均高出5%～10%,3%～10%和5%～13%。由此觀之,SMOTE-TransferResNet在較低的網(wǎng)絡(luò)深度也有更好的表現(xiàn)。因此,表2中選取基于CORAL準則的SMOTE-TransferResNet34作為對比實驗數(shù)據(jù)。

其次,由表3和表5可知,當網(wǎng)絡(luò)為CORAL-STR時,實驗組的OA比3種深度的ResNet高出0.8%～7%,Kappa系數(shù)有2.5%～10%的提升,AA有0.5%～8%的提升。由表4和表5可知,針對Pavia組數(shù)據(jù),當網(wǎng)絡(luò)為CORAL-STR時,實驗組的OA比ResNet高出6.5%～11.2%,Kappa系數(shù)有6%～8%的提升, AA則有8%左右的提升。此外,由表3、表4和表6可知,在兩組數(shù)據(jù)中,CORAL-STR的評價分數(shù)都比MRAN高,其中前者的OA、AA和Kappa系數(shù)比后者平均高出2.8%、0.35%和3.75%

綜上所述,對比ResNet和MRAN,STR能夠在高光譜數(shù)據(jù)標簽較少的情況下,在較低的網(wǎng)絡(luò)深度實現(xiàn)對不平衡高光譜數(shù)據(jù)更高精度的分類,這能夠節(jié)省遙感圖像分類的計算資源(不需要過于復(fù)雜的網(wǎng)絡(luò))和減少人力成本(不需要海量的標注數(shù)據(jù))。在當前遙感圖像分類問題中,數(shù)據(jù)類不平衡和完備標注數(shù)據(jù)較少的問題比較顯著,本文所提算法對解決這兩個問題具有一定的實際意義。

4 結(jié) 論

本文所提算法的意義在于為解決高光譜數(shù)據(jù)樣本標注少、數(shù)據(jù)隨時空動態(tài)變化和類不平衡等復(fù)雜問題提供一種新的研究方法。該算法利用SMOTE改善數(shù)據(jù)不平衡現(xiàn)象,同時實現(xiàn)對數(shù)據(jù)的增量,充分利用了深度學習強大的數(shù)據(jù)處理能力。此外,該算法應(yīng)用遷移學習減少了深度學習對數(shù)據(jù)集的限制。首先,通過數(shù)據(jù)預(yù)處理實現(xiàn)匹配源域數(shù)據(jù)與目標域數(shù)據(jù)的分類任務(wù);隨后,設(shè)計深度遷移神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),本文設(shè)置3種不同深度的網(wǎng)絡(luò),探討深度對模型分類性能的影響;最后,算法基于網(wǎng)絡(luò)遷移對本文網(wǎng)絡(luò)進行預(yù)訓(xùn)練。此外,本文算法基于特征遷移對網(wǎng)絡(luò)進行自適應(yīng)層的設(shè)計,設(shè)置MMD和CORAL為兩種自適應(yīng)度量準則。針對數(shù)據(jù)集中出現(xiàn)的類不平衡現(xiàn)象,本文所提方法通過SMOTE方法平衡數(shù)據(jù)。實驗結(jié)果表明,在高光譜數(shù)據(jù)標簽較少且類不平衡的問題下,本文算法在高光譜遙感圖像土地覆蓋分類問題中有更優(yōu)異的表現(xiàn)。在未來的研究中,可以探討在SMOTE處理中如何避免引入噪聲數(shù)據(jù),同時對網(wǎng)絡(luò)引入多核自適應(yīng)度量,增強對不同時空下高光譜數(shù)據(jù)的特征遷移。