基于元學習的小樣本遙感圖像分類

甘正勝，孔 燕，劉 琦

(南京信息工程大學 計算機與軟件學院，江蘇 南京 210000)

0 引 言

隨著傳感器技術的發(fā)展和社會經濟價值的需求，研究人員越來越重視對遙感數(shù)據(jù)的分析。然而，對遙感圖像分類存在兩個困難：一方面，遙感圖像具有高分辨率、空間和語義信息豐富的特點，傳統(tǒng)的機器學習方法如svm、knn、決策樹難以有效地捕捉到遙感圖像的特征。另一方面，由于遙感影像復雜的裁剪、標注工序，研究人員很難獲得大規(guī)模的遙感數(shù)據(jù)影像集。

為了針對遙感圖像數(shù)據(jù)集的兩個特點，解決小樣本遙感圖像分類問題，本文基于元學習提出了對meta-lstm[1-3]的改進遷移元學習算法(transfer-meta)，使用卷積神經網絡作為分類器捕捉遙感圖像豐富的場景語義信息[4]。在預訓練階段，通過變分自編碼器的無監(jiān)督訓練學習不同任務之間的通用表征分布，把握跨多任務的知識轉移，以完成對元學習器門結構的參數(shù)遷移。通過改進元學習器門結構和使用部分更新分類器的訓練策略，大幅度減少了meta-lstm的元學習器的訓練時間。我們以西北工業(yè)大學提供的NWPU-RESISC45數(shù)據(jù)集作為遷移學習階段的源數(shù)據(jù)集，以美國地質調查局提供的UCMerced LandUse數(shù)據(jù)集和由華中科技大學、武漢大學聯(lián)合發(fā)布的AID數(shù)據(jù)集在元學習階段進行模型訓練與評估。進行5way-5 shot和5way-1 shot實驗。本文選擇的主要基準對照實驗為meta-lstm，此外本文還進行一系列的補充對照實驗。綜上所述，本文的主要貢獻如下：

(1)提出了基于遷移學習的元學習器門結構初始化方法，使得分類器具有跨多任務的泛化性能；

(2)優(yōu)化meta-lstm的門結構計算方式，對分類器的FC層進行meta-learning，有效提高了網絡結構的整體效率；

(3)提出了基于元學習的transfer-meta算法，為罕見遙感圖像數(shù)據(jù)集的分類問題提供解決思路。

1 相關工作

遙感圖像以一定的比例為基礎，客觀、真實地記錄和反映各種地物電磁輻射強弱的膠片或照片。遙感圖像蘊含的空間語義信息和場景語義信息具有重要的研究價值和應用意義。

早期的遙感圖像分類大部分是人工特征提取方法，例如顏色直方圖提取顏色特征、LBP提取紋理特征[5]等等。但是這些方法提取的是單一的低層次的圖像特征，難以用來描述遙感圖像豐富的語義信息。一些學者使用無監(jiān)督學習從大量無標簽數(shù)據(jù)中學習遙感圖像的特征，然后使用svm等方法進行分類。Li等通過使用大量數(shù)據(jù)結合群體優(yōu)化算法對svm的參數(shù)進行尋優(yōu)以提升svm的分類性能[6]。一些機器學習模型如BoVW[7]融合了多種低級特征進行分類，但對遙感圖像分類的精度提升有限。因為傳統(tǒng)機器學習方法始終很難描述遙感圖像的高維特征。

2006年以來，深度學習浪潮開始流行。眾多深度學習算法被應用到遙感圖像分類。He等使用深度置信網絡對遙感圖像進行分類，其結果明顯優(yōu)于svm等機器學習算法[8]。Bera等使用基于平均池化和加權池化技術的深度卷積網絡在大規(guī)模數(shù)據(jù)集上提取遙感圖像的特征進行分類[9]。然而，在一些稀有的小樣本遙感數(shù)據(jù)集上，傳統(tǒng)深度學習算法極易導致模型過擬合。針對小樣本數(shù)據(jù)集的分類問題，近年來涌現(xiàn)了一系列方法。Mehrotra等通過使用生成對抗網絡學習數(shù)據(jù)分布更大的不變性空間來進行數(shù)據(jù)擴充[10]。Koch等使用孿生神經網絡處理小樣本分類問題，模型通過輸入的不同類別的樣本對來學習余弦度量空間，然后輸出樣本對的得分以此判斷類別[11]。Vinyal等將度量學習與記憶增強網絡相結合提出了深度匹配網絡，該網絡可以通過端到端的學習完成對小樣本的分類[12]?；诙攘繉W習的算法嚴重依賴于度量方式的選取和度量空間學習的好壞。元學習的算法也被廣泛應用于小樣本圖像分類。Finn等提出了模型不可知元學習方法(MAML)，該模型在訓練集上針對不同的訓練任務分別更新模型的參數(shù)，在測試集上統(tǒng)計所有任務的損失，使用梯度下降算法更新當前輪次的初始模型參數(shù)[13]。有研究結果表明，MAML的元素級微調操作極易導致模型過擬合[14]。

2 基于元學習的小樣本圖像分類算法

本節(jié)我們提出了一種基于元學習的小樣本圖像分類算法。首先，在預訓練階段，通過變分自編碼器的無監(jiān)督訓練，提取多任務的低維通用特征。然后，移除VAE的解碼器，將編碼器輸出的隱特征與FC分類層相連構建分類器模型。最后使用改進元學習器和局部更新策略對分類器進行元訓練。

2.1 算法框架

深度學習模型是根據(jù)梯度下降的優(yōu)化算法來更新模型的參數(shù)，如式(1)所示

(1)

基于梯度下降的優(yōu)化算法如SGD,ADAM使用固定的超參數(shù)或者更新公式來計算步長[15]，人工設計的超參數(shù)或更新規(guī)則難以有效搜索算法優(yōu)化空間，而在小樣本數(shù)據(jù)集上使用枚舉法進行ADAM等進行調參不僅費時費力還容易導致過擬合。因此，本文采用分類器-元學習器的框架，通過元學習器度量分類器在分類任務上的表現(xiàn)來自動學習模型參數(shù)?？蚣苋鐖D1所示。

圖1 分類器-元學習器框架原理

在t時刻遙感圖像輸入分類器f訓練，產生遙感圖像的預測結果，使用預測結果和對應的樣本標簽計算交叉熵損失losst， 并與t時刻分類器f的梯度gradt組合成誤差信號即元損失lt， 元學習器g接收元損失通過神經網絡計算輸出t+1時刻的分類器模型參數(shù)θt+1， 如式(2)、式(3)所示

gradt,losst←f(Dmeta;θt)

(2)

lt←?(gradt,losst)

(3)

θt+1←g(lt;Θt)

(4)

相較于傳統(tǒng)的人為設定的梯度更新算法，本文采用的框架的優(yōu)勢在于作為神經網絡的元學習器具有高度的表達性，可以建模出任何復雜的參數(shù)更新公式；并且通過反向傳播算法可以對損失函數(shù)的優(yōu)化空間進行高效搜索，為分類器f處理小樣本遙感圖像分類問題時提供良好的模型初始化參數(shù)，有效緩解小樣本數(shù)據(jù)集帶來的過擬合問題。

2.2 網絡結構設計

2.2.1 元學習器

Li等使用全連接神經網絡作為元學習器，通過全連接神經網絡預測分類器的梯度，通過分類器損失的最小化下界來更新元學習器。其優(yōu)點在于元學習網絡結構簡單，元學習階段訓練時間較短，顯然這并未考慮元學習器在優(yōu)化空間上的搜索行為的前后關聯(lián)性，大大限制了分類器的泛化性能。Ravi等提出meta-lstm算法，meta-lstm是一種基于LSTM的分類器-元學習器模型框架。元學習器通過LSTM的輸入門、遺忘門和輸出門3種門結構協(xié)同交互運算來有選擇性地控制序列輸入數(shù)據(jù)在細胞狀態(tài)上的流動，將細胞狀態(tài)擬合參數(shù)更新機制完成模型參數(shù)的自動學習。meta-lstm相比于全連接神經網絡在分類器性能上有了一定提升，但是其元學習器復雜的網絡結構會導致模型效率低下，而其隨機初始化元學習器門結構的操作使分類器難以學習小樣本多任務之間的知識轉移。

本文提出基于GRU(gate recurrent unit)的元學習器模型，僅通過重置門和更新門兩個門控結構自適應調節(jié)元損失信息的流動，同時考慮到元損失的前后關聯(lián)性和優(yōu)化模型效率。首先，由于元損失在神經網絡的不同層級結構如卷積層、分類層上數(shù)值差異較大，所以為了使不同層級的元損失特征處在同一數(shù)量級上，加強GRU對分類器的度量性能，需要對元損失進行處理

(5)

其中，元損失l為n×2維，由n×1維的grad和n×1維的loss拼接而成。α為調節(jié)元損失的參數(shù)設置為10。

然后，將元損失張量傳入GRU，通過GRU門控單元將t時刻的元損失lt映射成為分類器更新機制。重置門rt將輸入lt與前一時刻的狀態(tài)ht-1有選擇地結合。更新門zt控制前一時刻狀態(tài)ht-1在當前時刻狀態(tài)ht的程度

rt=σ(wr*[ht-1,lt])

(6)

zt=σ(wz*[ht-1,lt])

(7)

其中，wr由rt與lt的權重矩陣wrl和ht-1與rt的權重矩陣wrht-1拼接而成，wz由zt與lt的權重矩陣wzl和ht-1與zt的權重矩陣wzht-1拼接而成。

再通過tanh函數(shù)將lt與GRU記憶單元的信息相關聯(lián)

(8)

(9)

2.2.2 基于遷移學習的模型初始化

為進一步緩和小樣本輸入數(shù)據(jù)帶來的過擬合問題，本文使用基于遷移學習的無監(jiān)督模型初始化操作。算法分為兩步：預訓練階段和元學習階段。在預訓練階段，本文在NWPU-RESISC45數(shù)據(jù)集上預訓練變分自編碼器，通過VAE的無監(jiān)督訓練提取數(shù)據(jù)集豐富的語義隱特征，將編碼層參數(shù)遷移至GRU的隱狀態(tài)中以代替?zhèn)鹘y(tǒng)的隨機初始化操作如meta-lstm，提升分類器在新任務上的泛化性能。

VAE是一種概率生成模型，通過編碼解碼操作實現(xiàn)真實分布到生成分布的轉換。在預訓練階段將NWPU-RESISC45 數(shù)據(jù)集的影像傳入VAE進行無監(jiān)督訓練，通過神經網絡的反向傳播算法最小化變分推理下界

L(φ′;θ′;x)=Eqφ′(y|x)[logpθ′(x|y)]-DKL(qφ′(y|x)‖pθ′(y))

(10)

其中，qφ′(y|x) 表示映射輸入數(shù)據(jù)x到隱變量y的識別模型，pθ′(x|y) 表示重構隱變量y到x的解碼模型，DKL(qφ′(y|x)‖pθ′(y)) 度量qφ′(y|x) 與先驗分布pθ′(y) 的相似度。通過變分推理引入固定分布qφ′(y|x) 來求解后驗分布pθ′(x|y)。

VAE的無監(jiān)督預訓練操作能夠使得由編碼器映射的隱變量y包含數(shù)據(jù)集的通用高級特征，為分類器提供良好初始化參數(shù)，降低分類器對標注樣本的需求。算法偽代碼見表1。

2.3 基于局部更新策略的模型效率優(yōu)化

Meta-lstm將分類器整個網絡參數(shù)傳入元學習器進行訓練，分類器參數(shù)多，元學習器輸入數(shù)據(jù)量大，在LSTM復雜的內部結構計算時間效率低下。本文的預訓練階段使分類器把握到了多任務的共性知識轉移。本文在元學習階段使用分類器的FC層參數(shù)作為GRU的輸入。相比于meta-lstm，F(xiàn)C層的部分更新策略有兩個優(yōu)勢：第一，充分利用了預訓練階段的特征提取層參數(shù)，經過元學習階段的finetune，使分類器注意跨任務的共性知識，有效解決小樣本過擬合問題；第二，F(xiàn)C層參數(shù)較少，F(xiàn)C層的元學習訓練大大加速了算法框架的訓練時間。

表1 transfer-meta算法偽代碼

3 實驗與分析

3.1 實驗環(huán)境配置

本文實驗的硬件配置是Windows10操作系統(tǒng)下的Intel i7 8750H cpu，運行內存為8 GB，使用RTX2080Ti gpu來加速模型運算。實驗使用的編程語言是python3.7，深度學習庫為pytorch1.2。

3.2 實驗數(shù)據(jù)集

實驗使用nwpu-resisc45數(shù)據(jù)集作為預訓練階段的數(shù)據(jù)集。nwpu-resisc45數(shù)據(jù)集是西北工業(yè)大學發(fā)布的遙感影像場景分類數(shù)據(jù)集。該數(shù)據(jù)集像素大小為256*256，共有31 500 幅圖像，包括45個類別，每個類別有700幅圖片，類別包括港口、河流、鐵路、飛機等等。本文將數(shù)據(jù)集按9∶1 的比例劃分為訓練集和測試集。實驗使用UCMerced LandUse和AID作為元學習階段的數(shù)據(jù)集。UCMerced LandUse是美國國家地質調查局為土地勘測而制作的遙感圖像數(shù)據(jù)集。該數(shù)據(jù)集的圖像規(guī)格為256*256像素，包括21個類別，每個類別有100幅圖像。AID是由華中科技大學和武漢大學聯(lián)合發(fā)布的遙感圖像分類數(shù)據(jù)集，數(shù)據(jù)集包含30個類別，每個類別有220～420張影像不等，總計10 000張。上述數(shù)據(jù)集如圖2～圖4所示。

圖2 nwpu-resisc45數(shù)據(jù)集

圖3 UCMerced_LandUse數(shù)據(jù)集

圖4 AID數(shù)據(jù)集

本文將數(shù)據(jù)集隨機劃分為元訓練數(shù)據(jù)集，元驗證數(shù)據(jù)集和元測試數(shù)據(jù)集。每個子集隨機抽取5個類別，每個類別隨機抽取5個樣本進行5way5shot訓練，隨機抽取1個樣本進行5way1shot訓練，隨機抽取15個樣本進行測試。

3.3 實驗結果與分析

本文使用GRU作為元學習器，GRU的input size為4，out size為20，使用Adam優(yōu)化器更新GRU參數(shù)，使用卷積神經網絡作為分類器，卷積核大小為3*3，輸出通道為32，損失函數(shù)為預測值與標簽的交叉熵。本文從元學習數(shù)據(jù)集Dmeta的訓練集上采樣20 000批次的樣本訓練，每1000批次訓練結束后，從Dmeta的驗證集上采樣數(shù)據(jù)對分類器的泛化性能進行評估。

3.3.1 UCMerced LandUse上模型性能對比

圖5和圖6展示了本文算法transfer-meta使用UCMerced LandUse數(shù)據(jù)集與meta-lstm在20輪次驗證集上的分類準確率對比曲線。

圖5 5way5shot準確率對比

圖5為transfer-meta和meta-lstm在5way5shot實驗上準確率的對比圖。從圖5中可以觀察到，本文算法在20輪次的驗證集上分類精度均高于meta-lstm。transfer-meta在第8驗證輪次分類器泛化能力達到最大，準確率為87.3%，對照方法meta-lstm在第8驗證輪次分類器泛化能力達到最優(yōu)，準確率為81.2%。transfer-meta的分類準確率比meta-lstm提高了7.1%。

圖6 5way1shot準確率對比

圖6為transfer-meta和meta-lstm在5way1shot實驗上準確率的對比圖。本文算法transfer-meta在第11驗證輪次分類器性能達到最好，準確率為74.0%，meta-lstm在第7驗證輪次分類器性能達到最優(yōu)，準確率為67.0%，相比于meta-lstm，本文算法準確率提高了7.0%。實驗結果表明，本文算法在5way5shot和5way1shot上相比于meta-lstm分類準確率有明顯提升。

同時，本文分別選取tansfer-meta和meta-lstm分類器泛化性能最好的模型，在Dmeta的測試集上進行測試，并與其它算法進行對比。在測試集上的實驗結果見表2和表3。

表2 UCML數(shù)據(jù)集上5way5shot準確率對比

對比算法transfer learning是基于峰值收斂策略微調在nwpu-resisc45數(shù)據(jù)集上預訓練的卷積神經網絡模型。對比算法MatchingNets來自文獻[12]，通過學習特征度量空間對小樣本數(shù)據(jù)進行分類。對比算法meta-lstm來自文獻[3]。對比算法maml來自文獻[14]，算法流程是在Dmeta的訓練集上根據(jù)不同任務的損失之和更新分類器模型，在Dmeta的測試集上測試性能。對比算法reptile來自文獻[16]，reptile是基于maml的first-order gradient算法。

表3 UCML數(shù)據(jù)集上5way1shot準確率對比

3.3.2 AID數(shù)據(jù)集上模型性能對比

本文算法transfer-meta使用AID數(shù)據(jù)集與meta-lstm在20輪次驗證集上的分類準確率如圖7、圖8所示。

圖7 5way5shot準確率對比

圖8 5way1shot準確率對比

圖7和圖8分別為兩種算法在AID數(shù)據(jù)集上進行5way5shot實驗和5way1shot實驗的準確率對比圖。從圖7 可以觀察到，transfer-meta在第9驗證輪次分類器泛化能力達到最大，準確率為81.5%，對照方法meta-lstm在第12驗證輪次分類器的泛化能力達到最大峰值，準確率為77.1%。transfer-meta的分類準確率比meta-lstm提高了4.4%。從圖8中可以觀察到，本文算法transfer-meta在第9驗證輪次分類器性能達到最好，準確率為65.6%，meta-lstm在第11驗證輪次分類器性能達到最優(yōu)，準確率為59.2%，相比于meta-lstm，本文算法準確率提高了6.4%。不同算法在AID測試集上的表現(xiàn)見表4和表5。

表4 AID數(shù)據(jù)集上5way5shot準確率對比

表5 AID數(shù)據(jù)集上5way1shot準確率對比

由表2～表5可以觀察到，transfer-meta在5way5shot和5way1shot上都達到了最好的性能，這是因為本文算法結合了遷移學習和元學習的思想，一方面使模型通過VAE的無監(jiān)督表征訓練學習到了多任務之間的知識轉移，在初始的驗證輪次中就達到了良好的分類性能，另一方面通過元學習的參數(shù)更新機制使模型的優(yōu)化空間得到擴展，能夠達到更好的分類精度。

4 結束語

本文針對小樣本遙感圖像分類問題提出了transfer-meta算法。首先，該算法基于分類器-元學習器框架，通過元學習器的門結構來表示分類器的參數(shù)，不僅學習了分類器的參數(shù)，還學習了分類器參數(shù)更新機制。其次，通過遷移變分自編碼器特征提取層參數(shù)使分類器學習到了任務之間的共性知識，有效緩解了過擬合的問題。最后，通過修改lstm為gru和分類器局部更新策略大大縮減了元學習階段的訓練時間，提升了模型的運行效率。實驗結果驗證了本文算法的性能，為罕見的小樣本遙感圖像分類問題提供可行解。