基于SSAE深度學(xué)習(xí)特征表示的高光譜遙感圖像分類方法

,

(河海大學(xué) 商學(xué)院,南京 211100)

0 引言

高光譜遙感圖像不僅包含地物的連續(xù)、緊密的光譜信息，且包含地物的空間分布信息，為此在如農(nóng)業(yè)、礦物學(xué)、監(jiān)測和環(huán)境科學(xué)中有重要應(yīng)用[1]。對高光譜影像中每個像素進行分類是關(guān)鍵問題，目前學(xué)者引入了大量的機器學(xué)習(xí)方法來解決分類問題[2]。

機器學(xué)習(xí)算法的性能在很大程度上取決于它們的數(shù)據(jù)表示(特征)的選擇，這在計算機視覺任務(wù)中尤為明顯。其中精心設(shè)計的手工特征，如尺度不變特征變換(SIFT)或梯度直方圖(HOG)在各種任務(wù)中表現(xiàn)出很高的有效性[3-4]。但是，這些特征描述符的主要缺點是在設(shè)計過程中需要進行人為干預(yù)。此外，這些特征具有高維度特性并且具有有限的泛化能力。這就促使需要通過特征表示學(xué)習(xí)從數(shù)據(jù)中自動提取的有效特征，旨在學(xué)習(xí)原始數(shù)據(jù)的有用表示以用于更高級別的任務(wù)，并最小化學(xué)習(xí)算法對特征工程的依賴性[5]。

從基礎(chǔ)數(shù)據(jù)中學(xué)習(xí)這些特征會受許多變異因素的影響。例如，在遙感圖像方面，包括地面環(huán)境條件以及云污染會給特征學(xué)習(xí)帶來挑戰(zhàn)。一些學(xué)者采用各種經(jīng)典神經(jīng)網(wǎng)絡(luò)來提取特征，例如文獻[6]采用了卷積神經(jīng)網(wǎng)絡(luò)進行特征學(xué)習(xí)來提取特征。但是這些神經(jīng)網(wǎng)絡(luò)的計算復(fù)雜度都很高。

在這項工作中，我們的目標(biāo)是在現(xiàn)實世界的情景下找到衛(wèi)星數(shù)據(jù)的“優(yōu)良特征表示”。本文通過考慮稀疏自動編碼器(Sparse Auto-encoder, SAE)的框架，構(gòu)建一種無監(jiān)督特征表示學(xué)習(xí)方法。SAE是一種采用非線性編碼并施加稀疏性約束來表示原始數(shù)據(jù)的人工神經(jīng)網(wǎng)絡(luò)。為了在復(fù)雜背景下訓(xùn)練深度模型，本文利用一系列堆疊的稀疏自動編碼器，構(gòu)建堆疊稀疏自動編碼器(Stacked Auto-encoder, SSAE)進行特征映射，獲得圖像的特征表示。最后通過傳統(tǒng)的支持向量機(Support Vector Machine, SVM)分類器對輸入圖像特征進行分類，最終實現(xiàn)遙感圖像中像素的分類。

1 基于SSAE深度學(xué)習(xí)的特征表示

1.1 稀疏自動編碼器(SAE)

特征映射是將輸入模式x∈Rd轉(zhuǎn)換為k個神經(jīng)元(單位)的隱藏表示h(稱為編碼)，由編碼器函數(shù)定義：

f(x)=h=αf(W1x+b1)

(1)

其中:αf是應(yīng)用于輸入向量的激活函數(shù)。激活函數(shù)通常選擇為非線性，如邏輯sigmoid和雙曲正切。最近，人們越來越關(guān)注修正線性單元(Rectified Linear Unit, ReLU)[8]，它似乎在監(jiān)督識別任務(wù)中效果更好。

(2)

其中:αg是激活函數(shù)，W2∈Rd×k是解碼矩陣，b2∈Rd是從隱藏層到輸出層學(xué)習(xí)的偏置參數(shù)。

通過特定的損失函數(shù)，最小化輸入和輸出之間的重建誤差，來實現(xiàn)對自動編碼器的參數(shù)集A=W1的估計。給定訓(xùn)練集，一個典型的損失函數(shù)是用來尋求最小化的最小二乘誤差，優(yōu)化目標(biāo)[9]定義如下：

(3)

SAE是典型自動編碼器的特殊情況，其中編碼被限制為稀疏，即在訓(xùn)練期間僅有一小部分單元是活動的。信號和模型稀疏性具有許多優(yōu)點，對信號處理和機器學(xué)習(xí)產(chǎn)生了深遠的影響，例如魯棒性，模型復(fù)雜性，生成性和判別能力等。此外，來自神經(jīng)科學(xué)的證據(jù)表明，稀疏網(wǎng)絡(luò)更接近生物神經(jīng)元的反應(yīng)，因為被同時激活的神經(jīng)元的百分比估計在總數(shù)的1%到4%之間[10-11]。

圖1 傳統(tǒng)自動編碼器體系結(jié)構(gòu)

(4)

(5)

(6)

超參數(shù)β確定稀疏正則化的重要性。通過計算JspAE的偏導(dǎo)數(shù)并應(yīng)用反向傳播算法來更新一組特定的權(quán)重。這樣，在少量迭代之后，訓(xùn)練通常會收斂到全局最小?？梢酝ㄟ^常規(guī)優(yōu)化算法(例如，梯度下降)來實現(xiàn)最小化模型參數(shù)θ，也可以使用更復(fù)雜的算法，例如共軛梯度和BFGS(Broyden-Fletcher-Goldfarb-Shanno)方法以加速收斂。

1.2 堆疊稀疏自動編碼器(SSAE)

深度學(xué)習(xí)是表示學(xué)習(xí)的一個特例，它認為多層次表示會產(chǎn)生更通用和有益的特征。第一層神經(jīng)元的活動對應(yīng)于輸入的低級特征，而更高級別的抽象概念在隨后的隱藏層中進行編碼。更具體地說，本文為深度架構(gòu)提供表面反射輸入數(shù)據(jù)，這是從遙感觀測系統(tǒng)收集的原始數(shù)據(jù)，并嘗試通過分層方法來學(xué)習(xí)它們的“高級”版本，這將理想地匹配高質(zhì)量的手工特征。這里，本文考慮的高質(zhì)量特征是歸一化植被指數(shù)(NDVI)和地表溫度(LST)，這些特征是從MODIS Terra檢索的相同月份的相同圖塊上提取的。NDVI和LST時間序列特征的組合可以量化植被生長表現(xiàn)和土地覆蓋物理特征的變化。

通過這種方式，本文目標(biāo)是繞過專家對這些特征的經(jīng)驗設(shè)計要求，自動學(xué)習(xí)可以替代和增強圖像的特征表示。同時，由于處理的無監(jiān)督性質(zhì)，所提出的方法更具普遍性，并且還可以與其他類型的目標(biāo)一起工作，例如城市地區(qū)的結(jié)構(gòu)。

通過將單層自動編碼器堆疊在一起，可以創(chuàng)建具有兩個或更多隱藏層的堆疊自動編碼器架構(gòu)[13]，如圖2所示，其中圓圈表示特征單元。黑色表示隱藏層單元，而白色表示可見單元，兩個中間層構(gòu)成一個編碼器。

圖2 4層堆疊自動編碼器網(wǎng)絡(luò)[3-4-4-2]

形式上，首先將原始數(shù)據(jù)作為輸入，訓(xùn)練SAE。然后丟棄解碼器層，使得隱藏單元(第1層特征)的激活，成為用于訓(xùn)練第二自動編碼器層的輸入(前饋)，進而產(chǎn)生另一表示(第2層特征)。這種貪婪的逐層過程使先前的圖層保持固定，并忽略與后續(xù)圖層的交互，從而大大減少了對參數(shù)空間的搜索。雖然這個過程可以重復(fù)多次，但很少涉及三個以上的隱藏層。我們可以根據(jù)下式來公式化堆疊自動編碼器：

hL=fL(…f2(f1(x)))

(7)

其中:hL表示由頂層L學(xué)習(xí)的表示。整個架構(gòu)的輸出用于反饋給獨立的分類器，與原始輸入相比，這種方式提供了改善的數(shù)據(jù)表示。

深度學(xué)習(xí)的挑戰(zhàn)在于，梯度信息很難通過一系列隨機初始化的層，這是因為很難確定一個好的起點。無監(jiān)督預(yù)訓(xùn)練是最近開發(fā)的且非常有影響力的協(xié)議，通過引入用于初始化每層權(quán)重的先驗知識來幫助緩解該優(yōu)化問題，允許梯度“流動良好”。自動編碼器作為無監(jiān)督學(xué)習(xí)的一個基本例子，作為預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的方法引起了很多關(guān)注。在形式上，我們使用SAE以自下而上的方式一次訓(xùn)練一個層，用于固定數(shù)量的更新(輪次)。到目前為止，該程序完全沒有監(jiān)督。隨后在深層結(jié)構(gòu)的頂層引入監(jiān)督的重建，以便相對于監(jiān)督標(biāo)準(zhǔn)微調(diào)基于梯度的優(yōu)化算法，該標(biāo)準(zhǔn)稱為微調(diào)階段的過程。作為最后一個可選的訓(xùn)練階段，可以通過全局微調(diào)進一步優(yōu)化參數(shù)，每調(diào)整一次都使用通過整個網(wǎng)絡(luò)架構(gòu)的反向傳播。

1.3 數(shù)據(jù)預(yù)處理

(8)

2 基于SVM的像素分類

本文將支持向量機(SVM)作為基礎(chǔ)分類器，根據(jù)所提取的特征對遙感圖像進行分類。SVM被認為是最有效的遙感數(shù)據(jù)分類器之一[14]。假設(shè)每個訓(xùn)練示例xi與二進制標(biāo)簽yi∈{0,1}相關(guān)聯(lián)，則SVM分類器試圖在該較高維空間中找到具有最大余量的線性分離超平面。形式上，當(dāng)內(nèi)核函數(shù)是線性的時，SVM尋求以下約束優(yōu)化問題的解決方案：

subject toyi(ωxi-ω0)≥1-ξi,ξi≥0

(9)

其中:松弛變量ξi測量數(shù)據(jù)的錯誤分類程度，參數(shù)C> 0控制松弛變量罰分和保證金之間的交易。

3 實驗及分析

3.1 數(shù)據(jù)集

在本文的實驗中，使用兩個高光譜數(shù)據(jù)集，印第安納農(nóng)場數(shù)據(jù)集(Indian Pines)和意大利帕維亞大學(xué)數(shù)據(jù)集(U.Pavia)[15]。對于兩個數(shù)據(jù)集，從圖像的地面實況中都選擇出包含9種不同土地覆蓋類別進行分類實驗。兩個數(shù)據(jù)集中的遙感圖像和分類標(biāo)簽實例分別如圖3和圖4所示。

圖3 Indian Pines數(shù)據(jù)集上的實例圖像

圖4 U.Pavia數(shù)據(jù)集上的實例圖像

隨機挑選來自每個類的200個標(biāo)記像素以構(gòu)建訓(xùn)練集。其余的標(biāo)記樣品構(gòu)成測試集。從可用訓(xùn)練集中提取一部分驗證集以調(diào)整模型的超參數(shù)。

3.2 參數(shù)設(shè)置

對于控制自動編碼器稀疏度的超參數(shù)ρ和β，我們首先以合理的值執(zhí)行粗網(wǎng)格搜索，并且在所有情況下，根據(jù)最小Jaccard系數(shù)執(zhí)行參數(shù)選擇。其中，ρ∈{0.001,0.01,0.1,0.5,0.9}，β∈{1,3,5,7,9}。隨后在產(chǎn)生最佳分?jǐn)?shù)的參數(shù)組合(ρ,β)附近進行更精細的搜索。最后結(jié)果表明，當(dāng)ρ=0.5，β=3時效果較好。

對于神經(jīng)網(wǎng)絡(luò)的兩個關(guān)鍵系統(tǒng)參數(shù)，即隱藏層神經(jīng)元數(shù)量以及隱藏層深度對性能的影響。通過多次實驗，最終設(shè)定神經(jīng)網(wǎng)絡(luò)中隱藏層數(shù)量為2，每層的神經(jīng)元數(shù)量為120。

3.3 性能指標(biāo)

根據(jù)以下指標(biāo)評估分類方法的性能：

1)總體準(zhǔn)確度(OA)：是正確分類的樣本總數(shù)與所有類別的樣本總數(shù)之比。

2)F值：設(shè)置TP，TN，F(xiàn)N和FP分別表示真陽性，真陰性，假陰性和假陽性樣品的數(shù)量，那么F值表示為：

(10)

3)Kappa系數(shù)：是不同評估者之間一致性程度的統(tǒng)計指標(biāo)。假設(shè)有兩個評估者將N個項分類為C個互斥類。然后，Kappa系數(shù)由下式給出：

(11)

其中:p0是相對觀察到的一致概率，pe是一致改變的假設(shè)概率。k=1表示評估者之間完全一致，而k≤0表示根本沒有達成一致。

3.4 實驗結(jié)果

本文結(jié)合了基于SSAE深度學(xué)習(xí)的特征表示方法和SVM分類器，構(gòu)建了一種遙感圖像分類方法，稱為SSAE+SVM。為了驗證本文方法的有效性，將其與現(xiàn)有的幾種方法進行比較。為了比較的公平性，分類器都采用SVM分類器。首先，為了證明SSAE深度學(xué)習(xí)特征表示的有效性，構(gòu)建一種對比方法，即傳統(tǒng)特征+SVM分類器。另外，還與文獻[6]提出的利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)進行特征提取的方法進行了比較。在兩個數(shù)據(jù)集上的比較結(jié)果如表1和表2所示。

表1 Indian Pines數(shù)據(jù)集上的實驗結(jié)果

表2 U.Pavia數(shù)據(jù)集上的實驗結(jié)果

可以看到，本文SSAE+SVM方法與傳統(tǒng)特征+SVM方法相比有明顯改善，這說明了采用SSAE深度學(xué)習(xí)進行特征表示對提高分類性能有明顯的促進作用。另外，本文方法也比文獻[6]方法的性能更好，這是因為SSAE深度學(xué)習(xí)能夠解決傳統(tǒng)神經(jīng)網(wǎng)絡(luò)易陷入局部最優(yōu)的問題，且無需大量含有標(biāo)簽的數(shù)據(jù)集，為此進一步提高了分類性能。

4 結(jié)論

本文提出一種基于SSAE深度學(xué)習(xí)特征表示和SVM的高光譜遙感圖像分類方法，用以解決傳統(tǒng)分類方法中特征需要手工設(shè)計的缺陷。通過SSAE來從訓(xùn)練數(shù)據(jù)中不斷學(xué)習(xí)，以此獲得最佳的特征表示，并將其作為SVM分類器的輸入，對圖像像素進行分類。在兩個都包含9種物質(zhì)類別的Indian Pines和U.Pavia高光譜數(shù)據(jù)集上進行了驗證實驗，結(jié)果證明了本文方法的有效性。