一種基于棧式壓縮自編碼的高光譜圖像分類方法

郭棚躍， 劉振丙

(1. 桂林電子科技大學(xué) 電子工程與自動(dòng)化學(xué)院,廣西 桂林 541004；2.桂林電子科技大學(xué) 計(jì)算機(jī)與信息安全學(xué)院,廣西 桂林 541004)

高光譜圖像中包含豐富的圖譜信息，根據(jù)這些信息可實(shí)現(xiàn)對(duì)地面物體的準(zhǔn)確分類，因此其被廣泛應(yīng)用于軍事目標(biāo)探測(cè)、生態(tài)環(huán)境監(jiān)測(cè)、城市發(fā)展規(guī)劃及地質(zhì)勘測(cè)等領(lǐng)域[1-2]。其中，對(duì)獲取的高光譜圖像進(jìn)行準(zhǔn)確的分類在該領(lǐng)域的研究中扮演著極為重要的角色。

近年來(lái)，為了解決高光譜圖像分類問(wèn)題，學(xué)者提出了很多基于光譜信息的分類算法，如K近鄰、貝葉斯、最大似然估計(jì)及隨機(jī)森林等[3-5]。雖然這些算法取得了較好的分類效果，但由于高光譜圖像存在“同物異譜、同譜異物”現(xiàn)象，且樣本標(biāo)注點(diǎn)較少，導(dǎo)致以上算法存在分類精度較低、模型穩(wěn)定性差。支持向量機(jī)(support vector machine,簡(jiǎn)稱SVM)對(duì)高維數(shù)據(jù)的敏感度較低，可以解決光譜維數(shù)過(guò)高出現(xiàn)的Hughes現(xiàn)象[6]，Wang等[7]將復(fù)合核引入支持向量機(jī)，提高了其分類性能。文獻(xiàn)[8-9]將復(fù)合核引入支持向量機(jī)，提高了其分類性能。HSI圖像中包含光譜信息及豐富的空間信息，許多研究人員將空間信息和光譜信息融合作為特征進(jìn)行分類并取得了較高的分類精度[10]。Li等[11]通過(guò)馬爾科夫隨機(jī)場(chǎng)模型處理空間鄰域信息，并結(jié)合邏輯回歸實(shí)現(xiàn)了高光譜圖像的分類。Chen等[12]將相鄰像素點(diǎn)間空間相干性合并，同時(shí)將小鄰域內(nèi)的所有像素點(diǎn)聯(lián)合表示在特征空間中，有效提高了不同類別數(shù)據(jù)之間的可分性，但是該方法對(duì)所有的領(lǐng)域像素貢獻(xiàn)相同，對(duì)邊緣非均勻區(qū)域的貢獻(xiàn)較小。Zhang等[13]通過(guò)對(duì)中心像素周圍不同的相鄰像素賦予不同權(quán)值來(lái)提取空間特征，有效解決了聯(lián)合稀疏模型中領(lǐng)域權(quán)重貢獻(xiàn)相同的問(wèn)題。以上方法雖然有很好的分類效果，但需根據(jù)特定領(lǐng)域的先驗(yàn)知識(shí)進(jìn)行人工特征提取。

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,簡(jiǎn)稱CNN)近年來(lái)得到了快速發(fā)展，以至于深度學(xué)習(xí)在語(yǔ)音識(shí)別、自然語(yǔ)言處理、圖像處理等領(lǐng)域廣泛應(yīng)用[14-16]。Zhao等[17]提出了一種通過(guò)局部判別嵌入算法來(lái)實(shí)現(xiàn)光譜特征提取，使用2-D-CNN提取待分類像素點(diǎn)的鄰域空間特征，然后融合空間特征和光譜特征進(jìn)行分類。劉啟超等[18]提出了一種小規(guī)模樣本下高光譜圖像分類的空-譜卷積稠密網(wǎng)絡(luò)算法。該算法通過(guò)光譜維一維卷積和空間維二維卷積的分離卷積結(jié)構(gòu)構(gòu)成隱層單元,并通過(guò)多個(gè)隱層單元堆疊構(gòu)造深度網(wǎng)絡(luò)。然而CNN是有監(jiān)督學(xué)習(xí)模型，需要大量的有標(biāo)簽數(shù)據(jù)進(jìn)行訓(xùn)練，以便獲得更為魯棒和更優(yōu)的分類網(wǎng)絡(luò)權(quán)重參數(shù)。相比于卷積神經(jīng)網(wǎng)絡(luò)，自編碼網(wǎng)絡(luò)[19](autoencoder,簡(jiǎn)稱AE)屬于無(wú)監(jiān)督神經(jīng)網(wǎng)絡(luò)模型，在網(wǎng)絡(luò)訓(xùn)練時(shí)無(wú)需大量的標(biāo)記樣本，能夠很好地重構(gòu)原始數(shù)據(jù)特征信息。Chen等[20]首次使用堆疊自編碼網(wǎng)絡(luò)(stack autoencoder,簡(jiǎn)稱SAE)提取高光譜圖像的光譜-空間特征，并使用邏輯回歸進(jìn)行分類，取得了很好的分類效果。

AE網(wǎng)絡(luò)能夠很好地重構(gòu)原始數(shù)據(jù)的特征信息，但輸入數(shù)據(jù)中的擾動(dòng)會(huì)對(duì)輸出結(jié)果產(chǎn)生影響[21]。壓縮自編碼(contractive autoencoder,簡(jiǎn)稱CAE)引入了雅克比矩陣，能夠很好地重構(gòu)出原始數(shù)據(jù)，同時(shí)具有良好的抗擾動(dòng)性[22-23]。為了得到更能代表待分類像素點(diǎn)空間特征的空間信息，提取更加魯棒的深層特征信息，結(jié)合空-譜信息和堆棧壓縮自編碼(stacked contractive autoencoder,簡(jiǎn)稱SCAE)，提出了一種新的高光譜圖像分類方法。該方法將鄰域空間信息與光譜信息融合，利用棧式壓縮自編碼提取圖像的深層特征，并通過(guò)邏輯回歸(logistic regression,簡(jiǎn)稱LR)進(jìn)行地面物體的準(zhǔn)確分類。

1 方法

提出的高光譜圖像分類算法框架如圖1所示，主要分為光譜空間信息融合、特征提取和分類決策3個(gè)階段。首先使用主成分分析(principal component analysis,簡(jiǎn)稱PCA)對(duì)高光譜圖像進(jìn)行降維處理，然后提取待分類像素點(diǎn)的鄰域空間信息，將其展開成一維向量并與光譜信息拼接融合；使用SCAE網(wǎng)絡(luò)提取融后的深層特征；將提取到的特征送到LR層進(jìn)行類別確定。

1.1 空-譜信息融合

高光譜原始數(shù)據(jù)中包含豐富的光譜信息，同時(shí)也包含豐富的空間信息，將高光譜圖像的空間信息和光譜信息進(jìn)行融合能夠有效提高分類準(zhǔn)確率。在提取領(lǐng)域信息前使用PCA對(duì)數(shù)據(jù)進(jìn)行降維處理，其降維過(guò)程如下：

像素點(diǎn)原始光譜數(shù)據(jù)大小為

(1)

其中，x1,x2,…,xp為每個(gè)像素點(diǎn)的光譜向量值，對(duì)于一個(gè)有m行n列的高光譜圖像，其共有M=m×n個(gè)像素點(diǎn)，其所有波段圖像的均值為

(2)

x的協(xié)方差矩陣為

Cov(>x)=[(>x-E(>x))(>x-E(>x))T]。

(3)

通過(guò)式(4)可得協(xié)方差矩陣

(4)

對(duì)協(xié)方差矩陣進(jìn)行特征值分解，可得

Cx=ADAT,

(5)

其中:D=diag(>λ1,λ2,…,λn),為由特征值構(gòu)成的對(duì)角矩陣;A為協(xié)方差矩陣Cx對(duì)應(yīng)的特征向量構(gòu)成的正交向量,

A=(>a1,a2,…，aN)。

(6)

對(duì)原始圖像數(shù)據(jù)進(jìn)行線性變換：

yi=ATxi,(>i=1,2,…，R)，

(7)

yi即為原始圖像xi經(jīng)過(guò)PCA變換后的降維圖像。特征值λ越大，其越能代表原始圖像數(shù)據(jù)信息，對(duì)所得特征值進(jìn)行由大到小排列，將其前k個(gè)特征值對(duì)應(yīng)的特征向量與原始圖像相乘，即可得到降至k維的圖像數(shù)據(jù)。

對(duì)于經(jīng)過(guò)PCA降維后的圖像，選取待分類像素點(diǎn)鄰域窗口w×w區(qū)域內(nèi)的光譜信息作為其空間信息，將其展開成一維向量并與待分類點(diǎn)的原始光譜信息拼接融合，得到融合后的空-譜信息。

1.2 SCAE-LR分類網(wǎng)絡(luò)模型

SCAE網(wǎng)絡(luò)由多個(gè)CAE經(jīng)過(guò)逐層貪婪訓(xùn)練得到，CAE網(wǎng)絡(luò)由一個(gè)數(shù)據(jù)輸入層、一個(gè)中間隱藏層和一個(gè)重構(gòu)輸出層組成。CAE通過(guò)在損失函數(shù)中引入雅克比矩陣，保證其具有較強(qiáng)的數(shù)據(jù)提取能力和抗干擾能力[24]，其損失函數(shù)表達(dá)式為

(8)

為了準(zhǔn)確識(shí)別出高光譜圖像中各像素點(diǎn)的類別，用SCAE-LR模型進(jìn)行特征提取和分類。該方法分為預(yù)訓(xùn)練特征提取和微調(diào)分類2個(gè)階段，首先對(duì)SCAE網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練以提取輸入數(shù)據(jù)的深層特征，然后由Softmax分類器對(duì)SCAE網(wǎng)絡(luò)提取深層特性。對(duì)提取到的深層特征進(jìn)行分類處理，在SCAE網(wǎng)絡(luò)后接入LR層進(jìn)行微調(diào)分類處理，LR層中使用Softmax作為輸出層的激活函數(shù)，Softmax函數(shù)保證了輸出層中每個(gè)單元的輸出和為1，這樣就可以將輸出視為一組條件概率。假設(shè)樣本共有i類，輸入數(shù)據(jù)為x，則輸入數(shù)據(jù)屬于每類的概率為

(9)

其中，W和b是權(quán)重和偏差，根據(jù)輸出概率值的大小，可確定像元的類別。

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)集

采用Indian Pines和Pavia University數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，以驗(yàn)證該方法的有效性。其中Indian Pines數(shù)據(jù)集中可用樣本像素點(diǎn)共10 249個(gè)，分為16類，空間分辨率為20 m/pixel，每個(gè)像素點(diǎn)包含200個(gè)可用光譜波段，光譜波段覆蓋范圍為0.4～2.5 μm；Pavia University數(shù)據(jù)集中可用樣本像素點(diǎn)共42 776個(gè)，分為9類，空間分辨率為1.3 m/pixel，每個(gè)像素點(diǎn)包含103個(gè)可用光譜波段，光譜波段范圍為0.43～0.86 μm。2個(gè)數(shù)據(jù)集的地物分布和類別標(biāo)簽如圖2所示。

圖2 2個(gè)數(shù)據(jù)集的地物分布圖

2.2 SCAE-LR模型壓縮系數(shù)的確定

為了確定SCAE-LR模型中λ的值，實(shí)驗(yàn)中隨機(jī)選取不同比例的標(biāo)記樣本數(shù)據(jù)作為訓(xùn)練集，訓(xùn)練樣本比例值從0.1到0.5依次遞增，步長(zhǎng)為0.1。實(shí)驗(yàn)結(jié)果如圖3所示，其中Ratio為訓(xùn)練樣本所占總標(biāo)記樣本數(shù)的比值。從圖3可看出，在λ取值為0.000 3時(shí)，SCAE-LR模型在2個(gè)數(shù)據(jù)集上不同比例訓(xùn)練集下的OA值最高。因此，實(shí)驗(yàn)中SCAE-LR模型的壓縮系數(shù)λ設(shè)置為0.000 3。

圖3 SCAE-LR模型在不同比例訓(xùn)練集和不同λ下的OA

2.3 模型建立

SCAE-LR模型采用Python作為編碼語(yǔ)言，通過(guò)Pytorch深度學(xué)習(xí)框架構(gòu)建網(wǎng)絡(luò)。實(shí)驗(yàn)平臺(tái)：Windows 10、Nvidia Tesla P100顯卡。以O(shè)A、AA和kappa對(duì)模型性能進(jìn)行評(píng)估，高光譜圖像準(zhǔn)確分類流程如下。

1)數(shù)據(jù)處理：首先采用PCA將高維的高光譜圖像數(shù)據(jù)降至5維，篩選出代表樣本特性的光譜波段，將其展開成一維向量并與光譜信息進(jìn)行拼接融合。

2)預(yù)訓(xùn)練：利用SCAE網(wǎng)絡(luò)對(duì)經(jīng)過(guò)預(yù)處理后的數(shù)據(jù)進(jìn)行處理，并將樣本的深層特征送入Softmax分類器中進(jìn)行類別的確定。預(yù)訓(xùn)練階段迭代1 000次，微調(diào)階段迭代500次，學(xué)習(xí)率均設(shè)置為0.01，預(yù)訓(xùn)練和微調(diào)階段都用隨機(jī)梯度下降法(stochastic gradient descent,簡(jiǎn)稱SGD)作為優(yōu)化算法。

3)測(cè)試：利用訓(xùn)練好的SCAE-LR模型對(duì)測(cè)試集的類別進(jìn)行確定，以實(shí)現(xiàn)高光譜圖像的準(zhǔn)確分類。

4)對(duì)比：將LSVM、PSVM、RBF-SVM和SDAE-LR作為對(duì)比方法，其中SDAE模型結(jié)構(gòu)在2個(gè)數(shù)據(jù)集中的結(jié)構(gòu)分別為100-100-100-16和60-60-60-9，激活函數(shù)為ReLU，預(yù)訓(xùn)練迭代次數(shù)為1 000次，學(xué)習(xí)率為0.01，輸出層采用Softmax作為激活函數(shù)。

3 結(jié)果與討論

實(shí)驗(yàn)中使用交叉驗(yàn)證，每次從總體樣本中隨機(jī)抽取一定比例的數(shù)據(jù)作為訓(xùn)練集，剩余數(shù)據(jù)作為測(cè)試集，每組實(shí)驗(yàn)進(jìn)行10次。實(shí)驗(yàn)將SCAE-LR、LSVM、PSVM、RBF-SVM和SDAE-LR模型各運(yùn)行10次的AA、OA和kappa均值作為各模型最終性能參考值。

3.1 利用光譜信息評(píng)估分類模型

高光譜圖像包含光譜信息和空間信息，本節(jié)僅采用高光譜圖像的光譜信息進(jìn)行實(shí)驗(yàn)，以驗(yàn)證SCAE-LR的有效性。訓(xùn)練集數(shù)據(jù)比例從0.1到0.5依次遞增，步長(zhǎng)為0.1。在2個(gè)數(shù)據(jù)集上，各模型的OA如圖4所示。從4圖可看出，隨著訓(xùn)練樣本所占比例的增加，各模型在2個(gè)數(shù)據(jù)集的OA均逐步增加，SCAE-LR網(wǎng)絡(luò)的精度明顯高于其他分類模型。SCAE-LR與SDAE-LR同屬于無(wú)監(jiān)督訓(xùn)練模型，SCAE-LR網(wǎng)絡(luò)中引入了雅克比矩陣來(lái)提高自編碼網(wǎng)絡(luò)的抗干擾能力，在訓(xùn)練集相同的情況下，SCAE-LR模型能夠獲得更高的分類精度。

圖4 不同模型在2個(gè)數(shù)據(jù)上使用光譜信息作為特征的OA

3.2 與其他分類方法對(duì)比分析

為了驗(yàn)證SCAE-LR結(jié)合空-譜信息方法的有效性，實(shí)驗(yàn)隨機(jī)選取20%的樣本數(shù)據(jù)作為訓(xùn)練集，表1和表2給出了所提方法及對(duì)比方法在2個(gè)數(shù)據(jù)集上各類別的分類精度以及在整個(gè)數(shù)據(jù)集上的OA、AA和kappa系數(shù)。

從表1可看出，在Indian Pines上，所提方法在3種評(píng)價(jià)指標(biāo)上都取得了最優(yōu)值，對(duì)比僅使用光譜信息的LSVM分類模型，空-譜信息特征能夠取得更好的分類效果，其中所提方法在整體分類精度上比LSVM分類模型提高了約9.2%。對(duì)比SDAE-LR分類模型，所提方法能夠通過(guò)損失函數(shù)中的雅克比矩陣來(lái)保證輸入噪聲的抗擾動(dòng)性，以提取更加魯棒性的特征，從而獲得更好的分類效果。對(duì)比PSVM和RBF-SVM分類模型，SCAE-LR模型屬于無(wú)監(jiān)督深度神經(jīng)網(wǎng)絡(luò)模型，能夠提取到更深層、更為魯棒性的特征。Indian Pines數(shù)據(jù)集在各模型得到的分類結(jié)果如圖5所示。對(duì)于Pavia University數(shù)據(jù)，隨機(jī)從每類數(shù)據(jù)中選取20%的樣本作為訓(xùn)練集，由表2可見，所提方法的OA、AA、kappa均高于對(duì)比方法。與其他方法相比，所提方法分別高于LSVM、PSVM、RBF-SVM、SDAE-LR約5.6%、8.5%、1.8%、1.3%。

表1 各方法在Indian Pines數(shù)據(jù)集上的分類性能

表2 各模型在Pavia University數(shù)據(jù)集上的分類性能

圖5 各模型在Indian Pines數(shù)據(jù)集上的分類結(jié)果

4 結(jié)束語(yǔ)

提出了一種基于棧式壓縮自編碼的高光譜圖像分類方法。首先對(duì)原始高光譜圖像進(jìn)行降維處理，提取領(lǐng)域空間信息與光譜信息并進(jìn)行拼接融合，然后利用SCAE網(wǎng)絡(luò)提取待分類像素點(diǎn)的深層特征，進(jìn)而利用LR進(jìn)行類別確定。為了對(duì)SCAE-LR模型的分類性能進(jìn)行評(píng)估，將該方法與LSVM、 PSVM、RBF-SVM和SDAE-LR方法在2個(gè)數(shù)據(jù)集上進(jìn)行了對(duì)比分析。實(shí)驗(yàn)結(jié)果表明，SCAE-LR模型相比于對(duì)比方法在2個(gè)數(shù)據(jù)集上均表現(xiàn)出了較好的分類性能，說(shuō)明本方法可用于高光譜圖像分類。