基于空譜融合特征主動(dòng)學(xué)習(xí)的高光譜圖像分類

王 琰，劉麗芹，沈霞宏，侯 俊，張 寧，史振威

(1. 上海航天電子技術(shù)研究所，上海 201109； 2. 北京航空航天大學(xué) 宇航學(xué)院，北京 100191)

0 引言

隨著成像技術(shù)的發(fā)展，機(jī)載或星載傳感器可以獲得越來越高的光譜分辨率，高光譜數(shù)據(jù)以三維形式存儲，具有光譜響應(yīng)范圍廣、波段寬度窄、圖譜合一等特點(diǎn)。高光譜分類的內(nèi)涵是對每個(gè)像素所代表的地物類別進(jìn)行區(qū)分，近年來，我國已成功發(fā)射多顆高光譜分辨率的遙感衛(wèi)星，高光譜圖像的分類已經(jīng)在環(huán)境監(jiān)測、精確農(nóng)業(yè)、智慧城市和信息國防方面得到廣泛的應(yīng)用。尤其是高分五號衛(wèi)星于2018年5月9日發(fā)射成功，更是對提高我國高光譜遙感數(shù)據(jù)自給率，推動(dòng)高光譜遙感數(shù)據(jù)應(yīng)用有重要作用。

很多基于傳統(tǒng)機(jī)器學(xué)習(xí)的算法被應(yīng)用于高光譜分類，例如支持向量機(jī)(support vector machine, SVM)[1]、線性鄰域傳播(linear neighborhood propagation, LNP)[2]、隨機(jī)森林(random forest)[3]、極限學(xué)習(xí)機(jī)(extreme learning machine, ELM)[4]和基于稀疏表達(dá)的分類(sparse representation-based classifier, SRC)[5]方法，另外還有局部二值模式(local binary pattern, LBP)[6-7]特征提取、Gabor濾波[8]和滾動(dòng)引導(dǎo)濾波(hierarchical guidance filtering, HGF)[9]等空間域方法。近年來，深度學(xué)習(xí)方法在高光譜分類領(lǐng)域得到了廣泛應(yīng)用，最早應(yīng)用于高光譜分類的深度學(xué)習(xí)方法是2014年CHEN提出的棧式自動(dòng)編碼器(stacked auto-encoders, SAE)[10]，之后卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)[11-12]被廣泛地用于高光譜分類問題。隨著各種深度神經(jīng)網(wǎng)絡(luò)的提出，學(xué)者們逐漸將它們應(yīng)用到高光譜分類中，例如CHEN[13]應(yīng)用深度置信網(wǎng)絡(luò)(deep belief network, DBN)實(shí)現(xiàn)高光譜分類，LI[14]提出了應(yīng)用深度森林(deep forest)解決高光譜分類問題，ZHONG[15]應(yīng)用殘差網(wǎng)絡(luò)(deep residual networks, DRN)來解決高光譜圖像的分類，MOU)[16]和ZHU[17]分別提出循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN和生成對抗網(wǎng)絡(luò)(generative adversarial networks, GAN)用于高光譜分類問題。

以上提出的深度學(xué)習(xí)方法，其應(yīng)用于高光譜分類的本質(zhì)都是人為地對每個(gè)需要分類的像素點(diǎn)構(gòu)建一組數(shù)據(jù)作為特征輸入，其實(shí)際上還是應(yīng)用深度網(wǎng)絡(luò)對淺層特征提取深層表達(dá)的過程，因此本文選用像素級分割網(wǎng)絡(luò)——全卷積網(wǎng)絡(luò)(fully conventional networks, FCN)[18]直接對構(gòu)造的三通道圖像提取空間特征，再將其與光譜特征結(jié)合進(jìn)行分類。

由于人工標(biāo)注高光譜樣本的成本高，標(biāo)注困難，造成已知標(biāo)簽的高光譜像素?cái)?shù)目是有限的，因此，如何用較少量的樣本得到較高的分類精度成為一項(xiàng)亟待解決的問題。主動(dòng)學(xué)習(xí)可以充分挖掘數(shù)據(jù)之間的關(guān)系，尋找最具代表性的樣本用作訓(xùn)練。因此，近年來也有一系列主動(dòng)學(xué)習(xí)算法被應(yīng)用于高光譜分類[19-20]，這些方法取得了一定的效果，但也存在一定的只針對特定問題特定算法的局限性。本文提出一種新的主動(dòng)學(xué)習(xí)方法選擇訓(xùn)練樣本，適應(yīng)高光譜分類任務(wù)，充分保證樣本的代表性，使應(yīng)用一定數(shù)目的樣本可以獲得更高的分類正確率。

綜上所述，本文提出了一種基于空譜融合特征主動(dòng)學(xué)習(xí)的高光譜圖像分類算法，通過構(gòu)造三通道圖像，利用全卷積網(wǎng)絡(luò)提取空間特征，將其與光譜特征相結(jié)合，利用主動(dòng)學(xué)習(xí)的算法選擇訓(xùn)練樣本，送入分類器進(jìn)行訓(xùn)練，并得到分類結(jié)果。將高光譜圖像構(gòu)造成更適用于自然圖像上訓(xùn)練好的模型的三通道圖像，可以更加充分地挖掘高光譜圖像中的光譜信息和空間鄰域信息，使特征具備更好的表達(dá)能力。通過引入主動(dòng)學(xué)習(xí)算法，可以選取更有用的訓(xùn)練樣本送入分類器訓(xùn)練，從而達(dá)到在少量樣本下更好的分類效果。算法流程如圖1所示。

1 三通道圖像構(gòu)建與空間特征提取

由于高光譜數(shù)據(jù)量有限，不能用于對全卷積網(wǎng)絡(luò)的訓(xùn)練，所以我們采用在自然圖像上訓(xùn)練好的模型對高光譜圖像提取空間特征。

由于自然圖像為RGB三波段圖像，因此需要從高光譜數(shù)據(jù)中提取對應(yīng)的三波段圖像，常用的將高光譜圖像構(gòu)造成三波段圖像的方式通常是采用主成分分析(principal component analysis, PCA)方法，但考慮到已有模型是基于RGB三個(gè)波段的自然圖像訓(xùn)練而成，因此其對于RGB對應(yīng)波段的圖像顏色和邊緣更敏感，因此需要構(gòu)造更接近于自然圖像的RGB波段圖像。

圖1 高光譜圖像分類算法流程圖Fig.1 Flow chart of the hyperspectral image classification method

本文提出了一種虛擬RGB圖像構(gòu)建方法，主要是利用高光譜傳感器每個(gè)波段的波長信息，尋找對應(yīng)于RGB三個(gè)波段波長的高光譜波段，然后再將它們合成構(gòu)成一個(gè)虛擬的RGB圖像。以ROSIS(reflective optics system imaging spectrometer)成像傳感器為例，其對應(yīng)紅光波長的波段有39～66共28個(gè)波段，對應(yīng)綠光波段為13～29共17個(gè)高光譜波段，藍(lán)光波段對應(yīng)2～4共3個(gè)波段，將這些波段以類似高斯分布的方式合成。以紅光波段為例，將高斯分布的均值定為

標(biāo)準(zhǔn)差σ根據(jù)3σ原則確定，即大部分合理波段都在3σ范圍內(nèi)，所以3σ=μ-39=13.5,σ=4.5。三波段圖像每個(gè)波段的值為對應(yīng)高光譜波段的值和它對應(yīng)的高斯權(quán)重加權(quán)得到。

圖2為Pavia University數(shù)據(jù)集上的結(jié)果，其中圖2(a)為合成后的虛擬RGB圖，圖2(b)、圖2(c)、圖2(d)分別為合成后3個(gè)波段的灰度圖。

圖2 合成三波段圖像Fig.2 Composed three-bands image

將提取到的三波段圖像送入自然圖像上訓(xùn)練好的FCN模型，提取其在Softmax之前的特征層，由于自然圖像共20類物體，所以特征圖共有21層(20類和背景層)。在Pavia University數(shù)據(jù)集上提取到的特征如圖3所示。

圖3 空間特征圖Fig.3 Spatial characteristic diagram

2 空譜特征融合

參考JIAO等[21]的做法，將每個(gè)像素點(diǎn)的空間和光譜特征進(jìn)行融合，構(gòu)成空譜融合特征。假設(shè)Xspe為光譜特征，由原始光譜PCA取前s1維主成分得到，Xspa為深層空間特征，其維度為s2，所以可知

Xspe∈Rs1×n,Xspa∈Rs2×n

(1)

式中：n為要融合的像素點(diǎn)數(shù)目。首先對Xspe、Xspa進(jìn)行如下操作

(2)

Xf=[f(Xspe);f(Xspa)]

(3)

此處，將原始光譜降維至15維，即s1=15，空間特征維度取所有21層，即s2=21。至此，得到空譜融合特征。

3 SVM分類器主動(dòng)學(xué)習(xí)

將得到的空譜融合特征送入分類器即可對每個(gè)像素所屬的地物類別進(jìn)行區(qū)分，由于樣本數(shù)目限制，此處應(yīng)用主動(dòng)學(xué)習(xí)選擇訓(xùn)練樣本并與支持向量機(jī)(SVM)[22]相結(jié)合用于對空譜聯(lián)合特征進(jìn)行學(xué)習(xí)[23-24]，實(shí)現(xiàn)像素分類。

支持向量機(jī)是一種經(jīng)典的二分類分類器，在將其用于多分類時(shí)通常有以下兩種做法：一對多(one-versus-rest, OVR) SVMs，即依次將某個(gè)類別的樣本單獨(dú)化為一類，其他類別化為另一類，假設(shè)共有K類，則會產(chǎn)生K個(gè)分類器，對一未知樣本分類時(shí)，將其送入這K個(gè)分類器，選擇其中分為某類的概率值最大的那一類作為最終決策；一對一(one-versus-one, OVO) SVMs，在任意兩類樣本之間均設(shè)計(jì)分類器，若有K類，則會產(chǎn)生K(K-1)/2個(gè)分類器，將未知樣本送入左右分類器，并對分成各類的次數(shù)進(jìn)行統(tǒng)計(jì)，選擇次數(shù)最多的那一類作為最終決策。

本文基于一對一分類設(shè)計(jì)主動(dòng)學(xué)習(xí)策略，假設(shè)有K類數(shù)據(jù)，最初選擇一部分進(jìn)行標(biāo)注，記為DL，其余未標(biāo)注部分記為DU。每次選擇加入訓(xùn)練集的樣本數(shù)目記為na。用DL訓(xùn)練K(K-1)/2個(gè)一對一分類器，對于DU中每個(gè)樣本，將其送入所有分類器中，獲得投票數(shù)最多的兩個(gè)類ω1、ω2，將針對ω1、ω2的分類器的預(yù)測值f作為該樣本所含信息量的評價(jià)指標(biāo)，該數(shù)絕對值越小，證明分類器在決策時(shí)把握越小，該樣本所含信息將會越多，所以取|f|最小的na個(gè)樣本進(jìn)行標(biāo)注后加入DL，并將其從DU中刪除?？芍貜?fù)幾次操作，得到選定的訓(xùn)練集DS。SVM分類器主動(dòng)學(xué)習(xí)算法流程為：

輸入：數(shù)據(jù)類別數(shù)K；標(biāo)注數(shù)據(jù)DL；未標(biāo)注數(shù)據(jù)DU；每次加入樣本數(shù)na。

1) 用DL訓(xùn)練K(K-1)/2個(gè)一對一分類器；

2) 將DU中每個(gè)樣本送入K(K-1)/2個(gè)分類器，對每個(gè)類別進(jìn)行投票，得到投票數(shù)最多的兩個(gè)類別ω1、ω2；

3) 找出ω1、ω2之間的分類器，將分類器預(yù)測值f作為判定該樣本是否加入訓(xùn)練集的依據(jù)；

4) 找到|f|最小的na個(gè)樣本進(jìn)行標(biāo)注后加入DL，并將其從DU中刪除；

5) 循環(huán)幾次，得最終訓(xùn)練集DS和測試集DU。

輸出：最終訓(xùn)練集DS和測試集DU。

4 實(shí)驗(yàn)結(jié)果及分析

4.1 實(shí)驗(yàn)數(shù)據(jù)集

Pavia University數(shù)據(jù)集，是由反射光學(xué)系統(tǒng)成像光譜儀(reflective optics system imaging spectrometer,ROSIS-3)在意大利帕維亞城拍攝制作，如圖4所示。該傳感器共有115個(gè)光譜通道，覆蓋的波段范圍為0.43～0.86 μm，去除噪聲和水吸收波段后，Pavia University有103個(gè)高光譜波段，空間維度為610×340，空間分辨率為1.3 m，共包含42 776個(gè)標(biāo)注的樣本，其中包括草地、樹木、瀝青等共9類地物，其假彩色圖和分類真值圖分別如圖4(a)、圖4(b)所示，每類樣本數(shù)目詳見表1。

4.2 實(shí)驗(yàn)結(jié)果對比

本部分主要驗(yàn)證ALbS2F的效果，將其與隨機(jī)選取樣本進(jìn)行比較，這里隨機(jī)選取采用兩種方式，一種是每類數(shù)目與主動(dòng)學(xué)習(xí)相同，另一種是按照總數(shù)目相近原則平均或等比例分配給各類別。兩種隨機(jī)方法分別被定義為隨機(jī)方法A、B。

圖4 Pavia University數(shù)據(jù)集Fig.4 Pavia University data

圖5(a)、圖5(b)、圖5(c)為Pavia University數(shù)據(jù)集上ALbS2F、A、B三種方法分別選取的樣本位置圖，其中彩色代表選取的訓(xùn)練樣本，白色代表測試樣本，黑色代表未被考慮的背景，由于選取樣本數(shù)較少，所以彩色的點(diǎn)不太容易被找到。圖5(d)、圖5(e)、圖5(f)展示了3種方法的分類效果，圖5(g)為分類真值圖?？梢钥吹綉?yīng)用主動(dòng)學(xué)習(xí)后，

表1 Pavia University數(shù)據(jù)集地物分布

圖5(d)中分類效果幾乎接近真值圖。表2詳細(xì)展示了3種方法的每類分類正確率情況，加粗的表示最優(yōu)的結(jié)果，可以看出，主動(dòng)學(xué)習(xí)的應(yīng)用，可使樣本數(shù)相同或相近的情況下總正確率提高4%左右，效果提升明顯。

為驗(yàn)證本文提出的虛擬RGB圖像構(gòu)建方式的有效性，針對PCA取前三維主成分和虛擬RGB圖像進(jìn)行了比較。首先，在運(yùn)行時(shí)間方面，由于只是更改了系統(tǒng)的輸入而對其他操作無變化，所以兩種方法的耗時(shí)是相同的，主要比較其分類性能。在保證兩種方法選用的訓(xùn)練樣本完全相同的前提下，表3為分類正確率的比較。

圖5 Pavia University 數(shù)據(jù)集分類結(jié)果Fig.5 Pavia University classification results

類別號ALbS2F隨機(jī)法A隨機(jī)法B樣本數(shù)訓(xùn)練測試正確率訓(xùn)練測試正確率訓(xùn)練測試正確率1866 5451.000866 5450.958496 5820.95429018 5591.0009018 5590.9844918 6000.92534320 560.999432 0560.957492 0500.9794603 0040.9916030040.9704930150.9985121 3330.999121 3330.995491 2960.9996434 9861.000434 9860.879494 9800.9667211 3090.9952113090.8594912810.9998673 6150.993673 6150.940493 6330.9649189290.982189290.906498980.961總正確率OA0.998總正確率OA0.956總正確率OA0.951平均正確率AA0.995平均正確率AA0.939平均正確率AA0.972Kappa系數(shù)κ0.997Kappa系數(shù)κ0.942Kappa系數(shù)κ0.936

表3 兩種三通道圖像構(gòu)造方式正確率

兩種方法中，性能較優(yōu)越的數(shù)據(jù)被加粗標(biāo)出，可以看出Virtual RGB方法相對于PCA方法有較明顯的優(yōu)勢，可以使分類總正確率提高0.4%左右，效果如圖6所示，其中圖6(a)為PCA構(gòu)造法的分類效果圖，圖 6(b)為Virtual RGB方法的分類效果，圖 6(c)為標(biāo)注的真值圖，即GroundTruth。可以看出，圖 6(a)圖中有很多細(xì)微的錯(cuò)分現(xiàn)象在圖6(b)中得到了改善。

圖6 兩種三通道圖像構(gòu)建方式分類效果Fig.6 Comparison between two three-channel images

5 結(jié)束語

本文通過提出一種基于全卷積空間特征和光譜特征融合，基于主動(dòng)學(xué)習(xí)方式選擇訓(xùn)練樣本的高光譜圖像分類算法，實(shí)現(xiàn)了在一定數(shù)量樣本的情況下較高的分類精度，并提出了一種新的RGB圖像構(gòu)造方式。實(shí)驗(yàn)表明：該方式相比于主成分分析等方法更加適合用于自然圖像上訓(xùn)練好的網(wǎng)絡(luò)來提取空間特征。