融合多層特征SENet 和多尺度寬殘差的高光譜圖像地物分類

于慧伶， 霍鏡宇， 張怡卓

（東北林業(yè)大學(xué)a．信息與計算機工程學(xué)院；b．機電工程學(xué)院，哈爾濱150040）

0 引 言

高光譜圖像具有較高的光譜分辨率、豐富的光譜信息以及空間分布信息，常應(yīng)用于很多不同的領(lǐng)域，例如礦業(yè)、天文學(xué)、化學(xué)成像、精確農(nóng)業(yè)、環(huán)境監(jiān)測和公共安全等方面［1］。近年來，高光譜圖像分類成為國內(nèi)外的研究熱點，其中對地物進行詳細分類是高光譜圖像處理的主要研究問題［2］。

目前，高光譜圖像分類主要分為非監(jiān)督分類方法、半監(jiān)督分類方法和監(jiān)督分類方法，非監(jiān)督分類方法主要包括k-均值方法、非監(jiān)督模糊聚類以及相應(yīng)的改進算法等；半監(jiān)督分類方法主要包括自訓(xùn)練、基于圖的方法以及相應(yīng)的改進算法等；監(jiān)督分類方法主要包括支持向量機、人工神經(jīng)網(wǎng)絡(luò)以及相應(yīng)的改進算法等。岳江等［3］提出了一種基于空間一致性降元的高光譜圖像非監(jiān)督分類的方法，但這種方法對含有多材質(zhì)、多目標的復(fù)雜場景的高光譜圖像分類效果不是很理想；Salem等［4］提出了一種基于模糊C-均值的非監(jiān)督光譜-空間SVM高光譜圖像分類方法，但是這種方法需要對大規(guī)模的樣本進行標注；王君言等［5］提出了基于DL1圖和KNN圖疊加圖的高光譜圖像半監(jiān)督分類的算法，但是這種方法在處理大樣本數(shù)據(jù)的分類中分類精度不是很高；Samiappan等［6］提出了一種結(jié)合半監(jiān)督協(xié)同訓(xùn)練和主動學(xué)習(xí)的框架。但是由于標簽數(shù)據(jù)過少，高光譜圖像的分類精度依舊不是很高；冉瓊等［7］提出了結(jié)合超像元和子空間投影支持向量機的高光譜圖像分類的方法，但是這種方法中超像元的個數(shù)無法準確確定；Shamsolmoali等［8］提出了一種網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)的高光譜圖像分類的方法，但是這種方法的分類精度還有待提升。

以上分類方法雖然取得了較好的效果，但在性能和準確率上仍有進一步提升的空間。為此，本文提出了一種全新的應(yīng)用于高光譜圖像分類的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)SE-Inception-Resnet-MSWideResnet（SEIRMSWR）。首先，利用主成分分析法（Principal Component Analysis，PCA）對原始的高光譜圖像進行降維處理。其次，提出兩個深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，①引入一個新的結(jié)構(gòu)單元，稱之為“擠壓和激勵模塊”（Squeeze-and-Excitation，SENet），將其分別嵌入到Inception-Resnet-A、 Inception-Resnet-B、 Inception-Resnet-C中，通過學(xué)習(xí)網(wǎng)絡(luò)中各個特征通道的重要程度，提升有用的特征并抑制對當(dāng)前任務(wù)用處不大的特征。另外，由于SENet模塊在網(wǎng)絡(luò)結(jié)構(gòu)的不同層上會有不同的作用，為了增強網(wǎng)絡(luò)的泛化性能，將網(wǎng)絡(luò)結(jié)構(gòu)的低層特征、中間層特征以及高層特征結(jié)合組成更具有表征能力的特征信息。最后，通過Softmax層實現(xiàn)對高光譜圖像的分類。②為每一個寬殘差網(wǎng)絡(luò)模塊增加更多并行的卷積層。將經(jīng)過同一輸入層映射出的多種不同的輸出結(jié)果最后連接到一個輸出，更精確地獲取高光譜圖像的特征，實現(xiàn)對高光譜圖像的分類。最后，通過結(jié)果加權(quán)平均模型融合的方式獲得高光譜圖像的類別。

1 深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)

針對高光譜圖像分類的問題，提出了一種融合多層特征SENet和多尺度寬殘差的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)SEIR-MSWR，該結(jié)構(gòu)不僅能同時提取高光譜圖像的光譜和空間特征，而且能提高高光譜圖像的分類精度，如圖1所示。

圖1 融合多層特征SENet和多尺度寬殘差網(wǎng)絡(luò)結(jié)構(gòu)模型

首先，利用PCA算法對高光譜圖像進行降維處理；其次，分別利用多層特征SENet網(wǎng)絡(luò)結(jié)構(gòu)模型（SEInception-Resnet）和多尺度寬殘差網(wǎng)絡(luò)結(jié)構(gòu)模型（MSWideResnet）對高光譜圖像進行分類；最后，利用結(jié)果加權(quán)平均模型融合的方式輸出高光譜圖像的類別。

1.1 多層特征SENet網(wǎng)絡(luò)模型

1.1.1 SENet結(jié)構(gòu)

Hu 等［9］提出了Squeeze-and-Excitation Networks（SENet）架構(gòu)，該結(jié)構(gòu)由Squeeze、Excitation、Reweight三部分組成，它允許網(wǎng)絡(luò)通過學(xué)習(xí)全局信息實現(xiàn)對特征的重新校準，構(gòu)建特征通道之間的相互依賴關(guān)系，激勵對分類有用的特征，抑制對分類不太有用的特征［10］，如圖2所示。首先是Squeeze操作，順著空間維度對輸入特征圖進行全局平均池化，得到大小為C×1×1的特征圖（C為特征圖通道數(shù)）。其次是Excitation操作，經(jīng)過兩個全連接層后由Sigmoid函數(shù)激活，得到大小為C×1×1的權(quán)重。最后一個是Reweight的操作，在對應(yīng)位置與原輸入特征圖相乘，得到輸出。

圖2 SENet模型結(jié)構(gòu)

1.1.2 構(gòu)建多層特征SENet網(wǎng)絡(luò)模型

如圖3所示，參照InceptionV2-Resnet網(wǎng)絡(luò)結(jié)構(gòu)，將SENet模塊分別嵌入到Inception-Resnet-A，Inception-Resnet-B，Inception-Resnet-C中，同時將網(wǎng)絡(luò)的多層特征進行融合。各模塊設(shè)計如圖4所示。

圖3 多層特征SENet網(wǎng)絡(luò)模型

圖4 各模塊設(shè)計

網(wǎng)絡(luò)結(jié)構(gòu)具體參數(shù)如下：

（1）第1層卷積層中卷積核數(shù)目為16，卷積核大小為3×3，步長stride為1。

（2）在SE-Inception-Resnet-A模塊中，首先進入3個卷積分組，在這3個卷積分組中，卷積核數(shù)目都為16，步長stride均為1。其次，3個卷積分組經(jīng)合并后輸入到卷積核數(shù)目為32、步長stride為1的1×1卷積層中。此模塊共計3個。

（3）在SE-Inception-Resnet-B模塊中，首先進入兩個卷積分組，在這兩個卷積分組中，卷積核數(shù)目都為16，步長stride均為1。其次，兩個卷積分組經(jīng)合并后輸入到卷積核數(shù)目為64、步長stride為1的1×1卷積層中。此模塊共計6個。

（4）在SE-Inception-Resnet-C模塊中，首先進入兩個卷積分組，在這兩個卷積分組中，卷積核數(shù)目都為16，步長stride均為1。其次，兩個卷積分組經(jīng)合并后輸入到卷積核數(shù)目為128、步長stride為1的1×1卷積層中。此模塊共計3個。

（5）分別將經(jīng)3個SE-Inception-Resnet-A、6個SE-Inception-Resnet-B、3個SE-Inception-Resnet-C 后輸出的特征圖進行全局平均池化。

（6）因為高層和中間層還會有一定的信息，所以將低層、中間層以及高層的特征圖經(jīng)全局平均池化得到的特征向量進行特征融合，組成更具有表達能力的特征信息。

（7）將特征向量輸入到Softmax進行分類。

1.2 多尺度寬殘差網(wǎng)絡(luò)

1.2.1 寬殘差網(wǎng)絡(luò)

理論上說，模型架構(gòu)的容量和特征判別能力會隨著網(wǎng)絡(luò)層數(shù)的增加而不斷提高，然而經(jīng)大量實驗證明，只增加網(wǎng)絡(luò)的深度會出現(xiàn)梯度彌散問題［11］。針對該問題，何凱明等提出了使用捷徑連接（Shortcut Connection，SC）搭建深度殘差網(wǎng)絡(luò)結(jié)構(gòu)［12］。然而，隨著殘差網(wǎng)絡(luò)模型深度的不斷加深，實驗發(fā)現(xiàn)只有少數(shù)的殘差塊可以學(xué)習(xí)到有用的特征。因此，Sergey等［13］提出了寬殘差網(wǎng)絡(luò)模塊思想，使用淺而寬的殘差網(wǎng)絡(luò)模塊代替原有深而窄的殘差網(wǎng)絡(luò)模塊，讓網(wǎng)絡(luò)結(jié)構(gòu)更淺更輕量級［14］。經(jīng)后續(xù)實驗證明，適當(dāng)增加殘差網(wǎng)絡(luò)模塊的寬度的確比只增加網(wǎng)絡(luò)的深度更能提高殘差網(wǎng)絡(luò)的性能，原因是更寬的網(wǎng)絡(luò)增加了特征的選擇范圍，從而增加了特征的耦合能力［15］。

各種殘差塊如圖5所示。假設(shè)H（x）表示深度神經(jīng)網(wǎng)絡(luò)在輸入樣本x后的最優(yōu)解映射，傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)是直接擬合，即

而深度殘差網(wǎng)絡(luò)期望擬合殘差映射，即

因為x是輸入的源圖像，所以可以驗證擬合F（x）與擬合H（x）的目標是等價的。在此條件下，原來的最優(yōu)解映射被表示為：

（1）基礎(chǔ)殘差塊。通過跨越性連接，使用兩個卷積核大小為3×3的卷積層；

（2）Bottleneck殘差塊。在兩個卷積核大小為1×1的卷積層中間增加卷積核大小為3×3的卷積層，同時為了減少模型的參數(shù)、增加網(wǎng)絡(luò)結(jié)構(gòu)的寬度，使用了比卷積核3×3更多的通道數(shù)；

（3）基礎(chǔ)寬殘差塊。在基礎(chǔ)殘差塊的基礎(chǔ)上，通過增加卷積層的通道數(shù)來增加殘差塊的寬度；

（4）Dropout寬殘差塊。為了提升測試結(jié)果，體現(xiàn)寬殘差網(wǎng)絡(luò)的泛化性，在2個卷積核大小為1×1的卷積層中間添加Dropout機制。

綜上所述，寬殘差網(wǎng)絡(luò)在殘差塊基礎(chǔ)上的改進的確能夠提高殘差塊的表達能力。

圖5 各種殘差塊

1.2.2 多尺度寬殘差網(wǎng)絡(luò)

本文結(jié)合Rubin等［16］提出的Inception模塊思想，為實現(xiàn)多尺度的特征學(xué)習(xí)，適當(dāng)增加了寬殘差塊的分支。此外，為了降低網(wǎng)絡(luò)模型的參數(shù)，在新增加的并行連接的卷積層上，沒有使用較大的7×7的卷積核，而是使用了1×1、3×3和5×5的卷積核形成多尺度寬殘差網(wǎng)絡(luò)，同時在每個卷積層之前都有相應(yīng)的BatchNorm和ReLU層。

如圖6所示，本文的寬殘差模塊有6個分支，為了提高網(wǎng)絡(luò)的表達能力，在除shortcut連接的分支上都有一個1×1卷積，因為1×1卷積不僅可以對通道數(shù)進行升維和降維、跨通道組織信息，還可以用很小的計算量就能夠增加特征變換和非線性變換。具體結(jié)構(gòu)如下：第1個分支為1×1卷積；第2個分支先用1×1卷積，然后進行3×3卷積；第3個分支先用3×3卷積，然后進行1×1卷積；第4個分支先用1×1卷積，然后進行5×5卷積；第5個分支是使用5×5卷積后再執(zhí)行1×1卷積；最后1個分支是shortcut連接；最后通過連接操作合并。

圖6 多尺度寬殘差學(xué)習(xí)塊

本文的多尺度寬殘差網(wǎng)絡(luò)結(jié)構(gòu)MSWideResnet如圖7所示，寬殘差模塊的總層數(shù)為16，殘差塊的寬度由加寬系數(shù)k決定，其中k＝4。

圖7 多尺度寬殘差網(wǎng)絡(luò)模型

2 實驗結(jié)果和分析

實驗采用的計算機配置是i7-6700 CPU，20 GB RAM，軟件為Spyder（3．2．6）。

2.1 實驗數(shù)據(jù)集

為了比較本文算法的分類效果，選取Indian Pines數(shù)據(jù)和Pavia University數(shù)據(jù)進行實驗。Indian Pines是由AVIRIS傳感器獲得，高光譜圖像大小為145×145像素，其空間分辨率能夠達到20 m，采用的光譜范圍為0．4 ～2．5 μm，共包含了200 個波段。Pavia University是由ROSIS傳感器獲得，高光譜圖像大小為610×340像素，其空間分辨率能夠達到1．3 m。采用光譜覆蓋范圍為0．43 ～0．86 μm，共包含103 個波段。

2.2 數(shù)據(jù)預(yù)處理

高光譜圖像的數(shù)據(jù)量往往很大，如果直接對原始圖像進行處理，不僅會造成很大的計算量而且會造成分類精度較低。為了加快訓(xùn)練和分類的過程，采用PCA算法降低高光譜圖像的維數(shù)。雖然利用該方法降維會導(dǎo)致光譜信息的損失，但空間信息仍保持完整。經(jīng)過PCA算法降維后，主要信息容易集中在少數(shù)幾個波段，如表1 Indian Pines主成分，表2 Pavia University主成分所示。

表1 Indian Pines主成分

表2 Pavia University主成分

在本實驗中，選取累計貢獻率大于或等于98%的主成分來取代原始圖像，進而壓縮數(shù)據(jù)。從表1、2可以看出，圖像的主要成分主要集中在前3個主分量上，后面大部分的分量都是噪聲。

2.3 對比算法和評價指標

為了驗證本文中SEIR-MSWR模型在高光譜圖像分類中的效果，將其與其他常見的分類算法做對比實驗。主要包括支持向量機（Support Vector Machine，SVM）、K-最近鄰法（K-NearestNeighbor，KNN）、寬殘差網(wǎng)絡(luò)（Wide Resnet Network，WRN）以及InceptionV2-Resnet。

在進行高光譜圖像降維前，首先對輸入的原始高光譜圖像數(shù)據(jù)進行歸一化，令每一個數(shù)值位于區(qū)間［0 1］。在完成高光譜圖像分類后，依照地面真實數(shù)據(jù)，采用4個常見的高光譜圖像分類精度指標（整體分類精度（Overall Accuracy，OA）、平均分類精度（Average Accuracy，AA）、每類分類精度（Class Accuracy，CA）以及Kappa系數(shù)）對高光譜圖像的分類結(jié)果進行客觀評價，評估分類結(jié)果的準確程度。

2.4 實驗結(jié)果分析

將經(jīng)PCA算法降維后的3維高光譜圖像分別輸入到5種網(wǎng)絡(luò)結(jié)構(gòu)中，為保證不同分類算法的訓(xùn)練數(shù)據(jù)、測試數(shù)據(jù)均相同，即從每個地物類別中隨機選取70%的標記樣本作為訓(xùn)練樣本，另外30%的標記樣本為測試樣本。此外，為更精確地實現(xiàn)高光譜圖像的分類，均選取在訓(xùn)練數(shù)據(jù)上分類精度最高的模型對測試數(shù)據(jù)進行分類，并與真實的地物標記對比評價分類精度。網(wǎng)絡(luò)結(jié)構(gòu)確定后，利用均值為0、方差為0．1的截斷正態(tài)分布對卷積層和全連接層的權(quán)重進行隨機初始化，設(shè)置偏置為0．1，Dropout為0．5。采用Adam 優(yōu)化器對網(wǎng)絡(luò)進行訓(xùn)練，在SVM算法中，通過gridsearch方法找到最優(yōu)參數(shù)c和gamma的值，分別為c＝0．01，gamma＝100；在KNN算法中，通常采用交叉驗證的方法來選取合適的k值，即k＝1；在WRN網(wǎng)絡(luò)模型中的初始學(xué)習(xí)率設(shè)置為0．001，batchsize設(shè)置為128，最大迭代次數(shù)為12 000次；InceptionV2-Resnet網(wǎng)絡(luò)模型的初始學(xué)習(xí)率設(shè)置為0．01，batchsize設(shè)置為200，最大迭代次數(shù)為12 000次；本實驗的SEIR-MSWR網(wǎng)絡(luò)模型的初始學(xué)習(xí)率設(shè)置為0．000 1，batchsize設(shè)置為200，最大迭代次數(shù)為12 000次。采用結(jié)果加權(quán)平均模型融合時，SE-Inception-Resnet網(wǎng)絡(luò)模型以及MSWideResnet網(wǎng)絡(luò)模型的權(quán)值分別為0．6，0．4。

（1）Indian Pines數(shù)據(jù)集。圖8給出了訓(xùn)練過程中損失函數(shù)的變化情況?？梢钥闯?，隨著迭代次數(shù)的增加，損失函數(shù)呈下降趨勢。當(dāng)?shù)螖?shù)增加到一定范圍時，損失函數(shù)的下降趨于平緩。同時，InceptionV2-Resnet和SEIR-MSWR損失函數(shù)的下降趨勢明顯陡于WRN。

圖9給出了3種深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)在訓(xùn)練過程中總體分類精度的變化情況。從中可以看出，隨著迭代次數(shù)的增加，總體分類精度呈上升趨勢。同時，InceptionV2-Resnet和SEIR-MSWR總體分類精度的增長速度較強于WRN。

圖8 Indian Pines在訓(xùn)練過程中損失函數(shù)的變化情況

圖9 Indian Pines在訓(xùn)練過程中總體分類精度的變化情況

圖10 給出了Indian Pines數(shù)據(jù)集上不同算法的分類圖，SEIR-MSWR分類噪聲相比于其他方法更少，獲得了更好的分類效果。但是對于數(shù)據(jù)集中易于區(qū)分的地物類別，SEIR-MSWR分類效果于其他方法相當(dāng)，如Wheat、Hay-windrowed。對于特征相近的地物類別，SEIR-MSWR能很明顯地提高分類精度，從而改善總體的分類效果。

圖10 Indian Pines高光譜圖像分類結(jié)果

表3給出了Indian Pines高光譜圖像數(shù)據(jù)集對應(yīng)的分類結(jié)果，針對OA、AA和Kappa系數(shù)，WRN、InceptionV2-Resnet以及SEIR-MSWR較SVM和KNN有較為明顯的提升。此外，SEIR-MSWR的OA相比于RBF-SVM、KNN、WRN 和InceptionV2-Resnet分別提高了20．86%、20．09%、5．48%、3．39%，AA 分別提高了17．98%、16．31%、6．03%、3．73%，Kappa 分別提高了0．18、0．17、0．06、0．04。

表3 Indian Pines數(shù)據(jù)集上各種分類算法的正確率統(tǒng)計%

（2）Pavia University數(shù)據(jù)集。圖11給出了訓(xùn)練過程中損失函數(shù)的變化情況。從中可以看出，隨著迭代次數(shù)的增加，損失函數(shù)呈下降趨勢。當(dāng)?shù)螖?shù)增加到一定范圍時，損失函數(shù)的下降趨于平緩。同時，WRN損失函數(shù)的波動明顯高于InceptionV2-Resnet和SEIR-MSWR。

圖12給出了3種深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)在訓(xùn)練過程中總體分類精度的變化情況，從中可以看出，隨著迭代次數(shù)的增加，總體分類精度呈上升趨勢。當(dāng)?shù)螖?shù)增加到一定范圍時，分類精度的增長趨于平緩。同時，WRN總體分類精度的波動明顯高于InceptionV2-Resnet和SEIR-MSWR。

圖13給出了Pavia University數(shù)據(jù)集上不同算法的分類圖，SEIR-MSWR分類噪聲相比于其他方法更少，獲得了更好的分類效果。但是對于數(shù)據(jù)集中易于區(qū)分的地物類別，SEIR-MSWR分類效果于其他方法相當(dāng)，如Meadows、Trees。對于特征相近的地物類別，SEIR-MSWR能很明顯地提高分類精度，從而改善總體的分類效果。

表4給出了Pavia University高光譜圖像數(shù)據(jù)集對應(yīng)的分類結(jié)果，針對OA、AA和Kappa系數(shù)，WRN、InceptionV2-Resnet以及SEIR-MSWR較SVM和KNN有較為明顯的提升。此外，SEIR-MSWR的OA相比于RBF-SVM、KNN、WRN 和InceptionV2-Resnet分別提高了23．1%、16．89%、6．66%、2．58%，AA 分別提高了23．1%、19．13%、7．42%、3．35%，Kappa 分別提高了0．22、0．17、0．07、0．03。

圖11 Pavia University高光譜圖像損失函數(shù)的變化情況

圖12 Pavia University在訓(xùn)練過程中損失函數(shù)的變化情況

圖13 Pavia University高光譜圖像分類結(jié)果

表4 Pavia University數(shù)據(jù)集上各種分類算法正確率統(tǒng)計%

3 結(jié) 語

本文針對高光譜圖像特征提取和分類的問題，提出了將SE-Inception-Resnet和MSWideResnet模型融合實現(xiàn)對高光譜圖像分類的方法。首先，由于高光譜圖像中存在冗余信息，利用PCA算法對原有的高光譜圖像進行降維處理得到三維的高光譜圖像。其次，將提出的兩種深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)用于對高光譜圖像的分類，第1種網(wǎng)絡(luò)結(jié)構(gòu)是將Senet模塊分別嵌入到Inception-Resnet-A、 Inception-Resnet-B、 Inception-Resnet-C中，并將網(wǎng)絡(luò)的多層特征進行融合得到SEInception-Resnet網(wǎng)絡(luò)結(jié)構(gòu)，第2種網(wǎng)絡(luò)結(jié)構(gòu)是通過增加寬殘差網(wǎng)絡(luò)中并行的卷積層得到MSWideResnet網(wǎng)絡(luò)結(jié)構(gòu)。最后，利用結(jié)果加權(quán)平均模型融合的方式獲得高光譜圖像的類別。實驗結(jié)果表明，通過對Indian Pines和Pavia University兩個真實高光譜圖像數(shù)據(jù)進行實驗，驗證了本文方法比傳統(tǒng)方法對高光譜圖像特征提取和分類有更好的效果。

融合多層特征SENet和多尺度寬殘差的高光譜圖像地物分類方法更好地提取了高光譜圖像的本質(zhì)特征，提高了高光譜圖像的分類精度，但是該方法存在耗時較長的問題，如何提高高光譜圖像分類的速度還有待進一步研究。