混合卷積神經(jīng)網(wǎng)絡的高光譜圖像分類方法

劉翠連，陶于祥*，羅小波，李青妍

(1.重慶郵電大學 計算機科學與技術學院，重慶 400065；2.重慶郵電大學 空間大數(shù)據(jù)研究中心，重慶 400065)

引 言

近年來，高光譜圖像分類技術受到了普遍關注，在很多不同的領域中發(fā)揮作用。目前該技術已廣泛用于國防、農(nóng)業(yè)、地質(zhì)、環(huán)境、海洋勘探和其它領域[1]。與多光譜圖像相比，高光譜圖像不僅具有豐富的特征信息，而且具有多波段和高數(shù)據(jù)維度的特征，這也導致高光譜圖像分類難以實現(xiàn)高分類精度[2]。高光譜自身特性和外在的影響又增加了對高光譜圖像分類的困難，使得高光譜圖像分類任務更加艱巨。因此，研究一個有效提升高光譜圖像分類性能的方法模型具有極其重要的實際價值。

在高光譜圖像分類領域，一些學者提出了許多方法和模型，典型的是深度學習方法，它能夠提取魯棒特征，相比于其它方法具有明顯的性能優(yōu)勢[3]。深度學習方法被應用在高光譜遙感分類領域中并取得了一定效果[4]。隨后，逐漸出現(xiàn)了其它的深度學習模型，并被引入到遙感圖像分類中。主要有稀疏自動編碼器[5]、深度信念網(wǎng)絡[6]和卷積神經(jīng)網(wǎng)絡(convolutional neural network,CNN)[7]等。然而，在空間特征提取階段，深度信念網(wǎng)絡和稀疏編碼器網(wǎng)絡兩個模型要求將輸入圖像塊展平為1維向量，這會忽略原始圖像中的空間結(jié)構(gòu)信息，造成空間特征丟失的問題[8]。CNN在圖像分類領域具有極其重要的價值，并且在圖像分類領域表現(xiàn)出顯著性能[9]。ZHANG等人[10]提出了基于1維卷積、2維卷積(two-dimensional convolutional neural network,2D-CNN)的光譜空間雙通道網(wǎng)絡架構(gòu)。ZHAO等人[3]提出了一種基于CNN和降維技術的光譜-空間分類方法，然后通過歸一化指數(shù)函數(shù)(softmax)回歸分類器將其組合在一起。但是參考文獻[3]和參考文獻[10]中并沒有充分利用聯(lián)合光譜-空間相關信息。同樣，XU等人[8]提出了一種光譜-空間特征統(tǒng)一的網(wǎng)絡模型結(jié)構(gòu)(spectral-spatial unified networks,SSUN)，該結(jié)構(gòu)中使用2D-CNN和長短期記憶分別用于提取空間特征和光譜特征，但這項工作需要對原始高光譜數(shù)據(jù)進行一系列預處理以滿足不同的輸入要求，且模型結(jié)構(gòu)較復雜。ZHONG等人[11]提出了一種基于光譜空間信息的殘差結(jié)構(gòu)，它將原始高光譜圖像的3維塊作為輸入數(shù)據(jù)來學習空間和光譜特征信息，采用殘差塊來改善梯度的反向傳播，并使用批量正則化來規(guī)范模型的學習過程，但是它需要大量的標記數(shù)據(jù)來微調(diào)影響其泛化能力的訓練參數(shù)，同時也存在梯度消失導致的信息丟失現(xiàn)象。此外，LI等人[12]提出了混合CNN，它將1維、2維和3維卷積網(wǎng)絡(three-dimensional convolutional neural network,3D-CNN)分別作為3個特征提取分支，但是該工作中采用的是最后一層神經(jīng)網(wǎng)絡的輸出來提取空間特征，不足以捕捉細粒度的空間細節(jié)。

針對以上的研究，作者設計了混合CNN的高光譜圖像分類(hybrid convolutional neural network,HY-CNN)方法。將2D-CNN和3D-CNN結(jié)合充分利用光譜-空間特征信息，并使用空間增強分支來提高空間信息的利用率。同時使用多尺度融合策略將淺層特征和深層特征進行融合，緩解了神經(jīng)網(wǎng)絡在池化過程中特征信息丟失的現(xiàn)象，保證了提取信息的完整性，進而改善分類效果。最后，通過softmax訓練分類器得到最終結(jié)果。此外，由于可用的訓練樣本有限，通常會出現(xiàn)欠樣本訓練而引發(fā)的過擬合問題，在該方法中同時使用了丟棄函數(shù)(dropout)和整流線性函數(shù)(rectified linear unit,ReLU)以減緩過擬合。

1 混合卷積神經(jīng)網(wǎng)絡的高光譜圖像分類方法

近年來，許多研究表明CNN對高光譜遙感圖像分類提供了先進的結(jié)果[11-15]。由于高光譜圖像(hyperspectral image,HSI)自身高維數(shù)性和數(shù)據(jù)量豐富的特性，它自身的空間和光譜特征信息對分類性能起了決定性作用[15]。CNN是目前在高光譜圖像分類領域應用最廣泛的深度學習網(wǎng)絡[16]。參考文獻[17]中利用3D-CNN對高光譜圖像進行光譜-空間綜合特征提取，且分類表現(xiàn)效果較佳。2D-CNN相比于3D-CNN參數(shù)較少，過擬合的風險較低，有研究表明，2D-CNN對高光譜圖像的空間特征提取具有良好的性能[18]。CNN還具有局部連接和權(quán)重共享兩大特點[19]。它只需要相鄰層之間神經(jīng)元的部分連接就可實現(xiàn)連通，同時也可以共享權(quán)重進而來減少訓練參數(shù)[20]。本文中基于3D-CNN和2D-CNN研究高光譜分類方法，該方法結(jié)構(gòu)如圖1所示。圖中，F(xiàn)C是卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)中的全連接層(fully connected)。

Fig.1 Algorithm structure model

如圖1所示，提出的框架使用雙分支結(jié)構(gòu)用于高光譜圖像特征提取，主要包括3個部分:第一部分是空間特征增強分支；第二部分是光譜-空間特征分支；第三部分是多尺度特征融合，最后使用softmax分類器以得到最終預測分類結(jié)果。

1.1 空間特征增強

卷積層是CNN框架中至關重要的部分，通過計算輸入數(shù)據(jù)和相應卷積核之間的點積之和來實現(xiàn)卷積操作，卷積層的每個通道可以表示為：

(1)

式中，Di是卷積特征圖的第i個通道，wi代表第i個卷積核，bi是第i個特征圖的偏置項，xj是先前層的第j個通道，操作符·代表的是2維卷積運算，Ω(·)代表的是非線性ReLU激活函數(shù)。Ω(·)可用來改善CNN的非線性并且加快網(wǎng)絡模型的訓練進程，它可以用如下公式表示：

(2)

鑒于高光譜遙感圖像空間分辨率不高且空間結(jié)構(gòu)信息缺乏。在第1個分支中，將3D-CNN和2D-CNN結(jié)合作為空間特征提取的分支。首先，將原始高光譜數(shù)據(jù)進行降維，其次再進行切塊劃分操作。本文中使用的是主成分分析(principal component analysis,PCA)技術來實現(xiàn)降維。之后將切塊得到的3維立方體輸入到對應的卷積網(wǎng)絡結(jié)構(gòu)中，進行一系列相應的卷積和池化操作。在3D-CNN中，采用一層卷積、一層池化的架構(gòu)。在該網(wǎng)絡中的第i層、第j個特征圖中位置為(x,y,z)神經(jīng)元的連接值vij,xyz計算公式如下所示：

vij,xyz=

(3)

式中，Φ(·)是激活函數(shù)，Gi和Fi是卷積核空間維度尺寸的高和寬，Hi是卷積核的光譜維度尺寸,是當前(第j個)特征圖到第i-1層特征圖的連接索引，wijt,fgh表示與第t個特征圖的位置為(f,g,h)的連接值，v(i-1)t,(x+f,y+g,z+h)是i-1層第t個特征圖在位置為(x+f,y+g,z+h)的值，bij是偏置值。

通過兩層3維卷積對高光譜圖像進行特征信息提取，已經(jīng)提取到了光譜和空間特征，在此基礎上再經(jīng)過兩層2維卷積進一步增強空間特征信息，將具有4層網(wǎng)絡結(jié)構(gòu)的混合CNN作為空間增強分支。在2D-CNN中，同時也采用一層卷積、一層池化的架構(gòu)。在該網(wǎng)絡中的第i層第j個特征圖中位置為(x,y)的神經(jīng)元vij,xy的連接值計算公式如下所示：

(4)

式中,wijt,fg表示與第t個特征圖中的位置為(f,g)的連接值，v(i-1)t,(x+f,y+g)是i-1層第t個特征圖在位置為(x+f,y+g)的值。

1.2 光譜-空間特征提取

通常3D-CNN可以同時進行光譜和空間綜合特征信息提取，且取得的分類性能顯著，因此在該分支中，本方法使用具有3層結(jié)構(gòu)的3D-CNN來提取光譜-空間特征。相比于較深層次的3D-CNN，3層結(jié)構(gòu)能夠更好地提取光譜-空間特征信息，并且也不會使得網(wǎng)絡結(jié)構(gòu)較復雜化。由于池化操作可以去除部分特征冗余信息，壓縮特征圖，使得網(wǎng)絡結(jié)構(gòu)復雜度縮減，參數(shù)量減少。為了盡可能地降低參數(shù)量，在本方法模型中使用的是池化操作中的一種最為常用的最大池化操作。通過最大池化可以減少特征圖的尺寸和計算參數(shù)量，加快模型訓練性能。

1.3 多尺度特征融合和分類

在傳統(tǒng)的CNN中，全連接層通常被添加在池化層之后，在全連接層后面再使用softmax函數(shù)獲得預測結(jié)果。但是忽略了各層之間的互補和強相關的空間和光譜特征，這將導致在卷積和池化過程中大量的信息特征丟失現(xiàn)象?；谠搯栴}，本文中設計了一個多尺度特征融合策略，將淺層特征和深層特征進行結(jié)合確保了提取特征的完整性，使得輸入分類器的特征具有多尺度特性，并減少池化過程中特征信息丟失的現(xiàn)象。與淺層特征相比，深層特征能夠表示更抽象和復雜的結(jié)構(gòu)信息，對于局部變化具有更強的魯棒性[8]。最后，該框架結(jié)合使用了ReLU和dropout策略，有效緩解了過擬合問題并提高了該算法的泛化性能。將兩個分支結(jié)合之后輸入分類器中的多尺度特征可以表示如下：

I=c([v(L1,L2,L3)],[v(L4)])

(5)

式中,I代表的是整個框架的全連接層輸出特征向量，L1，L2，L3代表的是第1個分支中的全連接層輸出向量,L4代表的是第2個分支中的全連接層輸出向量，v(x)代表的是add函數(shù)，c(x)代表的是concat函數(shù)。

在該方法中，將分別所得的增強空間信息和綜合光譜-空間可分性信息進行特征融合后，之后通過softmax函數(shù)對輸入的標簽向量進行預測，該函數(shù)可以表示為：

(6)

式中，pi是該標簽向量屬于第i類別的概率值，ui和uj表示在softmax層中輸入樣本的第i個和第j個類別，k代表地物種類數(shù)。

在該方法模型中，作者使用的是交叉熵損失函數(shù)。首先，通過它可以計算得到模型的預測標簽和真實標簽之間的差異大小。之后，為了優(yōu)化網(wǎng)絡權(quán)重再使用Adam優(yōu)化器來實現(xiàn)，從而進一步使得網(wǎng)絡模型達到最優(yōu)值即損失函數(shù)趨于最小化的狀態(tài)。該損失函數(shù)可表示：

(7)

2 實 驗

2.1 實驗平臺

實驗平臺的配置為Intel Core i7-8700k CPU 3.70GHz，32GB，GPU NVIDIA GeForce GTX 1070，基于Windows 10為操作系統(tǒng)，開發(fā)語言是基于Tensorflow后端的Keras庫和Python。

2.2 實驗數(shù)據(jù)集

本文中使用的數(shù)據(jù)集分別是Indian Pines和Pavia University。Indian Pines數(shù)據(jù)集中的圖像尺寸為145×145，可用波段數(shù)量為200個，包含16種土地覆蓋類別，具體的地物覆蓋類別數(shù)量信息如表1所示。Pavia University數(shù)據(jù)集中的圖像尺寸為610×340，可用波段數(shù)量為103個，包含9種土地覆蓋類別，具體的地物覆蓋類別數(shù)量信息如表2所示。

Table 1 Category information of Indian Pines

Table 2 Category information of Pavia University

3 結(jié)果與分析

實驗中需要對原始高光譜圖像進行數(shù)據(jù)預處理。首先，實驗中采用的是PCA法來減少頻譜冗余信息，在Indian Pines數(shù)據(jù)集中選取了30個主成分，在Pavia University數(shù)據(jù)集中選取了15個主成分。之后，將Indian Pines數(shù)據(jù)集進行切塊處理，對于兩個不同的數(shù)據(jù)集，作者采用相同的空間尺寸25作為3維立方體的空間尺寸輸入。Indian Pines數(shù)據(jù)集中使用的3維數(shù)據(jù)立方體尺寸為 25×25×30，Pavia University數(shù)據(jù)集中使用的3維數(shù)據(jù)立方體尺寸為25×25×15 。此外，實驗中的迭代訓練次數(shù)設置為100，批次大小為128，學習率為0.001。之后再使用Adam優(yōu)化器的反向傳播算法通過softmax函數(shù)訓練該模型。

在第1個分支中，它主要包括兩個3-D卷積層和兩個2-D卷積層。兩個3-D卷積層的卷積核是(3,3,7)和(3,3,5)，相對應的濾波器的數(shù)量是8,16。兩個2-D卷積層的卷積核是(3,3)和(3,3)，采用的濾波器的數(shù)目都為64。在第2個分支中，使用3D-CNN來提取光譜和空間特征，該分支包含3個3維卷積層和3層池化層。這3個3-D卷積層的卷積內(nèi)核分別是(3,3,7)和(3,3,5)和(3,3,3)，相對應的濾波器的數(shù)目分別是8,16和32。在這兩個分支中，均采用的是最大池化，在3維卷積層之后的最大池化尺寸為(2,2,1)，在2維卷積層之后的最大池化尺寸是(2,2)。之后使用多尺度特征融合策略，將該雙分支CNN得到的特征進行融合，可有效保證模型提取到特征的完整性。同時，ReLU和dropout的組合使用旨在緩解過度擬合的問題，有效提高了模型的魯棒性和泛化性能。為了驗證該算法的分類效果，實驗中使用的訓練樣本數(shù)目占比為20%，測試樣本數(shù)目占比為80%。實驗中采用的評價指標分別是平均分類準確度(average accuracy,AA)，kappa系數(shù)和整體分類準確度(overall accuracy,OA)，在高光譜圖像分類領域中，通常使用這些指標值的高低進行驗證不同模型之間的性能差異。這些指標(AA，kappa，OA)的值越高，表明相對應算法模型的分類性能越有競爭優(yōu)勢。

表3和表4中分別給出了在不同數(shù)據(jù)集上不同方法得到的AA，kappa和OA的結(jié)果值。為了全面驗證模型的性能，將該方法模型與未使用多尺度特征融合的方法(Proposed-1)支持向量機(support vector machine,SVM)[21]，2D-CNN[18]，3D-CNN[17]，SSUN[8]等算法進行了對比。

從表3中的數(shù)據(jù)分析可知，在Indian Pines數(shù)據(jù)集上，該方法相比于SSUN而言具有很大的性能優(yōu)勢，3種評價指標OA，AA和kappa的值均增加了約2%；該方法相比于傳統(tǒng)的神經(jīng)網(wǎng)絡2D-CNN和3D-CNN而言具有明顯的性能優(yōu)勢，它能夠更好地利用空間和光譜-空間信息；同時該方法相比于監(jiān)督分類方法SVM而言也表現(xiàn)出了極大的競爭優(yōu)勢，分類性能有了明顯的提升。從表3可知，該方法的波動幅度相對較小，性能表現(xiàn)相對較穩(wěn)定。由于使用了特征融合使得該方法能夠捕捉細粒度的空間細節(jié)信息，降低了特征信息損失，因此使用多尺度特征融合策略的HY-CNN方法模型相比于不使用多尺度特征融合的方法模型(Proposed-1),具有較好的性能。

Table 3 Classification evaluation index value(Indian Pines)

Table 4 Classification evaluation index value (Pavia University)

從表4中的數(shù)據(jù)分析可知，在Pavia University數(shù)據(jù)集中，該方法相比于傳統(tǒng)的卷積網(wǎng)絡3D-CNN而言，OA和kappa的值增加了約2%，AA的值增加了約3%。相比于2D-CNN，OA和kappa的值增加了約3%，AA的值增加了約4%。同時相比于先進的SSUN算法也表現(xiàn)出競爭優(yōu)勢，并且在該數(shù)據(jù)集上也表明了使用多尺度特征融合策略的HY-CNN方法具有性能優(yōu)勢且相對于其它方法性能較穩(wěn)定。從表3和表4中 的分類精度結(jié)果可知，在兩個數(shù)據(jù)集上,本文中提出的HY-CNN方法模型均進一步改善了高光譜圖像的分類精度，并且也都表現(xiàn)出了較平穩(wěn)的效果。

為了更加全面地驗證HY-CNN方法的分類性能，在表5中也給出了在不同數(shù)據(jù)集上該方法的空間增強分支和光譜-空間分支各自的分類結(jié)果，其中空間增強分支作為其第1個分支，光譜-空間分支作為其第2個分支。

Table 5 Classification evaluation index values of different sub-branch

從表5中的數(shù)據(jù)分析可知，在Indian Pines數(shù)據(jù)集中，HY-CNN方法與自身的空間增強分支和光譜-空間分支相比較而言，AA增加了約2%，kappa增加了約1%，OA增加了約1%。在Pavia University數(shù)據(jù)集中，HY-CNN方法與自身的空間增強分支和光譜-空間分支相比較而言，AA和kappa的兩個評估指標增加了約0.5%，OA增加了約0.4%。同時在表4中也給出了未使用多尺度特征融合的方法模型(Proposed-1)的分類結(jié)果，表4和表5中的數(shù)據(jù)均能夠證明HY-CNN方法具有一定的分類性能優(yōu)勢。

傳統(tǒng)的圖像一般包含3個通道，高光譜遙感圖像不同于傳統(tǒng)的圖像，具有豐富的光譜信息，波段數(shù)較多，且它存在“休斯現(xiàn)象”和“同物異譜”、“異物同譜”，容易受到外界復雜的空間分布和環(huán)境變化的影響，導致高光譜遙感圖像的分類精度不理想。針對具有3維結(jié)構(gòu)的高光譜遙感圖像，將本文中的方法與一般的圖像分類方法(ResNet50，DenseNet169等)進行了對比分析。表6中給出了這兩個方法在不同數(shù)據(jù)集上的AA，kappa和OA的結(jié)果值?？梢钥闯?HY-CNN方法也表現(xiàn)出一定的性能優(yōu)勢。

Table 6 Comparative analysis of the results of different methods

圖2和圖3中分別給出了在Indian Pines和Pavia University兩個數(shù)據(jù)集上實驗所得到的混淆矩陣。

Fig.2 Confusion matrix (Indian Pines)

圖2和圖3中的右側(cè)是一個色度帶，每個類相應的樣本數(shù)量用相對應的顏色顯示。從圖2和圖3 可以看出，使用HY-CNN方法模型在Indian Pines和Pavia University不同數(shù)據(jù)集上實驗得到的混淆矩陣中誤分類現(xiàn)象較少。通過以上混淆矩陣效果圖可以直觀看出該方法的分類性能，它的主對角線上的元素越多，表示該方法分類性能越好。同時，還可以便于分析每個類別中是否存在誤分類現(xiàn)象以及相應不同地物類別的分類效果差異。

Fig.3 Confusion matrix (Pavia University)

圖4和圖5分別是在兩個不同數(shù)據(jù)集上(20%訓練樣本，80%測試樣本)相應方法的分類可視化圖(Indian Pines，Pavia University)。

從圖4c和圖5c可以看出，3D-CNN方法模型存在一些誤分類問題，分類性能相對不佳。圖4d、圖4e和圖5d、圖5e相比于3D-CNN方法而言，性能有了極大提升，減少了一些誤分類現(xiàn)象。由于使用了多尺度特征融合策略，使得提取到的特征具有更強的表示能力，因此，圖4e和圖5e相比于圖4d和圖5d而言，其分類性能有了進一步改善，且分類結(jié)果圖具有較平滑和清晰的視覺效果。從圖4和圖5中的結(jié)果分析可知，該方法針對高光譜圖像的分類表現(xiàn)結(jié)果具有競爭優(yōu)勢，在兩個數(shù)據(jù)集上本文中所提出的HY-CNN方法顯示出了先進的效果。

Fig.4 Visualization results (Indian Pines)

4 結(jié) 論

高光譜遙感圖像自身數(shù)據(jù)維數(shù)較高，數(shù)據(jù)量豐富，它自身的空間特征和光譜特征信息對分類性能起了決定性作用。因此，提取高光譜遙感圖像中的特征信息是提高分類性能的一個至關重要的步驟，本文中提出了一種基于混合CNN的高光譜遙感圖像分類方法(HY-CNN)。首先，使用一個分支來提取光譜-空間特征，有效地利用光譜-空間信息；其次，由于高光譜圖像的空間分辨率較低缺乏空間結(jié)構(gòu)特征，另一個分支作為空間增強分支，使得提取到的特征信息具有更好地表示能力，有效地利用空間信息。再次，該方法中使用特征融合保證最終提取特征的完備性，它能夠更好地捕捉特征細節(jié)信息，減少了信息損失；最后，在兩個公開的高光譜遙感數(shù)據(jù)集上實驗，實驗結(jié)果表明，該方法相比較于傳統(tǒng)的方法和一些先進的方法而言具有較好的分類性能。