混合深度CNN 聯(lián)合注意力的高光譜圖像分類

王 燕，呂艷萍

蘭州理工大學(xué) 計(jì)算機(jī)與通信學(xué)院，蘭州730050

高光譜圖像（hyperspectral image，HSI）是由高光譜遙感傳感器或者成像光譜儀獲得的，與傳統(tǒng)的RGB 圖像相比，高光譜圖像包含二維空間信息，在第三維中包含豐富的光譜信息[1]，大量的光譜波段可以區(qū)分各種具有高細(xì)節(jié)的材料。此外，利用圖像的形狀、紋理和幾何結(jié)構(gòu)等空間特征，可以提高識(shí)別率，非常有助于分類和識(shí)別任務(wù)，因此高光譜數(shù)據(jù)被廣泛地應(yīng)用到礦產(chǎn)資源開發(fā)[2]、農(nóng)業(yè)實(shí)驗(yàn)[3]、異常檢測(cè)[4]和食品分析[5]等領(lǐng)域。

盡管HSI 中具有豐富的光譜信息，但是也帶來了新的問題。隨著高光譜數(shù)據(jù)的不斷增加，導(dǎo)致了新的實(shí)際和理論問題。在實(shí)際問題方面，高維數(shù)據(jù)與有限訓(xùn)練樣本之間的不平衡，導(dǎo)致分類結(jié)果隨維數(shù)的增加而下降[6]。人工標(biāo)記HSI的成本較高而導(dǎo)致標(biāo)簽樣本短缺。HSI 的空間布局比較復(fù)雜，不同的光譜材料分類難度更大。理論方面，在高維空間中，為高光譜圖像開發(fā)的傳統(tǒng)算法可能不再適用。

傳統(tǒng)的高光譜圖像分類方法大多基于光譜信息，例如主成分分析（principal component analysis，PCA）[7]、線性判別式分析（linear discriminant analysis，LDA）[8]和流行學(xué)習(xí)（manifold learning）[9]都是基于光譜信息的分類方法，但是只依賴光譜特征進(jìn)行分類會(huì)導(dǎo)致“椒鹽現(xiàn)象”的發(fā)生，高光譜圖像中的像素并不是相互獨(dú)立的，忽略了相鄰像素間存在的空間相關(guān)性。因此，為進(jìn)一步提高分類性能，將空間特征納入分類方法中，例如基于手工制作的Gabor 濾波[10]、形態(tài)學(xué)屬性輪廓[11]、三維離散小波[12]等方法被相繼提出。雖然手工制作的空間特征有助于改善椒鹽現(xiàn)象并在一定程度上提高了分類精確度，但是手工特征通常僅具備某種特定類型的空間結(jié)構(gòu)信息，無法呈現(xiàn)高光譜圖像低級(jí)空間屬性的多樣性。之后提出了光譜-空間特征融合的方法，如基于對(duì)象或像素分割、決策融合、特征融合的方法。在特征融合方法中，基于深度學(xué)習(xí)的算法在HSI 分類中應(yīng)用廣泛。與之前的分類模型相比，深度學(xué)習(xí)最顯著的特點(diǎn)是在端到端的分層框架中學(xué)習(xí)高級(jí)特征。

典型的深度學(xué)習(xí)方法有自動(dòng)編碼器（autoencoder，AE）[13]、深度信念網(wǎng)絡(luò)（deep belief network，DBN）[14]和卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）[15]。在這些深度網(wǎng)絡(luò)模型中，CNN 在HSI 的特征提取和分類中表現(xiàn)出更好的性能。Yao 等提出了聚類算法和2D CNN 的深度學(xué)習(xí)模型[16]。魏祥坡等使用2D CNN提取HSI 的深層空間特征，同時(shí)利用1D CNN 提取深層光譜特征，通過兩個(gè)網(wǎng)絡(luò)模型全連接層的連接完成空間特征和光譜特征融合[17]，但是基于1D 或2D 的深度學(xué)習(xí)網(wǎng)絡(luò)無法同時(shí)利用三維數(shù)據(jù)中的光譜和空間信息。它們大多是分別獲取空間和光譜這兩種不同類型的信息，然后通過某種融合方法或簡(jiǎn)單堆疊的方式獲取空譜聯(lián)合特征。因此上述方法并沒有考慮和利用不同頻帶之間的關(guān)聯(lián)性。

在此基礎(chǔ)上，基于3D CNN 的各種分類方法取得了不錯(cuò)的分類結(jié)果[18]。3D CNN 可以聯(lián)合提取光譜和空間特征以保持HSI 立方體的相關(guān)性質(zhì)，其中光譜和空間信息被獨(dú)立并聯(lián)合地包含在3D 結(jié)構(gòu)中。Zhang等提出了一種深而寬的3D CNN 模型SSDANet[6]，雖然取得了很高的分類精度，但模型復(fù)雜度很大，在Indian Pines 數(shù)據(jù)集上的訓(xùn)練時(shí)間達(dá)到25 814.89 s。Zhang 等提出一種多通道網(wǎng)絡(luò)[19]，利用3D 密集連接網(wǎng)絡(luò)提取空譜特征，密集連接性使模型更深入，但是忽略了網(wǎng)絡(luò)的寬度，這將導(dǎo)致細(xì)節(jié)特征隨著模型的加深而逐漸丟失。

近幾年來，注意力機(jī)制被引入CNN 中。Lu 等提出了一種基于三維通道和空間注意力的多通道光譜-空間殘差網(wǎng)絡(luò)（channel and spatial attention-based multiscale spatial-spectral residual networks，CSMS-SSRN）[20]，其中的三維通道和空間注意力機(jī)制更多地關(guān)注空間特征而忽略了光譜特征。Sun等提出了一種空間注意力機(jī)制網(wǎng)絡(luò)（spectral-spatial attention network，SSAN）[21]，將光譜-空間網(wǎng)絡(luò)（spectral-spatial network，SSN）與SSAN 相結(jié)合提取空譜特征。Fang 等引入光譜注意力機(jī)制來增強(qiáng)光譜特征的可區(qū)分性，從而提高了訓(xùn)練模型的分類性能[22]。上述基于注意力機(jī)制的方法僅利用光譜特征或空間特征，忽略了HSI的特殊結(jié)構(gòu)。

盡管上述模型在HSI 分類上取得了一定的結(jié)果，但是提取有效且具有辨識(shí)性的空譜特征仍然是一個(gè)相當(dāng)大的挑戰(zhàn)。由于HSI 標(biāo)簽樣本數(shù)量短缺，不同標(biāo)記樣本的不平衡也降低了HSI 分類的準(zhǔn)確性，同物異譜和異物同譜現(xiàn)象的普遍存在也增加了分類的難度。

針對(duì)上述問題提出了混合深度卷積聯(lián)合注意力（hybrid deep CNN-Attention，HDC-Attention）網(wǎng)絡(luò)模型。具體地，該方法首先利用核主成分分析（kernel principal component analysis，KPCA）[23]和小批量K均值（mini batchK-means，MBK-means）來壓縮HSI 中的光譜特征，然后將處理后的數(shù)據(jù)輸入HDC 網(wǎng)絡(luò)進(jìn)行光譜-空間提取，再利用光譜-空間注意力（spectralspatial attention）進(jìn)一步增強(qiáng)關(guān)鍵的光譜-空間特征。最后利用Softmax 進(jìn)行分類任務(wù)。由于該模型可最大限度地提取光譜和空間特征，在受限的樣本下表現(xiàn)出較好的分類性能。

1 相關(guān)工作

1.1 高光譜圖像的降維處理

高光譜圖像具有高維度和高特征冗余的特點(diǎn)，維數(shù)的降低可以緩解維數(shù)災(zāi)難問題，在計(jì)算資源有限的情況下，也可以避免內(nèi)存不足的問題。

利用PCA 對(duì)高光譜圖像進(jìn)行降維，是將數(shù)據(jù)集投影在一個(gè)空間中，沿著每個(gè)正交向量的方差最大化，沒有考慮圖像的空間結(jié)構(gòu)和特征，而且PCA 適用于數(shù)據(jù)的線性降維，而高光譜數(shù)據(jù)由于其成像過程中如電磁波和大氣的復(fù)雜作用、臨近地物反射的電磁波的干擾、光譜儀的空間分辨率的限制等，這些因素是非線性的。KPCA 在繼承線性PCA 優(yōu)點(diǎn)的基礎(chǔ)上通過引用核函數(shù)增強(qiáng)了高光譜數(shù)據(jù)的非線性信號(hào)處理能力，從而檢索更高階的統(tǒng)計(jì)信息，可以更好地處理遙感圖像。

KPCA 是利用核方法對(duì)PCA 的一種非線性擴(kuò)展，其基本思想是：對(duì)于輸入矩陣X，通過一個(gè)非線性映射函數(shù)將X映射到高維甚至是無窮維的特征空間F，然后在特征空間F中進(jìn)行PCA 處理。

給定一組高光譜數(shù)據(jù)集X={X1,X2,…,XN}，X的每一列表示一個(gè)樣本，其中{Xi∈RK,i=1,2,…,N}。設(shè)一個(gè)非線性映射?將X映射到特征空間F（D維）：

將矩陣X映射到F中得到一個(gè)D×K的新矩陣?(X)={?(X1),?(X2),…,?(XN)}。然后在F中對(duì)?(X)進(jìn)行降維。F的協(xié)方差矩陣為：

由于?(X)可能是超高階或者無限階，將對(duì)角化CF的操作轉(zhuǎn)化為求解核函數(shù)k的特征問題：

求解k的特征值和特征向量：

其中，P為矩陣k的特征向量（特征空間中的權(quán)重向量），λ為矩陣k的特征值。

將式（5）左右同時(shí)乘XT，得到：

由于N?CF=XTX矩陣k和CF的特征值都為λ，CF的特征向量為XTP，將特征向量歸一化：

在上式中，λ和P可以通過矩陣k求解，XT仍未知，但求解X在V上的投影即可解出，即：

常用的核函數(shù)如多項(xiàng)式核(polynomial kernel，Poly 核)：

徑向基函數(shù)核（radial basis function kernel，RBF核）：

線性核（linear kernel）：

使用KPCA 進(jìn)行降維操作時(shí)，核函數(shù)的選擇和參數(shù)設(shè)置是影響結(jié)果的重要部分。

MBK-means 聚類算法是K-means 算法的改進(jìn)，其思想是隨機(jī)從整體特征中做一個(gè)抽樣，選取出一小部分?jǐn)?shù)據(jù)來代替整體。修瑛昌等證明在進(jìn)行大數(shù)據(jù)量的遙感影像分類時(shí)，MBK-means 算法比K-means算法更具優(yōu)勢(shì)[24]。通過抽樣不僅可以提高迭代的效率，正確率也可以達(dá)到標(biāo)準(zhǔn)。

KPCA 在保持高光譜數(shù)據(jù)的空間特征結(jié)構(gòu)的同時(shí)，壓縮光譜信息并減少了光譜冗余，MBK-means 通過抽樣的方法將經(jīng)過KPCA 降維后的特征進(jìn)行進(jìn)一步的降維，同時(shí)也減少了運(yùn)算時(shí)間。

1.2 3D CNN 和2D CNN

基于CNN 的深度學(xué)習(xí)模型之所以能夠有如此優(yōu)秀的性能，是因?yàn)椴煌矸e層所學(xué)習(xí)的圖像特征之間有著非常清晰的層次結(jié)構(gòu)。最前面卷積層的神經(jīng)元主要被顏色激活，說明光譜特征是特征學(xué)習(xí)過程的基礎(chǔ)。中間層學(xué)習(xí)的特征對(duì)應(yīng)于圖像中的角、邊緣和紋理，而最后一層特征則是針對(duì)類別的，主要對(duì)應(yīng)于對(duì)象和部分的對(duì)象。

實(shí)際上，自然圖像和遙感圖像的特征本質(zhì)上是按層次組織的。特征學(xué)習(xí)是光譜-空間的學(xué)習(xí)過程，和3D CNN 學(xué)習(xí)光譜-空間特征的過程相吻合，因此，以順序方式處理光譜特征和空間特征是合理的。光譜特征是高層次空間特征的基礎(chǔ)，空間特征用于分類決策。3D CNN 在三個(gè)維度上同時(shí)工作，其中兩個(gè)維度為空間維，剩下的一維為光譜維，高光譜圖像也是三維的立方體，3D CNN 聯(lián)合提取的光譜和空間特征被獨(dú)立并聯(lián)合地包含在3D 結(jié)構(gòu)中。因此3D CNN更加適合提取高光譜圖像的特征。

3D CNN 的卷積層利用三維卷積核對(duì)三維輸入進(jìn)行運(yùn)算。表示為第l層第j個(gè)特征映射(x,y,z)位置的神經(jīng)元，其計(jì)算公式如式（12）所示。

利用2D CNN 可以提取高光譜遙感圖像目標(biāo)像素周圍的局部空間信息。2D CNN 提取空間特征，卷積層利用二維卷積核對(duì)二維輸入進(jìn)行運(yùn)算。第l層第j個(gè)特征圖上神經(jīng)元在位置(x,y)的值可通過式（13）計(jì)算。

其中，m為第(l-1)層的特征圖索引。卷積核的高度和寬度分別用Hl和Wl表示。表示第l層第m個(gè)特征圖上(h,w)位置的第j個(gè)卷積核的權(quán)重。第(l-1)層第m個(gè)特征圖上神經(jīng)元在位置(x+h,y+w)上的值表示為。bl,j是偏置。

2 模型框架

2.1 整體框架

圖1 展示了用于HSI 分類的HDC-Attention 框架圖，主要由三部分組成：KPCA 和MBK-means 組合降維模塊、HDC 特征提取模塊、Spectral-Spatial Attention 模塊。

圖1 HDC-Attention 網(wǎng)絡(luò)框架Fig.1 Network framework of HDC-Attention

本文以Indian Pines 的數(shù)據(jù)集為例，說明所設(shè)計(jì)模型的實(shí)現(xiàn)細(xì)節(jié)。原始高光譜數(shù)據(jù)立方體像素大小為145×145×200，其中145 表示高度和寬度，200 表示光譜維度。首先對(duì)原始高光譜數(shù)據(jù)沿光譜維進(jìn)行KPCA 降維。將光譜維數(shù)的數(shù)量從200 減少到15，同時(shí)保持原始立方體完整的空間維度（寬度和高度），再將降維后的特征通過MBK-means 聚類算法聚為20 簇，用簇中心的平均光譜特征來標(biāo)記不同的簇。這樣，高光譜圖像中的光譜特征得到很大程度的壓縮。KPCA 和MBK-means 的組合方法減少了HSI 的光譜冗余，保留了主要特征，為后續(xù)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取打好了基礎(chǔ)。

然后，選擇25×25×15 像素鄰域作為輸入樣本。第一，分別通過3 個(gè)改進(jìn)的3D CNN 模塊，得到通道數(shù)為32 的25×25×15 特征圖。改進(jìn)的3D CNN 網(wǎng)絡(luò)可以依次增強(qiáng)光譜-空間特征，產(chǎn)生具有代表性的特征，增強(qiáng)模型的泛化能力。第二，通過兩個(gè)2D CNN 進(jìn)一步提取深度空間特征。通過有64 個(gè)濾波器的5×5 的2D CNN，生成64 通道的21×21 特征圖。然后，對(duì)生成的特征圖進(jìn)行2×2、步長(zhǎng)為2 的最大池層的二次采樣，以降低網(wǎng)絡(luò)的計(jì)算量，得到64 通道的10×10 特征圖。同樣，再通過有64 個(gè)濾波器的3×3 的2D CNN，生成64 通道的8×8 特征圖。然后，對(duì)生成的特征圖進(jìn)行2×2、步長(zhǎng)為2 的最大池化處理，得到64 通道的4×4 特征圖。

再將上述特征圖輸入Spectral-Spatial Attention模塊，得到64 通道的2×2 特征圖。最后，將上述特征圖輸入兩層全連接層提取判別特征，Softmax 進(jìn)行最終分類，得到各個(gè)類別的分類精度。

2.2 改進(jìn)的3D CNN 模塊

如圖2 所示對(duì)輸入特征先進(jìn)行BN 操作，以加速網(wǎng)絡(luò)的收斂。將輸入特征每個(gè)通道分別卷積，從而捕獲每個(gè)通道的光譜和空間特征，為了實(shí)現(xiàn)多尺度特征提取，將輸入特征輸入到1×1×1 和3×3×7（可設(shè)置）的雙通道卷積核中，每個(gè)通道有16 個(gè)濾波器。不同大小的卷積核會(huì)帶來不同的感受野，既提取全局特征，又提取局部細(xì)節(jié)特征。之后，將兩通道的特征進(jìn)行級(jí)聯(lián)（concatenate），最后利用添加ReLU 的1×1×1 3D CNN 增加網(wǎng)絡(luò)的非線性，使得網(wǎng)絡(luò)可以表達(dá)更加復(fù)雜的特征。在本文中，3 個(gè)改進(jìn)的3D CNN 模塊的可設(shè)置卷積大小分別為3×3×7、3×3×5、3×3×3。

圖2 改進(jìn)的3D CNN 模塊Fig.2 Improved 3D CNN module

為了防止過擬合，提高模型的泛化能力，對(duì)于該模塊中的所有卷積層使用L2 正則化，步長(zhǎng)為1 并且使用填充，每個(gè)特征映射的空間大小在輸入任何卷積層后都不會(huì)改變，方便后續(xù)模塊的疊加。相較于單個(gè)3D CNN，該模塊既提取了多樣化特征，又增強(qiáng)了模型的泛化性。

2.3 Spectral-Spatial Attention 模塊

同一物體在不同波段的光譜響應(yīng)可能有很大差異，這表明不同波段的分辨能力是不同的。除此之外，HSI 的不同位置也有不同的語義信息。例如，物體邊緣通常比其他位置更有區(qū)別。光譜-空間注意力模塊可以從HSI 中自動(dòng)學(xué)習(xí)不同波段和位置的重要性，從而提升有用的光譜-空間信息，抑制無用的信息。

光譜注意力模塊（Spectral Attention）如圖3 所示。給定一個(gè)中間特征圖F∈RC×H×W，其中C、H和W分別表示F的通道數(shù)、高度和寬度。首先分別應(yīng)用全局平均池化（global average pooling，GAP）和全局最大池化層（global max pooling，GMP），并級(jí)聯(lián)為特征圖FG。GAP 對(duì)整個(gè)網(wǎng)絡(luò)從結(jié)構(gòu)上做正則化處理防止過擬合，同時(shí)也是聚合其空間維度的過程，GMP 可以補(bǔ)充GAP 的全局特征，其計(jì)算如式（14）所示。然后，依次通過兩個(gè)有64 個(gè)濾波器、長(zhǎng)度為5 的1D CNN，得到64 通道的長(zhǎng)度為m的光譜注意圖Spe(F)，其計(jì)算公式如式（15）所示。之后將光譜注意圖與中間特征圖相乘，得到沿空間維度擴(kuò)展的特征圖F′，其計(jì)算公式如式（16）所示。最后添加兩層全連接層來捕獲光譜間的相關(guān)性，提高了細(xì)化后的光譜特征圖的區(qū)分能力。

圖3 Spectral Attention 模塊Fig.3 Spectral Attention module

其中，σ表示Sigmoid 函數(shù)，δ是ReLU 函數(shù)。FGAP為特征圖F經(jīng)GAP 處理后的特征圖，F(xiàn)GMP為特征圖F經(jīng)GMP 處理后的特征圖，?表示元素乘法。

空間注意力（Spatial Attention）模塊如圖4 所示。使用1×1 卷積將通道數(shù)減為1 的特征圖FC，其計(jì)算公式如式（17）所示。然后分別使用濾波器為1，5×5、3×3 的2D CNN 導(dǎo)出空間注意圖Spa(F)，其計(jì)算公式如式（18）所示。然后Spa(F)的值沿通道維度擴(kuò)展為F′，其計(jì)算公式如式（19）所示。最后使用最大池化層使輸出為固定大小。

圖4 Spatial Attention 模塊Fig.4 Spatial Attention module

光譜注意力模塊更關(guān)注哪些波段是有意義的特征，空間注意力模塊更關(guān)注哪些位置的特征具有代表性。給定中間特征圖，Spectral-Spatial Attention 模塊按順序推導(dǎo)出沿光譜和空間兩個(gè)獨(dú)立維度的注意力圖，然后將注意力圖輸入特征圖重新分配光譜-空間特征的權(quán)重，進(jìn)一步增強(qiáng)了有用的光譜-空間特征。

3 實(shí)驗(yàn)及結(jié)果

在性能評(píng)估方面，對(duì)3 個(gè)著名的HSI 數(shù)據(jù)集Indian Pines、Pavia University、Salinas scene 進(jìn)行了大量的數(shù)據(jù)分類實(shí)驗(yàn)，使用了3 個(gè)定量指標(biāo)，包括平均準(zhǔn)確度（average accuracy，AA）、總體準(zhǔn)確度（overall accuracy，OA）和Kappa系數(shù)（Kappa）。

所有的實(shí)驗(yàn)都是在Intel?Xeon?Silver 4116 CPU@2.10 GHz，內(nèi)存為128 GB 的PC 機(jī)上運(yùn)行，具體程序由Pycharm2019 編寫，在Windows 10 系統(tǒng)下基于Python3.7.6 的Tensorflow2.1 框架實(shí)現(xiàn)。

3.1 實(shí)驗(yàn)數(shù)據(jù)集介紹及實(shí)驗(yàn)細(xì)節(jié)描述

3.1.1 高光譜數(shù)據(jù)集

Indian Pines 是由AVIRIS 傳感器收集的印第安納州西北部的印度松樹試驗(yàn)場(chǎng)的圖像，數(shù)據(jù)集的大小為145×145 像素，剔除20 個(gè)噪聲波段，剩余的200個(gè)波段作為研究對(duì)象?？臻g分辨率約為20 m，很容易產(chǎn)生混合像素，因此增加了分類的難度。它包含16 個(gè)類別，主要是自然植被，包括超過60%的農(nóng)業(yè)，超過30%的森林和其他多年生自然植被。圖5（a）、（b）分別為數(shù)據(jù)集的彩色圖像、地面基準(zhǔn)圖。

圖5 不同方法在Indian Pines上的分類圖Fig.5 Classification maps of Indian Pines using different methods

Pavia University 是由德國(guó)的機(jī)載反射光學(xué)光譜成像儀在意大利的帕維亞城附近所拍攝的高光譜數(shù)據(jù)。數(shù)據(jù)集的大小為610×340，其中12 個(gè)波段由于受噪聲影響被剔除，因此一般使用的是剩下103 個(gè)光譜波段所成的圖像。該光譜所成圖像的空間分辨率為1.3 m，這些像素中共包含9 類地物，包括瀝青道路、磚塊、牧場(chǎng)等。圖6（a）、（b）分別為數(shù)據(jù)集的彩色圖像、地面基準(zhǔn)圖。

圖6 不同方法在Pavia University 上的分類圖Fig.6 Classification maps of Pavia University using different methods

Salinas scene 是由AVIRIS 傳感器拍攝的加利福利亞薩利納斯山谷的圖像，數(shù)據(jù)集的小大為512×217，剔除20 個(gè)噪聲波段，對(duì)剩下的204 個(gè)波段進(jìn)行研究?？臻g分辨率為3.7 m。該數(shù)據(jù)包括花椰菜、耕地、芹菜等16 類地物。圖7（a）、（b）分別為數(shù)據(jù)集的彩色圖像、地面基準(zhǔn)圖。

圖7 不同方法在Salinas scene上的分類圖Fig.7 Classification maps of Salinas scene using different methods

3.1.2 實(shí)驗(yàn)細(xì)節(jié)描述

在實(shí)驗(yàn)中，經(jīng)過多次運(yùn)行實(shí)驗(yàn)，將batch size 設(shè)為128，epoch 設(shè)為100。學(xué)習(xí)率為0.001，分別隨機(jī)選取3 個(gè)數(shù)據(jù)集的20%為訓(xùn)練數(shù)據(jù)量，80%為測(cè)試數(shù)據(jù)量進(jìn)行實(shí)驗(yàn)，并且重復(fù)實(shí)驗(yàn)10 次，最后取這10 次的平均值。

3.2 實(shí)驗(yàn)結(jié)果及分析

3.2.1 KPCA+MBK-means的實(shí)驗(yàn)性能

表1 表示數(shù)據(jù)集Indian Pines、Pavia University、Salinas scene 在不同核函數(shù)（Poly 核、RBF 核、Linear核）和不同參數(shù)下的性能表。Poly 核善于提取樣本的全局特性，具有很強(qiáng)的泛化能力，核函數(shù)的參數(shù)d取為1～8 的正整數(shù)，本文選取1、2、3、5。從表中可以看出，3 個(gè)數(shù)據(jù)集上OA、AA、Kappa 呈現(xiàn)先增大后減小的趨勢(shì)，當(dāng)d=2 時(shí)取得最大值（加粗字體標(biāo)出），當(dāng)d=5 時(shí)，三個(gè)數(shù)據(jù)集的Kappa 降為0，因此d的選取非常關(guān)鍵。RBF 核函數(shù)善于提取樣本的局部信息，具有很強(qiáng)的學(xué)習(xí)能力，參數(shù)γ取值在（1/50，1/0.1）范圍內(nèi)，本文選取0.02、1.25、10.00。從表中可以看出，3個(gè)數(shù)據(jù)集上OA、AA、Kappa 也呈現(xiàn)先增大后減小的趨勢(shì)，但變化趨勢(shì)較Poly 核較小。

表1 不同數(shù)據(jù)集上KPCA 的不同Kernel及參數(shù)分類性能Table 1 Different kernels and parameter classification performance of KPCA on different datasets

3 個(gè)數(shù)據(jù)集加入MBK-means 方法所需要的訓(xùn)練時(shí)間分別為1 367 s、6 430 s、8 059 s，去掉MBKmeans 方法所需要的訓(xùn)練時(shí)間分別為1 926 s、9 070 s、10 508 s，減少的運(yùn)算時(shí)間分別是559 s、2 449 s、2 640 s。

3.2.2 改進(jìn)的3D CNN 以及HDC 的實(shí)驗(yàn)性能

表2 表示不同數(shù)據(jù)集上改進(jìn)的3D CNN、HDC 的分類性能表。可以看出，僅通過3D CNN 提取特征表現(xiàn)較差，但是通過改進(jìn)3D CNN 可以更好地提取到光譜-空間特征。在Indian Pines 數(shù)據(jù)集上，OA、AA、Kappa分別增加了3.1 個(gè)百分點(diǎn)、4.1 個(gè)百分點(diǎn)、4.26 個(gè)百分點(diǎn)。因?yàn)镮ndian Pines 數(shù)據(jù)集的噪聲相對(duì)較大，多尺度特征也為數(shù)據(jù)去噪提供了很好的優(yōu)化，使模型更穩(wěn)定，因此，多尺度特征在HSI 的深度特征提取中起著重要的作用。

表2 不同數(shù)據(jù)集上改進(jìn)的3D CNN、HDC 的分類性能Table 2 Improved 3D CNN and HDC classification performance on different datasets

3 個(gè)改進(jìn)的3D CNN 模型的疊加融合了深度和尺度信息，特征提取效率提高。HDC 模塊在后續(xù)添加了2D CNN，2D CNN 在3D CNN 的基礎(chǔ)上進(jìn)一步學(xué)習(xí)了更多抽象級(jí)別的空間表示，同時(shí)降低了模型的復(fù)雜性。在Indian Pines 數(shù)據(jù)集上，OA、AA、Kappa 分別增加了0.87 個(gè)百分點(diǎn)、1.52 個(gè)百分點(diǎn)、1.29 個(gè)百分點(diǎn)。

3.2.3 Spectral-Spatial Attention 的實(shí)驗(yàn)性能

表3 表示不同數(shù)據(jù)集上Spectral-Spatial Attention的分類性能?？梢钥闯?，在3 個(gè)數(shù)據(jù)集上，注意力模塊進(jìn)一步提高了模型的精確度，體現(xiàn)了該模塊的有效性。從表中可以看到，Indian Pines 數(shù)據(jù)集僅添加Spectral Attention 模塊，OA、AA、Kappa 分別增加0.94個(gè)百分點(diǎn)、1.13 個(gè)百分點(diǎn)、0.95 個(gè)百分點(diǎn)；僅添加Spatial Attention 模塊，OA、AA、Kappa 分別增加1.05個(gè)百分點(diǎn)、0.67 個(gè)百分點(diǎn)、0.94 個(gè)百分點(diǎn)；添加Spectral-Spatial Attention 模塊，OA、AA、Kappa 分別增加2.04 個(gè)百分點(diǎn)、1.69 個(gè)百分點(diǎn)、1.83 個(gè)百分點(diǎn)。這主要是因?yàn)镾pectral Attention 模塊主要由1D CNN更多地關(guān)注光譜特征，Spatial Attention 模塊主要由2D CNN 更多地關(guān)注空間特征，兩個(gè)注意力的組合進(jìn)一步關(guān)注更典型的光譜-空間特征，從而進(jìn)一步提高了分類的精確度。

表3 不同數(shù)據(jù)集上Spectral-Spatial Attention 的分類性能Table 3 Classification performance with Spectral-Spatial Attention module on different datasets

3.2.4 不同方法下的實(shí)驗(yàn)性能分析

為了驗(yàn)證所提出模型（HDC-Attention）的有效性，將HDC-Attention 方法與其他方法進(jìn)行比較，比較方法包括HybridSN[25]、SSRN[26]、Cluster CNN[16]、Fast 3D CNN[27]，這五種方法都是基于深度學(xué)習(xí)的分類方法。表4～表6 分別表示了Indian Pines、Pavia University、Salinas scene 數(shù)據(jù)集上的不同分類方法以及每一類的分類結(jié)果，每類中將最高精度用加粗標(biāo)出。從表中可以看出，HDC-Attention 在3 個(gè)數(shù)據(jù)集上的分類精度普遍高于其他方法，特別是Pavia University 數(shù)據(jù)集，有6 類地物分類完全正確。Pavia University 和Salinas scene 數(shù)據(jù)集的分類精度均高于Indian Pines，這是因?yàn)檫@兩個(gè)數(shù)據(jù)集本身的數(shù)據(jù)清晰度高于Indian Pines 數(shù)據(jù)集，所以分類難度相較于Indian Pines 數(shù)據(jù)集也低。在訓(xùn)練時(shí)間方面，F(xiàn)ast 3D CNN 模型更有優(yōu)勢(shì)，在3 個(gè)數(shù)據(jù)集上的訓(xùn)練時(shí)間均為最少，HDC-Attention 方法的訓(xùn)練時(shí)間較長(zhǎng)，因?yàn)镠DC 模塊保留了更為豐富的光譜-空間特征，所以需要更長(zhǎng)的計(jì)算時(shí)間。

表4 不同方法下Indian Pines每類分類精度對(duì)比Table 4 Comparison of classification accuracy of each category of Indian Pines under different methods

表5 不同方法下Pavia University 每類分類精度對(duì)比Table 5 Comparison of classification accuracy of each category of Pavia University under different methods

表6 不同方法下Salinas scene每類分類精度對(duì)比Table 6 Comparison of classification accuracy of each category of Salinas scene under different methods

圖5～圖7 的（c）～（g）給出了不同方法在三個(gè)數(shù)據(jù)集上的分類圖譜。從圖中可以看出，在Indian Pines數(shù)據(jù)集上，SSRN、Fast 3D CNN、Cluster CNN 方法最終的分類結(jié)果圖中含有一些斑點(diǎn)，并且存在小區(qū)域內(nèi)錯(cuò)分的情況，HybridSN 方法的結(jié)果相對(duì)較高一些，已沒有大量的斑點(diǎn)，而HDC-Attention 模型斑點(diǎn)非常少。Indian Pines 數(shù)據(jù)集中類別2 的“Corn-notill”和類別4 的“Corn”一些像素被錯(cuò)誤地分類為彼此，因?yàn)檫@兩個(gè)土地覆蓋區(qū)域有相似的光譜-空間特征，可以觀察到通過提出的模型獲得的分類圖是最平滑和最清晰的。特別是與其他模型相比，由于椒鹽噪聲最少，分類結(jié)果更接近實(shí)際情況。原因有以下兩點(diǎn)：首先，混合深度網(wǎng)絡(luò)能夠提取有效且具有辨識(shí)性的空譜特征，這可以使模型更好地識(shí)別不同類型的地物特征，甚至是具有相似光譜-空間信息的土地覆蓋物。其次，Spectral-Spatial Attention 模塊增強(qiáng)了有用的空譜特征，這有利于更好地分類。可以看到HDC-Attention方法在所有數(shù)據(jù)集上比其他方法具有更少的誤分類，特別是對(duì)于一些相似的類。

總的來說，與其他四種方法相比，HDC-Attention方法取得了比較好的結(jié)果，分類結(jié)果圖含有非常少量的斑點(diǎn)，且在同類的小區(qū)域內(nèi)相對(duì)平滑，好幾類地物幾乎完全正確分類。

4 結(jié)束語

本文提出的HDC-Attention 分類方法，首先利用KPCA 和MBK-means 對(duì)高光譜圖像進(jìn)行組合降維，然后將降維后的數(shù)據(jù)輸入HDC 網(wǎng)絡(luò)，不僅進(jìn)行充分的光譜-空間特征提取，還加強(qiáng)了空間特征。最后利用Spectral-Spatial Attention 模塊，在HDC 模塊的基礎(chǔ)上，增強(qiáng)有用的光譜-空間特征，抑制無用的特征進(jìn)行分類任務(wù)。

本文首先做了KPCA 和MBK-means 的組合降維，證明了KPCA 降維的有效性，MBK-means 進(jìn)一步降維，減少了計(jì)算時(shí)間。然后利用基于改進(jìn)的3D CNN 模塊構(gòu)建了HDC 模塊，充分證實(shí)了HDC 能夠有效提取光譜和空間的特征，此外還做了加入Spectral-Spatial Attention 模塊的對(duì)比實(shí)驗(yàn)，證明了該模塊能夠進(jìn)一步增強(qiáng)有用的空譜特征。所提出的方法不僅在有限的樣本下表現(xiàn)出了較好的分類性能，而且降低了模型復(fù)雜度。

雖然所提出的方法和其他方法相比，分類的性能較好，但是還存在不足之處。之后將進(jìn)一步優(yōu)化模型繼續(xù)提高模型效率和魯棒性，用更少的訓(xùn)練樣本來達(dá)到更高的分類精度，繼續(xù)探索優(yōu)化KPCA 的參數(shù)問題。