利用深度特征融合進(jìn)行高光譜遙感影像分類

韓彥嶺，劉業(yè)錕，楊樹瑚，崔鵬霞，洪中華

(上海海洋大學(xué) 信息學(xué)院，上海 201306)

0 引言

高光譜遙感(hyperspectral remote sensing)技術(shù)是基于窄而連續(xù)的光譜通道對(duì)地物持續(xù)遙感成像的技術(shù)，它將成像技術(shù)和光譜技術(shù)相結(jié)合，能夠獲取地物接近連續(xù)的窄波段圖像數(shù)據(jù)。高光譜影像(hyperspectral image，HSI)是在二維空間圖像的基礎(chǔ)上，增加了一維光譜數(shù)據(jù)，光譜通道數(shù)多達(dá)數(shù)十甚至數(shù)百個(gè)以上，具有“圖譜合一”的特性，其內(nèi)部包含的豐富二維圖像信息和接近連續(xù)的光譜信息可以實(shí)現(xiàn)對(duì)地物的精細(xì)區(qū)分。近年來(lái)，HSI以其獨(dú)特的優(yōu)勢(shì)在自然資源調(diào)查、生態(tài)環(huán)境調(diào)查以及農(nóng)業(yè)和城市管理等領(lǐng)域發(fā)揮著重要的作用[1]，其中利用HSI進(jìn)行地物分類是其重要的研究?jī)?nèi)容。高光譜影像包含的豐富空間信息和接近連續(xù)的光譜信息為精細(xì)化地物分類提供了數(shù)據(jù)支撐。同時(shí)，其高維度、大數(shù)據(jù)量的特點(diǎn)也對(duì)傳統(tǒng)地物分類方法提出了挑戰(zhàn)。目前，傳統(tǒng)的高光譜影像分類主要利用圖像的光譜信息通過(guò)機(jī)器學(xué)習(xí)方法實(shí)現(xiàn)，如K近鄰算法(k-nearest neighbor，KNN)[2]、最大似然法[3]、支持向量機(jī)(support vector machine，SVM)[4]等，這些算法屬于淺層學(xué)習(xí)方法，難以提取隱含在高光譜數(shù)據(jù)中的深層特征，限制了高光譜分類精度的提高。在傳統(tǒng)的方法中，為了充分利用高光譜遙感的空間信息進(jìn)一步提高分類精度，需要通過(guò)一定的算法提取表征空間特征，如Su等[5]提出了一種基于灰度共生矩陣(gray level co-occurrence matrix，GLCM)紋理分析的渤海海冰檢測(cè)方法；Imani等[6]通過(guò)GLCM、Gabor濾波(gabor filtering)和形態(tài)學(xué)輪廓(morphology profiles，MP)從相鄰像素中提取空間信息，研究空間特征與光譜特征的不同組合。2016年，王建華等[7]提出了一種加入空間紋理信息的遙感影像道路提取方法，對(duì)圖像進(jìn)行空間自相關(guān)Moran指數(shù)計(jì)算，提取圖像空間紋理信息，并將其加入到原始光譜波段中，取得很好的效果。近幾年，人工智能爆發(fā)式發(fā)展，各種深度學(xué)習(xí)算法也逐漸開始發(fā)展成熟。大量研究表明，深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)圖像分類中相對(duì)于傳統(tǒng)算法具有明顯優(yōu)勢(shì)。Krizhevsky等[8]提出的AlexNet深度卷積神經(jīng)網(wǎng)絡(luò)，在ILSVRC 2012圖像分類大賽中獲得冠軍，與傳統(tǒng)分類算法相比錯(cuò)誤率降低了10%左右；He等[9]提出了一種深度殘差網(wǎng)絡(luò)(deep residual network，Resnet)，可以將網(wǎng)絡(luò)的層數(shù)增加到上百層，提取更多的特征信息；Chen 等[10]在遙感領(lǐng)域提出了一種基于深度學(xué)習(xí)的高光譜影像分類方法；Zhao等[11]利用深度學(xué)習(xí)多尺度二維卷積網(wǎng)絡(luò)(two dimensional convolution neural network，2D-CNN)對(duì)高光譜遙感影像進(jìn)行深度表達(dá)并融合多波段光譜信息進(jìn)行分類。這些方法大多沒(méi)有充分利用遙感影像的空間信息。隨著深度學(xué)習(xí)的深入發(fā)展，Li等[12]提出了三維卷積神經(jīng)網(wǎng)絡(luò)(3D-CNN)，通過(guò)“立方體”的感受野直接提取高光譜影像的空間和光譜特征信息，分類精度相對(duì)于傳統(tǒng)方法和2D-CNN具有一定程度的提升；Zeiler等[13]通過(guò)實(shí)驗(yàn)分析卷積網(wǎng)絡(luò)中各層的特征圖，觀察每層卷積層提取圖像的特征信息，實(shí)驗(yàn)表明，淺層卷積層主要提取了邊緣、顏色、輪廓等局部區(qū)域信息，高層卷積層主要提取抽象的特征信息，對(duì)物體的大小、位置和方向敏感性低；Chopra 等[14]提出了孿生網(wǎng)絡(luò)(siamese network)，將2個(gè)CNN模型的特征融合起來(lái)，能夠提高分類精度；Guo等[15]提出了一種基于CNN的空間特征融合方法，將卷積網(wǎng)絡(luò)提取的空間特征與光譜特征融合起來(lái)進(jìn)行分類；Song等[16]提出了深度融合網(wǎng)絡(luò)的策略，對(duì)于Indian Pines、Salinas Pines、Pavia等數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，獲得了較好的分類精度。通過(guò)以上分析，目前的高光譜遙感影像分類中，采用的融合策略大多為光譜信息和空間信息的融合，針對(duì)不同卷積層提取的特征在分類中所起的不同作用方面研究較少。

基于上述研究，本文提出了一種基于深度特征融合的高光譜遙感影像分類方法，構(gòu)建3D-CNN深度網(wǎng)絡(luò)同時(shí)利用光譜信息和空間信息進(jìn)行深度特征提取，分析不同網(wǎng)絡(luò)層提取的特征信息的差異，研究不同的特征融合策略，有針對(duì)性地深度挖掘高光譜遙感影像中的空譜特征，進(jìn)一步提高地物分類精度。本文采用“珠海一號(hào)”高光譜衛(wèi)星數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，并與其他經(jīng)典方法進(jìn)行對(duì)比分析。

1 基于深度特征融合的高光譜遙感影像分類

在3D-CNN提出之前，2D-CNN已經(jīng)在圖像分類、目標(biāo)檢測(cè)等領(lǐng)域獲得廣泛的應(yīng)用。但是高光譜影像光譜波段通常有幾十個(gè)以上，將2D-CNN應(yīng)用于高光譜影像中，大部分是采用波段數(shù)據(jù)降維的圖像預(yù)處理方法[16-21]，沒(méi)有很好地利用其空間信息，不利于進(jìn)一步提高高光譜影像分類精度，因此本文基于3D-CNN進(jìn)行深度空譜特征提取。

1.1 3D-CNN

1)卷積層。式(1)為三維卷積網(wǎng)絡(luò)的卷積操作計(jì)算公式。

(1)

2)激活函數(shù)。由于ReLU激活函數(shù)的計(jì)算復(fù)雜度非常低，而且收斂的速度很快[24]，所以本文的實(shí)驗(yàn)都是采用ReLU激活函數(shù)，如式(2)所示。

(2)

3)Softmax分類器。Softmax函數(shù)一般用于多分類問(wèn)題，經(jīng)過(guò)大量實(shí)驗(yàn)表明，Softmax分類器具有良好的表現(xiàn)。Softmax的取值從0到1，表示屬于對(duì)應(yīng)類別的概率，因此對(duì)于Softmax的值加起來(lái)總和等于1。Softmax函數(shù)表達(dá)式如式(3)所示。

(3)

式中：Si為第i個(gè)神經(jīng)元中Softmax函數(shù)激活計(jì)算出來(lái)的值；yi為第i個(gè)神經(jīng)元的輸出值；k表示需要分類類別的數(shù)量，如二分類器中k為2。

本文根據(jù)3D-CNN的特點(diǎn)，設(shè)計(jì)的三維卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括6層卷積層和1層全連接層，訓(xùn)練圖像的輸入大小為7×7×32，經(jīng)過(guò)多層的卷積后得到1×1×26的特征信息。具體如圖1所示。

圖1 3D-CNNZ模型結(jié)構(gòu)圖

1.2 特征融合策略

卷積神經(jīng)網(wǎng)絡(luò)在特征學(xué)習(xí)過(guò)程中，在低層網(wǎng)絡(luò)主要提取顏色、邊緣等紋理特征信息，在中間層重點(diǎn)提取區(qū)域信息，高層網(wǎng)絡(luò)主要提取整體對(duì)象信息，此過(guò)程層層遞進(jìn)，最后利用Softmax分類器進(jìn)行像素分類時(shí)主要利用了高層特征信息。為了更充分利用各卷積層提取的不同特征信息，本文在獲取不同卷積層特征信息的基礎(chǔ)上，結(jié)合不同的特征融合策略，研究它們對(duì)地物圖像分類結(jié)果的影響，以期通過(guò)對(duì)不同層特征的深度融合改進(jìn)分類精度。本文采用2種特征融合策略，一種是將卷積層的特征數(shù)據(jù)一維化后在全連接層中進(jìn)行融合，另一種是在卷積層中對(duì)特征圖像進(jìn)行融合。

1)卷積層融合。不同卷積層提取的特征信息具有語(yǔ)義差異，通過(guò)對(duì)不同卷積層提取的特征進(jìn)行融合可以深度提取地物特征并充分利用提取的特征進(jìn)一步提高分類[25]。由于不同的卷積層輸出的特征圖維度不一樣，故不能直接將2層的特征信息融合到一起。本文提出的卷積層融合策略，如圖2所示，在①操作中，將Conv-n卷積層和Conv-(n+m)層特征信息融合，其中m>1。由于Conv-n卷積層和Conv-(n+m)卷積層特征圖維度不相同，需要通過(guò)合適的卷積核大小對(duì)特征圖降維，使得Conv-n卷積后特征圖的維度大小與Conv-(n+m)相同，此時(shí)可對(duì)2層特征進(jìn)行融合。卷積層特征融合表達(dá)如式(4)所示。

Ff=g(yn)+yn+m

(4)

式中：yn表示第n層卷積層的輸出；yn+m為第n+m層的特征圖；Ff為融合后的特征信息；g(x)為卷積操作。

圖2 卷積層特征融合

2)全連接層融合。3D-CNN網(wǎng)絡(luò)中最后一層卷積層輸出的數(shù)據(jù)經(jīng)過(guò)全連接層后變成長(zhǎng)度為N的一維向量。為了充分利用前面卷積層的特征信息，本文提出的全連接層融合策略是將各層的特征信息進(jìn)行一維處理后，得到一維向量數(shù)據(jù)，將其數(shù)據(jù)與輸入全連接層的高層數(shù)據(jù)進(jìn)行融合，可以得到多層次的特征信息。式(5)表示第n層卷積層特征信息。

(5)

式中：yn表示第n層卷積特征信息；k表示卷積核的個(gè)數(shù)；xi為第n層的第i張?zhí)卣鲌D的映射；卷積的第i個(gè)卷積核參數(shù)表示為W；b為偏置值。特征融合的計(jì)算如式(6)所示。

Ffusion=f(yn)+fc(yh)

(6)

式中：Ffusion為特征融合的特征信息；f(yn)表示對(duì)第n層卷積層的特征信息進(jìn)行一維化的處理；fc(yh)表示全連接層yh的特征信息。

圖3為全連接層融合，其中，紅色框部分為特征融合，Conv-n為第n層特征信息，Conv-H為最后一層特征信息。操作①是對(duì)第n層卷積層特征信息進(jìn)行一維化處理后傳輸?shù)饺B接層進(jìn)行融合。

圖3 全連接層特征融合

1.3 算法描述

由于卷積神經(jīng)網(wǎng)絡(luò)的各層卷積層所提取的信息各不相同，淺層卷積層主要是反映物體的邊緣、輪廓、顏色等特征信息；高層卷積層主要反映了具有顯著姿態(tài)變化的整個(gè)對(duì)象。本文通過(guò)低中高層融合方法和中高層融合方法比較不同層特征信息對(duì)分類性能的影響，提出一種基于3D-CNN的多層特征深度融合算法。

1)低中高層融合方法。低中高層融合方法利用低中高層的特征信息，使用全連接層融合策略，對(duì)每一層獲得的特征圖進(jìn)行一維化處理，處理后的特征信息在全連接層中進(jìn)行融合，輸入Softmax分類器進(jìn)行分類，獲得其特征信息對(duì)高光譜影像分類精度的影響。低中高層特征融合結(jié)構(gòu)在圖3的3D-CNN模型基礎(chǔ)上進(jìn)行改進(jìn)，具體如圖4所示。

圖4 低中高層特征融合結(jié)構(gòu)圖

2)中高層融合方法。為了分析低層特征對(duì)遙感影像分類的影響程度，中高層融合采取全連接層策略，只將中高層特征信息在全連接層進(jìn)行融合，與低中高層融合方法進(jìn)行比較，分析低層和中層特征信息對(duì)圖像分類結(jié)果的影響。中高層特征融合結(jié)構(gòu)如圖5所示。

圖5 中高層特征融合結(jié)構(gòu)圖

3)多輸入中高層融合方法。通過(guò)低中高層融合方法和中高層融合方法的分析，本文最終提出一種基于3D-CNN的多層特征深度融合算法。在一個(gè)感受野中，因?yàn)槠渲禐殡S機(jī)生成，故同一張圖像同一個(gè)感受野在不同層卷積中得到的特征信息也不相同。為了獲得更加豐富的特征信息，采用全連接層融合和卷積層融合策略，對(duì)實(shí)驗(yàn)進(jìn)行樣本增強(qiáng)和特征增強(qiáng)。在實(shí)驗(yàn)前將已處理的訓(xùn)練圖像集Lable分別輸入不同卷積層中，如圖6的多輸入中高層特征融合結(jié)構(gòu)圖，在①操作中，將Lable輸入Conv1，進(jìn)行Conv1～Conv6層直接卷積運(yùn)算。在②操作中，把Lable通過(guò)調(diào)整卷積核大小為[3，3，3]，以獲得與第2層卷積層Conv2相同維度的特征圖，并將其特征圖在Conv2融合。在③操作中，將Lable通過(guò)調(diào)整卷積核大小為[4，4，4]，將特征信息在Conv3中融合。對(duì)于圖中②③，相當(dāng)于只進(jìn)行了5層和4層卷積，這樣的目的是獲得更多圖像數(shù)據(jù)的同時(shí)也獲得更多不同卷積層的特征圖。

圖6 多輸入中高層特征融合結(jié)構(gòu)圖

本文的算法流程如圖7所示。首先將高光譜數(shù)據(jù)進(jìn)行預(yù)處理并制作樣本庫(kù)，對(duì)樣本庫(kù)中的數(shù)據(jù)分為訓(xùn)練樣本和測(cè)試樣本，將訓(xùn)練數(shù)據(jù)輸入3D-CNN模型中，實(shí)驗(yàn)在3D-CNN模型中進(jìn)行融合。本文提出2種融合策略，藍(lán)色虛線框①，為全連接層融合，融合的特征信息為不同卷積層的特征信息；藍(lán)色虛線框②為卷積層融合，在該過(guò)程中，將訓(xùn)練樣本輸入多個(gè)卷積層中進(jìn)行融合。

圖7 實(shí)驗(yàn)方法流程圖

多輸入中，高層特征融合采用卷積層融合和全連接層融合相結(jié)合策略，具體實(shí)現(xiàn)如算法1所示。

算法1 多輸入中高層特征融合算法

輸入：

訓(xùn)練圖像大?。篗×M×B；

訓(xùn)練樣本集：Label1；

測(cè)試樣本集：Label2；

設(shè)置每批輸入樣本數(shù)量：batch_size；

卷積核大小：kernel_size；

設(shè)定迭代次數(shù)：epoch；

卷積網(wǎng)絡(luò)層數(shù)：N；

開始：

(1)圖像預(yù)處理

步驟1：輸入高光譜影像數(shù)據(jù)；

步驟2：從步驟1輸入的數(shù)據(jù)提取帶標(biāo)簽的樣本，每個(gè)樣本大小為M×M×B，形成樣本庫(kù)；

步驟3：將樣本庫(kù)隨機(jī)分為訓(xùn)練樣本集Label1和測(cè)試樣本集Label2，訓(xùn)練樣本和測(cè)試樣本比例為1∶1；

(2)3D-CNN特征融合

步驟4：在訓(xùn)練樣本中，分批將所有樣本輸入3D-CNN網(wǎng)絡(luò)，設(shè)置batch_size(batch=25)參數(shù)，參數(shù)值表示每批樣本數(shù)；

步驟5：對(duì)網(wǎng)絡(luò)前N/2層進(jìn)行卷積層融合，將訓(xùn)練樣本集Label1輸入Conv1后，調(diào)整卷積核大小kernel_size，通過(guò)卷積操作對(duì)訓(xùn)練樣本集Label1提取特征獲得特征圖feature2，…，featurek(k

步驟6：對(duì)網(wǎng)絡(luò)后N/2進(jìn)行全連接層融合，對(duì)Conv(N-k)…Conv(N-1)、ConvN分別進(jìn)行一維化處理，將得到的一維化特征信息輸入全連接層；

步驟7：在訓(xùn)練的過(guò)程中，卷積層采用ReLU函數(shù)做非線性激活，將全連接層融合的特征輸入Softmax交叉熵?fù)p失函數(shù)，通過(guò)反向傳播機(jī)制計(jì)算每個(gè)參數(shù)的梯度，利用Adam優(yōu)化算法更新網(wǎng)絡(luò)參數(shù)權(quán)重；

步驟8：設(shè)置epoch次訓(xùn)練使得模型收斂并得到最佳訓(xùn)練模型；

(3)結(jié)果預(yù)測(cè)

步驟9：將測(cè)試樣本Label2輸入最佳的訓(xùn)練模型，經(jīng)過(guò)Softmax分類器對(duì)預(yù)測(cè)標(biāo)簽進(jìn)行預(yù)測(cè)，根據(jù)預(yù)測(cè)標(biāo)簽和真實(shí)標(biāo)簽計(jì)算混淆矩陣。

步驟10：通過(guò)計(jì)算混淆矩陣分析模型性能。

輸出：總體分類精度(Overall Accuracy，OA)、Kappa系數(shù)

結(jié)束。

2 實(shí)驗(yàn)與分析

2.1 數(shù)據(jù)集描述

珠海一號(hào)OHS高光譜衛(wèi)星是我國(guó)唯一完成發(fā)射并組網(wǎng)的商用高光譜衛(wèi)星，它對(duì)于水體、植被等具備識(shí)別與分析的能力，本實(shí)驗(yàn)圍繞基于“珠海一號(hào)”衛(wèi)星拍攝的高光譜影像進(jìn)行地物分類展開分析，如圖8所示，實(shí)驗(yàn)選取3套數(shù)據(jù)集。

珠海一號(hào)衛(wèi)星高光譜影像總共包含32個(gè)波段，光譜分辨率為2.5 nm，空間分辨率為10 m，波段范圍在400～1 000 nm，實(shí)驗(yàn)采用的各數(shù)據(jù)集拍攝時(shí)間以及經(jīng)緯度如表1所示。

圖8 實(shí)驗(yàn)數(shù)據(jù)遙感圖

表1 各數(shù)據(jù)集拍攝時(shí)間和經(jīng)緯度

研究區(qū)域影像已做相對(duì)輻射定標(biāo)、幾何校正處理。實(shí)驗(yàn)選擇3種樣本，分別為水體、建筑、植被3個(gè)類別。類別描述如表2所示。

表2 地物類別

2.2 實(shí)驗(yàn)設(shè)置

為了提高實(shí)驗(yàn)效率，選取原始圖像大小為5 056×5 056×32的部分區(qū)域進(jìn)行實(shí)驗(yàn)分析，所選實(shí)驗(yàn)區(qū)域大小為2 000×2 000×32。本文在選取樣本過(guò)程中，首先提取高光譜數(shù)據(jù)中典型的河流、植被、建筑等類別的像素點(diǎn)的光譜特征反射率曲線，并以此為參照，選擇感興趣的像素點(diǎn)并與參照像素點(diǎn)的光譜曲線進(jìn)行對(duì)比，光譜曲線相近的歸為一類，作為該類別的訓(xùn)練樣本，參照像素點(diǎn)的光譜曲線如圖9所示。

圖9 3種地物的光譜反射率

獲取3D-CNN輸入樣本則是根據(jù)上述已劃的分類別像素點(diǎn)獲取，其具體步驟為：對(duì)于每一類的像素點(diǎn)，以其中心取M×M的鄰域，將鄰域內(nèi)所有像素點(diǎn)作為輸入數(shù)據(jù)，最終形成大小為M×M×B的數(shù)據(jù)塊[26-27]。如圖10所示，一個(gè)方格表示一個(gè)像素點(diǎn)，以像素點(diǎn)m為中心，其空間鄰域內(nèi)m1～m8與m點(diǎn)屬于同類別的概率很大，在選取3×3圖像大小時(shí)，以m為中心點(diǎn)，包含鄰域[m1，m2，m3，m4，m5，m6，m7，m8]，以此方法可獲5×5，7×7，…，n×n等圖像大小。本文使用7×7×32的三維圖像大小進(jìn)行訓(xùn)練。

圖10 提取訓(xùn)練圖像大小方法

3個(gè)研究區(qū)域的數(shù)據(jù)集樣本總數(shù)和各類樣本總數(shù)如表3所示。

表3 各數(shù)據(jù)集樣本數(shù)(像素點(diǎn))

在本文的實(shí)驗(yàn)中，3D-CNN網(wǎng)絡(luò)模型、低中高層特征融合模型、中高層特征融合模型、多輸入中高層特征融合模型，均采用相同的模型參數(shù)設(shè)置。其主要模型參數(shù)如表4所示，卷積核大小為[2，2，2]；為了獲得更有價(jià)值的參數(shù)，步長(zhǎng)stride設(shè)置1；同時(shí)，因?qū)嶒?yàn)設(shè)備運(yùn)算能力限制，卷積核個(gè)數(shù)1～3層卷積層從2開始以2的倍數(shù)遞增，第4層卷積層開始均為8，實(shí)驗(yàn)采用的填充方式為Valid，由于輸入的訓(xùn)練圖像尺寸較小，實(shí)驗(yàn)不包括池化層。

表4 3D-CNN模型參數(shù)

本文采用3D-Resnet(three dimensional deep residual network)、孿生網(wǎng)絡(luò)、SVM 3種算法作為對(duì)比算法，表5為對(duì)比算法和本文算法的調(diào)優(yōu)參數(shù)設(shè)置，其對(duì)應(yīng)參數(shù)為本文實(shí)驗(yàn)數(shù)據(jù)中的最優(yōu)參數(shù)。實(shí)驗(yàn)以Windows7系統(tǒng)為操作平臺(tái)，ENVI 4.8和Matlab軟件為制作圖像標(biāo)簽工具，采用TensorFlow-GPU框架。

表5 本文算法和對(duì)比算法的最佳調(diào)優(yōu)參數(shù)

2.3 實(shí)驗(yàn)結(jié)果和分析

1)基于3D-CNN的實(shí)驗(yàn)結(jié)果。為了進(jìn)行對(duì)比分析，本文先不采用融合策略，通過(guò)基本的3D-CNN模型挖掘地物空譜信息對(duì)這3套數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)分析，所使用的網(wǎng)絡(luò)模型結(jié)構(gòu)如圖3所示。由于樣本隨機(jī)選擇，為了避免實(shí)驗(yàn)最終結(jié)果具有偶然性，對(duì)每套數(shù)據(jù)集進(jìn)行5次實(shí)驗(yàn)，取其平均值作為總體分類結(jié)果，表6為基于3D-CNN基本模型的總體分類精度OA和Kappa系數(shù)。從表6可以看出，由于3D-CNN模型可以同時(shí)利用光譜信息和空間信息進(jìn)行地物識(shí)別，在3組數(shù)據(jù)中都取得了較好的分類結(jié)果，總體分類精度分別為91.20%、92.43%、92.66%，Kappa系數(shù)分別為0.875 7、0.886 9、0.896 7。

表6 3D-CNN模型分類精度評(píng)價(jià)

2)不同特征融合策略的實(shí)驗(yàn)結(jié)果對(duì)比。卷積神經(jīng)網(wǎng)絡(luò)的各層卷積層所提取的特征信息不一樣，隨著網(wǎng)絡(luò)層數(shù)遞增，提取到更多的特征。為了進(jìn)一步提高地物分類精度，充分挖掘不同層次特征對(duì)分類結(jié)果的影響，本節(jié)進(jìn)行了不同的特征融合實(shí)驗(yàn)并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比分析。

(1)低中高層特征融合。采用圖4的低中高層融合模型，利用低中高層的特征信息，因?yàn)槊恳粚犹卣鞯木S度不一樣，所以對(duì)每一層獲得的特征圖進(jìn)行一維化處理，處理后的特征信息在全連接層中進(jìn)行融合，分析其特征信息對(duì)高光譜影像分類精度的影響。

采用5次實(shí)驗(yàn)的平均值作為最終分類結(jié)果，將融合后的實(shí)驗(yàn)結(jié)果與采用基本3D-CNN網(wǎng)絡(luò)結(jié)構(gòu)的結(jié)果進(jìn)行對(duì)比，對(duì)比結(jié)果如表7所示。

表7 低中高融合分類精度評(píng)價(jià)

由表7可以看出，本文將低中高層特征信息融合到全連接層通過(guò)Softmax進(jìn)行分類，在3套數(shù)據(jù)集上都獲得了較高的分類效果，分類精度分別為94.38%、94.42%、93.97%，其分類精度相對(duì)基本3D-CNN均有一定程度的提升，在3套數(shù)據(jù)集上分別提高了3.18%、1.99%和1.31%。

(2)中高層特征融合。采用圖5的中高層融合模型，只將中高層特征信息在全連接層進(jìn)行融合，分析低中層特征信息中哪層特征對(duì)圖像分類結(jié)果影響比較大。使用3套數(shù)據(jù)集進(jìn)行測(cè)試，其最終結(jié)果為5次結(jié)果的平均值，對(duì)比結(jié)果如表8所示。

表8 中高層融合分類精度評(píng)價(jià)

上述結(jié)果表明，低中高層特征融合總體上稍高于中高層融合的分類精度，但差別很小，精度差別分別為0.01%、0.13%、0.13%，二者的差別在于前者少了淺層的特征信息，說(shuō)明在卷積神經(jīng)網(wǎng)絡(luò)中，相對(duì)于中高層特征信息，淺層的卷積特征信息對(duì)于圖像的分類精度影響并不大。

(3)多輸入中高層特征融合策略。為了獲得更多圖像數(shù)據(jù)的同時(shí)也獲得更多的不同卷積層特征，采用圖6的多輸入中高層特征融合結(jié)構(gòu)圖，分別對(duì)3套數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果為5次結(jié)果平均值，如表9所示。

表9 多輸入中高層特征融合分類精度評(píng)價(jià)

實(shí)驗(yàn)結(jié)果表明，相對(duì)于無(wú)特征融合算法和中高層特征融合算法，多輸入中高層特征融合方法在3套數(shù)據(jù)集上均獲得了最好的分類效果，分類精度分別為96.46%、95.88%、94.80%，相比中高層融合方法分別提高了2.17%、1.59%、0.96%，相比基本3D-CNN方法分別提高了5.26%、3.45%、2.14%。

3)不同融合策略分類圖。通過(guò)對(duì)不同融合策略實(shí)驗(yàn)對(duì)比分析，本文提出的多輸入中高層融合算法取得了比較好的效果，說(shuō)明通過(guò)增加輸入圖像和融合不同層提取的特征信息可以獲得更好的分類精度。為了驗(yàn)證本文算法的有效性，將上述不同融合方法結(jié)果進(jìn)行可視化。為了更好地展示本文方法在紋理細(xì)節(jié)方面的識(shí)別效果，在3個(gè)實(shí)驗(yàn)中針對(duì)不同的融合策略都選取了局部區(qū)域進(jìn)行放大，如圖11中右下角的黑色矩形框?yàn)橛疑虾谏匦慰驑?biāo)注的局部細(xì)節(jié)放大圖。從圖11可以看出，相比其他融合策略，本文提出的多輸入中高層特征融合方法在局部紋理細(xì)節(jié)的提取上更加精確，地物邊界更加完整清晰。

圖11 不同融合策略分類結(jié)果圖

4)與其他圖像分類方法的對(duì)比分析。為了進(jìn)一步驗(yàn)證本文方法的有效性，與傳統(tǒng)高光譜分類方法SVM及其他典型的深度學(xué)習(xí)方法，如孿生卷積神經(jīng)網(wǎng)絡(luò)、3D-Resnet進(jìn)行對(duì)比。采用相同的標(biāo)簽樣本庫(kù)，同樣取5次實(shí)驗(yàn)的平均值作為總體分類精度，對(duì)比實(shí)驗(yàn)結(jié)果如圖12所示。

圖12 不同算法精度分析評(píng)估

由圖12可知，相對(duì)于傳統(tǒng)分類方法SVM以及其他的深度學(xué)習(xí)方法，本文提出的方法通過(guò)對(duì)多層特征進(jìn)行深度融合，在3套高光譜數(shù)據(jù)中均獲得了最高的分類精度。SVM算法屬于淺層學(xué)習(xí)且只利用了地物光譜信息，對(duì)地物特征的表達(dá)能力有限，獲得較低的分類精度，在3套數(shù)據(jù)中精度分別為80.45%、83.12%、82.46%；孿生網(wǎng)絡(luò)使用二維卷積，沒(méi)有充分利用高光譜影像的空間信息，故其精度明顯低于3D-CNN的方法。本文方法由于充分利用了高光譜影像的空-譜聯(lián)合特征，通過(guò)特征融合集成了不同網(wǎng)絡(luò)層的特征優(yōu)勢(shì)，相對(duì)于其他方法獲得了最高的分類效果，分類精度分別為96.46%、95.80%、94.80%。

在時(shí)間效率方面，本文方法和其他方法的對(duì)比結(jié)果如表10所示，結(jié)果均取5次實(shí)驗(yàn)運(yùn)行時(shí)間的平均值。由于SVM屬于淺層學(xué)習(xí)方法，相比深度學(xué)習(xí)方法在時(shí)間效率上表現(xiàn)最好；孿生網(wǎng)絡(luò)采用的是二維卷積網(wǎng)絡(luò)結(jié)構(gòu)，時(shí)間成本也相對(duì)較低；3D-Resnet和本文方法均使用三維卷積網(wǎng)絡(luò)，訓(xùn)練模型需要的時(shí)間相對(duì)較長(zhǎng)。本文方法為充分挖掘不同卷積層的特征進(jìn)行多輸入中高層特征融合，增加了網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性，相比其他方法，其訓(xùn)練時(shí)間稍長(zhǎng)。

表10 不同方法的訓(xùn)練時(shí)間 s

3 結(jié)束語(yǔ)

為充分挖掘不同卷積層提取的特征在高光譜遙感影像分類中的作用，本文提出了一種基于深度特征融合的高光譜遙感影像分類方法。實(shí)驗(yàn)分析表明，在深度卷積神經(jīng)網(wǎng)絡(luò)中，低層提取的特征信息對(duì)于高光譜影像分類結(jié)果影響不大，而中高層提取的特征包含地物的紋理、輪廓等抽象語(yǔ)義特征，對(duì)最終分類結(jié)果具有重要作用。本文結(jié)合不同層次所提取特征對(duì)分類影響的結(jié)果分析，采用多輸入中高層特征融合方法，通過(guò)在不同卷積層多次輸入訓(xùn)練樣本以增加特征多樣性，再融合中高層的特征信息進(jìn)一步增強(qiáng)對(duì)高光譜影像的特征表達(dá)，最后利用“珠海一號(hào)”獲取的3套高光譜數(shù)據(jù)進(jìn)行地物分類實(shí)驗(yàn)，并與3D-Resnet、SVM、孿生網(wǎng)絡(luò)等典型高光譜影像分類方法進(jìn)行對(duì)比分析。結(jié)果表明，相比其他圖像分類方法，本文提出的方法都獲得了最好的分類性能，進(jìn)一步驗(yàn)證了本文算法的有效性。

文中的實(shí)驗(yàn)數(shù)據(jù)雖然地物類別偏少，但所提方法對(duì)高光譜遙感影像分類具有一定的普適性，本文可為其他領(lǐng)域的高光譜遙感地物分類提供思路和參考。

致謝：本文所用高光譜實(shí)驗(yàn)數(shù)據(jù)由珠海歐比特宇航科技股份有限公司提供，對(duì)此表示真摯的感謝。