基于三維殘差網(wǎng)絡(luò)和虛擬樣本的高光譜圖像分類方法研究

劉雪峰 孟月 王浩 付民

摘 ?要： 利用高光譜數(shù)據(jù)所包含的豐富信息，可以實(shí)現(xiàn)對地物的精細(xì)準(zhǔn)確分類和目標(biāo)檢測。目前，深度學(xué)習(xí)方法已應(yīng)用于高光譜圖像的分類，但是高光譜圖像的維度高和樣本少，仍然是對目標(biāo)精確分類的瓶頸。殘差網(wǎng)絡(luò)通過從輸入到輸出添加跳躍連接，可以更方便地優(yōu)化參數(shù)并提取更多功能信息。文中提出一種基于三維殘差網(wǎng)絡(luò)的分類方法，利用三維卷積核同時(shí)獲取高光譜圖像的空間和光譜信息。為了減少網(wǎng)絡(luò)對參數(shù)初始化的依賴并在一定程度上提高模型的泛化能力，文中使用批量歸一化方法來優(yōu)化網(wǎng)絡(luò)。同時(shí)，為了解決訓(xùn)練樣本不足的問題，還提出引入虛擬樣本以增加樣本數(shù)量。通過在真實(shí)的高光譜圖像上進(jìn)行實(shí)驗(yàn)驗(yàn)證，證明所提方法在高光譜圖像分類方面具有一定的應(yīng)用前景。

關(guān)鍵詞： 高光譜圖像; 圖像分類; 深度學(xué)習(xí); 參數(shù)優(yōu)化; 三維殘差網(wǎng)絡(luò); 實(shí)驗(yàn)驗(yàn)證

中圖分類號： TN911.73?34 ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼： A ? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）12?0145?06

Abstract： The accurate classification of ground objects and target detection can be realized by means of the rich information contained in the hyper?spectral data. The deep learning method has been applied to the classification of hyper?spectral images， but the high dimension and few samples of hyper?spectral images are still the bottleneck of accurate classification of objects. The residual networks can more easily optimize parameters and extract more functional information by adding the jump connections from input to output. A classification method based on 3D residual network is proposed to obtain spatial and spectral information of hyper?spectral images simultaneously by using 3D convolution kernel. The batch normalization method is used to optimize the network o reduce the dependence of the network on parameter initialization and improve the generalization ability of the model to some extent. The virtual samples are introduced to increase the number of samples， so as to improve the insufficient training samples. The experimental verification performed on the real hyper?spectral images show that the proposed method has a certain application prospect in the hyper?spectral image classification.

Keywords： hyper?spectral image; image classification; deep learning; parameter optimization; 3D residual network; experimental verification

0 ?引 ?言

20世紀(jì)80年代以來，隨著多光譜遙感技術(shù)的不斷發(fā)展進(jìn)步，進(jìn)一步帶動(dòng)了高光譜遙感技術(shù)的不斷發(fā)展[1]。隨著傳感器技術(shù)的不斷提高，能夠獲取到更高質(zhì)量的遙感圖像，對圖像的研究帶來了極大的幫助。高光譜圖像因其高維特性，以及特有的光譜特征，再結(jié)合具有的空間特征，能夠?qū)Ω鞣N不同地理類別進(jìn)行精確的分析、定位，以及對精細(xì)特征提取進(jìn)行分類[2?3]。利用高光譜圖像（Hyperspectral Image，HSI）獨(dú)特的優(yōu)勢，能夠提高對于地物的精細(xì)分類能力。高光譜遙感已廣泛應(yīng)用于當(dāng)前許多遙感圖像處理的研究領(lǐng)域中[3]。目前對HSI的分類研究已成為遙感圖像領(lǐng)域的熱點(diǎn)問題。

高光譜圖像是一個(gè)具有高維度的圖像，含有豐富的光譜特征信息和空間特征信息，因此與普通圖像有很大不同[3]。通過將反射目標(biāo)輻射的光譜波段信息與反映目標(biāo)二維空間的圖像信息整合在一起，能夠獲得統(tǒng)一的地物信息[4]。HSI數(shù)據(jù)空間中的每個(gè)波段都可以作為一個(gè)二維空間圖像，光譜空間中的每個(gè)像素都可以反射為連續(xù)的光譜響應(yīng)曲線[5]。目前，對HSI分類的常用方法主要有支持向量機(jī)（Support Vector Machine，SVM）[6]、深度信念網(wǎng)絡(luò)（Deep Belief Network，DBN）、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）[5]。

高光譜圖像輸入數(shù)據(jù)采用三維立體的形式，具有空間維度和光譜維度[7?8]?，F(xiàn)有的基于光譜和空間融合的方法用于對HSI分類還較少，多數(shù)采用獨(dú)立的處理空間特征或者光譜特征，或者對圖像進(jìn)行降維后采用融合的光譜和空間特征[9]。因此，它們無法利用聯(lián)合的空間光譜信息[9]。目前，二維和三維CNN在許多問題上都表現(xiàn)出了良好的性能。一些深度學(xué)習(xí)的2D模型能夠根據(jù)圖像的空間特征信息或者光譜波段特征單獨(dú)進(jìn)行分類，會破壞圖像不同像素點(diǎn)之間具有的相關(guān)性，進(jìn)而破壞了光譜特征信息。但是，對HSI中光譜特征信息的獲取是很重要的[10]。

基于殘差網(wǎng)絡(luò)（Residual Network，ResNet）在圖像處理方面展示出的優(yōu)勢以及HSI分類當(dāng)前存在的一些問題，提出3D?ResNet用于HSI分類。三維卷積層作為網(wǎng)絡(luò)的基本單元，批量歸一化在每一個(gè)卷積層的后面，歸一化加快網(wǎng)絡(luò)的訓(xùn)練速度，采用批量歸一化對網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)處理，從而也增加了網(wǎng)絡(luò)的泛化能力，使模型更加穩(wěn)定[11]。圖像樣本大小及其不平衡的HSI中，通過向具有少量目標(biāo)的訓(xùn)練樣本添加虛擬樣本，增加樣本總數(shù)。通過所提出的改進(jìn)方法，減小了樣本數(shù)目不足對網(wǎng)絡(luò)分類結(jié)果帶來的影響，從而保證了網(wǎng)絡(luò)的分類效果。

1 ?殘差網(wǎng)絡(luò)

1.1 ?深度學(xué)習(xí)

對遙感圖像的分類研究是當(dāng)前圖像處理方面的熱門探討問題[12]，由于深度學(xué)習(xí)方法的不斷發(fā)展變化，基于深度學(xué)習(xí)的HSI分類方法得到快速發(fā)展，已經(jīng)有許多學(xué)者將深度學(xué)習(xí)的方法應(yīng)用到HSI的分類研究中，而且已經(jīng)證實(shí)其具有準(zhǔn)確的特征提取能力和高效的處理性能[10]。深度學(xué)習(xí)的優(yōu)勢在圖像處理的過程中，減少了手工提取特征的過程，能夠自動(dòng)地從原始數(shù)據(jù)中學(xué)習(xí)、提取特征。它只關(guān)注輸入和輸出的內(nèi)容，不考慮中間步驟。在圖1中將傳統(tǒng)方法與深度學(xué)習(xí)方法進(jìn)行簡明的比較。

CNN是目前最受歡迎的監(jiān)督深度學(xué)習(xí)方法[13?14]，它在各類圖像分類、檢測中表現(xiàn)出了極強(qiáng)的特征提取能力[15]。然而在深度學(xué)習(xí)領(lǐng)域，為了實(shí)現(xiàn)更好的網(wǎng)絡(luò)效果，網(wǎng)絡(luò)層數(shù)的不斷加深，會導(dǎo)致網(wǎng)絡(luò)運(yùn)算的錯(cuò)誤率不斷上升，這種現(xiàn)象稱為過擬合現(xiàn)象[8]。為了解決由于網(wǎng)絡(luò)深化所導(dǎo)致的性能下降的問題，提出了殘差網(wǎng)絡(luò)，通過添加一個(gè)捷徑或者跳躍連接，構(gòu)成殘差塊，在訓(xùn)練更深網(wǎng)絡(luò)的同時(shí)，保證良好的性能[15?16]。

1.2 ?殘差網(wǎng)絡(luò)

ResNet由何凱明等人提出，它的提出在ImageNet競賽中獲得了巨大成功，對圖像分類、檢測、定位等方面都有突出表現(xiàn)[16]。ResNet相對于目前用于圖像分類方面的網(wǎng)絡(luò)來說具有更容易優(yōu)化的特點(diǎn)，而且將網(wǎng)絡(luò)增加到相當(dāng)程度的深度時(shí)，還能夠繼續(xù)提高準(zhǔn)確率。它通過連接每個(gè)卷積層進(jìn)行身份映射，在多個(gè)計(jì)算機(jī)視覺任務(wù)中展現(xiàn)出良好的結(jié)果[16?17]。

普通的卷積神經(jīng)網(wǎng)絡(luò)，由于網(wǎng)絡(luò)層數(shù)的不斷加深，在誤差反向傳播的過程中梯度會不斷的衰減，導(dǎo)致信息的丟失，造成誤差不斷增大。然而ResNet通過增加的跳躍連接可以減少反向傳播過程中的衰減，便于梯度傳播，具有較強(qiáng)的魯棒性和較深的體系結(jié)構(gòu)[15]。ResNet的特殊之處在于它比普通網(wǎng)絡(luò)在結(jié)構(gòu)上多了一個(gè)跳躍連接，構(gòu)成殘差塊單元，在圖2中展示了殘差塊的基本結(jié)構(gòu)單元，輸入值為x，經(jīng)過第一層線性化并激活后的輸出為F（x），在經(jīng)過第二層線性變化之后，在激活函數(shù)ReLu之前，添加了短連接Identity，此時(shí)獲得輸出為F（x）+x，再利用激活函數(shù)ReLu激活，最后得到此殘差塊的輸出值。

2 ?基于三維殘差網(wǎng)絡(luò)的高光譜圖像分類

本文提出的基于三維殘差網(wǎng)絡(luò)的分類方法能夠提取HSI的光譜特征和空間特征聯(lián)合信息，因?yàn)镠SI在空間上和光譜波段上都具有一定的相關(guān)性和聯(lián)合性，對于地物的分類識別有一定的作用。所提方法對于HSI的分類有明顯的優(yōu)勢，對其分類研究帶來一定影響。為了加快網(wǎng)絡(luò)的訓(xùn)練速度，減少網(wǎng)絡(luò)參數(shù)變化對分類結(jié)果的影響，在網(wǎng)絡(luò)中采用了批量歸一化的方法，進(jìn)而也增加了網(wǎng)絡(luò)的穩(wěn)定性。為了能夠獲得更好的圖像分類結(jié)果，分析圖像中每一個(gè)類別的樣本數(shù)目，根據(jù)不同樣本數(shù)目依次對應(yīng)加入虛擬樣本進(jìn)行實(shí)驗(yàn)。

2.1 ?三維卷積核

三維卷積是通過將一個(gè)三維核與多個(gè)相鄰幀疊加而成的立方體進(jìn)行卷積來實(shí)現(xiàn)的[18]。由于獨(dú)特的構(gòu)造特點(diǎn)，卷積核對每一個(gè)波段的圖像分別進(jìn)行卷積，提取各自的信息[19]。將圖像輸入到網(wǎng)絡(luò)中，三維卷積核的運(yùn)算公式如下： ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?[vxyzij=Gnh=0Hi-1l=0Li-1d=0Di-1whldijnv（x+h）（y+l）（z+d）（i-1）n+bij] （1）

式中：i為當(dāng)前操作所在的層;j表示特征圖的數(shù)量;[vxyzij]表示在第i層第j個(gè)特征圖（x，y，z）處的輸出;b是偏差;G代表激活函數(shù);n表示在i-1層上與當(dāng)前特征圖相連的特征圖集;[whldijn]表示在位置（h，l，d）處連接到第n個(gè)特征圖的權(quán)值;Hi，Li，Di是卷積核的高度、寬度和深度。

2.2 ?批量歸一化

批量歸一化（Batch Normalization，BN）是神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)化方法，它具有非常強(qiáng)大的作用和效果，可以加快訓(xùn)練過程并提高性能、解決梯度消失的問題等等[11，15]。在網(wǎng)絡(luò)訓(xùn)練過程中，各層輸入的數(shù)據(jù)分布隨前一層的變化而變化，而BN的作用就是為了解決在網(wǎng)絡(luò)訓(xùn)練過程中，中間層數(shù)據(jù)分布發(fā)生改變的情況[20]。歸一化的公式為：

2.3 ?虛擬樣本

在HSI圖像中，不同種類的樣本像素個(gè)數(shù)一般是不同數(shù)目的，這在分類中往往會造成誤差，為了減小誤差的影響，通過引入虛擬樣本來平衡此問題。通過對成像過程的仿真，得到了虛擬樣本。在訓(xùn)練像素?cái)?shù)據(jù)[mi]中加入隨機(jī)噪聲n，乘以隨機(jī)因子β，得到虛擬樣本[sn]，公式為：