PS-DenseNet下的代數(shù)模型遙感圖像場景分類研究

陳 垚,張明波

(1.廣安職業(yè)技術(shù)學(xué)院,四川 廣安 638000;2.江西財經(jīng)大學(xué)統(tǒng)計學(xué)院,江西 南充 330000)

1 引 言

伴隨遙感科技的飛速發(fā)展,遙感圖像[1]逐步成為軍事目標(biāo)監(jiān)測、土地規(guī)劃和環(huán)境分析等諸多領(lǐng)域的重要依據(jù)。海量的遙感圖像所包含的數(shù)據(jù)亟待被識別和解析,而遙感圖像場景分類可直觀地表達(dá)圖像,其準(zhǔn)確度直接影響后續(xù)場景解譯質(zhì)量以及相關(guān)目標(biāo)物的獲取。遙感圖像場景不止涵蓋了形態(tài)、顏色與紋理等數(shù)據(jù),還囊括了眾多語義層數(shù)據(jù),使得自動分類的難度大大增加。

現(xiàn)有的很多遙感圖像場景分類方法往往基于圖像的底層特征[2],如:紋理、邊緣、顏色等,根據(jù)工程應(yīng)用場景的不同,針對性地采用人工特征獲取的方式,因此,所獲得的場景分類方法適應(yīng)性與魯棒性不佳。

伴隨神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)方法的深度發(fā)展,神經(jīng)網(wǎng)絡(luò)逐步成為機(jī)器視覺領(lǐng)域強(qiáng)有力的技術(shù)之一,不少科研者嘗試將其運用在遙感圖像場景分類的領(lǐng)域中,獲得了良好的效果。Rajendran[3]采用Alexnet完成遙感圖像場景分類,該方法巧妙地訓(xùn)練了淺層神經(jīng)網(wǎng)絡(luò),能夠迅速完成分類,但準(zhǔn)確度有待提升；Liu[4]提出將VGG-19網(wǎng)絡(luò)設(shè)計在場景分類的線性變換部分,該方法的分類準(zhǔn)確度得到提升,但不能滿足遙感圖像場景中的復(fù)雜空間與局部架構(gòu)數(shù)據(jù)間的關(guān)聯(lián)；Yan[5]選用集合子網(wǎng)絡(luò)的Googlenet,該方法在完成場景分類任務(wù)時能分別處理低復(fù)雜度與高復(fù)雜度遙感圖像,但主網(wǎng)絡(luò)與輔助分支網(wǎng)絡(luò)的結(jié)合度不佳,需要大量的訓(xùn)練圖像集；Zhu[6]結(jié)合Resnet的思想并結(jié)合深淺層CNN實現(xiàn)多復(fù)雜度的遙感圖像分類,但該方法的網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜,層數(shù)較深帶來分類效率低的問題；吳晨[7]結(jié)合卷積特征與稀疏編碼的方式,獲得初始特征圖,并在自動編碼裝置中完成分類,該方法能實現(xiàn)簡單遙感場景的分類,復(fù)雜場景效果差。

實現(xiàn)遙感圖像的場景分類在于獲取充分的遙感圖像特征,本文采用Lie group代數(shù)模型和PS-DenseNet分別提取遙感圖像的底層特征和高層特征,并在交叉熵?fù)p失模型的基礎(chǔ)上完成改進(jìn),可針對易和難分類的樣本分別削弱和增強(qiáng)權(quán)值,從而加強(qiáng)難分類樣本的重視度。

2 Lie group代數(shù)模型與Densenet網(wǎng)絡(luò)分析

2.1 Lie group代數(shù)模型分析

大多數(shù)工程問題均可轉(zhuǎn)換為數(shù)學(xué)模型的分析,因此可用代數(shù)方法輔助解決。為提升遙感圖像的分類準(zhǔn)確性,可引入Lie group代數(shù)模型[8]可獲取底層特征并降低特征維度。Lie group代數(shù)模型可表述無窮小變換的代數(shù)架構(gòu),存在特殊的線性結(jié)構(gòu),可構(gòu)建在Lie group胞元處的切集。將Lie代數(shù)元a轉(zhuǎn)換為相應(yīng)的Lie group胞元陣A可實現(xiàn)很多非線性[9]到線性[10]間的變化,并可表示為指數(shù)模型exp:k→K與對數(shù)模型:LOG。

(1)

將Lie group胞元A轉(zhuǎn)換到相應(yīng)的胞元空間M的映射為LOG:

(2)

由于矩陣[11]是圖像的數(shù)據(jù)或特征表述的集合,而在機(jī)器視覺中常見的矩陣群(協(xié)方差矩陣、旋轉(zhuǎn)陣和仿射陣等)均具有Lie group代數(shù)模型的相關(guān)性質(zhì)。針對Lie group矩陣S(3),該矩陣包含單個集合與二元計算,此模型應(yīng)具備四個特征:封閉特征、結(jié)合性、玄元特征與逆特征。令正交約束RRT=1,detR=1,R1,R2,R3∈S(3),表1給出Lie group矩陣的相關(guān)性質(zhì)。

表1 Lie group矩陣的相關(guān)性質(zhì)

2.2 Densenet網(wǎng)絡(luò)分析

Densenet[12](密集連接深度網(wǎng)絡(luò))是基于Resnet[13](殘差網(wǎng)絡(luò))的優(yōu)化。Densenet應(yīng)用跨層銜接模式獲取參數(shù)訓(xùn)練過程中不同層的特征圖,并將Alexnet、VGGnet、Resnet等傳統(tǒng)網(wǎng)絡(luò)中未充分應(yīng)用的特征加載入新層中,從而實現(xiàn)了中底層優(yōu)化信息的效應(yīng),實現(xiàn)獲取樣本特征的功能。此外,采用密集連接模式能增強(qiáng)層間的數(shù)據(jù)流動性,提升網(wǎng)絡(luò)功能,削減網(wǎng)絡(luò)參量。密集連接架構(gòu)如圖1所示。Densenet可將全部網(wǎng)絡(luò)層所輸出的特征用作當(dāng)前網(wǎng)絡(luò)層的輸入,即m0,m1,…,mi-1,根據(jù)復(fù)合解析式Hi可獲得輸入mi,如公式(3)所示:

mi=Hi([m0,m1,…,mi-1])

(3)

復(fù)合解析式Hi可視為通過BN(批處理),ReLU激活函數(shù)與卷積處理連續(xù)操作的Dense Block架構(gòu)。

圖1 密集連接架構(gòu)

Densenet是由dense block架構(gòu)和transition層組成,從圖1中可知,在Densenet中任意層與后繼層間的銜接均為密集連接,dense block作為基本塊能夠削弱梯度彌散作用的同時加強(qiáng)特征傳送,而過度層則位于dense block間,可削弱密集塊所輸出的通道數(shù),從而提升效率,如圖2所示為dense block和transition層的結(jié)構(gòu)。

圖2 Dense block和transition層的結(jié)構(gòu)

3 DenseNet下的代數(shù)模型遙感圖像場景分類

3.1 遙感圖像場景特征提取和融合

由于遙感圖像中所包含的地物數(shù)據(jù)多樣、空間布置復(fù)雜性高,因此,實現(xiàn)遙感圖像的場景分類不僅在于獲取充分的遙感圖像特征,而且應(yīng)完成遙感圖像特征的準(zhǔn)確表述。

3.1.1 Lie group代數(shù)模型提取底層特征

遙感圖像底層特征涉及到紋理、形狀、亮度、顏色和對比度等特征,而上述特征均可用代數(shù)模型表述相應(yīng)的特征概念。將上述底層特征的Lie group代數(shù)模型相結(jié)合可構(gòu)成矩陣模式,從而將遙感圖像的各像素點結(jié)合為數(shù)據(jù)量豐富的向量模式,采用Lie group代數(shù)模型提取底層特征不僅維度較小而且能在圖像分類中激發(fā)出較好的效能。Lie group作為微分流形,能實現(xiàn)遙感圖像幾何特征的有效表述,而矩陣模式與傳統(tǒng)矢量空間存在差別,具有更多的特征數(shù)據(jù)?；诖?本文選用正定對稱矩陣模式表述遙感圖像。

將遙感圖像Y表達(dá)為u×v,采用(p,q)代表像素點,式中的p=0,1,…,u-1,q=0,1,…,v-1,則各像素能采用Y(p,q)表達(dá),可將遙感圖像特征K表述為公式(4):

K(p,q)=λ(Y,p,q)

(4)

(5)

(6)

(7)

(8)

(9)

(10)

式中,Y(p,q)是像素點(p,q)的像素值;?Y(p,q)/?p是像素點(p,q)的p方向一階梯度;?2Y(p,q)/?2p是像素點(p,q)的p方向二階梯度;

3.1.2 PS-DenseNet下提取高層特征

通過深度網(wǎng)絡(luò)模型可訓(xùn)練海量遙感圖像樣本特征,使模型具備較強(qiáng)的自學(xué)習(xí)功能,從而自動獲取豐富的圖像特征。Densenet網(wǎng)絡(luò)模型具備優(yōu)秀的學(xué)習(xí)效力,結(jié)合卷積層、池化層與全連接層可提取遙感圖像的抽象特征,從而表達(dá)高層深度特征,不僅能直接將其完成分類,也可將其用于后續(xù)處理。Densenet模型由四個dense層構(gòu)成,各個Dense層均有多個Dense block構(gòu)成。為優(yōu)化Densenet各卷積層的輸入僅為前端卷積層的簡單組合,并考量特征通道間的聯(lián)系程度,本文在Densenet40的基礎(chǔ)上添加PS“Press and Stimulate”模塊,如圖3給出。各卷積層的結(jié)果特征圖通過“加壓”處理(LPS(·)),由空間維度完成相應(yīng)的特征壓縮,可把各通道的二維特征圖轉(zhuǎn)換成實數(shù),則第z層的第w個特征圖Mz,w加壓進(jìn)程如公式(11)所示:

(11)

式(11)中的K與G分別代表特征圖的寬度與高度;“激發(fā)”處理(LST(·))則包含兩組全連接層,對各通道特征賦予權(quán)值,其激發(fā)進(jìn)程如公式(12)所示:

=λ(β2η(β1))

(12)

(13)

圖3 PS-DenseNet下的高層特征提取

3.1.3 特征融合模塊

如圖4所示,特征融合[15]部分利用標(biāo)準(zhǔn)卷積完成底層特征的處理,得到輸出特征圖Ma；串行標(biāo)準(zhǔn)卷積和深度卷積處理高層特征,獲得輸出特征圖Mb,進(jìn)而將Ma與Mb相融合,獲得融合特征圖Mc。

圖4 特征融合模塊

3.2 分類模塊

分類模塊采用softmax模型,如圖5所示,將上層的節(jié)點與全連接層的神經(jīng)元銜接,整合底層與高層特征圖,從而將二維特征圖變換成一維的特征參量,該特征參量能夠表現(xiàn)成圖像的全局?jǐn)?shù)據(jù),從而完成圖像分類,其數(shù)學(xué)模型如公式(14)所示:

ml=f(ulml-1+bl)

(14)

其中,ul是全連接層的權(quán)值;bl是全連接層偏置參量;ml-1是前層的輸出特征圖。采用Sigmoid為全連接層的激活解析式,最后連接softmax解析式,從而預(yù)測各類的概率,其模型為公式(15):

(15)

其中,θ=(θ0,θ1,…,θN-1)為待優(yōu)化參量;y(i)為第i個特征樣本標(biāo)簽;m(i)為第i個樣本;N為N個不同的標(biāo)簽類;d(m(i))為第i個樣本的輸出結(jié)果,采用歸一化方法完成處理,可得概率和值為1。

圖5 Softmax分類模型

3.3 參數(shù)訓(xùn)練

在深度學(xué)習(xí)的過程中,科學(xué)的代價函數(shù)選擇能夠在不斷調(diào)整參數(shù)的過程中優(yōu)化網(wǎng)絡(luò)模型,從而使所設(shè)計的深度學(xué)習(xí)網(wǎng)絡(luò)能夠完成較為精準(zhǔn)的遙感圖像場景分類。本文采用焦點損失函數(shù)完成參數(shù)學(xué)習(xí),該模型是在交叉熵?fù)p失模型(如公式(16))基礎(chǔ)上的改進(jìn),如公式(17)所示:

LJC=-alna′-(1-a)ln(1-a′)

(16)

其中,a∈[0,1]為真實值;a′為預(yù)測值。

LJD(ητ)=α(1-ητ)puln(ητ)

(17)

式中,α(1-ητ)pu代表交叉熵?fù)p失模型相應(yīng)的權(quán)值;ητ是特征值相應(yīng)的τ類預(yù)判機(jī)率;pu是相應(yīng)的懲罰項;α值介于0與1間,代表權(quán)重參量,可平衡易與難分類的重要度,根據(jù)經(jīng)驗可知;pu為2,α值為0.6。

本文所選用的焦點代價函數(shù)可對易和難分類的樣本分別削弱和增強(qiáng)權(quán)值,從而完成加強(qiáng)難分類樣本的重視度。

4 對比實驗分析

4.1 實驗數(shù)據(jù)集和設(shè)置

為校驗本文方法的有效性,采用兩類數(shù)據(jù)集完成驗證,所選取的數(shù)據(jù)集包含UC Merced Land Use與SIRI WHU完成校驗。

UC Merced Land Use(UCMLU)集生成于USGS的城市地圖,共包含21類所獲取的遙感正射圖像場景,各類場景由100張256×256的圖像構(gòu)成,其空間分辨率均為0.3 m。此數(shù)據(jù)集包含若干個相似度和重疊度較高的場景、空間模式豐富,使得數(shù)據(jù)集更具完善性與挑戰(zhàn)性。圖6為每類場景的圖像示例,本文隨機(jī)選取各類圖像中的70張用作訓(xùn)練樣本,30張用作測試樣本。

圖6 UCMLU遙感圖像集

SIRI WHU集生成于谷歌地球,共包含12類遙感圖像場景,各類場景由200張200×200的圖像構(gòu)成,其空間分辨率均為2 m。此數(shù)據(jù)集存在更豐富的視角狀態(tài)、光照情況與空間布局等因素,帶來場景內(nèi)圖像差別大和場景間圖像差別小的狀況,對所提遙感圖像場景分類方法帶來了挑戰(zhàn)。圖7為每類場景的圖像示例,本文隨機(jī)選取各類圖像中的150張用作訓(xùn)練樣本,50張用作測試樣本。

圖7 SIRI WHU遙感圖像集

本文的實驗環(huán)境為Intel I7-10700KF 主頻為3.7GHz的8核16線程CPU處理器,MX350顯卡,采用Iris Plus核顯,8GB運行內(nèi)存,在windows 10系統(tǒng)中,加載Matlab 2020a完成本文方法的實驗仿真和與現(xiàn)有的優(yōu)秀分類方法[5-6]的準(zhǔn)確度對比。

4.2 遙感圖像分類指標(biāo)

4.2.1 指標(biāo)解析

為校驗本文方法的遙感圖像場景的分類準(zhǔn)確度,給出本文方法的混淆陣列及三種方法在UCMLU與SIRI WHU數(shù)據(jù)集下的整體與平均分類的精準(zhǔn)度(Overall Classification Accuracy,OCA)和Kappa參數(shù),從數(shù)據(jù)出發(fā),以客觀指標(biāo)的角度完成本文方法分類準(zhǔn)確度的綜合評判。

整體分類精準(zhǔn)度代表某數(shù)據(jù)集中全部實現(xiàn)正確分類的遙感圖像數(shù)目與所驗證的全部圖像數(shù)的比例,如公式(18)給出。公式中的RC和OP分別為某數(shù)據(jù)集某一類中被正確分類的樣本數(shù)目和某一類中總體的樣本數(shù)目,J為某數(shù)據(jù)集的樣本類別數(shù)。

(18)

(19)

表2所示為Kappa參數(shù)與分類一致度的關(guān)聯(lián)。

表2 Kappa參數(shù)與分類一致度的關(guān)聯(lián)

4.2.2 實驗結(jié)果

圖8給出本文方法在UCMLU數(shù)據(jù)集下的混淆矩陣,在該陣列中,每行的信息代表相同場景的樣本被預(yù)判成每個類別的比例,圖中的空白部分標(biāo)示成0,斜對角的信息則代表各類場景能夠被正確預(yù)判的比率。從圖中可知,采用本文方法能夠得到較高的分類精準(zhǔn)度,各類的分類精準(zhǔn)度均高于0.8,并且棒球內(nèi)場、建筑物、叢林、十字路口和儲油罐的分類精準(zhǔn)度均達(dá)到1,而且稀疏型、中等和密集型住宅區(qū)等場景存在相似度高、密集度低的特點,本文方法均取得了較好的分類效果。

圖8 本文方法在UCMLU數(shù)據(jù)集下的混淆矩陣

表3給出本文方法與方法[5]、[6]方法的指標(biāo)對比,在UCMLU數(shù)據(jù)集中完成驗證。實驗結(jié)果表明,本文方法的OCA參數(shù)和Kappa參數(shù)均優(yōu)于其他兩種方法,這是由于文獻(xiàn)[5]方法的主網(wǎng)絡(luò)與輔助分支網(wǎng)絡(luò)的結(jié)合度不佳,帶來算法分類精準(zhǔn)度欠佳的問題；文獻(xiàn)[6]方法結(jié)合Resnet的思想并結(jié)合深淺層CNN實現(xiàn)多復(fù)雜度的遙感圖像分類,但該方法的網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜,層數(shù)較深易帶來分類效率低的問題。

表3 UCMLU數(shù)據(jù)集中的本文方法與文獻(xiàn)[5]、[6]方法的指標(biāo)對比

圖9給出本文方法在SIRI WHU數(shù)據(jù)集下的混淆矩陣,在該陣列中,每行的信息代表相同場景的樣本被預(yù)判成每個類別的比例,圖中的空白部分標(biāo)示成0,斜對角的信息則代表各類場景能夠被正確預(yù)判的比率。從圖中可知,采用本文方法能夠得到較高的分類精準(zhǔn)度,各類的分類精準(zhǔn)度均高于0.9,并且工業(yè)用地、立交橋和河流的分類精準(zhǔn)度均達(dá)到1,相對于UCMLU數(shù)據(jù)集由于場景類別數(shù)目偏少,使得整體精度得到提升。但一些遙感場景間存在相似性很難區(qū)分,例如水域邊由于植物、石頭等物體的覆蓋易被識別為池塘。

圖9 本文方法在SIRI WHU數(shù)據(jù)集下的混淆矩陣

表4給出本文方法與文獻(xiàn)[5]、[6]方法的指標(biāo)對比,在SIRI WHU數(shù)據(jù)集中完成驗證。實驗結(jié)果表明,本文方法的OCA參數(shù)和Kappa參數(shù)均優(yōu)于其他兩種方法,這是由于文獻(xiàn)[5]方法難以實驗遙感圖像場景被遮掩后不易辨別的狀況,該方法預(yù)測的適應(yīng)性有限；文獻(xiàn)[6]方法由于自身泛化能力有待增強(qiáng),適應(yīng)變化場景的能力有待提升。

表4 UCMLU數(shù)據(jù)集中的本文方法與文獻(xiàn)[5]、[6]方法的指標(biāo)對比

4.3 算法性能對比實驗

在UCMLU數(shù)據(jù)集中校驗本文方法和文獻(xiàn)[5]、[6]方法在三種網(wǎng)絡(luò)模型上的效能對比,以Batch作為單位把數(shù)據(jù)集傳送到模型張,Batch和epoch分別設(shè)成16和30,實現(xiàn)單個epoch應(yīng)完成100次iteration,網(wǎng)絡(luò)的初始學(xué)習(xí)率設(shè)定為0.001。圖10和圖11為訓(xùn)練進(jìn)程中的準(zhǔn)確度(Precision)和損失值(Loss)隨epoch增加的變化狀態(tài)。從圖10中可以看出本文方法相對于其他兩種方法能在較少的epoch中達(dá)到穩(wěn)定狀態(tài),并且精準(zhǔn)度較高,這是由于本文方法能夠充分提取遙感圖像中所包含的地物和空間數(shù)據(jù)。

圖10 訓(xùn)練進(jìn)程中的準(zhǔn)確度隨epoch增加的變化狀態(tài)

從圖11中可知隨著epoch的增加,本文方法的損失值逐步減少。這是由于本文方法所選擇的代價函數(shù)選擇能夠在不斷調(diào)整參數(shù)的過程中優(yōu)化網(wǎng)絡(luò)模型。

圖11 訓(xùn)練進(jìn)程中的損失值隨epoch增加的變化狀態(tài)

在SIRI WHU數(shù)據(jù)集中校驗本文方法和文獻(xiàn)[5]、[6]方法在三種網(wǎng)絡(luò)模型上的效能對比,圖12和圖13為訓(xùn)練進(jìn)程中的準(zhǔn)確度(Precision)和損失值(Loss)隨epoch增加的變化狀態(tài)。從實驗結(jié)果可以看出在不同的數(shù)據(jù)集中,本文方法和其他兩種方法相比魯棒性和穩(wěn)定性好。

圖12 訓(xùn)練進(jìn)程中的準(zhǔn)確度隨epoch增加的變化狀態(tài)

圖13 訓(xùn)練進(jìn)程中的損失值隨epoch增加的變化狀態(tài)

5 結(jié) 論

實現(xiàn)復(fù)雜遙感圖像的場景分類對發(fā)掘有價值的遙感數(shù)據(jù)具有重要的價值。由于大多數(shù)工程問題均可轉(zhuǎn)換為數(shù)學(xué)模型的分析,因此,本文引入代數(shù)方法輔助解決。為提升遙感圖像的分類準(zhǔn)確性,引入了Lie group代數(shù)模型可獲取底層特征并降低特征維度,并在Densenet網(wǎng)絡(luò)的基礎(chǔ)上,設(shè)計PS-DenseNet網(wǎng)絡(luò)提取高層特征。通過深度網(wǎng)絡(luò)模型可訓(xùn)練海量遙感圖像樣本特征,使模型具備較強(qiáng)的自學(xué)習(xí)功能,從而自動獲取豐富的圖像特征。將上層的節(jié)點與全連接層的神經(jīng)元銜接,整合底層與高層特征圖,可將二維特征圖變換成一維的特征參量,從而完成圖像分類。

為校驗本文方法的有效性,采用兩類數(shù)據(jù)集,包含UC Merced Land Use與SIRI WHU完成校驗。并給出本文方法的混淆陣列及三種方法在UCMLU與SIRI WHU數(shù)據(jù)集下的整體與平均分類的精準(zhǔn)度(Overall Classification Accuracy,OCA)和Kappa參數(shù),從數(shù)據(jù)出發(fā),以客觀指標(biāo)的角度完成本文方法分類準(zhǔn)確度的綜合評判。實驗結(jié)果表明,本文方法能夠得到較高的分類精準(zhǔn)度,較優(yōu)的OCA參數(shù)和Kappa參數(shù),并且隨著epoch的增加,本文方法的損失值逐步減少。