基于ResNet雙注意力機(jī)制的遙感圖像場景分類①

喬星星,施文灶,劉芫汐,林耀輝,何代毅,王 磊,溫鵬宇,孫雯婷

1(福建師范大學(xué) 光電與信息工程學(xué)院,福州 350007)

2(福建師范大學(xué) 福建省光電傳感應(yīng)用工程技術(shù)研究中心,福州 350007)

3(福建師范大學(xué) 醫(yī)學(xué)光電科學(xué)與技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室,福州 350007)

4(福建師范大學(xué) 福建省光子技術(shù)重點(diǎn)實(shí)驗(yàn)室,福州 350007)

1 引言

如今遙感技術(shù)日漸發(fā)達(dá),遙感圖像有豐富的地表信息及更高的空間分辨率[1],遙感圖像場景分類成為一個研究熱點(diǎn).圖像場景分類是遙感圖像數(shù)據(jù)處理的重要內(nèi)容,也是處理圖像檢測,圖片識別問題的重要手段,在計算機(jī)領(lǐng)域內(nèi)已經(jīng)是極其重要且富有研究價值的方向,在城市規(guī)劃,土地利用等方面也得到了廣泛利用.通過人工對圖像進(jìn)行分類雖然可以得到準(zhǔn)確率較高的結(jié)果,但隨著圖片種類及數(shù)量的劇增,僅靠傳統(tǒng)的人工分類難以滿足分類領(lǐng)域的要求,深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)方法已經(jīng)開始應(yīng)用于遙感圖像場景分類.面對媒體平臺的海量遙感圖像,如何通過神經(jīng)網(wǎng)絡(luò)模型[2]來提取數(shù)據(jù)集的深層次特征已成為當(dāng)前遙感圖像場景分類的關(guān)鍵性問題.

遙感圖像場景主要包括森林,河流,田地等自然景象和高速公路,飛機(jī)場,建筑物等人文景象,圖像體現(xiàn)類內(nèi)有明顯相同特征,類間無明顯相同特征的特點(diǎn)[3].場景是對遙感圖像數(shù)據(jù)的高級語義分析,對遙感數(shù)據(jù)集進(jìn)行多場景分類的目的是依照圖片里的信息對數(shù)據(jù)進(jìn)行語義分類,其關(guān)鍵就在于對圖像特征的提取.由于數(shù)據(jù)源特征信息越來越豐富,遙感圖像的場景分類研究也從最初的基于顏色[4]、密度[5]、變換域紋理[6]等低級特征到中級特征再到現(xiàn)在的深度學(xué)習(xí),其中,中級特征是在低層特征的基礎(chǔ)上對其進(jìn)行編碼學(xué)習(xí)得到,主要有語義的屬性、對象和局部語義3 類[7,8].傳統(tǒng)的分類方法對基本特征無明顯差異的復(fù)雜數(shù)據(jù)難以表現(xiàn)出好的效果,相比之下基于卷積神經(jīng)網(wǎng)絡(luò)[9]的研究方法對數(shù)據(jù)源信息進(jìn)行更深度的挖掘,具有更高的精度.

在2012年AlexNet[10]成績超過傳統(tǒng)方法后,VGG[11],InceptionNet[12],ResNet[13]等卷積神經(jīng)網(wǎng)絡(luò)模型也相繼提出,基于卷積神經(jīng)網(wǎng)絡(luò)模型的研究已成為圖像分類領(lǐng)域的主流趨勢.ResNet 模型在遙感圖像場景分類的任務(wù)中,通過加深網(wǎng)絡(luò)結(jié)構(gòu),加強(qiáng)了提取特征的有效性,從而決定了數(shù)據(jù)集分類的精度.ResNet 分類網(wǎng)絡(luò)在特征提取方面已經(jīng)得到了大量的應(yīng)用,較于其他的卷積神經(jīng)網(wǎng)絡(luò),殘差網(wǎng)絡(luò)中除了第一層外,每一層的輸入都是來源于上一層,數(shù)據(jù)在經(jīng)過上一層的卷積或者池化操作時,就對其進(jìn)行了一次濾波器的處理,輸入向量在通過池化操作后尺寸變得更小,從而減少網(wǎng)絡(luò)的參數(shù)數(shù)量,抑制過擬合的發(fā)生,殘差神經(jīng)網(wǎng)絡(luò)在某種程度上有效處理了深層網(wǎng)絡(luò)的梯度消失或爆炸的現(xiàn)象.考慮到注意力機(jī)制可以在卷積神經(jīng)網(wǎng)絡(luò)中能夠?qū)W習(xí)特定的特征并抑制不需要的特征,有注意力殘差學(xué)習(xí)模塊的網(wǎng)絡(luò)效果更好.基于卷積神經(jīng)網(wǎng)絡(luò)的方法通過自主學(xué)習(xí)方式[14]抽象出具體的語義特征,因算法的不斷改進(jìn)也顯現(xiàn)出強(qiáng)大的層次化特征學(xué)習(xí)和良好的遷移性[15].在大量的數(shù)據(jù)集訓(xùn)練中能表現(xiàn)出比傳統(tǒng)方法更好的性能.

本文采用Python 語言,基于PyTorch 框架及ResNet模型,對UC Merced Land-Use (UCM)遙感圖像數(shù)據(jù)集進(jìn)行場景分類,并將改進(jìn)算法與其他網(wǎng)絡(luò)模型方法進(jìn)行實(shí)驗(yàn)對比.

2 方法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)及原理

本文采用的基礎(chǔ)卷積神經(jīng)網(wǎng)絡(luò)是ResNet 模型,該模型將殘差學(xué)習(xí)的思想加入在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)中,很好地解決了網(wǎng)絡(luò)深度較深時梯度消失和精度降低的問題,網(wǎng)絡(luò)層數(shù)盡可能地增多,隨之模型的分類能力也會得到大幅度的提高.相較于VGG 網(wǎng)絡(luò),ResNet 網(wǎng)絡(luò)結(jié)合了全局平均池化操作,大大降低了參數(shù)量.本文的網(wǎng)絡(luò)架構(gòu)設(shè)計如圖1所示,把注意力模塊(Convolutional Block Attention Module,CBAM)加在殘差網(wǎng)絡(luò)中,網(wǎng)絡(luò)輸入是包含單特征地物目標(biāo)的遙感圖像,將特征圖送入殘差網(wǎng)絡(luò)之后,通過一系列殘差與注意力結(jié)合的模塊(ResBlock+CBAM)以及殘差模塊進(jìn)行特征學(xué)習(xí)提取,后經(jīng)全連接層輸出數(shù)據(jù)并完成分類.

圖1 模型結(jié)構(gòu)示意圖

基于注意力機(jī)制的模塊對遙感圖像場景分類精度的提高有極大的幫助.由于注意力機(jī)制擅長專注挖掘數(shù)據(jù)的特定信息,實(shí)驗(yàn)中融合注意力模塊和ResNet 網(wǎng)絡(luò),在給出了特征圖后,實(shí)現(xiàn)兩個層面的注意力模塊操作,一個是通道層面的,另一個是空間層面的,然后輸出特征圖,注意力機(jī)制會保留特征圖的原始尺寸,而且可以靈活更新通道層面的特征權(quán)重,還可以學(xué)習(xí)到空間層面上各地物目標(biāo)像素的關(guān)聯(lián)性,能夠有效地從背景復(fù)雜的遙感圖像中提取到特定的特征.

2.2 殘差模塊

殘差模塊堆疊形成殘差網(wǎng)絡(luò),殘差模塊的結(jié)構(gòu)如圖2所示.

圖2 殘差模塊結(jié)構(gòu)圖

對于某個特征圖,依次經(jīng)過兩個卷積層,學(xué)習(xí)并提取到圖像特征,其中第一個卷積層是加了ReLU 激活函數(shù)的,將最初的特征圖和卷積運(yùn)算后得到的特征圖融合,再經(jīng)過一個激活函數(shù),便是最后的結(jié)果.其過程可用式 (1) 表示:

其中,x是指輸入,y是輸出特征圖,F(x,{wi})是網(wǎng)絡(luò)內(nèi)卷積操作,{wi}是指訓(xùn)練參數(shù).殘差模塊的主要原理是可以越過幾層網(wǎng)絡(luò)后作用在后面的層,其能夠從某一層激活后,立馬接到其他層或比較深的層,在網(wǎng)絡(luò)訓(xùn)練中進(jìn)行反向傳播時,梯度容易消失,而殘差模塊可以很好地改善這個問題.

2.3 注意力模塊

在CBAM中,注意力模塊通常分兩個,一個是通道注意力模塊,另一個是空間注意力模塊,分別如圖3、圖4所示.

圖3 通道注意力模塊結(jié)構(gòu)

圖4 空間注意力模塊結(jié)構(gòu)

通道注意力主要是壓縮了輸入的特征圖空間層面的內(nèi)容,在特征圖的空間內(nèi)容上分別進(jìn)行不同的池化操作,得到兩個相應(yīng)且不一樣的表示符來形容空間信息,然后分別將他們傳遞到共享網(wǎng)絡(luò)來自適應(yīng)調(diào)整不同通道的權(quán)重,最后將得到的特征相加合并,通過歸一化函數(shù)把所得的結(jié)果進(jìn)行處理,獲得權(quán)重參數(shù),輸出特征向量,之后與原特征進(jìn)行乘積運(yùn)算則可生成新的特征.其過程可用式(2)表示:

式中,x指輸入信息,W1和W0分別表示共享網(wǎng)絡(luò)的權(quán)重系數(shù),?指的是像素分別進(jìn)行乘積運(yùn)算.

空間注意力模塊是對通道注意力的補(bǔ)充,它的目的是挖掘最有意義的內(nèi)容信息,輸入特征圖后,根據(jù)通道軸進(jìn)行平均池化和最大池化操作,然后將他們再沿著通道方向連接起來生成一個有效的特征表示符,最后經(jīng)過卷積運(yùn)算,挖掘到各個位置信息之間的內(nèi)在聯(lián)系,然后利用歸一化函數(shù)處理結(jié)果,輸出最終注意力圖,將其與輸入特征圖做乘積運(yùn)算來更新特征圖的權(quán)重.

2.4 注意力殘差模塊

通過注意力模塊,可以使網(wǎng)絡(luò)專注于圖像的特定區(qū)域信息,從而更高效地完成特定的特征提取與重建.由于一個標(biāo)準(zhǔn)卷積層具有一定的通道數(shù),每個通道都自適應(yīng)學(xué)習(xí)某一特定特征,通過注意力模塊能夠在所有卷積運(yùn)算中專注對特定特征的提取并忽略無關(guān)特征的存在.通過對特征的有效學(xué)習(xí)后各通道會更新出權(quán)重,令其與輸送進(jìn)去的特征圖進(jìn)行乘積運(yùn)算,使網(wǎng)絡(luò)模型專注于特定的特征.近年來注意力機(jī)制被廣泛使用在深度學(xué)習(xí)任務(wù)中,利用注意力機(jī)制的原理能夠處理一部分卷積操作存在的問題,增強(qiáng)卷積的學(xué)習(xí)能力.

本文融合了注意力模塊與殘差模塊組建了注意力殘差模塊,形成了更深層次的模塊,從而使網(wǎng)絡(luò)模型的分類能力有了新的突破.如圖5所示,特征圖先進(jìn)行兩次卷積特征提取,接著經(jīng)過雙注意力機(jī)制模塊,將得到的結(jié)果與輸入圖直接相加,通過ReLU 激活函數(shù)輸出.其過程可表示為式 (3):

圖5 注意力殘差模塊結(jié)構(gòu)

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集

本文實(shí)驗(yàn)使用的是UC Merced Land-Use 數(shù)據(jù)集,數(shù)據(jù)集中的圖像是美國地質(zhì)勘探局從城市區(qū)域圖像收集的大型圖像中手動提取的,分布在全國的各個城市地區(qū).圖像像素大小為256×256,場景圖像有21 類,實(shí)驗(yàn)中數(shù)據(jù)增強(qiáng)后每類有250 張,共5250 張.實(shí)驗(yàn)中將數(shù)據(jù)集按訓(xùn)練集60%,驗(yàn)證集40%配置.圖6顯示了每類圖像的一個示例.

圖6 數(shù)據(jù)集各類示例

卷積神經(jīng)網(wǎng)絡(luò)模型具有很強(qiáng)的學(xué)習(xí)及表達(dá)能力,在數(shù)據(jù)量不是很充足時,一般利用數(shù)據(jù)增強(qiáng)來增加訓(xùn)練樣本的數(shù)量,使模型更具魯棒性,降低過擬合效應(yīng)產(chǎn)生.在圖像分類任務(wù)中,通常對現(xiàn)有圖像進(jìn)行拉伸,翻轉(zhuǎn),裁剪,色彩變換得到更多實(shí)驗(yàn)數(shù)據(jù).通過對數(shù)據(jù)的處理,可以提高模型的泛化能力,提取特征性能及學(xué)習(xí)能力更強(qiáng).本實(shí)驗(yàn)采用數(shù)據(jù)增強(qiáng)方法擴(kuò)大訓(xùn)練樣本,達(dá)到增加數(shù)據(jù)量的目的.

3.2 實(shí)驗(yàn)結(jié)果與對比

在實(shí)驗(yàn)中,優(yōu)化器選擇Adam,初始學(xué)習(xí)率取值為0.01,批尺寸為16,一共訓(xùn)練3000 次,最終在訓(xùn)練集和驗(yàn)證集上的準(zhǔn)確率分別達(dá)到了96.2553%和98.1061%.實(shí)驗(yàn)環(huán)境配置如表1所示.

表1 實(shí)驗(yàn)環(huán)境配置

初始學(xué)習(xí)率為0.01,實(shí)驗(yàn)中學(xué)習(xí)率的值過大,也許會錯過最佳的學(xué)習(xí)率取值,準(zhǔn)確率下降;如果取值過小,會導(dǎo)致收斂很難進(jìn)行,調(diào)整后的學(xué)習(xí)率提高了模型的優(yōu)化效率,模型收斂到局部極小值的速度會加快,也會得到更好的分類精度.

訓(xùn)練次數(shù)為3000 次,當(dāng)訓(xùn)練次數(shù)太少時,模型不能充分學(xué)習(xí)特征,導(dǎo)致準(zhǔn)確率較低;訓(xùn)練次數(shù)過多時,測試精度先增大后減小,需要減少迭代次數(shù),否則容易產(chǎn)生過擬合現(xiàn)象.

本實(shí)驗(yàn)批尺寸設(shè)置為16,小的批尺寸引入的隨機(jī)性更大,提取到的圖像特征不具有代表性,難以達(dá)到收斂;大的批尺寸數(shù)據(jù)集計算的梯度下降方向會更加準(zhǔn)確,但每次糾正參數(shù)的時間會增加.

本文實(shí)驗(yàn)評估了基于ResNet 雙注意力機(jī)制方法的分類能力.圖7顯示了總體精度,該方法在訓(xùn)練集和驗(yàn)證集上都取得了較好的分類精度.圖8顯示了混淆矩陣,第i行和第j列的元素表示第i類中被分類為第j類的測試樣本類.具有相似視覺特征的類可被分類為不正確的類別,不正確的分類顯著減少.

圖7 本文方法在UCM 數(shù)據(jù)集上的分類精度

圖8 混淆矩陣

Kappa 系數(shù)用來檢測預(yù)測和實(shí)際結(jié)果是否一致,也能用來評價分類模型,是基于混淆矩陣計算的.Kappa系數(shù)的意義就是用來評估圖像分類模型的分類能力,在遙感領(lǐng)域里通常拿來衡量分類性能的好壞,若兩個結(jié)果相差較大,那么Kappa 系數(shù)就會很小.

對于遙感圖像場景分類問題,所謂一致性就是模型預(yù)測結(jié)果和實(shí)際分類結(jié)果是否一致.Kappa 最后求出的結(jié)果在-1～1 間,但一般Kappa 落于 0～1 內(nèi),當(dāng)Kappa≥0.75 時,說明實(shí)際類別和預(yù)測類別達(dá)到了相對較高的一致程度,而本實(shí)驗(yàn)Kappa 系數(shù)達(dá)到0.97,進(jìn)一步說明了該模型的分類性能較優(yōu)越.

ResNet 允許網(wǎng)絡(luò)盡可能的加深,從實(shí)用的角度去看,將5 種結(jié)構(gòu)的ResNet 模型分別進(jìn)行實(shí)驗(yàn)對比,如表2所示,發(fā)現(xiàn)ResNet101 可以取得更高的分類精度,時間上雖然略多于ResNet18、34、50 三種結(jié)構(gòu),但為了保證模型在分類上的有效性,故將CBAM 方法建立在ResNet101的基礎(chǔ)上完成.

表2 ResNet 各類模型性能對比

(1)機(jī)器學(xué)習(xí)方法與卷積神經(jīng)網(wǎng)絡(luò)方法對比

K 近鄰算法(KNN)和支持向量機(jī)算法(SVM)在UCM 數(shù)據(jù)集上的分類精度[16]與卷積神經(jīng)網(wǎng)絡(luò)模型做出比較,各類算法實(shí)驗(yàn)數(shù)據(jù)總結(jié)如表3所示,相比傳統(tǒng)的分類方法,利用不同的卷積神經(jīng)網(wǎng)絡(luò)模型展開實(shí)驗(yàn),可以得到更高的分類精度.在研究與實(shí)踐中證明,通過機(jī)器學(xué)習(xí)算法對圖像特征進(jìn)行提取和描述時,也易丟掉某些有用的內(nèi)容,無法保證獲取令人滿意的結(jié)果.通過卷積神經(jīng)網(wǎng)絡(luò)對遙感圖像進(jìn)行多場景分類任務(wù),將圖像作為輸入,通過訓(xùn)練模型來對遙感圖像特征進(jìn)行學(xué)習(xí)并提取,然后根據(jù)特征信息進(jìn)行分類,很大程度上節(jié)省了特征學(xué)習(xí)和提取的時間,提高了識別的效率.

(2)卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)模型與本文方法對比

實(shí)驗(yàn)?zāi)Ｐ团c卷積神經(jīng)網(wǎng)絡(luò)基準(zhǔn)模型進(jìn)行分類對比,由于注意力機(jī)制可以在CNN 模型中能夠?qū)Ｗ⒂谔囟ㄌ卣鞯膶W(xué)習(xí),忽略不重要的背景內(nèi)容,所以本文在CNN模型中應(yīng)用注意力機(jī)制使得網(wǎng)絡(luò)專注于學(xué)習(xí)圖像中具體場景的結(jié)構(gòu)而略去背景圖的內(nèi)容細(xì)節(jié),從而提高圖像分類的性能.加入注意力機(jī)制模塊的殘差神經(jīng)網(wǎng)絡(luò)在遙感圖像場景分類中達(dá)到了98.1%的精度,相比于表3中的其他模型[17],進(jìn)一步證明了所提方法的優(yōu)越性.

表3 各類方法與實(shí)驗(yàn)結(jié)果

3.3 分析

實(shí)驗(yàn)的主要研究內(nèi)容是基于注意力機(jī)制的圖像分類算法研究,在ResNet 網(wǎng)絡(luò)中加入了注意力模塊CBAM.將該模型用于場景分類,通過在公開數(shù)據(jù)集UC Merced Land-Use 上訓(xùn)練,與殘差網(wǎng)絡(luò)進(jìn)行對比得知,隨著注意力模塊的加入,網(wǎng)絡(luò)分類的性能也逐步提升,以此可以表明本算法引入的注意力模塊可以提升網(wǎng)絡(luò)分類的性能.

本文所提的注意力殘差網(wǎng)絡(luò)在ResNet 上融合CBAM 注意力模型,其性能已經(jīng)比復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)要好,這說明注意力機(jī)制可以很好的應(yīng)用于遙感圖像分類領(lǐng)域,簡單有效.進(jìn)一步來說,本文所提出的雙注意力網(wǎng)絡(luò),由于其設(shè)計的通道注意力模塊可以對遙感圖像條紋強(qiáng)度進(jìn)行模擬,空間注意力模塊可以微調(diào)特征圖空間每個位置的像素值,使得效果在客觀的評價指標(biāo)上具有更好的性能.通過大量實(shí)驗(yàn),在分類的評價指標(biāo)上,所提算法都有明顯的提升.

訓(xùn)練時,發(fā)現(xiàn)驗(yàn)證集的準(zhǔn)確率高于訓(xùn)練集,一個可能原因是數(shù)據(jù)集切分不均勻,這可能造成訓(xùn)練集的內(nèi)部方差大于驗(yàn)證集,導(dǎo)致訓(xùn)練集的誤差更大.對此重新分布訓(xùn)練集和驗(yàn)證集的比例,對數(shù)據(jù)集進(jìn)行擴(kuò)充,更多的數(shù)據(jù)往往會得到更多的分布信息,但結(jié)果依然是驗(yàn)證集準(zhǔn)確率大于訓(xùn)練集的準(zhǔn)確率.另一方面訓(xùn)練的精度是每個批次產(chǎn)生的,而驗(yàn)證的精度一般是訓(xùn)練一輪后產(chǎn)生的,驗(yàn)證時的模型是訓(xùn)練一個個批次之后的,有一定的滯后性;一般訓(xùn)練得差不多的模型用來驗(yàn)證,精度要高一點(diǎn).

4 結(jié)語

實(shí)驗(yàn)的主要研究內(nèi)容是基于ResNet 雙注意力機(jī)制的遙感圖像場景分類.由于注意力機(jī)制可以在CNN模型中自適應(yīng)地激勵需要的特征而抑制不需要的特征,所以本實(shí)驗(yàn)CNN 模型中應(yīng)用注意力機(jī)制使得網(wǎng)絡(luò)專注于標(biāo)志性圖像特征的結(jié)構(gòu)而對背景圖的內(nèi)容進(jìn)行抑制,從而提高數(shù)據(jù)集的分類性能.實(shí)驗(yàn)表明,本文所提出的模型能夠在UC Merced Land-Use 數(shù)據(jù)集取得較好的分類結(jié)果.但如何提高模型普適性,也是下一步的研究方向.