基于CNN-CBIR的遙感圖像分類檢索方法

馬廣迪 楊為琛

(浙江國遙地理信息技術(shù)有限公司, 浙江 湖州 313200)

0 引言

隨著20世紀(jì)70年代自美國發(fā)射氣象衛(wèi)星,人們就開始進(jìn)行衛(wèi)星遙感圖像的分類研究,但實(shí)質(zhì)仍然是目視判讀,在遙感圖像分類方法上并沒有突破。20世紀(jì)80年代主要是利用統(tǒng)計(jì)模式識(shí)別方法進(jìn)行遙感圖像的計(jì)算機(jī)分類。例如,神經(jīng)網(wǎng)絡(luò)算法用于遙感圖像分類始于1988年,國外學(xué)者M(jìn)URA.H提出了基于神經(jīng)網(wǎng)絡(luò)和知識(shí)發(fā)現(xiàn)的分類方法。除此之外,Vapnik提出的支撐向量機(jī)遙感影像特征提取技術(shù)是通過事先定義的非線性變換函數(shù)集的方法進(jìn)行的。這些方法雖然都取得了較好的效果,但是部分學(xué)者并沒有充分考慮影像的幾何模型特征,往往根據(jù)方法和經(jīng)驗(yàn)進(jìn)行分類,分類結(jié)果只滿足空間分辨率,不能達(dá)到高精度,在圖像查全率和查準(zhǔn)率上還存在欠缺。20世紀(jì)90年代至今,也不斷涌現(xiàn)出大量的遙感圖像分類方法,遙感數(shù)據(jù)獲取技術(shù)也在向著高光譜分辨率、高空間分辨率、高時(shí)相分辨率的趨勢(shì)發(fā)展,導(dǎo)致遙感圖像數(shù)量呈指數(shù)級(jí)別瘋長(zhǎng)。據(jù)統(tǒng)計(jì)研究發(fā)現(xiàn),美國航空航天局(National Aeronautics and Space Administration, NASA)地球觀測(cè)系統(tǒng)每天需要接收約4 TB量級(jí)的遙感圖像[1]。龐大的遙感圖像數(shù)據(jù)為人們提供更多信息的同時(shí),也為用戶應(yīng)用遙感圖像數(shù)據(jù)提出了極大的挑戰(zhàn)。反觀國內(nèi),賈永紅提出的基于Back Propagation神經(jīng)網(wǎng)絡(luò)的多源遙感影像分類方法是應(yīng)用了動(dòng)量法和學(xué)習(xí)率自適應(yīng)的調(diào)整策略,提高了影像分類速度。劉志剛探討了一種基于支撐向量機(jī)遙感影像不完全監(jiān)督分類的新方法,是基于加權(quán)無標(biāo)識(shí)樣本支撐向量機(jī)稱重未標(biāo)記樣品支持向量機(jī)(Weighed Unlabeled Sample Support Vector Machine, WUS-SVM)的基礎(chǔ)上發(fā)展出來的方法,節(jié)省了物力人力。駱劍承提出了基于支撐向量機(jī)遙感影像空間特征提取新方法,是基于支持向量機(jī)(Support Vector Machine，SVM)的遙感影像系統(tǒng)空間特征提取模型,處理高維數(shù)據(jù)存在的難以收斂,計(jì)算復(fù)雜和結(jié)果難以解釋等問題,但上述方法同樣在檢索性能方面還不夠精準(zhǔn),如何高效地分類檢索遙感圖像是解決上述問題的關(guān)鍵,也是現(xiàn)今海量數(shù)據(jù)處理領(lǐng)域中重點(diǎn)研究課題之一。

在20世紀(jì)90年代初產(chǎn)生了基于內(nèi)容的遙感圖像分類檢索技術(shù),簡(jiǎn)稱為CBIR(Content-Based Image Retrieval)技術(shù),具備高效、直觀的特征。遙感圖像海量性、復(fù)雜性與多樣性的特征,對(duì)遙感圖像分類檢索提出了更高的要求,導(dǎo)致CBIR方法出現(xiàn)查全率[2]、查準(zhǔn)率[3]低的問題,無法滿足現(xiàn)今遙感圖像應(yīng)用的需求,故提出基于CNN-CBIR的遙感圖像分類檢索方法研究。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)即卷積神經(jīng)網(wǎng)絡(luò),通過構(gòu)建多層神經(jīng)網(wǎng)絡(luò)訓(xùn)練機(jī)制來模擬人腦學(xué)習(xí)過程,以此為基礎(chǔ),自動(dòng)完成特征提取,降低人為干預(yù)、環(huán)境不清晰的影響。但是卷積神經(jīng)網(wǎng)絡(luò)層數(shù)較多,參數(shù)規(guī)模也較大,直接訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)存在一定的難度。為此將CNN與CBIR進(jìn)行有效的結(jié)合,即基于內(nèi)容的遙感圖像相似性匹配需求與遙感圖像特征提取能力相結(jié)合,為遙感圖像分類檢索提供新的技術(shù)支撐,相對(duì)于已有的分類檢索方法,著重于改善遙感圖像分類檢索的性能,以此來提升對(duì)遙感圖像分類檢索的查全率與查準(zhǔn)率。

1 遙感圖像分類檢索方法

1.1 遙感圖像高層特征提取

為了精確分類遙感圖像,基于CNN提取遙感圖像高層特征。

卷積神經(jīng)網(wǎng)絡(luò)被廣泛地應(yīng)用在遙感圖像分類領(lǐng)域中,并取得了一定的成就,發(fā)展為多種模型。通過對(duì)比研究發(fā)展,此研究選擇VGGNet-16模型作為卷積神經(jīng)網(wǎng)絡(luò)模型[4]。

VGGNet-16模型結(jié)構(gòu)較為清晰,性能較為優(yōu)越。VGGNet-16模型中每個(gè)卷積層應(yīng)用同一尺寸的卷積核,每個(gè)池化層利用同一尺寸的池化區(qū)域進(jìn)行采樣[5]。該模型具備豐富的卷積層,能夠提取較多的特征,為下述遙感圖像分類做準(zhǔn)備。VGGNet-16模型結(jié)構(gòu)如圖1所示。

如圖1所示,VGGNet-16模型中利用連續(xù)的小卷積核替代大卷積核,大幅度減少了卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)量,使網(wǎng)絡(luò)模型性能提升。VGGNet-16模型層級(jí)劃分情況如表1所示。

表1 VGGNet-16模型層級(jí)劃分表

圖1 VGGNet-16模型結(jié)構(gòu)圖

通過VGGNet-16模型獲取遙感圖像卷積特征與池化特征。其中,遙感圖像卷積層特征是在VGGNet-16模型預(yù)訓(xùn)練過程中提取的,某個(gè)層次輸出值為

f=[x1,x2,…,xj,…,xC]

(1)

式(1)中,xj表示的是第j個(gè)遙感圖像特征圖;C表示的是遙感圖像特征圖的總數(shù)量。

如公式(1)所示,將f直接轉(zhuǎn)換為特征向量,

即為遙感圖像卷積層特征。

設(shè)定遙感圖像輸出特征圖尺寸為s×s,池化區(qū)域尺寸為m×m,需要注意的是m≤s。為了提取豐富的遙感圖像池化特征,設(shè)置池化步幅為1,此時(shí)池化區(qū)域數(shù)量為(s-m+1)×(s-m+1),為了方便后續(xù)的處理,將其簡(jiǎn)記為k[6]。遙感圖像池化區(qū)域面積平均值計(jì)算公式為

(2)

遙感圖像池化區(qū)域面積最大值計(jì)算公式為

(3)

通過上述公式,將遙感圖像池化特征轉(zhuǎn)換為特征圖數(shù)量為C的形式,表達(dá)式為

cp=[x1,x2,…,xj,…,xD]

(4)

遙感圖像卷積特征與池化特征均反映的是遙感圖像局部特征,無法成為遙感圖像分類的依據(jù),故將卷積特征與池化特征進(jìn)行聚合,得到遙感圖像綜合高層特征表達(dá)式為

Y=[y1,y2,…,yj,…,yC]

(5)

式(5)中，yj表示的是第j個(gè)遙感圖像局部特征圖。

上述過程完成了遙感圖像高層特征的提取,為下述遙感圖像分類提供精確的數(shù)據(jù)依據(jù)。

1.2 遙感圖像分類

以上述獲取的遙感圖像高層特征為依據(jù),利用模糊分類算法分類處理遙感圖像,具體分類過程如下所示。

VGGNet-16模型得到的遙感圖像高層特征具備較高的置信度,故以此為基礎(chǔ),計(jì)算遙感圖像每個(gè)類別的概率,計(jì)算公式為

(6)

式(6)中,a表示的是Softmax輸出層輸入的N個(gè)向量;i的取值范圍為[1,N]。

以公式(6)結(jié)果為基礎(chǔ),依據(jù)下述規(guī)則對(duì)遙感圖像進(jìn)行模糊分類為

(7)

式(7)中,μ(pi)、ξ(pi)與ω(pi)分別表示的是遙感圖像分類置信度三個(gè)區(qū)間;Th1與Th2分別表示的是閾值,需要注意的是Th1

由公式(7)可以看出,當(dāng)遙感圖像置信度低于Th1,極有可能出現(xiàn)錯(cuò)誤分類的現(xiàn)象,故將其稱為低置信區(qū)間;當(dāng)遙感圖像置信度高于Th2,認(rèn)為遙感圖像分類結(jié)果均是正確的,故將其稱為高置信區(qū)間;當(dāng)遙感圖像置信度處于Th1與Th2之間時(shí),圖像分類結(jié)果準(zhǔn)確性較高,故將其稱為中間置信區(qū)間[7]。

1.3 遙感圖像檢索

依據(jù)得到的遙感圖像分類結(jié)果，利用CBIR技術(shù)制定遙感圖像分類檢索程序，實(shí)現(xiàn)遙感圖像的分類檢索[8]?，F(xiàn)有方法雖然具備較高的性能，但普遍適用性較弱，傳統(tǒng)CBIR技術(shù)無法滿足現(xiàn)今圖像檢索的需求，將其與CNN模型進(jìn)行有效結(jié)合，依據(jù)遙感圖像高層特征度量遙感圖像之間的相似性，為遙感圖像檢索提供幫助[9]，拉大相似程度低遙感圖像之間的距離[10]。

對(duì)比嵌入度量學(xué)習(xí)方式的損失函數(shù)表達(dá)式為

式(8)中,n表示的是遙感圖像數(shù)據(jù)集總數(shù)量;yi,j表示的是遙感圖像i與j是否屬于同一類別;Di,j表示的是遙感圖像i與j高層特征的距離度量[11];α表示的是損失函數(shù)的參量,常規(guī)情況下,取值范圍為[1,3];[*]+表示的是當(dāng)前最小值為0,即max(0,*)。

依據(jù)公式(8)制定遙感圖像分類檢索程序,具體程序如圖2所示。

圖2 遙感圖像分類檢索程序圖

遙感圖像分類檢索具體步驟如下:

(1)將CNN預(yù)訓(xùn)練參數(shù)分別轉(zhuǎn)移至查詢遙感圖像q與遙感圖像數(shù)據(jù)集M中。由1.1節(jié)可知,聚合特征是針對(duì)卷積特征與池化特征進(jìn)行的,故刪除VGGNet-16模型的全連接層,同時(shí)將VGGNet-16模型中的卷積層與池化層參數(shù)分別轉(zhuǎn)移至查詢遙感圖像q與遙感圖像數(shù)據(jù)集M中[12]。如圖2所示,c1、c2、…、c5-3均為VGGNet-16模型卷積層,relu5-3表示的是激活函數(shù)層,pool5表示的是最后一個(gè)池化層[13];

(2)提取查詢遙感圖像q與遙感圖像數(shù)據(jù)集M的CNN特征[14]。該步驟中,將查詢遙感圖像q與遙感圖像數(shù)據(jù)集M中的全部圖像輸入至VGGNet-16模型中(CNN),將c5-3、relu5-3與pool5輸出值作為特征向量,將M中全部類別遙感圖像CNN特征記為FM=[f1,f2,…,fN],其中,N表示的是遙感圖像數(shù)據(jù)集中類別數(shù)目;將查詢遙感圖像qCNN特征記為fq;

(3)獲取查詢遙感圖像q與遙感圖像數(shù)據(jù)集M聚合特征[15]。由于卷積特征與池化特征較為片面,故應(yīng)用BoVW算法聚合圖像高層特征,分別記為AM=[a1,a2,…,aN]與aq;

(4)歸一化處理步驟三獲取的聚合特征。由于遙感圖像各個(gè)特征向量單位具有較大的差異,無法直接進(jìn)行應(yīng)用,故需要對(duì)其進(jìn)行歸一化處理。此研究采用L2范數(shù)歸一化算法[16],具體歸一化過程如下所示。

假設(shè)遙感圖像某個(gè)l維聚合特征向量為

ai=[ai1,ai2,…,aij,…,ail]

(9)

式(9)中,aij表示的是ai的第j個(gè)特征元素。

對(duì)AM每一特征進(jìn)行L2范數(shù)歸一化,表達(dá)式為

(10)

依據(jù)上述過程對(duì)查詢遙感圖像聚合特征向量aq進(jìn)行L2范數(shù)歸一化,表達(dá)式為

(11)

(5)計(jì)算遙感圖像特征與數(shù)據(jù)集類別特征之間的相似度,并反饋?zhàn)钕嗨频膎幅遙感圖像[17]。

相似度度量公式為

(12)

式(12)中,dqi表示的是相似度;l表示的是特征的維數(shù)。

依據(jù)公式(12)結(jié)果構(gòu)成相似度向量,記為dq=[dq1,dq2,…,dqi,…,dqN],為了能夠統(tǒng)一處理,對(duì)相似度向量進(jìn)行L2范數(shù)歸一化,表達(dá)式為

(13)

依據(jù)公式(13)結(jié)果對(duì)數(shù)據(jù)集中遙感圖像進(jìn)行降序排列,取前n幅遙感圖像作為檢索結(jié)果,輸出遙感圖像檢索結(jié)果。

通過上述過程實(shí)現(xiàn)了遙感圖像的分類檢索,為用戶提供更加精確的遙感數(shù)據(jù),也為遙感技術(shù)應(yīng)用助力。

2 仿真實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)準(zhǔn)備

為了驗(yàn)證提出方法的性能,采用MATLAB軟件設(shè)計(jì)仿真實(shí)驗(yàn)。在仿真實(shí)驗(yàn)過程中,遙感圖像數(shù)據(jù)集采用UC-Merced與WHU-RS,數(shù)據(jù)集中遙感圖像種類約為1 000種,遙感圖像數(shù)量約為130萬。另外,仿真實(shí)驗(yàn)相似度利用歐式距離計(jì)算,評(píng)估標(biāo)準(zhǔn)利用歸一化修改檢索等級(jí)ANMRR判斷,常規(guī)情況下,ANMRR數(shù)值越小,表明遙感圖像檢索性能越好。

在仿真實(shí)驗(yàn)過程中,影響實(shí)驗(yàn)結(jié)果的因素較多,通過研究發(fā)現(xiàn),池化區(qū)域尺寸是最為關(guān)鍵的影響因素,故在實(shí)驗(yàn)準(zhǔn)備階段中,需要確定合理的池化區(qū)域尺寸,確保實(shí)驗(yàn)數(shù)據(jù)的精確性。

通過測(cè)試得到池化區(qū)域尺寸變化趨勢(shì)如圖3所示。

圖3 池化區(qū)域尺寸變化趨勢(shì)圖

如圖3所示,橫坐標(biāo)數(shù)值的雙倍即為池化區(qū)域尺寸。在遙感圖像數(shù)據(jù)集UC-Merced與WHU-RS下,當(dāng)池化區(qū)域尺寸為5×5時(shí),ANMRR數(shù)值最小,表明遙感圖像檢索性能最好。故確定最佳池化區(qū)域尺寸為5×5。

遙感圖像輸入尺寸也影響著CNN特征的獲取性能,不同輸入尺寸對(duì)應(yīng)平均歸一化檢索秩(Average Normalized Modified Retrieval Rate，ANMRR)數(shù)值如表2所示。

表2 不同輸入尺寸對(duì)應(yīng)ANMRR數(shù)值表 單位：%

如表2數(shù)據(jù)顯示,當(dāng)輸入尺寸為224×224時(shí),ANMRR數(shù)值較小,則確定最佳輸入尺寸為224×224。

2.2 實(shí)驗(yàn)指標(biāo)選取

為了精確反映方法的性能,選取查全率、查準(zhǔn)率作為仿真實(shí)驗(yàn)指標(biāo),計(jì)算公式為

(14)

式(14)中,R表示的是查全率;N表示的是反饋檢索結(jié)果中與查詢遙感圖像相關(guān)的圖像數(shù)量;S表示的是數(shù)據(jù)集中與查詢遙感圖像相關(guān)的圖像總數(shù)量;P表示的是查準(zhǔn)率;M表示的是檢索反饋遙感圖像總數(shù)量。

常規(guī)情況下,查全率與查準(zhǔn)率數(shù)值越高,表明方法檢索性能越好。

2.3 實(shí)驗(yàn)結(jié)果分析

依據(jù)實(shí)驗(yàn)準(zhǔn)備數(shù)據(jù)進(jìn)行仿真實(shí)驗(yàn),將實(shí)驗(yàn)數(shù)據(jù)輸入SPPS軟件中進(jìn)行整理與計(jì)算,得到查全率與查準(zhǔn)率數(shù)據(jù),并對(duì)其進(jìn)行分析,得到實(shí)驗(yàn)結(jié)論。

通過實(shí)驗(yàn)得到查全率數(shù)據(jù)如表3所示。

表3 查全率數(shù)據(jù)表 單位：%

如表3數(shù)據(jù)所示,提出方法在UC-Merced數(shù)據(jù)集中查全率范圍為79.45%～84.00%,在WHU-RS數(shù)據(jù)集中查全率范圍為84.44%～88.50%,通過對(duì)比發(fā)現(xiàn),提出方法查全率均大于標(biāo)準(zhǔn)數(shù)值70.25%。

通過實(shí)驗(yàn)得到查準(zhǔn)率數(shù)據(jù)如表4所示。

表4 查準(zhǔn)率數(shù)據(jù)表 單位：%

如表4數(shù)據(jù)所示,提出方法在UC-Merced數(shù)據(jù)集中查準(zhǔn)率范圍為70.00%～77.15%,在WHU-RS數(shù)據(jù)集中查準(zhǔn)率范圍為70.00%～79.41%,通過對(duì)比發(fā)現(xiàn),提出方法查準(zhǔn)率均大于標(biāo)準(zhǔn)數(shù)值69.45%。

通過上述實(shí)驗(yàn)數(shù)據(jù)顯示:與標(biāo)準(zhǔn)數(shù)值相比較,提出方法的查全率與查準(zhǔn)率較高,充分說明提出方法具備更好的檢索性能。

3 結(jié)束語

此研究將CNN-CBIR技術(shù)引入到遙感圖像分類檢索過程中,極大地提升了遙感圖像檢索的查全率與查準(zhǔn)率,為遙感圖像檢索提供了性能更好的方法,也為遙感數(shù)據(jù)應(yīng)用與發(fā)展提供一定的參考。但是本文的方法在實(shí)際應(yīng)用中會(huì)受到學(xué)習(xí)速度,自適應(yīng)能力等較多因素的影響,并且該方法的算法精度一定程度上取決于卷積層的特征效果,提取的特征維數(shù)相對(duì)較高,需要降維,日后的研究將在這一方面進(jìn)行完善與提升。