基于中、高層特征融合的高分辨率遙感圖像場(chǎng)景分類

趙春暉, 馬博博

(哈爾濱工程大學(xué) 信息與通信工程學(xué)院, 黑龍江 哈爾濱 150001)

近年來,隨著航空航天以及衛(wèi)星遙感技術(shù)的突破,遙感圖像的質(zhì)量不斷提高,數(shù)量也不斷增加,影像的空間分辨率有了顯著的改善,遙感影像的場(chǎng)景分類方法也在不斷地更新進(jìn)步[1].目前該領(lǐng)域的學(xué)術(shù)研究主要集中于高光譜遙感圖像分類和高分辨率遙感圖像分類.高光譜圖像的空間分辨率低但是光譜信息豐富,所以分類方法主要集中在對(duì)像元的分類,劃分、識(shí)別出圖像中不同區(qū)域的類別.而高分辨率遙感圖像的空間分辨率高,空間地物的紋理與幾何特征等明顯增多,目標(biāo)更為清晰,因此大量高分辨率遙感圖像被應(yīng)用于國土規(guī)劃、工程建設(shè)及搶險(xiǎn)救災(zāi)等領(lǐng)域.高分辨率遙感圖像包含豐富的場(chǎng)景語義信息,地物的多樣性、空間分布的復(fù)雜性提高了數(shù)據(jù)集的類間相似性和類內(nèi)多樣性,給分類任務(wù)帶來諸多挑戰(zhàn)[2].

在業(yè)界,對(duì)于場(chǎng)景分類的方法主要是基于對(duì)影像特征提取的分類.常用的方法有3種:

① 提取高分辨率影像的手工特征作為低層局部特征;

② 對(duì)局部特征進(jìn)行編碼,得到能夠描述高分辨率影像的中層全局特征;

③ 利用卷積神經(jīng)網(wǎng)絡(luò)來提取高分辨率影像的高層特征.

傳統(tǒng)的分類方法中,低層手工特征包括光譜特征、紋理特征、結(jié)構(gòu)特征等.常用的光譜特征包括圖像的灰度值、灰度值均值、灰度值方差.紋理特征包括不變紋理指數(shù)、Gabor濾波器、共生矩陣等[3].針對(duì)圖像的結(jié)構(gòu)特征,在早期可見光圖像的分類識(shí)別中利用了SIFT特征,并且SIFT特征對(duì)噪聲、光照、目標(biāo)遮擋、雜物場(chǎng)景有較好的魯棒性,有了這些優(yōu)點(diǎn),SIFT也能夠?qū)Ω叻直媛蔬b感圖像的特點(diǎn)進(jìn)行有效表達(dá).中層特征的獲得是通過對(duì)高分辨率影像的低層手工特征進(jìn)行編碼,經(jīng)過編碼得到的全局特征能夠作為高分辨率影像的中層特征.常用的方法有稀疏編碼、視覺詞袋模型(BOVW)[4].高層特征指的是利用深度神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行特征提取得到的特征.近年來隨著人工智能的發(fā)展,深度學(xué)習(xí)也推動(dòng)了計(jì)算機(jī)視覺領(lǐng)域的發(fā)展.自從AlexNet獲得成功后,有不少學(xué)者將深層的卷積神經(jīng)網(wǎng)絡(luò)用于高分辨率影像的處理,并且獲得了較好的結(jié)果.卷積神經(jīng)網(wǎng)絡(luò)在圖像分類任務(wù)中一般被設(shè)計(jì)為端到端的模型,可以利用多層次的網(wǎng)絡(luò),多個(gè)卷積核對(duì)圖像特征進(jìn)行提取,代替了煩瑣的人工特征.得益于多層結(jié)構(gòu)和多卷積核,模型可以從高分辨率影像中提取更抽象、更有區(qū)分性的高層特征,從而得到更好的分類結(jié)果[5].但隨著網(wǎng)絡(luò)的加深,網(wǎng)絡(luò)的參數(shù)也同時(shí)增加,需要大量的帶標(biāo)簽的樣本來訓(xùn)練模型調(diào)整參數(shù).然而在高分辨率遙感圖像場(chǎng)景分類任務(wù)中缺乏帶標(biāo)簽的數(shù)據(jù)樣本,且制作標(biāo)簽需要耗費(fèi)大量人力和時(shí)間.針對(duì)這個(gè)問題,可以利用遷移學(xué)習(xí)的方法將在大數(shù)據(jù)下訓(xùn)練好的模型遷移到小數(shù)據(jù)集上,通過遷移學(xué)習(xí)的方法可以大大提高深度網(wǎng)絡(luò)模型的泛化能力[6].

本文提出基于BOVW算法提取高分辨率遙感圖像的中層特征,以及通過遷移學(xué)習(xí)的方法利用預(yù)訓(xùn)練的CNN提取圖像的高層特征.然后將上述提取到的特征進(jìn)行線性融合作為輸入,利用不同核函數(shù)的支持向量機(jī)(SVM)進(jìn)行分類,得到分類結(jié)果.

1 本文方法

針對(duì)高分辨率遙感圖像地物的復(fù)雜性高, 傳統(tǒng)分類方法提取的低、中層特征不能夠有效地表達(dá)圖像的場(chǎng)景語義, 從而導(dǎo)致分類精度低的問題, 本文采用BOVW算法先提取圖像的SIFT局部描述子, 接著用K-means算法對(duì)所提取的局部特征進(jìn)行聚類, 再對(duì)樣本統(tǒng)計(jì)特征直方圖, 得到的特征矩陣可以作為圖像的中層特征. 然后通過利用ImageNet[7]數(shù)據(jù)集預(yù)訓(xùn)練的AlexNet[8]、Vgg-16[9]、Vgg-19卷積神經(jīng)網(wǎng)絡(luò)模型遷移到高分辨率遙感圖像數(shù)據(jù)集, 來提取圖像的高層特征. 將得到的中、高層特征融合輸入到帶有徑向基核函數(shù)、直方圖交叉核函數(shù)的支持向量機(jī)中, 得到分類結(jié)果.

1.1 提取圖像中層特征

在圖像場(chǎng)景分類任務(wù)中,針對(duì)圖像特征的提取,有很多經(jīng)典的方法.在本文中,樣本中層特征通過提取樣本圖像的低層特征(SIFT),再利用BOVW算法對(duì)其進(jìn)行編碼得到.

1.1.1 提取低層特征

本文中BOVW算法選用的人工特征為SIFT特征.SIFT特征的提取過程如下.

1) 尺度空間極值檢測(cè):通過高斯微分函數(shù)來識(shí)別潛在的對(duì)于尺度和旋轉(zhuǎn)不變的興趣點(diǎn).

2) 關(guān)鍵點(diǎn)定位:利用一個(gè)擬合精細(xì)的模型確定位置和尺度.通過穩(wěn)定性確定關(guān)鍵點(diǎn).

3) 方向確定:基于圖像局部的梯度方向,分配給每個(gè)關(guān)鍵點(diǎn)位置一個(gè)或多個(gè)方向.所有后面的對(duì)圖像數(shù)據(jù)的操作都相對(duì)于關(guān)鍵點(diǎn)的方向、尺度和位置進(jìn)行變換,從而提供對(duì)于這些變換的不變性.

4) 關(guān)鍵點(diǎn)描述:在每個(gè)關(guān)鍵點(diǎn)周圍的鄰域內(nèi),在選定的尺度上測(cè)量圖像局部的梯度.這些梯度被變換成一種表示,這種表示允許比較大的局部形狀的變形和光照變化.

1.1.2 對(duì)低層特征編碼

利用SIFT特征提取算法從每張圖片中提取特征點(diǎn).假設(shè)數(shù)據(jù)集為M張高分辨率遙感圖像,每張圖片是256像素×256像素大小,算法中步長為將圖片分成16像素×16像素的小patch,這樣就有961個(gè)小patch,在每個(gè)小patch上都進(jìn)行SIFT提取關(guān)鍵點(diǎn),每個(gè)小patch上有一個(gè)關(guān)鍵點(diǎn),這樣就有961個(gè)關(guān)鍵點(diǎn),也就是每張圖片最終變成了961個(gè)128維的向量(SIFT特征點(diǎn)是128維的),也就是961×128大小的一個(gè)矩陣.

然后利用K-means[10]聚類算法對(duì)數(shù)據(jù)集提取的N個(gè)SIFT特征進(jìn)行聚類,構(gòu)建詞匯表.K-means算法是一種根據(jù)所提特征的特點(diǎn),判別其特征相似性,利用距離的思想來對(duì)特征記性聚類.它不需要人工標(biāo)簽,屬于一種無監(jiān)督的聚類方法.

K-means算法的主要步驟如下.

1) 首先輸入N個(gè)特征樣本,并且預(yù)先設(shè)定分出的種類數(shù)K,隨機(jī)從N個(gè)特征樣本中選取K個(gè)點(diǎn)當(dāng)作第一次聚類的中心點(diǎn).

2) 再依次將所有的N個(gè)特征樣本到K個(gè)聚類中心的距離(歐氏距離)計(jì)算出來.

表示fl(i,j)與fl(a,b)之間的距離.根據(jù)得到的歐式距離,將計(jì)算的特征判定為離它最近的距離中心所屬的類別中.

3) 在新的聚類簇中計(jì)算均值,重新獲得聚類中心.當(dāng)聚類中心的變化小于設(shè)定閾值,或者達(dá)到最大迭代次數(shù),此時(shí)得到聚類結(jié)果.否則,需要重復(fù)上述步驟.

在BOVW算法中通常把K-means算法中的聚類中心叫做視覺單詞,碼本的長度也就為聚類中心的個(gè)數(shù)K.將所有視覺單詞進(jìn)行組合構(gòu)成視覺詞典,利用視覺詞典對(duì)所有的數(shù)據(jù)集圖像進(jìn)行直方圖統(tǒng)計(jì),也就是看每張圖片中的961個(gè)關(guān)鍵點(diǎn)與哪個(gè)聚類中心的歐式距離最小(最相似),然后在最近的那個(gè)聚類中心所代表的1～K之間的視覺單詞次數(shù)上加1.樣本的直方圖統(tǒng)計(jì)如圖1所示.最終得到K×M大小的矩陣.得到的特征矩陣被當(dāng)作圖像的中層特征,可以輸入到SVM分類器進(jìn)行分類.

圖1圖像的詞頻直方圖
Fig.1Wordfrequencyhistogramofimage

1.2 提取圖像高層特征

隨著人工智能的發(fā)展,深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域的表現(xiàn)越來越出色.誤差的反向傳播是深度學(xué)習(xí)的基礎(chǔ),網(wǎng)絡(luò)模型通過反向傳播求解梯度,更新網(wǎng)絡(luò)參數(shù).得到的多層網(wǎng)絡(luò)模型能夠自動(dòng)提取高層語義特征.

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)算法中最為常用的一種網(wǎng)絡(luò).其基本結(jié)構(gòu)包含卷積層、池化層、全連接層.卷積層采用卷積核對(duì)樣本圖像進(jìn)行特征提取,捕獲局部信息,隨著層數(shù)加深提取到的特征逐漸由邊緣、紋理過渡到含有語義的高層特征[11].為了提高網(wǎng)絡(luò)模型的非線性,在卷積層提取完特征之后會(huì)連接一個(gè)激活層.激活層由一個(gè)非線性函數(shù)構(gòu)成,卷積得到的特征圖再經(jīng)過激活函數(shù)之后能夠得到更好的非線性.常用的激活函數(shù)有ReLU及其變體.在本文網(wǎng)絡(luò)中,采用ReLU激活函數(shù)

ReLU(x)=max(0,x)

(2)

能夠有效避免梯度消失的現(xiàn)象.

通過卷積層之后,特征的維度通常會(huì)較大,隨著網(wǎng)絡(luò)加深,容易發(fā)生過擬合.因此在卷積層操作之后要進(jìn)行池化操作.池化層根據(jù)特征圖的局部統(tǒng)計(jì)信息進(jìn)行下采樣,在保留有用信息的同時(shí)減小特征圖大小.常用的池化操作有最大池化和平均池化.最大池化是在特征圖的局部區(qū)域選最大的值作為輸出,此方法可在一定程度上增加模型的非線性.平均池化是計(jì)算局部區(qū)域的均值作為輸出.全連接層將最后的特征圖像經(jīng)過變換,轉(zhuǎn)換為一個(gè)一維的特征圖像.轉(zhuǎn)換之后的特征圖有助于分類器對(duì)特征進(jìn)行分類和統(tǒng)計(jì).以Vgg-16為例,其包含輸入層、13個(gè)卷積層、5個(gè)最大池化層、3個(gè)全連接層,以及輸出層.圖2為Vgg-16網(wǎng)絡(luò)模型結(jié)構(gòu)示意圖.

圖2 Vgg-16結(jié)構(gòu)Fig.2 Architecture of Vgg-16

1.3 特征融合

在本文中,針對(duì)單一特征對(duì)樣本表達(dá)能力不足的問題,采用特征融合的分類算法.利用BOVW算法提取樣本中層語義特征.當(dāng)聚類中心K為1 000時(shí),得到的中層語義特征維度為1 000.然后利用CNN提取樣本的高層語義特征,本文選擇提取網(wǎng)絡(luò)模型第2個(gè)全連接層(FC7)的輸出作為高層特征.

特征融合是將多種特征用某種對(duì)應(yīng)關(guān)系來轉(zhuǎn)換成一個(gè)新特征.即

高層特征向量圖和融合特征向量圖如圖3所示.

(a) FC7層輸出的高層特征響應(yīng)(b) 融合特征響應(yīng)

圖3高層特征響應(yīng)和融合特征響應(yīng)
Fig.3Highlevelfeatureresponseandfusionfeatureresponse

1.4 SVM分類器

SVM是一種以統(tǒng)計(jì)學(xué)習(xí)理論為基礎(chǔ)的機(jī)器學(xué)習(xí)方法. SVM在滿足置信風(fēng)險(xiǎn)和經(jīng)驗(yàn)風(fēng)險(xiǎn)比值的同時(shí), 追求分類器更高的泛化能力, 同時(shí)保證算法的復(fù)雜度不會(huì)過于繁重[12]. 這就使得在小樣本的情況下也能使分類結(jié)果得到保證. SVM本身具有正則化項(xiàng)可以防止分類器陷入過擬合. 隨著研究的深入, 已將SVM與核方法聯(lián)合使用, 來解決線性不可分的問題. 其可以描述為如下優(yōu)化問題:

(4)

約束條件為

yi(ωxi-b)≥1-ξi,ξi≥0,i=1,…,n.

(5)

式中:ω為與超平面垂直的向量;C為懲罰因子;xi為輸入樣本;b為偏置項(xiàng);ξi為稀疏變量;yi的值為1或-1,表示數(shù)據(jù)點(diǎn)所屬類別.常用的核函數(shù)有線性核函數(shù)

k(x,xi)=(xTxi);

(6)

多項(xiàng)式核函數(shù)

k(x,xi)=[(xTxi)+1]q;

(7)

徑向基核(RBF)函數(shù)

(8)

直方圖交叉核(HIK)

(9)

本文選用了徑向基核函數(shù)的SVM和直方圖交叉核函數(shù)的SVM作為最終的分類器.

2 實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證本文方法的有效性,分別選用不同的K-means聚類中心、預(yù)訓(xùn)練網(wǎng)絡(luò)模型(AlexNet,Vgg-16,Vgg-19)、以及帶有不同核函數(shù)的SVM分類器進(jìn)行實(shí)驗(yàn).

2.1 數(shù)據(jù)集

本文采用的數(shù)據(jù)集為UC Merced數(shù)據(jù)集,該數(shù)據(jù)集是遙感圖像分類領(lǐng)域利用較多的數(shù)據(jù)集,有21個(gè)不同的場(chǎng)景類別,圖像是可見光RGB高分辨率影像.每個(gè)類別包含了100張大小為256像素×256像素的圖像,它們的地空分辨率為每個(gè)像素0.3 m[13].數(shù)據(jù)集包含美國東部如邁阿密、波士頓等多個(gè)地區(qū),圖像分別為:田野、飛機(jī)、棒球場(chǎng)、海濱、建筑物、灌木叢、高密度民房、森林、高速路、高爾夫球場(chǎng)、小碼頭、路口、中密度民房、移動(dòng)民房、高架橋、停車場(chǎng)、河流、跑道、低密度民房、儲(chǔ)罐以及網(wǎng)球場(chǎng).數(shù)據(jù)集有共2 100張圖片.

試驗(yàn)環(huán)境為:CPU Intel(R) Xeon(R) Gold 5118;內(nèi)存18G;GPU Titan V;顯存12G;操作系統(tǒng) Windows 10.利用MatConvNet深度學(xué)習(xí)框架,仿真語言選用MATLAB.

2.2 評(píng)價(jià)指標(biāo)

本文采用總體分類精度和混淆矩陣來評(píng)價(jià)場(chǎng)景分類方法的性能.

總體分類精度的定義為

式中:N為數(shù)據(jù)集樣本的總數(shù)量;Z為系統(tǒng)判斷正確的樣本數(shù)量.

混淆矩陣是一種更直觀的評(píng)價(jià)指標(biāo),能夠通過矩陣形式的表達(dá),清晰地看出類別之間的錯(cuò)誤情況[14].在混淆矩陣中,數(shù)據(jù)樣本的真實(shí)標(biāo)簽為矩陣的行,分類系統(tǒng)的判別標(biāo)簽用矩陣的列來表示.在矩陣中任意一個(gè)元素amn代表真實(shí)標(biāo)簽為m類別,預(yù)測(cè)標(biāo)簽為n類別所占m類別樣本的比例.

2.3 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文方法的有效性,充分討論參數(shù)、網(wǎng)絡(luò)模型、不同核函數(shù)的SVM分類器對(duì)結(jié)果的影響,且本文對(duì)2種單一方法進(jìn)行對(duì)比,即只用通過BOVW算法對(duì)局部特征進(jìn)行編碼得到的中層特征作為分類器的輸入、只用卷積神經(jīng)網(wǎng)絡(luò)提取高層特征作為分類器的輸入、利用BOVW提取的中層特征融合CNN提取的高層特征輸入到分類器進(jìn)行分類.對(duì)于數(shù)據(jù)集,本文隨機(jī)選用30%的圖像作為訓(xùn)練樣本,其余70%的圖像作為測(cè)試樣本.

首先在BOVW算法中,在提取圖像局部特征SIFT時(shí),設(shè)置patch大小為16像素×16像素,步長為4像素.由于K-means算法在聚類SIFT特征形成視覺單詞時(shí),聚類中心K需要先驗(yàn)知識(shí)得到,所以本文分別設(shè)置聚類中心K的值為500、1 000、1 500、1 800,最大迭代次數(shù)為100.將BOVW算法編碼得到的中層語義特征分別輸入到帶有徑向基核函數(shù)的SVM分類器和帶有直方圖交叉核函數(shù)的SVM分類器當(dāng)中.得到的總體分類精度結(jié)果如表1所示.

表1 不同K值的總體分類精度P

從表1可以看到,在提取中層語義特征中,最后的總體分類精度受到聚類中心K值的影響較大,隨著K值的增大,精度P隨之增大.但K值為1 500時(shí),總體分類精度P趨于平穩(wěn).再將K值增加到1 800時(shí),總體分類精度有所下降.這是因?yàn)楦鶕?jù)聚類中心K值所構(gòu)建的視覺詞袋,在K值小的時(shí)候不能夠詳細(xì)地描述圖像信息,使得精度P過低,當(dāng)K值過大時(shí),視覺詞袋對(duì)圖像的描述過度解析造成分類精度P的下降,且K值越大計(jì)算量越大,耗費(fèi)時(shí)間越長.在后續(xù)試驗(yàn)中將固定K值為1 000.

當(dāng)K為1 000時(shí),經(jīng)過HIK-SVM分類器得到的混淆矩陣如圖4所示.從圖中可以看出對(duì)于類間相似性高的類別:棒球場(chǎng)和高爾夫球場(chǎng)以及稀疏住宅區(qū)容易發(fā)生混淆.這是因?yàn)檫@幾類共有屬性較多,類間相似性高,導(dǎo)致提取的特征相似性較大,所以分類效果不佳.

在利用CNN提取樣本高層特征時(shí),本文分別利用經(jīng)過ImageNet預(yù)訓(xùn)練的AlexNet、Vgg-16、Vgg-19 3種不同的網(wǎng)絡(luò)作為樣本圖像高層特征的提取器,提取模型第2個(gè)全連接層(FC7)的輸出作為高層特征.在實(shí)驗(yàn)中,設(shè)置網(wǎng)絡(luò)模型參數(shù)batch-size為32,學(xué)習(xí)率為0.000 1,采用隨機(jī)梯度下降(SGD)的方法來更新網(wǎng)絡(luò)參數(shù).以Vgg-16模型的訓(xùn)練過程為例(圖5),從圖5中可以看出在經(jīng)過110個(gè)epoch訓(xùn)練之后,網(wǎng)絡(luò)模型已經(jīng)基本收斂,因此設(shè)置模型訓(xùn)練的迭代次數(shù)epoch為110.另外2個(gè)模型經(jīng)過110個(gè)epoch也基本收斂.

利用CNN提取高層特征進(jìn)行分類得到的總體分類精度如表2所示.從表2可以看出通過CNN提取的高層特征進(jìn)行分類的分類結(jié)果明顯高于利用BOVW算法的分類精度.因?yàn)镃NN經(jīng)過多層網(wǎng)絡(luò)提取的特征提更能表達(dá)圖像的語義,分類精度更高.

圖4 K=1 000時(shí)BOVW得到的混淆矩陣Fig.4 Confusion matrix of BOVW at K=1 000

圖5 Vgg-16訓(xùn)練過程Fig.5 Training process of Vgg-16

表2 利用不同CNN模型提取的高層特征得到的總體分類精度P

混淆矩陣以Vgg-16為例(圖6),從圖中可以看出每一類的精度較BOVW算法都有所提高,但是對(duì)于建筑物、密集居民區(qū)、網(wǎng)球場(chǎng)這些類間相似性高的類別,其分類結(jié)果仍然較低,精度有待提高.

本文所提算法在實(shí)驗(yàn)中,提取CNN的第2層全連接層(FC7)的輸出最為高層特征,提取K=1 000時(shí)的視覺詞袋特征作為中層特征.通過串聯(lián)中、高層特征輸入到SVM分類器,得到分類結(jié)果如表3所示.由表3中可以看出以Vgg-16作為高層特征提取模型,HIK-SVM作為分類器得到的總體分類精度最高.

表3 中高層融合特征的總體分類精度P

本文算法與其他方法對(duì)比如表4所示,從表中可以看出本文所提方法結(jié)果好于其他算法.總體分類精度達(dá)到了92.95%.

表4 不同方法的總體分類精度P

以Vgg-16作為高層特征提取模型、HIK-SVM作為分類器得到的混淆矩陣如圖7所示,從圖中可以看出, 本文所提方法在一些類別的分類

精確度已經(jīng)達(dá)到100%.對(duì)于容易混淆的類別,本文方法的精確度也有所提升.

3 結(jié) 論

本文提出了一種視覺詞袋模型結(jié)合卷積神經(jīng)網(wǎng)絡(luò)的高分辨率遙感圖像場(chǎng)景分類方法.首先利用BOVW算法提取高分辨率遙感圖像樣本中層特征,然后利用CNN提取圖像樣本的高層特征.通過中、高層特征的融合,豐富圖像的語義表達(dá),最后將融合的特征作為輸入,利用SVM分類器進(jìn)行分類.該方法能夠解決低、中層特征對(duì)圖像語義表達(dá)欠缺的問題.通過實(shí)驗(yàn)可以看出所提方法的總體精確度均高于單一使用中層或高層特征的算法.驗(yàn)證了方法的有效性.

但是,本文所提出的方法也存在一些不足.對(duì)于類間差異非常小的類別,在分類結(jié)果上仍然不是非常準(zhǔn)確.這也是分類任務(wù)的最大難題,在今后的工作中要把類間相似性高、類內(nèi)差異性大的問題當(dāng)作重點(diǎn)研究.來提升分類效果.