不同特征提取策略的場景變化檢測性能評估

黃宇鴻 周維勛

(南京信息工程大學(xué) 遙感與測繪工程學(xué)院, 江蘇 南京 210044)

0 引言

遙感影像場景級變化檢測是近年遙感影像變化檢測的一個重要發(fā)展方向,從語義層次分析場景的類別變化,其中高分辨率遙感影像具有空間分辨率高、地物細(xì)節(jié)信息豐富的特點,是一種重要的變化檢測數(shù)據(jù)源,在土地利用監(jiān)測、違法用地監(jiān)測、生態(tài)環(huán)境監(jiān)測等領(lǐng)域應(yīng)用廣泛。

目前場景變化檢測方法按是否分類可分為分類后比較法以及直接比較法。直接比較法是直接對同一區(qū)域不同時相影像的光譜信息差異進行比較,確定發(fā)生變化的位置與范圍,一大缺陷在于其無法給出明確的變化類型;而分類后比較法先對每一時相影像以相同的分類標(biāo)準(zhǔn)單獨分類,然后比較分類結(jié)果以確定變化信息,操作簡單且可明確變化類型,但其檢測精度也因此大大受限于兩時相影像分類的精度,故提高各時相影像分類的精度是提高分類后比較變化檢測精度的關(guān)鍵。

在影像分類中,如何對影像進行特征提取及提取影像的哪些特征影響著分類的準(zhǔn)確性。傳統(tǒng)常用的特征包括紋理特征和顏色特征,如胡玉福等利用影像的紋理特征實現(xiàn)了高效的高分辨率遙感影像土地利用分類;陳善靜等提出一種基于滑坡區(qū)域顏色特征模型的支持向量機(support vector machine,SVM)遙感檢測方法,對滑坡區(qū)域進行了目標(biāo)精確分類與識別。但是,這類特征的表達能力有限,往往無法全面反映高分辨率遙感影像復(fù)雜的深層語義信息。

隨著深度學(xué)習(xí)技術(shù)的日漸成熟,一些深度學(xué)習(xí)模型開始被應(yīng)用于遙感影像變化檢測的分類后比較法中。其應(yīng)用的特征主要有以下三大類:深度置信網(wǎng)絡(luò)特征、棧式編碼器網(wǎng)絡(luò)特征以及卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)特征。其中,CNN特征具有很強的表達能力和泛化能力,近年來在遙感圖像分類問題上受到了廣泛的使用并取得了較好的分類精度。徐真等提出了一種基于CNN特征的合成孔徑雷達(synthetic aperture radar,SAR)圖像變化檢測方法并驗證了該方法的準(zhǔn)確性和有效性，王艷恒等結(jié)合深度學(xué)習(xí)和超像元分割實現(xiàn)對同物異譜的區(qū)域做出有效判決,提升了變化檢測精度。

對于場景變化檢測,現(xiàn)有方法大多采用傳統(tǒng)圖像特征如顏色和紋理特征,或采用單一CNN特征進行分類器訓(xùn)練,沒有對不同特征的變化檢測性能進行綜合性評估。因此,與現(xiàn)有研究不同,本文利用公開的標(biāo)準(zhǔn)數(shù)據(jù)集,對比分析了顏色特征、紋理特征以及8種CNN特征對高分辨率遙感影像變化檢測的效果,以評估不同特征提取策略對變化檢測結(jié)果的影響。

1 實驗方法

本文實驗方法的流程如圖1所示。

圖1 實驗方法流程

1.1 特征提取

本文采用兩種策略提取遙感影像的場景特征,包括傳統(tǒng)的紋理特征和顏色特征,以及基于艾歷克斯網(wǎng)絡(luò)(AlexNet)、視覺幾何圖形小組十六層網(wǎng)絡(luò)(visual geometry group16，VGG16)、視覺幾何圖形小組十九層網(wǎng)絡(luò)(visual geometry group19，VGG19)、谷歌模塊組裝型網(wǎng)絡(luò)(Google inception net，GoogLeNet)、十八層殘差網(wǎng)絡(luò)(residual network18，ResNet18)、五十層殘差網(wǎng)絡(luò)(residual network50，ResNet50)、壓縮型網(wǎng)絡(luò)(SqueezeNet)和十九層黑暗網(wǎng)絡(luò)(DarkNet19)等網(wǎng)絡(luò)提取的CNN特征。

1.1.1

紋理是圖像中某種局部序列性不斷重復(fù)的非隨機排列的視覺特征,可由像素及其鄰域的灰度分布來表現(xiàn)。本文對輸入圖像做小波分解后,用每個分解層上能量分布的均值和標(biāo)準(zhǔn)方差構(gòu)成一個6×2的向量來表示其紋理特征。

1.1.2

顏色特征是一種全局特征,描述了圖像所對應(yīng)的地物表面性質(zhì)。其中顏色直方圖是最常用的表達方法,它不易受圖像旋轉(zhuǎn)和平移的影響,且對尺度變換不敏感。本文首先將輸入圖像從RGB顏色空間轉(zhuǎn)換至HSV空間,后對H、S分量按16個等間隔區(qū)間進行量化,經(jīng)歸一化后得到一個16×2的向量來表示其顏色特征。

1.1.3

CNN

CNN基本結(jié)構(gòu)通常包括卷積層、池化層和全連接層。本文分別采用AlexNet、VGG16、VGG19、GoogLeNet、ResNet18、ResNet50、SqueezeNet和DarkNet19共8種預(yù)訓(xùn)練深度學(xué)習(xí)模型對數(shù)據(jù)集圖像做特征提取。

Alexnet采用8層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),包括5個卷積層、3個池化層和3個全連接層,采用Relu作為激活函數(shù)并使用Dropout代替正則以降低過擬合。本文選取Alexnet的“fc8”(最后一個全連接層特征)用于后續(xù)分類。VGGNet最早由牛津大學(xué)計算機視覺實驗室提出,VGG16是其中較為典型的一個,共有16個帶參數(shù)的網(wǎng)絡(luò)層(不包括激活層),即13個卷積層、3個全連接層。而VGG19共19個參數(shù)層,包括16個卷積層和最后的3個全連接層。本文選取VGG16和VGG19的“fc8”(最后一個全連接層特征)用于后續(xù)分類。

GoogLeNet引進了Inception結(jié)構(gòu),深度達到22層。本文選取GoogLeNet的“l(fā)oss3-classifier”(最后一個全連接層特征)用于后續(xù)分類。

ResNet網(wǎng)絡(luò)在結(jié)構(gòu)中增加了直連通道,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的是上一個網(wǎng)絡(luò)輸出的殘差,其中ResNet18和ResNet50的深度分別為18和50,本文選取ResNet18和ResNet50的“fc1000”(最后一個全連接層特征)用于后續(xù)分類。

SqueezeNet是一種超輕量CNN模型,由AlexNet網(wǎng)絡(luò)發(fā)展而來,包含若干個Fire模塊結(jié)合卷積層、降采樣層、全連接層,網(wǎng)絡(luò)深度達到18層。本文選取SqueezeNet的“pool10”(平均池化層特征)用于后續(xù)分類。

DarkNet19是一個深度為19的卷積神經(jīng)網(wǎng)絡(luò),包含有19個卷積層、5個最大值池化層和1個全局平均池化層。本文選取DarkNet19的“avg1”(全局平均池化層特征)用于后續(xù)分類。

1.2 分類及變化檢測

SVM是一種基于統(tǒng)計學(xué)習(xí)理論的機器學(xué)習(xí)算法,它通過最優(yōu)化問題解算確定出特征空間的最優(yōu)分類超平面,能處理復(fù)雜的數(shù)據(jù)分類問題。本文依次提取訓(xùn)練集和測試集圖像的上述6種特征后,分別將訓(xùn)練集的各類特征向量輸入SVM分類器內(nèi),選擇線性核函數(shù)進行訓(xùn)練,將得到的訓(xùn)練模型應(yīng)用到測試集上進行分類測試,生成類別預(yù)測結(jié)果。若預(yù)測結(jié)果中兩時相的類別相同,則判斷該區(qū)域未發(fā)生變化;若預(yù)測結(jié)果中兩時相的類別不同,則判斷該區(qū)域發(fā)生變化。

2 實驗結(jié)果與分析

2.1 研究數(shù)據(jù)

實驗采用的數(shù)據(jù)集為MtS-WH,該數(shù)據(jù)集主要用于場景變化檢測方法的理論研究與驗證,包括武漢市漢陽區(qū)的兩幅伊科諾斯(IKONOS，世界上第一顆提供高分辨率衛(wèi)星影像的商業(yè)遙感衛(wèi)星)影像,大小為7 200×6 000像素,共紅、綠、藍和近紅外4個波段,空間分辨率為1m。兩幅影像分別獲取于2002年2月和2009年6月,分別如圖2(a)和圖2(b)所示。

本文選取紅、綠、藍三波段真彩色合成的影像進行實驗,標(biāo)簽與地物類型的對應(yīng)關(guān)系如表1所示。其中0類為未定義類,故0類不參與精度評價。

為評估各特征在場景變化檢測中的性能,本文分別將兩個時相的影像裁切為1 920幅150×150像素的場景對,去除標(biāo)簽為0的場景后得到1 050對非0類場景對;然后將非0類場景對按4∶1的比例隨機劃分為訓(xùn)練集和測試集。其中,訓(xùn)練集用于訓(xùn)練SVM分類器,而測試集用于評價基于各類特征的檢測精度。

表1 MtS-WH數(shù)據(jù)標(biāo)簽與相應(yīng)的地物類型

圖2 MtS-WH數(shù)據(jù)集

2.2 評價指標(biāo)

本文使用基于二分類混淆矩陣計算的總體精度(overall accuracy,OA)和Kappa系數(shù)作為評價指標(biāo),如表2所示。

表2 二分類混淆矩陣

總體精度是指對每一個隨機測試樣本,所分類的結(jié)果與檢驗數(shù)據(jù)類型相一致的概率。Kappa系數(shù)用于評估模型預(yù)測結(jié)果和實際分類結(jié)果的一致性。計算公式分別為

(1)

(2)

p

P

p

(3)

A

a

b

A

c

d

B

a

c

B

b

d

n

A

A

B

B

2.3 基于不同特征的變化檢測結(jié)果對比

基于不同特征的SVM分類精度和變化檢測結(jié)果對比如表3、表4所示。

表3 基于不同特征的SVM分類精度

表4 基于不同特征的變化檢測精度

結(jié)合表3、表4可知,變化檢測性能明顯與分類精度密切相關(guān),尤其受時相2分類精度的影響。時相2分類精度大于0.86的幾種CNN特征在后續(xù)變化檢測中均表現(xiàn)良好。綜合分類精度和檢測精度來看,最優(yōu)的是SqueezeNet、DarkNet19和ResNet50,三者在場景分類精度上分列前三且變化檢測性能是所有實驗特征中的最佳,總體精度均達0.95且Kappa達0.90,而檢測精度最差的是VGG19,其在時相2分類中的表現(xiàn)尤其偏差。對于時相2的分類精度,前三者分別比VGG19高出8%、7%和7%,前三者總體精度和Kappa系數(shù)分別比VGG19高出11%和25%。根據(jù)CNN特征之間的精度對比可以發(fā)現(xiàn),可見分類精度越高,變化檢測的精度就越高,在Kappa系數(shù)上這種依賴關(guān)系表現(xiàn)得尤其明顯。

而傳統(tǒng)的紋理和顏色特征在分類精度和變化檢測精度上都遠(yuǎn)遜于CNN特征,相比CNN特征中表現(xiàn)最差的VGG19特征,基于紋理特征進行的兩時相分類精度分別低39%和26%,變化檢測總體精度低了12%、Kappa系數(shù)低了28%,;而基于顏色特征進行的兩時相分類精度分別低27%和6%,變化檢測總體精度和Kappa系數(shù)則分別低了4%和8%。可以說,分類精度的差距帶來了最終的變化檢測精度差距。傳統(tǒng)特征只能提取圖像的淺層特征,未能充分利用高分辨率遙感影像提供的復(fù)雜的深層信息,在SVM分類中更容易出現(xiàn)誤判而導(dǎo)致最終的變化檢測精度偏低。

3 結(jié)束語

本文選取AlexNet、VGG16、VGG19、GoogLeNet、ResNet18、ResNet50、SqueezeNet和DarkNet19共8種CNN特征與傳統(tǒng)影像特征(紋理特征和顏色特征)分別對Mts-WH數(shù)據(jù)集進行了分類后比較的變化檢測實驗。對比實驗結(jié)果可以發(fā)現(xiàn),由于缺少對深層語義信息的利用,傳統(tǒng)特征在高分辨率遙感影像的場景分類中表現(xiàn)不佳,導(dǎo)致其變化檢測總體精度不足0.85且Kappa系數(shù)不足0.7,較CNN特征中表現(xiàn)最差的VGG19特征還要遜色;能反映圖像深層語義信息的CNN特征則更加適合高分遙感場景變化檢測。其中,SqueezeNet、DarkNet19和ResNet50在場景分類中擁有最出色的表現(xiàn),使得三者在變化檢測中的應(yīng)用效果最好,總體精度均高達0.95,且Kappa系數(shù)達0.90。

由于本文實驗所選的數(shù)據(jù)集相對較小,各CNN特征與傳統(tǒng)影像特征的提取耗時差異不明顯,因此不同特征提取策略在時間效率上的性能尚未評估。下一步研究中,將選用規(guī)模更大、場景類別更豐富的數(shù)據(jù)集,結(jié)合運行耗時來對不同特征提取策略做出更為全面的性能評估。