基于深度學(xué)習(xí)網(wǎng)絡(luò)的遙感圖像異常檢測方法研究

曹哲驍, 傅 瑤, 王 麗, 蘇 盈, 郭云翔, 王 田,5

1. 北京航空航天大學(xué),北京 100191 2. 復(fù)雜關(guān)鍵軟件環(huán)境全國重點(diǎn)實(shí)驗室,北京 100191 3. 中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所,長春 130033 4. 武漢高德紅外股份有限公司,武漢 430223 5. 中關(guān)村實(shí)驗室,北京 100191

0 引 言

隨著人工智能的迅速進(jìn)步,尤其是深度學(xué)習(xí)技術(shù)的不斷演進(jìn),航天高光譜遙感數(shù)據(jù)正迎來廣闊的應(yīng)用前景.這類數(shù)據(jù)具備成像覆蓋范圍廣、光譜分辨率高、圖譜合一等特性,是圖像和光譜信息的有機(jī)融合[1].基于深度學(xué)習(xí)的人工智能技術(shù)方法的迅猛發(fā)展,有助于這些數(shù)據(jù)中的關(guān)鍵信息提取,應(yīng)用于場景分類、目標(biāo)檢測等應(yīng)用場景[2-3].

傳統(tǒng)的目標(biāo)檢測和圖像分割算法往往使用監(jiān)督學(xué)習(xí)的范式,需要大量人力資源用于收集充分?jǐn)?shù)量的目標(biāo)類別圖像樣本,并對圖像類別、目標(biāo)位置或像素類別進(jìn)行精確標(biāo)注. 然而,在許多應(yīng)用場景下,目標(biāo)樣本的獲取十分艱難,存在正負(fù)樣本不均衡的問題. 例如,對于表面缺陷檢測任務(wù),可供使用的數(shù)據(jù)集圖像大部分表面并無缺陷,屬于正常樣本,而缺陷樣本僅占數(shù)據(jù)集中的少數(shù)比例,同時,需要檢測的缺陷種類卻種類繁多,更可能有許多數(shù)據(jù)集中未包含但現(xiàn)實(shí)中存在的缺陷種類,使得可供如目標(biāo)檢測、圖像分割等有監(jiān)督訓(xùn)練范式的缺陷標(biāo)簽和對應(yīng)樣本嚴(yán)重受限[4].在這些情況下,由于目標(biāo)類別樣本的缺乏,傳統(tǒng)的監(jiān)督學(xué)習(xí)方法遇到瓶頸. 與監(jiān)督學(xué)習(xí)相比,異常檢測方法由于其無監(jiān)督或半監(jiān)督的范式,構(gòu)建檢測模型的方法對樣本標(biāo)簽的需求小,對于數(shù)據(jù)集正負(fù)樣本不均衡的情況十分適用,在制造缺陷檢測,醫(yī)學(xué)圖像分析,視頻監(jiān)控,高光譜圖像處理等領(lǐng)域有較高的研究意義和應(yīng)用價值[5].

圖像異常檢測與典型的監(jiān)督分類或檢測問題不同之處在于對異常數(shù)據(jù)及其標(biāo)簽的獲取受限. 因此異常檢測器通常是在半監(jiān)督或僅使用正常數(shù)據(jù)的單分類無監(jiān)督設(shè)置下構(gòu)建的. 由于異常模式的分布在模型學(xué)習(xí)過程中的未知性,模型在訓(xùn)練階段學(xué)習(xí)正常實(shí)例的模式,并在測試階段不能較好表示測試實(shí)例的情況下確定異常.

在圖像異常檢測問題中,傳統(tǒng)的機(jī)器學(xué)習(xí)方法已經(jīng)取得了較好的效果,并得到了廣泛應(yīng)用. 隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展,前沿的研究進(jìn)一步將深度卷積神經(jīng)網(wǎng)絡(luò)與圖像異常檢測相結(jié)合,以提高檢測效果. 根據(jù)機(jī)器學(xué)習(xí)模型是否由深度神經(jīng)網(wǎng)絡(luò)組成,目前主流的圖像異常檢測方法可分為兩大類:傳統(tǒng)的機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法.

基于傳統(tǒng)機(jī)器學(xué)習(xí)方法的異常檢測技術(shù)包含基于統(tǒng)計模型的異常檢測方法,通常利用統(tǒng)計模型來構(gòu)建圖像中像素值或特征向量的正常分布模式,對于測試圖像則通過與分布的距離判定異常與否. 使用高斯分布模型進(jìn)行描述是較為常見的方法. 在高光譜圖像處理應(yīng)用中,REED等[6]將背景建模為高斯分布,并從圖像場景中隨機(jī)選擇像素來代表背景統(tǒng)計數(shù)據(jù)從而檢測異常. 然而,單一高斯分布模型對更為復(fù)雜的場景建模能力有限,為了避免這一劣勢,VERACINI等[7]通過高斯混合模型對高光譜圖像的背景像素進(jìn)行正常模型建模,并通過在貝葉斯框架內(nèi)開發(fā)的期望最大化算法,在參數(shù)估計過程中自動評估組件數(shù)量,最后使用廣義似然比檢驗來檢測異常.

基于深度學(xué)習(xí)方法的異常檢測技術(shù)通常采用基于圖像重構(gòu)的異常檢測方法,這種方法往往使用自編碼器學(xué)習(xí)訓(xùn)練階段正常輸入圖像的分布[6-7],在檢測階段通過重構(gòu)圖像和真實(shí)圖像的重構(gòu)誤差作為異常評分,從而進(jìn)行異常檢測.

基于自編碼器的方法被認(rèn)為是過于完備的,存在著無法保證完全消除輸入圖像中的異常區(qū)域的問題[8-10].即在輸入異常樣本時,即使編碼器得到的特征向量和正常分布相差較大,解碼器得到的重構(gòu)圖像依然近似于輸入,與輸入圖像的差異并不明顯,導(dǎo)致這些異常樣本存在被誤判成正常樣本的可能性. 為了解決異常樣本重構(gòu)效果不明顯的問題,GONG等[11]提出的記憶強(qiáng)化自編碼器在自編碼器的特征空間上增加了記憶模塊,將訓(xùn)練過程中最具有代表性的特征向量存儲在模塊中,并在重建時通過注意力機(jī)制的方式對特征向量進(jìn)行處理,使重構(gòu)圖像的更加接近學(xué)習(xí)的正常樣本分布;在高光譜圖像處理應(yīng)用中,HADGAN 等[12]引入了潛在對抗學(xué)習(xí)、一致性增強(qiáng)表示約束和收縮約束,使得編碼器專注于重構(gòu)大多數(shù)類別(即背景像素),在原始圖像和重構(gòu)圖像的殘差圖上應(yīng)用基于能量的空間和基于距離的光譜聯(lián)合異常檢測器,以獲得最終的檢測圖,并提出了一種新的基于最小能量的波段選擇方法,用于降低維度并輔助空間檢測器進(jìn)行檢測.

近年來,基于深度學(xué)習(xí)方法的異常檢測技術(shù)也采用了基于特征相似度的方法. RUFF等[13]提出的深度支持向量數(shù)據(jù)描述(deep support vector data description, Deep-SVDD)是這一類型的代表性方法. SVDD將正常圖像樣本的特征聚集在人為指定的特征中心點(diǎn)附近, 而由于缺乏對異常樣本的學(xué)習(xí),異常樣本在特征空間中的特征并不符合正常樣本的分布,往往遠(yuǎn)離正常樣本的特征中心點(diǎn),由此根據(jù)檢測階段樣本與正常樣本特征中心點(diǎn)的距離判斷樣本是否異常. 文獻(xiàn)[14-15]結(jié)合傳統(tǒng)方法和深度學(xué)習(xí)來進(jìn)行異常檢測,使用深度神經(jīng)網(wǎng)絡(luò)提取特征向量,用于描述異常檢測的整個圖像或用于異常定位的圖像子塊,在異常檢測階段利用傳統(tǒng)的機(jī)器學(xué)習(xí)方法進(jìn)行異常檢測,產(chǎn)生了較好的異常檢測和定位結(jié)果,但在高光譜處理方面應(yīng)用仍存在空白.

本文采用了基于特征相似度的方法,將深度學(xué)習(xí)和傳統(tǒng)方法結(jié)合得到異常檢測方法. 遵循兩階段框架,使用自監(jiān)督預(yù)訓(xùn)練的ResNet-18網(wǎng)絡(luò)作為特征提取器,然后借助高斯密度估計實(shí)現(xiàn)對異常圖像的分類,如圖1所示. 并利用一種基于梯度定位的深度網(wǎng)絡(luò)可視化解釋方法GradCAM[16]解決了異常圖像定位和算法可解釋性問題.

1 特征提取模型

1.1 自監(jiān)督學(xué)習(xí)方法

在第一階段,通過自監(jiān)督學(xué)習(xí)從普通數(shù)據(jù)中學(xué)習(xí)深度表示.

代理任務(wù)對于自監(jiān)督表示學(xué)習(xí)至關(guān)重要. 雖然在現(xiàn)在已有許多流行的方法構(gòu)建代理任務(wù),包括旋轉(zhuǎn)預(yù)測[17]和對比學(xué)習(xí)[18-19],但簡單地應(yīng)用現(xiàn)有的方法對于檢測局部異常幫助較小,因此需要設(shè)計一種增強(qiáng)策略,創(chuàng)建局部不規(guī)則模式,然后訓(xùn)練模型識別這些局部不規(guī)則性,并希望它能在測試時推廣到未知的真實(shí)異常. 一種常用的增強(qiáng)方法是Cutout[20],它可以擦除圖像中隨機(jī)選擇的一個小矩形區(qū)域. 這個任務(wù)似乎很容易通過精心設(shè)計的低級圖像過濾器來解決,但由于缺乏先驗信息,深度卷積網(wǎng)絡(luò)并不會學(xué)習(xí)這些捷徑,因此可以學(xué)習(xí)局部異常信息.LI 等[15]針對實(shí)際缺陷檢測任務(wù)缺陷一般含有拉伸變形,特殊的紋理構(gòu)造,通過CutPaste模擬異常樣本.

為了進(jìn)一步防止學(xué)習(xí)用于區(qū)分增強(qiáng)圖像和鼓勵模型學(xué)習(xí)檢測不規(guī)則性,如表1所示,模仿CutPaste的代理任務(wù),使用如下所示的異常數(shù)據(jù)生成方法用于自監(jiān)督訓(xùn)練:

表1 訓(xùn)練過程的 PyTorch-style 偽代碼Tab.1 Pseudo code for training in Pytorch style

1)從仿真異常圖像中隨機(jī)選擇一個樣本,并可選地對其進(jìn)行旋轉(zhuǎn)或像素值抖動;

2)從正常訓(xùn)練圖像中隨機(jī)選擇一個和樣本大小相當(dāng)?shù)男【匦螀^(qū)域;

3)將異常樣本粘貼在圖像中.

對于生成的樣本,通過特征提取模型進(jìn)行特征提取,并連接一層MLP(multilayer perceptron),對特征進(jìn)行二分類,特征提取和分類模型記為g(). 正常樣本x的目標(biāo)標(biāo)簽為0,異常樣本xa的目標(biāo)標(biāo)簽為1,使用交叉熵(cross entropy)損失函數(shù)進(jìn)行訓(xùn)練,交叉熵函數(shù)和損失函數(shù)的定義如下:

CE(P,Q)=-∑P(x)logQ(x)

(1)

L=E{CE(g(x),0)+CE(g(xa),1)}

(2)

1.2 Resnet-18特征提取網(wǎng)絡(luò)模型

ResNet是一種用于圖像分類的深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[21].其主要特點(diǎn)是使用了殘差塊(residual block)來解決深度神經(jīng)網(wǎng)絡(luò)中的梯度消失問題,從而使得網(wǎng)絡(luò)可以更深,更容易訓(xùn)練.

假設(shè)輸入數(shù)據(jù)x時,H(x)是神經(jīng)網(wǎng)絡(luò)期望的期望輸出,由于學(xué)習(xí)難度大,直接把輸入x作為初始結(jié)果,通過“捷徑”傳到輸出,使學(xué)習(xí)目標(biāo)變?yōu)闅埐頕(x)=H(x)-x,相比H(x)更易于學(xué)習(xí),則可以使網(wǎng)絡(luò)穩(wěn)定.殘差塊的計算方法如式(2)和圖2所示.

圖2 殘差塊Fig.2 Residual block

圖3 ResNet模型網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network architecture of Resnet models

圖4 TG1HRSSC數(shù)據(jù)集樣本數(shù)據(jù)可視化展示Fig.4 Sample display of TG1HRSSC dataset

H(x)=F(x)+x

(3)

近年Resnet作為計算機(jī)視覺的里程碑工作,廣泛地應(yīng)用于圖像分類、目標(biāo)檢測和予以分割等任務(wù). ResNet18是ResNet系列的一種輕量級結(jié)構(gòu),它是由18個卷積層和全連接層組成的深度神經(jīng)網(wǎng)絡(luò),如圖2所示.相對于VGG16[22]和AlexNet[23]等模型,其具有更少的參數(shù),更快的訓(xùn)練速度和更好的性能. 適用于訓(xùn)練數(shù)據(jù)較少的異常檢測任務(wù).

2 異常評分和定位方法

2.1 異常評分方法

在第二階段,評估輸入數(shù)據(jù)的深度表示與正常數(shù)據(jù)的離群程度來得到異常評分.

目前存在各種通過單類分類器計算異常分?jǐn)?shù)的方法,生成式分類器包括KDE、GDE等. 在本文中,在特征f上構(gòu)建生成高斯密度估計器GDE[24]以作為分類器,其對數(shù)密度計算如下:

(4)

其中μ是訓(xùn)練集特征向量的中心,Σ是訓(xùn)練集特征向量分布的對稱協(xié)方差矩陣,二者均從正常數(shù)據(jù)中建模得到.

計算樣本的密度函數(shù)后,可以通過設(shè)置分類閾值的方法來判斷樣本是否異常,如圖5所示,在藍(lán)色圓形分類閾值內(nèi)的樣本被判定為正常,標(biāo)記為藍(lán)色圓點(diǎn),而在分類閾值外的樣本被判定為異常,標(biāo)記為紅色×號.

圖5 異常評分方法可視化展示Fig.5 Display of anomaly score method

2.2 異常定位方法

在異常檢測中,當(dāng)模型通過預(yù)測任務(wù)學(xué)習(xí)圖像的整體表征時,很難像生成模型那樣通過重構(gòu)誤差進(jìn)行異常定位. 因此,使用一種基于梯度定位的深度網(wǎng)絡(luò)可視化解釋方法Grad-CAM[16]來突出顯示影響異常檢測模型決策的區(qū)域.

Grad-CAM使用CNN模型的最后一個卷積層的梯度信息為每個神經(jīng)元分配權(quán)重,以進(jìn)行定位決策.

圖6 Grad-CAM算法流程Fig.6 Overview of Grad-CAM algorithm

(5)

3 實(shí)驗及結(jié)果

3.1 數(shù)據(jù)集

本文基于天宮一號高光譜遙感場景分類數(shù)據(jù)集[25],在測試集構(gòu)建仿真異常數(shù)據(jù),對異常檢測模型性能進(jìn)行了訓(xùn)練和評估.

天宮一號高光譜遙感場景分類數(shù)據(jù)集(TG1HRSSC)包括單波段的5 m分辨率的全色譜段,54個有效波段的10 m分辨率可見近紅外譜段和52個有效波段的20 m分辨率短波紅外譜段. 數(shù)據(jù)集包括9個典型場景,包括城鎮(zhèn)、機(jī)場、養(yǎng)殖塘、河流、港口、湖泊、農(nóng)田、林地和荒漠.數(shù)據(jù)集展示圖像如圖4所示,其中彩色圖像由選擇波段作為RGB通道的圖像合成,灰度圖像由單波段圖像構(gòu)成.可見近紅外譜段中的近似真彩色圖像使用29、19和6波段合成,假彩色圖像使用52、29和19波段合成;短波紅外譜段的假彩色圖像使用23、11和37波段合成;使用全色譜段的灰度圖像使用其單波段構(gòu)成. 實(shí)驗中,仿照數(shù)據(jù)集可視化方法,選用可見近紅外譜段數(shù)據(jù)真彩色波段通道29、19和6組合,選用短波紅外譜段數(shù)據(jù)假彩色波段通道23、11和37組合,分別用于合成RGB通道格式的圖像,并按各譜段亮度峰值進(jìn)行歸一化操作,符合計算機(jī)視覺領(lǐng)域廣泛使用的卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)所需輸入圖像數(shù)據(jù)格式.

由于城鎮(zhèn)、機(jī)場和養(yǎng)殖塘等3類地物樣本數(shù)量有限,較難滿足深度神經(jīng)網(wǎng)絡(luò)對訓(xùn)練的數(shù)據(jù)量的需求,且場景與作為待檢測異常的雷達(dá)樣本有所沖突,因此本文參考數(shù)據(jù)集工作[25],選取河流、港口、湖泊、農(nóng)田、林地和荒漠等6類可將雷達(dá)視為異常場景的場景類別進(jìn)行模型訓(xùn)練和測試,并使用90°、180°和270°旋轉(zhuǎn),上下、左右和上下左右翻轉(zhuǎn)進(jìn)一步增廣樣本數(shù)據(jù)至原始數(shù)據(jù)量的7倍,并剔除了部分傳感器導(dǎo)致成像臟污的樣本數(shù)據(jù).實(shí)驗中,使用計算機(jī)生成的軍事目標(biāo)可見光仿真圖像和網(wǎng)絡(luò)收集的衛(wèi)星拍攝圖像作為構(gòu)建異常樣本的對象,包括雷達(dá)、飛機(jī)、車輛和坦克等類別.如圖7所示.實(shí)驗訓(xùn)練集與測試集劃分比例8∶2,共記訓(xùn)練圖像415張,測試圖像103張,其中異常測試圖像41張.

圖7 用于構(gòu)造異常樣本的異常圖像樣本展示Fig.7 Sample display of anomaly image for anomaly sample construction

3.2 實(shí)驗方法

遵循單分類檢測的傳統(tǒng)過程,即在正常數(shù)據(jù)上進(jìn)行訓(xùn)練,得到特征提取器后,使用正常數(shù)據(jù)特征構(gòu)建到單分類器,參考文獻(xiàn)[26],使用ResNet-18作為骨干網(wǎng)絡(luò),連接一個3層MLP投影層來學(xué)習(xí)表示.

訓(xùn)練模型的輸入圖像尺寸為100×100,使用動量SGD優(yōu)化模型參數(shù),學(xué)習(xí)率為0.03,動量參數(shù)為0.9,batch size大小為64,訓(xùn)練500 epochs. 使用余弦學(xué)習(xí)率衰減計劃和L2權(quán)重正則化,系數(shù)為0.000 03.在進(jìn)行異常數(shù)據(jù)生成時,對異常樣本應(yīng)用隨機(jī)旋轉(zhuǎn)和顏色抖動進(jìn)行數(shù)據(jù)增強(qiáng),以增強(qiáng)特征表示的魯棒性.

對ResNet模型采用3種訓(xùn)練策略:

1)直接在訓(xùn)練集上訓(xùn)練得到權(quán)重;

2)通過微調(diào)在大規(guī)模圖像分類數(shù)據(jù)集ImageNet[27]預(yù)訓(xùn)練的權(quán)重,在前100 epochs 同時訓(xùn)練ResNet和MLP,在100～400 epochs凍結(jié)ResNet,訓(xùn)練MLP;

3)凍結(jié)ImageNet預(yù)訓(xùn)練權(quán)重,只訓(xùn)練MLP.

訓(xùn)練完成后,在測試集上進(jìn)行驗證,以檢驗自監(jiān)督訓(xùn)練的有效性.

3.3 實(shí)驗結(jié)果

由于異常檢測本質(zhì)上是一個單分類問題,傳統(tǒng)機(jī)器學(xué)習(xí)中兩類問題中的指標(biāo)可以用來衡量異常檢測模型的檢測效果.然而,由于數(shù)據(jù)集的正常樣本遠(yuǎn)多于異常樣本,準(zhǔn)確率和召回率均不適合用于作為異常檢測的評價指標(biāo).但可以繪制接受者操作特征曲線(receiver operating characteristic curve,ROC)來比較異常檢測模型的優(yōu)劣.

如表2定義的混淆矩陣所示,每一行表示數(shù)據(jù)的真正歸屬類別;每一列中的數(shù)值表示真實(shí)數(shù)據(jù)被預(yù)測的類別.真陽性率(true positive rate,TPR)和假陽性率(false positive rate,FPR)為

表2 混淆矩陣Tab.2 Confusion matrix

(6)

(7)

在接受者改變分類閾值時,以假陽性率FPR為橫坐標(biāo),真陽性率TPR為縱坐標(biāo)繪制的曲線即為ROC曲線.ROC曲線到x軸的面積為曲線下面積(area under curve,AUC).

實(shí)驗設(shè)置異常評分分類器為GDE,實(shí)驗結(jié)果及與其他深度學(xué)習(xí)異常檢測方法效果如表3所示. 其中本文和CutPaste方法可以引入ImageNet預(yù)訓(xùn)練知識,大幅提升檢測準(zhǔn)確率,在表3中用P表示. 本文所提出的異常檢測算法可以提供優(yōu)異的異常檢測效果.

表3 異常檢測實(shí)驗結(jié)果Tab.3 Experimental results of anomaly detection

異常定位相關(guān)結(jié)果在圖8中展示,圖8中前4張可見近紅外譜段圖像分辨率為256 pixel×256 pixel,后6張短波紅外譜段分辨率為128 pixel×128 pixel,可以看出自監(jiān)督訓(xùn)練能幫助夠定位圖像中的異常信息,且有助于發(fā)現(xiàn)人類肉眼難以發(fā)現(xiàn)的異常.

圖8 異常定位結(jié)果樣本展示Fig.8 Sample display of anomaly localization

4 結(jié) 論

本文在CutPaste基礎(chǔ)上提出了一種適用于遙感圖像的異常檢測和定位方法. 通過對正常數(shù)據(jù)和模擬生成的異常數(shù)據(jù)進(jìn)行自監(jiān)督分類,鼓勵模型發(fā)現(xiàn)異常樣本的特性,有效地訓(xùn)練了編碼器的表征能力,使建模得到正常樣本特征與異常樣本產(chǎn)生較大差距. 在仿真數(shù)據(jù)集上展示出了優(yōu)秀的圖像標(biāo)簽級異常檢測性能,直接訓(xùn)練的模型即可得到AUC 0.872 9的異常檢測模型,引入ImageNet預(yù)訓(xùn)練知識后對異常檢測的AUC可達(dá)0.999 6,并通過Grad-CAM展示了優(yōu)秀的異常定位性能.