趙春暉,王鑫鵬,閆奕名
(哈爾濱工程大學信息與通信工程學院,黑龍江哈爾濱150001)
基于密度背景純化的高光譜異常檢測算法
趙春暉,王鑫鵬,閆奕名
(哈爾濱工程大學信息與通信工程學院,黑龍江哈爾濱150001)
在高光譜圖像異常檢測中,背景存在異常像元會造成背景統(tǒng)計信息失真,這將導致檢測結果具有較高的虛警率。針對此問題,本文提出了一種基于密度背景純化的異常檢測算法。首先計算背景中每個像元的密度;然后根據高光譜圖像中背景密度遠大于異常密度的特性,利用最大類間方差法將異常從背景中分離;最后,將純化后的背景用于統(tǒng)計信息的估計,通過RX檢測算法(Reed-Xiaoli detector,RXD)對高光譜圖像進行檢測。為驗證算法的有效性,利用兩組真實的高光譜數據進行仿真實驗。實驗結果表明與RXD比,所提算法在兩組數據下的曲線下面積值分別提高了0.024 6和0.008 6。與當前的異常檢測算法相比:所提算法有較好的接收機工作特性曲線。
高光譜圖像;遙感;異常檢測;密度;純化;RX檢測算法;最大類間方差法;接收機工作特性
高光譜圖像是一種圖譜合一的新型遙感數據,具有很高的光譜分辨率。借助其豐富的光譜信息,可以通過目標檢測或異常檢測算法識別高光譜圖像中的低概率地物。異常檢測在目標先驗知識未知的情況下,通過分析背景與異常目標的光譜差異,直接檢測出異常點。這對背景和目標分布未知的檢測識別具有重要意義。
經典的異常檢測算法是Reed等[1]基于廣義似然比檢驗提出的RX算法。它基于兩點假設:背景服從多維高斯分布模型和異常像元在高光譜圖像中低概率存在。由于在實際應用中高光譜圖像通常包含多種地物[2],同時受陰影、光照效果、大氣干擾或同譜異物的影響,背景復雜多變。并且,高光譜圖像中存在同背景像元相似度很高的亞像元級異常目標[3],增加了背景復雜性。因此多維高斯分布模型不能全面描述真實背景地物的分布特性。Smetek等[4]指出只要存在0.5%的數據污染就會造成協(xié)方差失真,高光譜圖像背景的復雜性造成了統(tǒng)計信息的失真,導致RX檢測算法存在較高的虛警率。針對此問題,文獻[5-8]通過背景純化將異常分離,使背景更為符合多維高斯分布模型,得到更為準確的背景統(tǒng)計信息(背景協(xié)方差與均值向量),降低了RX檢測的虛警率。Gorelnik等[5]通過聚類方法分割圖像,將背景所在類的像元用于計算協(xié)方差矩陣和均值向量,得到了更準確的背景統(tǒng)計信息。而文獻[6-7]通過RXD迭代方式對背景純化,獲得更準確的背景統(tǒng)計信息,降低了檢測虛警率。Billor等[6]通過RXD迭代方式對背景純化,并引入校正因子增強背景純化的穩(wěn)健性,提出了BACON(blocked adaptive computationally efficient outlier nominators)。針對BACON初始背景存在較多異常像元的問題,Du等[7]通過隨機選擇像元構建初始背景,降低了初始背景中異常所占的比例,并且融合多次實驗結果增強了檢測效果,提出了RSAD(random-selectionbased anomaly detector)。不同于BACON和RSAD的迭代方式,Gao等[8]提出的PAD(probabilistic anomaly detector)首先通過概率統(tǒng)計方式自適應獲得閾值,依據RXD檢測結果,將高光譜圖像分割為異常和背景兩部分,然后利用異常和背景兩部分的統(tǒng)計信息,將像元歸屬于背景和異常的程度之差作為判別依據。
通過背景純化可以去除背景中的異常數據,得到更準確的背景統(tǒng)計信息,從而有效的降低虛警率。所以對背景純化的研究是十分有必要的。由于異常在高光譜圖像中稀疏分布,且異常像元數目遠少于背景像元數目,通過計算像元的密度可以有效分離背景中的異常。據此本文提出了一種基于密度背景純化的異常檢測算法(density background refinement based anomaly detector,DBRAD),通過將背景純化方法引入RXD中,降低了RXD的虛警率。
1.1 RX檢測算法
RX檢測算法是一種基于廣義似然比檢測的異常檢測算法,可以通過單一的閾值來維持所期望的虛警率。RX算法可以看作一個二元信號檢測問題。使H0表示目標不存在,H1表示目標存在,二元假設表示如下
式中:x表示高光譜圖像像元,n表示背景噪聲向量,s表示目標光譜向量。定義為包含N個像元的L×N的背景矩陣,第i個像元表示為表示高光譜圖像波段數。假設背景和目標分布具有相同的協(xié)方差和不同的均值,分別服從多維高斯分布和為背景Xb的均值,K為協(xié)方差矩陣。根據以上假設,可以獲得背景和目標的概率密度函數:
當樣本數N趨于無窮時,進一步簡化為
從式(4)可以看出RX判別式與馬氏距離有著相同的形式,可以看作像元到背景集合的協(xié)方差距離。本質上,RXD可以看作主成分分析的逆過程[9],通過對協(xié)方差矩陣K進行奇異值分解,可以將RX判別式表示成主成分特征值加權的歐幾里德范數的形式。異常目標與協(xié)方差矩陣的小特征值對應,而特征值越小,RX檢測結果越大,這是RX算法能有效地應用于異常目標檢測的原因。
根據構造背景方式不同,RX檢測算法分為局部RX檢測算法(local RXD,LRXD)[10]和全局RX檢測算法(global RXD,GRXD)。GRXD采用圖像的所有像元作為背景,而LRXD基于滑動同心雙層窗模型選擇檢測像元的局部近鄰對背景的協(xié)方差和均值等參數進行估計。同心雙層窗模型分為外窗和內窗,外窗內的像元集合作為背景,內窗作為保護窗將檢測像元與背景分離。窗口的大小由感興趣目標的尺寸決定[8]。由于異常像元可能存在于構造的背景中,直接將圖像的所有像元或外窗中的像元作為背景計算協(xié)方差和均值是不準確的,這會造成較大的虛警率。通過背景純化可以將異常像元從初始的背景中分離,從而計算得到更準確的背景統(tǒng)計信息,降低虛警率。由于LRXD能更好地檢測圖像中的小目標,且局部背景更符合多維高斯分布模型,本文將密度背景純化方法應用于LRXD中。
1.2 密度背景純化方法
密度指單位空間中物體的數量。如圖1(a)所示,以像元p為球心,以一定距離為半徑構造超球體,將像元p的密度定義為:超球體內像元的數目與該超球體體積的比值。其函數表示為
即像元密度可以簡化為求超球體內像元數目[11]。由于異常在高光譜圖像中稀疏分布,且異常像元數目遠少于背景像元數目,所以背景像元的密度遠大于異常像元的密度,如圖1(b)所示。
圖1 密度函數定義和效果示意圖Fig.1 Illustration of the density definition and the result of the density function
本文選用歐氏距離計算像元間距,將高光譜數據歸一化,則像元間的最大距離為為高光譜圖像波段數。計算像元間距時將其除以歸一化,以便之后半徑d的選取。
半徑d的取值會對像元密度的計算產生較大影響:若d取值過大,則易將背景與異?;旌嫌诔蝮w中,這時無論背景像元或異常像元都具有較大的密度;若d取值過小則會對像元過分割,像元密度過小,同樣會造成異常與背景的密度相近的情況。所以d取值過大過小都會對異常分離造成不利影響。由于同類地物的像元聚合程度很高,同類地物的像元可以聚集于一個小半徑的超球體中,本文設定的該半徑在像元間距最大值的1%~5%,即d的取值區(qū)間為[0.01,0.05]。
確定d的取值后,根據式(6)計算背景矩陣Xb各個像元xi的密度deni,得到背景像元密度向量然后根據背景像元密度大小,通過兩次分割將異常分離。初次分割通過設定一定的比例分割出穩(wěn)健的背景:設異常在初始背景中的比例不超過10%[11],確定背景中密度最大的80%的像元為背景像元,而異常存在于剩余的20%的像元中。如式(7),將這20%像元記為Xs,其密度記為dens。
二次分割通過最大類間方差法將Xs中的異常分離。最大類間方差法[12]是一種自適應的閾值確定方法,又叫大津法,簡稱Otsu,常用于圖像分割。它按圖像的灰度特性,將圖像分成背景和目標兩部分。背景和目標之間的類間方差越大,說明構成圖像的兩部分的差別越大,錯分會導致兩部分差別變小。因此,使類間方差最大的分割意味著錯分概率最小。本文將Otsu應用于密度向量的分割。首先將dens灰度化:
式中:max(·)表示其中元素的最大值,[·]表示根據四舍五入取整。然后遍歷灰度值([0,255]區(qū)間內的整數),將其作為閾值將densg分成異常和背景兩部分。計算兩部分間的方差,當兩部分間的方差最大時記錄該灰度值th:
式中:ω0表示densg中小于th的元素所占比例,ω1表示densg中不小于th的元素所占比例;μ0、μ1、μ分別為densg中小于th的元素的均值、densg中大于等于th的元素的均值、densg的均值。當存在多個灰度值滿足條件時,取它們的平均值作為th。接著,將th去灰度化,得到分割閾值thf:
最后如式(11),將den中不小于thf的元素對應的像元判別為背景像元,更新Xb:
DBRAD算法通過計算背景像元密度將異常從背景中分離,最后將純化后的背景統(tǒng)計信息用于LRXD中進行檢測。DBRAD算法的具體步驟如下所示:
1)利用雙層窗模型,獲得當前檢測像元xi對應的背景矩陣Xb。
2)根據式(6)~(11)純化背景,更新Xb。
3)根據更新后的Xb計算背景均值μ和協(xié)方差矩陣K,代入式(4)計算,得到像元判別值。
4)設定閾值,將判別值大于閾值的像元判為異常。
實驗利用兩組高光譜圖像數據(美國圣地亞哥海軍基地數據和SpecTIR數據)對DBRAD算法的檢測性能進行測試。
2.1 美國圣地亞哥海軍基地數據
美國圣地亞哥海軍基地數據[13]由AVIRIS成像儀獲得,圖像大小為400×400,圖像覆蓋了從可見光到近紅外的連續(xù)光譜范圍,共有224波段,去除水吸收帶和低信噪比的波段后,剩下126個波段用于仿真實驗。如圖2所示,截取了該圖像的一部分區(qū)域用于仿真實驗。截取圖像的大小為100×100,包含38個待檢測目標。
圖2 圣地亞哥海軍基地數據的第60波段圖像及目標分布圖Fig.2 The sixtieth band image and targets distribution for the Santiago naval base data
實驗在Intel Core i5-4210M主頻2.60G CPU,8G內存,Matlab 2014b環(huán)境下進行。
在對高光譜數據進行歸一化后,根據感興趣目標大小,將外窗大小設為15×15,內窗大小設為5× 5。為了驗證本文算法的效果,選擇原始算法LRXD,最佳的迭代算法RSAD和最近提出的PAD算法作為對比算法。
將接收機工作特性(receiver operating characteristic,ROC)作為性能評價的方法[14-15]。高光譜檢測領域中,將檢測到的真實目標像素個數與實際目標個數比值定義為檢測率Pd,將檢測到的虛警像素個數同整幅高光譜圖像像素總數的比值定義為虛警率Pf。
圖3(a)給出了取不同值(0.05,0.03,0.01)時DBRAD的ROC曲線比較。可以看出當d取值為0.01時,檢測效果最好,在相同虛警率下具有較高的檢測率。但存在d取值不同時ROC曲線差距較大的問題。圖3(b)給出了DBRAD(d=0.01)同LRXD、RSAD、PAD算法的ROC曲線比較??梢钥闯鯠BRAD的ROC曲線變化更快,檢測率高于其他算法。
表1給出了d取不同值時DBRAD的曲線下面積(area under the ROC curve,AUC)。表2給出了LRXD、RSAD、PAD和DBRAD的AUC比較。綜合表1和表2可以發(fā)現,d取0.05、0.03或0.01時DBRAD的AUC都大于其他算法。
從檢測結果二值圖可以看出,相對PAD、RSAD、LRXD有些目標檢測結果不夠清晰完整,DBRAD可以有效的檢測出38個異常目標且虛警點更少。
通過以上對比分析,雖然存在因d取值不同導致DBRAD檢測效果有較大差異的問題,但是在時,DBRAD同其他算法相比也有較好的檢測效果。說明通過密度純化可以有效抑制異常干擾,提高檢測性能。
圖3 美國圣地亞哥海軍基地數據的ROC曲線比較Fig.3 ROC curves comparison for the Santiago naval base data
2.2 SpecTIR數據
SpecTIR數據采集于SpecTIR高光譜機載曼徹斯特實驗[16],由ProSpecTIR-VS2成像儀拍攝于2010年7月29日。SpecTIR數據包含360個波段,波段范圍390~2 450 nm,光譜分辨率5 nm,空間分辨率1 m。如圖3所示,選取大小為100×100的區(qū)域用于實驗。該區(qū)域包含不同尺寸(9、4、0.25 m2)和材質(棉或聚酯纖維)的布料,將其作為檢測目標。
圖6(a)給出了d取不同值(0.05、0.03和0.01)時DBRAD的ROC曲線比較。當d=0.05與d= 0.03時檢測效果相近,但明顯優(yōu)于d=0.01的情況。圖6(b)給出了DBRAD(d=0.03)同LRXD、RSAD、PAD算法的ROC曲線比較。可以看出雖然DBRAD在虛警率區(qū)間[0.015,0.023]內檢測率相比PAD較低,但DBRAD的ROC曲線在低虛警率區(qū)間[0,0.01]變化率更高且檢測率遠高于其他算法,說明DBRAD能更快更多地檢測到目標,所以DBRAD整體效果還是最好的。
表1 DBRAD在d取不同值時的曲線下面積Table 1 AUC of DBRAD with different
表2 LRXD、RSAD、PAD和DBRAD的曲線下面積Table 2 AUC of DBRAD,LRXD,RSAD and PAD
圖4 圣地亞哥海軍基地數據的檢測結果二值圖Fig.4 Detection results for the Santiago naval base data
圖5 SpecTIR數據第60波段圖像及目標分布圖Fig.5 The sixtieth band image and targets distribution for the SpecTIR data
圖6 SpecTIR數據的ROC曲線比較Fig.6 ROC curves comparison for the SpecTIR data
表3給出了d取不同值時DBRAD的AUC比較。表4給出了LRXD、RSAD、PAD和DBRAD的AUC比較。綜合表3和表4可以發(fā)現,d取0.05、0.03或0.01時DBRAD的AUC都大于其他算法,且彼此AUC差距較小。
從檢測結果二值圖可以看出,相對LRXD、PAD和RSAD、DBRAD可以更清晰完整地檢測出目標。
表3 DBRAD在d取不同數值時的曲線下面積Table 3 AUC of DBRAD with different d
表4 LRXD、RSAD、PAD和DBRAD的曲線下面積Table 4 AUC of DBRAD,LRXD,RSAD and PAD
圖7 SpecTIR數據的檢測結果二值圖Fig.7 Detection results for the SpecTIR data
1)將密度背景純化方法引入RXD中用以去除背景中的異常像元,提出了基于密度背景純化的異常檢測算法(DBRAD)。
2)對于圣地亞哥海軍基地數據和SpecTIR數據,DBRAD的AUC值比RXD分別提高了0.024 6和0.008 6。同時,從ROC曲線可以看出DBRAD相比于其他算法有較高的檢測率。這說明,密度背景純化方法有效抑制了異常點對背景數據的干擾,使背景協(xié)方差和均值等參數更加準確,降低了虛警率。
3)在計算密度時,需要人為設定半徑值。對于兩幅高光譜數據,在不同半徑選擇下DBRAD最大AUC差值為0.008 8和0.001 2。這說明人為選擇半徑值可能會對最后的檢測效果造成較大影響。如何自適應選取半徑將是下一步研究的重點。
[1]REED I S,YU X.Adaptive multiple-band CFAR detection of an optical pattern with unknown spectral distribution[J].IEEE transactions on acoustics,speech,and signal processing,1990,38(10):1760-1770.
[2]HUCK A,GUILLAUME M.Asymptotically CFAR-unsupervised target detection and discrimination in hyperspectral images with anomalous-component pursuit[J].IEEE transactions on geoscience and remote sensing,2010,48(11):3980-3991.
[3]CHANG C I,HEINZ D C.Constrained subpixel target detection for remotely sensed imagery[J].IEEE transactions on geoscience and remote sensing,2000,38(3):1144-1159.
[4]SMETEK T E,BAUER K W.Finding hyperspectral anomalies using multivariate outlier detection[C]//Aerospace Conference,2007 IEEE.Big Sky,MT,USA:IEEE,2007:1-24.
[5]GORELNIK N,YEHUDAI H,ROTMAN S R.Anomaly detection in non-stationary backgrounds[C]//Proceedings of the 2nd Workshop on Hyperspectral Image and Signal Processing:Evolution in Remote Sensing.Reykjavìk,Iceland:IEEE,2010:1-4.
[6]BILLOR N,HADI A S,VELLEMAN P F.BACON:blocked adaptive computationally efficient outlier nominators[J].Computational statistics&data analysis,2000,34(3):279-298.
[7]DU Bo,ZHANG Liangpei.Random-selection-based anomaly detector for hyperspectral imagery[J].IEEE transactions on geoscience and remote sensing,2011,49(5):1578-1589.
[8]GAO Lianru,GUO Qiandong,PLAZA A,et al.Probabilistic anomaly detector for remotely sensed hyperspectral data[J].Journal of applied remote sensing,2014,8(1):083538.
[9]VELASCO-FORERO S,CHEN M,GOH A,et al.Comparative analysis of covariance matrix estimation for anomaly detection in hyperspectral images[J].IEEE journal of selected topics in signal processing,2015,9(6):1061-1073.
[10]MOLERO J M,GARZóN E M,GARCíA I,et al.Analysis and optimizations of global and local versions of the RX algorithm for anomaly detection in hyperspectral data[J].IEEE journal of selected topics in applied earth observations and remote sensing,2013,6(2):801-814.
[11]LOU Chen,ZHAO Huijie.Local density-based anomaly detection in hyperspectral image[J].Journal of applied remote sensing,2015,9(1):095070.
[12]OTSU N.A threshold selection method from gray-level histograms[J].IEEE transactions on systems,man,and cybernetics,1979,9(1):62-66.
[13]趙春暉,李曉慧,朱海峰.空間4-鄰域稀疏表示的高光譜圖像目標檢測[J].哈爾濱工程大學學報,2013,34(9):1171-1178.ZHAO Chunhui,LI Xiaohui,ZHU Haifeng.Hyperspectral imaging target detection algorithm based on spatial 4 neighborhoods for sparse representation[J].Journal of Harbin Engineering University,2013,34(9):1171-1178.
[14]MOLERO J M,GARZóN E M,GARCíA I,et al.Anomaly detection based on a parallel kernel RX algorithm for multicore platforms[J].Journal of applied remote sensing,2012,6(1):061503.
[15]趙春暉,李曉慧,田明華.采用主成分量化和密度估計期望最大聚類的高光譜異常目標檢測[J].光子學報,2013,42(10):1224-1230.ZHAO Chunhui,LI Xiaohui,TIAN Minghua.Hyperspectral imaging abnormal target detection algorithm using principal component quantization and density estimation on EM clustering[J].Acta photonica sinica,2013,42(10):1224-1230.
[16]HERWEG J A,KEREKES J P,WEATHERBEE O,et al.SpecTIR hyperspectral airborne Rochester experiment data collection campaign[C]//Proceedings of SPIE 8390,Algorithms and Technologies for Multispectral,Hyperspectral,and Ultraspectral Imagery XVIII.Baltimore,Maryland,USA:SPIE,2012:839028.
Density background refinement-based anomaly detection algorithm for hyperspectral images
ZHAO Chunhui,WANG Xinpeng,YAN Yiming
(College of Information and Communication Engineering,Harbin Engineering University,Harbin 150001,China)
In anomaly detection in hyperspectral images,a background anomaly distorts the background statistical information,leading to a high false-alarm rate.Here a density background refinement-based anomaly detector is proposed to solve this problem.The density of each background pixel was calculated first.Then,considering that the background density is much greater than the density of an anomaly in hyperspectral images,anomalies were separated from background using Otsu′s method.Finally,the image was detected with a Reed-Xiaoli detector(RXD)using statistical information on the refined background.To validate the effectiveness of the proposed algorithm,experiments were conducted on two real hyperspectral data sets.The results show that the proposed algorithm′s areaunder-curve values are 0.024 6 and 0.008 6 larger than RXD for the two data,respectively,and that it shows better receiver operating characteristics compared with existing anomaly detection algorithms.
hyperspectral image;remote sensing;anomaly detection algorithm;density;refinement;RX detector;Otsu′s method;receiver operating characteristic
10.11990/jheu.201511073
http://www.cnki.net/kcms/detail/23.1390.u.20160928.0936.038.html
TP751.1
A
1006-7043(2016)12-1722-06
趙春暉,王鑫鵬,閆奕名.基于密度背景純化的高光譜異常檢測算法[J].哈爾濱工程大學學報,2016,37(12):1722-1727.
2015-11-28.
2016-09-28.
國家自然科學基金項目(61571145,61601135);黑龍江省自然科學基金項目(ZD201216);哈爾濱市優(yōu)秀學科帶頭人基金項目(RC2013XK0 09003);中央高校基本科研業(yè)務費專項基金項目(GK2080260139).
趙春暉(1965-),男,教授,博士生導師.
趙春暉,E-mail:zhaochunhui@hrbeu.edu.cn.
ZHAO Chunhui,WANG Xinpeng,YAN Yiming.Density background refinement-based anomaly detection algorithm for hyperspectral images[J].Journal of Harbin Engineering University,2016,37(12):1722-1727.