基于集成學(xué)習(xí)約束能量最小化的高光譜目標(biāo)檢測算法研究

張 寧，趙 睿，白 郁，鄒征夏，朱新忠，史振威

(1. 上海航天電子技術(shù)研究所，上海 201109；2. 北京航空航天大學(xué) 宇航學(xué)院，北京 100191)

0 引言

高光譜圖像目標(biāo)檢測是圖像處理領(lǐng)域的研究熱點(diǎn)。高光譜圖像不僅包含了物體的空間信息，而且包含了物體豐富的光譜信息，其中的每個像素都包含一個近似連續(xù)的光譜曲線，因此高光譜圖像數(shù)據(jù)可視為三維數(shù)據(jù)[1-3]。高光譜圖像光譜分辨率較高，可以通過光譜特性區(qū)分不同地物的材質(zhì)，解決許多利用全色圖像、多光譜圖像不能解決的問題，例如識別軍事偽裝、地下工事，進(jìn)行資源探測，環(huán)境監(jiān)測等，因此高光譜圖像目標(biāo)檢測在軍事和民用方面都有重要的應(yīng)用價值[4-8]。

高光譜圖像目標(biāo)檢測常見的算法有光譜角度匹配(SAM)算法[4-9]，光譜信息散度(SID)算法[10]，約束能量最小化(CEM)算法[11-12]，匹配濾波器(MF)[13-14]，自適應(yīng)一致性/余弦估計(jì)器(ACE)[15-16]?，F(xiàn)有的算法構(gòu)造的檢測器大多通過約束最小二乘法或基于高斯分布先驗(yàn)下的假設(shè)檢驗(yàn)算法獲得，所得的檢測器大多數(shù)為線性算子(如CEM/MF)或二次算子(ACE)。然而，真實(shí)環(huán)境中捕獲的高光譜數(shù)據(jù)通常受成像噪聲、大氣湍流、光譜混合等效應(yīng)的影響，通常表現(xiàn)出很強(qiáng)的非線性分布特性，在光譜空間中不滿足高斯分布先驗(yàn)。這種情況下線性算子或二次算子通常難以獲得滿意的檢測效果。雖然在高光譜目標(biāo)檢測領(lǐng)域有一些學(xué)者將高光譜數(shù)據(jù)點(diǎn)通過核方法映射到高維或無窮維空間，以獲得較強(qiáng)的非線性表達(dá)能力，如核CEM(Kernel CEM)、核ACE(Kernel ACE)等[17-18]，但核方法本身極易受到核函數(shù)參數(shù)選擇而表現(xiàn)出性能不穩(wěn)定的現(xiàn)象。從統(tǒng)計(jì)機(jī)器學(xué)習(xí)理論來講，算法的表達(dá)能力和泛化能力是制約算法精度和穩(wěn)定性的兩個重要因素，對于傳統(tǒng)算法，例如CEM、MF、ACE，其泛化能力較強(qiáng)而表達(dá)能力相對較弱，難以描述非線性分布下的光譜數(shù)據(jù)，而它們的核化形式則具有很強(qiáng)的表達(dá)能力和較弱的泛化性能。通常，設(shè)計(jì)高光譜目標(biāo)算法的關(guān)鍵在于算法表達(dá)能力和泛化能力之間的權(quán)衡。

集成學(xué)習(xí)算法是機(jī)器學(xué)習(xí)中的一類重要方法，其思想在于采用多個弱決策器的集成來對其表達(dá)能力和泛化能力進(jìn)行提升[19]。集成學(xué)習(xí)中有兩類重要思想，一類叫做Boosting，其作用在于保持弱決策器泛化性能不變的同時對其表達(dá)能力進(jìn)行提升，典型算法為Adaboost算法；另一類叫做Model Combination思想，其在保證弱決策器具有較強(qiáng)表達(dá)能力的同時對其泛化性能進(jìn)行提升，典型算法為Bagging。因此，能夠利用集成學(xué)習(xí)中的Model Combination的思想，對現(xiàn)有的高光譜目標(biāo)檢測算法進(jìn)行改進(jìn)，使其具有較強(qiáng)非線性光譜表達(dá)能力，并提升其穩(wěn)定性和穩(wěn)健性?；诖?，本文提出了一種新的高光譜目標(biāo)檢測算法：集成學(xué)習(xí)約束能量最小化算法(E-CEM)。該算法通過有放回抽取高光譜圖像中的像元向量組成多個新的樣本集，并利用每一樣本集合構(gòu)建獨(dú)立的檢測器，最終將得到的多個檢測器對感興趣目標(biāo)在原高光譜圖像中進(jìn)行檢測。在仿真高光譜圖像及真實(shí)高光譜圖像上的實(shí)驗(yàn)結(jié)果表明：改進(jìn)算法性能得到了明顯的提升。在高光譜目標(biāo)檢測領(lǐng)域中, 采用集成學(xué)習(xí)思想和軟投票的方法尚未見有公開發(fā)表,本文在該方向進(jìn)行了一些探索。

1 CEM算法

CEM在本質(zhì)上是一個無限沖擊響應(yīng)濾波器。其濾波器的系數(shù)就是投影向量。CEM通過在對先驗(yàn)?zāi)繕?biāo)光譜的輸出為定值的約束下最小化輸出能量來尋找最佳投影向量。這樣CEM就將目標(biāo)檢測問題轉(zhuǎn)化為一個有約束優(yōu)化問題，通過求解優(yōu)化問題就可以求出最佳投影向量，繼而完成目標(biāo)檢測。CEM的本質(zhì)是在保證目標(biāo)像素的輸出較大的情況下，壓制背景像素的輸出，從而在投影空間將目標(biāo)像素和背景像素有效地分開。

記高光譜圖像中的所有像元組成的矩陣S=[r1,r2,…，rN]∈L×N，其中ri=[(ri)1,(ri)2,…，(ri)L]∈L×1為任一像元向量，N為像元的個數(shù)，L為圖像的波段數(shù)。假設(shè)d∈L×1是所感興趣的目標(biāo)光譜向量，CEM算法的初衷是設(shè)計(jì)一個最優(yōu)的有限沖擊響應(yīng)(FIR)濾波器ωCEM∈L×1，使得經(jīng)該濾波器后，目標(biāo)輸出保持一定的幅值，而背景輸出被抑制。具體地，對于每個像素r，經(jīng)過濾波后輸出的平均“能量”可由所有像素的輸出值的平方和得到

E{y2}=E{(ωTr)2}=ωTRω

(1)

(2)

上述最優(yōu)化問題的意義是：在保證對目標(biāo)光譜的輸出一定的情況下，最小化輸出能量，這樣絕大部分背景像素的輸出就會被抑制，目標(biāo)和背景在輸出中就能被分開，從而檢測出目標(biāo)。該優(yōu)化問題的本質(zhì)其實(shí)是一個約束最小二乘問題，是一個凸優(yōu)化問題，而且具有封閉解。其封閉解[19]如下

(3)

2 基于集成學(xué)習(xí)約束能量最小化的高光譜目標(biāo)檢測

CEM算法是線性檢測算法，然而，真實(shí)環(huán)境中通常表現(xiàn)出很強(qiáng)的非線性分布特性，因此常常難以獲得滿意的檢測效果。為了獲得比CEM算法更強(qiáng)的非線性表達(dá)能力和更強(qiáng)的泛化性能，本節(jié)介紹基于集成學(xué)習(xí)約束能量最小化的高光譜目標(biāo)檢測。本文采用CEM的改進(jìn)算法——二次約束能量極小化算法[20](QCEM)作為本文的基準(zhǔn)算法。QCEM算法的目的同樣是設(shè)計(jì)一個最優(yōu)的有限沖擊響應(yīng)濾波器G=diag(g1,g2,…，gL)∈L×L、ω∈L×1，當(dāng)輸入為rj時濾波器的輸出yi可表示為

yi=(rj)TGrj+ωTrj

(4)

與CEM算法類似，QCEM算法在極小化能量的期望的同時，強(qiáng)制使得目標(biāo)光譜的輸出保持恒定值

(5)

式中：β為正則化項(xiàng)系數(shù);G為二次項(xiàng)系數(shù)矩陣。G，ω可由以下封閉解得到[20]

(6)

式中：r=[r1,…,rL,(r1)2,…,(rL)2]T∈2L×1，d=[d1,…,dL,(d1)2,…,(dL)2]T∈2L×1。

在QCEM的基礎(chǔ)上，本文沿用了集成學(xué)習(xí)中Bagging的主要思想，并加以改進(jìn)，以適應(yīng)高光譜目標(biāo)檢測這一特殊問題。Bagging基于自主采樣法，它的基本流程是：給定包含m個樣本的數(shù)據(jù)集，從中有放回抽取m個樣本，重復(fù)以上操作T次，得到T輪、每輪含有m個訓(xùn)練樣本的采樣集，然后基于每一個采樣集訓(xùn)練出一個基檢測器，再將這些檢測器進(jìn)行結(jié)合。在對預(yù)測輸出進(jìn)行結(jié)合時，Bagging通常對分類任務(wù)可以使用簡單平均法或者投票法。由此證明，利用Bagging算法，在檢測器彼此獨(dú)立的前提假設(shè)下，檢測器總輸出的泛化誤差可以隨基檢測器的數(shù)量增多而降低[19]。

具體地，在所提出的算法中，首先假設(shè)高光譜數(shù)據(jù)中的所有光譜樣本構(gòu)成一個完整的數(shù)據(jù)集D，在采樣過程中從數(shù)據(jù)集有放回抽取N個樣本，重復(fù)以上操作T次，可得到T個含有N個訓(xùn)練樣本的采樣集DT={D1,D2,…,DT}，其中Dt={(rt)1,(rt)2,…,(rt)N}為任一采樣集。對于每一采樣集Dt，利用上述QCEM算法可得到一個目標(biāo)檢測算子Ft(·)，利用該檢測算子，像素r的檢測輸出可以表示為ht=Ft(r)。

為了使該算法避免受到光譜變化等不利因素的影響，在設(shè)計(jì)集成策略時，本文采用了“軟投票”的思路：為不同的待測光譜賦予不同的加權(quán)值，并重點(diǎn)考察與目標(biāo)光譜相似度較高的光譜數(shù)據(jù)。具體地，計(jì)算數(shù)據(jù)集中各像元向量r與感興趣目標(biāo)d之間的夾角余弦，并將其作為Bagging投票時的權(quán)重,即

(7)

若像元r與感興趣目標(biāo)d越相似，則兩向量的夾角余弦φ越大，故投票時權(quán)重越高。

最后將所有輪采樣構(gòu)建的QCEM算子檢測得到的結(jié)果以φ作為權(quán)重進(jìn)行軟投票，得到最終集成T個QCEM檢測器的檢測結(jié)果。算法描述如下：

基于集成學(xué)習(xí)約束能量最小化算法輸入:像元矩陣S=[r1,r2,…,rN],感興趣目標(biāo)光譜d,采樣輪數(shù)Tfort=1,2,…,T,dor^=[r1,r2,…,rL,(r1)2,…,(rL)2]T∈?2L×1,d^=[d1,d2,…,dL,(d1)2,…,(dL)2]T∈?2L×1,有放回采樣得到樣本集:Dt={(rt)1,(rt)2,…,(rt)N},基于d和Dt構(gòu)建QCEM檢測器Ft(·),hit=Ft(ri),(第t輪采樣構(gòu)成的檢測器對于第i個樣本的輸出)?i=(ri)Td/(‖d‖22‖r‖22)1/2.(第i個樣本的軟投票權(quán)重)endfor輸出:yi=1T∑Tt=1?ihit.

3 實(shí)驗(yàn)結(jié)果及分析

3.1 仿真高光譜圖像實(shí)驗(yàn)

首先使用仿真高光譜圖像[3]來對本文所提出的算法進(jìn)行測試。仿真高光譜圖像由美國地質(zhì)調(diào)查局(USGS)數(shù)字光譜庫[4]中選擇15種物質(zhì)的光譜生成，在此基礎(chǔ)上分別加入信噪比(SNR)為20 dB，25 dB，30 dB的高斯白噪聲以測試算法對噪聲的穩(wěn)健性。USGS光譜數(shù)據(jù)共有224個波段，光譜范圍是0.4～2.5 μm。本文還將5種經(jīng)典的高光譜目標(biāo)檢測算法進(jìn)行了比較，這5種算法分別是：CEM[11-12]、SAM[4-9]、MF[13-14]、ACE[15-16]、SID[10]。

從數(shù)據(jù)的生成過程可以看出在仿真高光譜圖像中沒有純像素的存在，所有的像素都為混合像素。圖1(a)顯示了仿真高光譜圖像的第1波段。本文用這個仿真高光譜圖像來檢測其中一種目標(biāo)，目標(biāo)的真實(shí)分布(Ground-Truth)如圖1(b)所示。圖2顯示了各種算法的檢測輸出，在圖2中輸出值歸一化到了0～1。

圖1 像素圖Fig.1 Pixel figure

圖2 各種算法的檢測輸出Fig.2 Detection output of various algorithms

為了定量地評價算法，使用接收機(jī)操作特性(ROC)曲線評價檢測結(jié)果。ROC曲線能夠描述虛警率(Fa)和檢測率(Pd)的變化關(guān)系。Fa和Pd的定義如下

(8)

式中：Nf表示虛警的像素數(shù)，即真實(shí)的背景像素被檢測為目標(biāo)像素的個數(shù)；Nc表示正確檢測到的目標(biāo)像素的個數(shù)；N表示高光譜圖像的像素數(shù)；Nt表示真實(shí)的目標(biāo)像素的個數(shù)。在相同的虛警率的條件下，檢測率越高，算法的性能越好。

圖3給出了各種算法的ROC曲線。ROC 曲線及圖2中的檢測輸出都表明E-CEM算法取得了較好的檢測結(jié)果。此外，本文還進(jìn)一步將ROC曲線下的面積(AUC)作為另一個定量評價指標(biāo)。AUC數(shù)值越大，算法的檢測性能就越好。表1給出了各種算法在不同信噪比情況下的AUC數(shù)值。在仿真高光譜圖像中，沒有純像素的存在，目標(biāo)像素光譜的變化主要是由混合像素導(dǎo)致的，實(shí)驗(yàn)結(jié)果表明提出的算法對由混合像素引起的目標(biāo)光譜變化具有一定的穩(wěn)健性，取得了較好的檢測結(jié)果。

圖3 仿真高光譜圖像實(shí)驗(yàn)各種算法的ROC曲線Fig.3 ROC curves of different algorithms on the simulated hyperspectral image experiment

信噪比CEMSAMMFACESIDE-CEM200.96590.56210.96500.36880.58330.9995250.98150.80720.99160.39540.81301.0000300.99520.97070.99980.59100.97501.0000

3.2 真實(shí)高光譜圖像實(shí)驗(yàn)

在本實(shí)驗(yàn)中使用機(jī)載可視/紅外成像光譜儀(AVIRIS)采集的圖像進(jìn)行目標(biāo)檢測實(shí)驗(yàn)，圖像的采集地點(diǎn)是美國圣地亞哥的一個機(jī)場。AVIRIS數(shù)據(jù)共有224個波段，波段范圍是0.4～2.5 μm。在去除水汽吸收的波段和低信噪比波段后，實(shí)驗(yàn)中實(shí)際使用的數(shù)據(jù)共有189個波段，圖像大小為200 pixel×200 pixel。圖4(a)顯示了實(shí)驗(yàn)用真實(shí)高光譜圖像的第1波段圖像，圖4(b)顯示了檢測圖像中飛機(jī)目標(biāo)的位置。圖5顯示了各種算法的檢測輸出(輸出值被歸一化到0～1)。為了進(jìn)一步定量地評價各種算法的檢測結(jié)果，圖6給出了各種算法的ROC曲線，ROC曲線表明E-CEM算法優(yōu)于CEM算法以及其他改進(jìn)算法。表2給出了各種算法在該數(shù)據(jù)上的AUC數(shù)值。

圖4 采集的機(jī)場圖像Fig.4 Captured airport images

3.3 參數(shù)實(shí)驗(yàn)

為了驗(yàn)證E-CEM算法中參數(shù)的穩(wěn)定性，本實(shí)驗(yàn)對其中兩個重要的參數(shù)“采樣集中的樣本像元個數(shù)”“采樣輪數(shù)”進(jìn)行了實(shí)驗(yàn)。使用的數(shù)據(jù)為AVIRIS高光譜圖像，圖7顯示了參數(shù)實(shí)驗(yàn)的結(jié)果，其中x軸為采樣集中的樣本像元個數(shù)mSamples，y軸為采樣輪數(shù)esbTimes，z軸為E-CEM算法對應(yīng)的AUC分值。參數(shù)實(shí)驗(yàn)表明:當(dāng)mSamples及esbTimes較小時，改進(jìn)算法檢測結(jié)果較差，性能不夠穩(wěn)定，但當(dāng)兩者逐漸增大時，改進(jìn)算法的性能逐漸提升最終趨于穩(wěn)定?？紤]到計(jì)算精度與計(jì)算復(fù)雜度的平衡，最終在實(shí)驗(yàn)中的參數(shù)設(shè)置為mSamples：1 000，esbTimes：40。

圖6 真實(shí)高光譜圖像實(shí)驗(yàn)各種算法的ROC曲線Fig.6 ROC curves of different algorithms of the real hyperspectral image experiment

算法CEMSAMMFACESIDE-CEMAUC0.99260.98610.99180.93510.98580.9982

圖7 參數(shù)實(shí)驗(yàn)結(jié)果Fig.7 Result of the parameter experiment

4 結(jié)束語

本文提出了一種基于集成學(xué)習(xí)約束能力極小化的高光譜圖像目標(biāo)檢測改進(jìn)算法。通過在仿真高光譜圖像與真實(shí)高光譜圖像中的實(shí)驗(yàn)，驗(yàn)證算法在具有較強(qiáng)光譜非線性表達(dá)能力的同時具有較高的穩(wěn)健性，一定程度地解決了在復(fù)雜環(huán)境光譜變化條件下高光譜檢測的精度和穩(wěn)定性問題。后續(xù)，本文將把集成學(xué)習(xí)思想和軟投票等技術(shù)應(yīng)用于高光譜目標(biāo)檢測領(lǐng)域，并將其泛化性能進(jìn)行提升。

[1] MANOLAKIS D, MARDEN D, SHAW G A. Hyperspectral image processing for automatic target detection applications[J]. Lincoln Laboratory Journal, 2003, 14(1): 79-116.

[2] SHAW G A，BURKE H K. Spectral imaging for remote sensing[J]. Lincoln Laboratory Journal, 2003, 14(1): 3-28.

[3] SHI Z W, QIN Z, YANG S, et al. Spatial multiple materials detection in hyperspectral imagery[C]∥3rd International Conference on Awareness Science and Technology. Dalian: [s.n.], 2011: 76-80.

[4] WINTER E M, MILLER M A, SIMI C G, et al. Mine detection experiments using hyperspectral sensors[J]. Proc SPIE, 2004, 5415: 1035-1041.

[5] DIPIETRO R S, TRUSLOW E, MANOLAKIS D G, et al. False-alarm characterization in hyperspectral gas-detection applications[J]. Proc SPIE, 2012, 8515: 85150I.

[6] KRUSE F A, LEFKOFF A B, BOARDMAN J W, et al. The spectral image processing system (SIPS)—interactive visualization and analysis of imaging spectrometer data[J]. Remote sensing of environment, 1993, 44(2-3): 145-163.

[7] CHANG C I. An information-theoretic approach to spectral variability, similarity, and discrimination for hyperspectral image analysis[J]. IEEE Transactions on Information Theory, 2000, 46(5): 1927-1932.

[8] FARRAND W H, HARSANYI J C. Mapping the distribution of mine tailings in the Coeur d'Alene River Valley, Idaho, through the use of a constrained energy minimization technique[J]. Remote Sensing of Environment, 1997, 59(1): 64-76.

[9] HARSANYI J C. Detection and classification of subpixel spectral signatures in hyperspectral image sequences[D]. Baltimore: University of Maryland Baltimore County, 1993.

[10] KAY S M. Fundamentals of statistical signal processing[M]. New Jersey: Prentice Hall, 1998.

[11] MANOLAKIS D G, INGLE V K, KOGON S M. Statistical and adaptive signal processing: spectral estimation, signal modeling, adaptive filtering and array processing[M]. Boston: McGraw-Hill, 2000.

[12] KRAUT S, SCHARF L L. The CFAR adaptive subspace detector is a scale-invariant GLRT[J]. IEEE Transactions on Signal Processing, 1999, 47(9): 2538-2541.

[13] KRAUT S, SCHARF L L, MCWHORTER L T. Adaptive subspace detectors[J]. IEEE Transactions on Signal Processing, 2001, 49(1): 1-16.

[14] KWON H, NASRABADI N M. Hyperspectral target recognition using kernel spectral matched filter[C]∥Conference on Computer Vision and Pattern Recognition Workshops. Washington: [s.n.], 2004: 425-430.

[15] JIAO X L, CHANG C I. Kernel-based constrained energy minimization (K-CEM)[J]. Proc SPIE, 2008, 6966: 69661S.

[16] ZOU Z X, SHI Z W, WU J, et al. Quadratic constrained energy minimization for hyperspectral target detec-tion[C]∥Geoscience and Remote Sensing Symposium (IGARSS). Milan: [s.n.], 2015: 4979-4982.