高光譜圖像序列中的運(yùn)動(dòng)弱小目標(biāo)檢測(cè)*

王津申，李 陽，王清峰，鮮 寧

(1.北京航空航天大學(xué) 宇航學(xué)院·北京·100083； 2.上海航天控制技術(shù)研究所·上?！?01109；3.北京航空航天大學(xué) 科學(xué)技術(shù)研究院·北京·100083)

0 引 言

近年來，人工智能在航天器控制領(lǐng)域得到了廣泛的應(yīng)用[1]，其中使用人工智能處理遙感圖像已成為一種非常常見的方法。弱小運(yùn)動(dòng)目標(biāo)檢測(cè)在軍事和民用領(lǐng)域中的應(yīng)用得到了研究人員的廣泛關(guān)注。在遙感圖像的軍事應(yīng)用中，目標(biāo)雖然弱小，但對(duì)感興趣的目標(biāo)進(jìn)行檢測(cè)和跟蹤是必要的。然而，由于復(fù)雜的背景、噪聲雜波和長(zhǎng)距離傳輸后的信號(hào)衰減等原因，感興趣的目標(biāo)的信噪比往往很低。基于以上原因，我們很難從單一寬波段紅外圖像序列中獲得足夠清晰的運(yùn)動(dòng)目標(biāo)的檢測(cè)結(jié)果[2]。

隨著高光譜傳感器的發(fā)展，高光譜圖像已經(jīng)被應(yīng)用于處理許多經(jīng)典的圖像問題。高光譜傳感器能夠同時(shí)在空間域和頻譜域獲取高分辨率信息，這是高光譜傳感器相對(duì)于單一寬波段紅外傳感器的重要優(yōu)勢(shì)。高光譜圖像在目標(biāo)檢測(cè)領(lǐng)域已經(jīng)取得了大量的研究成果。目標(biāo)檢測(cè)的任務(wù)是在高光譜數(shù)據(jù)立方體的像素中搜索特定目標(biāo)，該目標(biāo)的大小往往只有幾個(gè)像素，在背景雜波中僅占據(jù)了搜索區(qū)域很小的一部分。在給定一個(gè)統(tǒng)計(jì)模型的情況下，大多數(shù)經(jīng)典算法均是使用Niemann-Pearson準(zhǔn)則來解決檢測(cè)問題，并在這一過程中使用廣義似然比檢驗(yàn)(Generalized Likelihood Ratio Test, GLRT)來推導(dǎo)檢驗(yàn)的統(tǒng)計(jì)量。在某些情況下，產(chǎn)生的誤報(bào)概率不依賴于任何未知參數(shù)。該特性通常被稱為恒虛警率(Constant False Alarm Rate, CFAR)，其在自動(dòng)目標(biāo)檢測(cè)系統(tǒng)中非常重要。

在已知目標(biāo)光譜特征的前提下，一種匹配濾波算法通過計(jì)算潛在目標(biāo)的最高信噪比來檢測(cè)目標(biāo)[3]。然而，它不適用于目標(biāo)光譜特征未知的情況。另一種常見的檢測(cè)方法被稱為異常檢測(cè)[4]，它可以在沒有先驗(yàn)知識(shí)的情況下檢測(cè)出與其背景環(huán)境在光譜上顯著不同的部分。由Reed和Xiao li提出的RX算法[5]被認(rèn)為是高光譜圖像異常檢測(cè)算法的基準(zhǔn)。目前，大多數(shù)高光譜檢測(cè)算法都側(cè)重于使用單幀圖像，主要利用圖像的光譜信息檢測(cè)感興趣的目標(biāo)。然而，為了檢測(cè)雜波背景下的低信噪比運(yùn)動(dòng)目標(biāo)，單純的光譜信息是不夠的，時(shí)間信息是通過降低背景雜波來提高低信噪比、增強(qiáng)運(yùn)動(dòng)目標(biāo)檢測(cè)性能的關(guān)鍵。

本文提出了一種基于空時(shí)聯(lián)合異常檢測(cè)的高光譜圖像弱小運(yùn)動(dòng)目標(biāo)的檢測(cè)方法。首先，利用經(jīng)典的異常檢測(cè)方法計(jì)算空間異常圖，即利用RX算法[5]提取高光譜圖像中的空間異常信息；然后，根據(jù)圖像序列中相鄰幀背景相似的特性，計(jì)算時(shí)域異常圖。此外，根據(jù)目標(biāo)在圖像序列中的運(yùn)動(dòng)一致性，計(jì)算軌跡預(yù)測(cè)圖；最后，將上述的空間異常圖、時(shí)域異常圖和軌跡預(yù)測(cè)圖進(jìn)行融合，得到目標(biāo)的最終檢測(cè)圖。

1 高光譜圖像

高光譜圖像包含幾十個(gè)光譜波段，如可見光波段(0.39μm ～0.7μm)、中波紅外輻射(MWIR：3μm～5μm)和長(zhǎng)波紅外輻射(LWIR：8μm～12μm)。本文中使用的高光譜圖像序列是通過高光譜相機(jī)拍攝而得的。該相機(jī)包含可見光和短波紅外光，光譜范圍為0.68μm ～0.96μm，相鄰光譜間的間隔約為10nm[6]。由高光譜傳感器生成的圖像被稱為高光譜數(shù)據(jù)立方體，每個(gè)立方體包含25個(gè)波段，由高光譜相機(jī)在整個(gè)光譜范圍內(nèi)生成25幅圖像，如圖1所示。

圖1 高光譜數(shù)據(jù)立方體的生成過程Fig.1 The generation process of hyperspectral image cube

高光譜傳感器產(chǎn)生的高光譜圖像數(shù)據(jù)量通常是普通紅外圖像的幾倍，這對(duì)圖像分析系統(tǒng)在圖像傳輸、存儲(chǔ)和計(jì)算等方面的能力提出了挑戰(zhàn)。為了解決這些問題，必須對(duì)高光譜圖像進(jìn)行降維處理，以減少數(shù)據(jù)量。在本文中，使用主成分分析(Prin-cipal Component Analysis, PCA)[7]法來減少高光譜數(shù)據(jù)的維數(shù)。在高光譜圖像處理過程中，PCA不僅可以降低圖像數(shù)據(jù)的維數(shù)，而且可以對(duì)圖像進(jìn)行簡(jiǎn)單的降噪處理。此外，PCA可將原始圖像信息按照協(xié)方差矩陣的特征值大小依次排列，即大特征值所對(duì)應(yīng)的前面幾個(gè)分量包含了絕大部分有意義的圖像信息數(shù)據(jù)。因此，PCA的前面幾個(gè)分量可被看作是原始高光譜圖像數(shù)據(jù)的特征。

假設(shè)每個(gè)輸入的高光譜數(shù)據(jù)立方體由L個(gè)波段組成，且高光譜圖像的每個(gè)波段Ii(i=1,2,…,L)具有相同的大小(m×n)，那么整個(gè)高光譜立方體可以表示為I=[I1,I2,…,IL]，其尺寸為m×n×L。PCA的目的是將數(shù)據(jù)立方體的波段數(shù)由L降至k，并生成1個(gè)特征矩陣PC(x,y,k)，其尺寸為m×n×k，如圖2所示。其中，(x,y)指高光譜圖像中像素點(diǎn)的坐標(biāo)。在經(jīng)PCA處理之后，每個(gè)像素(x,y)都有1個(gè)1×k的特征向量V。

圖2 高光譜數(shù)據(jù)立方體的PCA降維過程Fig.2 The PCA process of hyperspectral image cube

2 弱小運(yùn)動(dòng)目標(biāo)檢測(cè)

本節(jié)介紹了一種新的空時(shí)聯(lián)合異常檢測(cè)方法。本方法首先分別計(jì)算出了空間異常圖、時(shí)間異常圖和軌跡預(yù)測(cè)圖。然后，將這3張圖進(jìn)行融合，生成最終的空時(shí)聯(lián)合異常圖。最后，計(jì)算自適應(yīng)閾值，并根據(jù)自適應(yīng)閾值將目標(biāo)從背景雜波和噪聲雜波中分割出來。

2.1 算法總體流程

本文提出的空時(shí)聯(lián)合異常檢測(cè)方法的總體架構(gòu)如圖3所示。在圖3中，PC(x,y,k,t)、S(x,y,t)、T(x,y,t)、P(x,y,t)、STP(x,y,t)分別表示原高光譜數(shù)據(jù)立方體的主成分、空間異常圖、時(shí)域異常圖、軌跡預(yù)測(cè)圖、空時(shí)聯(lián)合異常圖，如圖3所示。該方法通過遞歸的方式達(dá)到了目標(biāo)檢測(cè)的目的。

解 如圖9所示，將點(diǎn)P受到的5 cm/s的速度用平行四邊形法則可分解為向左3 cm/s，向下4 cm/s，而Q有向上4 cm/s的速度.因?yàn)镸為PQ的中點(diǎn)，所以考慮豎直方向，受到P，Q兩個(gè)相反方向且相等速度量的影響，M并不會(huì)產(chǎn)生上下移動(dòng)；考慮水平方向，點(diǎn)M有向左1.5 cm/s的速度，所以點(diǎn)M的軌跡為一條線段，起點(diǎn)終點(diǎn)分別為BC，BA的中點(diǎn).所以點(diǎn)M運(yùn)動(dòng)路徑為3 cm.

圖3 空時(shí)聯(lián)合異常檢測(cè)方法的流程Fig.3 The work flow of the proposed spatio-temporal anomaly approach

2.2 空間異常圖

空間異常圖適用于空間奇異性的特征挖掘。由于沒有先驗(yàn)知識(shí)，對(duì)目標(biāo)的檢測(cè)是通過尋找與周圍背景有很大不同的像素而實(shí)現(xiàn)的。RX算法就是其中一種常見的異常檢測(cè)算法。RX算法可以表示為

(1)

本方法采用RX算法計(jì)算空間異常圖，尋找空間域上的異常像素?？臻g異常圖S(x,y,t)可被表示為

(2)

式中，Vt為檢測(cè)像素的特征向量，μt為PC(x,y,k,t)的特征向量均值，Φt為PC(x,y,k,t)的自協(xié)方差。

2.3 時(shí)域異常圖

時(shí)域異常圖適用于時(shí)間域奇異性的特征挖掘。假設(shè)前一幀的背景樣本在當(dāng)前幀中保持不變，從而建立非常準(zhǔn)確的時(shí)域背景估計(jì)。類似于空間異常圖，時(shí)域異常圖可被表示為

(3)

式中，Vt+1為檢測(cè)像素的特征向量，μt+1為PC(x,y,k,t+1)的特征向量均值。

2.4 軌跡預(yù)測(cè)圖

為了檢測(cè)目標(biāo)在圖像序列中的運(yùn)動(dòng)特征[8]，可引入軌跡預(yù)測(cè)圖，從而更好地提高檢測(cè)率并降低虛警率。軌跡預(yù)測(cè)圖可表示為

(4)

式中，STP(x,y,t-1)為上一幀的空時(shí)聯(lián)合異常檢測(cè)圖，ζ為計(jì)算窗口的大小。

2.5 圖像融合過程

為了綜合利用高光譜圖像序列中的空間特征、時(shí)域特征和目標(biāo)的運(yùn)動(dòng)特征，可將上述空間異常圖、時(shí)域異常圖和軌跡預(yù)測(cè)圖融合。首先將空間異常圖與時(shí)間異常圖進(jìn)行融合

ST(x,y,t)=N(S(x,y,t))N(T(x,y,t))

(5)

式中，N(·)為min-max歸一化運(yùn)算，ST(x,y,t)為空時(shí)聯(lián)合特性。

然后，進(jìn)一步融合軌跡預(yù)測(cè)圖，最終的空時(shí)異常圖可表示為

STP(x,y,t)=N(ST(x,y,t)+C)·
N(P(x,y,t)+C)

(6)

式中，N(·)為min-max歸一化運(yùn)算，C為非零常數(shù)。在本文中，該常數(shù)被設(shè)置為1×10-8。設(shè)置常數(shù)C的目的是保證融合過程中的每個(gè)元素都是非零的。

2.6 自適應(yīng)閾值

最終的空時(shí)異常圖STP(x,y,t)表明了弱小運(yùn)動(dòng)目標(biāo)與復(fù)雜背景之間的內(nèi)在差異。為了使信雜比最大化，設(shè)置自適應(yīng)閾值[9]如下

Th=μSTP+kσSTP

(7)

式中，μSTP為空時(shí)聯(lián)合異常圖STP(x,y,t)的均值，σSTP為空時(shí)聯(lián)合異常圖STP(x,y,t)的方差，k為經(jīng)驗(yàn)常數(shù)，在不同的高光譜圖像數(shù)據(jù)集中可設(shè)置為不同的值，在本文的后續(xù)實(shí)驗(yàn)中被設(shè)置為10。

3 實(shí)驗(yàn)結(jié)果

為了檢驗(yàn)所提出的弱小運(yùn)動(dòng)目標(biāo)檢測(cè)方法的性能，本文使用了一個(gè)高光譜圖像序列數(shù)據(jù)集。該數(shù)據(jù)集中的待檢測(cè)目標(biāo)為云背景下的飛機(jī)目標(biāo)，包括3段高光譜圖像序列、總計(jì)超過2000幀的高光譜圖像，如圖4所示。由于目標(biāo)尺寸較小，很難區(qū)分感興趣的目標(biāo)，此外，云背景和隨機(jī)噪聲雜波也增加了目標(biāo)檢測(cè)的難度。

(a)高光譜圖像中的一個(gè)波段

(b)該波段三維映射圖4 測(cè)試數(shù)據(jù)集示意圖Fig.4 An illustration of the dataset

圖5 本文提出的空時(shí)聯(lián)合異常檢測(cè)方法的實(shí)驗(yàn)結(jié)果Fig.5 The visual results of the proposed spatio-temporal anomaly approach

在實(shí)驗(yàn)中，從原始高光譜圖像序列中依次選取關(guān)鍵幀，并對(duì)關(guān)鍵幀中的運(yùn)動(dòng)目標(biāo)進(jìn)行精確的標(biāo)注，以便進(jìn)行定量評(píng)價(jià)。在實(shí)驗(yàn)中，PCA將圖像維度降至4維，RX算法的窗口尺寸分別設(shè)置為10。首先，驗(yàn)證了該方法的有效性。在上述參數(shù)設(shè)置下，對(duì)上述數(shù)據(jù)集中的所有序列進(jìn)行了測(cè)試，實(shí)驗(yàn)結(jié)果如圖5所示。在測(cè)試序列的第1幀，軌跡預(yù)測(cè)圖中的每一個(gè)像素均被初始化為1，如圖5所示。經(jīng)過幾輪迭代計(jì)算之后，空時(shí)聯(lián)合異常圖STP(x,y,t)即可準(zhǔn)確檢測(cè)出感興趣的目標(biāo)。然后，對(duì)本文中的方法的檢測(cè)率進(jìn)行了定量分析，繪制了ROC(Receiver Operating Characteristic)曲線，結(jié)果如圖6所示。ROC曲線是根據(jù)不同的閾值,以檢測(cè)率為縱坐標(biāo)、以虛警率為橫坐標(biāo)繪制的曲線。ROC曲線與橫坐標(biāo)軸圍成的區(qū)域的面積越大，目標(biāo)的識(shí)別效果越好。圖6(a)顯示了空間異常圖、時(shí)域異常圖與空時(shí)聯(lián)合異常圖的ROC曲線。圖6表明，通過聯(lián)合利用高光譜圖像的空間特性和時(shí)間特性，可以顯著提高檢測(cè)率。圖6(b)顯示了不同PCA降維維數(shù)下的ROC曲線。圖6表明，增加PCA的維數(shù)可以提升檢測(cè)準(zhǔn)確率。

(a)空間異常圖、時(shí)域異常圖與空時(shí)聯(lián)合異常圖的ROC曲線

(b)不同PCA降維維數(shù)下的ROC曲線圖6 本文提出的空時(shí)聯(lián)合異常檢測(cè)方法的定量分析Fig.6 The quantitative analysis of the proposed spatio-temporal anomaly approach

4 結(jié) 論

本文研究了基于高光譜圖像序列的目標(biāo)檢測(cè)問題，提出了一種新的高光譜圖像序列空時(shí)異常處理方法。該方法綜合考慮了高光譜圖像中的空間特征、時(shí)域特征和運(yùn)動(dòng)特征，通過計(jì)算空間異常圖、時(shí)間異常圖和軌跡預(yù)測(cè)圖，得到了目標(biāo)的檢測(cè)結(jié)果。實(shí)驗(yàn)結(jié)果表明，該方法具有良好的高光譜弱小運(yùn)動(dòng)目標(biāo)檢測(cè)性能。在今后的工作中，將繼續(xù)改進(jìn)算法，使其可以適應(yīng)更為復(fù)雜的背景。此外，還將嘗試將該方法擴(kuò)展到其他高光譜應(yīng)用領(lǐng)域，如目標(biāo)識(shí)別、目標(biāo)跟蹤等。