基于形態(tài)學和改進管道濾波的紅外小目標檢測

趙明晶，李偉,2，陶然，馬鵬閣，揭斐然

（1.北京理工大學 信息與電子學院，北京 100081；2.光電控制技術重點實驗室，北京 100081；3.鄭州航空工業(yè)管理學院 智能工程學院，河南，鄭州 450015；4.中國航空工業(yè)集團公司 洛陽電光設備研究所，河南，洛陽 100007）

與雷達和可見光傳感器相較而言，紅外傳感器具備其獨特的優(yōu)勢，并在眾多領域得到了廣泛應用，比如軍事領域中的預警系統(tǒng)、制導系統(tǒng)，民用領域中的醫(yī)學領域、海事領域[1?4]等.將目標進行及時檢測是后續(xù)任務(如目標識別、跟蹤、打擊等)順利開展的保證[5?7].因此，目標檢測作為關鍵的前端處理環(huán)節(jié)，在很大程度上能夠決定現(xiàn)代戰(zhàn)爭是否取得勝利.毫無疑問，紅外小目標檢測成為了近年來的研究熱點.

在紅外圖像的成像過程中，長遠距離的探測導致目標尺寸較小且缺乏細節(jié)紋理信息，且復雜多變的背景極易將目標淹沒.以上因素都致使正確檢測紅外圖像中的弱小目標困難重重，直到現(xiàn)在仍然是一項具有挑戰(zhàn)性的任務[7].現(xiàn)有的紅外小目標檢測算法通常分為以下兩類：基于單幀圖像和基于序列圖像[4].前者通過提取每幀圖像的空間特征來判定目標存在與否，后者在考慮幀內(nèi)空間特征的同時也考慮了幀與幀之間的時間特征，確定最終檢測結果.

傳統(tǒng)的基于單幀圖像的檢測算法主要側重于背景估計，如頂帽變換(top-hat transformation, Top-hat)算法[8]，最大中值濾波器(max-mean filter, Max-mean)算法[9]，最大均值濾波器(max-median filter, Max-median)算法[9].這些算法雖然檢測效率很高，但是檢測結果中殘余雜波較多.受人類視覺系統(tǒng)對比機制的啟發(fā)，CHEN 等[10]開創(chuàng)性地設計了一種局部對比度測量(local contrast measure, LCM)算法.該算法通過提高背景和目標之間的對比度實現(xiàn)對目標顯著度的增強，但是在一定程度上也增強了背景且效率不高.后來，HAN 等[11]構思了一種加權增強局部對比度測量(weighted strengthened local contrast measure, WSLCM)算法，該算法能夠?qū)Ρ尘半s波進行抑制.CHEN 等[12]提出了一種快速自適應掩蔽和迭代分割縮放(fast adaptive masking and scaling with iterative segmentation,FAMSIS)算法，該算法效率較高.近些年，低秩稀疏分解理論被引入進來.GAO 等[13]將傳統(tǒng)的紅外圖像模型擴展為紅外圖像塊(infrared patch-image, IPI)模型.該模型將原始的紅外圖像分解為稀疏的目標圖像和低秩的背景圖像，但紅外圖像中較強的邊緣區(qū)域容易被誤檢測為目標.為了改進上述問題，DAI等[14]將IPI 模型推廣為重加權紅外圖像塊張量(reweighted infrared patch-tensor, RIPT)模型，ZHANG 等[15]提出了一種基于張量核范數(shù)部分和(partial sum of tensor nuclear norm, PSTNN)的非凸方法.

與基于單幀圖像的算法相比，基于序列圖像的算法由于能夠同時利用幀內(nèi)和幀間信息，通常會有更好的性能.傳統(tǒng)的基于序列圖像的算法包括各向異性擴散濾波(anisotropic diffusion filter)[16]、管道濾波(pipeline filter)[17]，三維匹配濾波(3D matched filter)[18]等.DENG 等[19]提出了一種時空局部對比度濾波器(spatial-temporal local contrast filter, STLCF)算法.該算法定義了新型空間局部對比度和時間局部對比度，但是對噪聲比較敏感.LI 等[20]設計了一種時空顯著度模型，該模型分別生成了空間顯著圖、時間顯著圖和軌跡預測圖，但由于對噪聲的抑制不強，目標可能會丟失.DU 等[21]設計了一種時空局部差異測量(spatial-temporal local difference measure, STLDM)算法，但在復雜環(huán)境下的檢測效果依然不夠理想.ZHANG等[22]構造了一種利用四元數(shù)離散余弦變換(quaternion discrete cosine transform, QDCT)的時空增強算法.四元數(shù)結合了時域的峰度特征、運動特征和空間域的可操縱濾波提取的兩個方向特征，但該算法對高強度背景噪聲的抑制效果較差.然后，ZHANG 等[23]提出了一種基于邊和角感知能力的時空張量(edge and corner awareness-based spatial–temporal tensor,ECA-STT)模型.在該模型中確定了邊像素和角像素在目標和背景之間的不同重要性，以此來達到增強目標并抑制背景的目的，但是結果中依然有雜波殘留.

然而現(xiàn)有的方法還有兩個亟待解決的問題.首先，小目標的特征沒有充分挖掘，導致目標容易淹沒在復雜的背景中.此外，目標的運動軌跡信息沒有充分利用，因此目標和孤立噪聲不易區(qū)分.針對上述問題，本文提出了一種結合多種形態(tài)學屬性和改進管道濾波的新方法.該方法首先對每幀紅外圖像構建最大樹，利用面積屬性、高度屬性和對角線屬性充分挖掘目標的典型特征，對背景進行抑制.然后，融合不同屬性特征提取的結果得到候選目標.接下來，通過改進的管道濾波進一步挖掘幀與幀之間的時間信息，利用目標運動的規(guī)律性和類目標噪聲的雜亂無章性對目標和噪聲加以區(qū)分，去除候選目標中的類目標噪聲，進一步抑制虛警，提高檢測效果.

1 問題的提出

由于長遠距離成像以及其他因素(如大氣散射/折射、光學散焦和各種噪聲)的影響，紅外圖像通常具有較低的信噪比和不充分的紋理/細節(jié)信息，且目標信號弱尺寸小，極其容易被復雜的背景掩蓋.現(xiàn)有方法沒有充分挖掘小目標的特征，導致目標容易淹沒在復雜的背景中.此外，現(xiàn)有方法沒有充分利用目標的運動軌跡信息，因此目標和孤立噪聲不易區(qū)分，導致檢測結果容易丟失目標，而許多與目標有著相似特征的噪聲卻易被誤檢測為目標.

多屬性形態(tài)學特征提取能夠挖掘更豐富的空間信息，補充圖像本身缺乏的細節(jié)信息.管道濾波能夠綜合提取前后幀之間的時間信息，根據(jù)目標運動軌跡保留真實目標而去除無規(guī)則的噪聲.因此，本文將重點研究結合目標多種形態(tài)學屬性(面積屬性、高度屬性和對角線屬性)和改進管道濾波的算法.

2 紅外小目標檢測算法

2.1 算法總體流程

本文提出的紅外小目標檢測算法總體流程圖如圖1 所示，主要包含以下3 步：(1)通過最大樹建樹方法和多屬性形態(tài)學(面積屬性，高度屬性和對角線屬性)挖掘每幀紅外圖像的空間信息；(2)融合多屬性形態(tài)學特征提取的結果得到候選目標，此時候選目標中包含真實目標和類目標噪聲；(3)通過改進的管道濾波提取每幀圖像之間的時間信息，根據(jù)小目標運動軌跡的規(guī)律性保留真實目標，并去除偏離目標運動軌跡的類目標噪聲.

圖1 本文所提出方法的總體流程圖Fig.1 The flow chart of the proposed method

2.2 多屬性形態(tài)學特征提取

圖像能夠被不同的形狀樹表示，如最大樹、最小樹、拓撲樹等.通過不同的形狀樹表示圖像能夠提高濾波的性能，因此它已經(jīng)被廣泛應用于多種領域[24?25].由于紅外圖像中的小目標通常有著比周圍環(huán)境亮度更高的特性，因此本文將最大樹特征提取方法引入進來，包含以下3 步：(1)最大樹構建，(2)最大樹剪枝，(3)圖像重構[26].

通過構建最大樹進行特征提取示意圖如圖2 所示.在構建最大樹時，從根節(jié)點到葉子結點灰度值是增加的，節(jié)點顏色越暗代表灰度值越小，越亮代表灰度值越大[27].在原始紅外圖像中，目標通過紅色矩形框出.由于小目標的典型特征，在最大樹建樹后，目標通常對應著葉子節(jié)點的位置，其余位置的節(jié)點代表背景.對每個節(jié)點能夠計算不同屬性是最大樹特征提取最主要的優(yōu)點，這對于小目標的正確檢測有著很大幫助.

圖2 紅外圖像最大樹特征提取示意圖Fig.2 The flow chart of max-tree feature extraction in infrared image

小目標通常具有下列特征：尺寸較小，形狀近似圓形，與其局部背景有著相對高的對比度.為了充分提取上述特征，3 種屬性(面積屬性、高度屬性和對角線屬性)被應用到本文中.面積屬性(AN)用來提取目標尺寸小的特征，

式中：N代表最大樹的節(jié)點；p代表屬于該節(jié)點的像素；#p代表著像素的個數(shù).

高度屬性(HN)提取目標和其局部背景對比度相對高的特征，

式中：f(p)代表像素的灰度值.

對角線屬性(DN)提取目標尺寸小和形狀信息，

其中，xi,max,xi,min,yi,max,yi,min代表節(jié)點邊界框的坐標.

如圖2 所示，以面積屬性為例，在對構建的最大樹選擇合適的剪枝值進行剪枝后，目標所在節(jié)點被去除，而代表著背景的節(jié)點是沒有變化的.將剪枝后的最大樹進行圖像重構后，可以發(fā)現(xiàn)，重構圖像中的小目標被去掉，而其余的大部分背景與原始紅外圖像的背景差別不大.此時，將原始紅外圖像與重構后的圖像做差分操作，就可以得到將目標顯著增強的結果，記為RA.同理，通過高度屬性和對角線屬性進行特征提取，將得到的結果記為RH和RD.

通過3 種屬性進行特征提取得到的結果，很大程度上實現(xiàn)了對目標的增強和對背景雜波的抑制.因此，在對上述3 種結果進行融合時，本文選擇Hadamard 乘積，進一步增強目標和背景之間的對比度，

式中：⊙代表Hadamard 乘積，也就是對應像素點的乘積；RF代表融合結果.融合結果確定了候選目標，此時，候選目標中不僅包含真正的目標，還包含和目標有著相似特征的噪聲.

2.3 改進的管道濾波

經(jīng)典的管道濾波算法需要對多幀進行檢測，對檢測結果計算可疑目標出現(xiàn)的次數(shù)，并設置一個判斷閾值.當目標出現(xiàn)的次數(shù)大于或等于判斷閾值時，則認為該可疑目標為真實目標.但是背景中的尖銳紋理、邊緣以及出現(xiàn)在固定位置的噪聲很可能被誤認為是目標.此外，經(jīng)典的管道濾波算法需要保留很多中間幀進行管道濾波和目標檢測，實時性會受到很大影響.為了進一步去除候選目標中的噪聲，本文設計了一種改進的管道濾波，如圖3 所示，通過目標的規(guī)則性和噪聲的雜亂性分別進行目標的保留和噪聲的去除.

圖3 改進的管道濾波示意圖Fig.3 The flow chart of the improved pipeline filter

觀察連續(xù)幾幀的融合結果，以第(t?3)幀、第(t?2)幀、第(t?1)幀、第t幀的融合結果為例，可以看出，在短時間內(nèi)，小目標通常運動緩慢且軌跡具有空間連續(xù)性，而噪聲偏離目標的正常運動軌跡且無規(guī)則.也就是說，連續(xù)幾幀的小目標通常是在一定范圍內(nèi)運動，而噪聲四處分散.由于小目標的強度通常較高，因此將歷史幾幀的融合結果，比如將第(t?3)幀、第(t?2)幀以及第(t?1)幀進行臨時求和時，質(zhì)心會出現(xiàn)在目標區(qū)域.以質(zhì)心為中心，向外擴展一個范圍，當合適的范圍被選擇時，下一幀目標也會被包含在該范圍內(nèi).將該范圍內(nèi)的灰度值置為1，其他位置的灰度值置為0，得到的圖像稱為掩模圖像，掩模圖像能夠確定下一幀目標的運動范圍.然后，將掩模圖像與當前幀圖像(也就是第t幀圖像)進行Hadamard 乘積，得到的結果能夠順利將噪聲移除，并將目標保留.

接下來，將得到的第t幀檢測結果重新輸入到管道中.此時管道中的圖像為第(t?2)幀、第(t?1)幀和第t幀，將這3 幀圖像進行臨時求和，作用于下一幀融合圖像的目標檢測，也就是第(t+1)幀圖像的目標檢測，實現(xiàn)管道的動態(tài)更新.通過對管道的不斷迭代更新，實現(xiàn)目標軌跡的實時更新，對消除候選目標中的類目標噪聲具有重要作用.

3 實驗結果與分析

3.1 評價標準

本文使用的評價標準分為定量評價和定性評價兩部分.信雜比(signal-to-clutter ratio, SCR)，信雜比增益(signal-to-clutter ratio gain, SCRG)和背景抑制因子(background suppression factor, BSF)是常用的定量評價指標[7]，SCR 定義如下，

式中：μt代表目標灰度值的平均值；μb和 σb分別代表目標周圍的局部背景灰度值的平均值和標準差.

SCRG 定義如下：

其中，SCRout和 SCRin表示處理后圖像和輸入圖像的SCR.

BSF 定義如下，

其中，σin和 σout分別代表輸入圖像和經(jīng)過算法處理后的圖像中背景區(qū)域的標準差.

受試者工作特征(receiver operating characteristic,ROC)曲線是另一個重要的評價指標.ROC 曲線動態(tài)地描述了檢測率(probability of detection,Pd)和虛警率(false alarm rate,Fa)之間的定量關系[28]，定義如下

式中：nd和ng分別表示檢測到的真實像素數(shù)和真值圖中的真實像素數(shù)；nf為檢測到的錯誤像素數(shù)；nt為檢測到的總像素數(shù).

此外，通過展示經(jīng)過不同算法處理后的檢測結果圖和其相應的三維表面圖進行定性評價，以此來直觀比較不同算法的檢測性能.

3.2 實驗分析

為了驗證所提出方法的效果，本文在4 個圖像序列上進行實驗，4 個序列的詳細說明如表1 所示.并選擇4 種基于序列圖像的對比方法進行比較，包括STLCF、STLDM、QDCT 和ECASTT.

表1 4 個紅外圖像序列的具體描述Tab.1 Detailed description of 4 infrared image sequences

為了直觀比較不同算法的性能，首先進行了定性評價.本文對序列1～4 通過不同算法進行處理得到的檢測結果及相應的三維表面圖在圖4～圖7中進行展示.圖4 展示的是在厚重的云霧天空背景下有一架飛機在飛行.從STLCF 的結果中可以看出，雖然它能夠?qū)δ繕诉M行增強，但是在背景抑制方面表現(xiàn)較差，檢測結果中仍然存在很多的背景雜波.STLDM 和QDCT 對背景噪聲的增強程度甚至高于目標.ECASTT 雖然能夠在很大程度上提高目標和背景之間的對比度，但是依然存在著少量雜波對結果產(chǎn)生影響.本文提出的方法能夠在增強的目標的同時對背景進行抑制，而且背景中幾乎沒有雜波殘留.圖5 中有一架飛機在飛行，背景中有著亮度較高的物理建筑和樹木，邊緣區(qū)域很容易被誤檢測為目標.STLCF 在增強目標的同時也增強了背景雜波，甚至對于背景雜波的增強程度要高于目標.STLDM 錯誤地增強了建筑邊緣噪聲，且對目標進行了抑制，這會造成較高的虛警率.相對于上述兩種方法，QDCT和ECASTT 能夠?qū)⒈尘半s波進行抑制，但是殘余噪聲依然明顯存在.圖6 中有一架尺寸極小的飛機在較高干擾的烏云中飛行.所對比的4 種方法都能夠在增強目標的時候?qū)Ρ尘斑M行抑制，但是STLCF 和QDCT 仍然有少量雜波殘留.圖7 中有一架飛機在復雜的背景中飛行.STLCF 和ECASTT 對背景的抑制能力表現(xiàn)較差，雜波殘留較多.STLDM 雖然增強了目標和背景之前的對比度，但某些噪聲與背景之前的對比度同樣得到了增強，這不利于目標的正確檢測.QDCT 中同樣有著很多殘留噪聲.經(jīng)過本文算法處理后的背景中沒有噪聲殘留，其有效性顯然可見.

圖4 不同方法在序列1 的檢測結果及三維表面圖Fig.4 Detection results and corresponding 3D surface of different methods in Sequence 1

圖5 不同方法在序列2 的檢測結果及三維表面圖Fig.5 Detection results and corresponding 3D surface of different methods in Sequence 2

圖7 不同方法在序列4 的檢測結果及三維表面圖Fig.7 Detection results and corresponding 3D surface of different methods in Sequence 4

接下來，對不同方法通過4 個實際紅外序列圖像進行了定量評價.首先，對不同算法得到的檢測結果進行了SCRG 和BSF 的計算，該結果計算的是每個序列所有幀檢測結果的平均值.得到的SCRG 和BSF 的值越高，代表對應方法的檢測性能越好.計算結果展示在表2 中，粗體代表著最佳結果，下劃線代表著表現(xiàn)第二佳的結果.由表2 很容易看出，本文提出的方法能夠在除了序列1 的BSF 以及序列3 的BSF 之外的其他指標都表現(xiàn)最好.這表明本文提出的方法在目標增強和背景抑制方面都表現(xiàn)出優(yōu)越性能，與其他方法相比，本文提出的方法能夠在最大程度上提高目標和背景的對比度.

表2 SCRG 和BSF 在4 個序列的比較Tab.2 Comparison of SCRG and BSF in 4 sequences

最后，進行了不同方法在4 個紅外圖像序列的ROC 曲線比較，結果顯示在圖8 中.ROC 曲線越靠近左上角說明對應的方法表現(xiàn)越突出.不難看出，本文提出的算法能夠在4 個圖像序列中都取得最好的結果.綜上所述，本文提出的算法可以檢測不同類型、不同強度、不同空間尺寸的目標，此外，它也對不同的場景檢測效果魯棒.

圖8 在4 個序列上不同方法的ROC 曲線結果Fig.8 ROC curve results of different methods on 4 sequences

4 結 論

本文提出了一種結合目標多種形態(tài)學屬性和改進管道濾波的算法.該方法首先對輸入的紅外圖像進行最大樹建樹，并利用面積屬性、高度屬性和對角線屬性分別提取小目標的典型特征，得到將目標顯著增強并將背景進行抑制的結果.然后，通過融合多種屬性的結果確定候選目標后，此時的候選目標中包括真實目標和類目標噪聲.接下來，通過改進的管道濾波進一步去除偏離目標正常軌跡的類目標噪聲，保留有軌跡特征的目標.通過4 個圖像序列的實驗證明，本文提出的方法能夠在增強目標的同時對干擾背景進行有效抑制，而且對多種場景中不同類型的目標具有魯棒性.