結(jié)合頻域顯著性分析和形態(tài)學(xué)濾波的紅外小目標(biāo)檢測(cè)算法

張 曄,朱鴻泰,程 虎,張 俊,章 琦

(中國(guó)電子科技集團(tuán)公司第五十八研究所,江蘇 無(wú)錫 214072)

1 引 言

近些年來(lái),紅外探測(cè)技術(shù)的快速發(fā)展為光電探測(cè)行業(yè)構(gòu)建了新的格局,各行業(yè)引入紅外手段輔助目標(biāo)檢測(cè)、定位,層出不窮的應(yīng)用受到了廣泛的關(guān)注。例如目標(biāo)檢測(cè)的軍事應(yīng)用[1-2],工業(yè)領(lǐng)域機(jī)器視覺(jué)的缺陷檢測(cè)[3-4]等領(lǐng)域。紅外目標(biāo)檢測(cè)一直是圖像研究領(lǐng)域的熱門(mén)方向,張明等人提出的紅外接收PIN硅光電探測(cè)器研究[5]和高美靜等人提出的電子器件分析用新型顯微紅外熱像儀[6]均使用紅外探測(cè)器實(shí)現(xiàn)紅外小目標(biāo)的檢測(cè)。但對(duì)于微弱目標(biāo),由于其本身強(qiáng)度弱、攜帶的細(xì)節(jié)信息少極易淹沒(méi)在背景雜波中,成為了紅外探測(cè)研究方向的一個(gè)難點(diǎn)。

為了解決紅外微弱目標(biāo)準(zhǔn)確檢測(cè)的問(wèn)題,提出了各類(lèi)檢測(cè)算法,按技術(shù)路線(xiàn)可分為濾波、目標(biāo)函數(shù)優(yōu)化[7]和數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)模型[8]三類(lèi)。其中濾波類(lèi)算法計(jì)算復(fù)雜度最低,最為適合部署于實(shí)時(shí)探測(cè)場(chǎng)合,也是本文的研究重點(diǎn)。濾波理論的核心在于利用目標(biāo)與背景先驗(yàn)信息的差異,設(shè)計(jì)濾波核在對(duì)抑制背景雜波的同時(shí),凸顯出紅外小目標(biāo)的自身圖像特征,從而達(dá)到濾除背景提取前景目標(biāo)的目的。張祥越等提出的ILCM[9]方法利用目標(biāo)與其鄰域?qū)Ρ榷炔町悓?shí)現(xiàn)紅外目標(biāo)檢測(cè),但實(shí)時(shí)性差。顯著性分析技術(shù)直接從全局提取空間/頻率域突變區(qū)域,計(jì)算效率更具優(yōu)勢(shì)。根據(jù)Timor K等[10]的定義,“顯著區(qū)域”是指在全局或局部鄰域內(nèi),屬性和尺度上呈現(xiàn)出不可預(yù)測(cè)性的區(qū)域。頻率顯著性分析[11]、光譜殘差[12]和超復(fù)數(shù)傅里葉變換[13]等頻域顯著性算法均對(duì)微弱小目標(biāo)展現(xiàn)出良好的召回率,但虛警概率明顯增加。而形態(tài)學(xué)濾波方法對(duì)目標(biāo)尺寸敏感和對(duì)離群噪點(diǎn)的高效濾除效果較好。葉斌等提出了基于形態(tài)學(xué)Top-Hat算子的小目標(biāo)檢測(cè)方法[14],計(jì)算效率高、去噪效果顯著,但單一結(jié)構(gòu)元無(wú)法保證檢測(cè)召回率。Wang W等[15]提出的方法結(jié)合顯著性檢測(cè)和形態(tài)學(xué)濾波提高了目標(biāo)的檢測(cè)率,但是對(duì)于顯著性較高的雜波無(wú)法很好抑制。徐文晴提出的基于自適應(yīng)形態(tài)學(xué)濾波方法[16](LAF),對(duì)連續(xù)的雜波抑制效果不佳,無(wú)法有效排除角點(diǎn)雜波。

本文將有機(jī)結(jié)合顯著性分析和形態(tài)學(xué)濾波技術(shù),實(shí)現(xiàn)針對(duì)復(fù)雜場(chǎng)景的圖像紅外微弱目標(biāo)探測(cè)。以頻域顯著性分析手段作為快速預(yù)處理步驟,實(shí)現(xiàn)對(duì)緩變背景的高效抑制。再引入自適應(yīng)形態(tài)學(xué)濾波,提出全局紅外小目標(biāo)檢測(cè)算法,對(duì)具有連續(xù)雜波的復(fù)雜場(chǎng)景實(shí)現(xiàn)紅外小目標(biāo)檢測(cè)。本方法對(duì)適應(yīng)性好,對(duì)背景雜波具有連續(xù)性的邊緣特性實(shí)現(xiàn)了高效鑒別,同時(shí)保證了目標(biāo)的召回率。

2 頻域顯著性分析預(yù)處理

2.1 頻域顯著性模型

視覺(jué)顯著性[17]是視覺(jué)系統(tǒng)選擇視覺(jué)信息的某個(gè)子集作為過(guò)濾器,只選擇與當(dāng)前行為或任務(wù)相關(guān)的感興趣的信息,而忽略不相關(guān)的信息的能力。在文獻(xiàn)[11]中利用ILCM獲得頻域顯著圖,需要對(duì)圖像中每個(gè)像素作鄰域滑窗進(jìn)行處理,運(yùn)行速度慢。HOU提出了一種不依賴(lài)目標(biāo)的先驗(yàn)信息的基于頻域的全局顯著性模型[16],該模型基于傅里葉變換就可以實(shí)現(xiàn),運(yùn)算速度快,滿(mǎn)足實(shí)時(shí)性要求。

給定紅外小目標(biāo)圖像I,其前景和背景的表現(xiàn)形式為:

I=f+bf,b∈RM×N

(1)

其中,f表示小目標(biāo)信號(hào);b表示背景信號(hào),兩者均為稀疏的；M,N表示I,f,b信號(hào)的維度。

(2)

對(duì)于紅外圖像來(lái)說(shuō),圖像的前景信息相對(duì)于背景來(lái)說(shuō)更引人注意。因此,可以利用圖像重構(gòu)來(lái)構(gòu)建顯著圖:

(3)

其中,G為高斯濾波器;“*”表示卷積運(yùn)算;“°”表示Hadamard乘積。

在圖1中,對(duì)不同場(chǎng)景,利用顯著性模型可得到顯著圖,復(fù)雜場(chǎng)景與簡(jiǎn)單場(chǎng)景相比較,二值化分割會(huì)保留許多背景信息,無(wú)法準(zhǔn)確實(shí)現(xiàn)小目標(biāo)檢測(cè)。

圖1 顯著性檢測(cè)效果圖Fig.1 The performance of saliency detection

2.2 ROI區(qū)域提取

通過(guò)頻域顯著性分析后重構(gòu)的圖像已顯著抑制了均勻、緩變的背景區(qū)域,獲得SCR(信號(hào)-背景比)的大幅提升,有利于后續(xù)對(duì)目標(biāo)的準(zhǔn)確分割。出于計(jì)算效率的考慮,本文利用閾值分割技術(shù)對(duì)重構(gòu)圖做前景-背景分類(lèi),自適應(yīng)分割閾值tthreshold通過(guò)公式(4)來(lái)計(jì)算

tthreshold=u+kσ

(4)

其中,u和σ分別為顯著圖S的均值和標(biāo)準(zhǔn)差;k為常數(shù)系數(shù)。圖像閾值分割的二值化分類(lèi)結(jié)果T以如式(5)的方式獲得：

(5)

基于二值分類(lèi)結(jié)果T內(nèi)的連通域做最小外界矩形ROI提取,如圖2所示,所有ROI區(qū)域均被視為候選目標(biāo)區(qū)域。

圖2 ROI提取Fig.2 ROI extraction

通過(guò)獲得目標(biāo)顯著圖,提取ROI區(qū)域縮小了目標(biāo)檢測(cè)區(qū)域的范圍,從而加快了目標(biāo)檢測(cè)效率。然而如圖2(a)所示,對(duì)于簡(jiǎn)單場(chǎng)景情況,各候選區(qū)域周?chē)廊淮嬖谠S多的孤立噪點(diǎn)和背景雜波,因此需要選擇一個(gè)合適的濾波器來(lái)抑制孤立噪點(diǎn)和雜波。對(duì)如圖2(b)所示的復(fù)雜背景場(chǎng)景紅外圖,則感興趣區(qū)域中呈現(xiàn)出大量偽目標(biāo)感興趣區(qū)域,影響目標(biāo)檢測(cè)結(jié)果。

3 局部自適應(yīng)形態(tài)學(xué)濾波目標(biāo)檢測(cè)

經(jīng)典Top-hat形態(tài)學(xué)濾波在紅外弱小目標(biāo)檢測(cè)中有了比較成功的應(yīng)用,通過(guò)選取合適的濾波模板,可以得到較好的濾波效果。但對(duì)于對(duì)于圖像信噪比較低,噪聲和復(fù)雜的背景會(huì)嚴(yán)重影干擾的情況下,濾波性能下降,嚴(yán)重時(shí)會(huì)降低圖像信噪比。而新型Top-hat形態(tài)學(xué)濾波通過(guò)改變結(jié)構(gòu)元素的構(gòu)造來(lái)達(dá)到抑制噪聲和復(fù)雜背景的目的。但是經(jīng)典Top-hat和新型Top-hat形態(tài)學(xué)濾波在濾波開(kāi)始前都要人工設(shè)定結(jié)構(gòu)元的大小,對(duì)于尺度尺寸不斷變化的目標(biāo)無(wú)法,因而需要結(jié)構(gòu)元有自適應(yīng)選擇功能。

本文算法中通過(guò)在感興趣區(qū)域進(jìn)行提取候選目標(biāo),獲得候選目標(biāo)輪廓及輪廓的外接矩形,如圖3(a)所示。再將候選目標(biāo)的位置及尺寸信息映射回原圖像,在原圖像上選取目標(biāo)尺寸的八鄰域作為濾波區(qū)域,如圖3(b)所示。利用候選目標(biāo)的長(zhǎng)寬最大值作為新型結(jié)構(gòu)元的尺寸,達(dá)到自適應(yīng)形態(tài)學(xué)濾波的目的。

圖3 提取目標(biāo)尺寸和八鄰域?yàn)V波區(qū)域Fig.3 Extraction of target size and eight neighborhood filtering region

新型Top-hat濾波同樣基于形態(tài)學(xué)開(kāi)、閉運(yùn)算,其具體定義為:

f■Boi(x,y)=(f⊕ΔB)⊙Bb

(6)

f□Boi(x,y)=(f⊙ΔB)⊕Bb

(7)

其中,Boi(x,y)表示f■Boi(x,y),f□Boi(x,y)中使用的與Bi和Bo有關(guān)結(jié)構(gòu)元素。Bi和Bo分別為兩個(gè)扁平結(jié)構(gòu)元,它們?cè)c(diǎn)相同且Bo的半徑大于Bi的半徑,ΔB=Bo-Bb是介于Bo和Bi之間的扁平結(jié)構(gòu)元,可用來(lái)調(diào)節(jié)參與運(yùn)算區(qū)域目標(biāo)的大小,Bo、Bi、ΔB和Bb之間的關(guān)系如圖4所示。

圖4 新型 Top-hat變換結(jié)構(gòu)元素之間的關(guān)系圖Fig.4 The relational graph between structural element of new Top-hat

新型Top-hat中黑帽和白帽被定義為:

NWTH(x,y)=f(x,y)-min(f■Boi(x,y)),f(x,y))

(8)

NBTH(x,y)=max(f□Boi(x,y),f(x,y))-f(x,y)

(9)

新型Top-hat采用邊緣結(jié)構(gòu)元素ΔB來(lái)區(qū)分目標(biāo)所在區(qū)域與目標(biāo)周?chē)鷧^(qū)域的差異,當(dāng)目標(biāo)的的半徑小于Bi的半徑,比目標(biāo)大的背景被消除,目標(biāo)被保留,反之目標(biāo)被消除,比目標(biāo)小的背景被保留,因此結(jié)構(gòu)元大小的選取對(duì)濾波效果的好壞起著重要的作用。

4 全局自適應(yīng)形態(tài)學(xué)濾波

針對(duì)簡(jiǎn)單場(chǎng)景下的紅外小目標(biāo),通過(guò)感興趣區(qū)宇提取了目標(biāo)尺度后,對(duì)濾波區(qū)域進(jìn)行局部自適應(yīng)濾波后,實(shí)現(xiàn)了紅外小目標(biāo)的檢測(cè),如圖5(b)所示。而對(duì)于復(fù)雜場(chǎng)景,當(dāng)完成局部自適應(yīng)濾波后,依然有較多的邊緣角點(diǎn)噪聲保留,達(dá)不到濾波的預(yù)期效果,如圖5(e)所示。所以本文分別對(duì)簡(jiǎn)單場(chǎng)景和復(fù)雜場(chǎng)景進(jìn)行研究,當(dāng)為簡(jiǎn)單場(chǎng)景時(shí),對(duì)圖像采用局部自適應(yīng)濾波,在保證目標(biāo)檢測(cè)的同時(shí),加快了檢測(cè)速度；而當(dāng)為復(fù)雜場(chǎng)景時(shí),自適應(yīng)局部濾波雖然在一定程度上能減少計(jì)算時(shí)間,但對(duì)于有連續(xù)邊緣及角點(diǎn)的雜波干擾,該方法不達(dá)不到預(yù)期效果。

圖5 不同場(chǎng)景LAF和GAF效果圖Fig.5 LAF and GAF effect diagrams in different scenarios

針對(duì)復(fù)雜場(chǎng)景中角點(diǎn)噪聲較多且具有連續(xù)性,而檢測(cè)紅外目標(biāo)屬于孤立區(qū)域,在區(qū)域附近存在噪聲區(qū)域較少,結(jié)合局部鄰域特征統(tǒng)計(jì)思想,對(duì)圖像S中每個(gè)感興趣區(qū)域的鄰域進(jìn)行區(qū)域個(gè)數(shù)統(tǒng)計(jì),若個(gè)數(shù)較多,則該區(qū)域?yàn)樵肼晠^(qū)域,若區(qū)域較少,則該區(qū)域?yàn)槟繕?biāo)區(qū)域。通過(guò)確定的目標(biāo)區(qū)域選擇尺度最大的區(qū)域,進(jìn)行自適應(yīng)Top_hat濾波,抑制目標(biāo)區(qū)域孤立噪點(diǎn),實(shí)現(xiàn)目標(biāo)檢測(cè)。通過(guò)兩種濾波思想的結(jié)合,在實(shí)現(xiàn)準(zhǔn)確的目標(biāo)檢測(cè)的同時(shí),保證了檢測(cè)實(shí)時(shí)性的要求。

如圖6定義為區(qū)域A的大小為d的鄰域和連通域數(shù)目閾值N,若在鄰域內(nèi)有連通域數(shù)量大于N,則該區(qū)域不是目標(biāo)區(qū)域,若在該區(qū)域的目標(biāo)區(qū)域個(gè)數(shù)小于N,則該區(qū)域?yàn)槟繕?biāo)區(qū)域,如果找不到目標(biāo)區(qū)域,縮小鄰域大小d,直到找到符合的目標(biāo)區(qū)域。如圖7所示,灰色方框內(nèi)有超過(guò)連通域個(gè)數(shù)閾值N的連通域個(gè)數(shù),則該區(qū)域?yàn)殡s波區(qū)域,白色方框內(nèi)連通域個(gè)數(shù)小于連通域個(gè)數(shù),則該區(qū)域?yàn)槟繕?biāo)區(qū)域。確定目標(biāo)區(qū)域后,提取每個(gè)目標(biāo)區(qū)域的尺度,利用目標(biāo)尺度中的最大尺度作為全局濾波結(jié)構(gòu)元大小,可大致確定紅外小目標(biāo)尺寸,然后進(jìn)行自適應(yīng)全局形態(tài)學(xué)濾波,實(shí)現(xiàn)紅外小目標(biāo)檢測(cè)。

圖6 大小為d的區(qū)域鄰域Fig.6 A region neighborhood of sized

圖7 尋找目標(biāo)區(qū)域Fig.7 Find the target area

5 實(shí)驗(yàn)結(jié)果及分析

對(duì)于不同場(chǎng)景的紅外小目標(biāo)圖像,基于自適應(yīng)形態(tài)學(xué)濾波的紅外小目標(biāo)檢測(cè)算法[11]求目標(biāo)顯著圖的方法達(dá)不到檢測(cè)實(shí)時(shí)性要求,并且對(duì)于復(fù)雜場(chǎng)景小目標(biāo)產(chǎn)生的為目標(biāo)較多,圖圖像信噪比較低,目標(biāo)檢測(cè)結(jié)果準(zhǔn)確性低,如圖8所示。為了對(duì)簡(jiǎn)單場(chǎng)景和復(fù)雜場(chǎng)景的紅外小目標(biāo)進(jìn)行定量分析,對(duì)形態(tài)學(xué)濾波后的圖像的信噪比(SCR)進(jìn)行計(jì)算:

(11)

其中,uT為目標(biāo)矩形區(qū)域像素值均值;uB,σB分別為背景區(qū)域均值和方差。

圖8 不同場(chǎng)景LAF和GAF對(duì)比圖Fig.8 Comparison of LAF and GAF in different scenes

本實(shí)驗(yàn)基于硬件平臺(tái)基于1.00 GHz Intel Core i5 CPU 16GB RAM 計(jì)算機(jī)；軟件平臺(tái)基于Window10操作系統(tǒng)和MATLAB R2016a。實(shí)驗(yàn)采取在不同復(fù)雜場(chǎng)景下300×200個(gè)像素的紅外圖像視頻序列,利用前30幀的序列的信噪比的平均值作為濾波信噪比的結(jié)果,并且以前30幀運(yùn)行時(shí)間平均值作為算法運(yùn)行時(shí)間。由表1可以看到,對(duì)復(fù)雜場(chǎng)景進(jìn)行形態(tài)學(xué)濾波后都能起到抑制雜波的作用,但自適應(yīng)全局濾波對(duì)雜波的抑制效果要好于自適應(yīng)局部濾波。由表2可知,在檢測(cè)率中,本文提出的GAF算法表現(xiàn)最好,檢測(cè)率最高,虛警率較低。由表3分析可知,對(duì)復(fù)雜場(chǎng)景的形態(tài)學(xué)濾波效率,自適應(yīng)全局形態(tài)學(xué)濾運(yùn)行效率要明顯高于自適應(yīng)局部形態(tài)學(xué)濾波,且所在場(chǎng)景不同自適應(yīng)局部的運(yùn)行時(shí)間變化很大,不能很好的把控運(yùn)行時(shí)間,而自適應(yīng)全局濾波效率穩(wěn)定,滿(mǎn)足實(shí)時(shí)性要求。所以本文算法對(duì)不同復(fù)雜場(chǎng)景保持很好的濾波效果,實(shí)現(xiàn)對(duì)紅外小目標(biāo)的檢測(cè)。

表1 不同復(fù)雜場(chǎng)景各算法信噪比結(jié)果Tab.1 SNR results of adaptive local filtering and global filtering in different scenes

表2 不同復(fù)雜場(chǎng)景各算法檢測(cè)率(FR)和虛警率(FAR)對(duì)比Tab.2 Comparison of detection rate(FR)and false alarm rate(FAR)of algorithms in different complex scenes

表3 不同復(fù)雜場(chǎng)景各算法運(yùn)行時(shí)間Tab.3 Running time of adaptive local filtering and global filtering in different complex scenarios

6 結(jié) 論

本文以頻域顯著性分析作為快速預(yù)處理步驟,獲得抑制背景的重構(gòu)結(jié)果。引入自適應(yīng)閾值對(duì)重構(gòu)圖進(jìn)行分割提取感興趣區(qū)域,在縮減處理面積的同時(shí)獲取目標(biāo)參考尺寸,最終以全局自適應(yīng)形態(tài)學(xué)濾波實(shí)現(xiàn)了紅外小目標(biāo)的準(zhǔn)確檢測(cè)。本方法對(duì)復(fù)雜場(chǎng)景圖像適應(yīng)性好,算法運(yùn)行效率高,對(duì)背景雜波具有連續(xù)性的邊緣特性實(shí)現(xiàn)了高效鑒別,同時(shí)保證了目標(biāo)的召回率。