基于區(qū)域顯著性與穩(wěn)定性的小目標(biāo)檢測(cè)方法

吳澤俊，趙彤洲

武漢工程大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，湖北 武漢 430205

小目標(biāo)檢測(cè)（small target detection，STD）不同于一般視距目標(biāo)檢測(cè)與識(shí)別，其難點(diǎn)是在遠(yuǎn)視角下缺乏豐富的特征信息。STD通常只含有少量的像素點(diǎn)，光電儀器工程師協(xié)會(huì)（society of photo-op?tical instrumentation engineers，SPOIE）從成像角度定義STD的空間像素總量小于80像素［1］。STD的研究對(duì)象可以分為斑狀目標(biāo)、小擴(kuò)展目標(biāo)、斑狀目標(biāo)與小擴(kuò)展目標(biāo)的雜波。一般情況下，小目標(biāo)被淹沒(méi)在噪聲和背景雜波中，使小目標(biāo)檢測(cè)更具有挑戰(zhàn)性［2-4］。

近些年，學(xué)者們專(zhuān)注于研究紅外小目標(biāo)檢測(cè)。由于小目標(biāo)遠(yuǎn)距離成像，時(shí)空信息、背景特征、目標(biāo)與背景之間的聯(lián)系成為STD的研究重點(diǎn)。因此關(guān)于STD的研究策略主要分為4大類(lèi)：先檢測(cè)后跟蹤［5］、目標(biāo)增強(qiáng)［6］、背景抑制、前景分離［7］。先檢測(cè)后跟蹤型的方法一般通過(guò)處理多幀圖像來(lái)估計(jì)目標(biāo)，這需要大量的先驗(yàn)知識(shí)，因而其計(jì)算量較大。前景分離兼具目標(biāo)增強(qiáng)與背景抑制的優(yōu)勢(shì)，一般采用對(duì)比方法。受人類(lèi)視覺(jué)機(jī)制的啟發(fā)，對(duì)比方法運(yùn)用了小目標(biāo)的局部差異和全局稀缺性特點(diǎn)，廣泛應(yīng)用于顯著性檢測(cè)。類(lèi)似于紅外小目標(biāo)，彩色小目標(biāo)也具有如下性質(zhì)：類(lèi)點(diǎn)狀、低熵、局部一致性、中心環(huán)繞對(duì)比度差異。在理想情況下，可將上述性質(zhì)應(yīng)用于穩(wěn)定性檢測(cè)，提取穩(wěn)定性特征。

在區(qū)域穩(wěn)定性的檢測(cè)方法中，最大穩(wěn)定性極值區(qū)域（maximally stable extremal region，MSER）方法［8］采用相似性度量準(zhǔn)則得出多個(gè)穩(wěn)定閾值檢測(cè)穩(wěn)定性區(qū)域，但其結(jié)果仍然存在很多虛警。關(guān)于區(qū)域顯著性方法中，頻域協(xié)調(diào)（frequency tuned，F(xiàn)T）方法［9］將目標(biāo)顏色全局稀缺性與高斯差分濾波相結(jié)合提取顯著性區(qū)域，但并不是所有的目標(biāo)都具有全局稀缺性，目標(biāo)與背景顏色相仿時(shí)檢測(cè)效果很差。關(guān)于穩(wěn)定性與顯著性相結(jié)合的方法中，區(qū)域顯著性和區(qū)域穩(wěn)定性（regional stability and saliency，RSS）方法［7］優(yōu)于其它單模型方法，但是仍然存在虛警和目標(biāo)丟失［10-11］，其明顯的問(wèn)題是無(wú)法檢測(cè)邊緣的小目標(biāo)［12］。受RSS的啟發(fā)，本文提出一種基于區(qū)域顯著性與穩(wěn)定性的小目標(biāo)檢測(cè)改進(jìn)方法（regional saliency and stability enhance?ment metrics，RSSEM），該方法可顯著改進(jìn) RSS算法對(duì)邊緣檢測(cè)的不敏感性，并且降低了強(qiáng)雜波的干擾。本文主要工作為：第一，在穩(wěn)定性特征提取階段，針對(duì)候選連通區(qū)域提取過(guò)程導(dǎo)致的邊緣信息缺失問(wèn)題，采用白像素邊界預(yù)處理方法，使邊緣小目標(biāo)信息不丟失；第二，設(shè)定多級(jí)閾值形成二值圖像加快穩(wěn)定特征的提取過(guò)程，并提出增加新的統(tǒng)計(jì)量?jī)?yōu)化RSS中的相似性度量標(biāo)準(zhǔn)，提高穩(wěn)定性特征提取精度；第三，集成顯著性特征和穩(wěn)定性特征進(jìn)一步提高小目標(biāo)檢測(cè)效果。

1 區(qū)域顯著性和穩(wěn)定性方法

1.1 圖像灰度化的顯著性特征提取方法

根據(jù)人眼視覺(jué)機(jī)制［13-14］，遠(yuǎn)景小目標(biāo)信息量少，之所以能被人眼觀察到，是因?yàn)樾∧繕?biāo)在一定區(qū)域內(nèi)具有顯著性［15］。本文的圖像區(qū)域顯著性特征定義為圖像中每個(gè)像素點(diǎn)在區(qū)域范圍內(nèi)的相對(duì)顯著值。顯著性特征提取過(guò)程見(jiàn)圖1，將彩色圖像輸入后，首先將圖像灰度化，再利用高斯高通濾波提取顯著性特征，最終得到圖像的顯著性圖矩陣MA，顯著性圖的每個(gè)像素值代表了該像素點(diǎn)的和諧度。

圖1 提取區(qū)域顯著性圖的流程圖Fig.1 Flowchart of extracting regional saliency map

在RSS［7］中為了便于圖像顯著性特征提取，進(jìn)行了顏色空間轉(zhuǎn)化即將RGB轉(zhuǎn)化為L(zhǎng)AB。而本文直接對(duì)RGB圖像灰度化，該方法在簡(jiǎn)化圖像信息的同時(shí)保留了圖像的顯著性特征，其顯著性特征提取結(jié)果能達(dá)到與RSS方法基本一致的結(jié)果，且能顯著提升特征提取速度。在隨后的高斯高通濾波過(guò)程中，將灰度圖像表示為矩陣G，經(jīng)過(guò)高斯高通濾波器ω濾波得到Gω，最后對(duì)結(jié)果歸一化后得到顯著性圖矩陣MA。其變換過(guò)程見(jiàn)公式（1）所示：

式（1）中，濾波操作的滑動(dòng)窗口大小為 3σ×3σ，標(biāo)準(zhǔn)差σ=min(W,H)/σs，W和H分別代表圖像的寬和高，參數(shù)σs為降低權(quán)重的幅值。

1.2 多級(jí)閾值分割的穩(wěn)定性特征提取方法

1.2.1 多級(jí)閾值分割過(guò)程 通過(guò)對(duì)小目標(biāo)的幾何變化規(guī)律進(jìn)行研究以更加準(zhǔn)確地描述小目標(biāo)區(qū)域，并提出用統(tǒng)計(jì)量方法作為小目標(biāo)區(qū)域穩(wěn)定性度量準(zhǔn)則。區(qū)域穩(wěn)定性特征是指圖像目標(biāo)區(qū)域在二值化時(shí)具有的幾何與統(tǒng)計(jì)不變特性。區(qū)域穩(wěn)定性提取過(guò)程如圖2所示，第一步：對(duì)圖像預(yù)處理，具體為對(duì)灰度圖像進(jìn)行白像素邊緣填充，使圖像邊緣的小目標(biāo)成為連通區(qū)域；然后采用多級(jí)閾值對(duì)圖像進(jìn)行二值化處理，獲取連通區(qū)域集合。第二步：設(shè)計(jì)穩(wěn)定性度量準(zhǔn)則提取穩(wěn)定性圖矩陣MT。本文提出的白像素邊緣填充預(yù)處理方法能解決邊緣小目標(biāo)無(wú)法成為連通區(qū)域的問(wèn)題（即導(dǎo)致文獻(xiàn)［7］方法無(wú)法檢測(cè)出邊緣小目標(biāo)），使穩(wěn)定性特征提取方法對(duì)邊緣小目標(biāo)敏感。

圖2 提取區(qū)域穩(wěn)定性圖流程圖Fig.2 Flowchart of extracting regional stability map

1.2.2 穩(wěn)定性度量過(guò)程 在二值圖像矩陣B中，由像素值1構(gòu)成的連通區(qū)域r具有5種基本結(jié)構(gòu)描述特性：1）區(qū)域大小 ||r；2）幾何中心像素點(diǎn)c；3）最小外接矩形框b；4）填充率f；5）連通區(qū)域的寬高比a。

由于小目標(biāo)具有局部一致性，因此在穩(wěn)定性度量中Lou等［7］對(duì)上述連通區(qū)域的5種基本結(jié)構(gòu)描述進(jìn)行比較運(yùn)算，得到4種穩(wěn)定性度量準(zhǔn)則，即面積變化、中心距離、填充率差異、寬高比差異。在此基礎(chǔ)上，為了提高邊緣檢測(cè)能力，本文提出了用面積方差作為穩(wěn)定性度量的標(biāo)準(zhǔn)，如公式（2）所示。用面積方差作為區(qū)域穩(wěn)定性二次后驗(yàn)的新標(biāo)準(zhǔn)，能解決由于采用不連續(xù)的多級(jí)閾值造成區(qū)域漏檢而導(dǎo)致的區(qū)域不穩(wěn)定問(wèn)題。

式（2）中，r i是在閾值i下子圖的目標(biāo)區(qū)域，集合R'由r i組成（i∈[?-δ,?+δ]），card(R')是集合R'的基數(shù)，δ是閾值的間隔，?為閾值，以及mT是區(qū)域面積的平均值，計(jì)算方法如公式（3）所示。注意當(dāng)目標(biāo)連通區(qū)域在某閾值下不存在(|ri|=0)時(shí)需要調(diào)節(jié)閾值的范圍。

穩(wěn)定性度量分為兩個(gè)部分：穩(wěn)定性區(qū)域聚類(lèi)和穩(wěn)定性區(qū)域二次后驗(yàn)。文獻(xiàn)［7］的穩(wěn)定性區(qū)域聚類(lèi)只采用了中心距離的相似性度量準(zhǔn)則，在白像素邊緣填充預(yù)處理后容易產(chǎn)生大區(qū)域覆蓋小區(qū)域的問(wèn)題，最終在小目標(biāo)檢測(cè)過(guò)程中導(dǎo)致小目標(biāo)丟失。而本文在穩(wěn)定性區(qū)域聚類(lèi)中利用面積變化和中心距離兩種相似性度量標(biāo)準(zhǔn)，使閾值分割后產(chǎn)生的連通區(qū)域能按類(lèi)別聚集，具體過(guò)程為：設(shè)多級(jí)閾值分割后的二值圖像序列中連通區(qū)域集合，若存在連通區(qū)域r i?R和r j?R，設(shè)間中心距離為，其面積變化為。定義中心變化閾值Φr和面積變化閾值Δc，若，則區(qū)域ri、r j為同一簇。 Δc和Φr定義見(jiàn)公式（4）～（6）。

式（4）中，br iw表示區(qū)域r i的寬、br ih表示區(qū)域r i的高。

其中，φr表示區(qū)域ri、r j間選取的合適區(qū)域大小，Δr為權(quán)重系數(shù)，ts表示小目標(biāo)的大小。

為了進(jìn)一步驗(yàn)證穩(wěn)定性區(qū)域的可靠性，減少最終的小目標(biāo)檢測(cè)誤差，本文給出了穩(wěn)定性二次后驗(yàn)方法。具體過(guò)程為：設(shè)同簇連通區(qū)域中通過(guò)填充率差異和寬高比差異得到穩(wěn)定性候選區(qū)域r，r經(jīng)過(guò)OTSU閾值分割得到閾值?；設(shè)閾值間隔參數(shù)為δ，則區(qū)域r的閾值集合為R'={ri,…} ，r i為區(qū)域r在閾值i下的連通區(qū)域，i∈[?-δ,?+δ]，且 |r i|≠0；于是利用公式（2）定義的面積方差準(zhǔn)則對(duì)區(qū)域r進(jìn)行度量，即設(shè)有參數(shù) Δd，若，則二次后驗(yàn)判定區(qū)域r為穩(wěn)定區(qū)域。

1.3 背景濾波的顯著性與穩(wěn)定性特征集成方法

RSS［7］在顯著性與穩(wěn)定性特征融合過(guò)程中利用穩(wěn)定性區(qū)域的顯著性平均值作為提取小目標(biāo)區(qū)域的閾值，但在白像素邊緣填充預(yù)處理后該方法對(duì)小目標(biāo)的檢測(cè)漏檢率高。為了提高檢測(cè)效果，本文融合顯著性圖與穩(wěn)定性圖，并利用先驗(yàn)知識(shí)進(jìn)行背景濾波，完成小目標(biāo)檢測(cè)，如圖3所示。其過(guò)程為：設(shè)顯著性圖矩陣MA，穩(wěn)定性圖矩陣MT，則集成圖矩陣為M=MA?MT，若存在連通區(qū)域r?MT，其在原灰度圖矩陣的對(duì)應(yīng)區(qū)域?yàn)閞gray?G，設(shè)V=maxrgray，同理，連通區(qū)域r在集成圖矩陣的對(duì)應(yīng)區(qū)域?yàn)閞integrate?M。設(shè)D為強(qiáng)噪聲濾波閾值，若V≤D且區(qū)域rintegrate的最大顯著值為集成圖矩陣M的最大值，則連通區(qū)域r即為小目標(biāo)區(qū)域。

圖3 集成方案流程圖Fig.3 Flowchart of integration scheme

圖4 為集成模型與非集成模型的檢測(cè)結(jié)果，所有模型都有白像素邊緣填充處理過(guò)程。圖4（b）為輸入圖4（a）的真值，圖4（c）和圖4（d）分別為圖4（a）的顯著性圖和穩(wěn)定性圖，結(jié)果表明若僅用顯著性特征與穩(wěn)定性特征中的一種特征作為小目標(biāo)的檢測(cè)特征（即采用非集成模型進(jìn)行檢測(cè)），背景雜波較多影響檢測(cè)結(jié)果。圖4（e）為RSS方法，其受強(qiáng)雜波干擾，部分小目標(biāo)出現(xiàn)漏檢，但在圖4（f）中用集成模型RSSEM通過(guò)第二步可有效濾除強(qiáng)雜波。

圖4 集成模型與非集成模型的檢測(cè)效果：（a）輸入圖像，（b）真值，（c）顯著性圖，（d）穩(wěn)定性圖，（e）RSS，（f）RSSEMFig.4 Detection effect of integrated and non-integrated models：（a）input image，（b）ground truth，（c）saliency map，（d）stability map，（e）RSS，（f）RSSEM

2 結(jié)果與討論

2.1 度量標(biāo)準(zhǔn)與參數(shù)分析

本文實(shí)驗(yàn)采用數(shù)據(jù)集RSS［7］的3個(gè)子數(shù)據(jù)集。運(yùn)行平臺(tái)為matlab2018b，CPU為Intel Core i7-5500U。性能指標(biāo)包括精確度P、召回率R、P和R的調(diào)和值F。若檢測(cè)的結(jié)果與真實(shí)結(jié)果重疊超過(guò)50%則判為檢測(cè)成功。檢測(cè)指標(biāo)包含4種參數(shù)：1）小目標(biāo)檢測(cè)為小目標(biāo)（true positive，TP），出現(xiàn)的總次數(shù)標(biāo)記為DTP；2）小目標(biāo)檢測(cè)為雜波（false negative，F(xiàn)N），出現(xiàn)的總次數(shù)標(biāo)記為DFN；3）雜波檢測(cè)為小目標(biāo)（false positive，F(xiàn)P），出現(xiàn)的總次數(shù)標(biāo)記為DFP；4）雜波檢測(cè)為雜波（true negative，TN），出現(xiàn)的總次數(shù)標(biāo)記為DTN。相關(guān)定義如式（7）～（9）：

該模型RSSEM的參數(shù)包括小目標(biāo)大小ts，二值化閾值間隔δ，面積變化閾值 Δr，高斯低通濾波標(biāo)準(zhǔn)差σs，面積方差閾值 Δd，背景雜波閾值D。在數(shù)據(jù)集RSS上各參數(shù)的最優(yōu)值選取實(shí)驗(yàn)結(jié)果如圖5，根據(jù)平均F值的結(jié)果，相應(yīng)參數(shù)設(shè)置分別為：δ=16，D=150，ts=100，Δr=0.2，σs=30，Δd=30。

2.2 實(shí)驗(yàn)結(jié)果

本文比較了3種顯著性特征提取方法的運(yùn)行速度，如表1所示。第一種方法是對(duì)原始RGB圖像進(jìn)行高斯高通濾波；第二種采用文獻(xiàn)［7］中RSa方法實(shí)現(xiàn)從RGB到LAB的顏色空間轉(zhuǎn)換，再對(duì)LAB圖像進(jìn)行高斯高通濾波；第三種是本文方法先將彩色圖像灰度化，再進(jìn)行高斯高通濾波。結(jié)果表明在數(shù)據(jù)集RSS上本文方法的平均運(yùn)行速度比RSa快2倍，比用原圖直接檢測(cè)速度略快。本方法速度快的原因是灰度圖像為單通道圖像，只經(jīng)過(guò)一次高斯高通濾波，而彩色圖像為三通道圖像，需要經(jīng)過(guò)3次高斯高通濾波。

圖 5 RSSEM 的參數(shù)分析：（a） t s ，（b） δ ，（c） Δr ，（d） σs ，（e） Δd ，（f） DFig.5 Parameter analysis of RSSEM：（a） t s ，（b） δ ，（c） Δr ，（d） σs ，（e） Δd ，（f） D

表1 三種顯著性方法的運(yùn)行速度比較Tab.1 Comparison of running speeds of three saliency methods ms

圖6為在數(shù)據(jù)集RSS上采用本文方法的檢測(cè)效果。圖6（a）、圖6（c）分別為數(shù)據(jù)集 RSS的兩個(gè)輸入樣本圖像，圖6（b）和圖6（d）為其對(duì)應(yīng)的檢測(cè)結(jié)果。本文方法RSSEM通過(guò)白像素邊緣填充，解決了邊緣小目標(biāo)不易檢測(cè)或丟失的問(wèn)題［如圖6（b）所示］。本文方法在3個(gè)數(shù)據(jù)集上與其它同類(lèi)型集成模型進(jìn)行了比較，如表2所示。實(shí)驗(yàn)結(jié)果表明本文方法RSSEM在精確度、召回率、F值方面均優(yōu)于4 種集成方法，即“MSER+FT”［7］、“MSER+RSa”［7］、“MSER+RSa”［7］、RSS［7］方法。特別是在數(shù)據(jù)集 1中本文方法在3個(gè)性能指標(biāo)上都具有顯著優(yōu)勢(shì)，由于數(shù)據(jù)集1中圖像存在尺度變換，因而本算法在一定程度上適用于多尺度小目標(biāo)檢測(cè)。

圖6 RSSEM檢測(cè)效果：（a）輸入圖像，（b）圖（a）的檢測(cè)結(jié)果，（c）輸入圖像，（d）圖（c）的檢測(cè)結(jié)果Fig.6 Detection effect of RSSEM：（a）input image，（b）detection result of image（a），（c）input image，（d）detection result of image（c）

表2 集成方法效果比較Tab.2 Effect comparison of integration methods

3 結(jié) 論

針對(duì)RSS無(wú)法檢測(cè)邊緣小目標(biāo)和無(wú)法濾除強(qiáng)噪聲導(dǎo)致的目標(biāo)易丟失與虛警率高問(wèn)題，本文提出了一種基于區(qū)域顯著性和穩(wěn)定性增強(qiáng)的小目標(biāo)檢測(cè)方法。其中采用邊緣填充法使邊緣小目標(biāo)由非連通區(qū)域變?yōu)檫B通區(qū)域，利于處理邊緣小目標(biāo)，并采用閾值濾波濾除了部分邊緣強(qiáng)噪聲。RSSEM利用小目標(biāo)的內(nèi)在特性實(shí)現(xiàn)背景分離，比較適用于小目標(biāo)檢測(cè)，實(shí)驗(yàn)表明本方法能降低小目標(biāo)檢測(cè)的漏檢率和虛警率。雖然RSSEM的實(shí)際效果在一定程度上有所提升，但由于整個(gè)過(guò)程中增加了較多約束條件，該算法無(wú)法滿(mǎn)足實(shí)時(shí)性要求，下一步的工作重點(diǎn)是優(yōu)化約束條件以提高運(yùn)行效率。