陳紫強,梁 晨
(桂林電子科技大學a.信息與通信工程系;b.認知無線電與信息處理教育部重點實驗室,廣西 桂林541004)
在盡可能遠的距離依然可以有效檢測與跟蹤目標,是紅外小目標自動檢測與跟蹤技術(shù)的研究意義。然而遠距離成像時,目標表現(xiàn)為信噪比較低的點狀小目標,沒有明顯的紋理、大小、形狀等特征,容易淹沒在背景雜波中,給目標的檢測帶來了很大的困難[1]。
為了有效檢測低信噪比條件下的紅外小目標,國內(nèi)外眾多學者進行了廣泛而深入的研究。近年來,基于人類視覺機制(Human Visual System,HVS)的目標檢測算法由于具備良好的檢測性能引起了學者們的廣泛關(guān)注。文獻[2]提出局部對比度算法(Local Contrast Measure,LCM),通過目標局部區(qū)域的最大像素值與周圍局部背景塊的最大均值之間的比值來增強目標與背景之間的對比度,但是該算法容易受到高亮點噪聲的影響。針對這一問題,文獻[3]提出了局部差異對比度算法(Difference-Based Local Contrast Method,DBLCM),使用目標局部區(qū)域的均值與背景區(qū)域的最大均值來增強目標,以及利用抑制因子來消除高亮點噪聲干擾。針對傳統(tǒng)LCM算法計算耗時高的問題,文獻[4]提出了雙層局部對比度機制算法(Double-layer Local Contrast Measure,DLCM)。該算法通過雙層對角灰度差對比度機制,增強目標的同時也能很好地抑制背景雜波,并且通過單尺度窗口進行圖像遍歷,計算量大大降低。然而,這些基于空間濾波的單幀檢測算法往往檢測能力有限,因為忽略了多幀序列中目標的時間相關(guān)性,很難完全消除虛警。
文獻[5]提出了一種時空局部對比度濾波算子(Spatial-Temporal Local Contrast Filter,STLCF),采用空域局部對比度和時域局部對比度算子同時來增強目標與局部背景之間的差異,但該算法在遠距離場景下的檢測性能有限。文獻[6]提出了時空域聯(lián)合預測模型(Spatial-Temporal Local Contrast Map,STLCM),在空間域利用均值濾波來預測背景,同時結(jié)合時域的局部對比度差異信息進行小目標的檢測。該算法能夠很好地抑制高亮背景,但易受到高亮點噪聲的干擾,導致虛警率高。文獻[7]提出了時空局部差分算法(Spatial-Temporal Local Difference Measure,STLDM),通過構(gòu)造一個三維的時-空域滑動窗口,在時域和空域同時進行目標局部對比度的計算,使得檢測結(jié)果得到了很大的提高,但是該算法在遠距離場景下易受到高亮度背景物體以及背景邊緣的干擾。
針對遠距離場景下目標信噪比低的情況,本文提出了一種時空域相融合的紅外弱小目標檢測算法。實驗結(jié)果證明,在遠距離復雜場景下,該算法能夠很好地降低虛警,同時保持較高的檢測率。
時空域融合檢測算法主要包括空域相對局部對比度算法(Relative Local Contrast Measure,RLCM)、時域局部差分算法(Temporal Local Difference Algorithm,TLCD)、時空域融合的局部顯著檢測圖(Spatial-Temporal Relative Local Contrast Difference,STRLCD),自適應(yīng)閾值分割。本文的目標檢測算法框圖如圖1所示。
基于人類視覺對比度機制(Human Visual System,HVS)相關(guān)的最經(jīng)典的算法就是LCM[2],后續(xù)的很多算法都是在LCM算法上的延伸,本文采用的RLCM[8]算法就是在LCM算法的基礎(chǔ)上進行的改進。
LCM提出使用一個滑動窗口在圖像上從左至右、從上至下逐像素滑動,如圖2所示。每個窗口被劃分成9個子窗口,如圖3所示。中間區(qū)域0是目標可能出現(xiàn)的區(qū)域,在它周圍的區(qū)域1~8代表局部背景塊。
圖2 目標區(qū)域與局部背景區(qū)域的定義
圖3 LCM算法滑動窗口
LCM算法計算目標局部對比度的公式可表示為
(1)
式中:L0為中心目標區(qū)域塊的最大值;mi為周圍第i個局部背景塊的灰度均值。
LCM算法通過式(1)的比值運算可以很好地增強目標,但是很容易對高亮度背景物體以及噪聲點也進行增強,使得虛警目標增多。
針對這種情況,本文采用RLCM算法來進行空域局部對比度的計算。RLCM算法不僅采用了比值運算來進行目標的增強,而且還采用差值運算來進一步抑制高亮背景,因此相較于其他算法,具有更好的魯棒性;同時該算法結(jié)構(gòu)簡單,只采用局部背景塊和中心區(qū)域塊中的k個參數(shù)進行計算,相比于傳統(tǒng)LCM算法,檢測速度得到大大提高。RLCM算法的滑動窗口如圖4所示。由于遠距離背景下紅外目標多呈現(xiàn)點狀,目標尺寸通常不大于3×3,本實驗所選取的局部子塊窗口尺寸大小為3×3。
圖4 RLCM算法的滑動窗口
中心窗口的像素點的RLCM定義如公式(2)~(5)所示:
(2)
(3)
(4)
(5)
傳統(tǒng)的紅外小目標檢測算法大多都是基于空域濾波的單幀檢測方法,此類算法由于忽略了多幀序列中運動目標的時空相關(guān)性,在復雜場景下的檢測能力有限,會造成大量虛警。
對于目標而言,在不同幀圖像中所處的位置不同,相應(yīng)的灰度強度也會發(fā)生一定的變化[7]。然而,對于圖像中的高亮點噪聲大多都是隨機產(chǎn)生的,在圖像中所處位置相對固定,灰度值也不會發(fā)生變換。由此,采用時域局部差分算法,利用目標中心區(qū)域在時空域的灰度強度變化,進一步提高目標檢測率,抑制虛警目標。時域局部差分的計算公式如式(6)~(9)所示:
Imax=max{MTfn-t,MTfn,MTfn+t},
(6)
Imin=min{MTfn-t,MTfn,MTfn+t},
(7)
TLCD(i,j)=(Imax-Imin)2,
(8)
(9)
式中:MTfn、MTfn-t分別代表當前第n幀以及第n-t幀的中心目標區(qū)域塊(3×3)的最大灰度值,t為間隔的幀數(shù)。序列圖像間隔幀t的選取會影響一定的檢測結(jié)果,本文采用t=3。
對于空域RLCM算法,采用式(2)中的比值運算和差分運算可以增強目標以及抑制高亮度背景的干擾,但是當圖像中存在高亮度固定噪聲點時,此種算法也會增強噪點,使得檢測結(jié)果中存在大量虛警。
對于時域局部差分TLCD算法,利用了目標的時域運動特征,可以檢測出運動的目標,消除固定噪點的干擾。由于在圖像序列中背景也存在相對運動,所以當紅外圖像中背景物的亮度明顯大于目標時,TLCD算法很難抑制高亮背景物的干擾。
因此,為了提高檢測率,并且更好地降低虛警率,將空域濾波結(jié)果和時域濾波結(jié)果進行乘積融合,如式(10)所示:
STRLCM(i,j,n)=RLCM(i,j,n)×TLCD(i,j,n) 。
(10)
STRLCM定義為時空域相融合的局部顯著檢測圖。對于單獨的空域RLCM檢測算法和時域TLCD檢測算法,都可以大致檢測出目標位置,但在復雜場景下,目標容易淹沒在大量虛警下??沼蚝蜁r域檢測算法都會產(chǎn)生虛警,但產(chǎn)生虛警的位置不相同,而目標位置相同。因此通過乘積融合,使得目標得以保留同時增強,背景物以及噪聲得到極大抑制,從而虛警率大大降低。
融合RLCM和TLCD的濾波結(jié)果得到的顯著檢測圖STRLCM中,目標得到增強,高亮背景物、背景邊緣以及高亮噪聲點等干擾目標都得到了抑制。當STRLCM的值越大時,說明此處為真實目標的概率越大。
通過對局部顯著檢測圖進行自適應(yīng)閾值分割[4],即可提取出真實的紅外小目標。本文中閾值分割的表達式為
TH=μSTRLCM+kσSTRLCM。
(11)
式中:μSTRLCM和σSTRLCM分別代表時空域相結(jié)合檢測圖STRLCM的均值和標準差;k值為分割系數(shù),k值的選取需要根據(jù)實際場景而定。本文通過對所采用的數(shù)據(jù)集進行驗證,選取k為[20,45]之間。經(jīng)過TH閾值分割后即可得到最終的檢測結(jié)果。
本文數(shù)據(jù)集中的目標尺寸較小,在256×256的圖片像素中只占到不到2×2的像素范圍,因此,局部塊的濾波窗口采用3×3的大小即可。空域RLCM算法中K1和K2的參數(shù)根據(jù)虛警率進行選取,K1和K2選取過大會影響計算效率,因此選取過小不能很好地抑制噪點。因此,選取K1=2、K2=4作為參數(shù)的應(yīng)用,便可以有效地檢測到目標。
對于時域TLCD算法中幀數(shù)t的選取,t選取過小,目標的位置發(fā)生變化不大,目標灰度值的變化不夠明顯,檢測效果不好;t選取過大,容易造成高亮度噪點的誤檢。因此,本實驗采用t=3作為參數(shù)。
對于自適應(yīng)閾值中分割系數(shù)K值的選取,根據(jù)虛警率進行選取,選取的K值參數(shù)要使虛警率盡可能小,由于不同場景下閾值的選取不是固定的,因此選取了[20,45]這個適應(yīng)的范圍進行目標的檢測。
為了驗證本文算法的有效性,引用文獻[9]中的遠距離紅外真實場景進行紅外目標檢測的實驗,采用數(shù)據(jù)集中的data6、data8、data18、data19四組不同的遠距離場景下的圖像序列。表1給出了四組圖像序列的詳細信息。本文所有試驗均在一臺采用2.2 GHz英特爾酷睿i7-10700F處理器、內(nèi)存(RAM)為8 GB的臺式電腦上運行,所使用的測試軟件為Pycharm2019。
表1 四組圖像序列的詳細信息
圖5展示了本文算法對data6圖像序列中取某幀圖片的濾波結(jié)果,分別顯示空域RLCM濾波結(jié)果、時域TLCD濾波結(jié)果,以及STRLCM的濾波結(jié)果。圖5中紅色框代表了目標所在的位置。
圖5 時空域融合STRLCM濾波結(jié)果三維圖
對于圖5(a)中data6序列圖像選取的這幀圖片可以看出,目標信噪比極低,并且淹沒在高亮度地面背景邊緣中。從圖5(b)的空域RLCM濾波結(jié)果可以看出,雖然檢測出了目標的位置,但目標周圍存在大量虛警,甚至虛警的RLCM檢測值大于目標的檢測值。從圖5(c)時域TLCD濾波的檢測結(jié)果可以看出,目標位置的檢測結(jié)果值小于虛警的檢測結(jié)果值,使得容易造成誤檢現(xiàn)象。圖5(d)對應(yīng)的本文算法的結(jié)果顯示,虛警得到很好抑制,并且目標得到增強。上述結(jié)果可以解釋為:單獨的空域和時域處理產(chǎn)生的目標位置相同,虛警位置不同,通過時空域融合處理,目標位置信息得到保留,虛警被相互抵消,使得虛警率較大程度地降低。
為了評價本文算法的性能,將本文算法與STLCF算法[5]、STLCM算法[6]、STLDM算法[7]進行性能比較。圖6給出了各個算法的檢測結(jié)果圖。輸入圖片來自于表1中四組紅外圖像序列所選取的某幀紅外原圖,本文算法的閾值選取為25,每個算法的間隔幀數(shù)t都選取為3。圖6中黑色框代表了檢測到的目標。
圖6 各個算法檢測結(jié)果圖
由圖6可以看出,相比較其他算法,STLDM算法和本文算法可以很好地檢測出data8、data18、data19圖像序列中的小目標,而 data6圖像序列的這幀圖片只有本文算法正確檢測到了目標,并且沒有虛警目標,說明本文算法對高亮度背景干擾物以及高亮點噪聲的抑制效果很好。
為了衡量相關(guān)算法的檢測性能,本文采用信雜比增益(Signal Clutter Ratio Gain,SCRG)和背景抑制因子(Background Suppress Factor,BSF)[10],以及檢測率(Pd)、虛警率(Pf)[3]作為評價指標,對各個算法進行比較。通過比較各個算法的SCRG值、BSF值以及檢測率和虛警率值,可以有效判斷算法對真實目標的檢測性能。對于SCRG值和BSF值分表代表對目標的增強能力以及對背景的抑制能力,兩者的值越大,說明目標越容易被檢測到,算法的性能越好。而針對Pd值和Pf值,Pd值越大,Pf值越小,代表對應(yīng)算法的檢測結(jié)果越好。各個指標定義如公式(12)~(16)所示:
(12)
(13)
(14)
(15)
(16)
式(12)中:GT為目標區(qū)域的最大灰度值;Gb為目標周圍局部背景區(qū)域的平均灰度值;σb為目標周圍局部背景區(qū)域的標準差。目標區(qū)域取3×3尺寸大小,局部背景區(qū)域取7×7尺寸大小。式(14)中,σin和σout分別表示原始圖像和檢測結(jié)果圖STRLCM的標準差。
表2~5分別展示了各個算法對序列圖像的檢測性能指標。
表2 各圖像序列下(取其中一幀為例)不同算法的SCRG值
表3 各圖像序列(取其中一幀為例)不同算法的BSF值
表4 各圖像序列(取其中一幀為例)不同算法的檢測率
表5 各圖像序列(取其中一幀為例)不同算法的虛警率
從表2~3可以看出,data6、data18、data19中本文算法的信噪比增益SCRG值都是最高的,data8中最高值是STLDM算法,但是本文算法和其結(jié)果相差不大。本文算法的背景抑制因子BSF值最高。因此,相比較其他算法而言,本文算法不僅能很好地增強目標,同時更好地抑制了高亮背景。
從表4~5可以看出,在data8中,本文算法的檢測率不及STLDM算法的檢測率,但本文算法的虛警率相比較其降低了0.237。綜合而言,本文算法相比較于其他算法,能夠得到較好檢測結(jié)果的同時保持更低的虛警率。
data8數(shù)據(jù)序列中存在目標丟失以及畫面模糊等現(xiàn)象,導致本文算法的檢測效果不及STLDM檢測算法。這是由于STLDM算法采用了局部幀差分的思想,當某幀中目標丟失,但下一幀或隔幾幀目標又重新出現(xiàn),那么通過隔幀相差,目標的灰度值還是存在,便盡可能不會漏檢目標。而本文算法僅僅在時域采取了目標灰度值的變換大小進行差分運算,當目標在圖像中丟失時灰度值大小并沒有改變,目標沒有得到增強,檢測效果也就不好。因此在利用目標時域的灰度值變化,同時加上隔幀差分的思想,可以進一步提高檢測效果。
本文針對遠距離復雜場景提出了時空域濾波融合的方法進行紅外小目標檢測。在空間域,采用相對局部對比度算法(RLCM)增強目標,同時抑制高亮度背景。在時間域,通過時域局部差分算法(TLCD)來消除固定高亮噪聲點的干擾。融合時域和空域的檢測結(jié)果,可以更好地增強目標與背景之間的差異性,抑制高亮度噪點,從而更準確地提取出目標,大大降低了虛警率。有效的紅外小目標檢測在精確制導以及安防預警中起到重要作用,檢測出低虛警率的紅外小目標為后期對真實目標的實時跟蹤提供了良好的基礎(chǔ)。