基于局部協(xié)方差矩陣判別模型的紅外小目標(biāo)檢測(cè)方法

劉若陽(yáng),艾斯卡爾·艾木都拉

(新疆大學(xué)信息科學(xué)與工程學(xué)院,新疆 烏魯木齊 830046)

1 引 言

紅外小目標(biāo)自動(dòng)檢測(cè)是目標(biāo)自動(dòng)識(shí)別的最重要的方面[1-2]。對(duì)于預(yù)警應(yīng)用,必須在很遠(yuǎn)的距離時(shí)檢測(cè)到并傳入目標(biāo)。由于紅外傳感器離感興趣的物體相對(duì)較遠(yuǎn),因此該物體在紅外圖像中只占用幾個(gè)像素。感興趣對(duì)象的紅外輻射能量在很遠(yuǎn)的距離內(nèi)被極大地衰減,從而導(dǎo)致感興趣對(duì)象的信噪比(SNR) 通常非常低[3]。此外,目標(biāo)通常被埋在復(fù)雜的背景雜波中。而且,紅外圖像的亮度往往受到視場(chǎng)輻射源變異性的影響,紅外圖像經(jīng)常受到紅外傳感器噪聲的干擾。因此,紅外圖像的質(zhì)量往往很差。由于圖像質(zhì)量差,傳統(tǒng)的圖像描述符無法提供紅外小目標(biāo)檢測(cè)。所以,從質(zhì)量差的紅外圖像中進(jìn)行小目標(biāo)檢測(cè)需要克服許多挑戰(zhàn)。

由于小目標(biāo)一般呈規(guī)則的高斯光斑,所以近年來提出了許多基于目標(biāo)和背景間的差異的研究方法。文獻(xiàn)[4]從強(qiáng)度和梯度的角度來描述小目標(biāo)的兩個(gè)局部屬性以解決問題,從原始紅外圖像計(jì)算局部強(qiáng)度和梯度圖,以增強(qiáng)目標(biāo)并抑制雜波來進(jìn)行小目標(biāo)的檢測(cè)。文獻(xiàn)[5]提出了一種基于全方位多尺度的形態(tài)學(xué)濾波和局部特征準(zhǔn)則的點(diǎn)目標(biāo)檢測(cè)方法。文獻(xiàn)[6]對(duì)復(fù)雜背景下暗弱點(diǎn)目標(biāo)和背景雜波特性進(jìn)行了分析并提出了全方位多尺度的形態(tài)學(xué)濾波和局部特征準(zhǔn)則的點(diǎn)目標(biāo)檢測(cè)方法。基于點(diǎn)目標(biāo)的局部相關(guān)性以及目標(biāo)和背景的局部差異,文獻(xiàn)[7]提出了一種改進(jìn)的基于馬爾可夫隨機(jī)場(chǎng)的點(diǎn)目標(biāo)檢測(cè)算法。文獻(xiàn)[8]提出利用圖像局部區(qū)域相似性差異圖進(jìn)行小目標(biāo)檢測(cè)。文獻(xiàn)[9]提出了一種基于稀疏環(huán)表示(SRR)的小目標(biāo)檢測(cè)方法,SRR是一種有效的圖形結(jié)構(gòu),它可以描述背景和目標(biāo)之間的差異。文獻(xiàn)[10]將小目標(biāo)檢測(cè)作為恢復(fù)低階和稀疏矩陣的優(yōu)化問題,該方法利用非局部自相似特性,有效地將結(jié)構(gòu)邊緣與稀疏小目標(biāo)分離。文獻(xiàn)[11]利用非局部自相似度估計(jì)紅外圖像的背景,用于紅外小目標(biāo)的檢測(cè)。除上文提到的方法,還有基于圖像熵的小目標(biāo)檢測(cè)方法,文獻(xiàn)[12]提出了基于導(dǎo)數(shù)熵的對(duì)比度測(cè)量(DECM)的方法用于各種復(fù)雜背景雜波下的小目標(biāo)檢測(cè)。通過對(duì)圖像的多尺度灰度差和自適應(yīng)閾值操作對(duì)局部熵進(jìn)行加權(quán),文獻(xiàn)[13]提出了一種基于加權(quán)圖像熵的有效小目標(biāo)檢測(cè)方法。此外,目標(biāo)檢測(cè)還有許多其他算法,如基于幀差法和光流法的目標(biāo)檢測(cè)方法。文獻(xiàn)[14]提出了一種新的紅外目標(biāo)檢測(cè)模型,該模型結(jié)合了背景的自相關(guān)特征和時(shí)空域中目標(biāo)的共性特征,可以檢測(cè)一系列復(fù)雜背景紅外圖像中的目標(biāo)。文獻(xiàn)[15]提出了基于改進(jìn)的幀差法和背景差法實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測(cè)。由于無法利用單幀圖像或者普通幀頻的連續(xù)多幀圖像對(duì)低信噪比的高速運(yùn)動(dòng)點(diǎn)目標(biāo)進(jìn)行有效檢測(cè),文獻(xiàn)[16]提出了通過高時(shí)相探測(cè)對(duì)低信噪比的運(yùn)動(dòng)點(diǎn)目標(biāo)進(jìn)行檢測(cè)的解決思路。文獻(xiàn)[17]將光流法與邊緣檢測(cè)算法相結(jié)合,提出了一種基于改進(jìn)光流的多特征融合運(yùn)動(dòng)目標(biāo)檢測(cè)算法。目標(biāo)檢測(cè)還有許多其他算法,如基于流形學(xué)習(xí)、經(jīng)驗(yàn)?zāi)Ｊ椒纸夂蜕窠?jīng)網(wǎng)絡(luò)[18-19]的方法。然而,復(fù)雜背景下的小目標(biāo)檢測(cè)仍然是一個(gè)挑戰(zhàn)。

本文提出了基于圖像在四個(gè)方向上的變化以提高紅外小目標(biāo)檢測(cè)結(jié)果的準(zhǔn)確率。在紅外小目標(biāo)檢測(cè)過程中,提出一種新的基于圖像局部均值和方差的閾值公式來進(jìn)行小目標(biāo)與雜波的分割。

2 研究方法

因?yàn)閷⑿∧繕?biāo)從復(fù)雜的背景中直接分離出來是很困難的,所以本文提出了一種基于局部協(xié)方差矩陣判別模型的小目標(biāo)檢測(cè)的方法。

在本文中,通過計(jì)算窗口在圖像上的灰度變化值來檢測(cè)小目標(biāo)。關(guān)鍵的步驟包括將原始圖像轉(zhuǎn)換為灰度圖像,高斯平滑,計(jì)算局部極值,以及確認(rèn)小目標(biāo)。

在檢測(cè)小目標(biāo)的過程中,討論了圖像四個(gè)方向的梯度變化(x、y、yox和xoy方向)。在確定小目標(biāo)的過程中使用基于圖像均值和方差的新的自適應(yīng)閾值公式。如圖1所示,u表示目標(biāo)區(qū)域,整個(gè)圖像(幀)由I表示。在這種情況下,窗口v可以在I上移動(dòng)。

圖1 窗口示意圖

為了表達(dá)方便,將圖片中某個(gè)子區(qū)域的矩陣定義如下:

M(R(i,j))=[R(i,j)?w1R(i,j)?w2R(i,j)?w3R(i,j)?w4]

(1)

其中,R(i,j)是以點(diǎn)(i,j)為中心的一個(gè)子區(qū)域;M是它的矩陣;wk是自定義高斯核。

因此對(duì)于一個(gè)微小的移動(dòng)[u,v,m,n],可以得到如下的表示:

(2)

協(xié)方差矩陣C是一個(gè)關(guān)于待檢測(cè)圖像的4×4的矩陣:

(3)

C還可以表示為GTG,其中G的表示如下所示:

G(i,j)=[Ix(i,j)Iy(i,j)Ixoy(i,j)Iyox(i,j)]

(4)

矩陣C的特征值是λ1,λ2,λ3,λ4,矩陣C的特征向量是u1,u2,u3,u4。

基于矩陣C的SVD分解形式,可以得到如下表達(dá):

(5)

其中,U和V都是正交矩陣。

UTU=EVTV=E

(6)

因此可以計(jì)算出λ1,λ2,λ3,λ4和u1,u2,u3,u4的值。

本文提出了一個(gè)新的小目標(biāo)分割的方法:

K={T[k(λ1,λ2)]}AND{T[k(λ3,λ4)]}

(7)

其中,k表示一個(gè)能排除非目標(biāo)區(qū)域的函數(shù);T代表一個(gè)基于圖像局部均值及方差的閾值函數(shù)；AND操作是將置信圖進(jìn)行與操作。

為了直觀地顯示所提出的方法,在圖2中給出了目標(biāo)檢測(cè)系統(tǒng)。圖2主要描述了本文提出的小目標(biāo)檢測(cè)模型,第一步,輸入圖像并對(duì)圖像進(jìn)行預(yù)處理;第二步,根據(jù)所提出的算法對(duì)局部圖片進(jìn)行計(jì)算得到其局部協(xié)方差矩陣;第三步,使用一種新的基于圖像局部均值和方差的閾值公式來進(jìn)行小目標(biāo)的分割；第四步,輸出最終小目標(biāo)檢測(cè)結(jié)果。

圖2 提出的小目標(biāo)檢測(cè)模型

圖3是一張俯拍海面輪船的圖片各個(gè)區(qū)域的熱圖。圖3(a)～3(d)分別是區(qū)域1～4的熱圖。原圖像中像素值越大,在熱圖上就越紅,反之就越藍(lán),可以看出圖3(a)與圖3(c)包含興趣區(qū)域,其熱圖呈現(xiàn)為高斯光斑,中間是紅色,四周為藍(lán)色;圖3(b)包含平坦區(qū)域,其熱圖全為藍(lán)色;圖3(d)包含結(jié)構(gòu)化邊緣,從圖中可以明顯地看出平坦區(qū)域和邊緣的界限。

圖4是本文提出的紅外小目標(biāo)檢測(cè)方法的流程圖。

圖3 各個(gè)區(qū)域熱圖

圖4 基于本文提出的紅外目標(biāo)檢測(cè)算法的流程圖(其中圓圈包含紅外小目標(biāo))

如圖4所示,所有的小目標(biāo)檢測(cè)方法都可以分為兩個(gè)主要的步驟:紅外小目標(biāo)增強(qiáng)和紅外小目標(biāo)分割。紅外小目標(biāo)增強(qiáng)用于突出感興趣的紅外小目標(biāo)并抑制背景雜波,紅外小目標(biāo)分割能明確地識(shí)別感興趣的目標(biāo)。圖4中的第2、4和6張圖是第1、3和5張圖的3D網(wǎng)格視圖。在紅外小目標(biāo)增強(qiáng)步驟中,圖4中的第1個(gè)張圖是輸入,置信度圖是此步驟的輸出。如圖4的第3張圖像所示,置信度圖可以有效地識(shí)別小目標(biāo)。但是置信圖仍然包含誤檢情況。不過,誤檢情況很容易與紅外小目標(biāo)區(qū)分開。在小目標(biāo)分割步驟中,置信度圖是輸入,并且可以基于自適應(yīng)閾值從置信度圖中分割紅外小目標(biāo)。如第6張圖所示可以看到已經(jīng)去除了誤檢并且在分割步驟中明確地識(shí)別了紅外小目標(biāo)。圖5是紅外小目標(biāo)檢測(cè)過程中的中間結(jié)果圖,其中(a)列圖是輸入的原始圖像,(b)列是(a)列圖像在x與y方向的置信圖,(c)列是(a)列圖像在xoy與yox方向的置信圖,(d)列是根據(jù)圖像在x與y方向的變化檢測(cè)到的紅外小目標(biāo),(e)列是根據(jù)圖像在xoy與yox方向的變化檢測(cè)到的紅外小目標(biāo),(f)列是最終的小目標(biāo)檢測(cè)結(jié)果。

最后,將提出的紅外小目標(biāo)檢測(cè)方法的具體的過程總結(jié)成了算法1。

算法1:紅外小目標(biāo)檢測(cè)算法

輸入:原始紅外圖像。

輸出:最終檢測(cè)結(jié)果。

步驟①:將原始圖像切分為3×3的子區(qū)域；

步驟②:按照步驟①切分出子區(qū)域分別計(jì)算每個(gè)子區(qū)域的梯度變化量矩陣；

步驟③:通過式(2)、(3)分別計(jì)算x、y、xoy和yox方向的協(xié)方差矩陣C；

步驟④:根據(jù)式(5)、(6)計(jì)算協(xié)方差矩陣C的特征向量和特征值；

步驟⑤:通過步驟④中的特征向量和特征值可以計(jì)算得到兩個(gè)置信圖；

步驟⑥:通過式(7)對(duì)置信圖進(jìn)行自適應(yīng)閾值操作,將檢測(cè)目標(biāo)與雜波分開。

3 實(shí)驗(yàn)總結(jié)

本次實(shí)驗(yàn)環(huán)境是在8 GB 內(nèi)存和3.60 GHz Intel i7處理器的計(jì)算機(jī)上,基于 C++的環(huán)境下實(shí)現(xiàn)的。本文提出的方法可以改善圖像的SNR以提高檢測(cè)精度。在實(shí)驗(yàn)中,每個(gè)圖像的檢測(cè)率(DR)和虛警率(FAs)被用作比較的標(biāo)準(zhǔn)?，F(xiàn)在有DR=(NC/NT)×100 %和FA=NIC/N,其中NC是正確檢測(cè)到的目標(biāo)的數(shù)量,NT是真實(shí)目標(biāo)的數(shù)量,NIC是錯(cuò)誤檢測(cè)到的目標(biāo)的數(shù)量,N是序列的長(zhǎng)度。

圖5 紅外小目標(biāo)檢測(cè)過程中的處理圖(圓圈是紅外小目標(biāo)所在的區(qū)域)

如表1所示,該實(shí)驗(yàn)的數(shù)據(jù)來源包括天空、航拍地面車輛和航拍海面船舶的圖像,分別在圖像中檢測(cè)飛機(jī)、車輛和船只。圖6顯示了不同k值對(duì)檢測(cè)數(shù)量的影響:增加k值將降低目標(biāo)檢測(cè)的靈敏度并減少檢測(cè)到的目標(biāo)數(shù)量;降低k值將增加目標(biāo)檢測(cè)的靈敏度并增加檢測(cè)到的目標(biāo)數(shù)量?？梢钥闯霎?dāng)k值取0.06時(shí),檢測(cè)效果最好。

圖6 不同的參數(shù)k的ROC曲線

表1 測(cè)試數(shù)據(jù)集

為了驗(yàn)證所提出的紅外小目標(biāo)檢測(cè)方法的有效性,本文實(shí)現(xiàn)了提出的紅外小目標(biāo)檢測(cè)方法,并與Top-Hat方法、LCM方法、ILCM方法和MPCM方法結(jié)果進(jìn)行了比較。表2顯示了基于航拍天空序列數(shù)據(jù)集該文檢測(cè)方法與現(xiàn)有紅外小目標(biāo)檢測(cè)方法的性能對(duì)比。將k值設(shè)為0.06,對(duì)本文方法進(jìn)行性能評(píng)估,圖7是基于航拍天空序列數(shù)據(jù)集的四種點(diǎn)目標(biāo)檢測(cè)方法的ROC曲線。通過對(duì)比,本文提出的方法檢測(cè)效果最好,ILCM方法和Top-Hat方法也能達(dá)到較好的效果,LCM方法的檢測(cè)性能較差。雖然不規(guī)則的云邊紋理和嚴(yán)重的噪聲對(duì)本文提出的檢測(cè)算法有一定的影響,從圖中可以看出本文所提出的方法相對(duì)與其他方法有較好的結(jié)果且該方法的穩(wěn)定性和魯棒性較好,可以比其他紅外小目標(biāo)檢測(cè)方法有效地檢測(cè)目標(biāo)。

表2 該文檢測(cè)方法與現(xiàn)有方法的對(duì)比

圖7 不同的方法的ROC曲線

最后,圖8顯示了測(cè)試數(shù)據(jù)中天空序列的12幀圖像的軌跡和誤差曲線。

(a)使用三種不同的方法獲取到的目標(biāo)運(yùn)動(dòng)軌跡及真實(shí)目標(biāo)運(yùn)動(dòng)軌跡

(b)Top-Hat方法的誤差曲線

(c)ILCM方法的誤差曲線

(d)本文方法的誤差曲線

在圖8(a)中顯示出了三種檢測(cè)方法的軌跡,并且所提出的方法跟蹤軌跡幾乎與目標(biāo)的真實(shí)運(yùn)動(dòng)軌跡匹配。圖8(b)和圖8(c)分別是Top-Hat小目標(biāo)檢測(cè)方法和ILCM方法檢測(cè)軌跡的垂直誤差和水平誤差。從圖8(d)可以看出,通過使用所提出的方法,垂直誤差小于1個(gè)像素并且水平誤差小于4個(gè)像素。通常,如果地面實(shí)況和檢測(cè)位置之間的距離在閾值(5個(gè)像素)內(nèi),則該檢測(cè)方法是有效的。

4 總 結(jié)

本文提出了一種有效的基于局部協(xié)方差矩陣判別模型的小目標(biāo)檢測(cè)方法。紅外小目標(biāo)檢測(cè)的關(guān)鍵思想是將原始問題分解為兩個(gè)更容易的子問題,具有明確的意義。在紅外小目標(biāo)增強(qiáng)步驟中,使用基于雙協(xié)方差矩陣的目標(biāo)增強(qiáng)方法。在目標(biāo)分割階段,提出了一種基于自適應(yīng)閾值的分割方法,用于從非結(jié)構(gòu)化雜波和噪聲中分割小目標(biāo)。實(shí)驗(yàn)結(jié)果表明,該方法明顯優(yōu)于現(xiàn)有的一些經(jīng)典紅外小目標(biāo)檢測(cè)算法。此外,該算法既可以直接用于單幀目標(biāo)檢測(cè),也可以用作實(shí)時(shí)應(yīng)用的順序目標(biāo)跟蹤的基礎(chǔ)模塊。