基于多特征融合的紅外目標(biāo)識(shí)別算法*

吳彩蓮，郝永平，張 樂，王 磊

(沈陽(yáng)理工大學(xué)兵器科學(xué)技術(shù)研究中心， 沈陽(yáng) 110159)

0 引言

隨著紅外圖像的目標(biāo)識(shí)別在軍事等領(lǐng)域發(fā)揮越來(lái)越重要的研究?jī)r(jià)值與意義[1-2]，紅外背景條件也愈來(lái)愈復(fù)雜，干擾信息以及目標(biāo)特性更加多樣化等不可抗力因素的存在，導(dǎo)致紅外目標(biāo)識(shí)別[3]面臨很大挑戰(zhàn)。早期，人們更加關(guān)注如何選擇與提取比較單一的特征來(lái)描述紅外圖像目標(biāo)的性能，隨著環(huán)境條件的復(fù)雜多變，一種特征遠(yuǎn)不能更有效表征目標(biāo)特性來(lái)完成目標(biāo)的追蹤識(shí)別。紅外目標(biāo)的顏色特征對(duì)物體形態(tài)的變化和變形敏感性不高，當(dāng)物體發(fā)生旋轉(zhuǎn)或尺寸的變化時(shí)可保持一定的魯棒性，但當(dāng)目標(biāo)環(huán)境非常相似時(shí)，背景顏色無(wú)法精確區(qū)分，導(dǎo)致紅外目標(biāo)識(shí)別效果很差。同時(shí)為了區(qū)別背景環(huán)境中靜態(tài)干擾物體，目標(biāo)的運(yùn)動(dòng)特征尤其重要[4]。邊緣特征對(duì)目標(biāo)運(yùn)動(dòng)敏感度較高，即目標(biāo)的細(xì)微移動(dòng)非常容易引起該特征局部明顯的變化。但該特征量不易受到外界光線和其他因素變化的影響，對(duì)目標(biāo)圖像的顏色特征量變換依賴性也較小。

通過(guò)以上分析，當(dāng)采用較多特征融合處理可以提高其跟蹤識(shí)別精度，但隨之嚴(yán)重降低識(shí)別的實(shí)時(shí)性能。故提出將目標(biāo)的顏色特征、運(yùn)動(dòng)特征和邊緣這三種特征融合的粒子濾波算法進(jìn)行紅外目標(biāo)識(shí)別與跟蹤處理。該算法主要利用了基于HSV顏色空間的直方圖提取紅外目標(biāo)的顏色特征[5]；大津法(Ostu)進(jìn)行閾值分割來(lái)獲取紅外目標(biāo)的輪廓、中值濾波算法除噪以及運(yùn)用形態(tài)學(xué)完成目標(biāo)輪廓的腐蝕運(yùn)算從而獲取紅外目標(biāo)的運(yùn)動(dòng)特征；同時(shí)利用選用梯度算子對(duì)圖像目標(biāo)的邊緣檢測(cè)處理，該算法主要步驟是將源彩色圖像進(jìn)行灰度轉(zhuǎn)換，并利用Sobel算子，即檢測(cè)效果最好的算子進(jìn)行邊緣檢測(cè)，計(jì)算每個(gè)像素的梯度幅值和方向，提取出該邊緣特征的直方圖。最后基于粒子濾波框架下對(duì)以上三種特征數(shù)據(jù)融合處理，將融和數(shù)據(jù)應(yīng)用于粒子權(quán)值計(jì)算，提高紅外目標(biāo)在復(fù)雜多變環(huán)境下跟蹤識(shí)別的魯棒性、準(zhǔn)確性等。

1 紅外目標(biāo)的融合特征提取

1.1 顏色特征的提取

由于顏色特征對(duì)物體形態(tài)的變化和變形并不敏感，當(dāng)物體的方向、尺寸等發(fā)生變化時(shí)仍能保持一定的魯棒性，所以在紅外圖像的目標(biāo)跟蹤識(shí)別中應(yīng)用十分的廣泛。

圖1 HSV顏色空間

HSV顏色空間是主要以顏色的色調(diào)(hue，H)、飽和度(saturation，S)與亮度(value，V)來(lái)描述的非線性系統(tǒng),可表示為圓錐模型，如圖1所示。該空間可直接對(duì)顏色分量提取，更貼合人類的視覺要求使之對(duì)色差均勻感知，減少光照帶來(lái)的影響。本實(shí)驗(yàn)主要把HSV顏色空間即256×256×256，分別量化H分量為 16級(jí)，S和V化為4級(jí)即16×4×4，最后完成3個(gè)顏色分量合成向量L，且該向量為一維，取值域[0,255]。最后通過(guò)計(jì)算該目標(biāo)的區(qū)域各分量及合成量直方圖[6]，如圖2所示，目標(biāo)模板概率計(jì)算公式如下：

(1)

1)a是內(nèi)核帶寬，K(x)是內(nèi)核函數(shù)，且常用內(nèi)核函數(shù)公式:

(2)

式中:1>d為距離該目標(biāo)模板的區(qū)域中心點(diǎn)的距離；2>K(x)應(yīng)用于給像素賦較小權(quán)值，且該像素滿足距離該區(qū)域中心較遠(yuǎn)，減少邊界對(duì)該目標(biāo)的影響。

3)z0(x0,y0)為該目標(biāo)的區(qū)域中心，其中(x0,y0)代表其中心區(qū)域的坐標(biāo)點(diǎn)；

4){zi(xi,yi),i=1,2,3,…,n}為目標(biāo)該區(qū)域像素點(diǎn)的坐標(biāo)；

同理，后續(xù)分幀過(guò)程中，所選取的目標(biāo)位置y坐標(biāo),該向量模型計(jì)算公式：

(3)

圖2 各分量及合成量直方圖

由圖2可以看出：圖2(a)表示提取色調(diào)H分量的顏色直方圖，其中橫坐標(biāo)表示bins，即H分量顏色劃分的塊數(shù)，縱坐標(biāo)表示H顏色分量中對(duì)應(yīng)像素點(diǎn)的數(shù)量。當(dāng)bins取值為50時(shí)，即將分量H顏色范圍分成50塊，此時(shí)圖像中對(duì)應(yīng)每塊區(qū)域內(nèi)所包含像素點(diǎn)的總個(gè)數(shù)，由圖看出約為0.23×104即為每塊相應(yīng)直方圖的高度值為0.23×104；同理，圖2(b)表示提取量度V分量的顏色直方圖；圖(c)表示提取飽和度S分量的顏色直方圖；圖2(d)表示提取3個(gè)顏色分量的合成向量直方圖。

1.2 運(yùn)動(dòng)特征的提取

紅外目標(biāo)粒子的細(xì)微移動(dòng)會(huì)導(dǎo)致其邊緣輪廓信息的變化，因此通過(guò)大津法(Ostu)進(jìn)行紅外目標(biāo)閾值分割獲取其輪廓數(shù)據(jù)，然后利用中值濾波算法降低噪聲，最后運(yùn)用形態(tài)學(xué)完成目標(biāo)輪廓的腐蝕運(yùn)算最終獲取紅外目標(biāo)的運(yùn)動(dòng)特征，如圖3所示。

圖3 運(yùn)動(dòng)特征提取算法

具體求解步驟如下：

1)利用大津算法紅外圖像的灰度圖像二值化分割[7]，獲取最大的目標(biāo)像素與背景像素的類間方差。

設(shè)圖像F(x,y),T為目標(biāo)與背景的分割閾值，w0為目標(biāo)像素占據(jù)整張圖像像素的比例，并且目標(biāo)的平均灰度值記為ε0。令背景像素占據(jù)整張紅外圖像像素的比例為w1,ε1為背景像素的平均灰度值。

整張紅外圖像的平均灰度值為ε，類間方差值為ρ。設(shè)m×n的紅外圖像，其背景條件比較昏暗，當(dāng)圖像像素灰度值為n0時(shí)，滿足n0T，故經(jīng)過(guò)計(jì)算最終可得類間方差值ρ：

ρ=w0w1(ε0-ε1)2

(4)

利用遍歷法計(jì)算出類間方差值ρ及最大閾值T,最后利用 Ostu算法的閾值分割來(lái)獲取二值圖像。

2)以上獲取的二值圖像因存在一些較小的孤立噪聲點(diǎn)，故本實(shí)驗(yàn)采用幾何均值濾波算法有效的將其去除并且較好的獲取紅外圖像的邊緣輪廓信息?？紤]算法過(guò)程中，鄰幀間采用時(shí)間很短，并且目標(biāo)的運(yùn)動(dòng)幅度也較小，因此實(shí)驗(yàn)選擇二階的常速模板作為目標(biāo)的運(yùn)動(dòng)模板來(lái)分析研究目標(biāo)粒子狀態(tài)的轉(zhuǎn)移，故該目標(biāo)域：

(5)

紅外圖像的目標(biāo)粒子狀態(tài)轉(zhuǎn)移的運(yùn)動(dòng)方程為：

Xg=AXg-1+Vg-1

(6)

式中：A為6×6的狀態(tài)轉(zhuǎn)移矩陣，且令

(7)

式中：Δt是每?jī)蓚€(gè)幀之間時(shí)間的間隔；Vg-1代表高斯噪音。

1.3 邊緣特征的提取

本實(shí)驗(yàn)主要選取梯度算子進(jìn)行邊緣特征量的提取，將源紅外圖像進(jìn)行灰度轉(zhuǎn)換，并利用Sobel算子進(jìn)行邊緣檢測(cè)[8]，通過(guò)計(jì)算每個(gè)像素的梯度幅值和方向，提取該邊緣特征的直方圖，如圖4示。

令紅外圖像的目標(biāo)模板中像素點(diǎn)是k(i,j),(i,j)的梯度定義如下：

(8)

分別采用水平和豎直Sobel算子對(duì)該像素點(diǎn)分解處理，獲取橫向和縱向的梯度值，且兩個(gè)卷核為Gx(i,j)、Gy(i,j)。使用范數(shù)對(duì)該像素點(diǎn)的幅值衡量近似為:

|G(x,y)|≈max(|Gx(i,j)|,|Gy(i,j)|)

(9)

該像素點(diǎn)的梯度方向：

(10)

設(shè)λ為目標(biāo)的邊緣閾值，故此時(shí)該像素點(diǎn)的梯度方向從新定義為：

(11)

(12)

考慮本實(shí)驗(yàn)中所建立的目標(biāo)模板以及候選目標(biāo)模板可以使用巴氏系數(shù)進(jìn)行衡量，故令該候選目標(biāo)模板的邊緣直方圖是Kr，得

(13)

所以，基于該目標(biāo)的邊緣特征，每一個(gè)粒子的觀測(cè)率，即目標(biāo)模板和候選目標(biāo)模板的相似度為：

(14)

圖4 邊緣特征提取算法流程

2 基于特征融合的紅外目標(biāo)跟蹤識(shí)別算法

2.1 選擇機(jī)制融合

本實(shí)驗(yàn)主要將顏色特征、運(yùn)動(dòng)特征和邊緣特征這三大特征進(jìn)行融合，然后采用粒子濾波框架進(jìn)行紅外目標(biāo)跟蹤識(shí)別處理。對(duì)于紅外目標(biāo)圖像的顏色特征，主要應(yīng)用基于HSV顏色空間的直方圖來(lái)建立目標(biāo)的模型；然后大津法(Ostu)對(duì)圖像的閾值分割進(jìn)一步獲取該紅外目標(biāo)的輪廓、中值濾波算法除噪以及運(yùn)用形態(tài)學(xué)完成目標(biāo)輪廓的腐蝕運(yùn)算從而獲取紅外目標(biāo)的運(yùn)動(dòng)特征；同時(shí)對(duì)邊緣特征的提取主要利用Sobel算子對(duì)目標(biāo)圖像的邊緣檢測(cè)，通過(guò)計(jì)算每個(gè)像素點(diǎn)梯度幅值、方向提取其邊緣方向直方圖。下一步實(shí)驗(yàn)將基于粒子濾波框架下對(duì)以上三種特征數(shù)據(jù)融合處理，最后把融和數(shù)據(jù)應(yīng)用于粒子權(quán)值計(jì)算，獲得該目標(biāo)更準(zhǔn)確、精準(zhǔn)的位置狀態(tài)估計(jì)值[9]。考慮在實(shí)驗(yàn)中需要在視頻幀中完成對(duì)紅外運(yùn)動(dòng)目標(biāo)的跟蹤與識(shí)別，故以運(yùn)動(dòng)特征量作為整個(gè)特征的基礎(chǔ)，并選取式(6)為本實(shí)驗(yàn)的粒子狀態(tài)轉(zhuǎn)移方程，基于該基礎(chǔ)上進(jìn)一步處理顏色和邊緣特征的數(shù)據(jù)融合算法[10]。

(15)

(16)

(17)

(18)

求取最終目標(biāo)位置的狀態(tài)估計(jì)，即

(19)

在實(shí)際跟蹤識(shí)別中，當(dāng)外界光照不能滿足條件和目標(biāo)的姿態(tài)、形狀等變化時(shí),需要在每次跟蹤識(shí)別后，再次更新特征的權(quán)值。設(shè)第k幀目標(biāo)位置狀態(tài)估計(jì)是φ，故通過(guò)該估計(jì)值提取的特征量與所建立的目標(biāo)模板對(duì)比，并結(jié)合巴氏系數(shù)進(jìn)一步對(duì)其度量[11]。實(shí)驗(yàn)結(jié)果中：巴氏系數(shù)若小于某設(shè)置閾值，則表明所建立的模板中，該特征量并不適應(yīng)目標(biāo)的跟蹤識(shí)別環(huán)境，故需對(duì)建立的目標(biāo)模板適當(dāng)更新處理?？紤]到目標(biāo)的各特征量各不相同，因此在整個(gè)實(shí)驗(yàn)環(huán)節(jié)依據(jù)準(zhǔn)確跟蹤目標(biāo)時(shí)及跟蹤時(shí)窗口的偏移的不同設(shè)置閾值。建立的目標(biāo)模型更新公式如下：

(20)

2.2 特征融合算法流程

根據(jù)上述分析可得，在粒子濾波理論基礎(chǔ)上完成對(duì)顏色特征、運(yùn)動(dòng)特征及邊緣特征的融合處理，獲取準(zhǔn)確性、魯棒性及識(shí)別率更高的融合算法，其中，具體算法流程圖如圖5。

圖5 特征融合算法

具體流程步驟如下：

1)初始化：人為選擇視頻幀中目標(biāo)感興趣域，建立目標(biāo)模板及初始狀態(tài)參數(shù)，從而確定質(zhì)心位置，定義初始幀k=0。通過(guò)計(jì)算目標(biāo)模板的顏色與邊緣特征的直方圖，確立目標(biāo)特征模板。

5)更新：使用巴氏系數(shù)衡量候選目標(biāo)特征模板和目標(biāo)模板相似度，如果小于設(shè)定閾值則進(jìn)行模板的更新處理。

7)判斷結(jié)果，采集第k+1張視頻幀，進(jìn)入循環(huán)體。

3 實(shí)驗(yàn)仿真與分析

本實(shí)驗(yàn)主要是在Intel(R) Core(TM) i5-4570 CPU @ 3.2 GHz (4 CPUs)、4096 MB RAM的硬件系統(tǒng)上，并融合紅外圖像的測(cè)試數(shù)據(jù)庫(kù)完成的仿真結(jié)果。首先采用經(jīng)典的粒子濾波算法，然后在粒子濾波的理論基礎(chǔ)上，進(jìn)一步分析基于多特征融合的粒子濾波算法進(jìn)行目標(biāo)的跟蹤識(shí)別對(duì)比。

實(shí)驗(yàn)：提取一組馬路背景下正在行駛的小轎車的紅外序列圖像，選取600幀，并截取其中6幀序列圖像依次排序分析研究，編號(hào)分別為135幀、248幀、376幀、389幀、432幀及548幀。視頻序列的原始紅外圖像如圖6所示，跟蹤識(shí)別效果圖如圖7、圖8所示。

圖6 原始紅外圖像

圖7 基于多特征融合的粒子濾波算法

圖8 經(jīng)典粒子濾波算法

通過(guò)以上跟蹤識(shí)別效果圖分析，圖6為基于多特征融合的粒子濾波算法的效果圖，圖7為經(jīng)典粒子濾波算法的效果圖，灰色矩形框表示跟蹤識(shí)別的目標(biāo)體。由圖看出，在截圖第248幀前，兩種方法都可以準(zhǔn)確跟蹤識(shí)別該目標(biāo)，但隨著目標(biāo)背景灰度差的降低，對(duì)比度降低，導(dǎo)致跟蹤識(shí)別難度加大。實(shí)驗(yàn)提出的基于多特征融合的粒子濾波算法都比較實(shí)時(shí)、準(zhǔn)確的跟蹤上目標(biāo)小轎車，而經(jīng)典粒子濾波算法中從第376幀看出跟蹤框不能實(shí)時(shí)的捕捉到目標(biāo)體，導(dǎo)致跟蹤識(shí)別實(shí)驗(yàn)失敗。

4 結(jié)論

在經(jīng)典粒子濾波算法中，由于環(huán)境條件的復(fù)雜多變，單一紅外圖像目標(biāo)的特征量遠(yuǎn)遠(yuǎn)不能持續(xù)有效表征目標(biāo)的特性來(lái)完成目標(biāo)的追蹤識(shí)別，導(dǎo)致最終的跟蹤失敗。同時(shí)，為更好地獲取目標(biāo)跟蹤識(shí)別的效果，文中提出了把顏色、運(yùn)動(dòng)和邊緣特征融合的粒子濾波算法。充分利用紅外目標(biāo)圖像三種特征的優(yōu)勢(shì)，一定程度上避免和降低了由外界環(huán)境、物體本身姿態(tài)變化等因素對(duì)實(shí)驗(yàn)?zāi)繕?biāo)的跟蹤識(shí)別的影響。從上述實(shí)驗(yàn)結(jié)果分析可得：基于多特征融合的紅外圖像目標(biāo)識(shí)別算法，即基于多特征融合的粒子濾波算法能更好的適應(yīng)人類的視覺系統(tǒng)，更加有效地提高了紅外圖像目標(biāo)在復(fù)雜多變環(huán)境下的魯棒性和識(shí)別效率、準(zhǔn)確率等。