基于特征融合的粒子濾波紅外目標(biāo)跟蹤算法

楊智雄，余春超，嚴(yán) 敏，袁小春，曾邦澤，粟宇路

?

基于特征融合的粒子濾波紅外目標(biāo)跟蹤算法

楊智雄，余春超，嚴(yán) 敏，袁小春，曾邦澤，粟宇路

（昆明物理研究所，云南 昆明 650223）

復(fù)雜環(huán)境中穩(wěn)健的紅外目標(biāo)跟蹤在自主導(dǎo)航、無人機(jī)探測、預(yù)警等方面具有重要研究意義。就經(jīng)典粒子濾波紅外目標(biāo)跟蹤算法中單一的灰度特征缺乏魯棒性引起跟蹤失效的問題，提出了一種基于特征融合的粒子濾波紅外目標(biāo)跟蹤算法。結(jié)果表明，該算法能夠從跟蹤魯棒性、準(zhǔn)確性和實(shí)時(shí)性3個(gè)方面實(shí)現(xiàn)穩(wěn)健的紅外目標(biāo)跟蹤。

特征融合；粒子濾波；紅外目標(biāo)跟蹤

0 引言

基于可見光圖像的目標(biāo)跟蹤理論及實(shí)際應(yīng)用研究比較成熟，能有效地處理目標(biāo)較小、目標(biāo)形態(tài)尺寸及光照變化、復(fù)雜背景和遮擋等問題[1-3]。但在夜間以及煙幕干擾等復(fù)雜的環(huán)境中，可見光圖像可能存在目標(biāo)丟失的情況，在這種情況下基于可見光圖像的目標(biāo)跟蹤算法均會(huì)失效。而紅外圖像基于熱成像實(shí)現(xiàn)，受惡劣環(huán)境影響相對較小，但基于紅外圖像的目標(biāo)跟蹤理論及應(yīng)用研究不如可見光多，在紅外目標(biāo)跟蹤中能用于目標(biāo)建模的特征較少，當(dāng)存在噪聲、相似性干擾等問題時(shí)跟蹤難度大。此外，紅外圖像獲得的場景信息較可見光圖像少[4-6]。

紅外目標(biāo)跟蹤算法研究在2個(gè)方面展開，一是紅外目標(biāo)特征描述，二是跟蹤算法改進(jìn)。Dorin Comaniciu[7]提出Meanshift跟蹤算法，利用灰度核函數(shù)構(gòu)建目標(biāo)特征表達(dá)，Bhattacharyya系數(shù)計(jì)算目標(biāo)模板與后續(xù)區(qū)域的相似性決定移動(dòng)步長，不斷迭代收斂至目標(biāo)質(zhì)心位置。該算法計(jì)算量小，能滿足實(shí)時(shí)跟蹤性能要求，對邊緣遮擋、目標(biāo)旋轉(zhuǎn)、變形和背景運(yùn)動(dòng)不敏感。但缺乏必要的模板更新，跟蹤窗口尺寸恒定不能適應(yīng)目標(biāo)尺寸變化制約著Meanshift跟蹤算法的廣泛應(yīng)用。由此研究學(xué)者對其提出了很多改進(jìn)方法：空間顏色直方圖描述目標(biāo)[8]、尺度自適應(yīng)[9]、目標(biāo)多特征描述[10]等。

本文就經(jīng)典粒子濾波紅外目標(biāo)跟蹤算法中，單一的灰度特征缺乏魯棒性引起跟蹤失效的問題，提出了一種基于特征融合的粒子濾波紅外目標(biāo)跟蹤算法。該算法利用三幀差分、OTSU分割和形態(tài)學(xué)濾波提取目標(biāo)運(yùn)動(dòng)特征，融合目標(biāo)灰度特征和運(yùn)動(dòng)特征提高目標(biāo)模型的魯棒性，實(shí)現(xiàn)在復(fù)雜環(huán)境中紅外目標(biāo)的穩(wěn)健跟蹤。

1 基于特征融合的粒子濾波紅外目標(biāo)跟蹤算法

1.1 目標(biāo)狀態(tài)模型

定義紅外目標(biāo)的狀態(tài)變量為＝{,,v,v}，其中(,)為紅外目標(biāo)質(zhì)心位置的橫縱坐標(biāo)，(v,v)為目標(biāo)水平和豎直方向的運(yùn)動(dòng)速率。建立目標(biāo)運(yùn)動(dòng)模型：

S＋1＝(S)＝AS＋W＋1(1)

式中：為狀態(tài)轉(zhuǎn)移矩陣；W＋1為＋1置和速度的隨機(jī)噪聲。假定目標(biāo)勻速運(yùn)動(dòng)，定義狀態(tài)轉(zhuǎn)移矩陣和隨機(jī)噪聲W＋1如下：

式中：p和v為恒定常量，其中p表示水平方向的狀態(tài)常量，v表示豎直方向的狀態(tài)常量。經(jīng)實(shí)驗(yàn)測試，本文設(shè)定p＝5，v＝2。

1.2 基于灰度和運(yùn)動(dòng)特征融合求解粒子權(quán)重

式中：為恒定參數(shù)，用于調(diào)整高斯函數(shù)形狀，本文取＝10。

灰度核函數(shù)直方圖在紅外目標(biāo)跟蹤中應(yīng)用十分廣泛，但僅利用灰度信息不能保證跟蹤的穩(wěn)健性，當(dāng)場景中出現(xiàn)相似背景干擾時(shí)，可能出現(xiàn)目標(biāo)丟失的情況。

為此，本節(jié)融合目標(biāo)灰度和運(yùn)動(dòng)特征計(jì)算粒子的權(quán)重。運(yùn)動(dòng)特征的求解過程包括：三幀差獲得運(yùn)動(dòng)目標(biāo)輪廓、OTSU閾值分割提取目標(biāo)輪廓、中值濾波去除噪聲和形態(tài)學(xué)膨脹填充目標(biāo)區(qū)域，如圖1所示。其中，圖1(b)的三幀差分圖像中存在部分運(yùn)動(dòng)的背景信息，經(jīng)OTSU閾值分割得圖1(c)，其仍可能存在一定的孤立噪聲點(diǎn)，直接進(jìn)行形態(tài)學(xué)膨脹會(huì)形成一些孤立的小面積區(qū)域。為此，在膨脹之前對其進(jìn)行中值濾波圖像平滑操作。圖1(d)和(e)分別為中值濾波前后進(jìn)行形態(tài)學(xué)膨脹操作處理效果。

最簡單的兩幀差分也能獲得運(yùn)動(dòng)目標(biāo)邊緣，但是對于紅外小目標(biāo)，由于目標(biāo)面積較小，兩幀獲得的運(yùn)動(dòng)目標(biāo)輪廓信息比較少。因此，本文采取相鄰三幀差分方法，其計(jì)算公式如下：

此外，還有很多精度較高的改進(jìn)三幀差分算法，如參考文獻(xiàn)[11]計(jì)算相鄰兩幅圖像的差分圖像公式如下，其利用3×3區(qū)域像素進(jìn)行加權(quán)獲得中心像素點(diǎn)的差分結(jié)果：

在求得1(pre,now)和2(pre,next)后，兩者平均求得三幀差分結(jié)果：

該方法獲得的運(yùn)動(dòng)目標(biāo)輪廓信息優(yōu)于簡單三幀差分，但由于每個(gè)像素點(diǎn)計(jì)算都利用到像素點(diǎn)周圍3×3區(qū)域，計(jì)算量增大，算法實(shí)時(shí)性差。

最大類間方差（OTSU）算法由Otsu[12]于1979年提出，其計(jì)算簡單，不受圖像亮度和對比度的影響，是圖像分割中閾值求取常用的方法。OTSU算法將圖像分為前景和背景2部分，當(dāng)類間方差取得最大值時(shí)，則前景與背景錯(cuò)分概率越小，對應(yīng)的分割閾值即為最優(yōu)閾值，計(jì)算式如下：

經(jīng)閾值分割后，圖像中可能仍然存在一些孤立的噪聲點(diǎn)，而中值濾波在去除孤立噪聲點(diǎn)的同時(shí)，能很好地保留圖像邊緣和細(xì)節(jié)信息，效果優(yōu)于形態(tài)學(xué)腐蝕和閉運(yùn)算。

因此，以3×3的中值濾波去除孤立噪聲點(diǎn)。

圖1 目標(biāo)的運(yùn)動(dòng)特征提取

以3×3的窗口依次覆蓋圖像(2:－1,2:－1)區(qū)域中所有像素，對于窗口中的9個(gè)像素點(diǎn)的像素值排序后，取中間值，即第5個(gè)像素值作為結(jié)果替代中心像素值。

最后由形態(tài)學(xué)膨脹操作填充運(yùn)動(dòng)目標(biāo)輪廓，獲得包含運(yùn)動(dòng)目標(biāo)特征的圖像BW，其中運(yùn)動(dòng)區(qū)域的像素值為1，背景區(qū)域的像素值為0，定義某粒子所在的候選區(qū)域的運(yùn)動(dòng)特征為：

MF越大，則該候選區(qū)域?yàn)槟繕?biāo)的概率越大，假定目標(biāo)區(qū)域的運(yùn)動(dòng)特征為×，則候選區(qū)域粒子權(quán)重定義為：

融合目標(biāo)灰度和運(yùn)動(dòng)特征計(jì)算候選區(qū)域的粒子權(quán)重：

＝mf*gray(12)

1.3 改進(jìn)粒子濾波紅外目標(biāo)跟蹤步驟

依據(jù)以上分析，基于灰度和運(yùn)動(dòng)特征融合的粒子濾波跟蹤算法主要分初始化、粒子預(yù)測、更新、重采樣和目標(biāo)位置估計(jì)等5個(gè)步驟，圖2給出了改進(jìn)算法流程圖。

圖2中表示序列幀總數(shù)，基于灰度和運(yùn)動(dòng)特征融合的粒子濾波跟蹤算法具體步驟如下：

2）預(yù)測：依據(jù)目標(biāo)運(yùn)動(dòng)模型，將粒子集更新到新的采樣點(diǎn){x,＝1,2,…,}；

3）更新：以粒子位置坐標(biāo)為中心，計(jì)算候選區(qū)域灰度核函數(shù)直方圖和區(qū)域運(yùn)動(dòng)特征，融合灰度和運(yùn)動(dòng)特征計(jì)算粒子集權(quán)值{,＝1,2,…,}；

6）判斷是否結(jié)束，不結(jié)束則＝＋1，返回步驟。

2 實(shí)驗(yàn)仿真與分析

仿真實(shí)驗(yàn)在Inter Pentium CPU G630@2.7GHz、4.00G RAM的硬件平臺(tái)進(jìn)行，開發(fā)環(huán)境為Matlab 2013a，融合圖像庫來源于微光灰度和紅外圖像的測試數(shù)據(jù)庫。

實(shí)驗(yàn)從跟蹤的魯棒性、準(zhǔn)確性和快速性3個(gè)方面分析比較了經(jīng)典的Meanshift、基本的粒子濾波、本文提出的基于特征融合的粒子濾波3種跟蹤算法。

圖2 基于特征融合的粒子濾波紅外跟蹤算法流程圖

第1組實(shí)驗(yàn)數(shù)據(jù)來源于OTCBVS Dataset 03中的第4組，序列圖像中存在相似目標(biāo)干擾，圖3依次為經(jīng)典的Meanshift、基本的粒子濾波、基于特征融合的粒子濾波3種跟蹤算法的跟蹤效果。

定義跟蹤誤差為跟蹤算法中目標(biāo)質(zhì)心與標(biāo)定的目標(biāo)質(zhì)心之間的歐式距離，即：

圖4給出了3種跟蹤算法90幀的跟蹤誤差曲線。3種跟蹤算法中的目標(biāo)灰度核函數(shù)直方圖均取64級(jí)，比較粒子濾波算法中粒子數(shù)目取100、200、300、400和500的跟蹤效果，差別不大，圖中粒子數(shù)目為300。對比3種算法的跟蹤效果與跟蹤誤差，相似目標(biāo)干擾對粒子濾波跟蹤算法影響不大，其中經(jīng)典的Meanshift跟蹤算法跟蹤穩(wěn)健性最差，當(dāng)出現(xiàn)相似目標(biāo)干擾時(shí)會(huì)出現(xiàn)目標(biāo)丟失的問題；當(dāng)相似目標(biāo)靠近跟蹤目標(biāo)時(shí)，經(jīng)典的粒子濾波和基于特征融合的粒子濾波跟蹤算法會(huì)受到一定干擾，質(zhì)心位置有所偏移，基于CPCT彩色融合圖像粒子濾波跟蹤算法受相似目標(biāo)干擾影響最小。3種算法90幀平均跟蹤誤差依次為8.6748、2.2916、1.7882，跟蹤耗時(shí)依次為5.0014s、6.0012s、8.6704s?？梢钥闯?，基于特征融合的改進(jìn)粒子濾波跟蹤算法與基本的粒子濾波算法相比，盡管跟蹤的實(shí)時(shí)性有所降低，但在一定程度上提高了跟蹤的精度。

第2組實(shí)驗(yàn)數(shù)據(jù)來源于OTCBVS Dataset 03中的第5組，序列圖像中存在相似背景干擾，圖5依次顯示了經(jīng)典Meanshift、基本粒子濾波、基于特征融合粒子濾波3種算法的跟蹤效果。

圖3 相似目標(biāo)干擾3種算法跟蹤效果對比

對比圖5中3種跟蹤算法實(shí)驗(yàn)結(jié)果，經(jīng)典的Meanshift跟蹤算法，從第57幀開始目標(biāo)丟失，跟蹤窗口在圖中60幀和85幀所在的位置基本不動(dòng)，經(jīng)典的粒子濾波跟蹤算法從跟蹤初始時(shí)刻由于相似背景的干擾目標(biāo)丟失，而基于特征融合的粒子濾波跟蹤算法不受相似背景的干擾，能實(shí)現(xiàn)穩(wěn)健的目標(biāo)跟蹤。圖6給出了經(jīng)典Meanshift、粒子濾波、基于特征融合的粒子濾波3種算法90幀跟蹤誤差曲線，其平均跟蹤誤差依次為4.6351、57.2581、2.4134，3種算法跟蹤耗時(shí)依次為5.3814s、6.1751s、8.9910s。

第3組實(shí)驗(yàn)數(shù)據(jù)來源于OTCBVS Dataset 03中的第6組，序列圖像中存在相似背景干擾，圖7給出了經(jīng)典的Meanshift、經(jīng)典的粒子濾波、基于特征融合的粒子濾波3種算法的跟蹤效果。

圖4 相似目標(biāo)干擾3種算法跟蹤誤差曲線

圖5 相似背景干擾下3種算法跟蹤效果對比

圖6 相似背景干擾3種算法跟蹤誤差曲線

經(jīng)典的Meanshift算法能跟蹤目標(biāo)，但跟蹤質(zhì)心波動(dòng)較大，跟蹤精度較低；基本的粒子濾波算法初始跟蹤時(shí)丟失目標(biāo)；基于特征融合的粒子濾波跟蹤算法能實(shí)現(xiàn)穩(wěn)健的目標(biāo)跟蹤。圖8給出了3種算法90幀跟蹤誤差曲線，其跟蹤平均誤差依次為3.0244、26.7416、2.0098，跟蹤耗時(shí)依次為4.6490s、5.1803s、7.7205s。

從上述3組實(shí)驗(yàn)可以得出，基于特征融合的粒子濾波跟蹤算法能有效地處理復(fù)雜環(huán)境中相似目標(biāo)、相似背景干擾等問題，與基本的粒子濾波算法相比，實(shí)時(shí)性稍微有所降低，但跟蹤的魯棒性和準(zhǔn)確性有所改善，尤其是遇到相似干擾時(shí)，能實(shí)現(xiàn)穩(wěn)健的目標(biāo)跟蹤。

3 結(jié)論

就經(jīng)典粒子濾波紅外目標(biāo)跟蹤算法中，單一的灰度特征缺乏魯棒性引起跟蹤失效的問題，提出了一種基于特征融合的粒子濾波紅外目標(biāo)跟蹤算法。結(jié)果表明，通過實(shí)驗(yàn)從魯棒性、準(zhǔn)確性和實(shí)時(shí)性3個(gè)方面比較了本文提出的算法和經(jīng)典Meanshift、基本粒子濾波算法跟蹤性能的優(yōu)劣，基于特征融合的粒子濾波紅外目標(biāo)跟蹤算法能有效地在復(fù)雜環(huán)境中實(shí)現(xiàn)穩(wěn)健的目標(biāo)跟蹤。

圖7 相似背景干擾3種算法跟蹤效果對比

圖8 3種算法跟蹤誤差對比

[1] Yang H X, Shao L, Zheng F, et al. Recent advances and trends in visual tracking: A review[J]., 2011, 74(18): 3823-3831.

[2] He S F, Yang Q X, Lau R W H. Visual tracking via locality sensitive histograms[C]//, 2013: 2427-2434.

[3] Fan J L, Shen X H, Wu Y. Scribble tracker: A matting-based approach for robust tracking[J]., 2012, 34(8): 1633-1644.

[4] 朱金華. 基于信息融合的目標(biāo)跟蹤算法研究[D]. 南京: 南京理工大學(xué), 2013.

Zhu Jinhua. The study of target tracking algorithm based on information fusion[D]. Nanjing: Nanjing University of Science and Technology, 2013.

[5] 趙鵬, 浦昭邦, 張?zhí)镂? 等. 一種新的紅外與可見光圖像融合與跟蹤方法[J]. 光電工程, 2005, 32(2): 37-40, 92.

Zhao Peng, Pu Zhaobang, Zhang Tianwen. Fusion and tracking for IR and viaible images[J]., 2005, 32(2): 37-40, 92.

[6] 陳少華. 基于紅外與可見光圖像融合的目標(biāo)跟蹤[D]. 南京: 南京航空航天大學(xué), 2012.

Chen Shaohua. Target tracking based on infrared and visible image fusion[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2012.

[7] Birchfield S T, Rangarajan S. Spatiograms versus histograms for region-based tracking[C]//, 2005, 2: 1158-1163.

[8] Zivkovic Z, Krose B. An EM-like algorithm for color-histogram-based object tracking[C]//, 2004, 1: 798-803

[9] Collins R T, Liu Y, Leordeanu M. Online selection of discriminative tracking features[J]., 2005, 27(10): 1631-43.

[10] 楊悅, 劉興淼, 郭啟旺, 等. 基于改進(jìn)互信息的紅外目標(biāo)匹配跟蹤算法[J]. 紅外技術(shù), 2013, 35(6): 350-354.

Yang Yue, Liu Xingmiao, Guo Qiwang, et al. Infrared object matching tracking algorithm based on improved mutual information[J]., 2013, 35(6): 350-354.

[11] 高文, 朱明, 賀柏根, 等. 目標(biāo)跟蹤技術(shù)綜述[J]. 中國光學(xué), 2014, 7(3): 365-275.

Gao Wen, Zhu Ming, He Baigen, et al. Overview of target tracking technology[J]., 2014, 7(3): 365-275.

[12] Otsu N. A threshold selection method from gray-level histograms[J].,,, 1979, 9(1): 62-66

Particle Filter Infrared Target Tracking Algorithm Based on Feature Fusion

YANG Zhixiong，YU Chunchao，YAN Min，YUAN Xiaochun，ZENG Bangze，SU Yulu

（，650223，）

Steady target tracking in complex environment is applied widely in guidance, unmanned aerial vehicles detection, and warning, etc. To solve the single gray robustness failure in infrared target tracking, particle filter tracking algorithm based on feature fusion is proposed, and the result shows particle filter tracking algorithm based on feature fusion can handle tracking in complex scene well in robustness, accuracy and real-time performance.

feature fusion，particle filter，infrared target tracking

TP391

A

1001-8891(2016)03-0211-07

2015-04-23；

2015-06-11.

楊智雄（1987-），碩士研究生，工程師，主要從事光譜處理及圖像處理技術(shù)。

余春超（1977-），碩士，高級(jí)工程師，主要從事光譜技術(shù)及軟件設(shè)計(jì)。