基于特征融合的粒子濾波紅外目標跟蹤算法*

劉潤邦，朱志宇

（江蘇科技大學電子信息學院，江蘇 鎮(zhèn)江 212003）

0 引言

目標跟蹤一直以來都是計算機視覺和數(shù)字圖像處理的重要組成部分，廣泛應(yīng)用于智能安防、行為識別和軍事安全等領(lǐng)域。紅外探測通過被動接收目標與背景間的輻射差和溫度差來識別目標，具有隱蔽性優(yōu)良、抗干擾能力強等優(yōu)點［1］。但與可見光的目標相比，紅外圖像缺乏有效的特征模型和場景信息，跟蹤效果并不理想［2］。

近年來，關(guān)于視頻目標跟蹤的算法層出不窮，逐漸形成了以Mean Shift算法為代表的確定性跟蹤算法和以Kalman Filter、Particle Filter為代表的概率性跟蹤方法［3-6］。相比較于卡爾曼濾波，粒子濾波算法在解決非線性非高斯問題時表現(xiàn)出良好的魯棒性，廣泛地應(yīng)用于紅外視頻目標跟蹤中［7］。粒子濾波跟蹤算法的最大問題是如何建立準確的目標模型，單一的特征建模缺乏對圖像背景的自適應(yīng)能力，跟蹤精度并不理想［8-9］。國內(nèi)外學者對粒子濾波跟蹤算法中目標觀測模型的建立進行了大量研究。Fouad［10-11］等人在粒子濾波算法基礎(chǔ)上，利用R，G，B顏色分量和紋理特征共同描述目標；Chong［12-13］等人將目標顏色特征和方向梯度特征融合，建立精確地粒子濾波觀測模型；Tao［14］等人建立了基于SIFT特征和顏色特征的目標觀測模型；楊志雄［15］等人將灰度特征和運動特征進行融合，增強紅外目標跟蹤算法的魯棒性。

粒子濾波跟蹤算法中觀測模型的準確與否直接影響最終的跟蹤效果。目前，目標的描述特征包括顏色、灰度、梯度、紋理、運動等。對于紅外目標，灰度特征具有平移、旋轉(zhuǎn)不變性和對遮擋及姿態(tài)變化不敏感的優(yōu)點，但是它隱藏了圖像的像素空間信息，且易受到背景中相似物的干擾和背景噪聲的影響。為解決該問題，本文提出一種融合灰度特征和方向梯度特征的改進粒子濾波跟蹤算法，通過加權(quán)計算的方法來更新粒子權(quán)值，提高目標在遮擋、重疊等情況下的跟蹤魯棒性和準確性。

1 粒子濾波

系統(tǒng)狀態(tài)模型和觀測模型可描述為：

其中，xk為系統(tǒng)狀態(tài)向量，zk為觀測向量，uk為過程噪聲，vk為觀測噪聲；函數(shù)f為系統(tǒng)狀態(tài)轉(zhuǎn)移概率密度，h為系統(tǒng)觀測似然概率密度。

對于上述模型，k時刻的目標狀態(tài)xk可以利用后驗概率密度計算而來，可以通過狀態(tài)預(yù)測和狀態(tài)更新遞推而來。

預(yù)測：

更新：

在非線性、非高斯系統(tǒng)模型中，上式的解析解是無法求取的，只能通過近似的方法計算，而粒子濾波就是其中的一種逼近方法。粒子濾波的核心思想是采用一組含有權(quán)值的隨機粒子來近似，利用貝葉斯公式修正粒子的權(quán)值，最后將粒子集加權(quán)融合求取目標的估計狀態(tài)k。初始化的粒子集則是從一個容易抽樣的建議分布中采樣得到。后驗概率密度可近似表示為：

其中，粒子權(quán)值為歸一化的權(quán)值，中采樣得到的粒子權(quán)值為：

歸一化權(quán)值為：

最后估計出目標的狀態(tài)：

粒子濾波算法存在粒子退化問題。解決粒子退化的主要方法是引入粒子重采樣，在繁衍權(quán)值較大的粒子的同時淘汰權(quán)值較小的粒子。

2 目標特征提取

2.1 灰度直方圖特征特征提取

目前，基于粒子濾波的紅外目標跟蹤方法大多是建立在灰度直方圖觀測特征之上的。在灰度直方圖特征的提取過程中采用核函數(shù)加權(quán)計算的方法，對目標中心區(qū)域的像素的灰度級賦予較大權(quán)值；考慮到周圍區(qū)域可能受到背景的影響，則分配較小權(quán)值。本文將灰度特征平均量化為128個等級，假設(shè)目標區(qū)域每個像素用表示，特征值bin的個數(shù)為 m（m=128），目標特征 u=1，2，…，m(u 為圖像像素的灰度級別），則以x0為中心的目標區(qū)域歸一化灰度直方圖為；

其中，為核函數(shù)；δ（x）為 Delta 函數(shù)，用于判斷目標區(qū)域中像素xi的灰度值是否屬于第u個bin；C為一個歸一化常數(shù)，滿足：，使。

2.2 方向梯度直方圖

HOG（Histogram of Oriented Gradient）算法的主要原理是利用邊緣梯度方向的分布來描述被跟蹤目標的外形特征。該算法將圖像分為大小均等的矩形區(qū)域（cells），計算每個cell的梯度方向直方圖。將幾個cell組合成block并計算block內(nèi)部所有cell的聯(lián)合直方圖（2個block之間有重疊的cell）。以一幅64×128像素的圖像為例，cell選擇8×8像素，block選為2cell×2cell，若block之間上下或左右都有2個cell重疊，則圖像包含7×15個互相重疊的block。如果每個cell的量化為32級，則每個block的直方圖為32×4=128維。目標圖像的HOG特征則為128×7×5=4480維。高維目標梯度特征增強了跟蹤的精度，但也會導致跟蹤算法實時性的降低。為此，本文將對HOG算法進行簡化，將目標區(qū)域看做一個cell而不進行block的劃分，降維損失的目標特征將由灰度特征彌補。

建立梯度方向直方圖，首先計算區(qū)域內(nèi)所有像素點I（x，y）在垂直方向和水平方向相鄰點的差，然后計算各像素點的梯度幅值 G（x，y）和方向 θ（x，y）。水平方向［-101］，垂直方向［-101］T，梯度算子為：

式中，θ的范圍為［-π，π］，本文將梯度方向量化為72級，則目標區(qū)域歸一化的梯度方向直方圖為：

式中，參數(shù)和灰度直方圖特征相同。

3 紅外目標跟蹤算法

3.1 狀態(tài)轉(zhuǎn)移模型

狀態(tài)轉(zhuǎn)移模型是紅外目標在視頻序列中運動特征的數(shù)學建模體現(xiàn)，但是目標運動存在很大的隨機性，準確的狀態(tài)轉(zhuǎn)移模型是無法通過提前的數(shù)學建模得到的。粒子濾波算法是建立在蒙特卡羅模擬思想之上的，被跟蹤目標在圖像序列中的運動狀態(tài)可以通過對隨機抽樣的樣本粒子進行統(tǒng)計分析得到，狀態(tài)轉(zhuǎn)移模型的精確與否并不影響目標狀態(tài)的魯棒性。于是本文采用簡單的一階自回歸模型來描述目標的狀態(tài)轉(zhuǎn)移。

式中，Xt為紅外目標運動狀態(tài)，，狀態(tài)向量（x，y）中表示目標跟蹤矩形窗口的中心，d是窗口半長，h是窗口半寬，Wt為系統(tǒng)噪聲。

3.2 觀測模型

紅外目標一般沒有有效的顏色信息和清晰的紋理，因此，本文選擇灰度特征和梯度特征作為觀測模型。為了使目標的灰度特征和梯度特征更好地融合起來，通過計算目標模板特征和候選目標特征的Bhattacharyya距離來衡量它們之間的相似度，計算方法為：

灰度特征和梯度特征的Bhattacharyya距離分別為：

則高斯模型構(gòu)建的似然函數(shù)（粒子權(quán)重）為：

其中，為觀測高斯噪聲的標準方差，從上式可以看出，Bhattacharyya距離越小，似然函數(shù)求得的值越大，粒子狀態(tài)越接近真實目標狀態(tài)。

對似然函數(shù)進行加權(quán)融合：

其中，為灰度特征和梯度特征的置信度，且。

跟蹤過程中，外部光強變化及目標自身形變都會導致跟蹤精度的降低。為解決該問題，算法建立了目標模板灰度特征和梯度特征的自適應(yīng)在線學習更新機制。假設(shè)當前目標模板為q，當前估計位置的特征直方圖為p，那么當它們之間的Bhattacharyya距離小于更新閾值T時，則以估計位置中心的灰度特征和梯度特征對模板q進行更新；若它們之間的Bhattacharyya距離大于更新閾值T時，則認為目標存在嚴重的復(fù)雜環(huán)境影響，不進行更新。更新準則為：

3.3 算法流程

基于灰度和梯度特征融合的粒子濾波紅外目標跟蹤算法基本步驟為：初始化、狀態(tài)轉(zhuǎn)移、樣本權(quán)值計算、目標狀態(tài)估計和重采樣。

Step1初始化：人工選取第一幀圖像中的目標并獲取其狀態(tài)信息X0，求取該目標的灰度特征和梯度方向特征；根據(jù)先驗分布p（X0）建立初始狀態(tài)樣本集。

Step2狀態(tài)轉(zhuǎn)移：根據(jù)式（15）預(yù)測下一幀圖像中候選目標的狀態(tài)信息。

Step3樣本權(quán)值計算：以預(yù)測的粒子坐標為中心，根據(jù)式（9）和式（14）求取候選區(qū)域灰度特征直方圖和方向梯度特征直方圖，由式（19）和式（20）計算預(yù)測候選目標與目標模板的相似度，得到每一個預(yù)測粒子權(quán)值并歸一化。

Step4狀態(tài)估計：根據(jù)預(yù)測的粒子集和求取每個粒子的歸一化權(quán)值來估計目標的真實位置。計算當前估計位置的特征直方圖和目標模板特征直方圖的巴氏距離，若距離值小于T，則根據(jù)式（22）對目標灰度和梯度模板進行更新。

Step5重采樣：對粒子集進行重采樣，得到新粒子集。

Step6檢測當前圖像序列是否為最后一幀圖像，若不是則回到Step2繼續(xù)進行目標跟蹤。

4 實驗結(jié)果與分析

算法仿真實驗在安裝Matlab2011b軟件的聯(lián)想G470筆記本電腦上進行，電腦搭載了2.5 GHz的雙核處理器和2 GB處理內(nèi)存。實驗檢測了基于特征融合的粒子濾波跟蹤算法在圖像信噪比低、目標被遮擋、目標與其他目標重疊三種復(fù)雜背景下的跟蹤效果。同時將改進算法的紅外目標跟蹤效果與基于單一特征的粒子濾波跟蹤效果進行了對比。跟蹤過程中粒子數(shù) N=100，σI=0.3，σG=0.25=0.6=0.4，η=0.1，T=0.1，系統(tǒng)噪聲 Wt的方差 v=5。

圖1和圖2為紅外目標在低信噪比情況下的跟蹤實驗，視頻長70幀，單幀圖像大小為300×200像素，對視頻中的人物目標分別采用灰度特征和融合特征進行跟蹤。視頻序列中，圖像信噪比較低且不斷變化，目標在第39幀時被樹木遮擋。截取第10、27、39、47幀圖像。由截取的圖像可見，基于特征融合的跟蹤算法保持了良好的跟蹤魯棒性，而基于單一灰度特征的跟蹤算法則出現(xiàn)了較大的跟蹤誤差。

圖3和圖4為紅外目標在被遮擋情況下的跟蹤實驗，視頻長80幀，單幀圖像大小為300×200像素。目標被樹木遮擋，對視頻中躲藏在樹木后面的目標分別采用方向梯度特征和融合特征進行跟蹤，截取第7、38、44、53幀圖像。由截取的圖像可見，基于單一方向梯度特征的粒子濾波跟蹤算法誤差較大，在第53幀以后出現(xiàn)了目標丟失的現(xiàn)象，而基于特征融合的跟蹤方法則保持了較高的跟蹤精度。

圖1 基于灰度特征的紅外目標跟蹤效果圖

圖2 基于特征融合的紅外目標跟蹤效果圖

圖3 基于梯度特征的紅外目標跟蹤效果圖

圖4 基于特征融合的紅外目標跟蹤效果圖

圖5為紅外目標在和其他目標有重疊情況下采用本文算法的跟蹤實驗，視頻長120幀，單針圖像大小為300×200像素，截取視頻的第18、44、86、115幀?？梢?，基于特征融合的粒子濾波跟蹤算法保持了良好的跟蹤準確性，在第86幀多目標重疊時，并沒有出現(xiàn)誤跟蹤現(xiàn)象，具有較強的魯棒性，跟蹤速度在8 fps，可以滿足跟蹤要求。

圖5 基于特征融合的紅外目標跟蹤算法在多目標重疊時的跟蹤效果圖

從以上3個實驗可以發(fā)現(xiàn)，灰度特征和梯度特征在很多情況下可以互相彌補跟蹤精度低的缺陷，算法能滿足復(fù)雜情況下紅外目標的穩(wěn)健跟蹤。

5 結(jié)論

針對粒子濾波紅外目標跟蹤算法過程中存在的問題，本文提出一種基于特征融合的粒子濾波紅外目標跟蹤算法。考慮到紅外目標觀測特征的局限性，利用灰度特征直方圖和方向梯度直方圖來共同建立粒子濾波目標跟蹤過程中的觀測模型。為增強目標在光強變化、形態(tài)變化情況下的跟蹤精度，引入目標模板自適應(yīng)在線更新策略。仿真實驗證實，與基于單一特征的紅外目標跟蹤方法相比，多特征融合的跟蹤算法在復(fù)雜背景下表現(xiàn)出良好的跟蹤魯棒性和準確性。

［1］LI Y，LIANG S，BAI B，et al.Detecting and tracking dim small targets in infrared image sequences under complex backgrounds ［J］.Multimedia Tools and Applications，2014（1）：1179–1199.

［2］楊杰，王瑞.一種實用粒子濾波紅外目標跟蹤算法［J］.工業(yè)控制計算機，2015，28（12）：55-57.

［3］HOOSHANG A M，ARASH A L.Applying mean shift，motion information and Kalman filtering approaches to object tracking［J］.ISA Transactions，2012，51（3）：85-97.

［4］ PHANI CHAVALI，ARYENEHORAI.Hierarchical particle filtering for multi-modal data fusion with application to multiple-target tracking ［J］.SignalProcessing，2014， 97：207-220.

［5］姬雪峰.基于粒子濾波的紅外目標跟蹤方法研究［D］.西安：西安電子科技大學，2011.

［6］FUKUIA S J，HAYAKAWAB O，IWAHORIB Y J.Particle filter based tracking with image-based localization［J］.Procedia Computer Science，2016，96：977-986.

［7］王法勝，魯明羽，趙清杰.粒子濾波算法［J］.計算機學報，2014，37（8）：1679-1694.

［8］閆河，劉婕，楊德紅，等.基于特征融合的粒子濾波目標跟蹤新方法［J］.光電子·激光，2014，25（10）：1990-1999.

［9］ JINANA R J，RAVEENDRANB T R.Particle filters for multiple target tracking［J］.Procedia Technology，2016，24：980-987.

［10］BOUSETOUANE F A，DIB L D，SNOUSSI H E.Improved mean shift integrating texture and color features for robust real time object tracking ［J］.The Visual Computer，2013，29（3）：155-170.

［11］李遠征，盧朝陽，高全學，等.基于多特征融合的均值遷移粒子濾波跟蹤算法［J］.電子與信息學報，2010，32（2）：411-415.

［12］CHONG Y W，CHEN R，LI Q Q.Particle filter based on multiple cues fusion for pedestrian tracking［J］.Emerging IntelligentComputing Technology and Applications，2012，304：321-327.

［13］張雷，王延杰，孫洪海，等.基于顏色和邊緣直方圖的多目標跟蹤［J］.液晶與顯示，2016，31（6）：595-602.

［14］GAO T，LI G，LIAN S G，et al.Tracking video objects with feature points based particle filtering［J］.Multimedia Tools And Applications，2012，58（1）：1-21.

［15］楊志雄，于春超，嚴敏，等.基于特征融合的粒子濾波紅外目標跟蹤算法［J］.紅外技術(shù)，2016，38（3）：211-217.