一種復雜背景下紅外目標穩(wěn)定跟蹤算法

李繼泉，時勤功，胡春松

一種復雜背景下紅外目標穩(wěn)定跟蹤算法

李繼泉，時勤功，胡春松

（湖南華南光電（集團）有限責任公司，湖南 常德 415000）

針對紅外單目標在長期跟蹤過程中的強背景干擾、遮擋、形變以及目標特征信息減弱等實際問題，提出了一種基于跟蹤-學習-檢測（Tracking-Learning-Detection，TLD）框架的紅外目標穩(wěn)定跟蹤方法。該方法在壓縮跟蹤算法（Compressive Tracking，CT）的基礎上替換廣義的類Harr特征為HOG特征，引入互補隨機測量矩陣，優(yōu)化紋理和灰度特征信息的權(quán)重，同時引入卡爾曼濾波器記錄空間上下文位置信息，以解決CT算法和TLD算法在目標被遮擋時的跟蹤失效和全局檢索問題?；赥LD算法框架和改進CT算法相結(jié)合的紅外圖像跟蹤算法有效地解決了遮擋和強干擾問題，提升了算法的跟蹤準確性和長期跟蹤穩(wěn)定性。實驗結(jié)果表明，本文提出的算法在紅外地面環(huán)境中能較好地實時穩(wěn)定跟蹤并保持良好的準確性和魯棒性。

紅外目標；壓縮跟蹤算法；TLD算法；HOG特征；卡爾曼濾波器

0 引言

紅外成像技術，作為衡量軍事能力的技術之一，可適用于夜晚、霧霾、沙塵等能見度低的天氣情況，具有全天候使用的特性。紅外目標跟蹤技術的發(fā)展有利于軍事武器系統(tǒng)地升級和現(xiàn)代化，為此國內(nèi)外許多學者一直在不斷地進行著深入研究。由于復雜環(huán)境下的背景復雜，紅外圖像信噪比較低，目標很容易被環(huán)境噪聲淹沒。因此，如何在復雜背景下實現(xiàn)紅外目標實時、穩(wěn)定地自主跟蹤是當代紅外技術發(fā)展的關鍵問題之一。

目前經(jīng)典的紅外目標跟蹤算法主要包括：模板匹配算法、光流跟蹤算法以及均值漂移算法[1]等。其中，模板匹配算法是一種較為簡單有效的目標跟蹤方法，但是它存在著一個大的缺陷[2]，其目標跟蹤匹配的搜索區(qū)域會隨著紅外圖像大小以及目標模板大小的增加而急劇增大，這會大大增加算法計算量并降低目標跟蹤的效率。光流跟蹤算法是一種基于目標運動的分析方法，該算法在強噪聲下，跟蹤不穩(wěn)定。均值漂移算法屬于核密度估計法，該算法對噪聲敏感，易使算法不收斂。近年來，研究人員基于壓縮感知思想[3]，提出了以壓縮跟蹤（Compressive Tracking，CT）為主的各種跟蹤算法，這些方法簡單高效，但是對于復雜紅外地面背景，特征表現(xiàn)不夠穩(wěn)定且對于形變和遮擋無法很好的處理。而“跟蹤-學習-檢測”（Tracking-Learning-Detection，TLD）的在線學習思想，將目標跟蹤算法與檢測算法相結(jié)合，能有效改善目標形變、目標部分被遮擋等問題。為此，我們提出了一種基于TLD算法框架的目標壓縮跟蹤方法，能夠有效解決上述問題。

本文提出的跟蹤算法能夠改善TLD算法中值光流的飄移以及CT算法的目標形變問題。本文著重研究了以下3個主要問題：①在壓縮跟蹤特征提取過程中引入互補測量矩陣，以解決樣本特征的不均勻問題；②在壓縮跟蹤的特征累加計算中引入特征權(quán)重，以優(yōu)化不同特征間的樣本分類質(zhì)量；③在經(jīng)典的TLD框架下融合改進的壓縮跟蹤算法，改善TLD算法中值光流法的跟蹤飄移問題以及壓縮跟蹤的目標尺度變化問題。實驗結(jié)果表明，該紅外目標跟蹤算法相對于傳統(tǒng)紅外目標跟蹤算法，在復雜紅外地面環(huán)境下，提高了跟蹤的準確性和魯棒性。

1 壓縮跟蹤算法和TLD算法

1.1 CT算法簡述

CT算法[4]采用基于壓縮感知理論提取壓縮后的特征，其特征提取公式如下：

＝(1)

式中：∈(×)為樣本原始特征矩陣；矩陣(×)(?)為滿足約束等距性條件的隨機測量矩陣；(×)為壓縮后的特征。CT算法中隨機測量矩陣中元素值的定義如下：

式中：ri,j為矩陣P中第i行第j列的元素；c的取值隨機在2～3之間[4]選擇。通過式(2)可以計算壓縮特征，它是由原始特征以ri,j為權(quán)值的加權(quán)和，其生成過程如圖1所示。

CT算法主要包括樣本特征降維提取和樸素貝葉斯分類器分類學習。其流程為：先對目標區(qū)域進行特征降維提取，然后在目標區(qū)內(nèi)提取正樣本，目標區(qū)外提取負樣本以訓練（更新）貝葉斯分類器，然后預測目標位置。

1.2 TLD算法簡述

TLD算法[5]作為一種單目標長期跟蹤算法，其結(jié)構(gòu)如圖2所示，主要由檢測、跟蹤和學習3個模塊構(gòu)成。其中，檢測模塊和跟蹤模塊并行運行，跟蹤模塊應用光流法對目標位置進行估計，檢測模塊基于全圖使用分類器檢測目標。學習模塊基于跟蹤器和檢測器的結(jié)果，對跟蹤模塊的顯著特征點進行更新，同時更新檢測器的模型。圖2右側(cè)的綜合模塊則結(jié)合檢測模塊和跟蹤模塊結(jié)果融合輸出。

圖2 TLD算法框圖

2 本文算法

傳統(tǒng)的TLD算法和CT算法都存在一定的不足，其中TLD算法存在以下不足[5]：①目標被嚴重遮擋時，TLD檢測器和跟蹤器都無法捕獲到目標，從而會造成目標丟失；②檢測器全局檢索目標時耗時且計算量大；③基于目標直方圖特征的光流法，易受光照變化影響，且在目標發(fā)生非剛性形變時，光流法跟蹤易失效。

傳統(tǒng)CT算法存在Harr特征在目標灰度劇烈變化時表征不穩(wěn)定，提取的紋理和灰度特征不均勻，以及無法自適應目標尺度的變化?；谏鲜鰡栴}，我們提出基于TLD算法框架的改進CT算法的紅外圖像跟蹤算法。

2.1 改進的壓縮跟蹤算法

在跟蹤算法中目標特征的提取和識別[6]極其重要，而在復雜紅外地面環(huán)境下，背景雜波、運動模糊和目標像素較少等問題，均會對特征的提取和識別產(chǎn)生影響。為解決上述問題，首先使用局部光照不變性和旋轉(zhuǎn)平移不變性的HOG特征[7]，h來表征紅外目標，以解決Harr特征的不穩(wěn)定性[4]。HOG特征其思想是使用直方圖來統(tǒng)計局部梯度方向的信息以表征圖像局部區(qū)域，則特征提取變?yōu)槭?3)：

v＝h(3)

式中：為特征提取矩陣。在目標區(qū)域隨機選擇不同尺度的矩形塊T（2～4個），統(tǒng)計每個T的梯度方向直方圖h，以解決目標尺度變化問題。則特征提取公式變?yōu)槭?4)，其中TN為目標區(qū)域矩形塊T的總個數(shù)：

紅外目標特征主要構(gòu)成為灰度和紋理特征，且灰度特征在目標運動時穩(wěn)定，紋理特征在環(huán)境和目標紋理變化時穩(wěn)定。且在低維特征向量空間下不同特征對跟蹤效果有較大的影響，在低維特征向量空間中，62.5%概率表征紋理特征，37.5%概率表征灰度特征[8]。為了平衡紋理特征和灰度特征的提取對穩(wěn)定跟蹤的影響，本文引入原始測量矩陣的互補矩陣。為了方便描述，這里的系數(shù)隨機測量矩陣用表示，其互補隨機測量矩陣用￠表示，￠的元素參考式(5)：

則特征提取模型變?yōu)椋海?￠＝￠。假定和￠中的特征元素相互之間獨立分布，則可對優(yōu)化后的特征使用樸素貝葉斯分類器建模，且有先驗概率(＝0)＝(＝1)，則由貝葉斯分類公式可得到式(6)：

式中：(＞0)是學習速率參數(shù)；參數(shù),,￠,￠由極大似然估計理論可得。

原始的樸素貝葉斯分類器將特征分類結(jié)果直接相加，易增大貝葉斯分類器誤差，造成目標模型漂移。為了克服該問題，我們對樸素貝葉斯分類器中的特征進行加權(quán)處理，式(8)給出了提取特征為目標特征的概率：

這里引入特征權(quán)值w來解決不同特征間的樣本分類[9]。結(jié)合式(8)和閾值對分類器中特征v進行評估。如果p()＞，則樣本分類結(jié)果為目標正樣本；反之為背景負樣本。一般閾值≥0，在此基礎上更新特征權(quán)值w。由式w＝(tp＋fn)/(p＋n)可得權(quán)重w。其中，tp表示正確分類的目標正樣本個數(shù)，fn表示正確分類的背景負樣本個數(shù)。則對于特征v，若權(quán)值w越大，分類效果越好；反之分類效果越差。故貝葉斯分類器n()更新成式(9)，實際的跟蹤器模板為了更好的魯棒性，每5幀更新一次模型參數(shù)：

2.2 基于TLD框架整合優(yōu)化CT算法

基于TLD算法再檢測機制實現(xiàn)的長期穩(wěn)定跟蹤特性的框架。將改進的壓縮跟蹤算法整合到TLD框架中，提出改進的CT（Improved Compressd Tracking, ICT）跟蹤算法，如圖3所示。ICT算法替代TLD算法的跟蹤模塊，能有效克服光流法紅外跟蹤帶來的漂移。同時TLD算法的在線學習機制，能夠提升紅外目標跟蹤的穩(wěn)定性，也能彌補ICT算法的目標出視野的問題，有效地改善了算法的魯棒性和準確性。

圖3 改進TLD算法與ICT算法融合的算法框架圖

2.3 遮擋目標預測

目標跟蹤算法在被遮擋后，基于判別學習的方法會學習到大量的負樣本信息，造成模型的漂移。CT算法即使優(yōu)化特征的抽取也無法有效地解決遮擋問題。如果ICT跟蹤模塊跟蹤的目標丟失，且TLD的檢測模塊無法在2.5倍目標區(qū)域內(nèi)檢測出目標，此時調(diào)用卡爾曼濾波器對目標接下來一幀的位置Post進行預測，并在該位置的2.5倍目標區(qū)域面積大小區(qū)域內(nèi)進行檢測。如果檢測成功則重新初始化跟蹤器和檢測器的參數(shù)，否則執(zhí)行TLD檢測器進行全局檢索。這樣在一定程度下有利于降低目標全局檢索開銷的時間。

2.4 本文算法實現(xiàn)

在改進的TLD算法框架下結(jié)合ICT算法，其實現(xiàn)流程如圖4所示。流程簡述如下：

1）第一幀初始化ICT算法的貝葉斯分類器、TLD算法的隨機森林分類器和Kalman濾波器參數(shù)；2）計算測量矩陣和￠，提取目標加權(quán)特征；3）計算ICT跟蹤模塊的響應結(jié)果max_CT和TLD檢測器的響應結(jié)果max_DE，更新Kalman濾波器位置參數(shù)，并記錄目標位置和速度信息；4）根據(jù)閾值情況更新檢測模塊和跟蹤模塊（參考圖4偽代碼部分）；5）循環(huán)2）～4）步驟到視頻結(jié)束。

3 測試結(jié)果及分析

基于自建視頻測試集將改進算法與原算法（CT算法、TLD算法）和紅外主流穩(wěn)定算法進行對比。對比跟蹤精度、跟蹤抗遮擋、尺度變化等幾個方面，根據(jù)測試結(jié)果驗證本文算法的有效性。

3.1 視頻序列

視頻序列采自國產(chǎn)非制冷紅外成像系統(tǒng)，主要包含：行人、汽車等紅外目標；測試內(nèi)容包含，光照變化，目標遮擋、背景雜波、紋理變化、尺度變化等。測試環(huán)境基于Intel Core I5臺式計算機和C＋＋語言。

3.1.1 視頻序列一

實驗一采用的是384×288分辨率的紅外汽車視頻。跟蹤結(jié)果如圖5所示，其中跟蹤框顏色指代不同的算法。在跟蹤前期階段，紅外目標像素較少，且和背景灰度相近，參考第10幀結(jié)果，CT算法出現(xiàn)輕微的漂移，其他兩種算法穩(wěn)定跟蹤。在26幀以后，CT算法目標漂移加劇，后續(xù)的樣本特征無法修正分類器參數(shù)。再往后紅外目標尺度變化明顯，TLD算法和CT算法均不能有效處理目標的尺度變化。本文算法融合了兩種算法的優(yōu)點，同時在檢測器中使用了多尺度模板，因而能夠有效處理紅外目標的尺度變化和背景雜波干擾。

圖4 所提算法的偽代碼和流程圖

再看上述情況的跟蹤誤差變化，3種算法跟蹤誤差對比結(jié)果如圖6所示。可以看出本文算法的總體跟蹤誤差要明顯優(yōu)于壓縮跟蹤算法和TLD算法，平均誤差在3個像素左右，跟蹤穩(wěn)定。

3.1.2 視頻序列二

實驗二采用960×576分辨率的紅外行人視頻。跟蹤結(jié)果如圖7所示，其中跟蹤框顏色指代不同的算法。在跟蹤前期階段，沒有被遮擋或發(fā)生形變，3種算法跟蹤都較穩(wěn)定。但在第110幀開始行人被樹木遮擋，TLD算法由于負樣本的學習導致模型漂移，進而目標框產(chǎn)生了漂移。CT算法和本文算法對遮擋有較強的魯棒性。

圖6 汽車紅外視頻的跟蹤誤差曲線圖

在小目標不斷被不同程度地遮擋變化情況下，3種算法誤差對比結(jié)果如圖8所示。本文算法的總體跟蹤誤差要明顯優(yōu)于TLD算法，總體上可以看出，本文算法比CT算法的跟蹤效果較好，平均誤差在4個像素左右，跟蹤效果良好。

圖8 行人紅外視頻的跟蹤誤差曲線圖

3.2 對比其他算法

通過3.1節(jié)可見提出的算法有效地解決了紅外背景雜波干擾、運動模糊、部分遮擋和目標輕微形變等問題。再在VOT-TIR2015數(shù)據(jù)集對比測試經(jīng)典的紅外目標跟蹤算法，如：FCT[9]，IVT[10]，ODFS[6]，CRC[12]，采用前述實驗相同的紅外視頻序列作為輸入。表1為各種跟蹤算法的跟蹤成功率和跟蹤精度[12]方面的對比情況，其中跟蹤成功率的兩個衡量指標為：Roc曲線下的面積（Area under Curve，AUC）和跟蹤保持穩(wěn)定的能力（Track Maintenance，TM）。本文算法在保證在前述平臺下的27FPS速度還取得更優(yōu)異的性能。得益于改進TLD算法的在線學習和再檢測能力，本文提出的跟蹤算法在跟蹤成功率和精度方面相比其他算法都有了很大程度地提升，同時保證了較高的穩(wěn)定性。

表1 幾類紅外常見跟蹤算法的成功率和精度對比

4 結(jié)語

本文針對復雜地面背景下的紅外目標穩(wěn)定跟蹤問題提出了基于TLD框架的壓縮跟蹤方法，該方法將CT算法中表征不穩(wěn)定的類Harr特征替換為HOG特征，引入互補隨機測量矩陣，來自適應地平衡目標紋理和灰度特征，優(yōu)化貝葉斯分類器的加權(quán)問題，同時加入尺度處理模板，很大程度上降低了傳統(tǒng)紅外目標跟蹤算法的模型漂移和遮擋。由于TLD框架的在線學習機制，有效地解決了目標脫離視野后的重補問題，如果出現(xiàn)遮擋使用卡爾曼濾波器進行區(qū)域預測有效降低全局檢測的復雜度，這提升了跟蹤算法的長期準確性。融合TLD思想和CT算法的優(yōu)點，結(jié)合可實時的速度，有效地克服了紅外目標跟蹤地被遮擋和形變等，有利于目標地長期穩(wěn)定跟蹤。目前本算法只是對單個目標進行跟蹤，如何將本文算法推廣到多目標和多種復雜條件下進行跟蹤將是我們下一步將要研究的重點方向。

[1] Comaniciu D, Ramesh V, Meer P. Real-time tracking of non-rigid objects using mean Shift[C]//, 2000: 142-149.

[2] YANG Yue, LIU Xingmiao, GUO Qiwang, et al. Infrared Object Matching Tracking Algorithm Based on Improved Mutual Information[J]., 2013, 35(6): 350-354.

[3] Elad M, Aharon M. Image denoising via sparse and redundant representations over learned dictionaries[J]., 2006, 15(12): 3736-3745.

[4] ZHANG K, ZHANG L, YANG M H. Real-time compressive tracking[C]//, 2012: 864-877.

[5] Kalal Z, Mikolajczyk K, Matas J. Tracking-Learning-Detection[J]., 2012, 34(7): 1409-1422.

[6] ZHANG Kaihua, ZHANG Lei, YANG Mingsuan. Real-time object tracking via online discriminative feature selection[J]., 2013, 22(12): 4664-4677.

[7] Navneet Dalal, Bill Triggs. Histograms of oriented gradients for human detection[C]//, 2005: 886-893.

[8] YANG H R. Research on tracking algorithm of infrared ground target [D]. Chengdu: University of Electronic Science and Technology of China, 2017.

[9] ZHANG Kaihua, ZHANG Lei, YANG Mingsuan. Fast compressive tracking Pattern Analysis and Machine Intelligence[J]., 2014, 36(10): 2002-2015.

[10] Ross D A, Lim J, Lin R, et al. Incremental Learning for Robust Visual Tracking[J]., 2008, 77(1): 125-141.

[11] Kalal Z, Matas J, Mikolajczyk K. P-N learning: Bootstrapping binary classifiers by structural constraints[C]//, 2010: 49-56.

[12] Felsberg Michael, Berg Amanda, Hager Gustav. The Thermal Infrared Visual Object Tracking VOT-TIR2015 Challenge Results[C]//2015(ICCVW), 2015: 639-651.

Stable Infrared Target Tracking Algorithm Under Complicated Background

LI Jiquan，SHI Qingong，HU Chunsong

(Hunan Huanan Opto-Electro-Sci-Tech Co., LTD, Changde 415000, China)

During the long-term tracking process of a single infrared target, many technical problems occur, such as strong background interference, occlusion, deformation, and target feature attenuation. An infrared target-tracking algorithm based on tracking-learning-detection (TLD) was proposed to solve these problems. Based on compressive tracking (CT), generalized Harr-like features were replaced by histograms of oriented gradient features. In our proposed method, a complementary random measurement matrix, which extracted texture and optimized grayscale feature-weights, was introduced. Moreover, a Kalman filter, used to record the space context location information, was adopted. Hence, the tracking failure and global retrieval problem of traditional CT and TLD algorithms can be solved when the target is occluded or deformed. The infrared image-tracking algorithm based on the combination of the TLD algorithm framework and improved CT algorithm effectively solves the problem of occlusion and strong interference and improves the tracking accuracy and long-term tracking stability of the algorithm. Experimental results show that the proposed algorithm can track well in real time and maintain good accuracy and robustness in an infrared ground environment.

compressive tracking，tracking-learning-detection，HOG features，Kalman filter

TP391.4

A

1001-8891(2020)05-0434-06

2018-12-19；

2020-03-25.

李繼泉（1985-），男，本科，主要從事光電系統(tǒng)設計。E-mail: jiquan_li@163.com.