融合灰度與顯著性特征的空中紅外目標跟蹤

鄭武興,王春平,付 強,徐 艷

(陸軍工程石家莊校區(qū)電子與光學工程系,河北 石家莊 050003)

1 引 言

隨著紅外成像技術的不斷發(fā)展,紅外成像系統(tǒng)已廣泛應用于軍事、民用等領域,如紅外精確制導、預警、視頻監(jiān)控、搜索跟蹤等[1]?；诩t外成像的目標跟蹤技術是上述領域的一項關鍵技術,在現代國防中發(fā)揮著重要作用。一個穩(wěn)定可靠的跟蹤器要能夠適應各種環(huán)境,比如雜波干擾、外觀或光照變化、目標旋轉、尺度變化以及受到遮擋等[2]。然而,紅外目標有其自身的特點,使得跟蹤工作相當困難。例如,為了給紅外系統(tǒng)留出足夠的反應時間,需要對遠距離目標進行探測,并盡可能快地找到目標。當紅外成像系統(tǒng)用于遠距離目標探測時,紅外目標成像面積小,且每個目標能量較弱,加之受到背景噪聲的干擾,使得紅外目標在紅外圖像中更加弱小,這對紅外目標提取造成很大的困難[3]。此外,由于紅外傳感器易受大氣熱輻射的影響,長距離觀測傳輸使得目標信號比較弱,目標信號被淹沒在很多復雜的背景雜波和噪聲中,尤其是在非平穩(wěn)背景。另一方面,紅外目標信息量少,沒有足夠的特征[4],而裝備的大幅度抖動為跟蹤增添了一定難度,這使得復雜背景下的紅外弱小目標跟蹤更具有挑戰(zhàn)性。

基于字典學習的跟蹤方法[5]至今仍然是目標跟蹤領域的一個研究熱點,形形色色的字典構造和更新方法使得近兩年來這方面文章很多。但是這類算法最大的問題就是實時性,稀疏系數計算和字典更新太慢。而相關濾波在可見光目標跟蹤方面獲得了很好的跟蹤結果,具有良好的實時性。文獻[6]算法(SRDCF)基于DCF改進,采用更大的檢測區(qū)域,同時加入空域正則化,懲罰邊界區(qū)域的濾波器系數,采用高斯-塞德爾方法迭代優(yōu)化。文獻[7]算法(SAMF_AT)通過響應自適應提高性能。大部分基于檢測的跟蹤算法都以犧牲樣本的數量來保證算法的實時性,這使得跟蹤算法的魯棒性比較差。KCF算法將樣本變成循環(huán)矩陣,然后利用對角化和離散傅里葉變換的性質,大大縮減計算復雜度,從而提高訓練速度。因此,我們可以選取足夠多的樣本進行訓練,在保證算法實時性的同時,也保證了算法的魯棒性。文獻[8]算法(KCF_MTSA)以及文獻[9]算法(SAMF)就是基于KCF的改進,其中KCF_MTSA采用多模板尺度只適應,改進濾波器更新策略,增加尺度變化；SAMF采用HOG+CN特征在多尺度縮放的圖像塊上進行目標檢測,取響應最大的那個平移位置和響應所在尺度,它們的改進都是以犧牲實時性為代價。相關濾波不依賴于目標的邊緣、紋理和色彩等特性,并且對小體積目標具有很好的適用性,計算復雜度非常低,實時性相對較高,因此可以有效移植到紅外目標跟蹤當中。本文就是基于KCF改進,利用灰度和顯著性特征融合,用于空中紅外目標跟蹤,具有良好的跟蹤性能,又能保持KCF實時性優(yōu)勢。

2 多特征融合核相關濾波跟蹤

本節(jié)提取灰度與顯著性特征,并將它們進行融合(簡稱GS特征,G表示灰度特征,S表示顯著性特征),將其用于KCF跟蹤。所提算法稱為采用GS特征的核相關濾波跟蹤算法(KCF_GS),算法流程如圖1所示。白色框內為目標區(qū)域O,黑色框內為目標擴展區(qū)域(跟蹤區(qū)域)E。

圖1 KCF_GS算法流程圖

2.1 基本原理

根據文獻[10]可以推導得出:

(1)

式中,^表示離散傅里葉變換;k為核函數;λ為控制過擬合的正則化參數;y為已知量,用來標記樣本的標簽,基樣本標記值最大。通過式(1)訓練得到α用于檢測,取候選目標的特征為z,維度和x相同。推導得出:

(2)

(3)

其中,μ為插值系數,實驗中取值0.075。

2.2 特征提取

自然圖像的統(tǒng)計特性具有變換不變性:即將圖像從原來的空間坐標變換到頻率坐標系中,圖像在空間中具有的統(tǒng)計特性在頻域中仍然保留,這種不變性恰好保證了采用能量譜來刻畫自然圖像空間相關性的可靠性[12]。在自然圖像的統(tǒng)計特性中尺度不變性是最經典也是研究最廣泛的特性,這種特性也被稱為1/f法則,即自然圖像集合的平均傅里葉譜的幅值A(f)服從下式的分布:

E{A(f)就是圖像的平均振幅譜}∝1/f

(4)

式中，E{A(f)}表示大量log頻譜的平均值;f表示頻率,所以大量的log頻譜的平均值和頻率呈現出反比關系。log頻譜是對圖像進行傅里葉變換后的振幅譜取自然對數,傅里葉變換中,將信息按照高低頻的形式進行統(tǒng)計分布,低頻信息主要保存在頻譜中,而高頻信息則主要保存在相位中。也就是說頻譜殘差實際保留下來的是少部分的低頻信息。而經過log處理之后,原先差異較大的低頻信息被映射到很小的一個區(qū)間。因此使得頻譜殘差接近于0,從而恢復出來的基本上是高頻信息?？罩屑t外目標背景往往比較平滑,如果有目標會出現亮點,即為高頻信息,通過顯著性處理就使得目標更加明顯突出。譜殘差就是log譜和其進行均值濾波后的差,可按下面的式子計算:

R(f)=L(f)-A(f)

(5)

其中,L(f)就是圖像的log振幅譜;A(f)就是圖像的平均振幅譜,這里將L(f)進行n×n均值濾波得到A(f),R(f)即為普殘差,則顯著性計算過程如下:

A(f)=R(F[I(x)])

(6)

P(f)=I(F[I(x)])

(7)

L(f)=log(A(f))

(8)

R(f)=L(f)-hn(f)*L(f)

(9)

(10)

其中,I(x)為使圖像中1%的數據飽和至最低和最高亮度的對比度增強后圖像,對其進行傅里葉變換求出振幅譜為A(f),P(f)是其相位譜,hn是n×n均值濾波卷積核(n=3)。通過式(10)計算得出的結果即為顯著性特征S,在此進行一個高斯模糊濾波g(x)使得效果更加明顯。

灰度特征提取首先對增強后的圖像I進行歸一化,然后各像素值減去圖像平均值,即為灰度特征G,如下式:

(11)

得到的顯著性特征與灰度特征維度相同,將它們按照頁的方式拼接即為融合后的GS特征。

2.3 算法步驟

對跟蹤區(qū)域進行特征提取之前,首先對該區(qū)域進行對比度增強,使得圖像中1%的數據飽和至最低和最高亮度。結合上述GS特征,所提的KCF_GS跟蹤算法基本步驟如下,第一幀目標狀態(tài)已知。

Step4:根據縮小的倍數還原真實目標位置和大小及原圖像大小,t=t+1轉至Step2,進入下一幀跟蹤。

3 實驗效果及分析

本文采用文獻[13]中的跟蹤性能評估方法,與其他6種算法在7個不同背景環(huán)境的紅外空中目標視頻序列上進行了對比實驗,各序列的特點如表1所示。

表1 實驗視頻序列

本文在Windows7-64bit系統(tǒng),Core i5 2.5GHz和6GB RAM的配置下,使用MATLAB R2013a進行實驗仿真。

3.1 定性分析

不同序列的跟蹤結果如圖2所示,截取原圖像一部分分析跟蹤效果。

圖2 不同序列跟蹤結果

從圖2(a)、(b)可以看出所列幾種算法都能比較穩(wěn)定跟蹤背景清晰的弱小目標,從圖2(c)中可以看出所提的算法能夠比較精確鎖定旋轉目標。而圖2(d)中雖然能夠基本鎖定大目標中心,但較個別算法還是差點,可能是缺乏尺度更新對跟蹤精度造成一定影響。圖2(e)中對于目標經過簡單障礙物后,所提算法還是能夠穩(wěn)定跟蹤,而從圖2(f)可以看出目標特別小的時候容易受障礙物的干擾,所列的幾種算法都不能很好跟蹤,目標丟失后無法重新跟上。從圖2(g)中可以看出,炮彈擊發(fā)時刻的目標受到光照影響,干擾過后所提算法還是能夠穩(wěn)定跟蹤。

3.2 定量分析

通常取精度曲線上閾值為20像素和成功率曲線上閾值為0.5的值為典型值(分別為Pre-20和Suc-0.5),其7種算法在7個序列的跟蹤結果精度和成功率曲線如圖3所示,圖中的圖例按照典型值大小排序,表2為相關性能的比較。

圖3 精度和成功曲線

算法精度(Precision)成功率(Success)平均跟蹤速度/(f·s-1)KCF＿GS08480639125162KCF＿MTSA0840059257776SAMF＿AT077305492153SRDCF0732036733644SAMF0701037012834SCM068505920124KCF06040409610000

結合圖3與表2,可以看出所提的KCF_GS算法無論是在精度、成功率以及跟蹤速度上都體現出了足夠的優(yōu)勢。KCF_MTSA算法雖然在精度和成功率上也占據優(yōu)勢,但是跟蹤速度還達不到本文算法的1/2。而KCF算法在實時性上占據了絕對優(yōu)勢,可是跟蹤性能遠遠不足。另一方面,所提算法的曲線也比較平滑,說明跟蹤器比較穩(wěn)定。

4 結 論

本文提出一種基于灰度和顯著性特征融合的核相關濾波算法用于空中紅外目標跟蹤,特征提取比較簡單,加上對數據采用不同等級壓縮,使得跟蹤速度大大提高,體現出了良好的實時性。實驗表明該方法能夠適應多種情況下的空中紅外目標跟蹤,能夠穩(wěn)定跟蹤背景清晰下的弱小目標,對遮擋、光照影響、目標旋轉也具有一定的適應能力。但是仍存在一定不足,對于目標位置突變情況的跟蹤效果不好,缺乏尺度自適應在一定程度上影響精度。另一方面,對于目標跟丟后沒有做相應重檢處理,導致后續(xù)跟蹤結果不可靠。

[1] Lei L,Huang Z.Improved motion information-based infrared dim target tracking algorithms[J].Infrared Physics & Technology,2014,67:341-349.

[2] YONG Yang,WANG Shengzhe,WANG Bingxue,et al.Infrared moving target tracking based on sparse feature selection[J].Laser & Infrared,2015,45 (4):446-451.(in Chinese )

雍楊,王升哲,王兵學,等.采用稀疏特征選擇的紅外運動目標跟蹤方法[J].激光與紅外,2015,45(4):446-451.

[3] WANG Jun, HE Ziqing,LIU Hongyan,et al.Rapid infrared target extraction based on simplest visual saliency[J].Laser & Infrared,2016,46 (7):880-884.(in Chinese )

王軍,何子清,柳紅巖,等.基于最簡視覺顯著性的紅外目標快速提取方法[J].激光與紅外,2016,46(7):880-884.

[4] JIN Xiaohui, YANG Wei,BAI Xiaofang.A Method using infrared thermal imager to detect and track hidden[J].Infrared Technology,2014,(8):639-643.(in Chinese )

金曉會,楊衛(wèi),白曉方.一種用紅外熱像儀檢測與跟蹤遮擋目標的方法[J].紅外技術,2014,(8):639-643.

[5] Wei Zhong,Huchuan Lu,Ming-Hsuan Yang.Robust object tracking via sparsity-based collaborative model[C]// Computer Vision and Pattern Recognition.IEEE,2012:1838-1845.

[6] Danelljan M, Hager G,Khan F S,et al.Learning Spatially Regularized Correlation Filters for Visual Tracking[C]// IEEE International Conference on Computer Vision.IEEE Computer Society,2015:4310-4318.

[7] Bibi A,Mueller M,Ghanem B.Target Response Adaptation for Correlation Filter Tracking[C]// European Conference on Computer Vision.Springer International Publishing,2016:419-433.

[8] Bibi,Adel Aamer,Ghanem,Bernard.Multi-template Scale-Adaptive Kernelized Correlation Filters[C]// IEEE International Conference on Computer Vision Workshop.IEEE,2015:613-620.

[9] Li Y,Zhu J.A Scale Adaptive Kernel Correlation Filter Tracker with Feature Integration[C]// European Conference on Computer Vision.Springer,Cham,2014:254-265.

[10] Henriques J F, Rui C,Martins P,et al.High-Speed Tracking with Kernelized Correlation Filters[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2014,37(3):583-596.

[11] PAN Zhenfu, ZHU Yongli.Kernelized Correlation Filters Object Tracking Method with Multi-Scale Estimation[J].Laser & Optoelectronics Progress,2016,53 (10):199-205.(in Chinese )

潘振福,朱永利.多尺度估計的核相關濾波器目標跟蹤方法[J].激光與光電子學進展,2016,53(10):199-205.

[12] Hou X, Zhang L.Saliency Detection:A Spectral Residual Approach[C]// Computer Vision and Pattern Recognition,2007.CVPR '07.IEEE Conference on.IEEE,2007:1-8.

[13] Wu Y, Lim J,Yang M H.Online Object Tracking:A Benchmark[C]// IEEE Conference on Computer Vision and Pattern Recognition.IEEE Computer Society,2013:2411-2418.