李鑫隆,艾斯卡爾·艾木都拉
(新疆大學(xué)信息科學(xué)與工程學(xué)院,新疆 烏魯木齊 830046)
紅外圖像的典型特點是分辨率較低,對比度較差。紅外圖像中的小目標(biāo)視覺強度微弱,邊界模糊,跟蹤時容易丟失。實際應(yīng)用中對跟蹤算法的精度要求很高[1-2]。相關(guān)文獻中,紅外小目標(biāo)又被稱為紅外弱小目標(biāo)[3]、小目標(biāo)[4]、紅外點目標(biāo)[5],弱點目標(biāo)[6]等。為避免累贅,本文統(tǒng)一使用小目標(biāo)作為指代。紅外小目標(biāo)跟蹤算法主要劃分有特征匹配,圖像濾波和目標(biāo)建模三大方向。特征匹配是將目標(biāo)分解為局部特征的集合,根據(jù)特征點匹配實現(xiàn)跟蹤,特征方法的優(yōu)點在于特征點在發(fā)生部分遮擋或者尺度變化時仍能夠被檢測到。在視覺目標(biāo)跟蹤中,SIFT[7]、FAST[8]、BRISK[9]等方法常被用于提取目標(biāo)的局部特征。濾波類方法將關(guān)注目標(biāo)的運動特性,將目標(biāo)的狀態(tài)變化納入考慮,利用合適的濾波方法提取目標(biāo)位置。典型的有時空濾波[10]、粒子濾波(Particle filtering,PF)[11-12]等。不足之處在于這些方法對變化場景中的運動對象處理能力很差,實際跟蹤效果并不理想。建模類算法通常先建立跟蹤對象的理論模型,通過計算模型相似度估計目標(biāo)位置,如均值漂移法[13-14]、光流法[15-16]、模板匹配法[17-18]等。缺點在于對分布穩(wěn)定性具有要求,跟蹤輪廓模糊的小目標(biāo)時容易丟失。總而言之,以上算法并不能夠滿足實際應(yīng)用中紅外探測系統(tǒng)的要求。
基于時空上下文(Spatial-Temporal Context,STC)學(xué)習(xí)的跟蹤方法將對象的局部背景納入算法模型,具有穩(wěn)定高效跟蹤的優(yōu)點。將該方法應(yīng)用到紅外小目標(biāo)跟蹤時發(fā)現(xiàn)STC算法無法準(zhǔn)確跟蹤雜波干擾的模糊對象。紅外小目標(biāo)像素面積小,和背景對比差異小,跟蹤時受邊緣雜波干擾易導(dǎo)致跟蹤失敗。針對小目標(biāo)跟蹤中的變化場景和模糊輪廓問題,本文提出了一種基于小目標(biāo)梯度分布的局部相似度(Local Similarity Measure,LSM)特征。該特征學(xué)習(xí)當(dāng)前目標(biāo)的梯度分布并在下一幀獲取響應(yīng)。LSM特征能夠有效增強目標(biāo)響應(yīng),降低邊緣雜波干擾。然后基于局部相似和運動估計,提出了本文的跟蹤框架。
STC算法的實質(zhì)是在搜索空間內(nèi)計算目標(biāo)似然函數(shù)的響應(yīng),并將響應(yīng)最高點確定為跟蹤對象的中心。引用文獻[19]的部分內(nèi)容描述STC算法的算法流程。文中,目標(biāo)的響應(yīng)矩陣描述為:
c(x)=p(x|o)=∑v(z)∈XcP(x|v(z),o)P(v(z)|o)
(1)
其中,XC表征目標(biāo)鄰域像素集合;v(z)是目標(biāo)鄰域內(nèi)任意點z的坐標(biāo)和像素值;o說明跟蹤對象存在;x表示跟蹤對象某一像素;P(x|v(z),o)描述了目標(biāo)像素分布與其鄰域信息的整體關(guān)聯(lián);P(v(z)|o)描述了局部區(qū)域跟蹤對象o存在時任意點z與o的關(guān)聯(lián)。在當(dāng)前幀,響應(yīng)矩陣c(x)可表示為:
c(x)=b·exp(-(|(x-x*)/α|)β)
(2)
式中,α、β是公式參數(shù),和對象的尺度和形狀有關(guān);b為歸一化常數(shù);x*代表已知目標(biāo)的中心坐標(biāo)。當(dāng)前幀,式(1)中c(x)和P(v(z)|o)按照相應(yīng)公式計算獲得,跟蹤任務(wù)轉(zhuǎn)化為上下文模型P(x|v(z),o)的構(gòu)建問題,用htSC(x)表示,由此可得:
式中,F表示傅里葉變換。
基于第t幀的上下文模型htSC(x),就可以計算出(t+1)幀的函數(shù)響應(yīng)矩陣ct+1(x),ct+1(x)中響應(yīng)最高的坐標(biāo)被認(rèn)為跟蹤到的對象。關(guān)于響應(yīng)矩陣c(x)的詳細(xì)計算,推導(dǎo)公式參考文獻[20]。
普遍情況下,目標(biāo)上下文的關(guān)聯(lián)分布依賴顏色通道或灰度特征描述。在灰度特征中,雜波干擾和跟蹤目標(biāo)分布高度相似。當(dāng)雜波和目標(biāo)足夠接近或者目標(biāo)輪廓足夠模糊時,算法建立的上下文模型無法區(qū)分雜波干擾導(dǎo)致偏移。紅外小目標(biāo)跟蹤容錯性低,跟蹤框的微小偏移就可能丟失目標(biāo)。同時目標(biāo)和雜波相似性高導(dǎo)致建模過程中易受上下文區(qū)域的雜波影響,產(chǎn)生偏移。由式(3)可知目標(biāo)的上下文模型僅與其分布算法有關(guān)。在使用時空上下文算法跟蹤紅外小目標(biāo)時,模糊輪廓和背景雜波混淆使得跟蹤算法產(chǎn)生偏移。由此分析,提升跟蹤性能的關(guān)鍵在于增強目標(biāo)響應(yīng)并抑制雜波干擾,提升目標(biāo)與雜波的區(qū)分度,避免偏移。因此本文的解決思路是設(shè)計了一種使用梯度分布描述目標(biāo)上下文信息的特征算法。該特征能夠顯著降低干擾,增強目標(biāo)強度,有助于建立理想的目標(biāo)模型,提升算法的抗干擾能力。
本文設(shè)計的LSM特征通過對當(dāng)前幀的目標(biāo)區(qū)域灰度梯度特性進行學(xué)習(xí),產(chǎn)生相應(yīng)的權(quán)值矩陣,再利用權(quán)值矩陣在下一幀區(qū)域提取LSM特征。LSM特征可表示如下:
LSM(x,t+1)=λβ(X)·G(X)·W(x*,t)
(4)
LSM(x,t+1)表示第(t+1)幀點x處的特征響應(yīng);λ是歸一化參數(shù);G(X)表示第(t+1)幀中點X處大小為d*d的鄰域梯度矩陣,d為第t幀跟蹤目標(biāo)的直徑均值。對于如圖1(a)所示鄰域矩陣g(X),根據(jù)公式(5)可以計算圖1(b)所示的矩陣G(X)的每一個成員G(x,y)的值:
(a)領(lǐng)域矩陣g(X) (b)梯度矩陣G(X)
(5)
X(x,y)是矩陣g(X)中對應(yīng)坐標(biāo)點的灰度f(t)表示如下:
(6)
W(x*,t)表示第t幀目標(biāo)x*的目標(biāo)權(quán)值矩陣。該矩陣首先在第t幀圖像點x*的鄰域產(chǎn)生鄰域梯度矩陣G(x*),然后對每個方向上R個梯度值G1,G2,…,GR有如下公式計算梯度比例:
(7)
即可得到相應(yīng)的權(quán)值矩陣W(x*,t),其中R為目標(biāo)半徑;β(X)是相似度衡量因子,表示如下:
gray(t,x*)是第t幀x*處的灰度;D是點X和點x*的歐式距離;引入LSM,第t幀圖像的上下文分布概率可表示如下:
p(v(z)|o)=LSM(z,t)ωσ(z-x*)
ωσ是一個高斯權(quán)重函數(shù);x*是已知的對象坐標(biāo)。圖2顯示了LSM響應(yīng)三維圖,其中(a1)和(b1)是處理之前的紅外圖像,(a2)和(b2)是對應(yīng)圖像的三維顯示,(a3)和(b3)相應(yīng)的LSM特征響應(yīng)。圖中目標(biāo)位置已經(jīng)用黑色邊框標(biāo)出。觀察圖2可以發(fā)現(xiàn),三維灰度圖中紅外小目標(biāo)和背景的差異很小,難以直觀地區(qū)分。這是采用灰度特征作為上下文描述符的STC算法容易受邊緣雜波和模糊輪廓影響產(chǎn)生偏移的原因。相反,在LSM特征響應(yīng)圖中,目標(biāo)和背景差異較大,具有很強的辨識度。引入LSM特征可有效抑制雜波干擾。
圖2 LSM響應(yīng)三維視圖
基于時空穩(wěn)定性,在相鄰的兩幀間,小目標(biāo)的位置變化不會很大。為了降低算法耗時,引入了運動估計機制。給定當(dāng)前幀目標(biāo)位置x*,當(dāng)前幀目標(biāo)相對于前一幀目標(biāo)位移Δx,跟蹤框半徑R以及運動估計因子M。則跟蹤算法搜索域可表示成點(x*+Δx)為中心的方形區(qū)域,區(qū)域邊長為2F。F的計算公式,運動估計因子M1初始值以及更新公式表示如下:
F=M+k·2R
(10)
M1=0.5·max(h,w)-k·2R
(11)
Mt+1=δMt+(1-δ)|Δx|
(12)
式中,k和δ是可調(diào)參數(shù);h和w是第一幀圖像的尺寸。采用該機制,能有效縮小圖像搜索域,進而提升處理速度。
在引入上述LSM特征結(jié)合運動估計提出了本文方法,算法流程如下:
跟蹤模型:輸入:待跟蹤視頻,初始標(biāo)注框輸出:圖像序列跟蹤框列表T1:初始化,讀入序列總長L,序列第一幀以及第一幀標(biāo)注框坐標(biāo)x*i;根據(jù)公式(5)、(6)、(7)計算當(dāng)前圖像幀目標(biāo)區(qū)域梯度權(quán)值W(x*,1);2)根據(jù)權(quán)值W(x*,1)和(4)式構(gòu)建當(dāng)前幀LSM響應(yīng);3)根據(jù)(2)式對目標(biāo)x*1的鄰域構(gòu)造目標(biāo)似然c(z);4)根據(jù)式(9)獲取分布概率P(v(z)|o);5)根據(jù)式(3)計算上下文模型h1SC(z)。2:For i=2,3,…,L1)如下式更新Ht+1SC,ρ表示學(xué)習(xí)因子:HSCi(x)=(1-ρ)HSCi-1(x)+ρhSCi-1(13) 2)讀入當(dāng)前幀,根據(jù)(10)(11)式劃分搜索域;3)根據(jù)權(quán)值W(x*,i-1)和4式構(gòu)建當(dāng)前幀LSM響應(yīng)LSM(x,i);4)計算當(dāng)前幀目標(biāo)似然:ci(x)=F-1(F(HSCi(x))·F(LSM(x,i)ωσ(x-x*)))(14)5)獲取圖ci(x)響應(yīng)值最大的點坐標(biāo)構(gòu)造當(dāng)前圖像跟蹤框x*i;6)更新權(quán)值W(x*,i),計算目標(biāo)位移(x*i-x*i-1),并根據(jù)式(12)更新運動估計因子Mi;7)根據(jù)式(2)(9)(3)計算當(dāng)前幀上下文模型hiSC(z)。3:跟蹤框列表:T=(x*1,x*2,…,x*L)(15)
對比實驗在VS2017和matlab 2017b環(huán)境下進行,計算機配置為3.6 GHz Intel Core i7 CPU,8G內(nèi)存。實驗數(shù)據(jù)集由不同背景和目標(biāo)特性的4段測試視頻序列組成,視頻特性如表1所示。其中Drone序列來源于公開數(shù)據(jù)集[21]。式(4)中歸一化參數(shù)設(shè)為32,STC算法參數(shù)參照文獻[20]設(shè)為默認(rèn)值,運動估計因子式(10)中,k設(shè)為3,式(12)中學(xué)習(xí)因子δ設(shè)為0.5 。
表1 視頻序列的不同特性
將本文方法和最新發(fā)表的4種方法:高效卷積算子(Efficient Convolution Operator,ECO)跟蹤算法[22],時空正則化相關(guān)濾波(Spatial-Temporal Regularized Correlation Filters,STRCF)跟蹤算法[23],背景感知相關(guān)過濾(Background-Aware Correlation Filter,BACF)跟蹤算法[24],自動時空正則化跟蹤(Tracking with Automatic Spatio-Temporal Regularization,AutoTrack)算法[25]進行對比分析。采用CVPR 2013[26]提出的基準(zhǔn)工具tracker_benchmark_v1.0比較跟蹤算法的性能,結(jié)果如圖3所示。五種算法在本文視頻序列的實驗結(jié)果如圖4所示。
基于tracker_benchmark_v1.0實驗平臺,使用該實驗平臺的單次評估(one-pass evaluation,OPE)指標(biāo):成功圖(Success Plot)和精確圖(Precision Plot)對比實驗性能。分析成功圖(見圖3(a))可知,本文方法具有五種實驗算法中最高的跟蹤成功率,取平均重疊率(Average Overlap Rate,AOR)閾值為0.5,此時本文方法(實線)的成功率比次優(yōu)的ECO算法高約3 %。分析精確圖(見圖3(b)),在平均距離誤差(Average Location Error,ALE)閾值小于5的階段時,本文方法(點線)具有最高精確率。
圖3 五種算法跟蹤性能分析
在圖4的每個跟蹤結(jié)果中利用目標(biāo)區(qū)域的投影分別給出了五種算法跟蹤框和標(biāo)注框(黑色虛線框)的對比。Simulation序列(見圖4(a))是一個仿真合成序列,目標(biāo)清晰,背景變化小。在該序列中五種實驗方法都能準(zhǔn)確跟蹤到目標(biāo)。在Clouds序列中(見圖4(b)),第五幀(圖4(b)#5)時目標(biāo)被云層部分遮擋,目標(biāo)輪廓相對模糊。在該序列上,STRCF算法和BACF算法發(fā)生了漂移,偏離了跟蹤對象。Car序列(見圖4(c))的特點是目標(biāo)較模糊,背景干擾較強。Drone序列(見圖4(d))的特點是目標(biāo)格外微弱,與背景對比度較低。AutoTrack算法(見圖4(c)#20,圖4(d)#30)發(fā)生錯誤,偏移較大。在Car序列和Drone序列中,STRCF算法(BACF算法)的問題是無法實現(xiàn)對目標(biāo)尺度的準(zhǔn)確估計,跟蹤過程中跟蹤框退化為一個細(xì)小的白點(見圖4(c)#140,圖4(d)#90),和實際標(biāo)注情況不符合。從圖4可以看出,ECO算法和本文方法跟蹤過程比較穩(wěn)定,能夠有效應(yīng)對運動模糊和雜波干擾情況。
圖4 五種算法跟蹤結(jié)果
表2給出了五種算法在這四個視頻序列上的跟蹤速度(加粗代表最優(yōu)性能),以每秒能夠跟蹤的幀數(shù)(Frame Per Second,FPS)表示,最后一行是四個數(shù)據(jù)集的平均速度。由表2可知,本文方法具有五種算法中最優(yōu)的處理速度,是次優(yōu)的BACF算法的兩倍,這是因為算法采用運動估計方法有效地降低了每一幀圖像的搜索區(qū)域,從而提升了算法的處理速度。
表2 五種算法跟蹤速度
提出一種基于相似性的小目標(biāo)增強方法處理紅外小目標(biāo)跟蹤過程中雜波干擾和運動模糊問題,提升了小目標(biāo)跟蹤過程中算法抗干擾能力。采用運動估計方法縮小跟蹤算法的處理區(qū)域,提升了算法單幀圖像處理速度。將本文算法與多種現(xiàn)有跟蹤算法比較,實驗表明,本文方法對雜波干擾環(huán)境下的模糊紅外小目標(biāo)具備很強的跟蹤能力和突出的實時處理能力。但當(dāng)小目標(biāo)外觀在短時間內(nèi)發(fā)生較大變化時,算法可能會丟失目標(biāo),接下來將在本文的基礎(chǔ)上,研究結(jié)合重檢測機制的小目標(biāo)跟蹤問題。