復(fù)雜紅外背景中運(yùn)動小目標(biāo)快速跟蹤技術(shù)

汪嘉鑫，徐貴川，于婷洋，劉正君

（哈爾濱工業(yè)大學(xué) 儀器科學(xué)與工程學(xué)院 超精密光電儀器工程研究所，黑龍江 哈爾濱，150001）

引言

紅外探測成像技術(shù)由于具有靈敏度高、抗電磁干擾能力強(qiáng)、環(huán)境適應(yīng)性好、大動態(tài)范圍以及全天候工作能力等優(yōu)勢，已被廣泛應(yīng)用于紅外制導(dǎo)與紅外反導(dǎo)等軍事場景中。軍事場景復(fù)雜多變，目標(biāo)運(yùn)動速度快、難以捕獲，成像距離遠(yuǎn)且目標(biāo)弱小。采用紅外弱小目標(biāo)跟蹤算法，可使復(fù)雜背景下紅外成像技術(shù)對目標(biāo)的檢測、鎖定、跟蹤更有優(yōu)勢。因此，將紅外探測成像技術(shù)與紅外弱小目標(biāo)跟蹤算法相結(jié)合，并應(yīng)用于各種類型現(xiàn)代化軍事武器，已成為世界各軍事強(qiáng)國競相研究的熱點[1]。

在紅外背景圖像中，目標(biāo)占據(jù)像素少、對比度低、無具體形狀，目標(biāo)邊緣不明顯、缺少紋理且呈點狀，在跟蹤過程中常存在目標(biāo)遮擋、背景雜波、迅速移動等難題，這些因素增加了紅外弱小目標(biāo)[2]的跟蹤難度。通用、高效、魯棒及實時性好的紅外弱小目標(biāo)跟蹤算法未見報道。

目標(biāo)跟蹤算法主要分為生成式方法、判別式方法和基于深度學(xué)習(xí)方法3類。生成式方法是對跟蹤目標(biāo)建立表觀模型，在下一幀圖像中選取相似度最大區(qū)域定位，代表算法有卡爾曼濾波[3]、粒子濾波[4]、均值漂移[5]等。判別式方法對整張圖像進(jìn)行建模，將目標(biāo)區(qū)域和背景區(qū)域劃分為正負(fù)樣本，訓(xùn)練分類器將目標(biāo)和背景進(jìn)行區(qū)分。相關(guān)[6]、多示例學(xué)習(xí)[7]、隨機(jī)森林[8]等屬于判別方法?，F(xiàn)有判別式方法多用于可見光大目標(biāo)情況，不適用紅外場景中小目標(biāo)跟蹤。主要原因是可見光成像與紅外成像的圖像特性差別大，選取適用于紅外目標(biāo)的模型非常關(guān)鍵。深度學(xué)習(xí)目標(biāo)跟蹤算法因獨特的深度特征、穩(wěn)定的跟蹤效果、弱邊界效應(yīng)等優(yōu)點備受關(guān)注，主要有結(jié)合深度特征的相關(guān)濾波算法和互補(bǔ)孿生網(wǎng)絡(luò)[9]（siamese networks，SN）框架的跟蹤算法。由于彈載平臺中計算單元受散熱、空間、功率等限制，高性能GPU往往無法配置，只能使用計算性能有限、體積小、功耗低的嵌入式設(shè)備，硬件上無法滿足深度學(xué)習(xí)算法的要求，因此深度學(xué)習(xí)方法不適用彈載情況。

本文兼顧跟蹤精度與運(yùn)算速度，以判別尺度空間跟蹤算法[10]（discriminative scale space tracking，DSST）為基礎(chǔ)，根據(jù)紅外小目標(biāo)與鄰域像素?zé)o關(guān)聯(lián)和結(jié)構(gòu)差異的特點，采用廣義結(jié)構(gòu)張量特征提取算法，可有效反映目標(biāo)區(qū)域灰度突變特性和目標(biāo)形狀信息，提高算法魯棒性。對模型更新策略進(jìn)行改進(jìn)，引入平均峰值相關(guān)能量指標(biāo)，根據(jù)跟蹤結(jié)果的置信度自適應(yīng)更新目標(biāo)模型，避免模型受到錯誤樣本污染，提高模型的穩(wěn)定性。實驗結(jié)果表明改進(jìn)后的方法更有優(yōu)勢。

1 判別尺度空間跟蹤算法

判別尺度空間跟蹤算法是一種在視覺跟蹤中精準(zhǔn)的尺度估計方法。通過多維特征的判別相關(guān)濾波估計目標(biāo)位置，增加尺度濾波器估計目標(biāo)尺度信息。該算法具有效率高、適用性強(qiáng)、性能優(yōu)良、可移植性高等優(yōu)點，分為位置濾波器和尺度濾波器，兩個濾波器相互獨立。當(dāng)樣本提取多特征m∈{1,···,d}時，構(gòu)造最優(yōu)濾波器可表示為

式中：g是 通過訓(xùn)練f得到的理想輸出；參數(shù) λ為正則項系數(shù)；“*”表示卷積。根據(jù)Parseval定理，（1）式轉(zhuǎn)換到頻域為[10]

式中：n為所有的頻率分量；角標(biāo)c表示取矩陣的復(fù)共軛和轉(zhuǎn)置。進(jìn)而推導(dǎo)出：

在跟蹤目標(biāo)第一幀時，可將上述方程寫為

式中參數(shù) λ為正則項，能夠消除f頻譜中零頻分量影響，避免分子為零。由于求解d×d線性方程非常耗時，為獲得魯棒性的近似結(jié)果，對和Bt進(jìn)行單獨更新：

式中 η為學(xué)習(xí)率，對于新一幀M×N的樣本Z，目標(biāo)位置最大響應(yīng)為

除目標(biāo)精確定位外，判別尺度空間跟蹤算法還提出快速動態(tài)尺度估計，在每幀圖像中，尺度均更新為最優(yōu)值，將位置濾波和尺度濾波組合達(dá)到更好跟蹤效果。二維位置相關(guān)濾波用于確定目標(biāo)新坐標(biāo)，一維尺度相關(guān)濾波用于計算最優(yōu)尺度，后對和Bt更新。其流程主要包括樣本獲取、特征提取、目標(biāo)定位、模型更新。

2 改進(jìn)的目標(biāo)跟蹤算法

紅外弱小目標(biāo)圖像具有像素少、對比度低、無固定形狀和紋理、邊緣不明顯等特點，在特征提取時難度極大。判別尺度空間跟蹤算法雖能提取目標(biāo)的多維紋理特征，但跟蹤效果往往不佳。難以找到合適的紅外弱小目標(biāo)特征提取方法，是現(xiàn)有紅外弱小目標(biāo)跟蹤算法跟蹤不穩(wěn)定的主要原因。本文基于判別尺度空間跟蹤算法，從目標(biāo)特征提取和模型更新兩方面對原有算法進(jìn)行改進(jìn)，新的目標(biāo)跟蹤算法如圖1所示。目標(biāo)特征提取采用廣義結(jié)構(gòu)張量表征圖像局部結(jié)構(gòu)差異性，從圖像方向和結(jié)構(gòu)方面有效降低梯度信息對噪聲敏感性。廣義結(jié)構(gòu)張量可同時利用目標(biāo)灰度突變特性和形狀信息。模型更新采用自適應(yīng)模型更新策略，根據(jù)目標(biāo)外觀模型變化程度和跟蹤結(jié)果可靠性，降低更新頻率，避免錯誤樣本污染正確的模型，抑制跟蹤漂移。

圖1 改進(jìn)的目標(biāo)跟蹤算法流程圖Fig.1 Flow chart of improved target tracking algorithm

2.1 基于廣義結(jié)構(gòu)張量的紅外弱小目標(biāo)特征提取算法

在紅外圖像中，目標(biāo)區(qū)域周圍像素梯度較大。目標(biāo)可視為高頻率瞬態(tài)沖激信號，呈現(xiàn)高斯結(jié)構(gòu)分布，與鄰域像素并不關(guān)聯(lián)。利用目標(biāo)結(jié)構(gòu)差異，廣義結(jié)構(gòu)張量可提取鄰域內(nèi)像素值變化量和圖像變化方向，量化表征該像素點鄰域內(nèi)圖像信號復(fù)雜性[11]，算法計算過程如圖2所示。

圖2 廣義結(jié)構(gòu)張量紅外小目標(biāo)特征提取算法原理圖Fig.2 Schematic diagram of generalized structure tensor small infrared target feature extraction algorithm

基于張量積的局部正則化[12]，構(gòu)造2×2結(jié)構(gòu)張量：

式中Dx和Dy是偏導(dǎo)算子。結(jié)構(gòu)張量可等效表達(dá)為二階復(fù)數(shù)矩形式：

式 中：λmax和 λmin分 別是結(jié)構(gòu)張量S(fL)的最大和最小特征值；φ是主特征向量方向角。

對于整幅圖像，廣義結(jié)構(gòu)張量的離散形式定義為

式中：h是 復(fù)值濾波器；?表示卷積算子；fk是離散圖像；c是依賴圖像灰度級的常量；Гσ1是一階高斯對稱偏導(dǎo)濾波器，其計算式為

式中：g1是 標(biāo)準(zhǔn)方差為 σ1的 二維高斯函數(shù)；σ1取值決定有高頻作為噪聲的范圍；xk和yk是連續(xù)變量x和y的離散形式。檢測具有方向，描述為exp(inφ)的n階對稱模式，相應(yīng)復(fù)值濾波器[13]可通過（14）式計算：

式中：g2是 標(biāo)準(zhǔn)方差為 σ2的 二維高斯函數(shù)；σ2決定有效鄰域窗口大小。當(dāng)n=?2為螺旋模式和圓對稱模式。紅外小目標(biāo)的形狀通常為圓形，外形上顯示為亮斑點。因此，紅外小目標(biāo)可看成是圓對稱模式，則相應(yīng)檢測濾波器為hσ?22。 處理結(jié)果Cr的計算公式[14]為

圖3 紅外小目標(biāo)特征提取結(jié)果（圖片來源于參考文獻(xiàn)[16]）Fig.3 Feature extraction results of infrared dim and small targets（images from reference [16]）

2.2 模型更新策略

目標(biāo)跟蹤過程中，目標(biāo)和背景外觀模型會隨時間改變。為適應(yīng)外形變化，濾波器系數(shù)和目標(biāo)外觀模型須及時更新。判別式尺度空間跟蹤算法將前一幀跟蹤結(jié)果作為訓(xùn)練樣本用于目標(biāo)模型的更新，但這樣做法不可靠，缺乏自適應(yīng)性，不能充分捕獲外觀模型變化。當(dāng)所跟蹤目標(biāo)受到遮擋或完全丟失時，模型仍然正常更新，導(dǎo)致學(xué)習(xí)到非目標(biāo)特征，當(dāng)目標(biāo)離開遮擋物時，因目標(biāo)特征與模型不符而導(dǎo)致跟蹤失敗。因此需要使用魯棒模型更新方案提高更新模型的穩(wěn)定性，在模型受到污染時及時恢復(fù)模型。

本文引入平均峰值相關(guān)能量[15]（APCE），其定義如（16）式：

式中Fmax、Fmin和Fi,j分別代表響應(yīng)圖中最大值、最小值和第i行 第j列元素。訓(xùn)練后模型提取目標(biāo)特征而得到響應(yīng)圖，在一定程度上體現(xiàn)跟蹤結(jié)果置信度。當(dāng)檢測到的目標(biāo)與正確的目標(biāo)高度匹配時，響應(yīng)圖將包含一個高峰并且其他區(qū)域響應(yīng)值是平滑的。高峰越尖銳，定位精度越高。當(dāng)不正確樣本更新跟蹤模型時[1]，模型將被污染，所到響應(yīng)圖存在劇烈震蕩。

APCE公式體現(xiàn)響應(yīng)圖的震蕩程度和尖銳程度。等式右邊的分子部分是最大響應(yīng)值與最小響應(yīng)值差值的平方，代表響應(yīng)圖的尖銳程度，分母部分是響應(yīng)圖中各點響應(yīng)值與最低響應(yīng)值差值平方的平均值，代表響應(yīng)圖的震蕩程度。APCE指標(biāo)越小，表明目標(biāo)響應(yīng)圖震蕩劇烈、跟蹤結(jié)果可靠性低，可能遇到遮擋、運(yùn)動模糊或者目標(biāo)丟失等情況；取值較大時，置信度越高，表明跟蹤結(jié)果更可靠。

考慮到經(jīng)常更新的濾波器模型能體現(xiàn)目標(biāo)最新的外觀變化，而更新頻率低的濾波器模型則有著較強(qiáng)的訓(xùn)練魯棒性，故將快更新模型的強(qiáng)表現(xiàn)性和慢更新模型的強(qiáng)魯棒性結(jié)合起來。在第1幀進(jìn)行跟蹤算法初始化后，保留初始化后的模型hS0T，該模型作為慢模型始終不更新，之后將hS0T和最近的短期目標(biāo)模型hStT進(jìn)行凸組合，構(gòu)成最新目標(biāo)模型[1]：

其中混合權(quán)重 βt=e?αDΔt取 決于混合參數(shù) αD（這里設(shè)為1）和最近連續(xù)得到的低置信度幀數(shù) Δt。當(dāng)模型受到污染而導(dǎo)致目標(biāo)跟蹤結(jié)果置信度長期較低時，隨著低置信度計算結(jié)果次數(shù)增加，模型通過（17）式將逐漸恢復(fù)到未受污染的初始化模型hS0T，保證目標(biāo)模型從潛在污染中完全恢復(fù)；而當(dāng)模型未受到污染而保持較高的置信度時，則逐漸變?yōu)槎唐谀繕?biāo)模型hStT，保持其強(qiáng)表現(xiàn)型。

3 實驗結(jié)果與分析

3.1 測試數(shù)據(jù)集及評價指標(biāo)

本文使用國防科技大學(xué)電子科學(xué)學(xué)院ATR重點實驗室回丙偉等所公開的《紅外序列圖像中小飛機(jī)目標(biāo)檢測跟蹤數(shù)據(jù)集》[16]。該數(shù)據(jù)集包括尺度變化、形變、快速運(yùn)動、運(yùn)動模糊、出視野、背景雜亂以及低分辨率等跟蹤挑戰(zhàn)，有效覆蓋目標(biāo)不確定性和背景復(fù)雜性。選取其中8種有代表性的場景進(jìn)行測試，數(shù)據(jù)集特征描述如表1所示。

表1 數(shù)據(jù)集描述Table 1 Data set description

本文實驗硬件平臺配置Intel（R）Core（TM）i5-8250U CPU @ 1.60 GHz和RAM @ 12 GB的計 算機(jī)。采用4種標(biāo)準(zhǔn)評價指標(biāo)[17]，分別為重疊精度（overlap precision，OP）、目標(biāo)中心定位誤差（center location error，CLE）、距離精度（distance precision，DP）和跟蹤速度（frames per second，F(xiàn)PS）。OP值為跟蹤目標(biāo)框與標(biāo)注目標(biāo)框的交并比大于給定閾值的幀數(shù)占比，本實驗設(shè)置的閾值為0.8。CLE定義為標(biāo)注目標(biāo)框中心與跟蹤目標(biāo)框中心之間的歐氏距離；DP定義為CLE小于給定閾值的百分比，這里設(shè)定的閾值為5個像素。我們提供重疊精度曲線圖和距離精度曲線圖，可反應(yīng)跟蹤算法精度隨閾值變化情況。

3.2 不同特征提取方法對比

特征提取對目標(biāo)跟蹤任務(wù)至關(guān)重要，合理選擇特征能顯著提高跟蹤算法性能。特征描述越本質(zhì)，外觀模型可鑒別性越好，越利于目標(biāo)跟蹤。針對紅外小目標(biāo)的目標(biāo)特性，像素少、強(qiáng)度弱、對比度低、無固定形狀、特征提取困難等問題，本文以判別尺度空間算法為跟蹤方法框架，分析6種常用的特征提取方法，對比不同特征提取方法，有紋理特征提取方法[10]（histogram of oriented gradient，HOG）、灰度特征提取方法（Gray）、顏色特征提取方 法[18]（color name，CN）、邊緣特征提取方法（Edge）、局部標(biāo)準(zhǔn)差對比度增強(qiáng)方法（local standard deviation，LocalStd）和廣義結(jié)構(gòu)張量方法[12]（generalized structure tensor，GST）。測試結(jié)果如表2所示。

HOG特征對目標(biāo)輪廓和表面紋理有良好的描述能力，在可見光、大目標(biāo)的數(shù)據(jù)集上表現(xiàn)良好，但不適用于紅外小目標(biāo)的跟蹤；Gray特征過于簡單、描述能力弱，但在本實驗數(shù)據(jù)集上表現(xiàn)較好，最顯著的優(yōu)點是運(yùn)行速度快；CN特征可以有效利用顏色信息，對目標(biāo)形變魯棒性好，但在紅外圖像數(shù)據(jù)集上，顏色信息單一，發(fā)揮不出其優(yōu)勢；Edge特征選用Sobel算子對目標(biāo)的邊緣信息進(jìn)行提取，由于目標(biāo)過小且在復(fù)雜背景下存在巨大干擾，在這里的表現(xiàn)一般；LocalStd方法是在Gray特征的基礎(chǔ)上對紅外小目標(biāo)求標(biāo)準(zhǔn)差從而實現(xiàn)目標(biāo)增強(qiáng)，增大對比度，不過最終的提升效果并不明顯。本文所引入的GST方法可有效提高跟蹤精度，精度指標(biāo)顯著優(yōu)于其他幾種方法，且運(yùn)行速度也足夠快，適用于紅外小目標(biāo)的快速特征提取，所以將DSST算法中原有HOG特征提取方法替代為GST特征提取方法。

3.3 不同目標(biāo)跟蹤算法性能對比

為證實提出算法的有效性，將該算法與其他7種目標(biāo)跟蹤算法進(jìn)行對比分析，其他算法分別為：簡化特征提取和降低更新頻率的ECO[19]（efficient convolution operators）算法；在非線性、非高斯場景下表現(xiàn)優(yōu)越的PF[20]（particle filters）算法；利用時間正則化近似多幅圖像，將多幅圖像訓(xùn)練有效簡化為單幅圖像訓(xùn)練的STRCF[21]算法（spatialtemporal regularized correlation filters）；利用中心區(qū)域到邊緣區(qū)域平滑的濾波器系數(shù)約束權(quán)重，有效抑制邊界效應(yīng)的SRDCF[22]算法（spatially regularized discriminative correlation filters）；有效解決跟蹤過程中目標(biāo)遮擋問題的ROT[23]（real-time object tracking）算法；利用循環(huán)移位構(gòu)造密集樣本，加入正則項防止過擬合的KCF[24]（kernelized correlation filters）算法；構(gòu)造多個尺度圖像金字塔以自適應(yīng)尺度變化的SAMF[25]（scale adaptive with multiple features）算法。表3為8種目標(biāo)跟蹤算法的性能對比表，給出算法在數(shù)據(jù)集上的平均CLE、平均DP、平均OP和平均運(yùn)行速度。表中標(biāo)注加粗的為最優(yōu)數(shù)據(jù)，標(biāo)注斜體的為次優(yōu)數(shù)據(jù)。從數(shù)據(jù)集測試的結(jié)果可以看出：我們的算法在精度上占據(jù)絕對優(yōu)勢，精度遠(yuǎn)高于表現(xiàn)較好的ROT算法，速度上雖然不是最優(yōu)的，但也可達(dá)到315 FPS，在這些方法中排序第2，綜合性能最優(yōu)。這里表3和表2一樣，使用同一組實驗圖像，所以我們方法和GST法的數(shù)值相同。

表2 不同特征提取方法性能對比Table 2 Performance comparison of different feature extraction methods

表3 不同目標(biāo)跟蹤算法性能對比Table 3 Performance comparison of different tracking algorithms

為更好展示上述算法在不同場景中的表現(xiàn)，我們給出距離精度（DP）曲線圖和重疊精度（OP）曲線圖，如圖4、圖5所示，距離精度設(shè)定的閾值范圍為0～50像素，重疊精度設(shè)定的閾值范圍為0～1，圖例中的數(shù)值為AUC（area under curve），可定量分析算法在不同場景中的表現(xiàn)，AUC值越大，精度越高，跟蹤效果越好。在場景4、場景6、場景8中，本文算法在精度稍遜色于PF、ROT、ECO算法，但在速度上有更大優(yōu)勢，特別是ECO在沒有GPU加速情況下，只能達(dá)到1.9 FPS，無法滿足快速跟蹤的要求，更難以部署在計算性能受限的嵌入式設(shè)備上。在其他場景中，本文算法是最優(yōu)的，特別是在場景7中，由于目標(biāo)微弱，背景與目標(biāo)相近難以區(qū)分，本文算法仍能高精度穩(wěn)定跟蹤。

圖4 8種場景的距離精度曲線圖（圖例中的數(shù)值為AUC）Fig.4 Curves of distance precision in 8 scenes (values in figure is AUC)

圖5 8種場景的重疊精度曲線圖（圖例中的數(shù)值為AUC）Fig.5 Curves of overlap precision in eight scenes (values in figure is AUC)

圖6中，我們在每種場景隨機(jī)選擇4幀以展示算法跟蹤效果。從圖中可看出，所跟蹤的目標(biāo)大多成微弱的點狀亮斑，且背景復(fù)雜多變，存在與待跟蹤目標(biāo)相近的亮點干擾。特別是場景7中存在大片白色區(qū)域，待跟蹤目標(biāo)經(jīng)過白色區(qū)域時肉眼都難以區(qū)分，不過本文跟蹤算法依然能穩(wěn)定、準(zhǔn)確地跟蹤。穩(wěn)定跟蹤效果主要取決于目標(biāo)的特征提取方法。其他跟蹤算法的特征提取方法有HOG紋理特征、Gray灰度特征、CNN神經(jīng)網(wǎng)絡(luò)高層抽象特征、CN顏色特征等，但在這些場景中是失效的，這再一次驗證了本文廣義結(jié)構(gòu)張量特征提取方法的有效性。

圖6 8種場景中8種算法跟蹤效果Fig.6 8 algorithm tracking effects in eight scenes

3.4 干擾彈數(shù)據(jù)集測試

軍事場景中，敵機(jī)會投下干擾彈當(dāng)作偽目標(biāo)，背景中也常存在呈現(xiàn)高輻射、高亮度的虛警源。由于成像設(shè)備的缺陷、天氣環(huán)境不確定因素的干擾以及遠(yuǎn)距離成像造成的能量損耗，導(dǎo)致所拍攝的紅外圖像常伴有一定程度的“豎線狀”噪聲?？紤]到上述困難情況，我們增加一組干擾彈測試集進(jìn)行測試?，F(xiàn)有公開的紅外圖像數(shù)據(jù)集中沒有干擾彈數(shù)據(jù)集。我們制作了250幀大小為256×256像素的干擾彈數(shù)據(jù)集和豎線狀噪聲數(shù)據(jù)集。測試效果如圖7所示，可見算法的跟蹤效果準(zhǔn)確且穩(wěn)定。從表4的跟蹤誤差定量分析可知，跟蹤結(jié)果最大偏差在2像素之內(nèi)，且速度足夠快，充分滿足快速跟蹤任務(wù)需要。

圖7 提出算法在干擾彈及豎線狀噪聲場景下跟蹤效果Fig.7 Tracking effect of proposed algorithm in scene of jamming bomb and vertical line noise

表4 干擾彈及豎線狀噪聲場景下跟蹤誤差值（均值±標(biāo)準(zhǔn)方差）及時間效率Table 4 Tracking error (mean ± standard deviation) and time efficiency in jamming bombs and vertical noise scenarios

4 結(jié)論

針對現(xiàn)有成熟的目標(biāo)跟蹤算法無法適用于紅外小目標(biāo)場景的問題，本文提出一種紅外小目標(biāo)快速跟蹤算法，利用廣義結(jié)構(gòu)張量算法提取紅外小目標(biāo)特征并與判別尺度空間跟蹤算法結(jié)合，同時添加自適應(yīng)模型更新策略，實現(xiàn)高效穩(wěn)定的跟蹤。特別是在相似背景與干擾彈場景下，提出的算法具有顯著的優(yōu)勢，運(yùn)算效率高，計算量小，易于部署在嵌入式計算力受限的裝備。