快速魯棒高光譜目標(biāo)跟蹤算法

徐清宇 李冬冬 蒯楊柳 盛衛(wèi)東 鄧新蒲

摘 要：????? 針對(duì)傳統(tǒng)目標(biāo)跟蹤的難點(diǎn)如目標(biāo)與背景混淆及目標(biāo)外觀急劇變化等問(wèn)題，利用高光譜視頻包含的二維空域信息和豐富的一維頻譜信息，提出一種快速魯棒目標(biāo)跟蹤算法FRHT。首先，在傳統(tǒng)的空域注意力機(jī)制上基于高光譜數(shù)據(jù)的特點(diǎn)引入頻譜注意力機(jī)制，設(shè)計(jì)了相關(guān)濾波框架下自適應(yīng)更新學(xué)習(xí)的跟蹤器; 其次，手工設(shè)計(jì)高光譜運(yùn)動(dòng)目標(biāo)特征以加快跟蹤器運(yùn)算速度; 最后，提出一種運(yùn)動(dòng)目標(biāo)異常檢測(cè)機(jī)制，以增強(qiáng)跟蹤器對(duì)各種干擾的魯棒性。仿真結(jié)果表明，在高光譜數(shù)據(jù)集上，跟蹤器FRHT的速度和精度顯著優(yōu)于KCF，SAMF和CSR-DCF等傳統(tǒng)跟蹤算法，精度提升2%以上; 引入運(yùn)動(dòng)目標(biāo)檢測(cè)機(jī)制后，算法魯棒性得到改善。

關(guān)鍵詞：???? 目標(biāo)跟蹤; 目標(biāo)特征; 高光譜; 相關(guān)濾波; 注意力機(jī)制; 魯棒性

中圖分類(lèi)號(hào)：???? TJ760; TN911.73

文獻(xiàn)標(biāo)識(shí)碼：??? A

文章編號(hào)：???? 1673-5048（2022）02-0039-06

DOI： 10.12132/ISSN.1673-5048.2021.0131

0 引? 言

隨著人類(lèi)航天活動(dòng)的增加，空間運(yùn)動(dòng)目標(biāo)檢測(cè)跟蹤在軍事領(lǐng)域、航天測(cè)控等方面發(fā)揮著越來(lái)越重要的作用[1]。目前，對(duì)空間物體的全鏈路監(jiān)視跟蹤是天基光學(xué)監(jiān)視系統(tǒng)急需解決的問(wèn)題[2-3]。空間目標(biāo)體積小，速度快，導(dǎo)致遠(yuǎn)距離觀測(cè)條件下目標(biāo)能量極為微弱，沒(méi)有與背景進(jìn)行區(qū)分的顯著特征。因此，基于對(duì)目標(biāo)分辨率和檢測(cè)靈敏度的要求，高光譜目標(biāo)檢測(cè)跟蹤受到人們的關(guān)注[4]。

由于傳統(tǒng)視覺(jué)目標(biāo)跟蹤不能滿(mǎn)足某些極端條件下的跟蹤要求，在目標(biāo)與背景相似或者跟蹤目標(biāo)快速變化時(shí)，跟蹤器難以快速更新跟蹤器。準(zhǔn)確獲取目標(biāo)信息，及時(shí)更新跟蹤器對(duì)于快速準(zhǔn)確跟蹤目標(biāo)至關(guān)重要。一般而言，當(dāng)下目標(biāo)跟蹤主要有兩種框架： （1）深度學(xué)習(xí)框架; （2）相關(guān)濾波框架。本研究重點(diǎn)關(guān)注后者，即在相關(guān)濾波框架下，將空域目標(biāo)傅里葉變換到頻域后進(jìn)行跟蹤的方法。

基于高光譜數(shù)據(jù)的目標(biāo)跟蹤是目標(biāo)跟蹤領(lǐng)域中一個(gè)新興的研究方向，其包含多譜段的豐富信息，對(duì)于實(shí)現(xiàn)精確目標(biāo)跟蹤具有特殊的優(yōu)勢(shì)。與可見(jiàn)光圖像數(shù)據(jù)（RGB）或者單通道圖像不同，高光譜數(shù)據(jù)（HSI）包含空間二維信息和豐富的一維頻域信息，可以在可見(jiàn)光或是紅外光難以辨識(shí)目標(biāo)的情況下，將不同的物體區(qū)分開(kāi)，比如白色的卡片和白色的紙。特斯拉汽車(chē)由于使用RGB視覺(jué)目標(biāo)跟蹤系統(tǒng)，將白色的卡車(chē)誤認(rèn)為白色的天空，致使發(fā)生車(chē)禍[5]。從另一方面，可以看出高光譜目標(biāo)跟蹤在現(xiàn)實(shí)世界中頗具應(yīng)用前景，如瓦斯檢測(cè)[6]等。

目前，針對(duì)高光譜目標(biāo)跟蹤的研究仍十分有限。Xiong等[7]提出的目標(biāo)跟蹤器 MHT（Material-Based Hyperspectral Tracker）利用基于空間頻譜直方圖統(tǒng)計(jì)的手工特征（Spectral-Spatial Histogram of Multidimensional Gradients， SSHMG），模擬目標(biāo)物質(zhì)信息，實(shí)現(xiàn)目標(biāo)跟蹤。為了促進(jìn)這個(gè)新興領(lǐng)域的發(fā)展，熊鳳超等人在2020年組織了高光譜數(shù)據(jù)目標(biāo)跟蹤競(jìng)賽，并提供了一個(gè)精心制作的高光譜數(shù)據(jù)集 Whisper[7]，供學(xué)者進(jìn)行研究對(duì)比。該數(shù)據(jù)集共有40段訓(xùn)練視頻和35段測(cè)試視頻，平均每個(gè)視頻序列的長(zhǎng)度達(dá) 425幀。每個(gè)視頻序列都標(biāo)記了面臨的挑戰(zhàn)因素，所有的標(biāo)記因素共11類(lèi)， 分別為尺度變化（Scale Variation， SV）、運(yùn)動(dòng)模糊（Motion Blur， MB）、遮擋（Occlusion， OCC）、快速移動(dòng)（Fast Motion， FM）、低分辨率（Low Resolution， LR）、面內(nèi)運(yùn)動(dòng)（In-Plane Rotation， IPR）、面外運(yùn)動(dòng)（Out-of-Plane Rotation， OPR）、形變（Deformation， DEF）、背景模糊（Background Clutters，? BC）、 光照變化（Illumination? Variation， IV）和目標(biāo)丟失

（Out-of-View， OV）。與其他傳統(tǒng)的基于相關(guān)濾波的跟蹤器[8-12]相比，MHT在高光譜數(shù)據(jù)集Whisper上的表現(xiàn)更為優(yōu)異。但是SSHMG 特征通過(guò)3D直方梯度圖提取，需要在高維度空間進(jìn)行大量計(jì)算，降低了目標(biāo)跟蹤的速度。

針對(duì)高光譜圖像數(shù)據(jù)維度高、處理耗時(shí)的特點(diǎn)，本文提出了一個(gè)新穎的高光譜圖像快速跟蹤算法FRHT（Fast and Robust Hyperspectral Tracker），在相關(guān)濾波跟蹤的框架下，融合空間注意力和頻域注意力機(jī)制，實(shí)現(xiàn)快速魯棒目標(biāo)跟蹤。

與MHT使用的3D梯度特征不一樣，本文使用的特征是壓縮后的灰度圖像特征，可以在速度和精度兩者間取得平衡。在跟蹤過(guò)程中，利用空間注意力機(jī)制，二值分割出一個(gè)自適應(yīng)調(diào)整的目標(biāo)分割模板，使跟蹤器可以用目標(biāo)圖像塊進(jìn)行更新。對(duì)高維圖像特征，頻譜注意力機(jī)制可以通過(guò)學(xué)習(xí)權(quán)重，不同頻域通道加權(quán)后進(jìn)行定位跟蹤。不僅如此，本文還設(shè)計(jì)了運(yùn)動(dòng)目標(biāo)異常檢測(cè)算法，用于對(duì)異常目標(biāo)進(jìn)行檢測(cè)，及時(shí)糾正跟蹤器。

本文創(chuàng)新點(diǎn)如下： （1）針對(duì)高光譜數(shù)據(jù)特點(diǎn)，提出了一個(gè)基于相關(guān)濾波的高光譜目標(biāo)跟蹤器FRHT; （2）提出了高光譜運(yùn)動(dòng)目標(biāo)異常檢測(cè)算法，用于及時(shí)糾偏高光譜跟蹤器; （3）在當(dāng)下最新的高光譜基準(zhǔn)數(shù)據(jù)集 Whisper 上做了大量仿真實(shí)驗(yàn)，結(jié)果表明所提方法跟蹤精度優(yōu)于可見(jiàn)光跟蹤算法，同時(shí)跟蹤速度大幅提升。

1 相關(guān)濾波跟蹤

目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)領(lǐng)域最富有挑戰(zhàn)性的任務(wù)之一，目前主流有兩個(gè)跟蹤框架，一個(gè)是基于相關(guān)濾波框架，一個(gè)是基于孿生網(wǎng)絡(luò)的深度學(xué)習(xí)框架。基于深度孿生網(wǎng)絡(luò)的跟蹤方法，需要大量樣本來(lái)訓(xùn)練網(wǎng)絡(luò)參數(shù)，以學(xué)習(xí)運(yùn)動(dòng)目標(biāo)的空間特征表示，

因此，在訓(xùn)練和實(shí)時(shí)測(cè)試兩個(gè)階段，該方法耗時(shí)多[13-15]。相比之下，基于相關(guān)濾波的跟蹤將目標(biāo)信息根據(jù)傅立葉變換從空域到頻域進(jìn)行相關(guān)跟蹤，大大提升了計(jì)算效率。

Bolme等[16]首先富有開(kāi)創(chuàng)性地將相關(guān)濾波的原理引入了目標(biāo)跟蹤領(lǐng)域，提出最小輸出平方和濾波跟蹤器MOSSE（Minimum Output Sum of Squared Error Filter）。由于相關(guān)濾波跟蹤器將空域計(jì)算轉(zhuǎn)換到頻域進(jìn)行，基于相關(guān)濾波的跟蹤器計(jì)算效率通常都很高。MOSSE能夠以每秒數(shù)百幀的速度實(shí)現(xiàn)精確魯棒地跟蹤目標(biāo)，將目標(biāo)跟蹤的研究向前推進(jìn)了一大步。Henriques等[17]提出的核相關(guān)濾波器KCF（Kernel Correlation Filter），通過(guò)對(duì)提取的目標(biāo)特征施加線(xiàn)性核的方法，提升跟蹤器將目標(biāo)與環(huán)境背景的區(qū)分能力。該方法在目標(biāo)相鄰區(qū)域采樣大量圖像塊，由于圖像塊包含目標(biāo)與背景，且有偏移真值，相關(guān)濾波器經(jīng)過(guò)訓(xùn)練后可以提升識(shí)別目標(biāo)能力。圖像塊組成的循環(huán)矩陣會(huì)帶來(lái)邊緣效應(yīng)，為了消除這種影響，Danelljan等 [18]提出跟蹤器ECO（Efficient Convolution Operators）來(lái)消除這種負(fù)面影響。Lukeic等[12]提出CSR-DCF（Channel and Spatial Reliability-Discriminative Correlation Filter）跟蹤器，可以在空域和特征維度同時(shí)學(xué)習(xí)權(quán)重參數(shù)，針對(duì)性進(jìn)行跟蹤。2017年的視覺(jué)目標(biāo)跟蹤競(jìng)賽VOT2017[19]中，ECO和 CSR-DCF 表現(xiàn)最為出色。

本文的基本框架主要是CSR-DCF，為更好介紹FRHT，下面對(duì)CSR-DCF的具體實(shí)現(xiàn)細(xì)節(jié)進(jìn)行回顧。

目標(biāo)跟蹤的主要問(wèn)題是要在時(shí)間t和取樣點(diǎn)坐標(biāo)i找到合適的濾波器，在給定的輸入xi∈Rdw×dh×p上得到想要的輸出y i∈Rdw×dh×1，其中dw和dh分別表示搜索區(qū)域的長(zhǎng)和寬，p代表輸入數(shù)據(jù)的維度;? 基于相關(guān)濾波的跟蹤器根據(jù)上一幀預(yù)測(cè)結(jié)果在目標(biāo)點(diǎn)周?chē)芗蓸?。由于采樣點(diǎn)隨機(jī)，裁取的圖像塊隨機(jī)覆蓋跟蹤目標(biāo)，若圖像塊中包含目標(biāo)則此樣本為正例，若不包含目標(biāo)則為負(fù)例。濾波器的目的是使算法在所有采樣圖像塊中跟蹤偏差最小。對(duì)該問(wèn)題的優(yōu)化求解是一個(gè)嶺回歸問(wèn)題[20]，即

minhL（h; xi， yi） =yi -hTfi2 + λh2（1）

式中： 常數(shù)λ用來(lái)正則化優(yōu)化過(guò)程，防止濾波器過(guò)擬合表示提取出的圖像塊特征。

針對(duì)經(jīng)典目標(biāo)跟蹤器SRDCF[21]利用大量采樣圖像塊構(gòu)成循環(huán)矩陣學(xué)習(xí)目標(biāo)特征時(shí)易引入環(huán)境背景噪聲的問(wèn)題，CSR-DCF通過(guò)學(xué)習(xí)目標(biāo)與背景特征分割出模板m，將目標(biāo)周?chē)h(huán)境背景遮擋，來(lái)解決優(yōu)化過(guò)程中產(chǎn)生的圖像邊緣效應(yīng)。將上述問(wèn)題式（1）轉(zhuǎn)化為一個(gè)有約束的優(yōu)化問(wèn)題，即

minhL（h; xi，yi）=yi-hTmfi2 + λh2（2）

Lukeic等[12]引入變量hc≡m⊙h將這個(gè)優(yōu)化問(wèn)題轉(zhuǎn)化為增廣拉格朗日求解問(wèn)題，即

minh^Hcdiag（f^）-y^2+λ2h2+μh^c-h^2+

[I^H（h^c-h^）+I^H（h^c-h^）]（3）

為了簡(jiǎn)潔，令hm=m⊙h?？梢酝ㄟ^(guò) Boyd等[22]的方法分兩步循環(huán)解決該問(wèn)題，如式（4）～（5）所示。

h^i+1c=（f^⊙y^+（μh^im-I^i））⊙-1（f^⊙f^+μi） （4）

hi+1=m⊙F-1（I^i+μih^i+1c）/λ2D+μi（5）

濾波器h按式（4）和式（5）就可以分兩步實(shí)現(xiàn)更新。這里操作符a^= vec （F[a]）主要用于將矩陣變量a轉(zhuǎn)化到頻域一維向量，長(zhǎng)度為圖片所含像素?cái)?shù)量a^∈RD×1，D=dw·dh，I^是為一個(gè)復(fù)數(shù)的拉格朗日乘子。

2 快速魯棒跟蹤器

高光譜（HSI）數(shù)據(jù)相對(duì)于可見(jiàn)光（RGB）數(shù)據(jù)維度高，相同時(shí)間長(zhǎng)度對(duì)跟蹤器的計(jì)算負(fù)擔(dān)更重。CSR-DCF針對(duì)可見(jiàn)光圖像設(shè)計(jì)了梯度特征（HOG）、顏色特征（CN）和灰度特征（grayscale），并在特征維度進(jìn)行疊加作為目標(biāo)特征。針對(duì)高光譜數(shù)據(jù)，在CSR-DCF跟蹤器的基礎(chǔ)上，設(shè)計(jì)了高光譜特征及高光譜運(yùn)動(dòng)目標(biāo)異常檢測(cè)機(jī)制。

2.1 假彩色圖像

由于高光譜圖像維度遠(yuǎn)高于RGB圖像，直接對(duì)高光譜圖像提取梯度特征等操作較為費(fèi)時(shí)，因此，抽取高光譜數(shù)據(jù)低、中、高三個(gè)頻段信息組成假彩色圖像模擬RGB圖像，用于提取物體的顏色和梯度信息。假設(shè)高光譜數(shù)據(jù)存在[1， 2， …， p]個(gè)頻譜段，取最低、中間和最高頻率[1， p/2， p]作為抽樣頻率，級(jí)聯(lián)組成三通道假彩色圖像Hs。生成假彩色圖像如圖1所示。

2.2 高光譜特征

高光譜圖像由上百個(gè)記錄物體反射的連續(xù)波段組成，每個(gè)像素都是一個(gè)頻譜向量，因此，存在豐富的物質(zhì)信息，可以作為判別目標(biāo)的重要依據(jù)。為更好地利用高光譜數(shù)據(jù)提供的頻域、空域和時(shí)域信息，抓取物體的物質(zhì)信息、形狀信息、紋理信息和語(yǔ)義信息，參考CSR-DCF的方式根據(jù)高光譜數(shù)據(jù)特點(diǎn)提取三種特征： 梯度特征 （HOG），顏色特征 （CN） 和灰度特征 （grayscale），將其在通道維度上進(jìn)行拼接，作為跟蹤器FRHT的目標(biāo)特征。梯度特征fhist和顏色特征fcn直接按處理彩色圖像的方式從假彩色圖像Hs上提取，灰度特征fgray則是將高光譜數(shù)據(jù)整體Hi作為灰度值送入濾波器，并在通道維度上進(jìn)行求和，然后正則化。最后，三者特征維度拼接得到跟蹤器目標(biāo)特征。

2.3 運(yùn)動(dòng)目標(biāo)異常檢測(cè)算法

由于高光譜數(shù)據(jù)集Whisper中圖像序列平均長(zhǎng)度達(dá)到425幀，跟蹤過(guò)程考驗(yàn)跟蹤器的長(zhǎng)時(shí)跟蹤能力，因此，設(shè)計(jì)了一個(gè)運(yùn)動(dòng)目標(biāo)異常檢測(cè)算法，幫助跟蹤器檢測(cè)異常目標(biāo)，從而對(duì)跟蹤器進(jìn)行有效更新學(xué)習(xí)。假設(shè)跟蹤器的目標(biāo)響應(yīng)值在目標(biāo)的真實(shí)位置最大，即與服從高斯分布的真值響應(yīng)圖在真實(shí)坐標(biāo)點(diǎn)處的差異最小，提出以響應(yīng)峰值差異Dpeak作為高光譜異常的檢驗(yàn)指標(biāo)之一。其次，若是在真實(shí)坐標(biāo)周?chē)霈F(xiàn)多個(gè)高峰值響應(yīng)，即出現(xiàn)假目標(biāo)干擾跟蹤，提出利用峰值旁瓣比Dpsr作為當(dāng)前響應(yīng)圖可靠性的判斷依據(jù)。為使運(yùn)動(dòng)目標(biāo)異常檢測(cè)算法簡(jiǎn)潔有效，提出下式作為判斷跟蹤器可靠性的依據(jù)：

D（Response， yi）=w1×Dpeak+w2×1/Dpsr

Dpeak=max（Rexpect-Response）

Dpsr=max（Response）-μΨ（Response）σΨ（Response）（6）

式中： Rexpect為期望的以目標(biāo)真值為中心的高斯分布響應(yīng)圖; Response為真實(shí)的跟蹤響應(yīng)圖; Dpeak為響應(yīng)圖的期望與實(shí)際差值的最大值; Dpsr為根據(jù)響應(yīng)圖求得的峰值旁瓣比; w1和w2為兩項(xiàng)差異值的權(quán)重; Ψ為目標(biāo)周?chē)淖訁^(qū)域。

若目標(biāo)確定性越高，意味著在響應(yīng)圖上的響應(yīng)越高，與其他預(yù)測(cè)點(diǎn)的差異就越大，因此，對(duì)其取倒數(shù)作為判斷跟蹤器異常的指標(biāo)之一。只有在輸出與期望差異大于設(shè)定閾值時(shí)，跟蹤器才會(huì)限制更新，以免受非目標(biāo)區(qū)域污染。

2.4 算法邏輯

以CSR-DCF跟蹤器為基礎(chǔ)框架，采用設(shè)計(jì)的高光譜特征，進(jìn)行高光譜目標(biāo)跟蹤，并在目標(biāo)異常的時(shí)候自適應(yīng)停止更新跟蹤器，步驟5，6，7與CSR-DCF采取相同原則進(jìn)行，跟蹤總體流程如圖2所示。

3 實(shí)? 驗(yàn)

3.1 參數(shù)設(shè)置

實(shí)驗(yàn)中使用了HOG[23]，CN[24]和grayscale三種特征。在進(jìn)行前景背景分割預(yù)測(cè)模板的時(shí)候，用于統(tǒng)計(jì)直方圖的格數(shù)是16，每個(gè)顏色層的可靠性權(quán)重預(yù)測(cè)的最小值αmin=0.05。在具體的跟蹤器參數(shù)設(shè)置上，與采用的跟蹤器CSR-DCF基本保持一致。設(shè)置在第10幀以后，執(zhí)行跟蹤異常檢測(cè)算法。設(shè)置差異閾值Threshold=0.35; 跟蹤器的學(xué)習(xí)率η=0.02; 嶺回歸問(wèn)題中的正則化參數(shù)λ=0.01; 增廣拉格朗日問(wèn)題中的優(yōu)化參數(shù)μ0=5，β=3。所有的參數(shù)在跟蹤過(guò)程中保持不變，若高光譜檢測(cè)到目標(biāo)異常，則所有學(xué)習(xí)率乘以權(quán)重0.85。該實(shí)驗(yàn)主要是基于MATLAB語(yǔ)言實(shí)現(xiàn)，在CPU為AMD3900X的工作站上進(jìn)行，操作系統(tǒng)為 Ubuntu 20.04 OS。

3.2 對(duì)比方法

本文在 Whisper數(shù)據(jù)集上進(jìn)行測(cè)試學(xué)習(xí)，該數(shù)據(jù)集是目前最權(quán)威的公開(kāi)高光譜目標(biāo)跟蹤數(shù)據(jù)集，有50個(gè)視頻序列，覆蓋多種場(chǎng)景，總計(jì)11 種復(fù)雜場(chǎng)景。

選取當(dāng)下性能最優(yōu)的8種跟蹤器作為對(duì)比跟蹤的方法， 分別是 MHT[7]， Staple[8]， DSST[9]， SAMF[11]， CSR-DCF[12]， KCF [17]， BACF[18]， fDSST[25]。除 MHT 和本文提出的快速魯棒跟蹤器 FRHT 外，其余跟蹤器均是針對(duì)可見(jiàn)光視頻序列設(shè)計(jì)，因此，在Whisper提供的 RGB 圖像上測(cè)試 RGB 跟蹤器的性能。采用跟蹤精確度 PR （Precision Rate）和跟蹤成功率 SR （Success Rate）評(píng)價(jià)跟蹤器的性能。PR 是視頻序列中跟蹤器與真值的誤差在一定范圍的幀數(shù)與總幀數(shù)的比值，文中將像素距離設(shè)置為20。SR 是跟蹤器的預(yù)測(cè)目標(biāo)框與真值目標(biāo)框重合度大于一定閾值的幀數(shù)與總幀數(shù)的比值。

3.3 有效性測(cè)試

為了驗(yàn)證所提方法的有效性，使用三種變體V1，V2，V3。其中： 變體V1將FRHT中的高光譜異常檢測(cè)機(jī)制去除; 變體V2不在通道維度壓縮FRHT所使用的grayscale特征fgray，保持維度不變，仍為p; 變體V3同時(shí)采取變體V1和V2相對(duì)于FRHT所做改變。圖3展示了對(duì)比結(jié)果。

可以看出，采取本文的算法取得性能最優(yōu)，與之相對(duì)的變體V1和V2在PR指標(biāo)上分別下降0.1%和2.3%，V2在SR指標(biāo)上下降2.9%。V3在 PR和SR上分別下降 2.0%和1.9%。FRHT將高光譜灰度特征fgray壓縮至1通道，相對(duì)于V2性能更優(yōu)，是由于多譜段目標(biāo)位置存在偏移，將其在特征提取階段進(jìn)行預(yù)融合，降低了跟蹤器跟蹤目標(biāo)的難度。V1表現(xiàn)不及本文所提算法，可以看出高光譜異常檢測(cè)機(jī)制的有效性。

3.4 性能分析

為了證明所提方法的性能，與當(dāng)下性能最優(yōu)的幾種跟蹤算法進(jìn)行比較。KCF跟蹤器對(duì)提取的圖像特征施加了一個(gè)線(xiàn)性核，將其映射到新的維度空間，提高了跟蹤器在背景中辨識(shí)目標(biāo)的能力，文中設(shè)置提取的圖像特征為CN，故實(shí)驗(yàn)中表示為KCF-CN; BACF通過(guò)將所有的背景圖像塊視作負(fù)例，可以針對(duì)相關(guān)濾波器裁圖像塊進(jìn)行訓(xùn)練產(chǎn)生的邊界效應(yīng)進(jìn)行抑制，MHT采取 BACF作為其基礎(chǔ)跟蹤器; DSST和fDSST是Danelljan等人提出的可以精確預(yù)測(cè)目標(biāo)尺寸的跟蹤器，在跟蹤過(guò)程針對(duì)目標(biāo)尺寸變化可以保持魯棒性; Staple 通過(guò)提取目標(biāo)復(fù)合信息可以使跟蹤器更魯棒。本文的跟蹤器 FRHT采用CSR-DCF作為基礎(chǔ)跟蹤器。FRHT性能略低于MHT的原因在于追求跟蹤器運(yùn)行效率，簡(jiǎn)化特征，但損失了部分信息量。與其他7種算法相比，本文方法取得了更優(yōu)的性能，如圖4所示。 FRHT與 KCF和fDSST相比，在 PR 上分別提升31%和11.3%，在 SR 上分別提升29.1%和8.7%，增益效果顯著。主要原因在于KCF和fDSST在目標(biāo)偏移時(shí)不具有糾偏能力，對(duì)于長(zhǎng)序列跟蹤能力不足。與基礎(chǔ)算法 CSR-DCF相比，在 PS和SR 上分別提升了2.3%和2.9%。FRHT提取的特征是高光譜灰度特征、梯度特征和顏色特征，相對(duì)于CSR-DCF特征細(xì)節(jié)更加豐富。

為了更全面地對(duì)比FRHT與其他跟蹤器在各種挑戰(zhàn)下的性能，將結(jié)果展示在表1中（略去效果較差的兩種跟蹤器），最好的三種跟蹤器依次用紅、綠、藍(lán)三種顏色標(biāo)記。可以看出，F(xiàn)RHT在挑戰(zhàn) OPR，IPR，BC，DEF下取得了性能最優(yōu)的成績(jī)。相對(duì)于MHT 跟蹤器采取的復(fù)雜目標(biāo)特征，F(xiàn)RHT的目標(biāo)特征更加高效，在保持跟蹤效果相近的情形下，處理速度相對(duì)于MHT大幅提升（FPS： 16.3 vs 2.6）。不僅如此，F(xiàn)RHT采取的運(yùn)動(dòng)目標(biāo)異常檢測(cè)機(jī)制可以及時(shí)檢測(cè)當(dāng)前幀的目標(biāo)狀態(tài)，從而抑制跟蹤器的更新，使跟蹤器免于污染。

同樣，為了體現(xiàn)跟蹤效果，將FRHT與其他跟蹤器在數(shù)據(jù)集上的表現(xiàn)體現(xiàn)在圖5中。FRHT，SAMF，KCF-CN和目標(biāo)真值框在Whisper數(shù)據(jù)集上的表現(xiàn)，分別用綠色、紅色、黃色和藍(lán)色進(jìn)行標(biāo)記?？梢钥闯觯疚牡母櫰髟陂L(zhǎng)時(shí)或短時(shí)序列上均可以取得精確的目標(biāo)跟蹤結(jié)果。

4 結(jié)? 論

在復(fù)雜環(huán)境下的準(zhǔn)確跟蹤是高光譜目標(biāo)跟蹤區(qū)別于傳統(tǒng)視覺(jué)目標(biāo)跟蹤的重要特質(zhì)。本文針對(duì)當(dāng)前提出的高光譜算法不能實(shí)現(xiàn)快速跟蹤的缺點(diǎn)，設(shè)計(jì)了一個(gè)快速魯棒算法FRHT。該方法通過(guò)生成假彩色圖像模擬RGB圖像的梯度和顏色特征，利用原始灰度圖像在通道維度壓縮正則化得到灰度特征，最終生成低維高光譜特征，能夠壓縮高光譜數(shù)據(jù)并保留充分目標(biāo)信息。同時(shí)，設(shè)計(jì)了高光譜運(yùn)動(dòng)目標(biāo)異常檢測(cè)機(jī)制，針對(duì)高光譜長(zhǎng)序列做出針對(duì)性改善，在檢測(cè)到目標(biāo)漂移或目標(biāo)丟失等情況時(shí)，降低跟蹤器學(xué)習(xí)率，減少跟蹤器污染問(wèn)題。采用基于相關(guān)濾波的跟蹤框架，處理速度達(dá)到16.3 FPS，接近實(shí)時(shí)，滿(mǎn)足實(shí)際應(yīng)用場(chǎng)景。

參考文獻(xiàn)：

[1] 高晉占. 微弱信號(hào)檢測(cè)[M]. 北京： 清華大學(xué)出版社， 2004.

Gao Jinzhan. Detection of Weak Signals[M]. Beijing： Tsinghua University Press， 2004. （in Chinese）

[2] 毛銀盾， 唐正宏， 于涌， 等. 地球同步軌道動(dòng)態(tài)監(jiān)視光學(xué)系統(tǒng)研制進(jìn)展[J]. 天文學(xué)進(jìn)展， 2018， 36（1）： 57-67.

Mao Yindun， Tang Zhenghong， Yu Yong， et al. Introduction and Development of Geosynchronous Orbit Dynamic Monitoring Optical System[J]. Progress in Astronomy， 2018， 36（1）： 57-67.（in Chinese）

[3] 王敏. 復(fù)雜背景下的空間目標(biāo)自動(dòng)識(shí)別技術(shù)[D]. 長(zhǎng)春： 中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所， 2017.

Wang Min. Automatic Recognition of Space Targets in Complex Background[D]. Changchun： Changchun Institute of Optics， Fine Mechanics and Physics， Chinese Academy of Sciences， 2017. （in Chinese）

[4] 劉志剛， 盧云龍， 魏一葦. 有監(jiān)督的高光譜圖像偽裝目標(biāo)檢測(cè)方法[J]. 紅外與激光工程， 2013， 42（11）： 3076-3081.

Liu Zhigang， Lu Yunlong， Wei Yiwei. Supervised Method for Hyperspectral Image Camouflage Target Detection[J]. Infrared and Laser Engineering， 2013， 42（11）： 3076-3081.（in Chinese）

[5] The Tesla Team. A Tragic Loss [EB/OL]. （2016-06-30）[2021-07-16]. https：∥www.tesla.com/blog/tragic-loss.

[6] Tochon G， Chanussot J， Dalla Mura M， et al. Object Tracking by Hierarchical Decomposition of Hyperspectral Video Sequences： Application to Chemical Gas Plume Tracking[J]. IEEE Transactions on Geoscience and Remote Sensing， 2017， 55（8）： 4567-4585.

[7] Xiong F C， Zhou J， Qian Y T. Material Based Object Tracking in Hyperspectral Videos[J]. IEEE Transactions on Image Processing， 2020， 29： 3719-3733.

[8] Bertinetto L， Valmadre J， Golodetz S， et al. Staple： Complementary Learners for Real-Time Tracking[C]∥IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2016： 1401-1409.

[9] Danelljan M， Hger G， Khan F S， et al. Accurate Scale Estimation for Robust Visual Tracking[C]∥British Machine Vision Conference， 2014.

[10] Galoogahi H K， Fagg A， Lucey S. Learning Background-Aware Correlation Filters for Visual Tracking[C]∥IEEE International Conference on Computer Vision （ICCV）， 2017： 1144-1152.

[11] Li Y， Zhu J K. A Scale Adaptive Kernel Correlation Filter Tracker with Feature Integration[C]∥European Conference on Computer Vision， 2014： 254-265.

[12] Lukeicˇ? A， Vojír T， Cˇ ehovin L， et al. Discriminative Correlation Filter Tracker with Channel and Spatial Reliability[J]. International Journal of Computer Vision， 2018， 126（7）： 671-688.

[13] Li B， Yan J J， Wu W， et al. High Performance Visual Tracking with Siamese Region Proposal Network[C]∥IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2018： 8971-8980.

[14] Li B， Wu W， Wang Q， et al. SiamRPN++： Evolution of Siamese Visual Tracking with Very Deep Networks[C]∥IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， 2019： 4277-4286.

[15] Voigtlaender P， Luiten J， Torr P H S， et al. Siam R-CNN： Visual Tracking by Re-Detection[C]∥IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， 2020： 6577-6587.

[16] Bolme D S， Beveridge J R， Draper B A， et al. Visual Object Tracking Using Adaptive Correlation Filters[C]∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition， 2010： 2544-2550.

[17] Henriques J F， Caseiro R， Martins P， et al. High-Speed Tracking with Kernelized Correlation Filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（3）： 583-596.

[18] Danelljan M， Bhat G， Khan F S， et al. ECO： Efficient Convolution Operators for Tracking[C]∥IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2017： 6931-6939.

[19] Kristan M， Leonardis A， Matas J， et al. The Visual Object Tracking VOT2017 Challenge Results[C]∥IEEE International Conference on Computer Vision Workshops （ICCVW）， 2017： 1949-1972.

[20] Kart U， Kmrinen J K， Matas J， et al. Depth Masked Discriminative Correlation Filter[C]∥24th International Conference on Pattern Recognition （ICPR）， 2018： 2112-2117.

[21] Danelljan M， Hger G， Khan F S， et al. Learning Spatially Regularized Correlation Filters for Visual Tracking[C]∥IEEE International Conference on Computer Vision （ICCV）， 2015： 4310-4318.

[22] Boyd S， Parikh N， Chu E， et al. Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers[M]. Now Publishers Inc.， 2011.

[23] Dalal N， Triggs B. Histograms of Oriented Gradients for Human Detection[C]∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR）， 2005： 886-893.

[24] van de Weijer J， Schmid C， Verbeek J， et al. Learning Color Names for Real-World Applications[J]. IEEE Transactions on Image Processing， 2009， 18（7）： 1512-1523.

[25] Danelljan M， Hger G， Khan F S， et al. Discriminative Scale Space Tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（8）： 1561-1575.

Fast and Robust Hyperspectral Object Tracking Algorithm

Xu Qingyu1，Li Dongdong1， Kuai Yangliu2*， Sheng Weidong1， Deng Xinpu1

（1. College of Electronic Science and Technology， National University of Defense Technology， Changsha 410073， China;

2. Mechanical Service Center for Vocational Education， National University of Defense Technology， Changsha 410073， China）

Abstract： Aiming at the problems encountered by traditional object tracking， such as confusion between object and background and rapid change of target appearance， a fast and robust object tracking algorithm （FRHT） is proposed based on the 2D spatial information and rich 1D spectral information included in hyperspectral video. Firstly， based on the characteristics of hyperspectral data， spectral attention mechanism is introduced into the traditional spatial attention mechanism， and an adaptive update learning tracker under the framework of correlation filtering is designed. Secondly， hyperspectral moving object features are designed manually to speed up the operation of the tracker. Finally， a moving object anomaly detection mechanism is proposed to improve the robustness of the tracker. The simulation results show that the speed and accuracy of the tracker FRHT are significantly better than the traditional tracking algorithms such as KCF， SAMF and CSR-DCF on hyperspectral data sets， and the accuracy is improved by more than 2%. After introducing the moving object detection mechanism， the robustness of the algorithm is improved.

Key words：? object tracking; object feature;? hyperspectral; correlation filter; attention mechanism;robustness