多特征融合的尺度自適應(yīng)目標跟蹤

張原園，艾斯卡爾·艾木都拉，瑪依熱·依布拉音

（新疆大學(xué) 信息科學(xué)與工程學(xué)院，新疆 烏魯木齊 830046）

0 引 言

計算機視覺是指利用計算機處理圖像、視頻的科學(xué)研究，單目標跟蹤是其中最主要的一個分支[1]。單目標跟蹤是指通過計算機處理視頻數(shù)據(jù)，實現(xiàn)對感興趣的目標跟蹤，比如在大型廣場對某人的行蹤進行監(jiān)控定位。其跟蹤的策略主要是在視頻圖像的第一幀通過特征提取得到目標信息的特征，在后續(xù)跟蹤過程中通過與前一幀對比運算，實現(xiàn)對目標進行持續(xù)跟蹤，從而得到所需要的信息。

目標跟蹤在生活中有許多應(yīng)用場景，包括交通視頻的監(jiān)控、智能人機交互、自動駕駛技術(shù)、軍事偵察技術(shù)等[2]。目標跟蹤發(fā)展從早期的均值漂移算法、粒子濾波、卡爾曼濾波等經(jīng)典算法[3]，到基于檢測的方法、相關(guān)濾波方法，再到近幾年熱門的深度學(xué)習和孿生網(wǎng)絡(luò)方法[4]，經(jīng)歷了幾十年的發(fā)展，其結(jié)果也越來越好。可是目標跟蹤研究面臨的問題依然嚴峻，主要是因為目標外觀形變、背景光照變化、目標的快速移動、背景相似干擾等復(fù)雜狀況導(dǎo)致的跟蹤失敗[5]，這些問題依然需要不斷探索創(chuàng)新來解決復(fù)雜環(huán)境下的目標精確跟蹤。MOSSE（Minimum Output Sum of Squared Error）[6]是最早將通信中的相關(guān)思想用到目標跟蹤領(lǐng)域的，通過峰值判斷目標位置，峰值越大，得到的響應(yīng)也就越大。CSK（Circulant Structure of Tracking-by-detection with Kernels）[7]通過使用高斯核計算相鄰兩幀之間的相關(guān)性，取響應(yīng)最大的點為預(yù)測的目標中心，通過循環(huán)矩陣解決訓(xùn)練量問題，僅使用單通道灰度特征。該算法是固定目標大小的，對發(fā)生尺度變化的目標效果不好。KCF（Kernel Correlation Filter）[8]是在CSK基礎(chǔ)上加了HOG（Histogram of Oriented Gradient）特征使得效果有了很大的提升，使用嶺回歸方法降低了運算量，提高了運算速度，使算法滿足實時性要求。CN（Color Name）[9]目標跟蹤算法主要的貢獻就是將圖片的顏色屬性擴展到了CSK 跟蹤器中，文中將顏色分為11 類，通過增加特征來提高跟蹤效果，結(jié)果表明顏色屬性對于視覺跟蹤問題具有優(yōu)越的表現(xiàn)并且速度可達到實時性要求。DSST（Discriminative Scale Space Tracker）[10]在CN 基礎(chǔ)上增加了尺度更新方法，使其準確率又有了新的提升。

BACF（Background-aware Correlation Filter）[11]通 過擴大循環(huán)矩陣采樣區(qū)域增加樣本數(shù)量，通過裁剪樣本區(qū)域優(yōu)化樣本質(zhì)量，使其效果在以上算法中表現(xiàn)突出。

但是BACF 算法在使用特征過程中較為單一，在復(fù)雜場景中跟蹤結(jié)果不是很理想，沒有進行尺度更新等操作。所以本文在BACF 算法基礎(chǔ)上提出了一種多特征融合尺度自適應(yīng)跟蹤算法。通過在HOG 特征中添加CN 以及Gray 特征，增加特征識別，在跟蹤第一步能很好地提取目標信息。通過對圖片的多峰檢測進行選擇更新[12-13]，對各個尺度對比選擇效果最好的結(jié)果來更新目標位置[14]，減小遮擋等帶來的不良影響。通過對算法進行優(yōu)化，在背景干擾等幾種環(huán)境下都有很好的表現(xiàn)。

1 基于背景感知的相關(guān)濾波跟蹤

BACF 是Galoogahai 于2017 年 發(fā) 表 在ICCV 上 的 論文，算法的主要思想是：

1）通過擴大循環(huán)矩陣的采樣區(qū)域；

2）通過裁剪使得每個樣本質(zhì)量明顯提高，所以能夠有較好的結(jié)果。在BACF 算法中，濾波器h為式（1）求解結(jié)果最小二乘加正則項：

式中：xk∈RD，hk∈RD，x表示正樣本；中括號中是進行循環(huán)移位操作；h是所要訓(xùn)練的濾波器。

式（2）是通過P矩陣進行裁剪的式子，之后經(jīng)過快速傅里葉變換投影到頻域，如式（3），為使用增廣拉格朗日法，構(gòu)造出輔助變量g，利用增廣拉格朗日法得到式（4）：

之后就是用ADMM（Alternating Direction Method of Multipliers）優(yōu)化算法，將問題轉(zhuǎn)化成濾波器h的求解和輔助變量g的求解，通過式（5）和式（6）分別求解h*和*：

至此化簡式（6）即可得到最優(yōu)解，同時式（7）為更新濾波器公式，由此可以根據(jù)相關(guān)濾波器進行目標定位。

2 多特征融合尺度自適應(yīng)目標跟蹤算法

2.1 算法改進

本文在BACF 基礎(chǔ)之上，提出了多特征融合尺度自適應(yīng)目標跟蹤算法。跟蹤過程中，在目標區(qū)域提取梯度直方圖（HOG）特征、顏色（CN）特征以及灰度（Gray）特征，通過峰值旁瓣比來減弱遮擋對跟蹤的影響，通過對原圖多尺度估計對比選擇效果最好的結(jié)果來更新目標位置。本文所提出的算法框架如圖1 所示。

2.1.1 特征提取

梯度直方圖特征對圖像的梯度變化十分敏感，是跟蹤過程中比較能反映目標特征的一類特征，在一般運動中效果還是比較好的，只是在遮擋、背景復(fù)雜、快速變化等環(huán)境中，單獨的一種特征不能準確地對目標進行表達，難免在跟蹤過程中出現(xiàn)目標丟失的問題。于是選擇加入顏色以及灰度特征。顏色特征是區(qū)別于RGB 三色劃分的顏色系統(tǒng)，將顏色信息劃分為11 類，因為需要對顏色屬性進行規(guī)范化操作，將11 維的顏色空間降低為10 維，在跟蹤過程中再通過PCA 降維的方式將10 維顏色屬性降低至2 維，減少運算，提高跟蹤速率。對于灰度特征的加入，側(cè)重于圖像的亮暗變化，可以作為特征加強特征表達，三個特征相互補充以提高跟蹤魯棒性。

2.1.2 峰值檢測

在跟蹤過程中，往往在多種類似目標出現(xiàn)時，目標的響應(yīng)圖通常會顯示多個差別很小的峰值，如圖2所示。

圖2a）和圖2c）是背景環(huán)境比較干凈，峰值響應(yīng)就是目標的響應(yīng)結(jié)果，圖2b）和圖2d）因為遮擋問題，出現(xiàn)多峰值情況，如果在這種情況下更新濾波器，很有可能將錯誤信息作為目標特征，影響跟蹤效果。在其跟蹤過程中利用峰值旁瓣比（Peak to Sidelobe Ratio，PSR）削弱遮擋對跟蹤的影響。其旁瓣比比值越小，響應(yīng)圖越干凈，跟蹤效果越好。將跟蹤響應(yīng)圖的最高響應(yīng)點設(shè)為主瓣峰值，峰值附近13×13 之外區(qū)域定義為旁瓣，通過實驗選取理想比值，小于閾值正常更新，大于閾值停止更新，減弱遮擋影響。其中g(shù)表示峰值，μ是旁瓣均值，σ是旁瓣標準差。

2.1.3 尺度更新

以原樣本為中心，按照一定比例的尺度獲取多個樣本，通過計算不同尺度樣本所對應(yīng)的響應(yīng)值，選擇最優(yōu)的尺度響應(yīng)完成濾波器更新。

假設(shè)當前幀目標所在圖像的大小是M×N，尺度濾波器大小為P，以圖像塊目標位置為中心，在周圍提取大小為αn M×αn N的圖像塊，α表示特征層之間的尺度因子，n∈，通過不同尺度圖像塊訓(xùn)練跟蹤模板，在得到的眾多相關(guān)濾波器中選擇響應(yīng)值最大的作為尺度更新結(jié)果。

在跟蹤過程中設(shè)置提取33 種不同的尺度樣本，以得到最大響應(yīng)值所對應(yīng)的尺度濾波器。

2.2 實驗結(jié)果分析

2.2.1 實驗環(huán)境

實驗是在Windows 10 環(huán)境下、Intel coreTMi5-8300H CPU @ 2.30 GHz，8 GB 內(nèi) 存，Visual studio S2019，Matlab 2019b 軟件中完成的。

2.2.2 實驗數(shù)據(jù)集以及評價指標

實驗數(shù)據(jù)集是OTB2015，其數(shù)據(jù)集在OTB50 中擴充至100 個視頻序列，包含59 040 幀圖片，和OTB50 相同，都是以室內(nèi)、室外場景為圖片特性。每幀圖片都標注目標中心位置和目標的大小。數(shù)據(jù)集的不同序列有不同的特性，同一序列包含多種特性，總共有11 個類別，分別是：光照變化、平面外旋轉(zhuǎn)、尺度變化、遮擋、形變、運動模糊、快速運動、平面內(nèi)旋轉(zhuǎn)、出視野、背景雜亂、低分辨率[15]。其評價指標有距離精度（Distance Precision，DP）、重疊率精度（Overlap Precision，OP）和算法運行速度：幀率（Frame per Second，F(xiàn)PS）。距離精度是在所有圖像幀中跟蹤結(jié)果的中心位置誤差（Center Location Error）小于20 像素的幀數(shù)的占比，反映了跟蹤算法的魯棒性。成功率曲線面積表示成功率曲線與坐標軸圍成的面積。成功率表示的是在總幀數(shù)中重疊率大于閾值的幀數(shù)占比[16]，通常情況下，該閾值取0.5。OPE（One-pass Evaluation）表示每個圖像序列運行一次，SRE（Spatial Robustness Evaluation）和 TRE（Temporal Robustness Evaluation）分別代表空間魯棒性和時間魯棒性測試，SRE 通過平移或縮放第一幀中的初始邊界框，對每個跟蹤器進行了12 次評估繪制成功率和精確率圖。TRE 通過視頻序列在時間軸上平均找出20個點作為起點，每個序列重復(fù)20次，繪制平均的成功率和精確率圖。

選擇CSK、KCF、SAMF、BACF 與本文算法進行對比，在同一環(huán)境下進行測試，實驗分析如下。

2.2.3 定性分析

通過實驗分析，本文優(yōu)化算法OURBACF在各個方面都優(yōu)于其他算法。5種算法的精確率和成功率如圖3所示。

圖3 中，OURBACF 算法精確率OPE 為84.1%、SRE為79.1%、TRE 為84.7%，分別提升了9.2%，3.5%，2.9%。成功率OPE 為79.5%、SRE 為71.4%、TRE 為77.9%，分別提升了11.8%，2.4%，1.0%。優(yōu)化算法整體效果有了明顯的提升。

圖4 為各算法在不同跟蹤環(huán)境下的SRE 跟蹤表現(xiàn)。優(yōu)化算法精確率SRE 在平面內(nèi)旋轉(zhuǎn)、平面外旋轉(zhuǎn)、背景雜亂、光照變化、尺度變化情況下精確率均優(yōu)于原算法，分別為75.7%，78.0%，75.2%，73.7%，72.3%，分別提升了3.1%，3.7%，4.8%，1.7%，0.7%。成功率SRE 在平面內(nèi)旋轉(zhuǎn)、快速運動、平面外旋轉(zhuǎn)、背景雜亂、光照變化情況下均優(yōu)于原算法，分別為66.8%，55.8%，68.5%，64.2%，63.7%，分別提升了2.9%，0.3%，3.0%，2.2%，0.8%。優(yōu)化算法OURBACF 除了快速運動環(huán)境下精確率和尺度變化下成功率略有下降，其余方面均有所改善。

圖5為各個算法在不同跟蹤環(huán)境下的TRE跟蹤表現(xiàn)。

圖5 中精確率TRE 在背景雜亂、快速運動、平面內(nèi)旋轉(zhuǎn)、平面外旋轉(zhuǎn)、光照變化情況下均優(yōu)于原算法，分別為81.9%，69.8%，81.5%，83.0%，81.4%，分別提升了6.6%，2.2%，4.1%，3.7%，4.6%。成功率SRE 在背景雜亂、快速運動、平面內(nèi)旋轉(zhuǎn)、尺度變化、平面外旋轉(zhuǎn)、光照變化情況下均優(yōu)于原算法，分別為72.4%，62.8%，73.8%，71.1%，74.5%，73%，分別提升了2.3%，2.2%，2.3%，0.1%，0.9%，2.3%。

通過TRE 結(jié)果分析，優(yōu)化算法OURBACF 較原算法在精確率和成功率上面都有了明顯的提升，在背景雜亂、快速運動、平面內(nèi)旋轉(zhuǎn)、尺度變化、平面外旋轉(zhuǎn)、光照變化等方面效果都有顯著的改善。

2.2.4 定量分析

選取如下幾個視頻序列分析跟蹤結(jié)果，表1是不同序列的環(huán)境特性，圖6是不同算法在不同序列中的跟蹤結(jié)果。

表1 選取的視頻序列的特性

分析Jogging-2 序列中5 種算法跟蹤過程，從第10 幀開始跟蹤，在第79 幀遮擋物跟蹤框出現(xiàn)明顯漂移，第90 幀SAMF 和KCF 跟蹤丟失，至此直至跟蹤結(jié)束，優(yōu)化算法與BACF 在Jogging-2 序列遮擋、形變、平面外旋轉(zhuǎn)的變化下都保持準確的跟蹤定位。

分析woman 序列中5 種算法跟蹤過程，從第10 幀開始跟蹤，整個跟蹤過程中目標有光照變化、尺度變化、遮擋、形變、運動模糊、快速運動、平面外旋轉(zhuǎn)等多情景變化，第135 幀出現(xiàn)SAMF 跟蹤丟失，再到第563 幀除優(yōu)化算法外，其余均未出現(xiàn)目標丟失，能體現(xiàn)出優(yōu)化算法的良好性能。

分析Soccer 序列中5 種算法跟蹤過程，從第10 幀開始跟蹤，整個跟蹤過程目標環(huán)境變化有光照變化、尺度變化、遮擋、運動模糊、快速運動、平面內(nèi)旋轉(zhuǎn)、平面外旋轉(zhuǎn)、背景雜亂，第82 幀KCF 出現(xiàn)跟丟情況，第132 幀在復(fù)雜環(huán)境下各個跟蹤框出現(xiàn)明顯漂移，直至跟蹤結(jié)束，僅優(yōu)化算法和SAMF 結(jié)果較為理想。

分析jumping 序列中5 種算法跟蹤過程，從第10 幀開始跟蹤，目標包含的變化有尺度變化、遮擋、形變、運動模糊、快速運動、平面內(nèi)旋轉(zhuǎn)、平面外旋轉(zhuǎn)，隨著目標的跳躍跟蹤框漂移十分劇烈，只有優(yōu)化算法能夠持續(xù)對目標進行跟蹤。

綜上所述，優(yōu)化算法OURBACF 能在大部分狀況下優(yōu)于其他4 種經(jīng)典算法，提升了跟蹤的準確性及魯棒性。

分析算法在選取的視頻序列中的幀率和平均幀率，如表2 所示。

表2 OURBACF、BACF 算法在選取的視頻序列中的幀率和平均幀率 f/s

從表2中可以看到：BACF算法的幀率整體還是不錯，能夠滿足視覺要求（＞30 幀），大部分都在50 f/s 以上，平均幀率也是55 f/s；OURBACF 在優(yōu)化過程中幀率稍微有所下降，但是依然滿足實時性要求，基本上在40 f/s 以上，平均幀率為45 f/s，通過優(yōu)化跟蹤精度和準確率，降低一點幀率還是比較可行的。

3 結(jié) 語

為了解決跟蹤過程中目標外觀形變、背景光照變化、背景相似干擾等復(fù)雜狀況導(dǎo)致的跟蹤失敗問題，在BACF 算法基礎(chǔ)之上提出了多特征融合尺度自適應(yīng)目標跟蹤算法。通過跟蹤過程中特征提取部分增加了顏色（CN）特征以及灰度（Gray）特征以提高目標的特征識別，降低因特征提取不足引起的跟蹤丟失問題。在跟蹤過程中通過添加空間正則項，減少跟蹤框漂移，提升跟蹤精度。通過峰值旁瓣比來減弱遮擋對跟蹤的影響，通過對原圖多尺度對比，選擇效果最好的結(jié)果來更新目標位置。

實驗表明，優(yōu)化算法OURBACF 較BACF 有了不錯的提升，跟蹤的整體精確率和成功率都有了很好的提升。通過定量分析也能看出在整個連續(xù)跟蹤過程中本文算法表現(xiàn)很好。對于平面內(nèi)旋轉(zhuǎn)、平面外旋轉(zhuǎn)、背景雜亂、光照變化、遮擋等問題能夠得到很好的解決，但在個別跟蹤情形下如尺度變化、快速運動等結(jié)果還是不太理想，以后可以針對這幾種跟蹤環(huán)境進行算法優(yōu)化。通過對幀率的分析，幀率從55 f/s 降低至45 f/s，在提高準確性和魯棒性過程中使得幀率有所降低，不過幀率下降還是在可控范圍內(nèi)，能夠滿足實時跟蹤要求。