自適應模型更新的長時目標跟蹤算法

張 銳,王 軍,楊 博,趙高鵬,薄煜明

(1.南京理工大學自動化學院,江蘇 南京 210094；2.中國船舶工業(yè)綜合技術經(jīng)濟研究院,北京 100081)

運動目標的跟蹤長久以來都是廣大科研人員非常青睞且十分熱門的研究領域,許多研究成果早已被廣泛地應用于軍事、醫(yī)療、交通等多個方面。從最早的光流法、均值漂移[1]法、支持向量機[2]法、檢測-跟蹤(TLD[3])算法、相關濾波算法,到近年開始興起的基于深度學習的方法。這些算法在跟蹤的速度與精度、抗遮擋能力等方面各有所長,但應用在復雜場景時,容易受到例如光照、遮擋等因素的影響,無法進行魯棒跟蹤,所以需要針對長時跟蹤進行進一步的研究。

相關濾波類算法憑借其在目標跟蹤準確性和速度上的優(yōu)秀表現(xiàn),成為當下的一個研究熱點。2010年,Bolme等人首先提出了MOSSE[4]濾波器,它是首個將相關濾波思想引入目標跟蹤的算法,類似ASEF濾波器,其計算量小且速度較快。2012年,Henriques等人提出了CSK[5]跟蹤器,提出將相關濾波引入核空間,訓練在傅里葉域內(nèi)進行,從而得到一個核化的分類器。隨后在2014年將CSK算法思想與梯度方向直方圖結(jié)合,設計得到了核相關濾波器KCF[6]。在特征提取方面,Danelljan等人在CSK的基礎上,使用CN顏色空間對其進行拓展,并且在其模板更新機制上有所改進,提出了CN[7]算法。Staple算法[8]采用線性加權的方式將HOG特征模型與顏色直方圖模型的響應結(jié)果進行融合,有效地提高了算法的魯棒性。針對循環(huán)密集采樣造成的邊界效應,Danelljan等人提出了SRDCF[9]算法,引入空間正則并且使用高斯-賽德爾迭代來求解濾波器。Lukezic等人提出基于通道和空間置信度的判別式相關濾波(CSR-DCF)[10]算法,為了對濾波器的空域進行限制,基于前景和背景的顏色特征模型構(gòu)建了掩模矩陣。

為解決尺度估計問題,Danelljan等人提出位置濾波器和尺度濾波器分別訓練的判別尺度空間跟蹤器(DSST)[11]算法。在此之后,Danelljan等提出快速尺度估計(fDSST)[12]算法通過主成分分析將目標特征的主要特征保留,將維度壓縮至18維,在提高DSST算法運行速度的同時還提升了跟蹤性能。

此外,針對目標遮擋問題,文獻[4]采用經(jīng)典的峰值旁瓣比(PSR)來衡量目標跟蹤置信度,在置信度較低時暫停更新模型,從而抑制背景信息的干擾。針對目標偏移問題,Zhu等人提出協(xié)同相關跟蹤算法(CCT)[13],在核相關濾波算法的基礎上,引入CUR濾波模塊,使算法具有良好的魯棒性。

受以上算法啟發(fā),針對跟蹤過程中出現(xiàn)的目標自身尺度變化,外界光照變化及目標受遮擋等問題,作者對快速尺度估計算法進行改進,提出一種新的長時目標跟蹤算法,它結(jié)合置信度判別,自適應地更新模板,并且加入一個用于重檢測的在線CUR濾波器,解決遮擋情況下的跟蹤問題。

1 fDSST算法描述

fDSST算法通過維數(shù)壓縮和濾波結(jié)果插值的方式對DSST算法進行加速,DSST算法又是在MOSSE的基礎上改進而成的,下面介紹DSST算法的基本原理。

通過一維的尺度濾波器獲得跟蹤目標的新尺度信息。隨后,在新的位置用原先得到的尺度來分別提取位置和尺度濾波器的樣本并進行參數(shù)更新。

首先,設初始圖像中選定的正樣本為f,f由d維特征向量f(n)∈Rd,fl為其中的第l維,l的取值為1到d,每個通道對應的濾波器為hl,總的位置濾波器表示為h,g為理想高斯輸出,那么最小化的代價函數(shù)如式(1)所示:

(1)

式(1)中，*表示卷積計算,λ表示權重系數(shù),并將其轉(zhuǎn)換到復頻域，采用Parseval定理求解得Hl:

(2)

此時,在對濾波器的訓練中加入了不同時間片的樣本,這保證了濾波器hl具有魯棒性,由離散傅里葉變換進行塊對角化線性來解決最小二乘問題,濾波器Hl則是通過N個d×d的線性系統(tǒng)求解得到,參數(shù)的更新依照式(3)、(4)。

(3)

(4)

設zt為目標中心位置的圖像,其經(jīng)離散傅里葉變換得到變量Zt,為選定的正樣本區(qū)域,此時輸出yt的復頻域表示為Yt,如式(5)所示:

(5)

DSST算法通過尺度相關濾波器和位置相關濾波器的共同運行來實現(xiàn),首先將以上一幀圖像所確定的位置為基準,來提取特征樣本,如圖1所示,再利用位置濾波器獲取目標新的位置信息,依據(jù)它提取尺度特征樣本。

圖1 位置濾波器樣本特征提取示意圖

尺度相關濾波器樣本特征提取如圖2所示,采用一維高斯函數(shù)作為期望輸出,并利用離散傅里葉變換加速,最后將新一幀的信息輸入尺度相關濾波器從而得到跟蹤目標結(jié)果的尺度輸出。

圖2 尺度濾波器樣本特征提取示意圖

fDSST算法是在DSST算法的基礎上,主要針對流程中的學習與檢測部分的運算進行加速,采取逐點進行的方式進行運算和推導并結(jié)合快速傅里葉變換(FFT),同時采用DFT快速計算使本算法快速高效。進行了計算的加速。另外,在fDSST算法當中,對HOG特征進行維數(shù)壓縮處理,同時對濾波結(jié)果進行了插值來避免信息的丟失。插值方式采用三角多項式,從而獲得精確定位尺度,有效地提高了FPS和有效優(yōu)化了算法的跟蹤精度和速度。

2 結(jié)合置信度更新的尺度估計長時目標跟蹤算法

為了利用fDSST算法在跟蹤精度和速度的優(yōu)勢,本文以其為基準算法,針對跟蹤過程中的模板偏移問題對模板的更新機制進行改進,在目標丟失時,停止模型更新,防止模板被污染,以提高跟蹤的準確率及魯棒性。在長時跟蹤框架中增加重檢測模塊,用CUR濾波器來處理遮擋或跟蹤失敗的問題,為能夠在發(fā)現(xiàn)目標丟失時及時準確地找回目標。

2.1 算法整體框架

本文設計的算法框架如圖3所示。

圖3 本文算法整體框架

2.2 結(jié)合置信度的模板更新策略

在fDSST中,由于未考慮遮擋情況后的跟蹤失敗問題,所以沒有討論跟蹤置信的評估問題。一般來說,選取響應圖中的最高值Fmax,Fmax的值越大說明跟蹤效果越好,但根據(jù)實際實驗結(jié)果來看,這種評估方式并不夠好。以OTB50的視頻序列Lemming為例,圖4展示了不同跟蹤質(zhì)量下響應峰值大小的情況。

圖4 不同跟蹤質(zhì)量下目標對應峰值大小

左圖跟蹤情況良好,Fmax值也較大,中間圖中目標處于嚴重遮擋狀態(tài),Fmax值也隨之變小,但是因為遮擋判據(jù)單一及未采取自適應模板更新策略,導致出現(xiàn)了右圖的跟蹤失敗情況,跟蹤模板受到了污染,此時Fmax值大小處于跟蹤良好情況下的水平。

以OTB50的視頻序列Girl為例,圖5的(a)、(b)分別展示了跟蹤失敗的圖像序列幀與其對應的響應圖情況,左圖展示了當目標未發(fā)生遮擋情況,此時跟蹤質(zhì)量較高,存在響應圖的最高值Fmax,此時相應圖像上表現(xiàn)為有且只有單個主峰,中間圖表示當跟蹤質(zhì)量低時,例如目標發(fā)生遮擋情況,響應圖出現(xiàn)了劇烈波動,存在較為嚴重的次峰干擾,當目標周圍存在有相似特征的區(qū)域時,也有可能出現(xiàn)最高峰為干擾的情況,此時如果繼續(xù)按照固定學習率更新位置濾波器的參數(shù)并進行下一幀的跟蹤,則很有可能出現(xiàn)跟蹤漂移或失敗的情況。右圖是跟蹤失敗的情況。

圖5 不同跟蹤質(zhì)量下圖像與對應響應圖

于是本文借鑒LMCF[14]算法,引入提出的判據(jù)APCE,計算方法如式(6)所示：

(6)

式(6)中,Fm,n表示每一個像素位置的響應值,Fmax、Fmin分別為最大、最小的響應值。APCE的大小能夠反映響應圖的震蕩程度和尖銳程度,當目標明顯出現(xiàn)在檢測區(qū)域內(nèi),因為響應圖中最高值Fmax較高而其余干擾噪聲較小,APCE的值將會比較大,反之較小。

(7)

3)兩個條件均不滿足,判斷目標被遮擋,轉(zhuǎn)入重搜索模塊,濾波器參數(shù)暫時不更新。

2.3 在線低秩濾波器重檢測模塊

為了實現(xiàn)長時有效跟蹤,需要加入重檢測機制,當目標一旦經(jīng)歷遮擋導致跟蹤結(jié)果出現(xiàn)較大偏差時,應啟動重檢測模塊,以便有效長期跟蹤目標。為了使在線重檢測效果好,穩(wěn)定性高,同時計算量較低,本文選擇使用CUR在線低秩濾波器。

給定一個矩陣A,A∈Rm×n,它的矩陣秩為ρ,以相同次優(yōu)行、列選擇的方式,如式(8)所示:

(8)

根據(jù)上述方法,對A進行隨機采樣,提取出c列,得到列矩陣C,然后對C的列取平均獲得目標檢測濾波器Dt。具體來說,在每一個穩(wěn)定的幀中提取目標框內(nèi)的目標表達,將其向量化為目標歷史表達矩陣A中的一列at。在矩陣C隨機產(chǎn)生之后,按照列對C取平均,獲得在線濾波器hcur,如式(9)所示:

(9)

為了得到當前幀的CUR濾波器,以空間上的對應順序為依據(jù),把向量dt轉(zhuǎn)換為矩陣Dt。最后使用Dt來計算與所檢測圖像中每個可能位置的相似程度。已經(jīng)跟蹤到的信息構(gòu)成了正樣本集,只要充分利用該正樣本集,就可以訓練出性能優(yōu)越的重檢測器。

根據(jù)位置濾波器的計算結(jié)果,利用非極大值抑制的方法提出前k個置信度高的區(qū)域,計算這些區(qū)域與位置濾波器所得結(jié)果的重合率α,如果重合率大于0.5,將當前區(qū)域加入對象池,用于更新CUR濾波器。

2.4 本文算法流程

本文算法流程如表1所示。

表1 本文跟蹤算法流程設計

3 實驗結(jié)果與分析

本文實驗在 IntelCore i7-10875H CPU、主頻 2.30 GHz、內(nèi)存 16 GB 的計算機上進行,實驗使用 Matlab R2018b平臺調(diào)試運行。實驗中參數(shù)設置：位置濾波器的Padding為 1.5,正則化因子λ設置為10-4,核帶寬設置為0.075,固定學習率η0設置為0.02,調(diào)整因子β=0.1,置信度閾值c和λR則分別設定為2.85和0.5。尺度相關濾波器的尺度級數(shù)設置為33,尺度步長為1.02,CUR濾波模板池大小為20,峰值附近的響應抑制系數(shù)設為0.8,特征提取方面選用HOG特征。

3.1 實驗數(shù)據(jù)集介紹

實驗采用OTB50數(shù)據(jù)集,OTB作為視覺目標跟蹤領域第一個基準庫,解決了視覺跟蹤領域無統(tǒng)一的衡量指標且無統(tǒng)一的測試視頻的問題。OTB50基準庫包含了長短不一、灰度和彩色視頻序列用于評估算法性能。同時,為每幀的目標位置都提供了人工標注的真實坐標值,且每個視頻均包含部分跟蹤領域存在的困難因素。實驗從OTB50基準庫中選取了12個視頻序列用于評估,每個序列的特點如表2所示。

表2 實驗視頻序列特點

3.2 實驗評價指標

為了評估本文跟蹤算法的性能,參考Wu等[15]提出的OTB 視頻序列跟蹤效果評價指標,采用了中心位置誤差(CLE)、跟蹤精度和跟蹤成功率來評價算法性能。目標重疊率S定義為給定跟蹤框Bt與實際跟蹤框Ba,這兩個區(qū)域面積的交集與并集比。當S大于給定閾值時認為跟蹤成功(一般閾值取0.5),S由式(10)給出。

(10)

3.3 實驗結(jié)果分析

3.3.1 定量分析

本文將提出的算法(Ours)與基準算法fDSST[12]和其他5種主流算法進行比較,包括Struck[16]、CT[17]、CSK[5]、SRDCF[9]、LCT[18]。

圖6表示實驗的7種跟蹤算法在選取的12組測試視頻下的表現(xiàn),可以看出本文算法在跟蹤精度與跟蹤成功率方面來說,表現(xiàn)最為突出,跟蹤精度相比于fDSST算法提高了2%,相比于LCT算法提高了6.8%。跟蹤成功率相比于fDSST算法提高了13.6%,相比于SRDCF算法提高了4.7%。

圖6 12個視頻測試序列的跟蹤精度曲線及跟蹤成功率曲線

圖7顯示了7種跟蹤算法在12個視頻序列進行目標跟蹤時生成的中心位置誤差曲線,以圖7c)為例,CarScale視頻中的主要難點在于跟蹤目標的尺度發(fā)生變換并且尺度變換較大、目標受到遮擋、目標快速運動以及其在平面內(nèi)旋轉(zhuǎn),從圖中可以看出,本文實驗選取的算法在第150幀之后,中心位置誤差較之前變大,原因是跟蹤的目標在第150幀時發(fā)生了遮擋,此時,由于受到遮擋情況的影響,fDSST算法已經(jīng)發(fā)生了跟蹤漂移而導致跟蹤失敗,而本文所提出的算法,由于引入CUR濾波器對目標進行重檢測,所以依然能成功跟蹤目標。對12個視頻序列進行逐一分析,可知本文算法保持了較低的中心誤差,有效提高了跟蹤精度。

圖7 12個視頻測試序列的中心位置誤差曲線

3.3.2 定性分析

為了直觀說明本文算法(Ours)跟蹤的準確性，圖8給出了本文算法與選取的其他6種代表算法在6個跟蹤測試視頻序列上的表現(xiàn)。

1)光照變化

圖8a)David序列顯示了本文算法抗光照變化的能力。314幀時，CSK和Struck算法在跟蹤目標的過程中出現(xiàn)了偏移的問題，在429幀和637幀時，CT算法和SRDCF算法也相繼發(fā)生目標漂移，但是，如圖所示，本文提出的算法能夠做到全程對目標進行質(zhì)量較高的跟蹤。

2)尺度變化

圖8b)mhyang視頻序列中尺度改變明顯。在第1124幀時，目標快速移動且尺度增大，LCT算法跟蹤失敗，Struck算法發(fā)生了跟蹤偏移，在第1396幀隨著目標發(fā)生旋轉(zhuǎn)并尺度變小，本文算法準確更新了目標尺度，跟蹤準確性較高，綜上，可以得出本文算法在應對尺度變化較大的情況時，具有較好的適應性。

3)運動模糊

圖8c)bolt序列與d)deer序列顯示了本文算法處理運動模糊情況的能力。在視頻幀出現(xiàn)運動模糊的情況下，本文算法能夠穩(wěn)定地跟蹤目標。Bolt序列在37幀和80幀時發(fā)生了運動模糊，fDSST、SRDCF、Struck算法跟蹤失敗，CSK算法發(fā)生了跟蹤漂移，隨著目標繼續(xù)快速移動，同樣LCT算法在225幀時也出現(xiàn)了跟蹤漂移的問題，只有本文算法全程質(zhì)量較高地跟蹤了目標。

4)遮擋

圖8e)skating1序列和f)subway序列的實驗結(jié)果證明了本文算法在發(fā)生遮擋情況時的應對能力。

圖8 各跟蹤方法在不同測試視頻上具體表現(xiàn)

skating1在第179幀時發(fā)生了局部遮擋，CSK 算法和Struck 算法無法準確更新模板導致跟蹤失敗，fDSST算法與CT算法發(fā)生了跟蹤偏移。在375幀時發(fā)生了嚴重遮擋，SRDCF算法出現(xiàn)了跟蹤偏移，由于本文算法加入了重檢測模塊，所以并未受影響，全程較好地跟蹤了目標。

subway視頻序列在44幀時發(fā)生局部遮擋，CSK算法與SRDCF算法跟蹤失敗，只有本文算法與LCT算法實現(xiàn)了對目標的全程跟蹤。

4 結(jié)束語

本文提出的自適應模型更新的長時目標跟蹤算法,在fDSST算法的基礎上加入了基于置信度的模板更新與遮擋判別,在跟蹤質(zhì)量評估方面,結(jié)合了歷史峰值均值和歷史APCE置信度均值。當跟蹤目標丟失時,重檢測模塊被激活,利用CUR近似的方法進行全局重檢測,迅速地再次獲得目標位置信息并繼續(xù)進行穩(wěn)定的長時跟蹤。實驗數(shù)據(jù)表明,本文算法應用時的跟蹤成功率與跟蹤精確度均優(yōu)于其他主流的例如SRDCF、LCT等代表性相關濾波目標跟蹤算法,具有較好的魯棒性和實時性。