基于級(jí)聯(lián)檢測(cè)的相關(guān)濾波跟蹤算法研究

鄭亮 何小衛(wèi)

摘 要： 經(jīng)典相關(guān)濾波跟蹤算法KCF，在目標(biāo)發(fā)生嚴(yán)重遮擋和丟失后重現(xiàn)等情形時(shí)容易產(chǎn)生漂移。本文提出一個(gè)新的算法，在KCF跟蹤算法產(chǎn)生漂移時(shí)，設(shè)計(jì)級(jí)聯(lián)檢測(cè)器重新檢測(cè)目標(biāo)位置，更新KCF濾波器模型以實(shí)現(xiàn)重新跟蹤。為了驗(yàn)證該算法的有效性，與傳統(tǒng)相關(guān)濾波算法KCF、CSK以及其他優(yōu)秀的目標(biāo)跟蹤算法Struck，TLD，MIL，CT等進(jìn)行了對(duì)比，結(jié)果表明，該模型可以顯著地提高跟蹤器的跟蹤效果。盡管該模型引入檢測(cè)器，對(duì)算法的速度有所影響，但算法仍能保證足夠快的運(yùn)行速度而不影響目標(biāo)跟蹤的實(shí)時(shí)性。

關(guān)鍵詞： 目標(biāo)跟蹤； 相關(guān)濾波； 檢測(cè)器； 實(shí)時(shí)性

中圖分類號(hào)：TP37 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1006-8228（2018）06-09-05

Correlation filter tracking algorithm based on cascade detection

Zheng Liang， He Xiaowei

（College of Mathematics， Physics， and Information Engineering， Zhejiang Normal University， Jinhua， Zhejiang 321004， China）

Abstract： The classical correlation filter tracker KCF is easy to drift when the object has been seriously occluded and out of view. In this paper， a new algorithm is proposed with a cascade detector to re-detect the object position and update the KCF filter model when KCF produces drift. In order to verify the effectiveness of the algorithm， it is compared with the traditional correlation filtering algorithms KCF， CSK and the other excellent algorithms Struck， TLD， MIL， CT etc. The experimental results demonstrate that the proposed tracker can remarkably improve the precision and success rate on the challenging benchmark. Although introducing the detector into the model， it can still run fast enough to keep real-time.

Key words： object tracking； correlation filter； detector； real-time

0 引言

目標(biāo)跟蹤技術(shù)是計(jì)算機(jī)視覺領(lǐng)域中的重要研究課題。目標(biāo)跟蹤是對(duì)視頻序列圖像幀進(jìn)行檢測(cè)、分類和分析，通過計(jì)算圖像幀中所標(biāo)定目標(biāo)在每一幀圖像上的二維坐標(biāo)位置，然后將連續(xù)圖像幀的同一目標(biāo)所處位置連接起來，得到運(yùn)動(dòng)目標(biāo)運(yùn)動(dòng)軌跡。目標(biāo)跟蹤在人機(jī)交互、機(jī)器人、無人駕駛以及智能監(jiān)控等[1]領(lǐng)域有非常重要的研究?jī)r(jià)值。

在目標(biāo)跟蹤算法中，模型實(shí)現(xiàn)跟蹤的思想大都是基于tracking-by-detection 框架[2]，將目標(biāo)跟蹤問題看成檢測(cè)問題，然后對(duì)檢測(cè)到的目標(biāo)建模。Kalal. Z等人提出的TLD[3]傳統(tǒng)跟蹤算法，模型采用光流法和檢測(cè)算法，同時(shí)，采用跟蹤器與檢測(cè)器并行更新的方式實(shí)現(xiàn)目標(biāo)跟蹤，但TLD受限于基準(zhǔn)濾波器和分類檢測(cè)器的能力，對(duì)目標(biāo)再現(xiàn)和旋轉(zhuǎn)較為敏感。

基于判別式模型的思想是將跟蹤問題看成一個(gè)二元分類問題，找到能夠區(qū)分目標(biāo)和背景的最優(yōu)分類決策，最大程度地將目標(biāo)區(qū)域與非目標(biāo)區(qū)域標(biāo)記并分類，從而實(shí)現(xiàn)對(duì)候選區(qū)域中目標(biāo)的判定，Zhang K等人將壓縮感知引入到目標(biāo)跟蹤中CT[4]，同時(shí)利用稀疏測(cè)量矩陣進(jìn)行特征提取并建立目標(biāo)表示模型，其跟蹤速度達(dá)到64FPS；Hare S等人基于結(jié)構(gòu)化輸出SVM提出了目標(biāo)跟蹤算法Struck[5]，同時(shí)利用核化的SVM直接輸出結(jié)果，滿足實(shí)時(shí)性要求；基于判別式模型的目標(biāo)跟蹤算法性能主要取決于分類器的判別性，因此，更好地利用訓(xùn)練樣本得到更精準(zhǔn)的分類器是此類算法研究的主要方向，而相關(guān)濾波的出現(xiàn)，使得跟蹤分類器整體性能得到提升。

自2010年S. Bolme等人首次在跟蹤領(lǐng)域引入相關(guān)濾波提出了MOSSE [7]，相關(guān)濾波跟蹤算法[7-9]相繼出現(xiàn)；2012年 J. Henriques等人提出了CSK[8]，采用循環(huán)矩陣的方式進(jìn)行密集采樣，得到在訓(xùn)練濾波器階段所需要的更多負(fù)樣本，如此更好地適應(yīng)和表達(dá)在不同場(chǎng)景中目標(biāo)位置的變化，同時(shí)利用循環(huán)矩陣可對(duì)角化的性質(zhì)，在頻域內(nèi)快速地訓(xùn)練分類器保證算法的實(shí)時(shí)性，在精度提升到54.5%的同時(shí)仍保持189FPS的速度；2015年，J. F. Henriques等人在CSK[8]基礎(chǔ)上提出了KCF[9]，利用 HOG算子進(jìn)行特征提取，采用核技術(shù)將線性不可分的問題映射到核空間，從而快速地訓(xùn)練線性分類器。

1 相關(guān)濾波跟蹤

在KCF跟蹤器中，選取以目標(biāo)為中心，大小為m*n的矩形區(qū)域提取訓(xùn)練樣本x，利用嶺回歸函數(shù)f（x）=ωTx進(jìn)行線性分類器的訓(xùn)練xi（i∈{0，1，…，m-1}×{0，1，…，n-1}），訓(xùn)練過程中是將訓(xùn)練樣本x的所有循環(huán)位移圖像塊作為訓(xùn)練樣本，進(jìn)行特征提取，同時(shí)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)用一個(gè)高斯函數(shù)yi來描述。

模型訓(xùn)練目的是為優(yōu)化以下的目標(biāo)函數(shù)：

⑴

其中λ1正則化系數(shù)，根據(jù)文獻(xiàn)[9]可以得到ω線性組合形式：

⑵

其中α是系數(shù)，表示的是原空間到希爾伯特（Hilbert）特征空間的映射。采用核函數(shù)求解目標(biāo)函數(shù)，達(dá)到提高濾波器的效果。其中，x'是更新累積樣本。

根據(jù)文獻(xiàn)[7]的理論推導(dǎo)，采用正則化最小二乘（RLS）分類器模型同時(shí)利用核函數(shù)，將原濾波器目標(biāo)函數(shù)改寫成：

⑶

因此，公式⑸可以利用循環(huán)矩陣可對(duì)角化的性質(zhì)和傅里葉變換，通過核化正則最小二乘法（RLSC）得到最優(yōu)解：

⑷

其中核函數(shù)采用的是高斯核，計(jì)算公式為：

⑸

在新一幀圖像輸入中，獲得新的候選窗口圖像塊z進(jìn)行目標(biāo)檢測(cè)，分類器的輸出響應(yīng)計(jì)算值為：

⑹

從公式⑿中，可以看出，相關(guān)濾波應(yīng)用于跟蹤中，僅需更新優(yōu)化目標(biāo)函數(shù)中的濾波器參數(shù)α和累計(jì)樣本x'，采用線性更新方式：

⑺

其中η為學(xué)習(xí)因子，t是當(dāng)前幀圖像索引，是圖像樣本，濾波器參數(shù)。

2 級(jí)聯(lián)檢測(cè)相關(guān)濾波目標(biāo)跟蹤算法

由于現(xiàn)實(shí)生活中采像設(shè)備固定的原因，某區(qū)域內(nèi)目標(biāo)消失后再次出現(xiàn)的現(xiàn)象非常普遍；目標(biāo)在光照變化情況下也會(huì)發(fā)生很大變化；以及移動(dòng)過程中發(fā)生的不同程度的旋轉(zhuǎn)都給目標(biāo)跟蹤帶來很大挑戰(zhàn)。針對(duì)此，在原相關(guān)濾波算法的基礎(chǔ)上引入檢測(cè)器，在處理目標(biāo)消失或者旋轉(zhuǎn)等挑戰(zhàn)時(shí)，能夠利用級(jí)聯(lián)分類器重新檢測(cè)到目標(biāo)位置，進(jìn)而更新基準(zhǔn)濾波器重新進(jìn)行目標(biāo)跟蹤。本文檢測(cè)器采用級(jí)聯(lián)分類器的方式，級(jí)聯(lián)分類器通過隨機(jī)蕨分類器和最近鄰分類器實(shí)現(xiàn)目標(biāo)的重新檢測(cè)。

2.1 級(jí)聯(lián)分類器

機(jī)器學(xué)習(xí)中，一個(gè)隨機(jī)蕨分類器，類似于隨機(jī)森林。對(duì)于兩者之間的區(qū)別在于，隨機(jī)森林中對(duì)每層樹的節(jié)點(diǎn)判斷標(biāo)準(zhǔn)不同，而隨機(jī)蕨中每層蕨的判斷標(biāo)準(zhǔn)一致。如圖1所示。

圖1中所示，a是樹狀結(jié)構(gòu)，圖1b是蕨結(jié)構(gòu)，圖1c是蕨結(jié)構(gòu)又可以改寫成線性結(jié)構(gòu)。

隨機(jī)蕨分類器的工作原理是根據(jù)樣本的特征值進(jìn)行判斷從而進(jìn)行分類處理，使用多個(gè)蕨分類器進(jìn)行同一個(gè)樣本處理時(shí)，很大程度上能夠提升分類器的準(zhǔn)確度。

2.2 最近鄰分類器

采用最近鄰分類器的方式在目標(biāo)周圍選取目標(biāo)位置，減少目標(biāo)檢測(cè)搜索區(qū)域，從而降低計(jì)算復(fù)雜度，提高算法實(shí)時(shí)性。

通過計(jì)算樣本之間的相似度值進(jìn)行判斷，如果相似度大于閾值則認(rèn)為是正樣本，相似度值的表達(dá)方式是：

⑻

其中Ix和Iy表示圖像patch的相似度，δ是規(guī)范化系數(shù)，因此，S的取值范圍在[0，1]之間。正、負(fù)樣本的最近鄰相似度計(jì)算方式不同，可以分別寫成：

⑼

則相對(duì)相似度通過式，可求得：

S'=S+/（S++S-） ⑽

2.3 級(jí)聯(lián)檢測(cè)器

不同于先前基于檢測(cè)的跟蹤器[4]采用回歸模型的方式作為檢測(cè)器，KCF-CD利用級(jí)聯(lián)分類器的方式作為檢測(cè)器，從而降低了模型的計(jì)算復(fù)雜度。采用連續(xù)幀更新策略訓(xùn)練一個(gè)在線隨機(jī)蕨檢測(cè)器，假定表示樣本標(biāo)記的指示向量，bj，j∈{1，2，…，N}表示二進(jìn)制特征的集合，如圖3.1所示，即所有蕨檢測(cè)器特征的聯(lián)合分布：

⑾

其中表示第k個(gè)蕨檢測(cè)器，σ（k，n）是從1到的隨機(jī)置換矩陣。

對(duì)于每一個(gè)蕨檢測(cè)器的條件概率可以寫成：

⑿

其中Nk，li表示的是第蕨檢測(cè)器中類的訓(xùn)練樣本，指的是所有訓(xùn)練樣本。利用貝葉斯公式對(duì)類的目標(biāo)檢測(cè)，優(yōu)化函數(shù)可得到：

⒀

算法思想：如圖2所示，主要利用核相關(guān)濾波器KCF作為基準(zhǔn)濾波器，進(jìn)行目標(biāo)跟蹤，輸出KCF濾波器跟蹤結(jié)果。對(duì)跟蹤結(jié)果進(jìn)行評(píng)估，若大于設(shè)定閾值σ，與KCF濾波器跟蹤過程相同，僅更新相關(guān)濾波器的相關(guān)參數(shù)，繼續(xù)下一幀目標(biāo)跟蹤；若小于設(shè)定閾值σ，利用檢測(cè)器中的各級(jí)分類器，重新進(jìn)行目標(biāo)檢測(cè)，找回目標(biāo)更新基準(zhǔn)濾波器，繼續(xù)下一幀目標(biāo)跟蹤。

3 實(shí)驗(yàn)結(jié)果分析

在CVPR-2013[9]中，評(píng)價(jià)目標(biāo)跟蹤算法的度量有：跟蹤精確度（Precision）、成功率（Success Rate），以及實(shí)時(shí)性要求，即每秒處理幀數(shù)（FPS）。通過算法在數(shù)據(jù)集生成的精度和成功率曲線圖，以及FPS，來進(jìn)行算法性能的比較。

⑴ 跟蹤精度

精確度圖在跟蹤精度評(píng)估中，一個(gè)被廣泛使用的標(biāo)準(zhǔn)是中心位置誤差（Center Location Error， CLE），其被定義為跟蹤目標(biāo)的中心位置和標(biāo)定真實(shí)目標(biāo)的準(zhǔn)確位置（ground-truth）之間的平均歐氏距離：

⒁

其中（xc，yc）表示測(cè)試算法預(yù)測(cè)跟蹤目標(biāo)框的中心位置坐標(biāo)，（xgt，ygt）表示標(biāo)定真實(shí)目標(biāo)的準(zhǔn)確位置坐標(biāo)。精確度圖能夠顯示出評(píng)估的位置在給定的準(zhǔn)確值的閾值距離之內(nèi)的幀數(shù)占總幀數(shù)的百分比。對(duì)于每個(gè)跟蹤器具有代表性的精度評(píng)分，一般閾值選取為20像素。

⑵ 成功率

成功率表示的是跟蹤算法的目標(biāo)框與真實(shí)標(biāo)定的目標(biāo)區(qū)域重疊率大小。其中，測(cè)試算法預(yù)測(cè)的跟蹤目標(biāo)框?yàn)閞c與真實(shí)跟蹤目標(biāo)框rgt之間的重疊率（Overlap Rate）：

⒂

其中：∪和∩分別表示測(cè)試目標(biāo)框與真實(shí)目標(biāo)框之間相交和合并的區(qū)域面積。成功率圖給出了此閾值從0到1變化時(shí)成功幀所占的比例。使用某一特定閾值（比如t0=0.5）下的一個(gè)成功率來評(píng)估跟蹤器可能并不公平或其具有代表性。此時(shí)，采用每一個(gè)成功率圖的曲線下面積（Area Under Curve， AUC）作為替代，用于給跟蹤算法進(jìn)行排序。

⑶ FPS

在實(shí)際生活以及工業(yè)應(yīng)用方面，算法的實(shí)時(shí)性一直作為非常重要的評(píng)判標(biāo)準(zhǔn)來檢驗(yàn)?zāi)Ｐ偷男阅堋Ｔ谝曈X跟蹤領(lǐng)域國(guó)際頂級(jí)賽事Visual Object Tracking Challenge （VOT） 2016后， FPS也作為評(píng)估跟蹤算法的一個(gè)重要標(biāo)準(zhǔn)，F(xiàn)PS指的是跟蹤器對(duì)于處理整個(gè)圖像序列平均速度-即每秒處理的幀數(shù)。

3.1 實(shí)驗(yàn)結(jié)果定量分析

表1是KCF-CD和其他優(yōu)秀跟蹤算法的比較效果。KCF-CD模型很好地解決了KCF在形變和目標(biāo)位于跟蹤框位置產(chǎn)生的跟蹤漂移現(xiàn)象，同時(shí)，對(duì)于目標(biāo)運(yùn)動(dòng)導(dǎo)致的目標(biāo)模糊都有很好的魯棒性。在具有尺度變化目標(biāo)運(yùn)動(dòng)導(dǎo)致的目標(biāo)模糊等挑戰(zhàn)的視頻幀中，如：Blur-Owl、Couple、Girl等圖像序列，KCF的跟蹤效果分別是：22.8%/102.2 FPS，25.7%/247.6FPS，86.4%/232.2FPS，KCF-CD的跟蹤效果分別是：89.1%/9.3FPS，75.3%/38.42FPS，100%/21.3FPS。從上面具體實(shí)驗(yàn)數(shù)據(jù)分析可以看出，模型KCF-CD通過結(jié)合檢測(cè)器的方式，有效地解決了KCF在目標(biāo)丟失后重現(xiàn)以及嚴(yán)重遮擋所帶來的跟蹤效果不好甚至產(chǎn)生漂移的現(xiàn)象，如：Jogging-1，2， 等圖像序列，KCF的跟蹤效果分別是：23.5%/229.59FPS，16.3%/115.3FPS。KCF-CD的跟蹤效果分別是：97.1%/23.84FPS，97.4%/23.4FPS。數(shù)據(jù)結(jié)果論證了KCF-CD在處理形變等情況下也有較好的魯棒性。在跟蹤精度得到提高的同時(shí)，本算法以犧牲部分速度為代價(jià)，但是KCF-CD仍能保證目標(biāo)跟蹤的實(shí)時(shí)性要求。

3.2 實(shí)驗(yàn)結(jié)果定性分析

圖3是跟蹤算法KCF-CD與其他優(yōu)秀跟蹤算法KCF，CSK，Struck，MIL，TLD，CT在OTB數(shù)據(jù)集視頻中跟蹤表現(xiàn)對(duì)比。

如圖3，幾種優(yōu)秀的目標(biāo)跟蹤算法（KCF[9]，CSK[8]，Struck[5]，MIL[6]，TLD[3]，CT[4]）在數(shù)據(jù)集CVPR-2013/OTB-100[10][11]中的Tiger、Jogging、Doll和Basketball視頻序列比較結(jié)果，其中，提出的跟蹤算法KCF-CD（紅色框）有較好的跟蹤表現(xiàn)。

圖4是提出的跟蹤算法KCF-CD與其他優(yōu)秀跟蹤算法KCF，CSK，Struck，MIL，CT，TLD在CVPR-2013， OTB-100數(shù)據(jù)集的結(jié)果比較。

如圖4，當(dāng)跟蹤精度圖（Precision plots of OPE）設(shè)置位置錯(cuò)誤閾值（Location error threshold）為20和成功率（Success plots of OPE）圖設(shè)置重疊區(qū)域閾值（Overlap threshold）為0.2時(shí)，算法在數(shù)據(jù)集CVPR-2013、OTB-100上的表現(xiàn)優(yōu)于基準(zhǔn)濾波器和其他優(yōu)秀算法。

根據(jù)圖5所示，分別為四種跟蹤挑戰(zhàn)：目標(biāo)離開視野（out of view）、遮擋（occlusion）、快速移動(dòng)（fast motion）、形變 （deformation）情形下成功率表現(xiàn)，可以看出，算法相比于其他優(yōu)秀算法在處理遮擋、目標(biāo)消失后再次出現(xiàn)和非剛性物體形變時(shí)有著最好表現(xiàn)。

4 結(jié)束語(yǔ)

本文算法僅針對(duì)單個(gè)目標(biāo)進(jìn)行跟蹤，但在實(shí)際生活應(yīng)用場(chǎng)景中，需要實(shí)現(xiàn)多個(gè)目標(biāo)跟蹤跟蹤。因此，基于相關(guān)濾波的多目標(biāo)跟蹤算法設(shè)計(jì)，同時(shí)解決目標(biāo)遮擋、尺度變化等跟蹤挑戰(zhàn)，是接下來研究工作的一個(gè)方向；神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的特征提取方式將目標(biāo)跟蹤提升到很高精度，基于此類方法，結(jié)合相關(guān)濾波算法的高速優(yōu)勢(shì)，提升跟蹤的整體效果也是接下來工作的一個(gè)主流方向。

參考文獻(xiàn)（References）：

[1] Cannons K. A Review of Visual Tracking[J]. Dept.comput.

sci.eng，York Univ，Toronto，Canada，Tech.Rep.CSE-2008-07，2008.

[2] Avidan S. Support Vector Tracking[C].CVPR， 2001：

184-191

[3] Kalal Z， Mikolajczyk K， Matas J. Tracking-

Learning-Detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2012.34（7）：1409

[4] Zhang K， Zhang L， Yang M H. Real-Time Compressive

Tracking[C]，ECCV. Springer-Verlag，2012：864-877

[5] Hare S， Saffari A， Torr P H S. Struck： Structured output

tracking with kernels[C].ICCV，2012：263-270

[6] Babenko B， Yang M， Belongie S J， et al. Robust Object

Tracking with Online Multiple Instance Learning[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2011.33（8）：1619-1632

[7] Bolme D S， Beveridge J R， Draper B A， et al. Visual object

tracking using adaptive correlation filters[C].CVPR，2010：2544-2550

[8] Henriques J F， Rui C， Martins P， et al. Exploiting the

Circulant Structure of Tracking-by-Detection with Kernels[C].ECCV， Springer-Verlag，2012：702-715

[9] Henriques J.F， Rui. C， Martins. P， et al. High-Speed

Tracking with Kernelized Correlation Filters[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2015.37（3）：583-596

[10] Y. Wu， J. Lim， and M.-H. Yang. Object tracking

benchmark[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2015.37（9）：1834-1848

[11] Y. Wu， J. Lim， and M.-H. Yang. Online object tracking：

A benchmark[C].CVPR，2013：2411-2418