融合位置估計(jì)的自適應(yīng)尺度相關(guān)濾波跟蹤

王中帥，周聰玲，王永強(qiáng)，高 鵬

(天津科技大學(xué)機(jī)械工程學(xué)院，天津 300222)

目標(biāo)跟蹤在計(jì)算機(jī)視覺領(lǐng)域中占有核心地位，廣泛應(yīng)用在輔助駕駛、安防監(jiān)控、無人機(jī)導(dǎo)航等領(lǐng)域.近年來，目標(biāo)跟蹤領(lǐng)域發(fā)展迅速.其中相關(guān)濾波跟蹤[1-3]由于其強(qiáng)大的性能而備受廣大科研人員關(guān)注.目前，在目標(biāo)跟蹤系統(tǒng)中，仍然面臨著尺度變化、遮擋、形變和快速運(yùn)動(dòng)等諸多挑戰(zhàn).尤其是尺度變化導(dǎo)致跟蹤精度降低，甚至由于多尺度原因造成目標(biāo)在跟蹤過程中丟失[4-5].2010 年，Blome 等[6]將相關(guān)濾波原理應(yīng)用到目標(biāo)跟蹤領(lǐng)域，提出了MOSSE 跟蹤器，通過傅里葉變換將運(yùn)算轉(zhuǎn)到頻域中，降低了算法的運(yùn)算量，進(jìn)一步對(duì)算法進(jìn)行提速優(yōu)化.2012 年，Henriques 等[7]提出了CSK 跟蹤器，通過在目標(biāo)位置采取一次樣本，其他樣本均是基礎(chǔ)樣本循環(huán)偏移生成的虛擬樣本，這些樣本所構(gòu)成的樣本矩陣是循環(huán)矩陣，并利用了循環(huán)矩陣的性質(zhì)，但CSK 跟蹤器只使用圖像中的灰度特征.文獻(xiàn)[8]在特征選擇上進(jìn)行改進(jìn)，使用了顏色特征，提出了CN 跟蹤器.文獻(xiàn)[9]采用了多通道的HOG 特征，并引入了核方法，提出了KCF 跟蹤器.Galoogahi 等[10]提出的BACF 算法通過將目標(biāo)框以外的背景信息考慮進(jìn)去，增加整個(gè)圖像循環(huán)偏移矩陣，得到了一個(gè)更穩(wěn)定的濾波器.Mueller等[11]提出了上下文感知相關(guān)濾波跟蹤(context-aware correlation filter tracking)，該算法聯(lián)合目標(biāo)區(qū)域前后左右四塊背景區(qū)域進(jìn)行聯(lián)合濾波器訓(xùn)練，既合理地利用了背景信息，提高了跟蹤器的魯棒性，又不太影響跟蹤的速度.在此基礎(chǔ)上，DCF_CA 跟蹤算法[11]、SAMF 跟蹤算法[12]、STAPLE 跟蹤算法[13]在模型訓(xùn)練中加了背景約束后，性能上都有著顯著性的提高.在對(duì)尺度變換問題方面，SAMF 跟蹤算法在KCF 的基礎(chǔ)上將單一特征擴(kuò)展為多個(gè)特征，利用尺度池的方法實(shí)現(xiàn)目標(biāo)自適應(yīng)跟蹤.Danelljan 等[13]提出DSST 跟蹤算法，通過使用位置濾波器和尺度濾波器，分別對(duì)目標(biāo)定位和尺度評(píng)估.

現(xiàn)實(shí)世界中的目標(biāo)往往出現(xiàn)尺度變換、光照變化、模糊、目標(biāo)外形變化等，都會(huì)影響跟蹤的性能.本文提出了針對(duì)目標(biāo)尺度變化問題的解決方法，該方法首先根據(jù)先驗(yàn)知識(shí)獲取不同尺度下的目標(biāo)信息，然后在濾波器中對(duì)不同尺度下的目標(biāo)模板賦值新的權(quán)重.令多尺度下的目標(biāo)模板雖然是濾波器的正樣本，但權(quán)重小于原始尺度目標(biāo)模板，從而有效地跟蹤不同尺度下的目標(biāo).

1 相關(guān)濾波跟蹤

1.1 線性回歸

假設(shè)訓(xùn)練樣本集(xi,yi)，并將濾波器訓(xùn)練看成一個(gè)嶺回歸問題，可表示為

其中w 是濾波器.

對(duì)式(1)進(jìn)行優(yōu)化求解得

其中：X 是樣本矩陣，Y 是標(biāo)簽矩陣，I 為便于計(jì)算的單位矩陣，λ是正則化系數(shù).

將式(2)轉(zhuǎn)換到復(fù)數(shù)域情況下的解析解為

其中：XH=(X*)T，H 表示共軛轉(zhuǎn)置，*表示復(fù)共軛.

1.2 循環(huán)矩陣

樣本矩陣是一個(gè)循環(huán)矩陣，并利用循環(huán)矩陣傅里葉對(duì)角化的性質(zhì)，簡(jiǎn)化算法，提高運(yùn)算速度.

假設(shè)一個(gè)向量X=[x1,x2,x3,...,xn]，那么由該向量循環(huán)偏移后的n×n 的循環(huán)矩陣 C (x)表示為

根據(jù)循環(huán)矩陣經(jīng)傅里葉變換可相似對(duì)角化，將矩陣X 進(jìn)行如下轉(zhuǎn)換

利用循環(huán)矩陣的特性來化簡(jiǎn)公式(3)得

1.3 非線性嶺回歸

為了克服當(dāng)樣本線性不可分的情況，通過映射函數(shù)φ(x)，映射到高維空間，相關(guān)濾波器用樣本的線性組合表示為

利用核方法，使其線性可分.將式(7)代入式(1)中，解得

其中K 是核矩陣，且是循環(huán)矩陣.

根據(jù)循環(huán)矩陣的特性，求解為

1.4 上下文感知相關(guān)濾波器

上下文感知相關(guān)濾波器(CA-CF)通過增加一些背景信息對(duì)訓(xùn)練的濾波器進(jìn)行約束，提高了跟蹤器對(duì)目標(biāo)區(qū)域和背景區(qū)域的辨別性.

CA-CF 是在傳統(tǒng)的相關(guān)濾波跟蹤框架的基礎(chǔ)上，將目標(biāo)區(qū)域的上下左右四塊背景信息加到了相關(guān)濾波器中去學(xué)習(xí)，式(1)可改為

其中：Ai(j∈[1,k])是背景樣本矩陣，k 是背景樣本的個(gè)數(shù).

對(duì)式(10)優(yōu)化求解得

2 改進(jìn)的相關(guān)濾波跟蹤

在相關(guān)濾波算法中，使用基礎(chǔ)樣本偏移生成樣本集，目標(biāo)尺度變化使濾波器降低對(duì)目標(biāo)的敏感度是導(dǎo)致跟蹤失敗的主要因素之一.本文通過多尺度監(jiān)督的自適應(yīng)尺度模型，將基礎(chǔ)樣本不同尺度大小的樣本循環(huán)偏移生成的樣本集加到濾波器學(xué)習(xí)過程中去.設(shè)a*b 表示基礎(chǔ)樣本的尺寸，提取的尺度樣本的尺度表示為Sa*Sb.S 為尺度變化因子.為了便于訓(xùn)練濾波器，基礎(chǔ)樣本和尺度樣本對(duì)應(yīng)的標(biāo)簽矩陣也應(yīng)該設(shè)置為相同尺度.為此γ表示為每一幀目標(biāo)基礎(chǔ)樣本對(duì)應(yīng)標(biāo)簽矩陣的高斯帶寬.多尺度樣本對(duì)應(yīng)的高斯標(biāo)簽帶寬應(yīng)為γi=Sγ.在訓(xùn)練中，所有的尺度樣本都是正樣本.但它畢竟不是目標(biāo)基礎(chǔ)樣本，因此多尺度監(jiān)督中的樣本集對(duì)應(yīng)的標(biāo)簽矩陣的峰值應(yīng)該設(shè)置為小于1 的數(shù)值.為此，本文提出了一種新的標(biāo)簽矩陣峰值定義標(biāo)準(zhǔn)，以尺度樣本和目標(biāo)基礎(chǔ)樣本的重疊率來描述尺度樣本標(biāo)簽和基礎(chǔ)樣本標(biāo)簽的峰值比，兩者關(guān)系表示為

在訓(xùn)練濾波器過程，多尺度樣本訓(xùn)練的對(duì)濾波器的權(quán)重影響應(yīng)該小于目標(biāo)基礎(chǔ)樣本的權(quán)重，為此制定了新的標(biāo)準(zhǔn).假設(shè)多尺度樣本對(duì)應(yīng)的訓(xùn)練權(quán)重符合正態(tài)分布，因此多尺度樣本對(duì)應(yīng)的權(quán)重定義為

其中：δi表示第i 尺度樣本訓(xùn)練對(duì)應(yīng)的權(quán)重值，di表示尺度樣本標(biāo)簽矩陣和目標(biāo)基礎(chǔ)樣本標(biāo)簽矩陣峰值之差.

為了訓(xùn)練對(duì)尺度變化敏感的濾波器，所有的尺度樣本都被轉(zhuǎn)化為和目標(biāo)基礎(chǔ)樣本一樣大小.將模型優(yōu)化，可將式(10)改為

其中：

n 表示多尺度模板數(shù)量.

與式(10)類似，對(duì)式(14)求解得

類似于式(11)求解，將式(16)代入式(17)，式(17)可改為

3 實(shí)驗(yàn)與結(jié)果分析

為驗(yàn)證本文算法的優(yōu)異性，在 CVPR 2015 Benchmark[15]數(shù)據(jù)集上，將本文提出的算法與8 種現(xiàn)有經(jīng)典算法的成功率和精準(zhǔn)率相比較.

3.1 實(shí)驗(yàn)環(huán)境配置

本文的實(shí)驗(yàn)電腦配置為：intel(R)core(TM)i5-7300 MQ CPU@ 2.50 GHz 處理器、8 G 系統(tǒng)內(nèi)存.其選取的經(jīng)典跟蹤算法為：CSK、MOSSE_CA[6]、DCF_CA[11]、SAMF_CA、DSST[14]、KCF[9]、SAMF_AT[16]、DCF_SC[17].以下將給出本文提出的目標(biāo)算法一系列的參數(shù)，其中：搜索框padding＝2，正則化系數(shù)λ1＝10-4，λ2＝8.7，學(xué)習(xí)率η=0.004 6，尺度變化因子S＝[0.98，0.985，0.99，0.995，1.0，1.005，1.01，1.015，1.02].

3.2 實(shí)驗(yàn)結(jié)果

本文提出的算法與8 種現(xiàn)有經(jīng)典目標(biāo)跟蹤算法在測(cè)試集上的仿真實(shí)驗(yàn)結(jié)果為：圖1 橫軸為中心位置誤差，是指算法計(jì)算出目標(biāo)中心位置與真實(shí)目標(biāo)中心位置之間的歐式距離；圖1 縱軸為精準(zhǔn)率，精準(zhǔn)率是指算法跟蹤目標(biāo)的中心位置誤差在閾值距離內(nèi)的幀數(shù)與總幀數(shù)的比值.中心位置誤差公式為

式中：xi、yi是算法計(jì)算出的中心位置坐標(biāo)；X、Y是真實(shí)目標(biāo)中心位置坐標(biāo).

圖2 橫軸為重疊度，是指算法計(jì)算出目標(biāo)與真實(shí)目標(biāo)之間的重疊度；圖2 縱軸為成功率，成功率是指重疊率大于閾值的幀數(shù)與總幀數(shù)的比值.成功率公式為

式中：Hx是重疊率大于閾值的幀數(shù)；N 是總幀數(shù).

精準(zhǔn)率和成功率可以作為評(píng)價(jià)跟蹤算法性能的標(biāo)準(zhǔn).

圖1 不同算法的精準(zhǔn)率比較結(jié)果Fig.1 Comparison of precision rate of different algorithms

圖2 不同算法成功率對(duì)比結(jié)果Fig.2 Comparison of success rate of different algorithms

由圖1、2 看出，本文提出的算法精準(zhǔn)率和成功率優(yōu)于其他8 種經(jīng)典算法，得分分別為0.803 和0.705.在精準(zhǔn)率上比基準(zhǔn)算法KCF(得分為0.696)高出了0.107.在成功率上比基準(zhǔn)算法KCF(得分為0.551)高出了0.154.

相對(duì)于 CSK、MOSSE_CA、DCF_CA、KCF、DCF_SC 跟蹤算法，本文方法增加了尺度樣本對(duì)濾波器的訓(xùn)練，所以算法總體得出的精準(zhǔn)率和成功率均優(yōu)于這些方法.在尺度自適應(yīng)方面，DSST 跟蹤算法有33 個(gè)尺度，但使用兩個(gè)獨(dú)立濾波器導(dǎo)致分布最優(yōu)，并不能保證位置最優(yōu).SAMF 跟蹤算法對(duì)目標(biāo)進(jìn)行7個(gè)尺度計(jì)算，得到一個(gè)尺度金字塔，找出響應(yīng)值最大的尺度即為目標(biāo).這兩種方法都是通過增加尺度樣本來適應(yīng)多尺度變化，表1 和表2 分別為本文算法與8 種經(jīng)典算法在尺度變化(SV)、低分辨率(LR)、遮擋(OCC)、超出視野(OV)、平面旋轉(zhuǎn)(OR)干擾下精準(zhǔn)率和成功率的對(duì)比實(shí)驗(yàn)結(jié)果.通過表1 和表2 可以看出，尺度變化干擾時(shí)SAMF 和DSST 算法效果優(yōu)于其他不加尺度樣本的跟蹤算法.本文方法在增加尺度樣本作為訓(xùn)練集時(shí)，考慮到多尺度是由目標(biāo)生成的樣本，在進(jìn)行樣本訓(xùn)練時(shí)考慮尺度樣本對(duì)效果影響肯定不如目標(biāo)樣本，即每個(gè)尺度樣本對(duì)結(jié)果的影響肯定不一樣，所以對(duì)每個(gè)尺度樣本與目標(biāo)樣本計(jì)算服從正分布交并比值作為新的權(quán)重后，再對(duì)樣本進(jìn)行訓(xùn)練，提高了濾波器對(duì)多尺度變化的敏感度.由表1、表2 可見，本文提出的算法充分體現(xiàn)了優(yōu)異性能，達(dá)到了設(shè)計(jì)算法的預(yù)期效果.圖3 所示，本文提出的算法在目標(biāo)尺度變化的情況下，可以較為準(zhǔn)確地預(yù)測(cè)目標(biāo)的尺度大小并能很好的跟蹤目標(biāo).這表明本文提出算法在目標(biāo)尺度變化的情況下的可行性.

表1 不同干擾下不同算法精準(zhǔn)率對(duì)比實(shí)驗(yàn)結(jié)果Tab.1 Comparison of precision rate of different algorithms with different interference

表2 不同干擾下不同算法成功率對(duì)比實(shí)驗(yàn)結(jié)果Tab.2 Comparison of success rate of different algorithms with different interference

圖3 尺度變化下的對(duì)比實(shí)驗(yàn)Fig.3 Contrast experiments with scale variations

4 結(jié)論

本文提出了一種改進(jìn)的自適應(yīng)尺度相關(guān)濾波跟蹤算法.該算法將位置估計(jì)和尺度估計(jì)融合為一，將預(yù)先的尺度模板樣本作為訓(xùn)練樣本，一起訓(xùn)練濾波器.給不同尺度的模板在濾波器訓(xùn)練中賦予新的權(quán)重定義，同時(shí)也賦予了尺度模板對(duì)應(yīng)的標(biāo)簽矩陣新的定義，提高了跟蹤器對(duì)目標(biāo)尺度變化的敏感度.最后將本文提出的算法與當(dāng)前經(jīng)典8 種跟蹤算法在測(cè)試集進(jìn)行仿真實(shí)驗(yàn)對(duì)比.實(shí)驗(yàn)結(jié)果表明，本文算法精準(zhǔn)率為0.803、成功率為0.705，高于對(duì)比算法，達(dá)到了預(yù)期效果.