雙約束上下文感知相關(guān)濾波跟蹤算法

譚翠媚劉波

?

雙約束上下文感知相關(guān)濾波跟蹤算法

譚翠媚1,2劉波3

（1.廣東省計量科學(xué)研究院 2.廣東省現(xiàn)代幾何與力學(xué)計量技術(shù)重點實驗室 3.北京理工大學(xué)光電學(xué)院）

提出一種雙約束上下文感知相關(guān)濾波跟蹤算法。針對最小輸出平方和誤差濾波器的無偏估計容易引起過擬合的情況，結(jié)合線性嶺回歸訓(xùn)練的濾波器，提高算法的泛化能力；根據(jù)上下文感知相關(guān)濾波中的背景選擇方向固定，進行基于卡爾曼濾波的自適應(yīng)背景選擇，提高濾波器對目標(biāo)及背景的判別性；同時在目標(biāo)模型更新策略中使用新的遮擋判據(jù)APCE。最后將本文算法與當(dāng)前主流的跟蹤算法做仿真對比，驗證了本文算法的優(yōu)越性和魯棒性。

目標(biāo)跟蹤；相關(guān)濾波；上下文感知

0　引言

近年來，目標(biāo)跟蹤作為機器視覺領(lǐng)域的重要組成部分，受到學(xué)者們廣泛關(guān)注，取得顯著發(fā)展，在視頻監(jiān)控、智能交通等領(lǐng)域應(yīng)用廣泛[1]。目前，目標(biāo)跟蹤仍存在許多難點問題，如，目標(biāo)遮擋、目標(biāo)形變和尺度變換等。如何解決這些問題是目標(biāo)跟蹤領(lǐng)域的研究重點。其中相關(guān)濾波在目標(biāo)跟蹤領(lǐng)域的應(yīng)用，極大促進了跟蹤領(lǐng)域的發(fā)展，國內(nèi)外研究人員進行了大量相關(guān)濾波改進算法的研究。Blome[2]等人于2010年第一次將相關(guān)濾波應(yīng)用于目標(biāo)跟蹤，提出的最小輸出平方和誤差（minimum output sum of squared error，MOSSE）濾波跟蹤算法，通過傅立葉變換，將目標(biāo)與待測樣本集間的相關(guān)性計算轉(zhuǎn)換到頻域，極大地提高了計算效率；但由于采樣樣本有限，影響算法的魯棒性。Henriques[3]等人提出了基于核函數(shù)的循環(huán)結(jié)構(gòu)（circulant structure of tracking-by-detection with kernels，CSK）跟蹤算法，利用一次獲取的待測樣本，通過循環(huán)移位采樣該樣本形成循環(huán)矩陣，獲得樣本集。由于CSK算法使用的是視頻圖像的灰度特征，為進一步提高CSK算法的性能，Danelljan[4]等人針對顏色特征提出了CN算法；Henriques[5]等人使用多通道的HOG特征，并引入核方法提出核相關(guān)濾波跟蹤算法（kernelized correlation filters，KCF)。但有關(guān)上下文感知的跟蹤方法研究相對較少。2017年，Mueller[6]等人對相關(guān)濾波算法的框架進行改進，提出了上下文感知相關(guān)濾波跟蹤算法（context-aware correlation filter tracking，CA-CF）。該算法聯(lián)合全局上下文進行背景訓(xùn)練，既能合理增加背景信息，提高跟蹤的魯棒性和準(zhǔn)確性，又不帶來負(fù)面影響。

為進一步提高CA-CF跟蹤性能，本文提出一種雙約束上下文感知相關(guān)濾波跟蹤算法。結(jié)合MOSSE濾波器與線性嶺回歸訓(xùn)練濾波器的優(yōu)點，提出一種雙約束濾波器。在背景訓(xùn)練過程中加入自適應(yīng)選擇步驟，提高跟蹤器對目標(biāo)與背景的區(qū)分能力。引入APCE判據(jù)的模型更新策略，有效解決目標(biāo)遮擋問題。

1　相關(guān)濾波跟蹤算法原理

1.1　嶺回歸

將樣本分類看成是一個嶺回歸問題，定義如下：

對式(1)求解優(yōu)化，可得

把式(2)變換至傅立葉域：

1.2　循環(huán)矩陣

相關(guān)濾波跟蹤算法的樣本為一個循環(huán)矩陣，根據(jù)其性質(zhì)，可將算法轉(zhuǎn)化到頻域計算，以加快運算速度。

基于循環(huán)矩陣的性質(zhì)，式(3)可化簡為

1.3　核相關(guān)濾波

根據(jù)前文循環(huán)矩陣的性質(zhì)，由式(8)可得

1.4　上下文感知相關(guān)濾波跟蹤

CA-CF將目標(biāo)周圍的頂部、底部、左側(cè)和右側(cè)的背景信息引入到相關(guān)濾波器的訓(xùn)練過程中，增強了算法區(qū)分背景的能力，則式(1)變?yōu)?/p>

求解式(10)，可得

2　改進的上下文感知相關(guān)濾波跟蹤

2.1　雙約束相關(guān)濾波器

在MOSSE跟蹤器中，采用最小輸出平方和誤差濾波器。在數(shù)學(xué)上，這是一種對數(shù)值的無偏估計，可能造成過擬合，影響算法的泛化能力。在KCF跟蹤器中，采用線性嶺回歸訓(xùn)練濾波器，有效地解決了模型訓(xùn)練的過擬合問題。為優(yōu)化模型，本文提出一種融合二者優(yōu)點的雙約束濾波器，可將式(10)優(yōu)化為

對式(12)求解，可得

2.2　基于卡爾曼濾波的相關(guān)濾波跟蹤

用列向量表示目標(biāo)運動過程中需要估計的元素：

則下一幀的估計元素為

結(jié)合式(13)運用卡爾曼濾波做狀態(tài)估計，目標(biāo)預(yù)測即為響應(yīng)峰值處坐標(biāo)。

本文在選擇背景訓(xùn)練補丁時，不再選擇目標(biāo)位置固定上下左右4個方向的補丁，而利用卡爾曼濾波器校正目標(biāo)位置的4個方向補丁，即在背景訓(xùn)練增加了自適應(yīng)選擇，將背景選擇的先驗信息增加到濾波器訓(xùn)練中，有效增強了跟蹤器對目標(biāo)與背景的區(qū)分能力。

2.3　模型更新策略

在模型更新策略中，本文算法使用Wang[7]等人提出的遮擋判據(jù)APCE。

3　實驗與結(jié)果分析

3.1　實驗環(huán)境與參數(shù)設(shè)置

3.2　實驗結(jié)果分析

本文利用精準(zhǔn)率與成功率評價分析算法的性能。精準(zhǔn)率給出了跟蹤目標(biāo)中心的預(yù)估位置，在給定準(zhǔn)確位置的閾值距離內(nèi)（本文取20）的幀數(shù)占視頻序列總幀數(shù)的比例。成功率給出了重疊率大于給定閾值（本文取0.5）的幀數(shù)占總幀數(shù)的比例，用于評價跟蹤算法在目標(biāo)丟失后重新檢測到目標(biāo)的性能。

本文算法與9種對比算法在測試視頻集上的整體精準(zhǔn)率與成功率對比如表1所示。由表1可知：本文算法的精準(zhǔn)率與成功率得分均排名第一；本文算法精準(zhǔn)率得分是0.815，領(lǐng)先排名第二的DCF_CA（0.784）3.1個百分點；本文算法成功率為0.703，比第二名高出2.3個百分點。

本文算法與9種對比算法在遮擋、形變、尺度變換和快速運動等屬性的精準(zhǔn)率、成功率對比分別如表2和表3所示。通過定量分析驗證了本文算法的優(yōu)越性與魯棒性。

表1　雙約束上下文感知相關(guān)濾波跟蹤算法的整體精準(zhǔn)率與成功率對比

表2　雙約束上下文感知相關(guān)濾波跟蹤算法其他屬性的精準(zhǔn)率對比

表3　雙約束上下文感知相關(guān)濾波跟蹤算法其他屬性的成功率對比

4　結(jié)論

本文提出了一種雙約束上下文感知相關(guān)濾波跟蹤算法。首先，將最小輸出平方和誤差濾波器與線性嶺回歸訓(xùn)練濾波器進行融合，有效解決傳統(tǒng)最小輸出平方和誤差濾波器容易造成過擬合的問題；然后，進行基于卡爾曼濾波的自適應(yīng)背景選擇，將背景選擇的先驗信息引入到濾波器訓(xùn)練中，有效增強跟蹤器判別目標(biāo)與背景的能力；最后，在模型更新策略中引入新的遮擋判據(jù)APCE，僅在響應(yīng)峰值與APCE皆以某個比例大于其歷史均值的情況下，才執(zhí)行模型更新。實驗表明：本文算法的精準(zhǔn)率與成功率得分分別為0.815，0.703，均優(yōu)于其他對比算法，驗證了本文所提算法的優(yōu)越性與魯棒性。

[1] Walia G S, Kapoor R . Recent advances on multicue object tracking: a survey[J]. Artificial Intelligence Review, 2016, 46(1):1-39.

[2] Bolme D S, Beveridge J R, Draper B A , et al. Visual object tracking using adaptive correlation filters[C]. Computer Vision and Pattern Recognition, IEEE, 2010: 2544-2550.

[3] Henriques J F, Caseiro R, Martins P, et al. Exploiting the circulant structure of tracking-by-detection with kernels[C]. European Conference on Computer Vision. Springer-Verlag, 2012:702-715.

[4] Danelljan M, Khan F S, Felsberg M, et al. Adaptive color attributes for real-time visual tracking[C]. IEEE Computer Vision and Pattern Recognition, 2014:1090-1097.

[5] Henriques J F, Caseiro R, Martins P, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 37(3):583-596.

[6] Mueller M, Smith N, Ghanem B. Context-Aware correlation filter tracking [C]. IEEE Conference on Computer Vision and Pattern Recongnition,2017:1387-1395.

[7] Wang Mengmeng, Liu Yong, Huang Zeyi. Large margin object tracking with circulant feature maps[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2017:4800-4808.

[8] Wu Y, Lim J, Yang M H. Online object tracking: a benchmark [C]. IEEE Conference on Computer Vision and Pattern Recongnition, 2013:2411-2418.

[9] Hare S, Saffari A, Torr P H S, et al. Struck: Structured output tracking with kernels[C]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 38 (10):2096.

[10] Kalal Z, Mikolajczyk K, Matas J. Tracking-learning-detection[C]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2012, 34 (7) :1409-22.

[11] Kwon J, Lee K M. Visual tracking decomposition[C]. Computer Vision and Pattern Recognition, IEEE, 2010:1269-1276.

[12] Dinh T B, Vo N, Medioni G. Context tracker: Exploring supporters and distracters in unconstrained environments[C]. Computer Vision and Pattern Recognition, IEEE, 2011:1177-1184.

[13] Grabner H, Grabner M, Bischof H. Real-time tracking via on-line boosting[C]. British Machine Vision Conference,2006: 47-56.

Dual Constrained Context-Aware Correlation Filtering Tracking Algorithm

Tan Cuimei1,2Liu Bo3

(1.Guangdong Provincial Institute of Metrology 2.Guangdong Provincial Key Laboratory of Modern Geometric and Mechanical Metrology Technology 3.School of Optics and Photonics, Beijing Institute of Technology)

In this paper, a novel dual constrained context-aware filter tracking framework is proposed, aiming at the unbiased estimation of the minimum output square sum error filter, which is easy to cause over-fitting. The filter combined with the linear ridge regression training effectively integrates the two and improves the generalization ability of the algorithm. Aiming at the fixed direction of background selection in context-aware correlation filtering, an adaptive background selection based on Kalman filtering is proposed. The discrimination of the filter to the target and background is effectively improved. Then, A new occlusion indicator APCE was introduced when the model was updated. Finally, this paper compares the algorithm with some mainstream tracking algorithms to verify the superiority and robustness of the proposed algorithm.

Object Tracking; Correlation Filters; Context-Aware

譚翠媚，女，1993年生，碩士研究生，主要研究方向：圖像處理。E-mail: scmtcm@163.com

劉波，男，1991年生，碩士研究生，主要研究方向：圖像處理、目標(biāo)跟蹤、目標(biāo)檢測等。