基于空間正則化約束的支持向量相關(guān)濾波器目標(biāo)跟蹤方法

李峰 張宏志 左旺孟

摘?要：基于支持向量相關(guān)濾波器（Support Correlation Filters，SCF）的目標(biāo)跟蹤方法存在嚴(yán)重的樣本邊界不連續(xù)問題，因此模型判別能力受到嚴(yán)重限制。本文將空間正則化項(xiàng)引入到SCF中，提出了基于空間正則化約束的支持向量相關(guān)濾波器（Spatially Regularized SCF，SRSCF）模型。相比于SCF，SRSCF不僅可以借助更大的圖像區(qū)域進(jìn)行模型學(xué)習(xí)，同時(shí)也能緩解樣本的邊界不連續(xù)問題對(duì)模型學(xué)習(xí)的負(fù)面影響，由此得到判別能力更強(qiáng)的模型。此外，本文提出了一種ADMM（Alternating Direction Method of Multiplier）算法求解SRSCF模型，其中每個(gè)子問題具有解析解。實(shí)驗(yàn)結(jié)果表明，相較于SCF，SRSCF能夠有效地提升跟蹤精度，同時(shí)僅增加較少的計(jì)算開銷。

關(guān)鍵詞： 目標(biāo)跟蹤;支持向量相關(guān)濾波器;空間正則化

文章編號(hào)： 2095-2163（2021）01-0147-05 中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)志碼：A

【Abstract】The existing support correlation Filters （SCF） methods suffer from unwanted boundary discontinuity problem of samples， resulting in the degraded CF models. To address this， this paper incorporates the spatial regularization term into the SCF method， and proposes the spatially regularized SCF （dubbed SRSCF） model. In comparison to SCF， SRSCF can leverage larger image regions during model learning， and also alleviate the negative impacts of boundary discontinuous samples on model training， thereby leading to more discriminative CF models. In addition， an ADMM algorithm is proposed to solve the proposed SRSCF model， in which each sub-problem has closed-form solution. Experimental results show that SRSCF can achieve better performance than the SCF models， and only need less additional computational overhead.

【Key words】object tracking; Support Correlation Filter; spatial regularization

0 引?言

近年來，相關(guān)濾波器（Correlation Filter，CF）方法憑借其良好的計(jì)算效率和穩(wěn)定的性能在目標(biāo)跟蹤領(lǐng)域取得了巨大的成功?；贑F的跟蹤方法旨在學(xué)習(xí)具有判別能力的二類分類器，通過與樣本進(jìn)行循環(huán)卷積運(yùn)算，以生成預(yù)先定義好的標(biāo)簽響應(yīng)圖。早期的CF方法，如MOSSE[1] ， KCF[2] 等，將分類器學(xué)習(xí)表示為l2范數(shù)約束下的嶺回歸模型。由于SVM分類器在小樣本學(xué)習(xí)中擁有良好的性能，Rodriguez等人[3] 將SVM和CF模型相結(jié)合，提出最大邊界CF分類器。但由于該方法需要提前對(duì)樣本進(jìn)行線下訓(xùn)練，因此無法應(yīng)用于在線的目標(biāo)跟蹤任務(wù)。為了解決該問題，Zuo等人[4] 將SVM模型嵌入到CF跟蹤框架下，提出了支持向量CF模型—SCF。SCF不僅可以借助快速傅里葉變換加速模型學(xué)習(xí)，同時(shí)也能夠靈活地?cái)U(kuò)展到多通道、核空間中以提升模型的判別能力。

雖然SCF方法表現(xiàn)優(yōu)異，但由于其采用標(biāo)準(zhǔn)的CF模型，因此存在嚴(yán)重的樣本邊界不連續(xù)問題。樣本的邊界不連續(xù)問題源于CF模型的循環(huán)樣本假設(shè)，即訓(xùn)練樣本集合是單個(gè)基樣本通過循環(huán)移位得到?；诖耍嚯x目標(biāo)較遠(yuǎn)的循環(huán)樣本會(huì)在邊界位置上存在像素不連續(xù)的現(xiàn)象，由此產(chǎn)生大量不真實(shí)的虛擬樣本，導(dǎo)致模型的判別能力受到影響。為解決該問題，MOSSE[1]，KCF[2] 等方法在基樣本上點(diǎn)乘一個(gè)余弦形式的窗函數(shù)進(jìn)行數(shù)據(jù)預(yù)處理，但無法完全消除邊界不連續(xù)的樣本;最近，空間正則化方法[5-6]被用于解決樣本的邊界不連續(xù)問題，并取得了優(yōu)異的效果。其中，Galoogahi等人[6]將二值掩膜函數(shù)添加到CF模型上，可以令目標(biāo)外部的模型系數(shù)恒為0，由此緩解邊界不連續(xù)樣本對(duì)模型學(xué)習(xí)的負(fù)面影響，最終帶來了領(lǐng)域優(yōu)先的性能。然而，現(xiàn)有的空間正則化方法均基于嶺回歸函數(shù)形式的CF模型，

在基于SCF的跟蹤方法中缺乏相應(yīng)的研究。因此，本文將二值掩膜函數(shù)形式的空間正則化項(xiàng)融入到SCF框架中，提出了基于空間正則化約束的支持向量相關(guān)濾波器模型—SRSCF，在保證跟蹤速度不明顯損失的前提下，提升SCF模型的判別能力。

1 支持向量相關(guān)濾波器方法的回顧

給定大小為M×N的訓(xùn)練樣本x，其中x={x1，…，xD}共包含D個(gè)特征圖，而y∈RM×N表示標(biāo)簽響應(yīng)圖，則基于半監(jiān)督學(xué)習(xí)的支持向量相關(guān)濾波器可以表示為：

其中，{w，b，y}表示待求解的模型參數(shù);ξ為松弛變量;1為取值全為1的矩陣;C表示正則化超參數(shù);運(yùn)算符“”和“*”分別對(duì)應(yīng)于逐位置的點(diǎn)乘和循環(huán)卷積運(yùn)算。

不同于標(biāo)準(zhǔn)CF模型采用預(yù)先定義好的樣本標(biāo)簽，SCF的標(biāo)簽y僅包含一部分循環(huán)樣本的標(biāo)定。給定目標(biāo)和樣本xi的中心位置分別為pc和pi ，則樣本xi 在置信度圖中的取值的數(shù)學(xué)定義為：

其中，exp（·）?表示指數(shù)函數(shù);γ表示歸一化常量參數(shù);參數(shù)α和β控制標(biāo)簽值的變化速度。

根據(jù)置信度圖m，樣本xi的標(biāo)簽定義為：

其中，θl和θu分別表示閾值的最小值和最大值，Ωu表示樣本的標(biāo)簽未知，需要通過學(xué)習(xí)得到。

在SCF[4] 中，采用了交替更新的迭代優(yōu)化方法，分別求解SCF的各個(gè)子問題，由此保證了模型求解的效率。基于循環(huán)卷積運(yùn)算的性質(zhì)，公式（1）中樣本x與分類器w的循環(huán)卷積等價(jià)于將w與樣本x的各個(gè)循環(huán)移位樣本做內(nèi)積運(yùn)算，因此SCF存在訓(xùn)練樣本的邊界不連續(xù)問題，這會(huì)嚴(yán)重影響CF模型的判別能力。

2 基于空間正則化約束的支持向量相關(guān)濾波器模型

為緩解樣本的邊界不連續(xù)問題，Galoogahi等人[6] 將空間正則化項(xiàng)引入到CF模型中，通過將二值形式的掩膜函數(shù)添加到模型上，可以有效抑制樣本邊界不連續(xù)的問題。鑒于文獻(xiàn)[6]中研究得到的優(yōu)秀屬性，本文將二值掩膜函數(shù)形式的約束項(xiàng)引入到SCF框架中，得到基于空間正則化約束的SCF模型（SRSCF）為：

其中，P表示二值形式的掩膜矩陣，其作用是裁剪大小為M×N的變量wd位于中心的W×H個(gè)元素，（W， H）表示目標(biāo)的寬高。

其中，λd和μ分別表示拉格朗日乘子和懲罰因子。

公式（7）可以通過ADMM算法迭代求解各個(gè)變量的子問題。接下來逐個(gè)給出各個(gè)變量的求解，對(duì)此擬展開詳述如下。

2.1 子問題g

給定變量{w， b， y， e}，公式（7）可以變?yōu)椋?/p>

采用帕斯卡爾定理，公式（8）可以轉(zhuǎn)化到頻域計(jì)算，由此得到：

與文獻(xiàn)[6]類似，子問題g可以劃分為M×N個(gè)獨(dú)立的子問題求解。具體來說，假設(shè)x（t）∈RD表示?x在第t個(gè)像素位置的所有D個(gè)通道組成的向量，則g︿的第t個(gè)分量g︿（t）可用式（10）來求解：

3 實(shí)驗(yàn)結(jié)果

本小節(jié)采用OTB-2013和OTB-2015[8] 兩個(gè)數(shù)據(jù)集驗(yàn)證本文方法的有效性。具體來說，首先將SRSCF與當(dāng)前處于領(lǐng)先水平的跟蹤方法對(duì)比，然后分析SRSCF在各個(gè)視頻屬性下的跟蹤性能。

3.1 參數(shù)設(shè)置

仿照SCF[4]，本文采用灰度、HOG和Color Names （CN）[9] 等3種特征進(jìn)行特征提取，同時(shí)參數(shù)C，α，β，θl和θu分別設(shè)置為104，1，1.5，0.4和09。此外，拉格朗日乘子初始值λ（0）=1，參數(shù)μ=1.2， ADMM的最大迭代次數(shù)NI=4。借助空間正則化項(xiàng)，可以使用更大的圖像區(qū)域用于模型學(xué)習(xí)，同時(shí)避免過多背景對(duì)模型訓(xùn)練的負(fù)面影響。基于此，仿照BACF[6]，研究中裁剪邊長(zhǎng)為5WH的正方形圖像區(qū)域?qū)W習(xí)模型。

3.2 與其他跟蹤方法的對(duì)比

本節(jié)將SRSCF與一些有代表性的跟蹤方法，即SRDCF[5]，SCF[4]， BACF[6]， ECOhc[10]，在OTB-2013和OTB-2015數(shù)據(jù)集上進(jìn)行對(duì)比。表1給出了2個(gè)數(shù)據(jù)集上基于Mean OP的性能和FPS對(duì)比結(jié)果。可以看到，相比于基線算法SCF，SRSCF在OTB-2013和OTB-2015數(shù)據(jù)集上分別帶來14 %和115 %的提升，這2個(gè)數(shù)據(jù)集上性能提升差別較大的原因可歸結(jié)為SRSCF針對(duì)OTB-2013進(jìn)行過較為精細(xì)的參數(shù)調(diào)整。SRSCF也超過了同樣使用二值掩膜函數(shù)的BACF方法，比后者分別有2.5 %和1.4 %的提升。此外，相比于SCF，SRSCF算法在2個(gè)數(shù)據(jù)集上的FPS分別下降了2.2和1.3，這說明SRSCF在保證更好性能的基礎(chǔ)上，僅增加較小的額外計(jì)算開銷。最后，上述方法在OTB-2013和OTB-2015上的AUC曲線如圖1所示。相比于SCF， SRSCF在2個(gè)數(shù)據(jù)集上分別有0.6 %和7.3 %的AUC分?jǐn)?shù)提升。

3.3 不同視頻屬性下的性能對(duì)比

為測(cè)試SRSCF在不同視頻屬性下的性能，本文在OTB-2015數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。所有方法在11種視頻屬性下的AUC分?jǐn)?shù)如圖2所示。由圖2可以看到，在大多數(shù)視頻屬性下，SRSCF超過了除ECOhc以外的其他跟蹤方法，這也證明了本文方法的有效性。同時(shí)，圖3展示了4種有代表性的視頻屬性下AUC曲線的對(duì)比結(jié)果。由圖3可以看到， SRSCF在快速運(yùn)動(dòng)（Fast Motion）和遮擋（Occlusion）屬性上比SCF有更好的結(jié)果，這是由于通過空間正則化項(xiàng)，使得SRSCF可以使用更大的圖像區(qū)域進(jìn)行模型訓(xùn)練和跟蹤;此外，通過空間正則化項(xiàng)，CF模型的判別能力得到了提升，因此在運(yùn)動(dòng)模糊（motion blur）和平面外旋轉(zhuǎn)（out-of-plane rotation）屬性上性能也較SCF更好。

4 結(jié)束語

本文針對(duì)現(xiàn)有支持向量相關(guān)濾波器方法存在樣本邊界不連續(xù)問題的缺陷，提出了基于空間正則化約束的支持向量相關(guān)濾波器模型。通過添加二值函數(shù)形式的掩膜矩陣，提出的方法可以使得相關(guān)濾波器模型的系數(shù)僅集中于目標(biāo)部分，由此抑制邊界不連續(xù)樣本對(duì)模型學(xué)習(xí)的負(fù)面影響。此外，本文提出了一種ADMM算法用于模型求解，可以保證每個(gè)子問題具有解析解。在OTB-2013和OTB-2015數(shù)據(jù)集的實(shí)驗(yàn)表明，本文提出的方法相比于基線方法SCF有明顯的性能提升，同時(shí)僅帶來較小的額外計(jì)算開銷。

參考文獻(xiàn)

[1]BOLME D S， BEVERIDGE J R， DRAPER B， et al. Visual object tracking using adaptive correlation filters[C]//IEEE Conference on Computer Vision and Pattern Recognition. San Francisco， CA， USA： IEEE， 2010： 2544-2550.

[2]HENRIQUES J F， CASEIRO R， MARTINS P， et al. High-speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis and Machine Intelligence， 2014， 1： 125-141.

[3]RODRIGUEZ A， BODDETI V N， KUMAR B V， et al. Maximum margin correlation filter： A new approach for localization and classification[J]. IEEE Transactions on Image Processing， 2013， 22（2）： 631-643.

[4]ZUO Wangmeng， WU Xiaohe， LIN Liang， et al. Learning support correlation filters for visual tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence， 2019， 41（5）： 1158-1172.

[5]DANELLJAN M， HGER G， KHAN F， et al. Learning spatially regularized correlation filters for visual tracking[C]//IEEE International Conference on Computer Vision. Santiago， Chile： IEEE， 2015： 4310-4318.

[6]GALOOGAHI H K， FAGG A， LUCEY S. Learning background-aware correlation filters for visual tracking[C]//IEEE Conference on Computer Vision and Pattern Recognition. Honolulu， HI， USA： IEEE， 2017： 1135-1143.

[7]PETERSEN K B， PEDERSEN M S. The matrix cookbook[EB/OL].[2012-11-15].http：//matrixcookbook.com.

[8]WU Y， LIM J， YANG M H. Online object tracking： A benchmark[C]//IEEE Conference on Computer Vision and Pattern Recognition. Portland， OR， USA： IEEE， 2013： 2411-2418.

[9]DANELLJAN M， KHAN F S， FELSBERG M， et al. Adaptive color attributes for real-time visual tracking[C]//IEEE Conference on Computer Vision and Pattern Recognition. Columbus， OH， USA： IEEE， 2014： 1090-1097.

[10]DANELLJAN M， BHAT G， KHAN F S， et al. ECO： Efficient convolution operators for tracking[C]//IEEE Conference on Computer Vision and Pattern Recognition. Honolulu， HI， USA：IEEE， 2017： 21-26.