基于多特征和尺度估計(jì)的核相關(guān)濾波跟蹤算法

張 偉，溫顯斌

（天津理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，天津300384）

1 相關(guān)工作

一個(gè)理想的目標(biāo)跟蹤算法應(yīng)該在目前的硬件條件下具備精確性、魯棒性以及實(shí)時(shí)性[1].目前的目標(biāo)跟蹤方法一部分屬于生成式，另一部分屬于判別式[2].前者方法通過獲取和學(xué)習(xí)目標(biāo)的外觀輪廓形成一個(gè)模板，在圖像區(qū)域和預(yù)測(cè)的模型中進(jìn)行選擇匹配，以達(dá)到最佳效果.后者所采用的方法是在線學(xué)習(xí)一個(gè)二值分類器，以在每一幀中區(qū)分目標(biāo)和背景[3].該方法用學(xué)習(xí)到的分類器在圖像數(shù)據(jù)集上進(jìn)行分類，把像素分類為目標(biāo)或者是背景，最大的置信區(qū)域，獲得目標(biāo)所在位置，同時(shí)在此基礎(chǔ)上更新分類器.

傳統(tǒng)的相關(guān)濾波跟蹤算法由于需要大量復(fù)雜的數(shù)據(jù)進(jìn)行訓(xùn)練操作[4].所以，很大程度上無法滿足操作者對(duì)實(shí)時(shí)性的要求，進(jìn)而也就無法在運(yùn)用在實(shí)際生活中.2010 年，Bolme 等[5]率先把相關(guān)濾波器帶入到了傳統(tǒng)算法中，并設(shè)計(jì)出了MOSSE 算法（Minimum Output Sum of Squared Error）.該方法充分利用了CF在頻域上計(jì)算速度快的優(yōu)點(diǎn)，同時(shí)算法還有著優(yōu)良的定位性能，該方法一經(jīng)提出，其速度勝過了主流算法，后續(xù)許多人在此基礎(chǔ)上改進(jìn).

牛津大學(xué)的Henriques 指出，樣本之間潛在的有關(guān)于結(jié)構(gòu)組織的信息并沒有被研究人員們完全利用.由于這些冷數(shù)據(jù)，他聯(lián)系上了數(shù)學(xué)理論中經(jīng)典的循環(huán)矩陣?yán)碚?如圖1 所示，他提出了一種CSK（Circulant Structure Tracker）跟蹤方法[6].該算法能夠在相當(dāng)短的時(shí)間內(nèi)處理復(fù)雜的檢測(cè)工作，這就使該算法跟蹤指標(biāo)在當(dāng)時(shí)尤其突出.之后，該作者又在此基礎(chǔ)上進(jìn)行了改良，在原方法的基礎(chǔ)上，提出新的濾波算法KCF（kernelized correlation filter）[7]核化相關(guān)濾波器.該算法結(jié)合了CSK 速度快的優(yōu)點(diǎn)，并且在精度和成功率上有所提升.在分類器的訓(xùn)練和候選樣本的檢測(cè)上進(jìn)行了創(chuàng)新，再利用HOG 特征達(dá)到了超越同期主流濾波算法的跟蹤效果.

圖1 循環(huán)矩陣示意圖Fig.1 The cyclic matrix diagram

雖然上述方法因?yàn)槭褂昧薋FT，從而讓跟蹤算法的速度有了很明顯的提高.但為了解決相關(guān)濾波算法在復(fù)雜場(chǎng)景下本身不具備的尺度估計(jì)能力而對(duì)形變或者尺寸改變的物體無法跟蹤、丟失目標(biāo)的問題，Danelljan 等[8]提出一種新的具有魯棒性的尺度估計(jì)方法DSST 跟蹤算法.DSST 算法仍舊使用了主流的HOG 特征，并在尺度金字塔理論體系上學(xué)習(xí)判別CF（MOSSE）.雖然該方法的跟蹤精度對(duì)比原算法有相當(dāng)大的提升，但與此同時(shí)由于模型的計(jì)算復(fù)雜度過大，使得在部分場(chǎng)景下該算法的實(shí)時(shí)性無法得到保證.為了解決這一問題，Li 等[9]在這一基礎(chǔ)上提出一種基于自適應(yīng)尺度的核化相關(guān)濾波跟蹤算法SAMF.該作者認(rèn)為僅僅只需要一個(gè)濾波器，不需要再進(jìn)行儲(chǔ)存性訓(xùn)練. 由此帶來的結(jié)果是每個(gè)尺度檢測(cè)就多了一次提特征的操作和FFT 操作，雖然精度有所上升，但是在圖像塊較大時(shí)計(jì)算量遠(yuǎn)遠(yuǎn)超了DSST，無法滿足實(shí)時(shí)性的要求，跟蹤速度較低.除此之外，還有利用局部信息來提高算法性能的一些算法：Zhang 等[10]把一種具有關(guān)聯(lián)性的上下文信息融入了濾波算法中，設(shè)計(jì)出了STC 跟蹤算法. Ma 等[11]提出了一種跟蹤器，其包含兩種記憶存儲(chǔ)，分別是長(zhǎng)短時(shí)，以配合處理圖像目標(biāo)跟蹤，使得效率提升.C-COT[12]跟蹤器也是在一種在連續(xù)空間域上，通過學(xué)習(xí)相當(dāng)多的判別式卷積算子構(gòu)造卷積算子組成的多個(gè)具有差異性空間上的分辨率卷基層，達(dá)到提升性能的目的.但計(jì)算量大，無法滿足實(shí)時(shí)性要求. 綜合以上分析，傳統(tǒng)濾波跟蹤算法對(duì)形變、被遮擋的問題的研究還不能完全解決實(shí)際問題.隨著濾波跟蹤算法的深入研究，采用更好的特征和融合尺度估計(jì)模塊提高目標(biāo)模型的判別力也將受到更多的關(guān)注.

2 本文方法

由于多特征融合可以提高算法的跟蹤精度和成功率，并且利用尺度估計(jì)和尺度集合可以使跟蹤框進(jìn)行自適應(yīng)改變尺寸. 所以，本文從兩個(gè)方向入手，利用原KCF 算法的嶺回歸分類器進(jìn)行訓(xùn)練，將HOG特征和CN 特征利用響應(yīng)值進(jìn)行加權(quán)融合.同時(shí)，通過PSR 技術(shù)判斷判斷目標(biāo)的遮擋情況.在旁瓣比算法的作用下，該算法能夠更為準(zhǔn)確地更新濾波模板系數(shù).再通過對(duì)關(guān)鍵點(diǎn)進(jìn)行光流法跟蹤獲得小范圍內(nèi)的目標(biāo)位移變化，判斷被跟蹤目標(biāo)的尺寸，結(jié)合尺度集合對(duì)跟蹤框的尺寸進(jìn)行調(diào)節(jié)，使本算法的跟蹤框能夠更好的適應(yīng)目標(biāo)的尺寸.

2.1 基于多特征融合的核相關(guān)濾波目標(biāo)跟蹤算法

首先，通過最小二乘分類器來預(yù)估目標(biāo)可能出現(xiàn)的位置，該分類器通過求解核正則最小二乘分類器達(dá)到訓(xùn)練效果.在整條視頻序列中，上一幀圖像的跟蹤所得目標(biāo)中心位置進(jìn)行擴(kuò)展，在大小一定范圍內(nèi)的窗口進(jìn)行循環(huán)式地采集，以此來對(duì)圖像進(jìn)行訓(xùn)練.若采集得到的訓(xùn)練圖像塊為x，就可以設(shè)特征提取后對(duì)應(yīng)的標(biāo)簽（回歸）函數(shù)為y.所以得到線性分類器模型如式（1）所示.

在標(biāo)準(zhǔn)正則化的前提下，引入最小二乘法來操作核函數(shù)，如式（2）所示.

式中：w表示的是濾波器的分類器系數(shù)；〈·，·〉表示數(shù)學(xué)中的內(nèi)積操作；φ（x）為內(nèi)核.從原始空間到希爾伯特特征空間的映射函數(shù). 在此前提下，得到如式（3）所示的高維空間中樣本的線性組合.那么，核空間內(nèi)積可表示為

這里的超參數(shù)λ≥0，可以起到防止過擬合的作用.再把循環(huán)矩陣在離散傅里葉空間內(nèi)變換，求得最優(yōu)解如式（4）所示.

其中，線性疊加系數(shù)αx可表示為式（5）

式中，F(xiàn)和F-1示離散傅里葉變換和離散傅里葉逆變換；[κ（x，x）][κ（x，x）]為核矩陣κ的第一行，保存κ（x，x）]和[κ（x，x）所有循環(huán)轉(zhuǎn)移樣本的核函數(shù)值.算法采用的核函數(shù)為高斯核函數(shù)，高斯核函數(shù)可表示為式（6）

式中，κ（x，x′）=kxx′；δ為高斯核函數(shù)帶寬參數(shù).對(duì)于所有的循環(huán)位移塊，kxx′的計(jì)算可表示為式（7）

式中，·表示元素點(diǎn)積，x與x′可以看做是濾波算法的兩種不同階段的中間過程.在前期的薇樂大道訓(xùn)練效果，它們都被當(dāng)做是訓(xùn)練的樣本集合.在算法進(jìn)行到檢測(cè)下一階段時(shí)，前者作為訓(xùn)練樣本，而后者作為檢測(cè)樣本.*表示復(fù)數(shù)矩陣的共軛操作.

在特征融合方面，首先提取到HOG 和CN 特征.使用它們分別用于在濾波算法中進(jìn)行訓(xùn)練，再通過上述的公式得到濾波算法最大響應(yīng)值的位置，記作Pc和Ph.根據(jù)各自響應(yīng)值的大小調(diào)節(jié)二者的權(quán)重.最后，通過加權(quán)融合得到跟蹤結(jié)果.公式為式（8）：

式中，εc和εh分別為CN 特征和HOG 特征的權(quán)值，且εc+εh=1.

分別取t時(shí)刻CN 和HOG 特征的響應(yīng)值gc和gh，求其平均值g~c和g~h.為便于操作，設(shè)

則εc和εh可表示為式（10）

在目標(biāo)跟蹤過程中，極易出現(xiàn)背景干擾和遮擋等問題.在算法對(duì)目標(biāo)進(jìn)行跟蹤時(shí)，需要對(duì)更新模板的系數(shù)加入一定的限制措施，以防止過多次更新帶來的速度衰減.通常會(huì)引入一個(gè)指標(biāo)來界定當(dāng)前的濾波器的跟蹤結(jié)果是否準(zhǔn)確.當(dāng)跟蹤不準(zhǔn)確時(shí)，就需要停止更新，以免帶來更多的誤差.

大多數(shù)濾波跟蹤算法使用的置信度就是這個(gè)對(duì)跟蹤結(jié)果是否準(zhǔn)確的評(píng)價(jià)[10].利用置信度響應(yīng)峰值的比值（PSR），可以估計(jì)一個(gè)目標(biāo)是否被遮擋和有效跟蹤.PSR 在第t幀的計(jì)算公式為式（11）

式中，pt代表本算法第t幀的旁瓣比，gt表示的是本算法第t幀的主峰的峰值響應(yīng)，μt和δt分別為本算法第t幀的峰值周圍區(qū)域內(nèi)的旁瓣區(qū)域的均值和標(biāo)準(zhǔn)差.基于此，可以認(rèn)為pt的值的大和小分別對(duì)應(yīng)著跟蹤器在當(dāng)前環(huán)境中對(duì)目標(biāo)位置可信度大小.

本文算法設(shè)置參數(shù)et來控制是否在t這一時(shí)刻來更新濾波模板.算法通過檢測(cè)視頻序列中每一幀的置信度是否滿足更新模板的要求.設(shè)置的閾值U是由被測(cè)數(shù)據(jù)集得到，近似設(shè)置為10 時(shí)跟蹤效果最優(yōu).當(dāng)其pt值小于閾值U時(shí)，可以判定濾波器的跟蹤是不符合要求的，于是選擇停止目標(biāo)模型的更新.當(dāng)物體重新視野中顯示，pt值大于該閾值，算法再按照正常的更新模式更新.

利用設(shè)置的更新參數(shù)et乘以原學(xué)習(xí)率β來調(diào)節(jié)學(xué)習(xí)速率.當(dāng)目標(biāo)被遮擋時(shí)，停止對(duì)分類器模型的更新，當(dāng)目標(biāo)移出遮擋后，以學(xué)習(xí)率et β對(duì)目標(biāo)模型逐幀進(jìn)行更新，Z表示的訓(xùn)練樣本是在目標(biāo)新位置重采樣得到的；K表示Z的自相關(guān)核；t表示當(dāng)前視頻進(jìn)行到的幀數(shù).為了達(dá)到魯棒性的跟蹤效果通過模型更新如式（13）所示.

2.2 基于尺度估計(jì)的核相關(guān)濾波目標(biāo)跟蹤算法

在濾波算法跟蹤目標(biāo)的過程中，訓(xùn)練分類器通常使用[0，1]范圍內(nèi)的數(shù)標(biāo)記樣本來表示本中心離目標(biāo)的遠(yuǎn)近.當(dāng)算法所設(shè)計(jì)的跟蹤框中心離目標(biāo)越近，這個(gè)值越接近于1.反之，該值越就越趨近于0.可以認(rèn)為，目標(biāo)響應(yīng)值能夠代表跟蹤結(jié)果進(jìn)行到當(dāng)前的可靠性是否足夠.因此本文算法通過關(guān)鍵點(diǎn)響應(yīng)值的大小來設(shè)計(jì)分配各個(gè)指標(biāo)權(quán)重.

式中，T為使用光流法跟蹤到點(diǎn)個(gè)數(shù)；σi和σj為濾波器對(duì)于關(guān)鍵角點(diǎn)所產(chǎn)生的的響應(yīng)值.

當(dāng)處理過特征點(diǎn)的信息后，為了不對(duì)跟蹤速度有過大的衰減.采取尺度集合進(jìn)行縮放.通過設(shè)置一個(gè)尺度更新間隔L，算法將相鄰兩幀之間目標(biāo)的尺度變化小的過濾掉，不浪費(fèi)過多的計(jì)算資源.利用數(shù)學(xué)中經(jīng)常用到的平均二分法來檢測(cè).本算法設(shè)置尺度池為N（N＝{0.85，0.9，0.95，1.00，1.05，1.10，1.15}），當(dāng) 放 縮比例達(dá)到尺度池的刻度后，對(duì)濾波器跟蹤框進(jìn)行尺度估計(jì)后的放大或縮小，以滿足復(fù)雜場(chǎng)景的需要.

經(jīng)過測(cè)試，經(jīng)二分法操作，此種尺度檢測(cè)策略在各種復(fù)雜的尺度變化集合里，能夠有效地減少不必要的尺度估計(jì)響應(yīng)次數(shù)，從而加快了跟蹤速度，節(jié)約了整個(gè)跟蹤過程的耗時(shí).既在復(fù)雜尺度變換場(chǎng)景下滿足了解決尺度問題的需要，同時(shí)又提升了了算法的速度優(yōu)勢(shì).在實(shí)時(shí)性和魯棒性要求上能夠滿足實(shí)際生活的需要.

綜上所述，結(jié)合前兩步算法的本文算法的總體流程圖如圖2 所示.

圖2 本文提出方法的總流程圖Fig.2 The general flow chart of the method presented in this paper

3 實(shí)驗(yàn)驗(yàn)證與分析

在OTB-2013 數(shù)據(jù)集[13]的全部視頻序列中，對(duì)比其他主流濾波跟蹤算法，測(cè)試其綜合性能的提升程度.其中該數(shù)據(jù)集的各種挑戰(zhàn)類別如表1 所示.

實(shí)驗(yàn)硬件環(huán)境條件為：windows10 操作系統(tǒng)（64位版），配置Intel Corei7-6700 CPU，3.40 GHz 主頻，16GB 內(nèi)存，算法開發(fā)平臺(tái)為Matlab R2018b.所提算法中參數(shù)設(shè)置：相關(guān)濾波器學(xué)習(xí)參數(shù)本算法設(shè)置為0.015，HOG 特征的正則化參數(shù)本算法設(shè)置為0.001，CN 特征的正則化參數(shù)本算法設(shè)置為0.01，HOG 特征和CN 特征的在初始幀的權(quán)值均為0.5，權(quán)值學(xué)習(xí)參數(shù)本算法設(shè)置為0.1，其余參數(shù)都和原KCF 跟蹤算法保持一致.如圖3（a）和圖3（b）所示，從定量分析上，在保證速度在45 FPS 的情況下，對(duì)比原KCF 算法精度提升14.5%，成功率提升9.2%.同時(shí)優(yōu)于主流濾波跟蹤算法.

表1 OTB-2013 數(shù)據(jù)集的挑戰(zhàn)類別及解釋Tab.1 The challenge categories and explanations of OTB-2013

對(duì)比主流相關(guān)濾波跟蹤算法，本文算法在各項(xiàng)挑戰(zhàn)的跟蹤精度和成功率具體成績(jī)?nèi)绫? 和表3 所示，其中加粗的為同場(chǎng)景下最優(yōu)秀的算法成績(jī).可以看出，在絕大多數(shù)挑戰(zhàn)環(huán)境中，本文算法均優(yōu)于其他相關(guān)濾波算法.

從定性分析上，本算法對(duì)比其他算法在OTB-2013數(shù)據(jù)集上的跟蹤效果更為優(yōu)秀.當(dāng)其他算法不能有效跟蹤、卡死、跟丟等情況時(shí)，本文算法還能夠良好跟蹤住目標(biāo).其在產(chǎn)生遮擋和尺度變化的幾組測(cè)試視頻的跟蹤效果如圖4 和圖5 所示.可以看出：對(duì)于遮擋的目標(biāo)，本算法由于加入旁瓣比檢測(cè)，在一定程度上能獲取更加準(zhǔn)確的特征，

圖3 本文算法的精度和成功率圖Fig.3 The accuracy and success rate of the algorithm in this paper

表2 各算法在OTB-2013 數(shù)據(jù)集的不同場(chǎng)景下的跟蹤精度表Tab.2 Tracking accuracy table of each algorithm in different scenarios of the OTB-2013

表3 各算法在OTB-2013 數(shù)據(jù)集的不同場(chǎng)景下的跟蹤成功率表Tab.3 Tracking success rate table of each algorithm in different scenarios of the OTB-2013

圖4 遮擋場(chǎng)景上的各算法跟蹤對(duì)比圖Fig.4 Contrast map of each algorithm on the occlusion scene

圖5 尺度變化場(chǎng)景上的各算法跟蹤對(duì)比圖Fig.5 Comparison of algorithms tracking on scale change scenarios

對(duì)于模糊的快速運(yùn)動(dòng)目標(biāo)具有較好的穩(wěn)健性.在更為復(fù)雜的場(chǎng)景下，由于加入的顏色信息對(duì)尺度估計(jì)有促進(jìn)和互補(bǔ)作用，達(dá)到了更好地適應(yīng)目標(biāo)的尺度變化的效果.

對(duì)于視頻目標(biāo)尺寸不斷發(fā)生變化或處在快速運(yùn)動(dòng)時(shí)，出現(xiàn)較大程度偏離后能夠重新找到目標(biāo).反觀KCF，SAMF 等跟蹤算法，跟蹤框始終是偏離目標(biāo)，效果不佳.因此，經(jīng)過測(cè)試，本文算法在復(fù)雜場(chǎng)景下的目標(biāo)尺度發(fā)生變化時(shí)也能夠穩(wěn)定跟蹤上目標(biāo).

4 結(jié) 論

本文提出了一種基于多特征和尺度估計(jì)的核相關(guān)跟蹤算法.該算法通過融合了HOG 和CN 特征，改進(jìn)了跟蹤濾波器使用的特征，從而進(jìn)一步提高跟蹤精度.在抗遮擋方面，本文改進(jìn)模型的更新方式，引入旁瓣比判斷在跟蹤不可靠時(shí)，暫停更新濾波模板以避免加入干擾信息，提高了在復(fù)雜環(huán)境中的跟蹤魯棒性.同時(shí)，為解決目標(biāo)跟蹤過程中尺度變化的問題，引入了尺度估計(jì)方法.通過對(duì)關(guān)鍵點(diǎn)使用光流法跟蹤，計(jì)算關(guān)鍵點(diǎn)的疏密程度，結(jié)合對(duì)應(yīng)點(diǎn)的跟蹤響應(yīng)值，來判斷目標(biāo)的尺寸，使算法的跟蹤框能隨著目標(biāo)大小自適應(yīng)變化.實(shí)驗(yàn)結(jié)果表明，對(duì)于OTB-2013絕大部分測(cè)試數(shù)據(jù)集，本文算法能夠準(zhǔn)確跟蹤目標(biāo).本算法較好地解決了部分跟蹤過程中目標(biāo)發(fā)生遮擋和尺度變化的問題的同時(shí)，相比較于原KCF 算法提高跟蹤的精度14.5%，成功率提高9.2%，對(duì)于短暫移出視野的目標(biāo)有更高的魯棒性.