結(jié)合多尺度改進顏色特征應對遮擋的跟蹤算法

李健寧，曹文君，劉曉利

(南京理工大學 瞬態(tài)物理重點實驗室， 南京 210094)

一直以來，基于相關(guān)濾波的跟蹤算法憑借其魯棒性強、計算量小、跟蹤速度快等特點，獲得了廣泛的關(guān)注及應用，在歷年來的視覺目標跟蹤挑戰(zhàn)賽中有著非常好的表現(xiàn)。

MOSSE算法[2]是最早將相關(guān)濾波算法應用于目標跟蹤中，提取圖像的灰度特征進行相關(guān)濾波等一系列操作，實現(xiàn)目標跟蹤，速度高達669 fps，在同期算法中遙遙領(lǐng)先，但是精度很低。CSK算法[3]是在MOSSE算法基礎(chǔ)上引用循環(huán)矩陣假設(shè)和核函數(shù)的思想，在同樣提取灰度特征的前提下，跟蹤效果卻有了顯著提高。KCF[4]在CSK的特征提取方面做了調(diào)整，提取圖像的HOG特征使得單通道的圖像特征擴展為多通道圖像特征，有利于跟蹤效果的提升。而CN[5]算法則是采用顏色特征代替灰度特征，結(jié)果顯示顏色特征可以為跟蹤算法帶來卓越的性能，但是應對目標遮擋時表現(xiàn)效果不佳。此外，以上算法均沒有解決目標尺度變化的問題，而DSST算法[6]在解決目標尺度變化問題時，采用的是將位置估計和尺度估計分開進行，先求最佳的位置，再求最佳的尺度，需要分兩步計算。

由于特征對于一個跟蹤系統(tǒng)來說至關(guān)重要，好的特征可以提高跟蹤系統(tǒng)的準確率，因此本文提出了融合圖像的顏色、HOG及灰度等多特征信息得到更具表現(xiàn)力的特征，增強跟蹤器的精度。其次，但目標出現(xiàn)部分遮擋，甚至完全遮擋時，CN算法的表現(xiàn)效果極為不佳，本文提出引入尺度金字塔的方法[7]，在目標被遮擋后再出現(xiàn)時可以多尺度搜索目標，同時做到尺度自適應。與DSST的區(qū)別在于，取得最大值的點對應的圖像即是位置最佳也是尺度最佳，實現(xiàn)尺度自適應跟蹤。通過多特征的融合和尺度池的引用來改進CN算法應對目標遮擋問題。通過在數(shù)據(jù)集OTB-13[8]上進行跟蹤實驗，實驗結(jié)果表明與一些傳統(tǒng)的跟蹤算法相比較，本文提出的改進算法在目標出現(xiàn)遮擋情況時跟蹤精度有明顯的提升。

1 CN相關(guān)濾波算法簡介

CN是基于顏色特征拓展的CSK分類器，結(jié)合光照信息和復雜的顏色特征可以提供非常好的表現(xiàn)。本文工作是基于CN基礎(chǔ)上，下面首先簡要介紹該算法。

1.1 CSK分類器

CN算法以CSK分類器為基礎(chǔ)，CSK是在一個單獨的圖像碎片中從目標中得到核心的最小方形分類器。CN算法使用了一個結(jié)構(gòu)風險最小化的函數(shù)：

(1)

從式(1)可以看出，函數(shù)分為兩部分，第1部分是一個損失函數(shù)，損失函數(shù)里的f(x)就是最后要求的判別函數(shù)；而第2部分是一個結(jié)構(gòu)化的懲罰因子。CN算法采用核函數(shù)的最小二乘法求解方程，公式如下：

(2)

1.2 低維度自適應顏色屬性

CN算法提出一種自適應維度減少的方法，能夠在存儲有用信息的同時大大減少顏色維數(shù)，從而有效提升算法的運行速度。降維方法使用的是PCA(主成分分析)中降維的思想，將11維特征降為2維。通過最小化代價函數(shù)，為當前幀p找到一個合適的降維映射，計算公式如下：

(3)

(4)

(5)

為獲得魯棒性好的映射矩陣，在式(3)中添加了平滑項如下：

(6)

2 多特征融合及尺度自適應的相關(guān)濾波跟蹤算法

以CN算法的不足和缺點做出以下改進。

2.1 多特征融合

CN跟蹤器在CSK跟蹤器基礎(chǔ)上聯(lián)合顏色特征(Color Name)[5]和灰度特征來描述目標，大量的實驗結(jié)果表明在背景復雜、目標旋轉(zhuǎn)、非剛性形變等情況下，顏色特征在視覺跟蹤中有著卓越的性能，但是當出現(xiàn)光照變化、目標遮擋或快速運動時，單獨的CN很難有效地判別出目標，跟蹤效果表現(xiàn)不佳。而HOG特征[9-10]恰恰彌補了CN的這個缺點，兩者互補，從不同方面對圖像進行表達。本文的多特征融合采用了一種簡單的矢量疊加方式，核相關(guān)公式如下：

(7)

(8)

式(7)中x是傳統(tǒng)算法中提取的單獨特征，而式(8)中xC是三種特征的融合，?表示卷積操作。

2.2 特征壓縮

特征的質(zhì)量是影響跟蹤器效果的關(guān)鍵因素，而特征信息的大小對跟蹤器的速度也有著重要的影響。CN顏色特征與HOG梯度直方圖特征的融合雖在很大程度上改善了跟蹤器的性能，但是由于CN特征和HOG特征的維度過大，影響跟蹤算法的計算速度。因此需要對特征信息進行一定的壓縮降維操作。

本文采用PCA降維技術(shù)，通過線性變換將原始數(shù)據(jù)變?yōu)楦骶S度都線性無關(guān)的表示，用于提取數(shù)據(jù)的主要特征成分。具體計算公式如1.2節(jié)中式(3)～式(6)。

2.3 尺度自適應

此外，CN算法無法應對目標出現(xiàn)遮擋和發(fā)生尺度變化，本文在目標搜索策略中引入尺度金字塔方法，使用雙線性插值擴展圖像的表示空間。在目標(ST=(Sx,Sy))附近多個尺度下提取候選區(qū)域的圖像特征，在比較的階段對當前候選區(qū)域的目標采樣了k個尺度(S={t1,t2,…,tk})的計算，與上一幀的目標進行比較，將響應圖中的最大值作為當前幀中的目標，以適應目標的尺度變化，計算方式如下：

(9)

其中，zti是tist尺度下的樣本。

濾波器更新方式如下：

(10)

2.4 算法流程

本文提出的算法流程具體描述如下：

1) 循環(huán)采樣k個尺度下目標樣本調(diào)整尺度以適應響應計算，根據(jù)公式(8)計算響應值；

2) 在7個尺度下選取最大響應值對應的目標最終位置和尺寸；

3) 根據(jù)最終的位置和尺寸得到最新的目標模板，計算濾波器模型；

4) 根據(jù)式(10)更新濾波器模型；

5) 使用更新后的濾波器模型進行下一幀的跟蹤。

輸出：目標的位置和尺度，濾波器模型。

3 實驗驗證與結(jié)果分析

本文提出的結(jié)合多尺度測量改進顏色特征應對目標遮擋的跟蹤算法根據(jù)權(quán)威評價指標在OTB標準數(shù)據(jù)集上驗證了算法的性能，OTB-13包含51個被標注的視頻序列，這些視頻序列又包含了11種不同挑戰(zhàn)因素。本文參考文獻中的OPE評價方法，對改進算法的各方面性能進行分析。

3.1 實驗環(huán)境及算法參數(shù)設(shè)置

本文改進的算法是在Matlab&Mex混合編譯環(huán)境下實現(xiàn)的，計算機的配置為Intel Core i5-4200U CPU@1.60 GHz。算法中融合了灰度特征，降維處理后的顏色特征和HOG特征，尺度池采用了7個尺度。改進算法中的主要參數(shù)設(shè)置如表1所示。

3.2 多特征融合及多尺度比較性能分析

為探究特征的融合及尺度的多樣性對跟蹤器性能的影響，實驗分析結(jié)果如表1所示。

表1 主要參數(shù)設(shè)置

如圖1所示，單獨使用灰度特征、單獨使用CN特征、結(jié)合CN特征和HOG特征、在多尺度下只結(jié)合灰度特征和CN特征以及本文提出方法的特征，結(jié)果表明本文提出的在多尺度下結(jié)合3種特征的方法，無論是綜合結(jié)果還是遮擋、旋轉(zhuǎn)、尺度變化和快速運動等情況，跟蹤效果都是最佳。

3.3 與CN跟蹤器的對比分析

選取7組視頻序列分別用改進的算法和CN算法進行跟蹤測試，影響因素及跟蹤效果如圖2所示。

通過下述7組視頻序列對改進算法進行定性分析，如圖2所示，Jogging-1_1序列受全部遮擋影響，發(fā)生完全遮擋時，兩個算法均停留在目標消失的位置，當目標再次出現(xiàn)時，CN算法仍停留在原處，而改進算法可以準確檢測到目標，繼續(xù)跟蹤。Trellis_1序列發(fā)生面外旋轉(zhuǎn)時，CN算法同時受復雜背景的影響，跟蹤漂移，而改進算法可以很好應對這些影響繼續(xù)跟蹤。Car4_1序列中，在跟蹤汽車行駛過程中，汽車存在尺度的變化，CN算法無法做到尺度的自適應且跟蹤偏離目標中心，改進算法能夠輕松適應尺度變化跟蹤目標。Woman_1序列存在部分超出視野，CN算法定位在視野邊緣，跟蹤失敗，改進算法可以有效跟蹤。Faceocc2_1序列中目標出現(xiàn)面內(nèi)旋轉(zhuǎn)和遮擋，CN算法均偏移目標中心，改進算法能夠始終準確定位跟蹤。Fish_1序列中由于出現(xiàn)光照變化，CN算法發(fā)生漂移，改進算法卻很好的鎖定目標。Girl_1序列中包含面外旋轉(zhuǎn)和語義遮擋干擾，發(fā)生面外旋轉(zhuǎn)時，CN算法逐漸偏移目標中心，當出現(xiàn)語義遮擋時，CN算法無法捕捉目標，跟隨干擾目標偏移，而改進的算法自始至終能夠很好的捕捉跟蹤正確目標。

表2是分別對CN和改進算法的跟蹤結(jié)果。從表2實驗數(shù)據(jù)可以看出：無論是從中心距離精度、中心位置誤差還是重疊率的結(jié)果來看，改進算法都有著更高的性能。

3.4 與各主流跟蹤器的比較

本文使用統(tǒng)一的評價指標與其他5種主流的跟蹤算法進行了對比評價，算法中都使用了傳統(tǒng)的手工提取特征，這些算法包括CN、CSK、KCF、DSST、CT。

如圖3所示，在上述所有6種算法中，本文改進的算法NEW在數(shù)據(jù)集OTB-13上具有最好的性能。對OTB-13數(shù)據(jù)集中出現(xiàn)的遮擋、超出視野、快速運動轉(zhuǎn)等3種挑戰(zhàn)因素進行分析，可以看出：改進的算法NEW均能較好的應對，相比CN算法跟蹤效果有顯著提升。

圖1 OTB-13數(shù)據(jù)集跟蹤結(jié)果和4種挑戰(zhàn)環(huán)境下的結(jié)果

中心距離精度/%CN改進算法重疊率/%CN改進算法中心位置誤差(像素)CN改進算法Jogging-1_124.497.422.596.7100.07.25Trellis_179.4100.066.899.324.25.06Car4_120.6100.022.898.835.67.73Woman_125.093.824.388.8266.012.30Faceocc2_161.175.462.283.425.512.00Fish_139.9100.039.9100.037.66.66Girl_186.2100.052.898.411.64.13

圖3 OTB-13數(shù)據(jù)集跟蹤結(jié)果和3種挑戰(zhàn)環(huán)境下的結(jié)果比較

4 結(jié)論

本文在CN框架下，提出了一種結(jié)合尺度金字塔改進顏色特征應對目標遮擋的跟蹤算法。融合CN顏色特征，灰度特征和HOG梯度直方圖特征，結(jié)合尺度金字塔，探究特征和多尺度比較對跟蹤器在目標遮擋情況下的性能影響。多特征的融合可以更好地描述目標圖像信息，提高跟蹤器的精度和魯棒性，而多尺度比較可以實現(xiàn)在發(fā)生目標遮擋后在一定范圍內(nèi)搜索目標，保證跟蹤效果。上述的實驗結(jié)果也表明，本文提出的算法在目標遮擋，超出視野，語義遮擋，面內(nèi)旋轉(zhuǎn)，面外旋轉(zhuǎn)，尺度變化以及形變等情況下，都保持較高的性能和良好的魯棒性，具有重要的理論和應用研究價值。