基于色度飽和度-角度梯度直方圖特征的尺度自適應(yīng)核相關(guān)濾波跟蹤

王春平，王　暐，劉江義，付　強(qiáng)，徐　艷

(軍械工程學(xué)院 2系，河北 石家莊 050003)

?

基于色度飽和度-角度梯度直方圖特征的尺度自適應(yīng)核相關(guān)濾波跟蹤

王春平，王暐*，劉江義，付強(qiáng)，徐艷

(軍械工程學(xué)院 2系，河北 石家莊 050003)

針對(duì)核相關(guān)跟蹤算法(KCF)對(duì)特征敏感及無(wú)法跟蹤尺度的問(wèn)題，本文從特征提取和尺度自適應(yīng)兩個(gè)方面對(duì)核相關(guān)濾波跟蹤算法進(jìn)行了研究。提出了一種基于色度飽和度-角度梯度直方圖特征的自適應(yīng)核相關(guān)跟蹤算法來(lái)改善KCF算法的跟蹤性能。首先，研究了HSI顏色空間的特點(diǎn)， 基于顏色和梯度是互補(bǔ)的圖像特征，提出了一種融合了梯度和顏色的HHS-OG特征來(lái)有效提高原始KCF算法對(duì)目標(biāo)和背景的判別力。其次，針對(duì)KCF無(wú)法處理目標(biāo)尺度變化的問(wèn)題，在跟蹤的檢測(cè)階段采用一組固定的尺度因子進(jìn)行圖像塊采樣，根據(jù)得到的濾波響應(yīng)圖估計(jì)目標(biāo)的最優(yōu)位置和尺度。將所提算法在大量視頻序列上進(jìn)行了跟蹤實(shí)驗(yàn)，結(jié)果顯示其平均跟蹤速度為37.5 frame/s，跟蹤精度和成功率分別提升了5.4%和10.1%。實(shí)驗(yàn)表明HHS-OG特征具有良好的目標(biāo)-背景判別能力，能夠?qū)崿F(xiàn)魯棒跟蹤，而尺度自適應(yīng)策略能較大程度地提高跟蹤精度。

視覺(jué)跟蹤；核相關(guān)濾波跟蹤；特征融合；特征提??；尺度自適應(yīng)跟蹤

1　引　言

視覺(jué)跟蹤是計(jì)算機(jī)視覺(jué)的一個(gè)基礎(chǔ)性研究方向，在人機(jī)交互、監(jiān)控、增強(qiáng)現(xiàn)實(shí)、機(jī)器感知等場(chǎng)景中有著廣泛的應(yīng)用[1]。視覺(jué)跟蹤的任務(wù)是在給定目標(biāo)初始狀態(tài)的情況下，對(duì)目標(biāo)在后續(xù)幀中的狀態(tài)進(jìn)行實(shí)時(shí)估計(jì)，跟蹤中面臨的主要挑戰(zhàn)包括光照變化、目標(biāo)尺度變化、背景干擾、遮擋等。為了對(duì)現(xiàn)有跟蹤算法進(jìn)行公平有效的評(píng)價(jià)，WU Y等[1]在計(jì)算機(jī)視覺(jué)頂級(jí)會(huì)議CVPR(Conference on Computer Vision and Pattern Recognition)上提出了一個(gè)大規(guī)模的跟蹤測(cè)評(píng)集，該測(cè)評(píng)集的提出有效促進(jìn)了跟蹤算法的研究。由于基于相關(guān)濾波(Correlation Filter， CF)的跟蹤算法在該測(cè)評(píng)集上的表現(xiàn)優(yōu)異[2]，它已成為近兩年視覺(jué)跟蹤的研究熱點(diǎn)。

相關(guān)濾波在計(jì)算機(jī)視覺(jué)領(lǐng)域最初被用于目標(biāo)檢測(cè)和識(shí)別[3]，學(xué)者們利用相關(guān)濾波器能夠在目標(biāo)處產(chǎn)生響應(yīng)峰值的現(xiàn)象，實(shí)現(xiàn)對(duì)目標(biāo)的精確定位。但相關(guān)濾波的濾波器在訓(xùn)練過(guò)程中耗時(shí)嚴(yán)重，故其一直無(wú)法應(yīng)用于實(shí)時(shí)視覺(jué)跟蹤。為此，BOLME D S等[4]設(shè)計(jì)了一種MOSSE(Minimum Output Sum of Squared Error)相關(guān)濾波器，其可以自適應(yīng)更新，首次實(shí)現(xiàn)了基于相關(guān)濾波的高速跟蹤。以MOSSE為基礎(chǔ)，Henriques等[2，5]在嶺回歸框架下學(xué)習(xí)濾波器，利用循環(huán)矩陣、快速傅里葉變換(FFT)對(duì)跟蹤加速，并將核技巧(kernel trick)融入學(xué)習(xí)框架以提升濾波器的判別能力，最終提出一種核相關(guān)濾波跟蹤(Kernelized Correlation Filters tracking，KCF)方法。KCF是目前大多數(shù)基于相關(guān)濾波跟蹤算法的基礎(chǔ)框架。MARTIN D等[6]指出KCF在采用FFT加速的過(guò)程中對(duì)訓(xùn)練樣本進(jìn)行了周期性假設(shè)，導(dǎo)致了所謂的邊界效應(yīng)[5]，他們提出了一種空間規(guī)則化的相關(guān)濾波算法，以降低邊界效應(yīng)的影響。但該算法增大了采樣區(qū)域，且優(yōu)化時(shí)間復(fù)雜度較高，所以較KCF更為耗時(shí)，同時(shí)，由于采樣區(qū)域加大，該算法更容易導(dǎo)致漂移。TANG M等[7]對(duì)KCF進(jìn)行了多核化和尺度自適應(yīng)的擴(kuò)展，得到了性能更優(yōu)的跟蹤算法，但同樣存在算法復(fù)雜度過(guò)高的問(wèn)題。文獻(xiàn)[4， 8， 9]從特征表達(dá)的角度改進(jìn)KCF，分別采用角度梯度直方圖[10]特征(Histogram of Oriented Gradient， HOG)、顏色特征、分層深度特征等代替簡(jiǎn)單的灰度特征[5]，均大幅提升了KCF的跟蹤性能。其中，HOG和顏色特征實(shí)時(shí)性較好。

鑒于顏色和梯度信息均有利于跟蹤[4， 8 ]且能夠快速提取，本文提出了一種融合梯度和顏色的色度飽和度-角度梯度直方圖特征(Histogram of Hue Saturation and Oriented Gradient， HHS-OG)，來(lái)提升KCF的跟蹤性能。同時(shí)，為了應(yīng)對(duì)目標(biāo)的尺度變化，本文采用一種尺度自適應(yīng)策略，并根據(jù)該策略的特點(diǎn)實(shí)現(xiàn)了并行計(jì)算，在不增加算法耗時(shí)的前提下，提升了算法的跟蹤精度。最后，通過(guò)大量的對(duì)比實(shí)驗(yàn)驗(yàn)證了所提HHS-OG特征和尺度自適應(yīng)策略的有效性。

2　基于核相關(guān)濾波的跟蹤

在對(duì)每一幀的跟蹤中，KCF包括兩個(gè)步驟：檢測(cè)目標(biāo)和訓(xùn)練(更新)濾波器。

2.1訓(xùn)練濾波器

在視頻序列的第一幀中指定目標(biāo)，然后從該幀中取大小為M×N的圖像塊作為訓(xùn)練樣本，該圖像塊以給定的目標(biāo)為中心，包含目標(biāo)區(qū)域和目標(biāo)周?chē)谋尘皡^(qū)域，記為x0，稱為基本樣本。將x0在行、列方向上進(jìn)行循環(huán)位移，可得到MN-1個(gè)虛擬樣本，如圖1所示。記每個(gè)樣本為xi，i=0，1，…，MN-1，并對(duì)其進(jìn)行標(biāo)記，標(biāo)記值記為yi，文獻(xiàn)[2]中標(biāo)記值yi為二維高斯函數(shù)，基本樣本x0對(duì)應(yīng)最大值，如圖2所示。

圖1　基本樣本(最中心處)及其虛擬樣本示例

圖2二維高斯函數(shù)標(biāo)記圖，每個(gè)像素對(duì)應(yīng)圖1中的一個(gè)樣本

Fig.2Label map of 2-D Gaussian function， in which each pixel corresponding to one sample in Figure 1

Henriques等[2，5]采用嶺回歸方法[11-13]訓(xùn)練濾波器ω，對(duì)于大小為M×N的任意圖像塊z，濾波結(jié)果為f(z)=ωT·z。對(duì)于給定的訓(xùn)練集{(xi，yi)}，文獻(xiàn)[11]給出了ω的解析解：

ω=(XTX+λI)-1XTY，

(1)

其中：X為訓(xùn)練樣本xi的集合矩陣，Y為所有標(biāo)簽組成的集合，I為單位矩陣，λ為規(guī)則化系數(shù)，上標(biāo)T表示矩陣轉(zhuǎn)置。

為了進(jìn)一步提高嶺回歸算法的性能，引入核技巧[11]。設(shè)映射函數(shù)φ(·)將樣本xi映射到某高維非線性特征空間，則濾波器ω為高維空間中樣本的線性組合[14]：

(2)

其中αi為組合系數(shù)，其集合為α。則濾波結(jié)果為：

(3)

其中：κ(·)稱為核函數(shù)，表示兩個(gè)樣本在高維特征空間的內(nèi)積，κ(z，xi)=φ(z)⊙φ(xi)，⊙為內(nèi)積操作，返回兩側(cè)樣本對(duì)應(yīng)維相乘后的和值。KCF通常使用的是高斯核。核技巧將對(duì)濾波器ω的求解轉(zhuǎn)換為對(duì)系數(shù)α的求解，α的解析解為[11]，

α=(K+λI)-1Y，

(4)

其中K為MN×MN的核矩陣，保存了訓(xùn)練樣本間的核函數(shù)值，即Kij=κ(xi，xj)。

文獻(xiàn)[2]證明，對(duì)于多項(xiàng)式核、徑向基函數(shù)核(包括高斯核)等核函數(shù)，可在傅里葉域內(nèi)快速求得α：

(5)

式中：變量的上標(biāo)“^”表示變量在傅里葉域的對(duì)應(yīng)值。kx0x0為核矩陣K的第一行，保存x0與x0的所有循環(huán)轉(zhuǎn)移樣本的核函數(shù)值，大小為MN。

式(4)中的主要運(yùn)算為矩陣求逆和矩陣乘，最大的矩陣為K(MN×MN)，計(jì)算復(fù)雜度為O((MN)3)。而式(5)中的快速算法，主要運(yùn)算為矩陣乘，矩陣的維度均為MN，計(jì)算復(fù)雜度僅為O(MN)。由于FFT復(fù)雜度為(O(MNlog(MN)))，采用式(5)求系數(shù)α的運(yùn)算復(fù)雜度也只有O(MNlog(MN))，小于式(4)的求解方法，保證了KCF的高速性能。

2.2檢測(cè)階段

當(dāng)新的一幀圖像到來(lái)時(shí)，提取以上幀目標(biāo)位置為中心的圖像塊z，從式(3)出發(fā)，可推出[2]：

(6)

得到的f(z)為與z大小相同的濾波響應(yīng)圖，響應(yīng)圖中每個(gè)點(diǎn)的值表示以該點(diǎn)為中心的循環(huán)轉(zhuǎn)移樣本為目標(biāo)的概率。*表示共軛。濾波響應(yīng)圖的最大值點(diǎn)即為當(dāng)前幀中的目標(biāo)位置。

式(6)表明，求濾波響應(yīng)圖只需保存之前幀訓(xùn)練的系數(shù)α和基本樣本x0，稱(α，x0)為濾波器模型。

根據(jù)檢測(cè)到的目標(biāo)位置，在當(dāng)前幀獲取新的濾波器模型，然后采用線性插值對(duì)之前的濾波器模型進(jìn)行更新，進(jìn)行下一幀的跟蹤。具體細(xì)節(jié)請(qǐng)參考文獻(xiàn)[2，5]。

3　本文算法

本節(jié)首先將顏色與梯度特征融合，借鑒HOG特征的設(shè)計(jì)方法，提出了一種新的色度飽和度-角度梯度直方圖特征(HHS-OG)，并將其應(yīng)用于KCF跟蹤。然后，在檢測(cè)階段采用了一種尺度自適應(yīng)策略。所提算法稱為采用HHS-OG特征的尺度自適應(yīng)核相關(guān)跟蹤算法(Scale adaptive Kernelized Correlation Filter tracking using HHS-OG feature， KCF-HS)，流程如圖3所示，KCF-HS的后綴H表示直方圖特征(Histogram)，S表示尺度自適應(yīng)(Scale adaptive)。

圖3　所提KCF-HS算法的流程圖

3.1HOG特征

HOG特征最早由DALAL N等[15]提出，在目標(biāo)檢測(cè)，特別是人體檢測(cè)中，取得了成功應(yīng)用。與文獻(xiàn)[2]相同，本文采用PEDRO Felzenszwalb等在文獻(xiàn)[10]中提出的改進(jìn)的HOG版本進(jìn)行跟蹤，該HOG提取和統(tǒng)計(jì)每個(gè)cell(一小塊圖像區(qū)域，如4 pixel×4 pixel 大小)的梯度信息作為圖像特征，每個(gè)cell的特征為31維，包括方向不敏感特征(9維)、方向敏感特征(18維)和紋理特征(4維)，其主要提取步驟如圖4所示。

圖4　文獻(xiàn)[10]中HOG特征的主要提取步驟

3.2HHS-OG特征

在原始圖像上進(jìn)行差分操作(求梯度)，將差分操作的次數(shù)稱為階次，則顏色和梯度分別為圖像的0階和1階特征，它們從不同的層面對(duì)圖像進(jìn)行特征提取，具有互補(bǔ)性。事實(shí)上，顏色和梯度對(duì)應(yīng)視覺(jué)系統(tǒng)中不同層面的神經(jīng)元，它們從不同層面對(duì)圖像進(jìn)行抽象和表達(dá)，顏色對(duì)目標(biāo)形狀、尺度等具有較好的不變性，而梯度對(duì)光照等具有較好的不變性[16]。單獨(dú)采用顏色和HOG的KCF算法的性能均優(yōu)于采用灰度特征的KCF算法性能，融合顏色和HOG將有助于進(jìn)一步提高KCF的跟蹤性能。

常用的RGB顏色空間將顏色和亮度信息相混雜，導(dǎo)致顏色的判別能力降低。而HSI空間包含色度(Hue)、飽和度(Saturation)和亮度(Intensity)信息，是一種更符合人類視覺(jué)特點(diǎn)的顏色表達(dá)[16]，文獻(xiàn)[8]通過(guò)實(shí)驗(yàn)驗(yàn)證了HSI在跟蹤方面的性能優(yōu)于RGB。因此，本文將HSI和HOG相融合，用于KCF跟蹤框架。

圖5HSI顏色空間原理及H、S通道與梯度關(guān)系示意。右側(cè)為HOG特征提取時(shí)對(duì)梯度的處理方式，可見(jiàn)H、S和梯度角度、幅值在結(jié)構(gòu)上一致

Fig.5Schematic of HSI color space and correspondence between H， S and gradient

圖5為HSI顏色空間的原理圖，亮度信息已用于提取HOG特征時(shí)的梯度計(jì)算，為了避免冗余，僅對(duì)HS通道的信息進(jìn)行分析和提取。H和S通道構(gòu)成了一個(gè)極坐標(biāo)系，色度代表角度，飽和度代表半徑。在形式上，色度和飽和度與HOG特征提取時(shí)用到的梯度角度、梯度幅度相一致。將圖像的色度、飽和度分別看作HOG提取中的梯度角度和幅度，然后進(jìn)行圖4中的‘統(tǒng)計(jì)直方圖，根據(jù)cell聚合’和‘歸一化、截?cái)嗉敖稻S’操作，便得到了31維的色度-飽和度直方圖(HHS)。

在概念上，顏色和梯度分別是圖像的0階和1階特征，且HHS和HOG具有相同的表達(dá)形式。因此，本文將HHS和HOG在每個(gè)cell上進(jìn)行連接，提出了HHS-OG特征，同時(shí)提取顏色和圖像信息。進(jìn)一步的實(shí)驗(yàn)測(cè)評(píng)發(fā)現(xiàn)，移除HHS的18維方向敏感特征能夠同時(shí)提升跟蹤算法的速度和判別力，因此本文采用了13維的HHS特征(9維方向不敏感特征與4維紋理特征)。最后，將13維的HHS特征與31維的HOG特征在對(duì)應(yīng)cell上進(jìn)行串接，最終形成44維的HHS-OG特征。

3.3尺度自適應(yīng)

視覺(jué)跟蹤中目標(biāo)的尺度會(huì)發(fā)生變化，而原始KCF采用固定維度的濾波器，因而導(dǎo)致其輸出的跟蹤結(jié)果尺度固定不變。為了解決這一問(wèn)題，在跟蹤的檢測(cè)階段，本文采用如下的尺度自適應(yīng)跟蹤策略。

(7)

3.4算法步驟

結(jié)合上述HHS-OG特征和尺度自適應(yīng)策略，所提KCF-HS算法(算法1)的基本步驟如下。

初始化：第一幀中目標(biāo)狀態(tài)(r1，c1)，M，N及s1=1 fort=1 toT(T為序列的總幀數(shù))

檢測(cè)

ift>1 then

forp=1 toP

end

步驟3求當(dāng)前幀的目標(biāo)狀態(tài)(rt，ct，st)(式(7))

end

訓(xùn)練/更新

步驟4根據(jù)檢測(cè)結(jié)果(rt，ct，st)，采樣基本樣本，并采用HHS-OG特征表達(dá)

步驟5訓(xùn)練當(dāng)前幀濾波器模型(式(5))，并對(duì)總濾波器模型進(jìn)行更新

end

end

4　實(shí)　驗(yàn)

為評(píng)估所提算法的性能，本文在CVPR2013跟蹤測(cè)評(píng)集[1]上進(jìn)行了兩組對(duì)比實(shí)驗(yàn)。第一，將所提KCF-HS算法與目前最優(yōu)秀的其它幾種算法進(jìn)行對(duì)比；第二，將KCF-HS與其它幾種不同版本的算法進(jìn)行對(duì)比，以驗(yàn)證HHS-OG特征和尺度自適應(yīng)策略的有效性。

實(shí)驗(yàn)中，HHS-OG特征的cell大小為4×4，色度和梯度方向的直方圖量化數(shù)為9，尺度因子個(gè)數(shù)P=5，S={0.98，0.99，1，1.01，1.02}。其余參數(shù)設(shè)置均與文獻(xiàn)[2]相同。從算法1中可以看出，多個(gè)尺度檢測(cè)之間是相互獨(dú)立的，可以采用并行的方式實(shí)現(xiàn)，使得尺度自適應(yīng)策略與原始的固定尺度跟蹤方法的耗時(shí)基本相同。本文的實(shí)驗(yàn)平臺(tái)為配置2.6 GHz i5處理器(6個(gè)處理器核)、4 GB 內(nèi)存的普通電腦，仿真環(huán)境為Matlab 2011b，所提算法的跟蹤速度達(dá)到了37.5 frame/s。

4.1CVPR2013測(cè)評(píng)集及測(cè)評(píng)準(zhǔn)則

CVPR2013視覺(jué)跟蹤測(cè)評(píng)集[1]包含50個(gè)完整標(biāo)注的視頻序列，涵蓋了視覺(jué)跟蹤面臨的主要挑戰(zhàn)性場(chǎng)景，即光照變化、尺度變化、遮擋、變形、運(yùn)動(dòng)模糊、快速運(yùn)動(dòng)、平面內(nèi)旋轉(zhuǎn)、平面外旋轉(zhuǎn)、目標(biāo)超出視場(chǎng)、背景干擾和低分辨率。近年來(lái)多數(shù)跟蹤算法都以該測(cè)評(píng)集為基準(zhǔn)進(jìn)行實(shí)驗(yàn)和測(cè)評(píng)。

CVPR2013測(cè)評(píng)集從跟蹤的精度和重疊率出發(fā)，提出了兩個(gè)測(cè)評(píng)準(zhǔn)則：精度曲線和成功率曲線。某一圖像幀中，將跟蹤算法的跟蹤框與標(biāo)注的真實(shí)目標(biāo)框的中心距離稱為精度，將兩個(gè)框的重疊面積與總面積之比稱為重疊率。精度曲線的橫軸為給定的精度閾值，縱軸為跟蹤精度大于給定閾值的圖像幀占所有圖像幀的比例。通常取精度曲線上對(duì)應(yīng)閾值為20像素的值為典型值Pre-20。成功率曲線的橫軸為給定的重疊率閾值，當(dāng)跟蹤的重疊率大于給定閾值時(shí)認(rèn)為該幀跟蹤成功。成功率曲線的縱軸為跟蹤成功的幀占所有圖像幀的比例，取閾值為50%時(shí)的值為典型值Suc-50。本文采用上述準(zhǔn)則進(jìn)行測(cè)評(píng)。

4.2總體性能測(cè)評(píng)

首先在CVPR2013測(cè)評(píng)集上對(duì)本文算法總體性能進(jìn)行了對(duì)比測(cè)評(píng)，對(duì)比算法包括幾種采用不同特征的KCF算法：原始KCF(HOG特征)[2]、CSK(灰度特征)[5]、CNT(顏色名特征)[8]，以及在該測(cè)評(píng)集上表現(xiàn)優(yōu)異的幾種算法：Struck[17]、CXT[18]、MIL[19]。測(cè)評(píng)結(jié)果見(jiàn)圖6(彩圖見(jiàn)期刊電子版)。相比于Struck算法，所提KCF-HS的性能更優(yōu)，Pre-20和Suc-50分別提高了13.1%(0.784 vs 0.653)和16.9%(0.731 vs 0.562)。KCF-HS在精度和重疊率上的性能較其他基于相關(guān)濾波的跟蹤算法具有較大的優(yōu)勢(shì)，這也驗(yàn)證了HHS-OG特征和尺度自適應(yīng)策略的有效性。

圖6　所提KCF-HS算法與其它6種對(duì)比算法在CVPR2013測(cè)評(píng)集上的性能對(duì)比，左側(cè)為精度曲線、右側(cè)為成功率曲線

4.3算法具體分析

為進(jìn)一步驗(yàn)證HHS-OG特征和尺度自適應(yīng)策略的有效性，本文實(shí)現(xiàn)了KCF-HS的2個(gè)切割版本：僅采用HHS-OG特征的版本，記為KCF-H；僅采用尺度自適應(yīng)策略的版本，記為KCF-S。僅采用HHS為特征的版本性能較差，所以未在對(duì)比分析中采用。

4.3.1定量分析

圖7(彩圖見(jiàn)期刊電子版)給出了KCF-HS、KCF-H、KCF-S、KCF的性能對(duì)比結(jié)果。從圖中可以看出，單獨(dú)采用所提HHS-OG特征(KCF-H)使原始KCF算法的Pre-20、Suc-50值分別提高了2.5%、2.6%，單獨(dú)采用尺度變化策略(KCF-S)使原始KCF算法的Pre-20、Suc-50值分別提高了2.4%、7.1%。而兩者同時(shí)采用可使KFC-HS的性能提升高達(dá)5.4%、10.1%。

特別是，在精度曲線和成功率曲線的高精度區(qū)域，即距離閾值較小或重疊率閾值較大處，尺度自適應(yīng)算法(KFC-HS和KCF-S)的性能更優(yōu)，說(shuō)明同時(shí)跟蹤目標(biāo)中心和尺度的策略有效提高了跟蹤精度。而在對(duì)精度要求較低的區(qū)域，KCF-H的性能與KCF-S相當(dāng)，表明即使在尺度跟蹤不精確的情況下，更具判別力的特征(所提HHS-OG)也能夠有效提升跟蹤性能。

4.3.2定性分析

圖8(彩圖見(jiàn)期刊電子版)為4種算法對(duì)測(cè)評(píng)集中幾個(gè)典型序列的跟蹤結(jié)果。

在序列Jogging2中，由于真實(shí)目標(biāo)(白色衣服跑步者)和干擾目標(biāo)(棕色衣服跑步者)具有相似的HOG特征，KCF-S和KCF在第63幀目標(biāo)被遮擋后開(kāi)始跟蹤錯(cuò)誤目標(biāo)，而采用了HHS-OG特征的KCF-HS和KCF-H由于提取了更具判別力的顏色信息，故可實(shí)現(xiàn)持續(xù)穩(wěn)定的跟蹤。在序列Bolt中，KCF-HS和KCF-H在有背景干擾的條件下(第6幀中其他運(yùn)動(dòng)員和第240幀中黃色臺(tái)子)實(shí)現(xiàn)了準(zhǔn)確跟蹤，這是因?yàn)镠HS-OG同時(shí)提取顏色和梯度信息，能有效提高算法的判別能力。在Lemming序列第374幀，目標(biāo)變小且被遮擋，此時(shí)只有KCF-HS完全捕獲了目標(biāo)的表觀變化，完成了跟蹤，其它3種算法均丟失目標(biāo)。

Car4和Dog1序列(非彩色序列)中，目標(biāo)車(chē)輛和玩具的尺度反復(fù)變化，KCF-HS和KCF-S均能實(shí)現(xiàn)尺度自適應(yīng)跟蹤，而其它兩種算法由于無(wú)法準(zhǔn)確估計(jì)目標(biāo)尺度使得對(duì)目標(biāo)中心的定位精度降低(Car4第599幀和Dog1第791幀)。CarScale序列中目標(biāo)尺度快速增大，KCF-HS和KCF-S依然實(shí)現(xiàn)了穩(wěn)定的位置和尺度跟蹤，驗(yàn)證了所提尺度自適應(yīng)策略的有效性。

圖8　KCF-HS、KCF-H、KCF-S、KCF等4種算法在若干典型視頻序列上的跟蹤結(jié)果

5　結(jié)　論

本文從特征提取和尺度自適應(yīng)兩個(gè)方面對(duì)核相關(guān)濾波跟蹤算法進(jìn)行了研究，提出了一種采用HHS-OG特征的尺度自適應(yīng)KCF跟蹤算法。首先，研究了特征提取對(duì)KCF跟蹤性能的影響，指出顏色和梯度是互補(bǔ)的圖像特征，并提出了一種形式類似于HOG的融合特征——色度飽和度-角度梯度直方圖(HHS-OG)。同時(shí)，針對(duì)KCF無(wú)法處理目標(biāo)尺度變化的問(wèn)題，提出了一種可并行實(shí)現(xiàn)的尺度自適應(yīng)策略。所提算法在CVPR2013跟蹤測(cè)評(píng)集上進(jìn)行了實(shí)驗(yàn)測(cè)評(píng)，跟蹤結(jié)果在成功率典型值上的提升達(dá)10.1%，表明HHS-OG特征具有良好的目標(biāo)-背景判別能力，能夠?qū)崿F(xiàn)更魯棒的跟蹤，而尺度自適應(yīng)策略能在較大程度上提高跟蹤精度。

[1]WU Y， LIM J， YANG M H. Online object tracking: a benchmark [C].IEEEConferenceonComputerVisionandPatternRecognition，Portland，USA， 2013: 1354-1362.

[2]JOAO H， RUI C， PEDRO M，etal..High-speed tracking with kernelized correlation filters [J].IEEETransactionsonPatternAnalysisandMachineIntelligence， 2015， 32(9): 1627-1645.

[3]BOMLE D S， LUI Y M， DRAPER B A，etal.. Simple real-time human detection using a single correlation filter [C].IEEEInternationalWorkshoponPerformanceEvaluationofTracking&Surveillance，Snowbird，UT， 2009: 1-8.

[4]BOMLE D S， BEVERIDGE J R， DRAPER B A，etal..Visual object tracking using adaptive correlation filters [C].IEEEConferenceonComputerVisionandPatternRecognition，SanFrancisco，USA， 2010: 2544-2550.

[5]JOAO H， RUI C， PEDRO M，etal..Exploiting the circulant structure of tracking-by-detection with kernels [C].EuropeanConferenceonComputerVision，F(xiàn)lorence，Italy， 2012: 702-715.

[6]MARTIN D， GUSTAV H， FAHAD S K，etal..Learning spatially regularized correlation filters for visual tracking [C].InternationalConferenceonComputerVision，Santiago，Chile， 2015: 4310-4318.

[7]TANGM， FENG J. Multi-kernel correlation filter for visual tracking [C].InternationalConferenceonComputerVision，Santiago，Chile， 2015: 3038-3046.

[8]MARTIN D， FAHAD S K， MICHAEL F，etal..Adaptive color attributes for real-time visual tracking [C].IEEEConferenceonComputerVisionandPatternRecognition，Columbus，USA， 2014: 1090-1097.

[9]MA C，HUANG J B， YANG X K，etal..Hierarchical convolutional features for visual tracking [C].InternationalConferenceonComputerVision，Santiago，Chile， 2015: 3038-3046.

[10]PEDRO F， ROSS G， DAVID M，etal..Object detection with discriminatively trained part based models [J].IEEETransactiononPatternAnalysisandMachineIntelligence， 2010， 32(9): 1627-1645.

[11]ZHANG B， EBEID S M， PREVOSTR，etal..Fast solver for some computational imaging problems: a regularized weighted least-squares approach [J].DigitalSignalProcessing， 2014， 27: 107-118.

[12]張雷，王延杰，孫宏海，等. 采用核相關(guān)濾波器的自適應(yīng)尺度目標(biāo)跟蹤[J]. 光學(xué) 精密工程， 2016， 24(2): 448-459.

ZHANG L， WANG Y J， SUN H H，etal..Adaptive scale object tracking with kernelized correlation filters [J].Opt.PrecisionEng.， 2016， 24(2): 448-459. (in Chinese)

[13]宋策，張葆，尹傳歷. 適于機(jī)載環(huán)境對(duì)地目標(biāo)跟蹤的粒子濾波設(shè)計(jì)[J]. 光學(xué)精密工程， 2014， 22(4): 1037-1047.

SONG C， ZHAGN B， YIN CH L. Particle filter design for tracking ground targets in airborne environment [J].Opt.PrecisionEng.， 2014， 22(4): 1037-1047. (in Chinese)

[14]BERNHARD S，ALEXANDER S.LearningwithKernels:SupportVectorMachines，Regularization，Optimization，andBeyond[M]. Massachusetts， the MIT Press， 2002: 184-209.

[15]DALAL N， BILL T. Histograms of oriented gradients for human detection [C].IEEEConferenceonComputerVisionandPatternRecognition，SanDiego，USA， 2005: 886-893.

[16]JIANG Y S， MA J W. Combination features and models for human detection [C].IEEEConferenceonComputerVisionandPatternRecognition，Boston，USA， 2015: 240-248.

[17]SAM H， AMIR S，PHILIP H. Struck: Structured output tracking with kernels [C].InternationalConferenceonComputerVision，Barcelona，Spain， 2011: 263-270.

[18]THANG B， NAM V， GERARD G M. Context tracker: exploring supporters and distracters in unconstrained environments [C].IEEEConferenceonComputerVisionandPatternRecognition，ColoradoSprings，USA， 2011: 1177-1184.

[19]BORIS B， YANG M H， SERGE J B.Visual tracking with online multiple instance learning [C].IEEEConferenceonComputerVisionandPatternRecognition，Miami，USA， 2009: 983-990.

王春平(1965-)，男，陜西漢中人，教授，博士生導(dǎo)師，主要從事圖像處理、火力控制理論與應(yīng)用方面的研究。E-mail：wchp17@139.com

王暐(1989-)，男，甘肅靖遠(yuǎn)人，博士研究生，2010年于北京航空航天大學(xué)獲得學(xué)士學(xué)位，主要從事計(jì)算機(jī)視覺(jué)、嵌入式系統(tǒng)設(shè)計(jì)方面的研究。E-mail：wang_wei.buaa@163.com

(版權(quán)所有未經(jīng)許可不得轉(zhuǎn)載)

Scale adaptive kernelized correlation filter tracking based on HHS-OG feature

WANG Chun-ping， WANG Wei*， LIU Jiang-yi， FU Qiang， XU Yan

(The2ndDepartment，OrdnanceEngineeringCollege，Shijiazhuang050003，China)*Correspondingauthor，E-mail：wang_wei.buaa@163.com

Since Kernelized Correlation Filters (KCF)tracking algorithm is sensitive to feature selecting and unable to estimate object scale， this paper researches the KCF tracking algorithm based on feature extraction and scale adapting. A scale adaptive KCF tracker by using HHS-OG (Histogram of Hue Saturation and Oriented Gradient， HHS-OG) feature was proposed to improve the tracking performance of the KCF tracker. Firstly， the HSI color space was studied. By taking the complementary of color and gradient in an image， a novel HHS-OG feature focused color and gradient features was proposed to improve the discrimination ability of the KCF algorithm to backgrounds and targets. As the KCF algorithm is unable to process the changed scale， a set of scale factors were used to sample image patches in the detection stage of tracking and the generated corresponding filter response maps were used to estimate the optimal target position and scale. The proposed tracker was tested on a large tracking benchmarks with 50 video sequences. Experimental results show that the tracker runs at a high speed of 37.5 frame per second and has a significantly improvement of 5.4% in representative precision score and 10.1% representative success score. The HHS-OG feature has good discrimination ability for backgrounds and targets and has robustness for target tracking. The scale adaptive strategy is effective for improving tracking performance.

vision tracking; kernel correlation filter tracking; feature fusion; feature extraction; scale adaptive tracking

2016-05-13；

2016-07-12.

國(guó)家自然科學(xué)基金資助項(xiàng)目(No.61141009)

1004-924X(2016)09-2293-09

TP391

A

10.3788/OPE.20162409.2293