快速多特征金字塔的尺度目標(biāo)跟蹤方法

楊源,庫(kù)濤,查宇飛,張園強(qiáng),李寰宇

(1.空軍工程大學(xué)空管領(lǐng)航學(xué)院,710051,西安;2.空軍工程大學(xué)航空航天工程學(xué)院,710038,西安)

?

快速多特征金字塔的尺度目標(biāo)跟蹤方法

楊源1,庫(kù)濤2,查宇飛2,張園強(qiáng)2,李寰宇1

(1.空軍工程大學(xué)空管領(lǐng)航學(xué)院,710051,西安;2.空軍工程大學(xué)航空航天工程學(xué)院,710038,西安)

為了克服目標(biāo)尺度變化導(dǎo)致的跟蹤失敗問(wèn)題,提出了一種快速多特征金字塔的尺度目標(biāo)跟蹤算法。該算法融合了梯度特征和顏色特征,提高了特征表征的維度,以便獲得更多的目標(biāo)表征信息;同時(shí)利用多尺度特征金字塔快速地近似相鄰尺度特征,得到不同尺度模板,從而平衡了由于特征維度上升帶來(lái)的計(jì)算時(shí)間開(kāi)銷,并保證了近似的準(zhǔn)確性; 在相關(guān)濾波框架下,綜合不同尺度模板的跟蹤結(jié)果,實(shí)現(xiàn)對(duì)目標(biāo)位置和尺度的準(zhǔn)確估計(jì)。選取4個(gè)具有尺度變化、光照變化和背景干擾的典型場(chǎng)景視頻序列進(jìn)行仿真實(shí)驗(yàn),結(jié)果表明,與傳統(tǒng)的尺度自適應(yīng)核跟蹤算法相比,提出的跟蹤算法能夠很好地適應(yīng)外部環(huán)境變化,實(shí)現(xiàn)對(duì)尺度目標(biāo)的魯棒跟蹤,同時(shí)在中心位置誤差、覆蓋率、精確度和成功率4個(gè)指標(biāo)上優(yōu)于對(duì)比算法。

目標(biāo)跟蹤;相關(guān)濾波;尺度自適應(yīng);快速特征金字塔

(1. School of Air Control and Navigation, Air Force Engineering University, Xi’an 710051, China;2. School of Aeronautics and Astronautics Engineering, Air Force Engineering University, Xi’an 710038, China)

視覺(jué)目標(biāo)跟蹤[1-3]是計(jì)算機(jī)視覺(jué)中非常重要的一個(gè)分支,被廣泛應(yīng)用于視頻監(jiān)視、人機(jī)交互和無(wú)人駕駛等領(lǐng)域。視覺(jué)目標(biāo)跟蹤解決的基本問(wèn)題是給定初始幀目標(biāo)的位置和尺度,快速準(zhǔn)確地尋找到目標(biāo)在接下來(lái)的視頻中的位置和大小。然而,因?yàn)槌叨?、旋轉(zhuǎn)和形變等內(nèi)因以及背景干擾、光照等外因相互作用,目標(biāo)外觀會(huì)改變,使得目標(biāo)跟蹤容易發(fā)生漂移,甚至失敗。

相關(guān)濾波算法因其具有較高的跟蹤精度和較少的時(shí)間開(kāi)銷,引起了相關(guān)學(xué)者們的研究興趣。文獻(xiàn)[4]提出了一種自適應(yīng)的最小平方誤差和輸出(MOSSE)的相關(guān)濾波算法,實(shí)現(xiàn)了目標(biāo)的快速魯棒跟蹤,但該算法特征較為簡(jiǎn)單,不適用于復(fù)雜場(chǎng)景。由于基于循環(huán)結(jié)構(gòu)的核相關(guān)濾波(KCF)跟蹤算法[5-6]采用了核映射,使得用較為簡(jiǎn)單的特征也能取得較好的跟蹤效果,但它不具有尺度自適應(yīng)性。文獻(xiàn)[7]在MOSSE的基礎(chǔ)上采用更為復(fù)雜的梯度方向直方圖(HOG)[11]特征,并加入尺度自適應(yīng)性,使得跟蹤性能進(jìn)一步提升,并奪得視覺(jué)2014年目標(biāo)跟蹤挑戰(zhàn)(VOT2014)第1名。文獻(xiàn)[8]在KCF的基礎(chǔ)上融合HOG特征和顏色屬性特征,提高了目標(biāo)表征的維度,取得很好的跟蹤性能,但計(jì)算量較大,為平衡性能,尺度搜索空間較小,導(dǎo)致尺度估計(jì)并不優(yōu)于判別式尺度空間跟蹤器(DSST)。

基于以上考慮,本文提出一種快速多特征金字塔的尺度目標(biāo)跟蹤算法,能夠克服目標(biāo)尺度變化所導(dǎo)致的跟蹤失敗問(wèn)題。該算法融合梯度特征和顏色特征,以便獲得更多的目標(biāo)表征信息;同時(shí)利用多尺度特征金字塔快速地近似相鄰尺度特征,克服了因特征維度增加而導(dǎo)致的多尺度特征計(jì)算量增大的問(wèn)題;在相關(guān)濾波框架下,綜合不同尺度模板的跟蹤結(jié)果,實(shí)現(xiàn)對(duì)目標(biāo)位置和尺度的準(zhǔn)確估計(jì)。

1 核相關(guān)濾波跟蹤

核相關(guān)濾波應(yīng)用于跟蹤,本質(zhì)上是一個(gè)多實(shí)例學(xué)習(xí)的過(guò)程,通過(guò)密集采樣遍歷目標(biāo)可能出現(xiàn)的位置,并采用高斯函數(shù)作為對(duì)應(yīng)的空間響應(yīng)分布,從而采用嶺回歸模型訓(xùn)練得到一個(gè)濾波器,用該濾波器對(duì)下一幀圖像濾波,響應(yīng)最大點(diǎn)位置即為目標(biāo)位置。利用循環(huán)矩陣與傅里葉變換的性質(zhì)[9]加快濾波器的訓(xùn)練速度,引入核函數(shù)[10]將低維特征映射到高維,提高了特征表征的魯棒性。

1.1 核嶺回歸模型

相關(guān)濾波的根本目的在于學(xué)習(xí)一個(gè)濾波器w來(lái)最小化一系列訓(xùn)練樣本{x1,x2,…,xn}經(jīng)濾波后的響應(yīng)函數(shù)f(w;xi)與期望輸出響應(yīng)yi之間的誤差,一般取f(w;x)=wTx,即為

(1)

式中:λ為正則化項(xiàng),避免過(guò)擬合,取為0.01。X=(x1,x2,…,xn)T,Y=(y1,y2,…,yn)T,其中yi為頂點(diǎn)在目標(biāo)中心處的高斯函數(shù)。式(1)的解析解為

w=(XHX+λI)-1XHY

(2)

(3)

(4)

式(4)可變?yōu)?/p>

(5)

(6)

其解析解為

α=(K+λI)-1Y

(7)

式中:K為n×n的核矩陣,且Ki,j=φT(xi)φ(xj),易知K為循環(huán)矩陣[6],即K=C(kxx),其中kxx為核矩陣K的第一行。選取高斯核函數(shù),則有

(‖x‖2+‖x′‖2)-

(8)

由循環(huán)矩陣的性質(zhì)以及式(3)、式(4),利用傅里葉變換,得到α的頻域解為

(9)

由文獻(xiàn)[6]可知,式(7)的結(jié)論同樣適用于樣本xi和期望輸出響應(yīng)yi為二維信號(hào)的情況。從而針對(duì)跟蹤問(wèn)題,可以利用上一幀學(xué)習(xí)到的濾波器α對(duì)當(dāng)前幀圖像濾波,找到目標(biāo)響應(yīng)最大處,即為目標(biāo)在當(dāng)前幀的位置。

1.2 目標(biāo)響應(yīng)函數(shù)

下一幀的樣本z的響應(yīng)函數(shù)為

f(z)=wTz=αTΦTz=(Kz)Tα=(C(kxz))Tα

(10)

由式(3)、式(4),式(8)的傅里葉變換為

(11)

對(duì)目標(biāo)的位置更新為

(12)

對(duì)式(12)求時(shí)域響應(yīng)最大點(diǎn)的位置,從而確定目標(biāo)中心點(diǎn)的位置,實(shí)現(xiàn)位置更新。

2 本文跟蹤方法

2.1 特征融合

(13)

綜合考慮不同特征的差異性,本文選取融合梯度方向直方圖(HOG)特征[11]和顏色屬性(CN)特征[12]來(lái)描述目標(biāo)外觀。其中,HOG描述的是目標(biāo)的形狀特征,通過(guò)提取圖像的梯度信息并統(tǒng)計(jì)梯度方向直方圖,有31個(gè)通道,選取的計(jì)算單元尺寸為1;CN描述的是目標(biāo)的顏色特征,是由文獻(xiàn)[12]提出的一種基于語(yǔ)義顏色標(biāo)簽的特征,有11個(gè)通道。直接融合HOG特征和CN特征,對(duì)特征進(jìn)行多通道的拼接,使得目標(biāo)的特征維度達(dá)到42個(gè),因而在計(jì)算不同尺度的圖像特征時(shí),需要用到本文采用的快速特征金字塔的計(jì)算方法。

2.2 快速特征金字塔

文獻(xiàn)[13]提出了一種基于統(tǒng)計(jì)規(guī)律的快速特征金字塔的計(jì)算方法,可以大大減少計(jì)算特征的時(shí)間,提高效率,用于目標(biāo)檢測(cè)取得了很好的效果。其基本方法可以表述為

Xs≈R(X,s)s-λΩ;X=Ω(I)

(14)

式中:I為原始圖像;X為特征圖像;s表示尺度;Ω(·)為特征提取函數(shù);R(X,s)為重采樣函數(shù),表示將特征圖X按尺度s進(jìn)行重采樣;Is為原始圖像I在尺度s采樣的結(jié)果。λΩ為特征估計(jì)參數(shù),可由兩個(gè)不同尺度的特征圖像近似如下

λΩ=lb(Ω(Xs1)/Ω(Xs2))/lb(s1/s2)

(15)

傳統(tǒng)特征金字塔的方法是先構(gòu)建圖像金字塔,后計(jì)算每層的特征,本文提出用單幅圖像的特征估計(jì)不同尺度的特征,從而大大加快特征計(jì)算時(shí)間。本文特征提取方法與傳統(tǒng)方法對(duì)比如圖1所示。

(a)傳統(tǒng)特征金字塔提取方法

(b)本文特征金字塔提取方法圖1 兩種特征金字塔計(jì)算方法對(duì)比

2.3 跟蹤框架

基于上述核相關(guān)濾波算法和快速多尺度特征計(jì)算方法,本文提出一種基于快速特征計(jì)算的多尺度核相關(guān)濾波算法。首先通過(guò)快速特征計(jì)算,得到多尺度的特征模板;其次用不同尺度的模板分別進(jìn)行學(xué)習(xí)得到多尺度濾波器;最后用這些多尺度濾波器對(duì)下一幀圖像進(jìn)行濾波,查找響應(yīng)最大值所對(duì)應(yīng)的位置和尺度,實(shí)現(xiàn)尺度自適應(yīng)跟蹤,其基本框架見(jiàn)圖2。

圖2 本文跟蹤算法流程圖

圖3 不同的尺度模板獲取方法示意圖

(2)基于多模板的跟蹤方法。相關(guān)濾波實(shí)質(zhì)上仍然是一個(gè)模板匹配的問(wèn)題,通過(guò)模板與待檢測(cè)的圖像進(jìn)行相關(guān)操作,得到不同位置的響應(yīng)值,訓(xùn)練模型可表示為求解下式

(16)

(17)

從而檢測(cè)下一幀圖像z中目標(biāo)的響應(yīng)函數(shù)為

(18)

目標(biāo)位置和尺度更新可通過(guò)求解下式獲得

(19)

(3)模型更新。由于本文將模板最終進(jìn)行了尺寸擴(kuò)充,將較小的模板按邊緣像素進(jìn)行復(fù)制,將較大的模板進(jìn)行截取,保證尺寸的一致性,從而可以很方便地進(jìn)行更新。本文選取初始幀目標(biāo)尺寸的2.5倍作為模板尺寸,更新公式可表示為

(20)

3 實(shí)驗(yàn)結(jié)果及分析

本文的仿真實(shí)驗(yàn)均在CPU為Intel Core i3-4150、主頻為3.50 GHz、8 GB內(nèi)存的計(jì)算機(jī)環(huán)境下通過(guò)MATLAB2013a軟件平臺(tái)進(jìn)行實(shí)現(xiàn),并選取核循環(huán)結(jié)構(gòu)跟蹤器算法(CSK)[5]、KCF[6]、DSST[7]、正則化互相關(guān)算法(NCC)[14]、基于核的結(jié)構(gòu)化輸出跟蹤方法(Struck)[15]、多示例學(xué)習(xí)算法(MIL)[16]、增量跟蹤方法(IVT)[17]和本文算法的實(shí)驗(yàn)結(jié)果和性能進(jìn)行定性和定量的分析。

3.1 定性分析

為了對(duì)比各算法的性能,從OTB2013數(shù)據(jù)庫(kù)中選取了4個(gè)典型的序列進(jìn)行驗(yàn)證,各個(gè)序列的特點(diǎn)如表1所示,其跟蹤結(jié)果如圖4所示。

表1 典型視頻序列描述

由圖4的結(jié)果可以看出,本文算法在尺度變化、光照變化、姿態(tài)變化、遮擋和復(fù)雜背景下能夠?qū)崿F(xiàn)尺度目標(biāo)的魯棒跟蹤。Doll序列具有目標(biāo)尺度變化、復(fù)雜背景干擾、快速移動(dòng)等特點(diǎn),本文算法能夠?qū)崿F(xiàn)對(duì)目標(biāo)的魯棒跟蹤。Shaking序列具有較為強(qiáng)烈的光照變化,本文算法采用了更為復(fù)雜的特征表示方法,能克服強(qiáng)光照帶來(lái)的影響。Trellis序列具有很強(qiáng)的光照及陰影變化,本文算法采用的高維特征和多模板跟蹤的方法能夠?qū)崿F(xiàn)這種復(fù)雜情況下的魯棒跟蹤。Walking序列具有目標(biāo)較小且有姿態(tài)變化等特點(diǎn),本文算法能實(shí)現(xiàn)準(zhǔn)確跟蹤。

圖4 Doll、Shaking、Trellis、Walking跟蹤結(jié)果示意圖

3.2 性能分析

本文從中心位置誤差、覆蓋率、精確度和成功率4項(xiàng)性能指標(biāo)和計(jì)算復(fù)雜度等5個(gè)方面,對(duì)本文算法和6種對(duì)比算法進(jìn)行評(píng)估。

3.2.1 跟蹤性能

(1)中心位置誤差。中心位置誤差[18]計(jì)算如下

c=(‖O-Ot‖2)1/2

(21)

式中:O和Ot分別為算法得到的目標(biāo)中心點(diǎn)坐標(biāo)和人工標(biāo)定的目標(biāo)中心真實(shí)坐標(biāo)。中心位置誤差的單位為像素,表示兩點(diǎn)間距離像素點(diǎn)的個(gè)數(shù)。中心位置誤差可以衡量算法中心位置的跟蹤性能,其值越小,表明中心位置跟蹤誤差越小,性能越高。視頻中每幀的中心位置誤差如圖5所示,平均中心位置誤差見(jiàn)表2。不難看出,本文算法與其他6種算法相比,具有較低的中心位置誤差。

(2)覆蓋率。覆蓋率[18]是檢測(cè)目標(biāo)與真實(shí)目標(biāo)重疊部分與兩者的并集之比,表示為

(a)Doll序列

(b)Shaking序列

(c)Walking序列

(d)Trellis序列圖5 各算法跟蹤結(jié)果的中心位置誤差比較

(22)

(a)Doll序列

(b)Shaking序列

(c)Trellis序列

(d)Walking序列圖6 各算法跟蹤結(jié)果的覆蓋率比較

(3)精確度。精確度[18]表示跟蹤結(jié)果與跟蹤誤差的關(guān)系,曲線越陡,表示跟蹤精度越高。公式如下

(23)

注:*表示最優(yōu)結(jié)果;**為次優(yōu)結(jié)果。

式中:Df表示第f幀的跟蹤結(jié)果與真實(shí)值之間的中心位置誤差;α表示取中心位置誤差的閾值。精確度與中心位置誤差的關(guān)系如圖7所示。不難看出,在4個(gè)典型視頻中,本文算法具有更好的中心位置跟蹤性能。

(a)Doll序列

(b)Shaking序列

(c)Trellis序列

(d)Walking序列圖7 各算法跟蹤結(jié)果的精確度比較

(4)成功率。成功率表示跟蹤結(jié)果與跟蹤覆蓋率的關(guān)系,即覆蓋率大于特定閾值的視頻幀占總幀數(shù)的比例,曲線越陡,表示跟蹤精度越高。成功率計(jì)算如下

(24)

式中:Lf表示第f幀的跟蹤結(jié)果與真實(shí)值之間的覆蓋率;α表示取覆蓋率的閾值。圖8為成功率與不同覆蓋率閾值的關(guān)系,它表明當(dāng)取不同覆蓋率閾值時(shí),成功跟蹤的視頻幀數(shù)占總幀數(shù)的比例。不難看出,本文算法具有更高的成功率,性能更好。

(a)Doll序列

(b)Shaking序列

(c)Trellis序列

(d)Walking序列圖8 各算法跟蹤結(jié)果的成功率比較

3.2.2 算法復(fù)雜度 本文算法的復(fù)雜度主要體現(xiàn)在高維特征和多尺度模板相關(guān)濾波跟蹤導(dǎo)致的計(jì)算量的增加,和快速尺度估計(jì)使得計(jì)算量的減少。為了更直觀地表現(xiàn)本文算法的復(fù)雜度,比較了7種算法在4個(gè)典型視頻序列上的處理速度,結(jié)果如表3所示,從中可以看出本文算法實(shí)現(xiàn)了跟蹤的實(shí)時(shí)性。

表3 各算法計(jì)算速度的比較

4 結(jié) 論

本文提出了一種特征融合的快速尺度目標(biāo)跟蹤算法。主要?jiǎng)?chuàng)新點(diǎn)體現(xiàn)在:采用多特征融合的方式提高目標(biāo)表征的維度,增加跟蹤的魯棒性;利用快速特征金字塔來(lái)解決因維度增大而帶來(lái)的計(jì)算量增大的問(wèn)題;采用多模板的相關(guān)濾波方法來(lái)解決尺度跟蹤的問(wèn)題。實(shí)驗(yàn)結(jié)果表明,本文算法能夠快速而準(zhǔn)確地實(shí)現(xiàn)尺度目標(biāo)的實(shí)時(shí)跟蹤。

[1] 查宇飛, 楊源, 王錦江, 等. 利用密度描述符對(duì)應(yīng)的視覺(jué)跟蹤算法 [J]. 西安交通大學(xué)學(xué)報(bào), 2014, 48(9): 13-18. ZHA Yufei, YANG Yuan, WANG Jinjiang, et al. A visual object tracking algorithm using dense descriptors correspondences [J]. Journal of Xi’an Jiaotong University, 2014, 48(9): 13-18.

[2] 庫(kù)濤, 畢篤彥, 楊源, 等. 尺度目標(biāo)的頻域核回歸跟蹤研究 [J]. 空軍工程大學(xué)學(xué)報(bào)(自然科學(xué)版), 2016, 17(2): 76-81. KU Tao, BI Duyan, YANG Yuan, et al. Scalable object tracking based on frequency kernel regression [J]. Journal of Air Force Engineering University (Natural Science Edition), 2016, 17(2): 76-81.

[3] 畢篤彥, 庫(kù)濤, 查宇飛, 等. 基于顏色屬性直方圖的尺度目標(biāo)跟蹤算法研究 [J]. 電子與信息學(xué)報(bào), 2016, 38(5): 1099-1106. BI Duyan, KU Tao, ZHA Yufei, et al. Scale-adaptive object tracking based on color names histogram [J]. Journal of Electronics and Information Technology, 2016, 38(5): 1099-1106.

[4] BOLME D S, BEVERIDGE J R, DRAPER B, et al. Visual object tracking using adaptive correlation filters [C]∥IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ, USA: IEEE, 2010: 2544-2550.

[5] HENRIQUES J F, CASEIRO R, MARTINS P, et al. Exploiting the circulant structure of tracking-by-detection with kernels [C]∥European Conference on Computer Vision. Berlin, Germany: Springer, 2012: 702-715.

[6] HENRIQUES J, CASEIRO R, MARTINS P, et al. High-speed tracking with kernelized correlation filters [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 583-596.

[7] DANELLJAN M, HAGER G, KHAN F, et al. Accurate scale estimation for robust visual tracking [C]∥British Machine Vision Conference. Berlin, Germany: Springer, 2014: 1-4.

[8] LI Y, ZHU J. A scale adaptive kernel correlation filter tracker with feature integration [C]∥European Conference on Computer Vision. Berlin, Germany: Springer, 2014: 254-265.

[9] GRAY R M. Toeplitz and circulant matrices: a review [M]. San Francisco, USA: Now Publishers Inc., 2006: 89-101.

[10]SCHOLKOPF B, SMOLA A J. Learning with kernels: support vector machines, regularization, optimization, and beyond [M]. Boston, Massachusetts, USA: MIT Press, 2001: 57-61.

[11]FELZENSZWALL P F, GIRSHICK R B, MCALLESTER D, et al. Object detection with discriminatively trained part-based models [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(9): 1627-1645.

[12]VAN DE WEIJER J, SCHMID C, VERBEEK J, et al. Learning color names for real-world applications [J]. IEEE Transactions on Image Processing, 2009, 18(7): 1512-1523.

[13]DOLLAR P, APPEL R, BELONGIE S, et al. Fast feature pyramids for object detection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(8): 1532-1545.

[14]YOO J C, HAN T H. Fast normalized cross-correlation [J]. Circuits, Systems and Signal Processing, 2009, 28(6): 819-843.

[15]HARE S, SAFFARI A, TORR P H S. Struck: structured output tracking with kernels [C]∥IEEE International Conference on Computer Vision. Piscataway, NJ, USA: IEEE, 2011: 263-270.

[16]BABENKO B, YANG M H, BELONGIE S. Visual tracking with online multiple instance learning [C]∥IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ, USA: IEEE, 2009: 983-990.

[17]POGGIO T, CAUWENBERGHS G. Incremental and decremental support vector machine learning [J]. Advances in Neural Information Processing Systems, 2001, 13(5): 409-412.

[18]BOUGUET J Y. Pyramidal implementation of the affine lucas kanade feature tracker description of the algorithm [J]. Intel Corporation Microprocessor Research Labs Tech Rep, 2000, 22(2): 363-381.

(編輯 杜秀杰)

Fast Multi-Feature Pyramids for Scale-Adaptive Object Tracking

YANG Yuan1,KU Tao2,ZHA Yufei2,ZHANG Yuanqiang2,LI Huanyu1

A fast scale estimation algorithm for visual tracking with feature integration is proposed to solve tracking failure from object scale changes. The gradient feature and color feature are integrated to obtain more object representation information with the increasing feature dimensions, then a fast multi-scale feature pyramid method is used to approximate the adjacent scale features to get templates in different scales, thus it is possible to balance the computation cost due to the increasing feature dimensions without accuracy loss after approximation. Combining tracking results of multi-scale templates, the object location and scale are estimated accurately by the proposed algorithm in the framework of correlation tracking 4 representative video sequences with scale changes, and illumination variations and background clusters are chosen to simulate. The experiments indicate that the proposed algorithm well adapts to environmental variations and outperforms the traditional scale-adaptive kernel correlation tracking schemes in center location error, overlap ratio, precision and success rate.

object tracking; correlation filtering; scale-adaptive; fast feature pyramids

2016-01-18。

楊源(1982—),男,副教授。

國(guó)家自然科學(xué)基金資助項(xiàng)目(61472442);陜西省科技新星資助項(xiàng)目(2015kjxx-46)。

時(shí)間:2016-07-14

http:∥www.cnki.net/kcms/detail/61.1069.T.20160714.1726.016.html

10.7652/xjtuxb201610008

TP391

A

0253-987X(2016)10-0049-08