動(dòng)態(tài)特征和靜態(tài)特征自適應(yīng)融合的目標(biāo)跟蹤算法

張立朝,畢篤彥,查宇飛,汪云飛,馬時(shí)平

(空軍工程大學(xué)航空航天工程學(xué)院,陜西西安 710038)

動(dòng)態(tài)特征和靜態(tài)特征自適應(yīng)融合的目標(biāo)跟蹤算法

張立朝,畢篤彥,查宇飛,汪云飛,馬時(shí)平

(空軍工程大學(xué)航空航天工程學(xué)院,陜西西安 710038)

由于大多數(shù)目標(biāo)跟蹤算法只采用單一靜態(tài)特征或單一動(dòng)態(tài)特征對目標(biāo)建模,但靜態(tài)特征模型不能描述目標(biāo)的動(dòng)態(tài)特性,并且很難適應(yīng)場景復(fù)雜、快速移動(dòng)和旋轉(zhuǎn)等問題;而傳統(tǒng)運(yùn)動(dòng)光流能夠描述局部動(dòng)態(tài)特性,卻存在孔徑問題.提出一種自適應(yīng)融合動(dòng)態(tài)特征和靜態(tài)特征的跟蹤方法:通過雙向光流預(yù)測和誤差度量自適應(yīng)提取動(dòng)態(tài)特征,并提取候選目標(biāo)區(qū)域的靜態(tài)特征,然后構(gòu)造融合權(quán)重函數(shù)有效地融合動(dòng)態(tài)特征和靜態(tài)特征并以此構(gòu)造協(xié)方差矩陣估計(jì)誤差橢圓,準(zhǔn)確描述目標(biāo)尺度和方向,實(shí)現(xiàn)對目標(biāo)精確表示;通過on-line參數(shù)更新機(jī)制對權(quán)重分配參數(shù)進(jìn)行更新,實(shí)現(xiàn)動(dòng)態(tài)特征和靜態(tài)特征分配的自適應(yīng)調(diào)節(jié),能夠適應(yīng)目標(biāo)運(yùn)動(dòng)速度的變化和場景變化.實(shí)驗(yàn)結(jié)果表明,在背景復(fù)雜的情況下,當(dāng)目標(biāo)快速移動(dòng)或旋轉(zhuǎn)時(shí),與其他相關(guān)算法相比,該算法能夠獲得更好的跟蹤效果.

動(dòng)態(tài)特征;運(yùn)動(dòng)度量;靜態(tài)特征;特征融合;自適應(yīng)

目標(biāo)跟蹤[1]是計(jì)算機(jī)視覺的一個(gè)重要且基礎(chǔ)性的問題,受到大量學(xué)者的關(guān)注[2-3].目前跟蹤主要存在以下幾個(gè)方面的困難:背景干擾、快速移動(dòng)、尺度和方向改變、光照變化、遮擋.特征提取時(shí),可以把特征分為動(dòng)態(tài)特征和靜態(tài)特征.靜態(tài)特征包括SIFT[4]、BRIEF[5]、Histogram[6]等;而動(dòng)態(tài)特征主要指光流[7].目前基于核跟蹤[8]和基于粒子濾波[9]的算法大都是提取靜態(tài)特征對目標(biāo)進(jìn)行建模.文獻(xiàn)[10]提出尺度和方向自適應(yīng)的Mean Shift算法,通過引入矩特征[11],計(jì)算誤差橢圓（Error Ellipse),較好地估計(jì)目標(biāo)尺度和方向;文獻(xiàn)[12]提出EM-shift算法,通過提取顏色直方圖,同時(shí)估計(jì)局部模態(tài)的位置和用來近似局部模態(tài)尺度的協(xié)方差,用協(xié)方差估計(jì)出橢圓目標(biāo)框,可以較好地估計(jì)目標(biāo)的尺度.但這些算法都采用單一的靜態(tài)特征:通過顏色統(tǒng)計(jì)直方圖構(gòu)造特征模型,采用顏色特征作為靜態(tài)特征.為了解決單一靜態(tài)特征對目標(biāo)描述不充分的問題,一些學(xué)者引入其他靜態(tài)特征進(jìn)行跟蹤[13-16].文獻(xiàn)[13]提出一種自適應(yīng)分塊并融合顏色直方圖及SIFT特征的目標(biāo)跟蹤方法;文獻(xiàn)[14]提出一種將紋理與顏色特征相結(jié)合的魯棒跟蹤算法;文獻(xiàn)[15]提出將顏色、邊緣和紋理特征進(jìn)行自適應(yīng)融合的核跟蹤算法.另外,也有學(xué)者提出在粒子濾波框架內(nèi)進(jìn)行多特征融合,比如文獻(xiàn)[16]提出一種融合Color、HoG、LBP、Haar等特征并加權(quán)降維的跟蹤.

以上算法雖然引入紋理、位置、梯度、邊緣、Haar等多個(gè)特征,但所構(gòu)造的多特征模型只是在不同靜態(tài)特征之間進(jìn)行融合的,缺少對目標(biāo)動(dòng)態(tài)特性的描述,難以適應(yīng)目標(biāo)與背景顏色相似、目標(biāo)快速移動(dòng)的跟蹤.為了更準(zhǔn)確地描述目標(biāo),采用光流預(yù)測提取目標(biāo)的動(dòng)態(tài)特征[17],將靜態(tài)特征和動(dòng)態(tài)特征相融合:將雙向光流預(yù)測自適應(yīng)融入核跟蹤框架,提取動(dòng)態(tài)特征,然后將其與靜態(tài)特征融合.通過融合機(jī)制,動(dòng)態(tài)特征與靜態(tài)特征自適應(yīng)分配比例.動(dòng)態(tài)特征能夠彌補(bǔ)靜態(tài)特征缺乏動(dòng)態(tài)信息的不足,在不知道關(guān)于場景任何信息的情況下跟蹤到運(yùn)動(dòng)對象,解決了目標(biāo)背景相似和快速移動(dòng)的問題;但對于光流預(yù)測通常存在孔徑問題及其局部特征點(diǎn)易受噪聲影響的問題,可通過靜態(tài)全局匹配進(jìn)行消除,實(shí)現(xiàn)更為魯棒的跟蹤.

1 動(dòng)態(tài)特征提取

采用帶反饋的光流預(yù)測提取目標(biāo)動(dòng)態(tài)特征.當(dāng)相機(jī)與場景目標(biāo)相對運(yùn)動(dòng)時(shí),觀察到的亮度模式運(yùn)動(dòng)稱為光流（Optical Flow).光流法滿足一定的約束條件,稱為光流約束方程

其中,I為灰度值,?I為灰度值的梯度,It為灰度值對時(shí)刻t的偏導(dǎo).

如圖1所示,動(dòng)態(tài)特征預(yù)測原理:首先在t時(shí)刻圖像中提取K個(gè)特征點(diǎn),如圖中的三角形;然后從t時(shí)刻圖像的特征點(diǎn)A跟蹤到t+1時(shí)刻圖像預(yù)測點(diǎn)B;最后從t+1時(shí)刻B點(diǎn)后向跟蹤到t時(shí)刻反饋點(diǎn)C,如此生成前向和后向兩個(gè)軌跡.設(shè)特征點(diǎn)A、預(yù)測點(diǎn)B、反饋點(diǎn)C的位置坐標(biāo)集合分別為:ΩK={si}i=1,…,K,Ω′K={s′i}i=1,…,K,Ω″K={s″i}i=1,…,K.兩次的預(yù)測的計(jì)算為

圖1 雙向光流預(yù)測示意圖

其中,f（·)為光流函數(shù);Ft表示第t幀圖像;Ft+1表示第t+1幀圖像.

根據(jù)上述分析可知,利用雙向光流預(yù)測提取動(dòng)態(tài)特征時(shí),可以通過度量前向軌跡與后向軌跡之間的匹配程度進(jìn)行誤差估計(jì).匹配程度為t時(shí)刻A和C的距離d,距離d越小,匹配程度越高.為此提出一種度量雙向光流預(yù)測程度的動(dòng)態(tài)權(quán)重函數(shù).如果特征點(diǎn)光流矢量很小,則會(huì)造成光流沒有預(yù)測值,導(dǎo)致基于光流跟蹤很容易失敗.為此去除無光流預(yù)測的特征點(diǎn),剩余k個(gè)特征點(diǎn),用集合Ωk={si}i=1,…,k表示.反饋誤差為

TLD[18]采用中值流算法[19],認(rèn)為權(quán)重函數(shù)是關(guān)于di的0-1分布函數(shù).而對于實(shí)際的di分布,如圖2（b)所示,其值越小,說明預(yù)測誤差越小,匹配程度越高,特征點(diǎn)的貢獻(xiàn)程度越大;反之亦然.因此高斯分布函數(shù)更能反映權(quán)重隨反饋誤差di反比例變化的趨勢,文中采用高斯分布函數(shù)描述權(quán)重,表達(dá)式為

圖2 空域動(dòng)態(tài)權(quán)重分布圖

其中,dmin=min（di),作為動(dòng)態(tài)權(quán)重的高斯均值;σ為方差值.其分布如圖2（a)所示.

由上文得到的動(dòng)態(tài)權(quán)重w′i和位移Δsi,提出一種基于雙向光流運(yùn)動(dòng)度量的核跟蹤算法.通過雙向光流提取出目標(biāo)的運(yùn)動(dòng)特征,獲得特征點(diǎn)的運(yùn)動(dòng)位移Δsi和相應(yīng)的動(dòng)態(tài)權(quán)重w′i,在此基礎(chǔ)上利用核算法迭代,搜索出位移密度最大的點(diǎn).流程如下:

（2)確定動(dòng)態(tài)特征的概率密度函數(shù),即

其中,Cd為概率密度函數(shù)的系數(shù),k為特征點(diǎn)個(gè)數(shù),wi為動(dòng)態(tài)權(quán)重.

（3)采用梯度下降法尋找概率密度函數(shù)的模值,根據(jù)動(dòng)態(tài)權(quán)重和核函數(shù)的影子核,對特征點(diǎn)位移Δsi進(jìn)行加權(quán)核估計(jì),即

文中利用雙向光流提取動(dòng)態(tài)特征時(shí)采用金字塔Lucas-Kanade光流法.通過由粗到精的策略將圖像在不同分辨率上分層,將在粗尺度下得到的結(jié)果作為下一尺度的初始值,在不同分辨率上對圖像序列進(jìn)行光流矢量u計(jì)算,能夠較好地解決目標(biāo)快速移動(dòng)的問題.并且光流矢量u對于與目標(biāo)相似的背景具有較強(qiáng)的抗干擾性.

2 靜態(tài)特征的提取

在核跟蹤框架內(nèi)提取目標(biāo)靜態(tài)特征,筆者采用顏色直方圖統(tǒng)計(jì)作為全局靜態(tài)特征.目標(biāo)模型和候選目標(biāo)模型在特征空間中用顏色直方圖表示,為了降低邊緣像素點(diǎn)權(quán)重,采用單調(diào)遞減凸函數(shù)k（x)作為核函數(shù).

其中,hq和hp表示兩個(gè)核函數(shù)尺度;li為像素坐標(biāo);b為像素li直方圖區(qū)間指示;m指直方圖區(qū)間數(shù)目.目標(biāo)模型和候選目標(biāo)模型之間用Bhattacharrya系數(shù)相似度量,即

其中,C1和C2為常數(shù);i=1,…n;w′i為靜態(tài)特征權(quán)重,即

其中,g（x)=-k′（x).

3 目標(biāo)跟蹤算法

首先,通過雙向光流預(yù)測和誤差度量自適應(yīng)提取動(dòng)態(tài)特征,并提取候選目標(biāo)區(qū)域的靜態(tài)特征,然后構(gòu)造融合權(quán)重函數(shù),有效地融合動(dòng)態(tài)特征和靜態(tài)特征并以此構(gòu)造協(xié)方差矩陣估計(jì)誤差橢圓,準(zhǔn)確描述目標(biāo)尺度和方向,實(shí)現(xiàn)對目標(biāo)精確表示;通過on-line參數(shù)更新機(jī)制對權(quán)重分配參數(shù)進(jìn)行更新.

3.1 初始化

采用橢圓框表示目標(biāo):一方面,橢圓形狀的目標(biāo)框?qū)δ繕?biāo)的尺度和方向具有良好的適應(yīng)性;另一方面,顏色直方圖對于圓形搜索區(qū)域具有很好的旋轉(zhuǎn)不變性.而采用顏色特征作為靜態(tài)特征,其原因在于顏色直方圖具有良好的全局統(tǒng)計(jì)特性和對橢圓框的旋轉(zhuǎn)不變特性.采用Maximization-Maximization（MM)scheme[22]進(jìn)行動(dòng)態(tài)估計(jì)和靜態(tài)估計(jì),直到兩個(gè)更新迭代都達(dá)到收斂.通過權(quán)重函數(shù)和線性加權(quán)融合動(dòng)態(tài)特征和靜態(tài)特征.融合權(quán)重參數(shù)設(shè)為θ,參數(shù)的更新機(jī)制在第3.3節(jié)中會(huì)詳細(xì)介紹.

局部特征采用Harris角點(diǎn),全局特征采用直方圖.由圖3可以看出,目標(biāo)的動(dòng)態(tài)信息主要分布在目標(biāo)的邊緣輪廓上,通過檢測提取目標(biāo)的角點(diǎn),然后進(jìn)行目標(biāo)運(yùn)動(dòng)特征的估計(jì),運(yùn)動(dòng)權(quán)重服從于高斯分布;目標(biāo)的靜態(tài)信息通過候選目標(biāo)區(qū)域的直方圖信息統(tǒng)計(jì)獲得,靜態(tài)權(quán)重服從于直方圖分布,目標(biāo)圖像的動(dòng)態(tài)特征和靜態(tài)特征的權(quán)重圖像以及兩者的融合權(quán)重圖像如圖3所示.圖3從左到右分別為:局部動(dòng)態(tài)特征點(diǎn)、區(qū)域靜態(tài)特征點(diǎn);動(dòng)態(tài)特征、靜態(tài)特征的提取;動(dòng)態(tài)權(quán)重圖像、靜態(tài)權(quán)重圖像及通過融合得到的融合權(quán)重圖像

在估計(jì)目標(biāo)尺度時(shí),通過候選目標(biāo)區(qū)域像素位置的加權(quán)二階中心矩計(jì)算協(xié)方差,進(jìn)而計(jì)算誤差橢圓.候選目標(biāo)區(qū)域的像素包括雙向光流預(yù)測的預(yù)測點(diǎn)和其余非預(yù)測點(diǎn).分析式（5),計(jì)算動(dòng)態(tài)權(quán)重wi時(shí),采用光流前向預(yù)測與后向預(yù)測之間的匹配度量,包含運(yùn)動(dòng)目標(biāo)的速度度量和空間位置信息,并且由圖3可以看出權(quán)重主要分布在目標(biāo)輪廓上,所以能夠提取目標(biāo)豐富的結(jié)構(gòu)信息;分析式（12),計(jì)算靜態(tài)權(quán)重w′i時(shí),首先分別統(tǒng)計(jì)目標(biāo)區(qū)域和候選目標(biāo)區(qū)域像素的顏色值,然后采用直方圖區(qū)間對應(yīng)統(tǒng)計(jì)值1/2次方之比,可見靜態(tài)權(quán)重反映像素的全局顏色值和統(tǒng)計(jì)值信息.由此可知,動(dòng)態(tài)權(quán)重包含目標(biāo)運(yùn)動(dòng)、位置、結(jié)構(gòu)等信息,靜態(tài)權(quán)重包含目標(biāo)顏色統(tǒng)計(jì)信息,因此,對動(dòng)態(tài)權(quán)重和靜態(tài)權(quán)重乘性加權(quán)融合并計(jì)算目標(biāo)協(xié)方差可以更準(zhǔn)確地估計(jì)目標(biāo)尺度,進(jìn)而再將協(xié)方差奇異值分解估計(jì)目標(biāo)尺度和方向.融合權(quán)重計(jì)算為

圖3 動(dòng)態(tài)權(quán)重和靜態(tài)權(quán)重融合示意圖

其中,Ω′k為k個(gè)預(yù)測點(diǎn)集合,Ωnp-k為候選目標(biāo)區(qū)域Ωnp中去除預(yù)測點(diǎn)Ω′k的像素集合.動(dòng)態(tài)特征和靜態(tài)特征通過乘性加權(quán)緊密耦合,為計(jì)算協(xié)方差提供更好的特征描述.

通過MM scheme估計(jì)得到最優(yōu)的動(dòng)態(tài)特征位置與最優(yōu)的靜態(tài)特征位置,將最優(yōu)位置O1與O2加權(quán)疊加,得到目標(biāo)中心位置為

其中,（xi,yi)為Ωnp中l(wèi)i的坐標(biāo).

對協(xié)方差矩陣Cov奇異值分解為

其中,λ1和λ2表示目標(biāo)的尺度,向量（u11,u21)T和（u12,u22)T分別表示真實(shí)目標(biāo)的兩個(gè)主軸的方向.

則橢圓目標(biāo)區(qū)域表示為

3.2 跟蹤過程

算法流程如圖4所示.

圖4 算法流程框圖

輸入:第t幀圖像It,目標(biāo)模型={u}u=1…m,參數(shù)θn-1,初始位置O0,初始橢圓目標(biāo)框bEb0.輸出:（O,bEb0)t,參數(shù)θn.

（1)計(jì)算Mean Shift迭代:

（a)利用式（9)計(jì)算O1,利用式（5)計(jì)算動(dòng)態(tài)權(quán)重w′i;

（b)利用式（13)計(jì)算O2,利用式（12)計(jì)算靜態(tài)權(quán)重wi;

（2)利用式（15)計(jì)算位置O.

（4)利用式（21)更新參數(shù)θn.

3.3 On-line參數(shù)更新過程

根據(jù)圖像內(nèi)容的變化調(diào)整參數(shù)的變化,進(jìn)而對權(quán)重分配參數(shù)θ進(jìn)行實(shí)時(shí)更新.權(quán)重分配參數(shù)θ根據(jù)動(dòng)態(tài)特征重要性程度來評價(jià):核函數(shù)對可靠像素的光流矢量進(jìn)行加權(quán)估計(jì),進(jìn)而估計(jì)動(dòng)態(tài)權(quán)重在融合權(quán)重中所占比例.當(dāng)較大時(shí),目標(biāo)像素光流矢量較大;較小時(shí),像素可靠,則參數(shù)θML的估計(jì)值也相應(yīng)變大,通過最大化似然估計(jì)方法[22]迭代計(jì)算:

接著,引入先驗(yàn)的θPrior進(jìn)行估計(jì)參數(shù)的校正:

一般設(shè)想目標(biāo)運(yùn)動(dòng)服從于連續(xù)分布,則融合參數(shù)也遵循連續(xù)變化的趨勢.為防止參數(shù)估計(jì)發(fā)生突變引入前一時(shí)刻參數(shù)值進(jìn)行校正,得到最終的參數(shù)更新值

4 實(shí)驗(yàn)結(jié)果及其分析

所有實(shí)驗(yàn)在Intel（R)Xeon（R)CPU W3550 3.07 GHz 3.06 GHz,6 GB內(nèi)存的64位計(jì)算機(jī)上進(jìn)行.算法通過MATLAB 2013a實(shí)現(xiàn).測試視頻來自于多實(shí)例學(xué)習(xí)跟蹤[20]中含有與目標(biāo)背景相似、快速移動(dòng)、尺度和旋轉(zhuǎn)變化的4段視頻.實(shí)驗(yàn)中,Lucas-Kanade光流金字塔層數(shù)為2層,特征點(diǎn)選擇500個(gè),特征模型均采用Epanechnikov核[8]作為空間加權(quán)的核函數(shù),各視頻中動(dòng)態(tài)權(quán)重函數(shù)w′i的方差σ=0.05,權(quán)重分配參數(shù)初始化θPrior=0.5,先驗(yàn)參數(shù)值固定為ωPrior=0.25,ML評估器通過式（19)進(jìn)行計(jì)算,MA參數(shù)固定為γMA=0.4.所有參數(shù)在整個(gè)實(shí)驗(yàn)中都設(shè)為固定值,采用第1幀中提取的目標(biāo)模型作為模板.實(shí)驗(yàn)比較算法: SOAMST[10]、EM-shift[12]、Mean Shift算法[8]和TLD算法[18],代碼均來自作者的公開代碼.

4.1 定性分析

如圖5所示,第1列是“Sylvester”部分結(jié)果（其中,SOAMST為實(shí)線,TLD為虛線,EM-shift為點(diǎn)線,MS為點(diǎn)劃線,文中算法為加粗實(shí)線).視頻中,背景比較相似,目標(biāo)玩具姿態(tài)和方向不停變化.選取幾幀代表性的視頻幀:目標(biāo)揚(yáng)起、低下、旋轉(zhuǎn)、尺度、光照變化.SOAMST、EM-shift和MS采用單一的顏色特征描述目標(biāo),容易被目標(biāo)身后的花盆背景及人的手臂所干擾,如在第270、850幀,并且都不能適應(yīng)目標(biāo)的尺度和旋轉(zhuǎn)變化;TLD算法采用單一的運(yùn)動(dòng)特征,在跟蹤光照變化劇烈的第729幀時(shí),開始跟丟;文中算法通過融合動(dòng)態(tài)特征和靜態(tài)特征,發(fā)揮各自優(yōu)勢,彌補(bǔ)特征缺陷,可以很好跟蹤.第2列是“David2”結(jié)果.對其頭部跟蹤,主要有姿態(tài)旋轉(zhuǎn)等變化并且剛開始黑色板背景對均值漂移的干擾比較大.由結(jié)果可以看出,采用顏色直方圖的均值漂移算法SOAMST、MS和EM-shift在一開始便漂移到整個(gè)黑色板上,這是由于黑色板上的像素灰度值非常密集,根據(jù)均值漂移原理,找灰度概率密度最大的點(diǎn),因此在剛開始便找到黑板的中心,丟失目標(biāo),如第260幀;而文中算法通過融合動(dòng)態(tài)特征可以很精確跟蹤目標(biāo),對目標(biāo)較大變化,如低頭（第363幀)、旋轉(zhuǎn)（第463幀)都能很好適應(yīng);TLD的矩形跟蹤框不能適應(yīng)目標(biāo)這些變化.

4.2 定量分析

采用3個(gè)標(biāo)準(zhǔn)[21]比較文中算法與其他算法:中心誤差（Localization Error),覆蓋率（overlap),精確度.

圖5 部分視頻跟蹤結(jié)果

由定量分析結(jié)果可以看出,文中算法的平均錯(cuò)誤率和方差在兩個(gè)視頻中都是最好的,在其余兩個(gè)視頻中接近最好;在成功率評價(jià)方面,文中算法在4個(gè)視頻中都是最好的,其中在視頻“Football”跟蹤中,甚至達(dá)到100%的成功率.文中算法的精度曲線斜率在3個(gè)視頻中都是最快的,另一個(gè)視頻也接近最快.

SOAMST和EM-shift算法對于背景的相似度有很強(qiáng)的敏感性,當(dāng)跟蹤序列出現(xiàn)與目標(biāo)相似的背景時(shí),很容易跟蹤失敗,甚至在視頻剛開始便丟失目標(biāo),導(dǎo)致成功率為0,如序列“David2”,而且兩者對搜索區(qū)域內(nèi)所有的點(diǎn)進(jìn)行計(jì)算,跟蹤效率很低;TLD算法依賴局部結(jié)構(gòu)特征,當(dāng)目標(biāo)發(fā)生尺度變化時(shí),匹配誤差增大,容易丟失目標(biāo),但由于加入檢測算法對跟蹤算法進(jìn)行初始化,消除跟蹤失敗帶來的影響,所以對一些視頻跟蹤結(jié)果較好;MS不能適應(yīng)目標(biāo)尺度和旋轉(zhuǎn)的變化,并且跟蹤效率非常低;文中算法將動(dòng)態(tài)特征與靜態(tài)特征相融合,結(jié)合矩特征估計(jì)誤差橢圓,在4個(gè)目標(biāo)與背景相似、快速移動(dòng)、尺度和旋轉(zhuǎn)變化的視頻中,與最新和相關(guān)跟蹤算法相比,具有很高的準(zhǔn)確度和精確度,實(shí)現(xiàn)魯棒跟蹤.定量實(shí)驗(yàn)結(jié)果如圖6和表1所示.

表1 RMS的平均值、方差、成功率和權(quán)重比例

5 結(jié)束語

通過誤差度量自適應(yīng)提取動(dòng)態(tài)特征,并提取目標(biāo)區(qū)域靜態(tài)特征,構(gòu)造權(quán)重融合函數(shù)有效地融合動(dòng)態(tài)特征和靜態(tài)特征,利用融合權(quán)重構(gòu)造協(xié)方差矩陣估計(jì)誤差橢圓,準(zhǔn)確描述目標(biāo)尺度和方向,實(shí)現(xiàn)對目標(biāo)的精確表示;通過on-line參數(shù)更新機(jī)制對權(quán)重分配參數(shù)進(jìn)行在線更新,實(shí)現(xiàn)動(dòng)態(tài)特征和靜態(tài)特征分配的自適應(yīng)調(diào)節(jié),能夠適應(yīng)目標(biāo)運(yùn)動(dòng)速度的變化和場景變化,解決背景復(fù)雜和快速移動(dòng)的跟蹤問題.

圖6 中心誤差,覆蓋率和精確度實(shí)驗(yàn)結(jié)果圖

[1]侯志強(qiáng),韓崇昭.視覺跟蹤技術(shù)綜述[J].自動(dòng)化學(xué)報(bào),2006,32(4):603-617. Hou Zhiqiang,Han Chongzhao.A Survey of Visual Tracking[J].Acta Automatica Sinica,2006,32(4):603-617.

[2]Yang H X,Shao L,Zheng F,et al.Recent Advances and Trends in Visual Tracking[J].Eurocomputing,2011,74(8): 3823-3831.

[3]Smeulders A,Chu D,Cucchiara R,et al.Visual Tracking:an Experimental Survey[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,36(7):1442-1468.

[4]Lowe D G.Scale&Affine Invariant Interest Point Detectors[J].International Journal of Computer Vision,2004,60 (1):63–86.

[5]Calonder M,Lepetit V,Fua P,et al.BRIEF:Binary Robust Independent Elementary Features[C]//Lecture Notes in Computer Science.Heidelberg:Springer Verlag,2010:778-792.

[6]Leichter I.Mean Shift Trackers with Cross-Bin Metrics[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(4):695-706.

[7]Bouguet J Y.Pyramidal Implementation of the Lucas Kanade Feature Tracker Description of the Algorithm[Z].Intel Micro-processor Research Labs,1999.

[8]Comaniciu D,Ramesh V,Meer P.Kernel-based Object Tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(5):564-577.

[9]Lim J,Ross D A,Lin R S,et al.Incremental Learning for Visual Tracking[C]//Advances in Neural Information Processing Systems.Canada:NIPC.2004:793-800.

[10]Ning J F,Zhang L,Zhang D,et al.Scale and Orientation Adaptive Mean Shift Tracking[J].IET Computer Vision,2012,6(1):52-61.

[11]Mukundan R,Ramakrishnan K R.Moment Functions in Image Analysis:Theory and Applications[M].Singapore: World Scientific Publishing,1998.

[12]Zivkovic Z,Kr?se B.An EM-like Algorithm for Color-Histogram-Based Object Tracking[C]//Proceedings of the IEEEComputer Society Conference on Computer Vision and Pattern Recognition.Los Alamitos:IEEE Computer Society,2004:798-803

[13]董文會(huì),常發(fā)亮,李天平.融合顏色直方圖及SIFT特征的自適應(yīng)分塊目標(biāo)跟蹤方法[J].電子與信息學(xué)報(bào),2013,35 (4):770-776.Dong Wenhui,Chang Faliang,Li Tianping.Adaptive Fragments-based Target Tracking Method Fusing Color Histogram and SIFT Features[J].Jounal of Electronics&Information Technology,2013,35(4):770-776.

[14]Bousetouane F,Dib L,Snoussi H.Improved Mean Shift Integrating Texture and Color Features for Robust Real Time Object Tracking[J].The Visual Computer,2013,29(3):155-170.

[15]Yin H P,Chai Y,Yang S X,et al.An Improved Mean-shift Tracking Algorithm Based on Adaptive Multiple Feature Fusion[C]//Lecture Notes in Electrical Engineering.Heidelberg:Springer Verlag,2012:49-62.

[16]Chen W H,Cao L J,Zhang J G,et al.An Adaptive Combination of Multiple Features for Robust Tracking in Real Scene [C]//Proceedings of the IEEE International Conference on Computer Vision.Piscataway:IEEE,2013:129-136.

[17]Chen E,Xu Y,Yang X,et al.Quaternion Based Optical Flow Estimation for Robust Object Tracking[J].Digital Signal Processing,2013,23(1):118-125.

[18]Kalal Z,Mikolajczyk K,Matas J.Tracking Learning Detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,6(1):1-14.

[19]Kalal Z,Mikolajczyk K,Matas J.Forward-backward Error:Automatic Detection of Tracking Failures[C]//Proceedings of International Conference on Pattern Recognition.Piscataway:IEEE,2010:2756-2759.

[20]Babenko B,Belongie S,Yang M H.Visual Tracking with Online Multiple Instance Learning[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops.Piscataway:IEEE Computer Society,2009:983-990.

[21]Everingham M,Van Gool L,Williams C K,et al.The pascal Visual Object Classes(VOC)Challenge[J].Interational Journal of Computer Vision,2010,88(2):303-338

[22]Oron S,Bar-Hillel A,Levi D,et al.Locally Orderless Tracking[J].International Journal of Computer Vision,2012,111(2):213-228.

（編輯:王 瑞)

Research on visual object tracking by fusing dynamic and static features

ZHANG Lichao,BI Duyan,ZHA Yufei,WANG Yunfei,MA Shiping
(School of Aeronautics and Astronautics Engineering,Air Force Engineering Univ,Xi’an 710038,China)

Traditionally,most tracking algorithms only use the single static feature or single dynamic feature to model the object.The static feature based model can not describe the object’s dynamic characteristics and is difficult to adapt to the changing object with a background cluster,abrupt movement and rotations.While the classical optical flow is able to describe local dynamic characteristics,it has aperture issues.Therefore,we present a new tracking method based on fusing the dynamic and static features adaptively:the dynamic feature is extracted by the bidirectional optical flow and error metric adaptively,and is fused with the static feature by the fusion weight efficiently.The fusion weight based covariance is constructed to evaluate error ellipse which describes the object’s scale and orientation exactly;the weight assignment parameter is updated by an on-line parameter updating mechanism,which balances the dynamic feature and static feature and ensures the tracking adaptation to the object’s velocity and scene changes.Experiments show that the proposed algorithm can achieve better tracking results compared with the related algorithms,on the occasions when the object moves abruptly and rotates with a background cluster.

dynamic feature;motion metric;static feature;features fusion;adaptation

TP391

A

1001-2400（2015)06-0164-09

10.3969/j.issn.1001-2400.2015.06.028

2014-05-28

時(shí)間:2015-03-13

國家自然科學(xué)基金資助項(xiàng)目（61472442,61203268,61202339)

張立朝（1990-),男,空軍工程大學(xué)碩士研究生,E-mail:zlichao2012@163.com.

查宇飛（1980-),男,副教授,E-mail:zhayufei@126.com.

http://www.cnki.net/kcms/detail/61.1076.TN.20150313.1719.028.html