基于視覺顯著性的均值漂移跟蹤算法*

樊祥錳， 尚振宏， 劉 輝， 錢 謙

(昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明650500)

基于視覺顯著性的均值漂移跟蹤算法*

樊祥錳， 尚振宏， 劉 輝， 錢 謙

(昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明650500)

為解決突變運(yùn)動(dòng)下的目標(biāo)跟蹤問題，提出了一種基于視覺顯著性的均值漂移跟蹤算法，將視覺注意機(jī)制運(yùn)用到均值漂移跟蹤框架中，利用時(shí)空顯著性算法對視頻序列進(jìn)行檢測，生成視覺顯著圖，從視覺顯著圖對應(yīng)的顯著性區(qū)域中建立目標(biāo)的顏色特征表示模型來實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)跟蹤。實(shí)驗(yàn)結(jié)果表明：該算法在攝像機(jī)搖晃等動(dòng)態(tài)場景下可以較準(zhǔn)確檢測出時(shí)空均顯著的目標(biāo)，有效克服了在運(yùn)動(dòng)目標(biāo)發(fā)生丟失和遮擋等情況下跟蹤不穩(wěn)定的問題，具有較強(qiáng)的魯棒性，從而實(shí)現(xiàn)復(fù)雜場景下目標(biāo)較準(zhǔn)確的跟蹤。

運(yùn)動(dòng)目標(biāo)跟蹤； 均值漂移； 視覺顯著性； 顯著圖

0 引 言

運(yùn)動(dòng)目標(biāo)跟蹤是在連續(xù)變化的圖像序列中找出目標(biāo)的位置和狀態(tài)的過程[1]，而目標(biāo)跟蹤實(shí)現(xiàn)的穩(wěn)定性和魯棒性則是要處理的主要問題。運(yùn)動(dòng)目標(biāo)跟蹤算法框架大體分為3種：基于粒子濾波的目標(biāo)跟蹤算法[2]框架，基于卡爾曼濾波的目標(biāo)跟蹤算法[3]框架，基于均值漂移的運(yùn)動(dòng)目標(biāo)跟蹤算法[4]框架。均值漂移(MeanShift)法在單一環(huán)境下對目標(biāo)的跟蹤能夠較準(zhǔn)確地實(shí)現(xiàn)，由于現(xiàn)實(shí)環(huán)境的復(fù)雜多樣性，算法對運(yùn)動(dòng)目標(biāo)大小和形狀的改變適應(yīng)性較差，目標(biāo)發(fā)生突變后不能自動(dòng)恢復(fù)，很難實(shí)現(xiàn)目標(biāo)跟蹤的準(zhǔn)確性和穩(wěn)定性。

運(yùn)動(dòng)發(fā)生突變主要分為跟蹤目標(biāo)發(fā)生遮擋、目標(biāo)移動(dòng)太快以及目標(biāo)丟失等，針對上述問題，基于MeanShift的多模板跟蹤算法[5]通過構(gòu)建并更新多樣性模板庫，提高了算法的穩(wěn)定性和魯棒性；基于時(shí)空上下文跟蹤算法利用局部上下文區(qū)域時(shí)空關(guān)系和跟蹤的目標(biāo)在貝葉斯框架中進(jìn)行建模，效果較魯棒；基于壓縮感知目標(biāo)跟蹤算法[6]對多尺度圖像特征運(yùn)用合適壓縮感知RIP條件的隨機(jī)感知矩進(jìn)行降維，然后采用簡單的樸素貝葉斯分類器在降維后的特征上進(jìn)行分類。在復(fù)雜場景下能夠?qū)δ繕?biāo)較準(zhǔn)確地跟蹤。

視覺注意機(jī)制[7]能自動(dòng)過濾掉非注意場景區(qū)域。利用計(jì)算機(jī)模仿人類視覺機(jī)制構(gòu)建視覺注意模型，并把視覺注意模型運(yùn)用到運(yùn)動(dòng)檢測[8]、運(yùn)動(dòng)識別和運(yùn)動(dòng)跟蹤[9～11]框架中，能夠提高算法的準(zhǔn)確性。本文利用人類視覺注意機(jī)制的研究成果，提出了一種基于視覺顯著性的MeanShift跟蹤算法，將時(shí)空顯著性算法融合到Meanshift跟蹤框架中，利用時(shí)空顯著算法檢測定位運(yùn)動(dòng)目標(biāo)。從顯著性區(qū)域中搜索與運(yùn)動(dòng)目標(biāo)模板最為相似的候選模板進(jìn)行跟蹤，屏蔽非顯著性區(qū)域?qū)δ繕?biāo)的干擾，有效克服了在運(yùn)動(dòng)目標(biāo)丟失和遮擋等情況下跟蹤不穩(wěn)定的問題，具有較強(qiáng)的魯棒性。

1 顯著性檢測算法

視覺顯著性檢測包括2種，即數(shù)據(jù)推動(dòng)的自底向上顯著性區(qū)域突顯和任務(wù)推動(dòng)的自頂向下目標(biāo)突顯。通過采用兩種策略注意機(jī)制相結(jié)合的方式計(jì)算獲取視頻序列中的時(shí)空顯著性。

本文利用4元數(shù)傅里葉相位譜時(shí)空變換的顯著性檢測算法[12](PQFT)檢測得到視頻序列的時(shí)空顯著圖，并運(yùn)用到均值漂移跟蹤框架中。顯著性檢測算法分為2個(gè)階段：1)構(gòu)建包含兩個(gè)顏色通道、一個(gè)強(qiáng)度通道和一個(gè)運(yùn)動(dòng)通道的4元數(shù)圖像，運(yùn)動(dòng)通道可以獲取具有運(yùn)動(dòng)目標(biāo)的時(shí)間顯著性，將視覺注意機(jī)制的視角從靜態(tài)序列轉(zhuǎn)變?yōu)檫\(yùn)動(dòng)目標(biāo)在時(shí)間和空間上均顯著的動(dòng)態(tài)序列；2)通過計(jì)算獲得視頻序列的時(shí)空顯著圖。采用4元數(shù)模型可實(shí)現(xiàn)對圖像特征的并行處理，并且能夠滿足算法的實(shí)時(shí)性.

1.1 構(gòu)建4元數(shù)圖像

假設(shè)F(t)表示時(shí)間 時(shí)刻的輸入圖像，t=1,2,…，T,T為所有序列幀的總數(shù)。F(t)分為紅、綠、藍(lán)3個(gè)顏色通道，表示為r(t),g(t),b(t)，那么可以將3個(gè)顏色通道擴(kuò)展為4個(gè)廣義的顏色通道

(1)

(2)

(3)

(4)

類似于人類視覺系統(tǒng)，當(dāng)信號傳入大腦中心區(qū)域時(shí)，神經(jīng)元對一種顏色的信號所刺激而興奮，當(dāng)另外一種顏色的信號傳入時(shí)，會(huì)對其進(jìn)行抑制，因此,顏色通道定義為

RG(t)=R(t)-G(t)

(5)

BY(t)=B(t)-Y(t)

(6)

強(qiáng)度通道和運(yùn)動(dòng)通道定義為

(7)

M(t)=|I(t)-I(t-τ)|

(8)

式中 τ為延遲系數(shù)，通常設(shè)定τ=3。

通過上述計(jì)算得到了4個(gè)通道的圖像：2個(gè)顏色通道,1個(gè)強(qiáng)度通道和1個(gè)運(yùn)動(dòng)通道。因此,4元數(shù)圖像可以表示為

q(t)=M(t)+RG(t)μ1+BY(t)μ2+I(t)μ3

(9)

式中 μi為權(quán)重系數(shù)，i=1,2,3,需滿足μ3=μ1μ2，q(t)為

q(t)=f1(t)+f2(t)μ2

(10)

f1(t)=M(t)+RG(t)μ1

(11)

f2=BY(t)+I(t)μ1

(12)

1.2 獲得時(shí)空顯著圖

將視頻序列圖像中每一個(gè)像素點(diǎn)表示為q(n,m,t)，(n,m)為空間坐標(biāo)，t為時(shí)間坐標(biāo)。4元傅里葉圖像變化為

Q[u,v]=F1[u,v]+F2[u,v]μ2

(13)

(14)

式中 (u,v)為頻域坐標(biāo)，N,M為圖像維度。4元逆傅里葉變化為

(15)

將q(t)表示為Q(t)的極坐標(biāo)形式為

Q(t)=‖Q(t)‖eμΦ(t)

(16)

式中 Φ(t)為Q(t)的相位譜。設(shè)定‖Q(t)‖=1，則只剩下相位信息Φ(t)。利用式(15)計(jì)算Q(t)重建為q′(t)

q′(t)=ρ0+ρ1(t)μ1+ρ2(t)μ2+ρ3(t)μ3

(17)

時(shí)空顯著圖S(t)為

S(t)=g*‖q′(t)‖2

(18)

式中 g為二維高斯平滑濾波。采用上述時(shí)空顯著性算法得到的圖像時(shí)空顯著圖如圖1所示。

圖1 時(shí)空顯著圖

2 基于視覺顯著性的MeanShift算法

視覺顯著性能有效抑制非顯著目標(biāo)的干擾，在顯著性區(qū)域中進(jìn)行目標(biāo)跟蹤能夠強(qiáng)化候選目標(biāo)信息的描述。通過視覺顯著性可有效篩選顯著信息，從而提供給運(yùn)動(dòng)目標(biāo)跟蹤算法，提高了目標(biāo)跟蹤算法的準(zhǔn)確性。MeanShift算法[4]利用相似函數(shù)度量函數(shù)評價(jià)前一幀目標(biāo)模型和候選模版的相似性，通過分別計(jì)算目標(biāo)區(qū)域和候選區(qū)域內(nèi)像素的顏色直方圖得到關(guān)于目標(biāo)模型和候選模型的描述，選擇使相似度量函數(shù)值最大的候選模型得到目標(biāo)模型的MeanShift向量。運(yùn)動(dòng)目標(biāo)的最終位置通過多次迭代得到。利用第1節(jié)計(jì)算視頻序列中的顯著圖，引入到MeanShift跟蹤框架中，首先對視頻序列計(jì)算顯著圖，然后從顯著圖對應(yīng)的顯著性區(qū)域中搜索與運(yùn)動(dòng)目標(biāo)模板最為相似的候選模板進(jìn)行跟蹤，使顏色直方圖更真實(shí)反映出目標(biāo)的特征。

2.1 目標(biāo)模型描述

從當(dāng)前幀中確定目標(biāo)區(qū)域，假設(shè)其中有n個(gè)像素用xi表示其位置,i=1,…,n，均勻劃分選取區(qū)域的灰度空間，得到由m個(gè)相等的區(qū)間構(gòu)成的灰度直方圖。目標(biāo)模型qu表示為

(19)

式中 y0為目標(biāo)中心位置；xi為目標(biāo)中心為原點(diǎn)的歸一化位置；h為帶寬；k為核函數(shù),常選用Epanechikov核函數(shù)；δ[b(xi)-u]為判斷目標(biāo)區(qū)域中像素xi處的灰度值是否屬于直方圖中第u個(gè)單元，屬于,則為1;否則,為0; c為歸一化系數(shù)。

2.2 候選模型描述

從顯著性區(qū)域中得到候選目標(biāo)的中心位置坐標(biāo)f為根據(jù)上一幀的目標(biāo)中心位置f0為搜索窗口中心得到，則候選目標(biāo)模型為

(20)

式中 y為候選區(qū)域目標(biāo)中心。

2.3 相似性度量

利用相似性函數(shù)表示目標(biāo)模型和候選目標(biāo)模型的相似水平，通過目標(biāo)和候選目標(biāo)顏色直方圖的Bhattacharyya系數(shù)得到

(21)

2.4 MeanShift迭代過程

為得到最大的相似函數(shù)，對式(21)進(jìn)行泰勒展開，得到系數(shù)的近似表達(dá)

(22)

式中 權(quán)值wi為

(23)

式(22)中第二項(xiàng)隨y變化，其目標(biāo)中心位置可以通過候選區(qū)域中心向真實(shí)區(qū)域中心的迭代完成，在一幀中找到目標(biāo)位置需要迭代若干次才能得到最終的目標(biāo)中心位置。

2.5 整體算法流程描述

1)利用1節(jié)時(shí)空顯著性檢測算法檢測圖像序列的時(shí)空顯著性區(qū)域；

2)在當(dāng)前幀中以y0為起點(diǎn)，利用式(20)計(jì)算顯著性區(qū)域中候選目標(biāo)的特征模型Pu(y0),u=1,…,m；

3)利用式(21)計(jì)算目標(biāo)與候選目標(biāo)的相似度ρ[p(y0),q]；

4)利用式(23)計(jì)算權(quán)值wi,i=1,…,m；

式中 g(x)=-k′(x)；

6)若‖y1-y0‖<ε，停止；否則，轉(zhuǎn)步驟(2)。

3 實(shí)驗(yàn)結(jié)果分析

3.1 實(shí)驗(yàn)仿真

為驗(yàn)證本文基于視覺顯著性的MeanShift算法的穩(wěn)定性與準(zhǔn)確性，采用目標(biāo)在運(yùn)動(dòng)過程中有遮擋發(fā)生的國際公共視頻序列[13]進(jìn)行運(yùn)動(dòng)目標(biāo)跟蹤遮擋測試，旨在運(yùn)動(dòng)目標(biāo)發(fā)生丟失、遮擋等突變運(yùn)動(dòng)情況下能夠準(zhǔn)確地跟蹤目標(biāo)，并與傳統(tǒng)MeanShift跟蹤算法[4]、基于MeanShift多模板跟蹤算法[5]、基于時(shí)空上下文跟蹤算法以及基于壓縮感知目標(biāo)跟蹤算法進(jìn)行比較。

圖2和圖3為當(dāng)目標(biāo)發(fā)生遮擋、丟失時(shí)各算法的跟蹤結(jié)果，(a)，(c)，(d)都難以處理突變運(yùn)動(dòng)，跟蹤的魯棒性和準(zhǔn)確性較差，對目標(biāo)進(jìn)行跟蹤時(shí)容易跟蹤到其他物體上造成目標(biāo)丟失。(b)在目標(biāo)發(fā)生嚴(yán)重遮擋時(shí)可以恢復(fù)跟蹤，但是還有待提高跟蹤的穩(wěn)定性和準(zhǔn)確性。而(e)本文算法可以對目標(biāo)準(zhǔn)確定位，跟蹤效果較魯棒。將時(shí)空顯著性融合到均值漂移跟蹤框架中，從顯著區(qū)域中提取目標(biāo)特征模型，屏蔽非顯著區(qū)域?qū)δ繕?biāo)區(qū)域的干擾，跟蹤結(jié)果魯棒于上述其他運(yùn)動(dòng)目標(biāo)跟蹤算法。

圖2 視頻序列Girl跟蹤結(jié)果

圖3 視頻序列Boy跟蹤結(jié)果

3.2 定量分析

為進(jìn)一步驗(yàn)證本文算法的準(zhǔn)確性和穩(wěn)定性，利用中心位置誤差對實(shí)驗(yàn)結(jié)果進(jìn)行定性分析。中心位置誤差指的是預(yù)測目標(biāo)中心位置和真實(shí)目標(biāo)中心位置像素的偏差，圖4給出了本文跟蹤算法和其余4種跟蹤算法在不同視頻集上中心位置誤差曲線的比較。

圖4 各跟蹤算法的中心位置誤差曲線

圖4可以看出：4種對比算法在運(yùn)動(dòng)目標(biāo)發(fā)生遮擋時(shí)目標(biāo)中心都基本上偏離了真實(shí)目標(biāo)中心位置，而本文算法的目標(biāo)中心位置的偏差較小。傳統(tǒng)MeanShift目標(biāo)跟蹤算法、基于時(shí)空上下文跟蹤算法、基于壓縮感知目標(biāo)跟蹤算法在未發(fā)生遮擋等突變運(yùn)動(dòng)前跟蹤的結(jié)果較準(zhǔn)確，但之后目標(biāo)發(fā)生了嚴(yán)重的遮擋，當(dāng)前幀獲取不到完整的信息，造成了跟蹤目標(biāo)的丟失。而基于MeanShift多模板目標(biāo)跟蹤算法能夠有效的在目標(biāo)發(fā)生嚴(yán)重遮擋時(shí)恢復(fù)跟蹤，但在跟蹤過程中目標(biāo)跟蹤的魯棒性還有待完善。本文算法將時(shí)空顯著性融合到MeanShift跟蹤算法中，從最顯著的區(qū)域中建立目標(biāo)的特征表示模型，能夠保持與真實(shí)目標(biāo)位置較小的誤差，目標(biāo)跟蹤的效果較魯棒。

運(yùn)動(dòng)目標(biāo)跟蹤成功的幀數(shù)與視頻圖像序列的總幀數(shù)的比值定義為運(yùn)動(dòng)目標(biāo)跟蹤成功率。當(dāng)前幀跟蹤成功的標(biāo)志就是目標(biāo)的真實(shí)中心位置在預(yù)測的運(yùn)動(dòng)目標(biāo)區(qū)域內(nèi)。由表1可以看出本文算法的跟蹤成功率優(yōu)于其余4種算法。

表1 5種算法在視頻序列中的跟蹤成功率 %

4 結(jié)束語

為解決突變運(yùn)動(dòng)下的目標(biāo)跟蹤問題，本文提出了基于視覺顯著性的MeanShift跟蹤算法，利用時(shí)空顯著性檢測算法對視頻序列進(jìn)行檢測，生成顯著圖，從顯著圖對應(yīng)的顯著性區(qū)域中搜索與運(yùn)動(dòng)目標(biāo)模板最為相似的候選模板進(jìn)行跟蹤，屏蔽非顯著性區(qū)域?qū)δ繕?biāo)的干擾。實(shí)驗(yàn)證明:當(dāng)運(yùn)動(dòng)發(fā)生突變時(shí)，本文算法不僅在動(dòng)態(tài)場景下可較準(zhǔn)確檢測出時(shí)間和空間均顯著的運(yùn)動(dòng)目標(biāo)，還能夠有效解決目標(biāo)發(fā)生遮擋后的目標(biāo)跟蹤問題，在復(fù)雜場景下可實(shí)現(xiàn)目標(biāo)較準(zhǔn)確的跟蹤，具有較強(qiáng)的魯棒性。下一步將考慮融合更多的特征對目標(biāo)進(jìn)行描述，來增加目標(biāo)跟蹤的魯棒性。

[1] 張亞紅,楊 欣,沈 雷,等.基于視覺顯著性特征的自適應(yīng)目標(biāo)跟蹤[J].吉林大學(xué)學(xué)報(bào):信息科學(xué)版,2015,33(2):195-200.

[2] Zhu Mingqing,Wang Zhiling,Chen Zonghai.Human visual intelligence and particle filter based robust object tracking algori-thm[J].Control and Decision,2012,27(11):1720-1724.

[3] 萬頃浪,張殿福.基于卡爾曼粒子濾波的目標(biāo)跟蹤算法[J].電子科技,2013,26(8):7-9,12.

[4] Comaniciu D,Ramesh V,Meer P.Real-time tracking of non-rigid objects using mean shiftspace[C]∥Proceedings of IEEE Confe-rence on Computer Vision and Pattern Recognition,2000:142-149.

[5] 丁曉鳳.基于MEAN SHIFT的多模板目標(biāo)跟蹤算法的研究[D].昆明:昆明理工大學(xué),2016.

[6] 安 寧,閆 斌,熊 杰.基于壓縮感知的多尺度絕緣子跟蹤算法[J].傳感器與微系統(tǒng),2016,35(3):140-143.

[7] 黎萬義,王 鵬,喬 紅.引入視覺注意機(jī)制的目標(biāo)跟蹤方法綜述[J].自動(dòng)化學(xué)報(bào),2014,40( 4):561-576．

[8] Li Z,Xu J,Wang Y,et al.Saliency detection based on protoobjects and topic model[C]∥2011 IEEE Workshop on Applications of Computer Vision(WACV),[S.l.]:IEEE,2011:125-131．[9] Zhang Q,Li B.Artificial intelligence and computational Intelligence[M].Berlin Heidelberg:Springer,2011:433-438.

[10] Li Z,Wang W,Wang Y,et al.Visual tracking by proto-objec-ts[J].Pattern Recognition,2013,46(8):2187-2201．

[11] 聶曉華，張夫鳴.針對臨近空間目標(biāo)跟蹤的AMCKF算法[J].現(xiàn)代雷達(dá)，2016，38(5)：49-53.

[12] Guo C,Ma Q,Zhang L.Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform[C]∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2008:1-8.

[13] Choi W,Shahid K,Savarese S. The 9th International Workshop on Visual Surveillance in Conjuction with ICCV[EB/OL].(2012—05—03)[2015—03—08].http:∥wwweb.eecs.umich.edu/vision/activity-dataset.html

Meanshift tracking algorithm based on visual saliency*

FAN Xiang-meng, SHANG Zhen-hong, LIU Hui, QIAN Qian

(College of Information Engineering and Automation,Kunming University of Science and Technology, Kunming 650500,China)

In order to solve target tracking problem under circumstances of abrupt motion,a meanshift tracking algorithm based on visual significance is proposed.The visual attention mechanism is applied to the framework of mean shift tracking,the video sequence is detected by using the spatial and temporal saliency algorithm,and the visual saliency map is generated.According to the visual figure corresponding significant area,from which target color characteristics of the saliency model is established to realize moving target tracking.Experimental results show that the proposed algorithm can accurately detect obvious spatial and temporal targets in the dynamic scene,and the algorithm effectively overcomes the problem of tracking instability in the case occlusion and loss of moving objects,it has strong robustness,so as to realize accurate tracking of target under complex scene.

moving object tracking； meanshift； visual saliency； saliency map

2016—06—24

國家自然科學(xué)基金資助項(xiàng)目(61462052,31300938)

10.13873/J.1000—9787(2017)06—0130—04

TP 212

A

1000—9787(2017)06—0130—04

樊祥錳(1990-)，男，碩士研究生，主要研究方向?yàn)橛?jì)算機(jī)視覺、模式識別、圖像處理。

尚振宏(1975-)，通訊作者，博士，副教授，CCF會(huì)員，主要從事計(jì)算機(jī)視覺、圖像處理研究工作，E-mail:shangzhenhong@126.com。