應(yīng)用顏色與光流特征的粒子濾波的視頻跟蹤

宋佳聲,戴樂陽(集美大學(xué)輪機工程學(xué)院,福建省船舶與海洋工程重點實驗室,福建廈門361021)

?

應(yīng)用顏色與光流特征的粒子濾波的視頻跟蹤

宋佳聲,戴樂陽
(集美大學(xué)輪機工程學(xué)院,福建省船舶與海洋工程重點實驗室,福建廈門361021)

摘要:在視頻跟蹤系統(tǒng)中,為了在連續(xù)幀的圖像空間中找到移動目標(biāo)的坐標(biāo)、速度、大小以及旋轉(zhuǎn)等狀態(tài)信息,并且為了克服單一特征表征造成的可分性差的問題,提出了在3層粒子框架下的基于顏色和運動特征的濾波算法.首先,分析并提出了目標(biāo)候選模式和原型之間的顏色特征和光流特征的相似度測量方法.然后,通過首層位置粒子的衍生算法使得顏色與光流特征應(yīng)用于不同層次的粒子中,從而解決了多特征測量的融合問題.實驗結(jié)果表明,本算法在無遮擋時能夠不丟失地跟蹤目標(biāo),正確地估計目標(biāo)狀態(tài),并據(jù)此自適應(yīng)地調(diào)整跟蹤窗口的位置、大小和方向;在有遮擋時,算法能正確地預(yù)測目標(biāo)位置并在目標(biāo)重新出現(xiàn)后能夠及時捕捉目標(biāo)繼續(xù)跟蹤;本算法的位置跟蹤的相對誤差精度約10%.

關(guān)鍵詞:目標(biāo)跟蹤;粒子濾波;顏色模型;光流模型;層次粒子結(jié)構(gòu)

基于視頻的目標(biāo)跟蹤廣泛應(yīng)用于軍事、交通管理和安防監(jiān)控等領(lǐng)域.在20世紀(jì)60年代,貝葉斯理論被首次應(yīng)用于隨機濾波理論之中[1].隨后,蒙特卡羅采樣方法的引入得到了粒子濾波,從而使得貝葉斯濾波能夠?qū)崿F(xiàn)在線的參數(shù)或狀態(tài)估計[2].Doucet證明了粒子濾波的收斂性[3-4],Gorden等[5]提出的自助法解決了重采樣問題,很快它便被應(yīng)用到了視頻跟蹤領(lǐng)域[6-7].總體而言,這方面的研究圍繞以下兩個基本的問題展開.第一,目標(biāo)表觀建模.有的稱之為匹配問題,就是在所有可能的目標(biāo)中識別(估計)出目標(biāo)的運動信息.其主要內(nèi)容是在某個特征空間中對目標(biāo)原型與候選目標(biāo)進行相似性測量.常被采用的特征有輪廓[8-9]、顏色[10-12]、紋理[13]、特征點[14]、特征子圖等.因采用單一特征的視頻跟蹤常面臨候選目標(biāo)可分性差的問題,故而多采用融合多種特征的表觀模型[15-17].本文采用了顏色和光流特征作為表觀模型,與文獻[16]不同的是,本文并不需要計算粒子區(qū)域的光流直方圖,也不需討論融合模型的權(quán)值自適應(yīng)設(shè)計,而是將顏色與光流的計算分屬為兩個不同層次的問題.第二,目標(biāo)運動建模.其目的都是希望所建立的運動模型能夠給出在下一幀圖像中目標(biāo)的可能狀態(tài),為目標(biāo)的狀態(tài)估計提供先驗知識.本文將目標(biāo)狀態(tài)(位置、大小、方向)分解為3個層次的粒子結(jié)構(gòu),采用參數(shù)可調(diào)的二階回歸模型對頂層的位置粒子運動建模,然后,據(jù)此設(shè)計相應(yīng)的目標(biāo)自適應(yīng)的跟蹤算法.

1 視頻跟蹤系統(tǒng)的分析與建模

1.1狀態(tài)轉(zhuǎn)移模型

圖1(a)表示了在圖像坐標(biāo)下的目標(biāo)跟蹤窗口,或者稱為觀測窗口.隨著目標(biāo)移動而自適應(yīng)地“拖拽”窗口,使得被跟蹤目標(biāo)始終位于觀測窗口內(nèi),并根據(jù)目標(biāo)的大小與姿態(tài)調(diào)整窗口的尺寸與角度.目標(biāo)運動參數(shù)為:位置(xt,yt)、速度xtyt)、觀測窗口尺寸(rt, ct)及其與坐標(biāo)軸的夾角θt.

為降低狀態(tài)空間的維數(shù),將狀態(tài)向量St分解為3個層次的粒子,分別對應(yīng)位置、方向、大小.首先,考慮首層位置粒子,即目標(biāo)質(zhì)心點(觀測窗口中心),采用如式(1)二階回歸模型建模,其中Xt=[xt,yt]T,dt-1為過程噪聲,λ為0.5～1之間的速度因子.其次,考慮目標(biāo)的旋轉(zhuǎn)粒子,即姿態(tài)變化,以每一個位置粒子為中心旋轉(zhuǎn)觀測窗口的角度,并且在不同角度下分別選擇不同尺寸的粒子.圖1(b)所示每一個狀態(tài)粒子下產(chǎn)生了18個搜索粒子,對不同的角度、尺寸進行搜索.故形成3個層次的粒子:底層進行目標(biāo)大小搜索,中間層進行姿態(tài)(角度)搜索,頂層確定目標(biāo)的具體位置.

圖1　在圖像空間的跟蹤窗口和層次粒子Fig.1 Tracking window and hierarchic particles in image space

1.2狀態(tài)觀測模型

1.2.1基于顏色值的特征提取與相似性測量

根據(jù)文獻[10]提出的核函數(shù)直方圖,將模式中的每個像素投影到特征空間的特征向量乘一個[0,1]內(nèi)的系數(shù).受此啟發(fā)提出以下顏色值特征提取方法.首先,將每個通道的顏色值范圍[0,255]壓縮到[0,7].然后,模式特征向量Q的第u個特征值計算如式(2).

其中

所謂相似測量,就是考察原型模式與候選模式之間的相似性.將原型的特征向量記為Q,候選模式的特征向量記為P,某一個粒子對應(yīng)的候選模式與原型模式之間的Bhattacharyya距離定義為如下形式:d=,其中的系數(shù)定義為

最后,將距離轉(zhuǎn)化為[0,1]內(nèi)的概率,即當(dāng)前模式的似然概率:

這里存在的主要問題是,計算所得的各候選模式的似然概率過于接近[16,18].為了找到區(qū)分度更高的似然函數(shù),通過對式(3)在真值附近的一階泰勒展開式分析得到式(5).其中,pu≠0;若pu=0,則取p(Yt| Xit)=0,C為歸一化常數(shù).它考慮了觀測窗口中像素的位置和顏色特征:在模式的每一個像素點所對應(yīng)的特征下,都將兩者相應(yīng)的特征值相除并乘以其位置系數(shù),如此遍歷所有像素.

1.2.2基于運動的特征提取及相似性測量

光流是當(dāng)圖像傳感器與目標(biāo)物體之間有相對運動時圖像空間中亮度模式變化的速度.文獻[18]提出了光流直方圖并在此基礎(chǔ)上分析某區(qū)域的運動方向與強度,受此啟發(fā)并為了簡化光流算法的計算量,計算觀測窗口內(nèi)的總光流矢量如下:

首先,獲取觀測窗口范圍內(nèi)的連續(xù)的2幀(即t與t-1時刻的圖片),按照Horn-Schunck算法[19]計算觀測窗口的光流場{[ui,j,vi,j]T},i,j在觀測窗口內(nèi)取值.然后,對光流場中所有光流矢量求和并按固定比例κ縮小,得到觀測窗口內(nèi)在t時刻的總光流矢量:

最后,根據(jù)觀測窗口的總光流矢量計算它在跟蹤窗口坐標(biāo)中的角度,并轉(zhuǎn)化為[0,90°]內(nèi)的夾角ρt,據(jù)此作為相似性比較的依據(jù),取值最小者作為粒子對應(yīng)跟蹤窗口角度.

1.2.3模式原型特征的更新

環(huán)境或者目標(biāo)自身的改變都會引起模式原型特征的變化,相應(yīng)的原型特征向量需要實時更新.更新的依據(jù)一般是模式的觀察值或者估計值.考慮到粒子濾波輸出就是系統(tǒng)狀態(tài)的貝葉斯最優(yōu)估計,從理論上講它是比所有粒子更加接近于真值.因此,在任意t時刻,選取濾波器輸出的狀態(tài)估計值所對應(yīng)的模式特征PE(s(t))與目標(biāo)原型特征Qt進行比較,當(dāng)其相似性大于某個設(shè)定閥值時,則按式(8)更新;當(dāng)小于閥值時,說明出現(xiàn)了丟失目標(biāo)或者目標(biāo)被遮擋的情況,則不更新模式原型.

2 跟蹤算法的設(shè)計

2.1粒子惡化與重采樣技術(shù)

粒子濾波器經(jīng)過多次迭代之后會出現(xiàn)權(quán)重惡化的現(xiàn)象.為了解決這個問題,可對粒子實施重采樣算法.具體的重采樣算法主要有多項式分布重采樣、系統(tǒng)重采樣、分層重采樣以及殘差重采樣,各種重采樣的定義和比較見文獻[3,20].這里采用的是多項式分布重采樣算法.產(chǎn)生在[0,1]內(nèi)服從均勻分布的Ns個隨機數(shù),對任一個ukt,通過t時刻的粒子{Xit,的累積質(zhì)量函數(shù)的反函數(shù)曲線,找到對應(yīng)的粒子就是新的粒子,即得.由于每一個新采樣的粒子出現(xiàn)的機會均等,所以新粒子的權(quán)重都是1/Ns.這一過程如式(9)所示.

2.2跟蹤算法流程

本文跟蹤算法流程如圖2所示.在跟蹤初始,選定跟蹤目標(biāo)的最小矩形區(qū)域(跟蹤窗口),據(jù)此初始化目標(biāo)狀態(tài)參數(shù),并根據(jù)式(2)計算模式原型的顏色特征向量Q0.將狀態(tài)向量中的位置信息作為首層狀態(tài)粒子.根據(jù)均勻的先驗分布,在(x0,y0)周圍采樣Ns個粒子,得到粒子濾波器初始狀態(tài)

在下一幀時,將系統(tǒng)的狀態(tài)轉(zhuǎn)移概率模型(式(8))作為重要性函數(shù),產(chǎn)生新的Ns個粒子,得到首層粒子的預(yù)測值,并據(jù)圖3所示向下衍生:自左而右為粒子衍生,自右而左為粒子參數(shù)求解過程.中間層粒子是根據(jù)首層粒子位置在3個不同角度下搜索目標(biāo),根據(jù)式(7)選取最優(yōu)角度;底層粒子進一步在所在位置中采用不同尺寸搜索,根據(jù)式(5)選取最優(yōu)尺寸.按圖2自右而左計算最終得到第k個粒子的狀態(tài)同理計算其他粒子.利用式(5)計算這Ns個粒子的似然概率并歸一化為相應(yīng)的權(quán)值,得的粒子濾波器,其中首層粒子為

圖3　粒子的衍生過程Fig.3 Particle derivative process

根據(jù)所得到的Ns個狀態(tài)值估計系統(tǒng)此刻的狀態(tài)值.根據(jù)E(st)獲取模式比較它與原型的相似性,并據(jù)此決定是否更新原型.若更新,則按照式(8)計算其特征作為新的目標(biāo)原型特征;否則進一步判斷目標(biāo)是否消失.若未消失,則進入重采樣進程;否則,退出.實驗中,當(dāng)觀測窗口內(nèi)的顏色特征與原型特征相似度小于0.7時,認為此時觀測窗口內(nèi)已經(jīng)沒有被跟蹤目標(biāo),即目標(biāo)丟失.其中,重采樣據(jù)式(9)執(zhí)行,獲得新的粒子濾波器,其中首層粒子濾波器為.最后,根據(jù)新的首層粒子在下一幀傳播以重復(fù)上述過程.

3　實驗結(jié)果與分析

在實驗中,算法的首層粒子數(shù)Ns等于20,程序均采用MATLAB 7.1編寫,表1是跟蹤視頻資料.

3.1行人跟蹤實驗

采用了2種不同的算法對Laboratory進行了實驗,實驗段為Laboratory的559～580幀.圖4(a)的圖片是采用Mean-shift算法(相應(yīng)的實驗程序編寫根據(jù)文獻[10]),圖4(b)的圖片是采用本文跟蹤算法的實驗結(jié)果.水平方向的跟蹤軌跡如圖5,算法在每一幀的耗時如圖6所示.

表1　實驗視頻大小及跟蹤范圍Tab.1 Video sizes and the tracking frames

由圖4與圖5可知,在遮擋發(fā)生(即第569幀)時, Mean-shift算法錯誤地估計目標(biāo)位置,且此后徹底丟失了目標(biāo).本文算法不但能在遮擋時正確估計目標(biāo)位置,且在遮擋消除后迅速的捕捉到目標(biāo)而繼續(xù)跟蹤(誤差均值15像素,誤差最大值28像素).由圖6可知,運行時間上的區(qū)別主要體現(xiàn)在首幀的初始化過程,Mean-shift為5.79 s,本文算法為1.17 s,在此后的跟蹤過程每幀耗時基本相同,平均每幀耗時分別為0.55和0.54 s.

3.2汽車跟蹤實驗

行駛的車輛在不同的幀中所呈現(xiàn)的角度和大小有很大的差異,本實驗?zāi)康脑谟趹?yīng)用本文算法估計目標(biāo)車輛的位置、大小和角度.目標(biāo)的速度由目標(biāo)中心的幀間差估計.

實驗的跟蹤效果如圖7所示.黑色矩形是狀態(tài)估計的輸出:矩形的中心、對角線以及與X軸的夾角分別對應(yīng)于目標(biāo)的位置、目標(biāo)大小以及運動方向.跟蹤窗口能夠根據(jù)當(dāng)前幀中目標(biāo)的狀態(tài)自適應(yīng)第調(diào)整窗口的位置、大小和方向.目標(biāo)基準(zhǔn)數(shù)據(jù)源于庫中的Gruand Truth文件.

圖4　行人實驗跟蹤結(jié)果Fig.4 Experimental results of people tracking

圖5　水平方向跟蹤軌跡比較Fig.5 Comparison of path tracking along X-axis

圖6　跟蹤時間比較Fig.6 Comparison of tracking time per frame

為衡量跟蹤精度,對跟蹤誤差進行了統(tǒng)計:以目標(biāo)在圖像空間的質(zhì)心作為實際位置,統(tǒng)計矩形中心對它的偏差,得到表2所示的統(tǒng)計結(jié)果.表中的相對誤差值(相對誤差=絕對誤差值(像素)÷目標(biāo)半徑(跟蹤窗口半徑))考慮了目標(biāo)尺寸的大小變化.從表2可知, 2種視頻中跟蹤誤差的絕對值差異明顯,PetsD3TeC1的絕對誤差較PetsD2TeC1大,這是由于目標(biāo)像素大小不同引起的:PetsD2TeC1中目標(biāo)半徑變化過程為63～91;PetsD2TeC1半徑變化范圍:149～90.比較2個視頻的相對誤差數(shù)據(jù),在2個方向上的相對值都比較接近.所以,這里選擇相對誤差值作為跟蹤精度的衡量指標(biāo),即選用考慮了目標(biāo)尺寸的相對誤差作為跟蹤精度的衡量尺度.據(jù)表1可知,本文算法的平均跟蹤誤差約為10%.

圖7　汽車跟蹤實驗結(jié)果Fig.7 Experimental results of vehicle tracking

表2　PetsD2TeC1與PetsD3TeC1的運動目標(biāo)位置跟蹤誤差統(tǒng)計結(jié)果Tab.2 Statistical results of position-tracking error in the two video:video 2 and 3.

4 結(jié) 論

在貝葉斯濾波的框架下,本文詳細分析了視頻跟蹤系統(tǒng)的狀態(tài)轉(zhuǎn)移模型與狀態(tài)觀測模型,提出了基于運動目標(biāo)顏色與運動特征的粒子濾波自適應(yīng)跟蹤算法.

首先,從目標(biāo)顏色特征的角度,在對顏色特征向量之間Bhattacharyya距離分解的基礎(chǔ)上提出了一種新的相似性計算方法.其次,從運動特征的角度提出,通過連續(xù)2幀的光流分析檢測目標(biāo)運動方向進而確定觀測窗口的旋轉(zhuǎn)角度,并以此作為不同粒子的相似性測量依據(jù).在跟蹤算法方面,從貝葉斯濾波理論與蒙特卡洛方法出發(fā),結(jié)合視頻跟蹤特點提出了粒子的3層設(shè)計結(jié)構(gòu),減少了系統(tǒng)狀態(tài)維數(shù)的設(shè)計,并且精簡了粒子數(shù)量.最后,設(shè)計了2種場景的實驗:人體跟蹤與遮擋情況下的跟蹤、剛體(汽車)運動跟蹤蹤.試驗中采用的20個首層粒子都能得到滿意的實驗效果.在沒有遮擋的情況下,濾波估計輸出的觀測窗口都能夠找到被跟蹤目標(biāo),并且根據(jù)目標(biāo)的變化自適應(yīng)地調(diào)整跟蹤窗口的大小和方向;在有遮擋的情形下也能夠正確地估計出目標(biāo)狀態(tài),并且在遮擋消除目標(biāo)重新出現(xiàn)后,算法能夠很快捕捉到并繼續(xù)跟蹤.實驗證明,本文算法能夠正確估計視頻中被跟蹤目標(biāo)的狀態(tài),位置的相對誤差約為10%.

參考文獻:

[1] HO Y,LEE R.A Bayesian approach to problems in stochastic estimation and control[J].Automatic Control, IEEE Transactions on,1964,9(4):333-339.

[2] KITAGAWA G.Non-Gaussian state-space modeling of nonstationary time series[J].Journal of the American Statistical Association,1987,82(400):1032-1041.

[3] DOUCET A,GODSILL S,ANDRIEU C.On sequential Monte Carlo sampling methods for Bayesian filtering[J]. Statistics and Computing,2000,10(3):197-208.

[4] CRISAN D,DOUCET A.Convergence of sequential Monte Carlo methods[R].Cambridge:University of Cambridge,2000.

[5] GORDON D,SMITH F M.Novel approach to nonlinear and non-Gaussian Bayesian state estimation[J].IEEE Proceedings-F,1993,140(2):107-113.

[6] ISARD M A.Visual motion analysis by probabilistic propagation of conditional density[D].Oxford:University of Oxford,1998.

[7] KUN W,LIU X P.Visual object tracking based on filtering methods[C]∥2011 IEEE Instrumentation and Measurement Technology Conference (I2MTC).Hangzhou,China:IEEE,2011:1-6.

[8] 宋佳聲,胡國清,焦亮.改進的幾何活動輪廓演化及其在目標(biāo)跟蹤中的應(yīng)用[J].華南理工大學(xué)學(xué)報(自然科學(xué)版),2015,42(1):72-78.

[9] LI C,XU C,GUI C,et al.Distance regularized level set evolution and its application to image segmentation[J]. IEEE Transactions on Image Processing,2010,19(12): 3243-3254.

[10] COMANICIU D,RAMESH V,MEER P.Kernel-based object tracking[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2003,25(5):564-577.

[11] VALISKA J,MARCHEVSKY S,KOKOSKA R.Object tracking by color-based particle filter techniques in videosequences[C]∥Proceedings of 24th International Conference Radioelektronika.Bratislava,Slovak Republic: IEEE,2014:1-4.

[12] KIM S H,KIM J H,HWANG Y B,et al.Object tracking using KLT aided mean-shift object tracker[C]∥Control,Automation and Systems(ICCAS),2014 14th International Conference on.Gyeonggi-do,South Korea: IEEE,2014:140-145.

[13] DIWAKAR M,PATEL P K,GUPTA K,et al.Object tracking using joint enhanced color-texture histogram [C]∥2013 IEEE Second International Conference on Image Information Processing(ICIIP).Waknaghat, Shimla,H.P.,India:IEEE,2013:160-165.

[14] 牛長鋒,陳登峰,劉玉樹.基于SIFT特征和粒子濾波的目標(biāo)跟蹤方法[J].機器人,2010,32(2):241-247.

[15] LU X,SONG L,YU S,et al.Object contour tracking using multi-feature fusion based particle filter[C]∥Proceedings of the 2012 7th IEEE Conference on Industrial Electronics and Applications.Singapore:IEEE,2012: 237-242.

[16] 田雋,錢建生,李世銀,等.應(yīng)用自適應(yīng)多測量融合粒子濾波的視場跟蹤[J].光學(xué)精密工程,2010,18(10): 2254-2261.

[17] SONG J,HU G.Multi-feature visual tracking using adaptive unscented kalman filtering[C]∥The 2013 Sixth International Symposium on Computational Intelligence and Design.Hangzhou,China:IEEE,2013:197-200.

[18] 管志強,陳錢.基于光流直方圖的云背景下低幀頻小目標(biāo)探測方法[J].光學(xué)學(xué)報,2009,28(8):1496-1501.

[19] HORN B,SCHUNCK P.Determining optical flow[J]. Artificial Intelligence,1981,17:185-203.

[20] HOL J D,SCHON T B,GUSTAFSSON F.On resampling algorithms for particle filters[C]∥2006 IEEE Nonlinear Statistical Signal Processing Workshop. Cambridge,UK:IEEE,2006:79-82.

[21] The Imagelab Laboratory of University of Modena and Reggio Emilia.Video surveillance online repository[DB/ OL].[2015-01-30].http:∥www.openvisor.org.

[22] Computation Vision Group of University of Reading.Performance evaluation in tracking for surveillance(PETS) [DB/OL].[2015-01-30].http:∥ftp.pets.rdg.ac.uk.

Particle Filtering Based on Color and Optical-flow Features for Video Tracking

SONG Jiasheng*,DAI Leyang
(Fujian Provincial Key Laboratory of Naval Architecture and Ocean Engineering, School of Marine Engineering,Jimei University,Xiamen 361021,China)

Abstract:For purposes of finding targets'state information,such as coordinates,speeds,sizes,and rotation,and to tackle the poor discrimination of color features of different patterns,the filtering algorithm of the three-level-particle frame,based on color and optical-flow features,is proposed for video tracking systems.First,the similarity measuring methods of color and optical-flow features between the target's candidate pattern and its prototype is analyzed and proposed.Then,the color and optical-flow features are applied into different levels of the hierarchic particle filter by the first level position particle's derivative process,which resolves the problem of multi-feature measuring fusion.Experimental results indicate that the proposed algorithm estimates the target's state correctly and tracks the target's state with no failure by adjusting the tracking window's position,size,and rotation adaptively,when there is no occlusion.Furthermore,the algorithm predicts the target's position correctly under occlusion and catches the position shortly when the occlusion disappears.Finally,the algorithm's precision of position tracking is approximately 10% of relative errors.

Key words:target tracking;particle filtering;color model;optical flow model;hierarchy particle structure

*通信作者:songjsh@jmu.edu.cn

基金項目:交通部應(yīng)用基礎(chǔ)研究項目(2015329815220);福建省教育廳科研項目(JA14175)

收稿日期:2015-06-01 錄用日期:2015-10-08

doi:10.6043/j.issn.0438-0479.2016.02.023

中圖分類號:TP 391.4

文獻標(biāo)志碼:A

文章編號:0438-0479(2016)02-0285-06

引文格式:宋佳聲,戴樂陽.應(yīng)用顏色與光流特征的粒子濾波的視頻跟蹤[J].廈門大學(xué)學(xué)報(自然科學(xué)版),2016,55(2):285-290.

Citation:SONG J S,DAI L Y.Particle filtering based on color and optical-flow features for video tracking[J].Journal of Xiamen University(Natural Science),2016,55(2):285-290.(in Chinese)