一種基于顏色和邊緣特征的Mean Shift目標(biāo)跟蹤算法

石祥濱，喬利英，劉 芳，吳杰宏

(沈陽航空航天大學(xué) a.計算機(jī)學(xué)院;b.工程訓(xùn)練中心，沈陽 110136)

在動態(tài)環(huán)境下進(jìn)行目標(biāo)跟蹤是當(dāng)今機(jī)器視覺中的一個研究熱點(diǎn)和難點(diǎn)，并被廣泛應(yīng)用于軍用和民用領(lǐng)域。目前，國內(nèi)外學(xué)者提出了許多不同的跟蹤算法［1－3］，但是這些算法大都是面向特定應(yīng)用環(huán)境的。為了提高跟蹤的魯棒性，許多人研究認(rèn)為利用多個特征進(jìn)行目標(biāo)跟蹤是解決這一問題的有效途徑。但是，多特征跟蹤存在的兩個問題即如何合理選擇目標(biāo)特征以及如何構(gòu)造有效的融合機(jī)制。文獻(xiàn)［4］使用串行結(jié)構(gòu)處理多個視覺線索，最大的特點(diǎn)就是跟蹤系統(tǒng)對環(huán)境和場景變化的自組織和自適應(yīng)力強(qiáng)。Collins等［5］將一種在線多特征自適應(yīng)選擇機(jī)制嵌入在均值漂移跟蹤方法中，但該方法本質(zhì)上還是只利用了目標(biāo)的顏色特征，當(dāng)目標(biāo)和背景相似時其跟蹤效果較差。對此，文獻(xiàn)［6］提出的算法從顏色和形狀－紋理等7個特征分量中選擇前兩個較可靠的特征集合來描述目標(biāo)，并且跟蹤過程中對模板進(jìn)行了更新。但該方法在模板跟蹤過程中是對一定間隔的幀數(shù)進(jìn)行模板更新，無法適應(yīng)跟蹤過程中的環(huán)境突變，所以不具有完全的自適應(yīng)性。王歡等［7］在Auxiliary粒子濾波框架內(nèi)將所有特征觀測進(jìn)行概率融合，并使用融合權(quán)系數(shù)計算法進(jìn)行擇優(yōu)過濾，跟蹤結(jié)果更可靠，但是該方法復(fù)雜度高，跟蹤實(shí)時性難以保證。

Mean Shift算法［8］是一種基于非參數(shù)概率密度估計的核跟蹤方法。該方法實(shí)時性好、易于實(shí)現(xiàn)，且對邊緣遮擋、目標(biāo)旋轉(zhuǎn)以及輕微的變形都不敏感，因而在人體目標(biāo)跟蹤中得到了廣泛應(yīng)用。但是，該算法魯棒性不高，原因是單一信息缺乏對光照變化及相似背景等的足夠強(qiáng)的區(qū)分性，而且缺乏有效的模板更新機(jī)制。

針對上面算法存在的缺陷，同時考慮Mean Shift方法的不足之處，本文提出了一種基于顏色和邊緣特征相融合的方法，并且對跟蹤過程中目標(biāo)的模板變化進(jìn)行及時更新。該方法首先在初始幀通過構(gòu)造目標(biāo)兩個特征的核密度模型來描述目標(biāo);然后在待檢測幀中使用相似度函數(shù)的加權(quán)融合來度量每個特征與模板的相似性;通過尋找候選目標(biāo)與模板的總體最大相似度來完成對目標(biāo)的定位;最后通過對目標(biāo)特征權(quán)值和模板的更新來避免跟蹤中模板漂移現(xiàn)象的發(fā)生。提出的方法在精確性和魯棒性方面對單一特征的Mean Shift跟蹤算法進(jìn)行了改進(jìn)，實(shí)驗(yàn)結(jié)果證明了本文提出的算法的有效性。

1 目標(biāo)特征提取

1.1 顏色特征描述

傳統(tǒng)Mean Shift方法通常采用RGB顏色空間，但是這種彩色空間具有分量間高度相關(guān)性且與人的視覺感知不一致的缺點(diǎn)。為了獲得對光照變化的魯棒性，減弱通道間的耦合關(guān)系，本文將輸入的彩色圖像從RGB顏色空間轉(zhuǎn)變到HSV空間。其中H(Hue)表示色調(diào)，S(Saturation)表示飽和度，V(Value)表示顏色的亮度。HSV顏色空間的兩個重要特點(diǎn)是:首先亮度分量與色調(diào)分量是分開的，V分量與圖像的彩色信息無關(guān)。其次，H與S分量與人感受色彩的方式緊密相連。這些特點(diǎn)使得HSV顏色空間非常適合人的的視覺系統(tǒng)對彩色感知特性進(jìn)行處理分析。計算公式［9］如下:

其中(R，G，B)分別代表紅、綠、藍(lán)像素值，取值范圍為［0，255］。H 的取值范圍為［0，360］。從公式(1)中觀察到，當(dāng)亮度值變得很高或者很低時，會導(dǎo)致H值發(fā)生較大波動。這樣會使反投影圖像表示不精確，同時也增加了噪聲。為了消除這種影響，本文對亮度設(shè)定閾值，剔除掉小于或者大于一定亮度值的像素。本文只考慮那些與亮度值大于10或者小于240對應(yīng)的H值。

為了簡便，本文僅提取H分量信息建立目標(biāo)顏色直方圖。首先將H值均勻劃分成m個小區(qū)間，每個小區(qū)間稱為直方圖的一個bin。然后，統(tǒng)計目標(biāo)區(qū)域內(nèi)落入每個直方圖區(qū)間的像素數(shù)。同時，使用核函數(shù)給靠近中心位置的像素賦予較高的權(quán)值，靠近邊緣的賦予較低權(quán)值，以降低背景噪聲的影響，提高顏色特征對目標(biāo)和背景的區(qū)分能力。這樣得到的色度特征向量為:Qc=(qc1，qc2，…qcm)，則第i個子區(qū)間對應(yīng)的bin的概率密度函數(shù)可以通過式(2)［8］計算得到:

基于HSV顏色直方圖的提取過程如圖1所示。

1.2 邊緣特征描述

圖1 HSV特征提取

邊緣是圖像最基本的特征之一。本文使用Sobel算子來檢測圖像的邊緣［10］。假設(shè)用G表示跟蹤窗口內(nèi)原圖像，Gx和Gy分別表示使用水平和垂直的Sobel算子對圖像進(jìn)行卷積運(yùn)算后得到的梯度圖像，則梯度大小為:G=，梯度方向?yàn)棣?arg tan。梯度方向的取值范圍為［0，π］。與顏色直方圖構(gòu)建方法一樣，將邊緣方向均勻劃分為n等分，形成的邊緣特征向量為Qe=(qe1，qe2，…，qen)，則第 i個特征值對應(yīng)的目標(biāo)邊緣概率密度函數(shù)用式(4)［8］計算得到:

其中Cc=1/k(‖q0－pj/h‖2)為歸一化常數(shù)使得=1。p0表示搜索窗口中心像素位置，{pj}j=1，…，n表示該區(qū)域內(nèi)像素位置，k(x)表示核函數(shù)，這里同樣使用Epanechikov核，h為核函數(shù)帶寬。dir(pj)函數(shù)用來計算像素pj所屬的子區(qū)間。邊緣方向直方圖的提取過程如圖2所示。

圖2 邊緣方向直方圖

2 相似性測量

Mean Shift跟蹤算法是基于最大化目標(biāo)模板與候選的中心加權(quán)直方圖計算得到的Bhattacharyya系數(shù)為準(zhǔn)則的。相似性度量函數(shù)可作為目標(biāo)模板和候選之間距離的相似性判據(jù)。這里我們定義目標(biāo)模板和候選這兩個離散分布之間的距離為［8］:

其中，pci和qci為顏色特征的候選目標(biāo)和模板，pei和qei為目標(biāo)的邊緣特征的候選和模板的表示。

3 目標(biāo)定位

ωcj和ωej分別表示顏色特征和邊緣特征所對應(yīng)的像素xj的權(quán)值。二者的計算公式相似，其中基于顏色的ωcj的計算公式如下:

注意到式(10)中第一項(xiàng)與第三項(xiàng)與y無關(guān)，第二項(xiàng)和第四項(xiàng)表示輪廓函數(shù)為k、權(quán)值為wω的核概率密度估計。則與總的相似性度量函數(shù)(7)對應(yīng)的Meanshift向量為:

其中g(shù)(x)=－k'(x)。獲得Mean Shift偏移向量之后，可以求得相應(yīng)的Mean Shift迭代公式(13)，使候選目標(biāo)從當(dāng)前位置y^迭代移動到新的位置，若‖y1－y0‖ ＜ε或迭代次數(shù) ＞N則停止迭代。

算法中通常取ε=0.5pixels和N=20。從式(9)和式(11)可以看出，本文算法中每個像素的權(quán)值由兩部分組成:一部分來自核函數(shù)g(x)，使得離候選目標(biāo)中心越遠(yuǎn)的點(diǎn)權(quán)值越小;另一部分來自wω，是根據(jù)每個特征的區(qū)分能力獲得的像素權(quán)值ω的加權(quán)和。特征的權(quán)值w越高，則跟蹤結(jié)果越依賴于該特征;反之則對跟蹤結(jié)果的影響越小。如果能夠根據(jù)不同的場景對每個特征設(shè)定不同的權(quán)值，就可以實(shí)現(xiàn)更加準(zhǔn)確可靠的跟蹤。

4 自適應(yīng)權(quán)值更新

在長時間的跟蹤過程中，場景可能會發(fā)生變化，比如光照變化或目標(biāo)姿態(tài)變化等?？紤]到不同的特征對場景中目標(biāo)與背景的區(qū)分能力是不同的，因此在目標(biāo)與候選目標(biāo)總的相似性度量值中應(yīng)該更相信那些區(qū)分能力強(qiáng)的特征，而區(qū)分能力弱的特征容易受到背景的干擾，影響跟蹤的穩(wěn)定性和魯棒性。故本文利用下式來評價每個特征對當(dāng)前場景的可分性:其中，ρtk表示特征k的模板在t時刻與當(dāng)前幀目標(biāo)之間的相似性測度。

考慮到當(dāng)場景(指背景和目標(biāo))遭遇到比較頻繁的突變時，僅依靠目標(biāo)在當(dāng)前幀的信息來確定特征權(quán)值，可能會使跟蹤變得不太穩(wěn)定。為了避免權(quán)值的更新對目標(biāo)變化過于敏感，更新公式如下:

5 模板更新

Mean Shift算法的缺陷之一就是缺乏必要的模板更新機(jī)制。若場景中突然發(fā)生了光照變化或者目標(biāo)自身發(fā)生了平移旋轉(zhuǎn)等變化，某些特征的模板和目標(biāo)相比已經(jīng)發(fā)生了很大的變化，導(dǎo)致二者的匹配度很低甚至無法匹配，這時需要及時更新該特征模板，保證跟蹤能持續(xù)穩(wěn)定的進(jìn)行下去。模板更新存在的一個主要問題是模板漂移，這是因?yàn)樵诟欉^程中，圖像中的背景像素被誤分類為目標(biāo)像素，導(dǎo)致模型逐漸偏離真實(shí)值。而本文利用兩個特征在跟蹤場景中的互補(bǔ)性，僅選擇那些權(quán)值較低即可分性差的特征進(jìn)行模板更新，而那些權(quán)值較高即對當(dāng)前場景適應(yīng)力強(qiáng)的則保持不變。這樣做，一方面可以避免錯誤的更新造成整個目標(biāo)模型的漂移，另一方面又可以使模板對目標(biāo)及環(huán)境變化有足夠的適應(yīng)性。具體方法是對本文的兩個特征的權(quán)值求最小值，若該值小于模板的可靠性閾值，則更新該模板，具體公式如下:

其中Td為特征的可靠性閾值，取值范圍為Td∈［0，0.5］。為了避免模板更新對目標(biāo)的變化過于敏感，根據(jù)下式更新目標(biāo)的模板:

6 實(shí)驗(yàn)及結(jié)果分析

本實(shí)驗(yàn)使用的硬件平臺為2.00 HZ的CPU，在Windows XP操作系統(tǒng)下的計算機(jī)，軟件平臺為 Microsoft VC++6.0編程環(huán)境，用 Open CV1.0為基礎(chǔ)進(jìn)行實(shí)現(xiàn)。采集環(huán)境為超市，測試視頻的圖像大小為720*576，共150幀圖像?；陬伾斑吘壧卣魅诤系暮烁櫵惴鞒倘缦?

(1)初始化:采用手工標(biāo)定的方法定位t=0時刻的目標(biāo)位置為，目標(biāo)的顏色及邊緣特征特征被均勻劃分為16份，形成的模板分別為qc和qe，權(quán)值分別為wc和we，算法的最大迭代次數(shù)為N=20，初始權(quán)值均為0.5，目標(biāo)跟蹤過程中使用的模板更新閾值為0.15，更新系數(shù)為0.8。

(2)以y0為候選目標(biāo)起始搜索位置，根據(jù)公式(2)和公式(4)計算候選目標(biāo)的顏色及邊緣特征模型;

(3)根據(jù)公式(9)計算候選目標(biāo)區(qū)域內(nèi)的每個特征的像素的權(quán)值;

(6)根據(jù)公式(12)計算每個特征在當(dāng)前場景下的可分性;

(7)利用公式(13)更新目標(biāo)的各個特征在下一幀中的權(quán)值;

(8)根據(jù)公式(14)選擇需要更新的特征模板，根據(jù)公式(15)更新該特征模板。

圖3 跟蹤結(jié)果對比

圖3給出了基于顏色特征(CMS)的跟蹤、文獻(xiàn)［6］提出的基于顏色、形狀和紋理(CSTMS)的自適應(yīng)跟蹤算法以及本文算法的實(shí)驗(yàn)結(jié)果。對比實(shí)驗(yàn)使用跟蹤結(jié)果的x坐標(biāo)誤差、y坐標(biāo)誤差來度量跟蹤結(jié)果的準(zhǔn)確程度，使用平均跟蹤時間(fps)來評價目標(biāo)的實(shí)時效果，如表1所示。各算法的跟蹤結(jié)果對比圖3從上到下依次為CMS、CMTMS以及本文算法，從左至右依次為圖像序列的第22、69、118和149幀。由于攝像機(jī)的運(yùn)動，主要測量在背景運(yùn)動情況下，目標(biāo)的平移、旋轉(zhuǎn)以及環(huán)境光照變化等對跟蹤的影響。由圖(3)可以看出，初始時刻在室內(nèi)光照未變化時，雖然目標(biāo)顏色和環(huán)境較為相似，但是CMS、CMTMS以及本文算法都能穩(wěn)定地跟蹤目標(biāo)，其中基于顏色的Mean Shift跟蹤效果最佳，其次是本文算法，CMTMS需要對所選擇的多個特征進(jìn)行優(yōu)先級排序，然后選擇可分性較好的兩個特征進(jìn)行跟蹤，故處理時間稍慢一些。從117幀開始場景中發(fā)生光照變化時，導(dǎo)致目標(biāo)外觀的亮度發(fā)生了急劇變化，顏色線索的可分性逐漸惡化，CMS方法出現(xiàn)跟蹤偏差，甚至有漂移的傾向。CMTMS提出的模型更新方法由于不能及時更新模型，所以也出現(xiàn)了跟蹤偏差。而本文方法利用了兩個特征在跟蹤過程中的互補(bǔ)作用。當(dāng)顏色特征的權(quán)值急劇減小時，形狀特征權(quán)值逐漸變大，這時主要依靠邊緣信息保證跟蹤的準(zhǔn)確性和穩(wěn)定性，從而克服了光照變化對跟蹤的影響。隨著對目標(biāo)顏色模型的及時更新，顏色特征的可分性逐漸增加，其權(quán)值也相應(yīng)地提高，圖4顯示了特征權(quán)值在跟蹤過程中的自適應(yīng)變化。

圖4 權(quán)值的自適應(yīng)變化

表1 跟蹤誤差(均值標(biāo)準(zhǔn)差)和平均每幀跟蹤時間對比

從表1可以看出，本文算法的X坐標(biāo)和Y坐標(biāo)的平均跟蹤誤差比CMS方法和CMTMS的跟蹤算法都較小。算法在未經(jīng)優(yōu)化的情況下，同時受實(shí)驗(yàn)環(huán)境的影響，實(shí)時性如表1所示，在理想化情況下完全可以達(dá)到實(shí)時跟蹤。

7 結(jié)論

本文使用多特征融合思想，利用特征之間的互補(bǔ)性，提出融合顏色和邊緣特征在Mean Shift跟蹤算法中，同時根據(jù)環(huán)境變化自適應(yīng)調(diào)整特征之間的權(quán)值，并通過一種選擇性模板更新策略，克服了跟蹤過程中產(chǎn)生的模板漂移問題。實(shí)驗(yàn)證明，在運(yùn)算時間增幅不明顯的情況下，改進(jìn)算法有效地提高了目標(biāo)跟蹤的魯棒性和精確性，并在動態(tài)相似背景、光照變化、目標(biāo)旋轉(zhuǎn)平移等變化等情況都具有良好的適應(yīng)性。作者認(rèn)為，如果在多特征融合框架下引入背景運(yùn)動補(bǔ)償機(jī)制，可有效的解決背景的大幅度運(yùn)動，我們對此將做進(jìn)一步研究。

［1］李培華.一種新穎的基于顏色信息的粒子濾波器跟蹤算法［J］.計算機(jī)學(xué)報，2009，32(12):2454－2463.

［2］ Nummiaro K，Koller-Meier E，Van-Gool L.An adaptive color-based particle filter［J］.Image and Vision Computing，2003，21(1):99 －110.

［3］ Comaniciu D，Ramesh V，Meer P.Kernel-based object tracking［J］.IEEE Transactions on Patten Analysis and Machine Intelligence，2003，25(5):564 －575.

［4］張海青，李厚強(qiáng).基于多線索的目標(biāo)跟蹤［J］.中國圖象圖形學(xué)報，2008，13(11):2187 －2196.

［5］ Collins R T，Liu Y X，Leordeanu M.Online selection of discriminative tracking features［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27(10):1631 －1643.

［6］ Junqiu Wang，Yasushi Yagi.Integrating color and shape-texture features for adaptive real-time object tracking［J］.IEEE Transactions on Image Processing，2008，17(2):235 －241.

［7］王歡，王江濤，任明武，等.一種魯棒的多特征融合目標(biāo)跟蹤新算法［J］.中國圖象圖形學(xué)報，2009，14(33):489－498.

［8］ Comaniciu D，Ramesh V，Meer P.Kernel-based object tracking［J］.IEEE Transactions Pattern Analysis and Machine Intelligence，2003，25(5):564 －575.

［9］朱虹.數(shù)字圖像技術(shù)與應(yīng)用［M］.北京:機(jī)械工業(yè)出版社，2011.

［10］岡薩雷斯.數(shù)字圖像處理(第二版)［M］.北京:北京電子工業(yè)出版社，2007.