基于改進(jìn)的均值漂移視頻目標(biāo)跟蹤算法

陳德凱，原 玲，郝祿國，張文忠

(廣東工業(yè)大學(xué) 信息工程學(xué)院，廣東 廣州510006)

圖像目標(biāo)跟蹤一直是計(jì)算機(jī)視覺領(lǐng)域研究的熱門課題，在人機(jī)交流、醫(yī)療診查、智能交通、視頻監(jiān)控、視頻檢索和壓縮等方面都有重要應(yīng)用。均值漂移(Mean Shift)理論用于目標(biāo)跟蹤是由Comaniciu 在2000 年CVPR(Computer Vision Pattern Recognition)會議上第一次提出來的，自提出以來眾多研究者由于它的計(jì)算開銷小、跟蹤性能好對它格外關(guān)注［1］。

針對以單一特征進(jìn)行跟蹤的MS(Mean Shift)算法存在的不足［2－3］，本文提出了一種改進(jìn)的基于幀間差分法多特征聯(lián)合MS 算法。算法第一步提取出目標(biāo)的顏色和邊緣特征，同時(shí)利用幀間差分法［4－5］提取目標(biāo)的運(yùn)動特征，用運(yùn)動特征分別與這兩個(gè)特征聯(lián)合，從而得到新的運(yùn)動－顏色和運(yùn)動－邊緣特征;第二步，基于加權(quán)求和的思想提出一種多特征融合方法，自適應(yīng)將以上兩種新的特征嵌入到MS 跟蹤算法框架中［6－7］。為了進(jìn)一步提高搜索的效率，算法最后利用Kalman 濾波器預(yù)測目標(biāo)在下一幀中出現(xiàn)的位置［8］。實(shí)驗(yàn)結(jié)果表明，本文提出的算法提高了經(jīng)典MS 算法對復(fù)雜背景、目標(biāo)變形、光照變化以及遮擋等多種情況的抗干擾性。

1 新的目標(biāo)模型

1.1 幀間差分法原理

兩幀圖像的差可以反映出圖像中運(yùn)動物體邊緣輪廓像素的運(yùn)動信息，利用這一原理將連續(xù)兩幀圖像對應(yīng)位置的像素相減，就可以將圖像中移動的目標(biāo)檢測并提取出來。兩幀差法基本的過程如圖1 所示［9］。

圖1 幀間差分法原理圖

幀間差分法的計(jì)算表達(dá)式為式(1)和(2)

式中:Dk為差別圖像;Rk為二值化的差別圖像;fk和fk－1分別為當(dāng)前幀和上一幀圖像;T 為判斷閾值;幀間差分法實(shí)驗(yàn)如圖2 所示。

圖2 幀間差分法實(shí)驗(yàn)

1.2 顏色特征模型

假設(shè)目標(biāo)在圖像序列上一幀的估計(jì)位置為y，{x }

i i=1，…，n 表示y 周圍目標(biāo)候選區(qū)域的像素位置，目標(biāo)的顏色直方圖可以通過下式建立其中，δ(·)為Kronecker delta 函數(shù);b(xi)是統(tǒng)計(jì)像素點(diǎn)到相應(yīng)顏色區(qū)間的函數(shù);Bc為顏色映射級數(shù);C 為歸一化常數(shù)，使得=1;u 為直方圖的顏色索引。

通過統(tǒng)計(jì)目標(biāo)顏色直方圖各顏色區(qū)間的像素點(diǎn)的個(gè)數(shù)，可以得到目標(biāo)顏色概率密度分布Mc，T，假設(shè)對應(yīng)的顏色特征觀測概率模型為pcolor(ZiMc，T)，令

其中:Zi表示xi處的觀測值表示時(shí)間t 像素xi是目標(biāo)圖像中一點(diǎn)的概率，那么一幀圖像對應(yīng)的顏色概率密度分布圖就可以通過圖像中每個(gè)像素的值求得。

1.3 邊緣特征模型

由于受光照、顏色影響較小，邊緣是視頻圖像中物體的重要特征。使用sobel 算子計(jì)算該像素點(diǎn)在x 方向和y 方向上的梯度值?I/?x 和?I/?y，則該邊緣點(diǎn)的梯度幅值G(x)和方向α 分別為

其中，α ∈[0° ，360°]。

目標(biāo)的邊緣特征直方圖he= { he(v})Bev=1通過下式建立

其中:b*(xi)是統(tǒng)計(jì)像素點(diǎn)到相應(yīng)顏色區(qū)間的函數(shù);C*是使得歸一化常數(shù);Be為邊緣映射級數(shù)。

通過統(tǒng)計(jì)目標(biāo)邊緣直方圖各顏色區(qū)間的像素點(diǎn)的個(gè)數(shù)，可以得到目標(biāo)邊緣概率密度分布Me，T，假設(shè)對應(yīng)的邊緣特征觀測概率模型為，令

其中，Zi表示xi處的觀測值，pe(xi，t)表示時(shí)間t 像素xi為目標(biāo)圖像中一點(diǎn)的概率，那么一幀圖像對應(yīng)的邊緣概率密度分布圖就可以通過圖像中每個(gè)像素的值求得。

1.4 新的運(yùn)動-顏色和運(yùn)動-邊緣特征模型

為了增加嘈雜環(huán)境下目標(biāo)跟蹤的穩(wěn)定性，提出采用幀間差分法提取目標(biāo)的運(yùn)動特征，然后利用它分別與顏色或邊緣特征聯(lián)合，得到新的運(yùn)動－顏色和運(yùn)動－邊緣特征。具體計(jì)算方法如下

其中，pm－c(xi，t)為當(dāng)前幀運(yùn)動－顏色概率分布圖;pm－e(xi，t)為運(yùn)動－邊緣概率分布圖;Rk為差分二值圖像。

2 目標(biāo)跟蹤算法

2.1 基于加權(quán)求和的多特征自適應(yīng)融合算法

本文提出一種基于加權(quán)求和的多特征自適應(yīng)融合算法。該算法依據(jù)前一幀目標(biāo)的狀態(tài)，分析各個(gè)特征信息的重要性，然后基于該重要性在當(dāng)前幀中為這些特征分配相應(yīng)的權(quán)值。其優(yōu)點(diǎn)在于可以自適應(yīng)調(diào)整各個(gè)特征的權(quán)重，充分發(fā)揮在不同跟蹤環(huán)境下各個(gè)特征的互補(bǔ)優(yōu)勢，為跟蹤增加穩(wěn)定性。設(shè)第t 幀為當(dāng)前幀，則其中各個(gè)特征的權(quán)重計(jì)算方法如下:

1)計(jì)算第t－1 幀中目標(biāo)參考模型各個(gè)特征的直方圖href(t )

－1，并計(jì)算目標(biāo)候選模型各個(gè)特征所對應(yīng)的直方圖hcan(t )

－1。然后通過計(jì)算Bhattacharyya 系數(shù)來衡量這兩個(gè)直方圖之間的相似程度

2)假設(shè)參考模型與候選模型中第j 個(gè)特征的直方圖的Bhattacharyya 距離為，則當(dāng)前幀中第j 個(gè)特征的權(quán)重為

t 越大;相反，當(dāng)兩直方圖越不相似時(shí)，^wj( )

t 的值越小。也可以這樣描述為，若第t－1 幀中第j 個(gè)特征起的重要性越大，特征j 的權(quán)重就變大，那么下一幀中該特征的權(quán)重就可以自動準(zhǔn)確的分配出來。

圖3 多特征自適應(yīng)融合過程圖

2.2 跟蹤算法

得到概率密度分布圖后，在當(dāng)前幀中以前一幀目標(biāo)所在位置為中心，在其周圍位置尋找概率密度最大區(qū)域，從而搜索目標(biāo)新位置。滿足一定條件下，MS 算法會收斂到概率密度分布的穩(wěn)定點(diǎn)，這個(gè)穩(wěn)定點(diǎn)就是搜索窗內(nèi)密度峰值的峰值點(diǎn)，即

當(dāng)g(x)為常數(shù)時(shí)，式(15)為MS 算法求搜索窗口質(zhì)心的函數(shù)，則搜索窗口的零階和一階矩分別為［10］

搜索窗的質(zhì)心為

基于幀間差分多特征融合的Mean Shift 跟蹤算法流程用以下步驟描述:

步驟1，選擇跟蹤目標(biāo)，以選擇區(qū)域作為初始搜索窗口，并初始化Kalman 預(yù)測器;

步驟2，計(jì)算目標(biāo)模型的pc(xi，t)和pe(xi，t);

步驟3，在后續(xù)幀中，以Kalman 預(yù)測器在下一幀圖像中預(yù)測的目標(biāo)位置為中心確定MS 算法進(jìn)行目標(biāo)跟蹤的搜索區(qū)域;

步驟4，通過幀間差分法獲得運(yùn)動特征，計(jì)算pm－c(xi，t)和pm－e(xi，t);

步驟5，利用式(11)～(14)，即新的多特征自適應(yīng)融合算法將融合，得到整體的概率密度分布圖p(xi，t);

步驟6，在融合后的概率密度分布圖上，通過式(17)計(jì)算目標(biāo)的新位置y1，如果迭代次數(shù)小于閾值且，其中ε 是允許最小誤差，則，返回步驟5。否則，迭代結(jié)束，轉(zhuǎn)至步驟7;

步驟7，利用目標(biāo)匹配時(shí)的Bhattacharyya 系數(shù)來判斷遮擋嚴(yán)重程度。當(dāng)目標(biāo)沒有遮擋或遮擋不嚴(yán)重時(shí)，則利用MS 算法得到的目標(biāo)位置來更新Kalman 預(yù)測器中的參數(shù);當(dāng)目標(biāo)被遮擋嚴(yán)重時(shí)，則利用Kalman 預(yù)測器得到的預(yù)測值更新其參數(shù)，并用該預(yù)測值作為目標(biāo)當(dāng)前位置［11］。返回步驟2，直至視頻結(jié)束。

3 實(shí)驗(yàn)結(jié)果與分析

為了測試本文算法的性能，在配置為Intel Core i3－3110M、2.40 GHz 主頻、4 Gbyte 內(nèi)存、獨(dú)立顯卡的計(jì)算機(jī)上進(jìn)行算法仿真實(shí)驗(yàn)。軟件開發(fā)環(huán)境為Visual Studio 2010，其中算法的實(shí)現(xiàn)借助了開放源代碼的計(jì)算機(jī)視覺庫OpenCV 中的部分函數(shù)。表1 列出了實(shí)驗(yàn)所用視頻的參數(shù)。

表1 視頻參數(shù)

3.1 相鄰相似顏色背景干擾、旋轉(zhuǎn)、光照變化發(fā)生時(shí)的目標(biāo)跟蹤

實(shí)驗(yàn)對象Video 1 為一群舞者在復(fù)雜的燈光條件下跳舞的視頻序列，如圖4 所示。舞者穿的上衣與黑色背景相似，第30 ～80 幀其中一個(gè)舞者轉(zhuǎn)了一個(gè)圈，第80 ～100 幀這個(gè)舞者受到舞臺燈光的強(qiáng)烈照射。利用文獻(xiàn)［12］算法，當(dāng)舞者突然旋轉(zhuǎn)時(shí)(第33 幀)，跟蹤結(jié)果出現(xiàn)誤差，到第54 幀時(shí)，跟蹤目標(biāo)丟失。這是因?yàn)楫?dāng)相似背景顏色干擾了顏色直方圖的分布時(shí)，可以利用邊緣特征對顏色變化不敏感的優(yōu)點(diǎn)來彌補(bǔ)這一不足，但是當(dāng)目標(biāo)同時(shí)發(fā)生旋轉(zhuǎn)時(shí)，基于顏色特征和邊緣特征融合的MS 算法結(jié)果出現(xiàn)誤差，甚至丟失目標(biāo)。而本文算法利用幀間差分法提取運(yùn)動特征，繼而用運(yùn)動特征分別與顏色和邊緣特征聯(lián)合來跟蹤目標(biāo)，有效彌補(bǔ)了顏色特征和邊緣特征的優(yōu)點(diǎn)都不能發(fā)揮時(shí)的跟蹤短板，準(zhǔn)確跟蹤到了目標(biāo)。

圖4 相鄰相似顏色背景、光照變化、旋轉(zhuǎn)下的跟蹤

圖5 顯示了兩種算法的跟蹤位置誤差，即跟蹤窗口的質(zhì)心位置與目標(biāo)實(shí)際質(zhì)心位置的誤差絕對值。其中，對目標(biāo)的實(shí)際質(zhì)心的位置采用逐幀手工標(biāo)定得到。由圖可以看到，相比于算法［12］，本文提出的算法所得到的跟蹤位置誤差更小。

圖5 跟蹤位置誤差對比

3.2 被遮擋時(shí)的目標(biāo)跟蹤

實(shí)驗(yàn)對象Video 2 來自PETS2009［13］圖像數(shù)據(jù)集，如圖6所示。一個(gè)穿白顏色衣服的女人穿過人群時(shí)被一塊路牌遮擋。在文獻(xiàn)［14］算法下，由于目標(biāo)被行人和路牌遮擋，從第33 幀開始跟蹤出現(xiàn)誤差，并在后續(xù)幀中將目標(biāo)錯誤的鎖定在燈桿上，丟失了目標(biāo)。而本文算法利用Kalman 預(yù)測器對目標(biāo)運(yùn)動軌跡進(jìn)行預(yù)測，圓形跟蹤窗口為Kalman 預(yù)測器的預(yù)測值，當(dāng)白衣女人被行人和路牌嚴(yán)重遮擋甚至完全遮擋時(shí)，仍能實(shí)現(xiàn)對白衣女人的準(zhǔn)確跟蹤。圖7 顯示了算法［14］和本文提出的算法的跟蹤位置誤差對比。

圖6 被遮擋時(shí)的目標(biāo)跟蹤

圖7 跟蹤位置誤差對比

文章最后通過圖像序列平均跟蹤位置誤差和跟蹤時(shí)間這2 個(gè)指標(biāo)對所提算法的性能進(jìn)行了定量分析，見表2。可以看出，本文算法的平均跟蹤位置誤差顯著低于文獻(xiàn)［12］、［14］的算法，顯示了優(yōu)越性。在跟蹤時(shí)間方面，雖然本文算法增加了運(yùn)動特征引導(dǎo)顏色特征和邊緣特征，以及利用Kalman 預(yù)測器對遮擋進(jìn)行預(yù)測，增加了平均跟蹤時(shí)間，但增加的時(shí)間并不明顯。

表2 平均跟蹤位置誤差與跟蹤時(shí)間

4 結(jié)語

提出了一種基于幀間差分多特征融合的MS 跟蹤算法，與只使用顏色特征和邊緣特征融合的MS 跟蹤算法相比，本文算法在顏色特征和邊緣特征均不能有效跟蹤的復(fù)雜情景中仍能進(jìn)行準(zhǔn)確的跟蹤。采用Kalman 預(yù)測器對目標(biāo)在下一幀中的軌跡進(jìn)行預(yù)測，對目標(biāo)被嚴(yán)重遮擋時(shí)具有一定的抗遮擋能力。從直觀跟蹤效果和定量分析兩方面可以看出，本文算法能夠在相鄰相似顏色背景、旋轉(zhuǎn)和光照變化以及遮擋發(fā)生條件下實(shí)現(xiàn)準(zhǔn)確跟蹤，提高了MS 目標(biāo)跟蹤算法的魯棒性。

［1］COMANICIU D，RAMESH V，MEER P.Real－time tracking of nonrigid objects using mean shift［C］//Proc.IEEE Conf.Computer Vision and Pattern Recognition.［S.l.］:IEEE Press，2000:142－149.

［2］COMANICIU D，RAMESH V，MEER P.Kernel－based object tracking［J］.IEEE Trans. Pattern Analysis and Machine Intelligence，2003，25(5):564－575.

［3］劉惟錦，章毓晉.基于Kalman 濾波和邊緣直方圖的實(shí)時(shí)目標(biāo)跟蹤［J］.清華大學(xué)學(xué)報(bào):自然科學(xué)版，2008，48(7):1104－1107.

［4］張春林，李小堅(jiān). 基于幀間差分和背景差分結(jié)合的Camshift 目標(biāo)跟蹤算法［J］.工業(yè)控制計(jì)算機(jī)，2014(6):118－120.

［5］鄔大鵬，程衛(wèi)平，于盛林. 基于幀間差分和運(yùn)動估計(jì)的Camshift目標(biāo)跟蹤算法［J］.光電工程，2010，37(1):55－60.

［6］王鑫，徐立軍. 圖像目標(biāo)跟蹤技術(shù)［M］. 北京:人民郵電出版社，2012.

［7］劉晴，唐林波，趙保軍，等. 基于自適應(yīng)多特征融合的均值遷移紅外目標(biāo)跟蹤［J］.電子與信息學(xué)報(bào)，2012，34(5):1137－1141.

［8］BRADSKI G，KAEBLER A.學(xué)習(xí)OpenCV(中文版)［M］. 于仕琪，劉瑞禎，譯.北京:清華大學(xué)出版社，2009.

［9］初紅霞，宋起超，王希鳳，等.基于幀間差分與Camshift 相結(jié)合的目標(biāo)跟蹤算法［J］.彈箭與制導(dǎo)學(xué)報(bào)，2008，28(3):85－88.

［10］丁業(yè)兵，王年，唐俊，等.基于顏色和邊緣特征CAMShift 目標(biāo)跟蹤算法［J］. 華東理工大學(xué)學(xué)報(bào):自然科學(xué)版，2012，38(1):69－74.

［11］閆鈞華，陳少華，艾淑芳，等. 基于Kalman 預(yù)測器的改進(jìn)的CAMShift 目標(biāo)跟蹤［J］.中國慣性技術(shù)學(xué)報(bào)，2014(4):536－542.［12］鄭玉鳳，馬秀榮，趙曉琳，等. 基于顏色和邊緣特征的均值遷移目標(biāo)跟蹤算法［J］.光電子·激光，2011，22(8):1231－1235.

［13］FERRYMAN J. Eleventh IEEE International workshop on performance evaluation of tracking and surveillance［EB/OL］.［2015－04－15］. http://www. cvg. rdg. ac. uk/PETS2009/a. html，June 25，2009.

［14］袁廣林，薛模根，韓裕生，等.基于自適應(yīng)多特征融合的mean shift目標(biāo)跟蹤［J］.計(jì)算機(jī)研究與發(fā)展，2010，47(9):1663－1671.