紅霞,司金龍,宋起超,于浩洋,韓 晶,張 鵬,秦 杰
(黑龍江工程學(xué)院 電氣與信息工程學(xué)院,黑龍江 哈爾濱 150050)
均值漂移優(yōu)化的粒子濾波目標(biāo)跟蹤方法初
紅霞,司金龍,宋起超,于浩洋,韓 晶,張 鵬,秦 杰
(黑龍江工程學(xué)院 電氣與信息工程學(xué)院,黑龍江 哈爾濱 150050)
為了實(shí)現(xiàn)粒子集的有效傳播,克服粒子濾波跟蹤時(shí)的退化問(wèn)題,提出尺度和方向自適應(yīng)的均值移動(dòng)優(yōu)化粒子濾波目標(biāo)跟蹤算法。用改進(jìn)的均值移動(dòng)作為一種優(yōu)化機(jī)制對(duì)粒子進(jìn)行傳播,使粒子能夠有效分散和聚類(lèi),有效解決退化問(wèn)題。最后將該方法應(yīng)用到真實(shí)圖像序列中,實(shí)驗(yàn)表明算法在性能和效率上有明顯提高。
均值移動(dòng);粒子濾波;自適應(yīng);跟蹤
粒子濾波是一種有發(fā)展前景而且被廣泛采用的視覺(jué)跟蹤方法。但在粒子的傳播過(guò)程中,由于粒子的過(guò)度發(fā)散或集中都會(huì)導(dǎo)致退化現(xiàn)象的發(fā)生,因此,需要粒子集的有效傳播來(lái)減少退化現(xiàn)象的發(fā)生。研究人員利用粒子濾波的開(kāi)放跟蹤框架體系,找到與它的結(jié)合點(diǎn),即在這種框架下引入各種方法與跟蹤技術(shù)實(shí)現(xiàn)粒子集的有效傳播。
作為跟蹤的主流方法之一,均值移動(dòng)算法在目標(biāo)跟蹤中的最大優(yōu)點(diǎn)是計(jì)算量很少,而且能實(shí)現(xiàn)對(duì)粒子的傳播,很適用于實(shí)時(shí)跟蹤系統(tǒng)?;诖?,研究人員提出了將均值移動(dòng)和粒子濾波算法相結(jié)合來(lái)解決此類(lèi)問(wèn)題,提高算法整體的實(shí)時(shí)性。幾種混合粒子濾波器/均值移動(dòng)跟蹤方法已經(jīng)被提出,Maggio等[1]在每次Condensation迭代中使用均值移動(dòng)跟蹤將粒子向評(píng)價(jià)函數(shù)的局部極大值處移動(dòng)。算法顯示了比凝聚算法和核均值移動(dòng)更多的優(yōu)勢(shì),但還有一些缺限。如果凝聚趨向于一個(gè)不正確的局部最大值,均值移動(dòng)將加速這一過(guò)程。
通過(guò)對(duì)文獻(xiàn)[2-5]中粒子濾波算法的深入分析還發(fā)現(xiàn),算法重點(diǎn)在于能同時(shí)使粒子交替分散和聚類(lèi),提供某種程度的平衡,在減少粒子集的同時(shí),避免粒子退化和采樣貧瘠。本文使用尺度和方向自適應(yīng)的均值移動(dòng)算法(SOAMST)[6]聚類(lèi)粒子集,最終完成粒子的有效傳播,有效地處理了目標(biāo)遮擋和尺寸變化情況下的跟蹤問(wèn)題。
應(yīng)用零階自適應(yīng)模型學(xué)習(xí)描述目標(biāo)狀態(tài)的變化。此模型在前k幀計(jì)算平均狀態(tài)速度,即為
因此,狀態(tài)轉(zhuǎn)移模型定義為
Xt=Xt-1+Ctvt.
(1)
式中:Ct∝Ek[ΔX],vt為零均值高斯白噪聲。粒子集通過(guò)這個(gè)簡(jiǎn)單的常速模型傳播。
為了獲得目標(biāo)候選狀態(tài)的顏色似然函數(shù),需要將候選空間直方圖和參考直方圖相比較。將空間直方圖看作加權(quán)高斯混合(每個(gè)空間直方圖的子空間作為權(quán)值ni的高斯分布)N(μi,∑i),Bhattacharyya系數(shù)推導(dǎo)為
(2)
dc(hx,href)=(1-ρ)1/2.
(3)
假定平方距離是指數(shù)分布,則顏色似然模型為
(4)
圖1給出均值移動(dòng)優(yōu)化粒子濾波目標(biāo)跟蹤算法的流程。下面將給出均值移動(dòng)優(yōu)化的粒子濾波目標(biāo)跟蹤算法實(shí)現(xiàn)步驟:
1)使用式(1)采樣粒子。
2)用尺度和方向自適應(yīng)變化的均值移動(dòng)算法(SOAMST)[7]對(duì)粒子進(jìn)行傳播,即對(duì)每個(gè)粒子進(jìn)行優(yōu)化直到所有的粒子都到達(dá)一個(gè)穩(wěn)定的位置。
(5)
3)權(quán)值更新。根據(jù)系統(tǒng)觀測(cè)模型中粒子的似然性確定權(quán)值。
(6)
4)模板更新。為了適應(yīng)光照和遮擋等外部因素的影響,算法在跟蹤過(guò)程中自適應(yīng)對(duì)模板進(jìn)行更新。假設(shè)當(dāng)前模板為P,預(yù)測(cè)位置的直方圖為Q,則當(dāng)兩者之間的Bhattachayya距離小于某個(gè)給定閾值T時(shí),才對(duì)模板Q進(jìn)行更新,否則認(rèn)為外部點(diǎn)影響比較大,不進(jìn)行更新。
圖1 均值移動(dòng)優(yōu)化粒子濾波目標(biāo)跟蹤算法的流程
Qnew=(1-η)×Q+η×P,
式中:η為調(diào)整參數(shù)。
5)計(jì)算后驗(yàn)概率,得到目標(biāo)狀態(tài),即
實(shí)驗(yàn)重點(diǎn)有兩個(gè)方面的內(nèi)容:一是粒子濾波和均值移動(dòng)優(yōu)化粒子濾波算法在目標(biāo)跟蹤中的效果對(duì)比。兩種算法在背景單一且沒(méi)有尺度變化和遮擋時(shí)的跟蹤效果不容易區(qū)分,主要考查在目標(biāo)有背景遮擋、尺度變化和有相似背景情況下算法的不同表現(xiàn);二是討論兩種算法在跟蹤同一目標(biāo)算法執(zhí)行時(shí)間的對(duì)比,實(shí)驗(yàn)中采用的特征提取方法及參數(shù)設(shè)置如下:
在目標(biāo)區(qū)域RGB空間顏色直方圖以N=N1N2N3=10×10×10個(gè)子空間計(jì)算,σc=5.5。目標(biāo)狀態(tài)X=(x,y,w,h),其中(x,y)為目標(biāo)的位置,(w,h)為目標(biāo)區(qū)域的寬、高。
4.1 遮擋視頻的實(shí)驗(yàn)結(jié)果及其分析
當(dāng)視頻中有運(yùn)動(dòng)遮擋物發(fā)生時(shí),跟蹤算法在跟蹤精度上會(huì)急劇下降。為了驗(yàn)證所提出算法對(duì)各種復(fù)雜場(chǎng)景條件視頻的跟蹤精度的提高,首先用來(lái)源于http://www.cse.psu.edu/~rcollins/CSE598G的有嚴(yán)重遮擋情況下航拍的車(chē)輛運(yùn)動(dòng)視頻進(jìn)行了測(cè)試。所用視頻中車(chē)輛在行駛過(guò)程中不時(shí)受到樹(shù)木或樹(shù)蔭的大部分或幾乎全部遮擋,樹(shù)木的高矮和樹(shù)蔭的大小也在不斷變化,有時(shí)只有車(chē)輛的極小部分區(qū)域在圖像序列中顯示。圖像序列中每幀圖像大小為640×480像素,共有450幀。
圖2和圖3給出了采用文獻(xiàn)[3]中的粒子濾波器和本文改進(jìn)方法跟蹤關(guān)鍵幀的跟蹤結(jié)果。從跟蹤結(jié)果能夠看出,所提出的算法對(duì)于這種嚴(yán)重遮擋的視頻仍能精確定位目標(biāo),而文獻(xiàn)[3]中的粒子濾波器則會(huì)發(fā)生較大偏差。盡管粒子濾波器可以通過(guò)使用較多粒子的隨機(jī)分布來(lái)預(yù)測(cè)目標(biāo)狀態(tài),但當(dāng)遮擋發(fā)生時(shí),只有很少的粒子能被分布在未被遮擋部分,這些粒子具有較大的權(quán)值,而遮擋部分的粒子權(quán)值則較小,因此,對(duì)目標(biāo)狀態(tài)的估計(jì)則主要由那些權(quán)值較大的粒子決定,此時(shí)粒子出現(xiàn)退化現(xiàn)象,最終造成跟蹤的偏差,從圖中還可以看出,遮擋發(fā)生時(shí)粒子濾波算法不能連續(xù)地跟蹤目標(biāo),即在跟蹤過(guò)程中當(dāng)遮擋發(fā)生后,不能很好地定位目標(biāo),瞬間或間斷幀內(nèi)丟失目標(biāo)。而應(yīng)用均值移動(dòng)算法對(duì)每一個(gè)粒子進(jìn)行優(yōu)化傳播,使每一個(gè)粒子都能以自適應(yīng)尺度和方向移動(dòng)到鄰域內(nèi)的最大值點(diǎn),更接近目標(biāo)真實(shí)分布,實(shí)現(xiàn)連續(xù)定位,同時(shí)算法采用了自適應(yīng)更新模板策略,遮擋結(jié)束后能恢復(fù)正確的跟蹤,最終得到目標(biāo)的準(zhǔn)確位置,從而實(shí)現(xiàn)精確跟蹤。結(jié)果表明,改進(jìn)的算法在受到嚴(yán)重遮擋的影響下依然能穩(wěn)定準(zhǔn)確地跟蹤到目標(biāo),保持了粒子濾波本身高魯棒性和抗遮擋能力強(qiáng)的特點(diǎn)。
圖2 退火粒子濾波跟蹤結(jié)果
圖3 本文改進(jìn)粒子濾波跟蹤結(jié)果
4.2 尺度變化視頻的實(shí)驗(yàn)結(jié)果及其分析
采用來(lái)源于文獻(xiàn)[8]的motinas_emilio_webcam_turning序列,從第1幀到110幀中被跟蹤的頭部有一個(gè)明顯的尺度變化過(guò)程,目標(biāo)從遠(yuǎn)離攝像機(jī)的位置向攝像機(jī)走來(lái),逐漸變大。圖4(a)采用文獻(xiàn)[3]中的粒子濾波器的跟蹤結(jié)果。其中:所采用的粒子數(shù)為500個(gè),可以看出這時(shí)的粒子濾波器不能對(duì)目標(biāo)位置進(jìn)行很好地估計(jì),當(dāng)目標(biāo)尺度變化時(shí),預(yù)測(cè)的目標(biāo)位置偏離了目標(biāo)。分析其原因是由于目標(biāo)狀態(tài)向量包含4個(gè)變量,在采用退火粒子濾波方法進(jìn)行目標(biāo)狀態(tài)估計(jì)時(shí),每個(gè)粒子的狀態(tài)在四維空間變換。如果想要得到對(duì)目標(biāo)狀態(tài)很好的估計(jì),必須使用大量的粒子。本文即使將粒子數(shù)增加到500個(gè),從圖中也可以看出,這時(shí)目標(biāo)的跟蹤精度比少于500個(gè)粒子時(shí)會(huì)有所提高,如圖4(a)第2幅圖表明粒子能較好地近似目標(biāo)狀態(tài)。然而在其后的各幀中,盡管采用較多的粒子數(shù)目,仍產(chǎn)生了偏差和跟蹤瞬間丟失現(xiàn)象。這是由退火粒子濾波器的跟蹤原理決定的,目標(biāo)不僅存在著位置的變化,而且存在尺度和方向的變化,使得目標(biāo)狀態(tài)搜索空間增大,很難通過(guò)采用大量粒子來(lái)估計(jì)目標(biāo)狀態(tài)。
圖4(b)給出了采用本文方法的跟蹤結(jié)果。與采用退火粒子濾波器的跟蹤方法相比,本文提出的方法中,只使用100個(gè)粒子,由于均值移動(dòng)算法對(duì)粒子濾波器的傳播過(guò)程的優(yōu)化作用,能夠自適應(yīng)地預(yù)測(cè)目標(biāo)的大小和位置,使跟蹤窗口能隨著目標(biāo)尺度的大小變化作出相應(yīng)調(diào)整,縮小目標(biāo)搜索區(qū)域。因此,僅需要較少的粒子來(lái)預(yù)測(cè)目標(biāo)的大致區(qū)域,大大提高了算法的實(shí)時(shí)性。
圖4 兩種算法的跟蹤比較
為了驗(yàn)證算法的執(zhí)行效率,圖5給出兩種算法在跟蹤實(shí)驗(yàn)中執(zhí)行時(shí)間的對(duì)比。由圖5可知,均值移動(dòng)優(yōu)化粒子濾波算法在實(shí)際跟蹤中平均執(zhí)行時(shí)間為15.456 5 ms。退火粒子濾波跟蹤算法在粒子數(shù)為500個(gè)的條件下平均執(zhí)行時(shí)間為84.564 0 ms,算法平均執(zhí)行時(shí)間接近粒子濾波算法的1/5。可以看出,本文算法只需用100個(gè)粒子就能有好的跟蹤效果,算法的實(shí)時(shí)性有很大提高。當(dāng)尺度驟變時(shí),退火粒子濾波器用來(lái)描述目標(biāo)狀態(tài)的粒子急劇增多或減少,這時(shí)候經(jīng)動(dòng)態(tài)模型傳播后粒子的可變參數(shù),如方向、速度、尺度等隨之突變,因此,算法瞬時(shí)計(jì)算粒子分布的運(yùn)算量增加,圖5中時(shí)間曲線(xiàn)可以看到出現(xiàn)了幾處較高的峰值。而改進(jìn)的算法由于在動(dòng)態(tài)模型傳播后使用均值移動(dòng)算法對(duì)每個(gè)粒子做聚集作用,有效抑制由于尺度驟變帶來(lái)的計(jì)算量急劇增大的影響。因此,圖5中算法運(yùn)算時(shí)間幾乎沒(méi)有出現(xiàn)較高的峰值,而且穩(wěn)定性更好。
圖5 兩種算法關(guān)鍵幀執(zhí)行時(shí)間比較
本文提出了均值移動(dòng)優(yōu)化的粒子濾波跟蹤方法。該算法通過(guò)使用尺度和方向自適應(yīng)的均值移動(dòng)算法對(duì)粒子進(jìn)行了有效的傳播,有效解決了粒子的退化問(wèn)題,增強(qiáng)了粒子濾波跟蹤的抗干擾能力和跟蹤精度。
[1]E. Maggio,A. Cavallaro,Hybrid particle filter and Mean Shift tracker with adaptive transition model[J]. Proc. Int. Conf. Acoustics,Speech,and Signal Processing,2005.
[2]朱明清,王智靈,陳宗海,等.基于灰色預(yù)測(cè)模型和粒子濾波的視覺(jué)目標(biāo)跟蹤算法[J].控制與決策,2012,(27)1:53-57.
[3]BLACKE DEUTSCHER,REID I. Articulated body motion capture by annealed particle filtering[J]. Proc. IEEE Conf. Computer Vision Pattern Recognition,2000.
[4]KHAN Z H,GU I Y. Robust visual object tracking using multi-mode anisotropic mean shift and particle filters[J]. IEEE Transactions on Circuits and Systems for Video Technology.2011,(21)1,74-87.
[5]KOICHIRO D,OKI K,TAKAYUKI O. Object tracking by the mean-shift of regional color distribution combined with the particle-filter algorithm[J]. In: Proc 17th Internat. Conf. on Pattern Recognition,2004,vol. 3,506-509P.
[6]NING J,ZHANG L,ZHANG D,et al. Scale and Orientation Adaptive Mean Shift Tracking[M]. in IET Computer Vision. 2010,1-23P .
[7]BIRCHFIELD S T,RANGARAJAN S. Spatiograms Versus Histograms for Region-Based Tracking[J]. Proc. CVPR,June 2005,1158-1163P.
[8]王亞?wèn)|,雷國(guó)華,安波,等.一種仿人足球機(jī)器人視覺(jué)系統(tǒng)環(huán)境特征獲取與識(shí)別方法[J].黑龍江工程學(xué)院學(xué)報(bào):自然科學(xué)版,2013,27(2):68-71.
[責(zé)任編輯:郝麗英]
Particle filter target tracking method optimized by mean shift
CHU Hong-xia,SI Jin-long,SONG Qi-chao,YU Hao-yang,HAN Jing,ZHANG Peng,QIN Jie
(College of Electrical and Information Engineering,Heilongjiang Institute of Technology,Harbin 150050,China)
In order to achieve the effective dissemination of the particle set and overcome the degradation of particle filter tracking,a particle filter target tracking algorithm optimalized by Scale and Orientation Adaptive Mean Shift is proposed. Considering improved mean shift as an optimization mechanism of particle propagation,the particles can be effectively dispersed and clustering,so the degradation problems can be effectively solved. Finally,this method is applied to the real image sequences. Experiments show that the performance and efficiency of the algorithm are significantly better.
mean shift;partilce filter;adaptive;tracking
2014-05-23
哈爾濱市科技局科技創(chuàng)新人才研究專(zhuān)項(xiàng)資金項(xiàng)目(RC2014QN009012);黑龍江省教育廳科學(xué)技術(shù)研究項(xiàng)目(12531528);黑龍江工程學(xué)院大學(xué)生創(chuàng)新訓(xùn)練項(xiàng)目(201311802100);黑龍江工程學(xué)院博士科學(xué)研究基金資助項(xiàng)目(2012BJ20)
初紅霞(1976-),女,講師,博士,研究方向:模式識(shí)別,計(jì)算機(jī)視覺(jué).
TP391
A
1671-4679(2014)05-0035-04