邊界約束的核密度估計(jì)紅外人體目標(biāo)跟蹤方法

郭永彩，王 琨，高 潮

邊界約束的核密度估計(jì)紅外人體目標(biāo)跟蹤方法

郭永彩，王 琨，高 潮

（重慶大學(xué)光電工程學(xué)院光電技術(shù)及系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室，重慶400030）

基于核密度估計(jì)的均值漂移算法因其良好的實(shí)時(shí)性而被廣泛地應(yīng)用于目標(biāo)跟蹤，但傳統(tǒng)的均值漂移算法極易因顏色等信息的缺乏而使跟蹤不穩(wěn)定，且目標(biāo)尺度的變化也不利于目標(biāo)位置的準(zhǔn)確估計(jì)，為此，提出了一種具有邊界約束的均值漂移紅外人體目標(biāo)跟蹤新方法。該方法通過各向異性擴(kuò)散，并聯(lián)合紅外圖像的梯度與亮度信息來獲取目標(biāo)邊界，自適應(yīng)調(diào)整核窗寬，從而利用均值漂移策略進(jìn)行紅外人體目標(biāo)跟蹤。實(shí)驗(yàn)結(jié)果表明，該方法在紅外人體目標(biāo)尺度改變時(shí)仍能實(shí)現(xiàn)良好的跟蹤。

紅外目標(biāo)跟蹤；人體；邊界約束；均值漂移；核窗寬

1 引 言

基于紅外圖像的目標(biāo)跟蹤技術(shù)在紅外制導(dǎo)、偵察等軍事領(lǐng)域及視頻監(jiān)控、輔助駕駛等民用領(lǐng)域都發(fā)揮著重要作用［1－2］。而人體目標(biāo)作為環(huán)境中的主要因素，一直以來都是目標(biāo)跟蹤領(lǐng)域的研究熱點(diǎn)和難點(diǎn)。

目前存在的目標(biāo)跟蹤方法有很多，比如卡爾曼濾波［3］跟蹤，其前提是假設(shè)目標(biāo)運(yùn)動(dòng)模型滿足線性高斯分布的動(dòng)態(tài)系統(tǒng)，但人體的運(yùn)動(dòng)往往具有隨意性、不確定性，這使得卡爾曼濾波在人體目標(biāo)跟蹤中有著一定的局限性；粒子濾波［4］克服了卡爾曼濾波局限于高斯線性分布的不足，可以用于人體目標(biāo)的跟蹤，但是該算法的實(shí)時(shí)性較差且會(huì)面臨粒子退化問題；均值漂移算法是一種核密度估計(jì)算法，由Fukunaga［5］首次提出，然后Comaniciu和Meer等人［6－7］將其成功運(yùn)用于人體等非剛性目標(biāo)的跟蹤，該算法計(jì)算量小，收斂速度快，特別適合視頻監(jiān)控等實(shí)時(shí)性要求較高的目標(biāo)跟蹤場(chǎng)合。但傳統(tǒng)的均值漂移算法目標(biāo)定位精度不高，且固定的核窗寬不能適應(yīng)目標(biāo)尺度的變化。為此，文中提出了一種紅外人體目標(biāo)跟蹤的新方法，充分利用紅外圖像最直接也是最有效的梯度與亮度信息來獲取目標(biāo)邊界，通過邊界約束進(jìn)而在均值漂移跟蹤框架下實(shí)現(xiàn)變尺度人體目標(biāo)的良好跟蹤。

2 均值漂移算法原理

均值漂移算法是一種基于核密度估計(jì)的有效無參數(shù)統(tǒng)計(jì)迭代算法。假設(shè)X是d維空間Rd的采樣點(diǎn)集合，X＝｛xi，1≤i≤n｝，K（·）是帶寬為H的核函數(shù)，則在點(diǎn)x處的核密度估計(jì)為：

其中，H∈Rd×d，為了簡(jiǎn)化算法，取H＝h2I，則上式可改寫為：

其中，k（·）是K（·）的輪廓函數(shù)，且是非負(fù)非增和分段連續(xù)的；ck為歸一化系數(shù)。令g（x）＝－k′（x），則有：

定義：

為Mean Shift向量。將樣本集中的點(diǎn)按照：

反復(fù)迭代，通常認(rèn)為｜Mg（x）｜小于一定的閾值ε時(shí)完成迭代過程，即x收斂到概率密度局部最大值。

3 邊界約束的均值漂移紅外人體目標(biāo)跟蹤方法

文中提出的紅外人體目標(biāo)跟蹤方法主要包含兩個(gè)步驟：①目標(biāo)邊界獲取；②目標(biāo)定位與核窗寬調(diào)整。

3.1 目標(biāo)邊界獲取

通過均值漂移跟蹤算法得到當(dāng)前幀的目標(biāo)定位區(qū)域，但該區(qū)域可能存在一定的定位偏差。為此，將該區(qū)域進(jìn)行一定的擴(kuò)大（通常認(rèn)為擴(kuò)大了的區(qū)域會(huì)包含完整的目標(biāo)），從擴(kuò)大的區(qū)域中獲取目標(biāo)邊界，這樣就避免了整幅圖像上的操作，減少了不必要的計(jì)算量。

為便于獲取人體目標(biāo)邊界，文中首先對(duì)擴(kuò)大區(qū)域圖像進(jìn)行各向異性擴(kuò)散［8］，在梯度小的地方以較大的擴(kuò)散速率平滑圖像，而在梯度較大的地方擴(kuò)散速率較小，以此來保留邊緣信息。圖1給出了紅外人體目標(biāo)邊界的獲取過程。首先，對(duì)擴(kuò)大區(qū)域圖像進(jìn)行各向異性擴(kuò)散，擴(kuò)大區(qū)域圖像如圖1（a）所示；經(jīng)過各向異性擴(kuò)散得到圖像1（b），顯然，在平滑圖像1（a）的同時(shí)，人體目標(biāo)的邊緣信息也得到很好的保留，這有利于之后的目標(biāo)邊界獲取；然后，根據(jù)紅外圖像的梯度與亮度信息來獲取人體目標(biāo)邊界，從圖1（c）所示的梯度圖像可以觀察到，人體目標(biāo)邊界信息較為突出，為此可以進(jìn)一步利用亮度信息來準(zhǔn)確獲取人體目標(biāo)邊界，得到如圖1（d）所示的人體目標(biāo)輪廓。通過以上步驟最終可獲得如圖1（e）所示的人體目標(biāo)區(qū)域。

圖1 紅外人體目標(biāo)邊界獲取過程

3.2 目標(biāo)定位與核窗寬調(diào)整

紅外圖像中，人體目標(biāo)受衣物等表面覆蓋物影響會(huì)造成目標(biāo)亮度分布不均勻，進(jìn)而影響目標(biāo)邊界的完整性獲取。為了減少這種影響，提出以下策略以實(shí)現(xiàn)目標(biāo)的準(zhǔn)確定位和核窗寬的實(shí)時(shí)調(diào)整。首先，在當(dāng)前幀的紅外圖像中，通過上文方法獲取目標(biāo)區(qū)域，其頂點(diǎn)分別標(biāo)記為1，2，3，4，如圖2所示。

圖2 當(dāng)前幀目標(biāo)區(qū)域標(biāo)記

然后，將通過均值漂移算法得到的跟蹤窗口進(jìn)行4次平移，分別使其左上、左下、右上和右下頂點(diǎn)與圖2中的對(duì)應(yīng)頂點(diǎn)重合，將4次平移得到的矩形區(qū)域作為當(dāng)前幀的候選目標(biāo)區(qū)域，并依次標(biāo)記為Ω1，Ω2，Ω3，Ω4。為了進(jìn)一步約束以獲得最佳候選目標(biāo)區(qū)域，增加了2個(gè)區(qū)域Ω5和Ω6，分別代表均值漂移算法獲得的目標(biāo)區(qū)域和前一幀的目標(biāo)定位區(qū)域，則最佳候選目標(biāo)區(qū)域可用下式來確定：

其中，Ω為最佳候選目標(biāo)區(qū)域；n為目標(biāo)區(qū)域的像素個(gè)數(shù)；T為目標(biāo)模板，通常將初始幀手動(dòng)獲取的人體目標(biāo)作為目標(biāo)模板；Ii為候選目標(biāo)圖像。這里，需要定義為候選區(qū)域圖像與目標(biāo)模板的粗略匹配誤差，匹配誤差最小的區(qū)域即為最佳候選目標(biāo)區(qū)域。

通常認(rèn)為序列圖像中相鄰幀的目標(biāo)尺度變化是比較小的，據(jù)此，設(shè)置一個(gè)尺度變化閾值t（t值可設(shè)定在5～8個(gè)像素），當(dāng)且僅當(dāng)獲得的當(dāng)前幀的人體目標(biāo)區(qū)域與前一幀的窗寬變化小于閾值t時(shí)，按照由人體目標(biāo)邊界確定的區(qū)域大小來調(diào)整核窗寬。

4 實(shí)驗(yàn)結(jié)果與分析

文中算法在Matlab上實(shí)現(xiàn)，對(duì)多組紅外人體目標(biāo)序列圖像進(jìn)行跟蹤實(shí)驗(yàn)，均獲得了良好的跟蹤效果。在這里，選取了三組具有代表性的紅外序列圖像，均由紅外熱像儀（THERMOVISION A40）所拍攝，分辨率為320×240，以下便是這三組序列圖像的跟蹤實(shí)驗(yàn)結(jié)果與分析。

序列Ⅰ是一組人體目標(biāo)尺度變化不大，但存在高亮背景像素干擾的圖像。圖3給出了序列Ⅰ在傳統(tǒng)均值漂移跟蹤算法和文中算法下其中6幀的跟蹤結(jié)果，可以看出文中方法目標(biāo)定位準(zhǔn)確，跟蹤效果良好；而傳統(tǒng)均值漂移算法的跟蹤窗口出現(xiàn)一定的定位偏差，在第30幀左右跟蹤窗口下移。

傳統(tǒng)的均值漂移跟蹤算法核窗寬是固定的，故不能應(yīng)對(duì)目標(biāo)尺度發(fā)生變化的情況，文獻(xiàn)［7］對(duì)核窗寬進(jìn)行正負(fù)10%的修正，選擇Bhattacharyya系數(shù)最大的帶寬作為最佳核窗寬。以下通過文中方法與文獻(xiàn)［7］方法跟蹤結(jié)果的對(duì)比來驗(yàn)證文中方法的有效性。

圖3 序列Ⅰ跟蹤結(jié)果（從左至右依次為第10，20，30，40，50，60幀。第一行：傳統(tǒng)均值漂移算法；第二行：文中算法）

序列Ⅱ是一組人體目標(biāo)逐漸變小的圖像，從圖4的跟蹤結(jié)果可以看出文獻(xiàn)［7］方法基本可以應(yīng)對(duì)目標(biāo)變小的跟蹤，但文中方法在核窗寬調(diào)整和目標(biāo)定位的準(zhǔn)確性上具有更好的效果。圖5是該序列圖像在兩種方法下核窗寬變化的對(duì)比，文中方法在50到90幀之間窗寬明顯變小，是由于人體目標(biāo)在這段時(shí)間內(nèi)側(cè)身導(dǎo)致目標(biāo)寬度明顯變窄，這體現(xiàn)了人體目標(biāo)邊界信息對(duì)于核窗寬調(diào)整的重要意義，相對(duì)文獻(xiàn)［7］方法具有更好的自適應(yīng)性。

圖4 序列Ⅱ跟蹤結(jié)果（從左至右依次為第5，40，80，100，145，175幀。第一行：文獻(xiàn)7方法；第二行：本文方法）

圖5 序列Ⅱ核窗寬變化比較

序列Ⅲ是一組紅外人體目標(biāo)逐漸增大的圖像，圖6給出了序列Ⅲ在文獻(xiàn)［7］方法和文中方法下其中6幀的跟蹤結(jié)果。文中方法實(shí)現(xiàn)了核窗寬的自適應(yīng)調(diào)整，且跟蹤準(zhǔn)確，明顯優(yōu)于文獻(xiàn)［7］方法。從圖7所示的兩種方法下核窗寬變化比較圖可以看出，文中方法的核窗寬呈增大趨勢(shì)且變化平緩；文獻(xiàn)［7］方法在130幀左右，核窗寬沒有隨目標(biāo)尺度的增大而做出增大調(diào)整，反而急劇減小，如第155幀的跟蹤結(jié)果圖所示，只定位到人體目標(biāo)手部這一小區(qū)域。這充分說明核窗寬正負(fù)10%修正的方法不能應(yīng)對(duì)目標(biāo)逐漸增大的跟蹤問題；Bhattacharyya系數(shù)往往在較小的跟蹤窗口達(dá)到最大，利用Bhattacharyya系數(shù)來度量候選目標(biāo)模型與目標(biāo)模板的相似性在一定程度上是不可靠的。另外，該序列圖像還存在著目標(biāo)灰度分布不均勻以及較明顯的偽影問題，一定程度上影響到人體目標(biāo)邊界的完整獲取，但文中方法的良好跟蹤效果表明文中提出的具有邊界約束的跟蹤策略發(fā)揮了重要作用。

圖6 序列Ⅲ跟蹤結(jié)果（從左至右依次為第2，30，70，100，130，155幀。第一行：文獻(xiàn)7方法；第二行：本文方法）

圖7 序列Ⅲ核窗寬變化比較

5 結(jié) 論

提出了一種具有邊界約束的均值漂移紅外人體目標(biāo)跟蹤新方法。該方法首先通過均值漂移策略獲得目標(biāo)初步估計(jì)區(qū)域，將目標(biāo)初步估計(jì)區(qū)域進(jìn)行一定的擴(kuò)大，在擴(kuò)大的區(qū)域中利用紅外圖像的梯度與亮度信息來獲取人體目標(biāo)邊界，最后采取一種約束性策略來實(shí)現(xiàn)人體目標(biāo)的定位以及核窗寬的自適應(yīng)調(diào)整。實(shí)驗(yàn)結(jié)果表明，該方法在人體目標(biāo)尺度發(fā)生改變時(shí)仍能夠?qū)崿F(xiàn)良好跟蹤。

［1］ SONG Xin，WANG Luping，WANG Ping，et al.IR target tracking based on improved Mean Shiftmethod［J］.J.Infrared Millim.Waves，2007，26（6）：429－432.（in Chinese）

宋新，王魯平，王平，等.基于改進(jìn)均值位移的紅外目標(biāo)跟蹤方法［J］.紅外與毫米波學(xué)報(bào)，2007，26（6）：429－432.

［2］ LIJianfu，GONG Weiguo，YANG Jinfei.Co-occurrence matrix locality preserving projections for pedestrian tracking in infrared image sequences［J］.Infrared and Laser Engineering，2010，39（6）：1012－1017.（in Chinese）

李建福，龔衛(wèi)國(guó)，楊金妃.共生矩陣保局投影紅外人體目標(biāo)實(shí)時(shí)跟蹤方法［J］.紅外與激光工程，2010，39（6）：1012－1017.

［3］ LUO Huan，YU Lei，CHEN Zhongqi，et al.Research on infrared target tracking based on IMM［J］.Laser＆Infrared，2009，39（7）：776－779.（in Chinese）

羅寰，于雷，陳中起，等.基于過模型交互的紅外目標(biāo)跟蹤方法研究［J］.激光與紅外，2009，39（7）：776－779.

［4］ FANGWentao，WANG Xiangjun，TANG Qijian，et al.Object tracking system for MUAV based on particle filter［J］.Laser＆Infrared，2012，42（7）：841－844.（in Chinese）

房文濤，王向軍，湯其劍，等.基于粒子濾波的機(jī)載目標(biāo)跟蹤系統(tǒng)設(shè)計(jì)［J］.激光與紅外，2012，42（7）：841－844.

［5］ Fukanaga K，Hostetler L D.The estimation of the gradient of a density function，with application in pattern recognition［J］.IEEE Trans.Information Theory，1975，21（1）：32－40.

［6］ Comaniciu D，Ramesh V，Meer P.Real-time tracking of non-rigid objects using mean shift［C］.Proc.IEEE Conference on Computer Vision and Pattern Recognition，2000：142－149.

［7］ Comaniciu D，Ramesh V，Meer P.Kernel-based object tracking［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25（5）：564－577.

［8］ BAIJunqi，CHEN Qian.Algorithm for infrared image noise filtering based on anisotropic diffusion［J］.Acta Optica Sinica，2008，28（5）：866－869.（in Chinese）

白俊奇，陳錢.基于各向異性擴(kuò)散的紅外圖像噪聲濾波算法［J］.光學(xué)學(xué)報(bào)，2008，28（5）：866－869.

Infrared pedestrian target tracking based on KDE w ith boundary constraint

GUO Yong-cai，WANG Kun，GAO Chao
（Key Laboratory of Optoelectronic Technology and Systems of Education Ministry，College of Optoelectronic Engineering，Chongqing University，Chongqing 400030，China）

Asmean shiftalgorithm based on KDE has good performance of real-time，ithas been widely used in target tracking.However，the tracking robustof traditionalmean shiftalgorithm is often depended on such features like color，etc.Moreover，the tracked position is usually affected by the scale change of target during tracking procedures.To overcome these disadvantages，a new infrared pedestrian target tracking approach based on mean shift with boundary constraint is proposed.Thismethod uses the gradientof infrared image processed by anisotropic diffusion.Particularly，the target boundary is obtained by its gradient aswell as brightness information，kernel bandwidth is adaptively adjusted.At last，the infrared pedestrian target tracking is carried outby the strategy ofmean shiftalgorithm，and the experimental results show that the proposed approach can achieve efficient tracking when the scale of the target changes.

infrared target tracking；pedestrian；boundary constraint；mean shift；kernel bandwidth

TP391.4

A

10.3969／j.issn.1001-5078.2014.10.021

1001-5078（2014）10-1169-05

教育部博士點(diǎn)基金（No.20130191110021）項(xiàng)目資助。

郭永彩（1963－），女，教授，博士生導(dǎo)師，博士，主要從事光電測(cè)控技術(shù)與智能儀器、數(shù)字信號(hào)處理方面的研究工作。

E-mail：ycguo＠cqu.edu.cn

2014-02-18；

2014-02-28