基于雙特征的多模塊目標跟蹤算法

劉振濤，王朝英，劉衛(wèi)群

（1.空軍工程大學 電訊工程學院，陜西 西安710077；2.63751部隊 技術(shù)室，陜西 西安710028）

0 引 言

序列圖像中運動目標跟蹤技術(shù)是計算機視覺領(lǐng)域的一個重要課題，在現(xiàn)實生活中具有廣泛的應(yīng)用前景［1］。Mean Shift這個概念最早是由Fukunaga等人在一篇關(guān)于概率密度梯度函數(shù)的估計中提出來的［2］；Mean Shift算法自從被Comaniciu等人引入到目標跟蹤領(lǐng)域以來，就因其良好的實時性和魯棒性受到廣大學者的關(guān)注［3－6］。

如何有效地處理遮擋問題，一直是運動目標跟蹤中的一個難點。當目標被遮擋時，會產(chǎn)生不規(guī)則的變形，其外觀與目標模型將不再匹配。傳統(tǒng)Mean Shift算法將核函數(shù)引入目標模型中，通過對目標中心區(qū)域賦予較大權(quán)值，減少邊緣區(qū)域信息的丟失所造成的影響，但當目標遇到大比例遮擋時，上述方法失效；文獻 ［7］將Kalman濾波器用于預(yù)測Mean Shift的初始迭代位置，但是當目標被嚴重遮擋時，由于Mean Shift算法尋找到的目標位置點不準確，因而此時得到的觀測值也是不準確的，只能利用前幾幀收斂點的位置線性預(yù)測下一幀的可能起始點，此方法雖然解決了部分遮擋問題，但仍存在一定偏差。

針對上述問題，本文提出一種抗遮擋的雙特征多模塊跟蹤方法。融合由特征顯著性和相似性量化分析所得的顏色空間特征以及LBP紋理特征建立目標直方圖，當目標出現(xiàn)嚴重遮擋時，通過建立多模塊模型，選擇相似度最高的模塊來定位目標的位置。該方法充分利用了目標的局部外觀信息，使得濾波器得到更加有效的觀測值，提高算法對遮擋問題的魯棒性。

1 傳統(tǒng)Mean Shift算法

若目標區(qū)域的中心為x0，假設(shè)其中有n個像素用 ｛xi，i＝1，…，n｝表示，特征值bin的個數(shù)為m個，則目標模型的特征值u＝1，…，m的概率密度為

式中：δ（·）——Kronecker Delta函數(shù)；k（x）——一個各向同性核函數(shù)，帶寬為h，用于對像素進行加權(quán)；C是一個使目標模型規(guī)范化的常數(shù)因子。同理可得當前幀候選目標模型的特征值u＝1，…，m的概率密度為

式中：Ch——使目標候選模型規(guī)范化的常數(shù)因子。選取BH系數(shù) （Bhattacharyya Coefficient）來度量兩個模型之間的相似性，其定義為

跟蹤的目的就是在每幀中尋找使式 （3）最大的候選區(qū)域的位置。通過對BH系數(shù)的Taylor展開可以得到Mean Shift算法下一次迭代的目標中心位置為

當‖y1－y0‖＜ε時，迭代結(jié)束，該點就是當前幀目標位置；否則，繼續(xù)迭代。

2 Kalman濾波估計

Kalman濾波器是一個線形遞歸濾波器［8］，基于系統(tǒng)以前的狀態(tài)序列對下一個狀態(tài)做最優(yōu)估計，通過對動態(tài)系統(tǒng)的狀態(tài)序列進行線性最小方差估計來預(yù)測目標的位置和速度，具有計算量小，可實時計算的特點。

場景中的目標在每一幀圖像中的位置構(gòu)成了目標運動的軌跡，引入Kalman濾波器的目的就是根據(jù)以往目標位置點的信息預(yù)測當前幀目標的可能位置。所以Kalman濾波過程中的狀態(tài)變量和觀測值均為目標的位置信息［9－10］。

先使用Kalman濾波器估計出目標在下一幀的初始位置，在這個位置的鄰域用Mean Shift算法尋找目標在當前幀的真實位置，再利用這些真實位置的信息組成當前幀的觀測向量去預(yù)測下一幀中的狀態(tài)向量，從而可以得到目標在下一幀的可能位置，依次循環(huán)迭代［11］。采用kalman濾波器進行軌跡預(yù)測使算法時耗大幅下降。

對于遮擋問題，可以通過分析Kalman濾波器關(guān)于目標位置的估計值和由Mean shift算法得到的Kalman濾波器的觀測值之間殘差的大小來判斷是否出現(xiàn)大比例的遮擋。Kalman濾波器的濾波殘差定義為

式中：x0（k）、y0（k）——當前幀目標的估計值X（k）中的位置分量，x（k）、y（k）——觀測值Y（k）中的位置分量，當r（k）大于設(shè)定閾值時，則認為出現(xiàn)了嚴重遮擋，這時利用前幾幀收斂位置線性預(yù)測本幀目標位置。

3 基于雙特征的多模塊算法

本文在Kalman濾波器與Mean Shift相結(jié)合算法的基礎(chǔ)上，分別從特征選取與模型建立兩個角度對原有算法進行改進。

3.1 雙特征選取

在提取目標特征的過程中，必須選取那些使得目標與背景之間具有良好區(qū)分度的特征［12］。本文綜合考慮特征顯著性與相似性兩個因素來分析待測特征的目標與背景區(qū)分度，同時考慮到單一顏色空間特征的局限性［13］，引入LBP紋理特征來提高算法跟蹤的魯棒性。

3.1.1 顏色空間特征

在圖像處理中，通常使用的顏色空間有：RGB（紅、綠、藍）空間、CMY （青、深紅、黃）和CMYK （青、深紅、黃、黑）空間、HSI（色調(diào)、飽和度、亮度）空間。一般來說，不能說哪一種顏色空間是最好的，應(yīng)該根據(jù)不同的跟蹤場景選擇合適的顏色空間。本文通過對待測顏色空間特征的量化分析，選取使得目標與背景的顯著性大、相似性小的候選特征。具體量化分析如下：

對于一個給定的特征，假定Hobj（i）和Hbg（i）分別表示該特征下的目標和背景直方圖，將其與對應(yīng)的像素數(shù)相除后，得到下面兩個概率分布函數(shù)為：p（i）＝Hobj（i）／nobj和q（i）＝Hbg（i）／nbg，nobj和nbg分別表示目標和背景區(qū)域內(nèi)的像素數(shù)。對于每一個特征值i，采用如式（6）的對數(shù)似然比值得到顯著性函數(shù)，并采用相應(yīng)的方差來衡量目標區(qū)域與背景區(qū)域之間的顯著性［14］。

同時根據(jù)目標加權(quán)直方圖和背景加權(quán)直方圖的BH系數(shù)來判斷目標與背景的相似性，選取BH系數(shù)小的顏色空間特征建立模型進行跟蹤［15］。類似于目標模型與目標候選模型的相似性計算方法，得到目標與背景的加權(quán)直方圖的相似性計算公式為

為了提取出使得目標與背景顯著性大、相似度小的候選特征，建立如式 （9）的二者比值關(guān)系式。M值越大則說明待測特征的背景區(qū)分度越高，反之區(qū)分度越低。

3.1.2 LBP紋理特征

由于顏色特征受到光照變化、目標旋轉(zhuǎn)、目標遮蔽影響比較大，使用單一特征無法滿足跟蹤需要。為了提高算法魯棒性，本文采用LBP紋理特征結(jié)合顏色空間特征共同建立目標模型。

LBP紋理［16］是一種點樣本紋理估計方法。一個點的紋理通過該點與周圍鄰域點的某種運算而得T＝t（gc，g0，…，gp－1），gc表示待處理點的灰度值，gc，g0，…，gp－1表示該點圓形鄰域中等間隔采樣點的灰度值。紋理算子的運算是通過當前點與其周圍鄰域點作減法，取運算結(jié)果的符號來定義的

其中

當取圓形鄰域的半徑為1，等間隔采樣點個數(shù)為8時，就得到 LBP8，1紋理模型

3.2 多模塊模型

當目標出現(xiàn)大比例遮擋的情況下，如何能夠充分地利用未遮擋部分的外觀信息就成為了解決問題的關(guān)鍵。核函數(shù)通過對目標中心區(qū)域賦予較大權(quán)值，可以減少邊緣區(qū)域信息的丟失所造成的影響，基于這一思想，本文將目標區(qū)域等分為4個模塊，對于每一個模塊運用核函數(shù)對各自中心區(qū)域賦予較大權(quán)值。在目標跟蹤的過程中，由于預(yù)先無法判斷遮擋來自哪一部分，因此選取相似度最大的模塊的中心位置來定位當前幀目標的區(qū)域中心位置。再把當前幀跟蹤結(jié)果作為下一幀跟蹤的起始位置，同理建立4個模塊，依此類推，直至完成遮蔽階段跟蹤的全過程。多模塊模型跟蹤方法提高了模型的鑒別性，對跟蹤過程中的大比例遮擋比較魯棒。

但是，實驗中發(fā)現(xiàn)在目標未被遮擋或受到較小比例遮擋時，由于多模塊跟蹤方法只是分別針對于目標各局部區(qū)域特征進行跟蹤，因而跟蹤效果不如對目標整體進行建模，所以，對于遮擋程度的準確判定就顯得至關(guān)重要。本文引入相似度因子Tn，提出一種新的遮擋判別準則

pn為上一幀跟蹤結(jié)果與目標模型之間的相似度，大量實驗統(tǒng)計數(shù)據(jù)表明當滿足式 （14）時有

認為目標發(fā)生了大比例遮擋，這時就應(yīng)該建立多模塊模型進行跟蹤。

3.3 算法具體流程

步驟1 手動選擇初始跟蹤目標，初始化Kalman濾波器系數(shù)；

步驟2 根據(jù)初始跟蹤位置y0建立目標模型直方圖；

步驟3 讀取下一幀圖像，利用Kalman濾波器預(yù)測目標在本幀的起始搜索位置；

步驟4 建立候選目標模型，計算候選目標中心y1，并計算BH系數(shù)；

步驟5 若滿足‖y1－y0‖＜ε，迭代結(jié)束，返回步驟3，同時由當前BH系數(shù)得到相似度因子，當滿足式 （14）時，在下一幀采用多模塊模型進行跟蹤直到相似度因子不再滿足式 （14）；否則y0＝y(tǒng)1，返回步驟4；

4 仿真結(jié)果及分析

本文選取兩段視頻對給定的運動目標進行了跟蹤實驗。首先，對顏色空間特征中的R分量、G分量、B分量、H分量、S分量以及I分量的背景區(qū)分度進行量化分析，結(jié)果如表1、表2所示，均為H分量M值最大，因而選擇H分量和LBP紋理特征建立目標直方圖。再通過與傳統(tǒng)Mean Shift算法以及Kalman與Mean Shift相結(jié)合的算法進行比較，驗證所提跟蹤方法的有效性。

表1 實驗1顏色空間特征區(qū)分度分析

表2 實驗2顏色空間特征區(qū)分度分析

實驗1的跟蹤目標為人的頭部。在第17幀時開始受到隔板的遮擋，在此幀之前由于本文算法通過量化分析目標與背景的區(qū)分度，提取出更加有效的顏色特征分量，同時又融合LBP紋理特征來加強算法跟蹤的魯棒性，因此在未受到遮擋時實現(xiàn)了準確跟蹤。第24幀時跟蹤目標受到大比例的遮擋，丟失一半以上的外觀信息。此時中心區(qū)域也受到遮蔽，因此基于核函數(shù)思想的傳統(tǒng)Mean Shift算法失效，如圖1所示；Kalman與Mean Shift相結(jié)合算法雖然在遮擋時可以進行線性預(yù)測，但仍存在偏差，如圖2所示；本文算法通過遮擋判決準則，自適應(yīng)采用多模塊模型進行建模，有效地利用了目標的局部信息，同時LBP紋理特征的引入加強了各模塊之間的鑒別性，避免了單一顏色特征下概率分布直方圖相似的模塊引起的錯誤跟蹤。在目標被嚴重遮擋時取得了較好的跟蹤結(jié)果，如圖3所示。

圖3 本文算法

在實驗2的視頻序列中，兩個人相向而行，過程中發(fā)生遮擋，選取被遮擋者作為跟蹤對象。通過實驗可以看到，當跟蹤對象被遮蔽時，傳統(tǒng)Mean Shift算法無法實現(xiàn)準確跟蹤；而Kalman與Mean Shift相結(jié)合算法得跟蹤效果稍好，但仍存在偏差，本文算法不但克服了單一顏色模型對于相似目標的誤跟，還較好地解決了遮擋問題。如圖4～圖6所示。

圖6 本文算法

為了驗證算法的實時性，對實驗一的視頻序列中每幀迭代次數(shù)進行數(shù)值分析。圖7～圖9分別為采用傳統(tǒng)Mean Shift算法、Kalman與Mean Shift相結(jié)合算法、本文算法的每幀迭代次數(shù)的示意圖。平均處理每幀圖像所需時間分別為：0.079s／幀，0.051s／幀，0.083s／幀。從中可 以看出，本文算法與傳統(tǒng)Mean Shift算法的實時性相當，主要時耗在于特征的提取與模型建立階段，但由于利用Kalman濾波器預(yù)測初始迭代位置，從而又在一定程度上減少了迭代次數(shù)。

5 結(jié)束語

本文主要研究運動目標在跟蹤過程中遇到嚴重遮擋時的解決方法。在Kalman濾波與Mean Shift相結(jié)合算法的基礎(chǔ)上，從特征提取和模型建立兩個角度進行了改進。首先通過綜合考慮前景目標與背景的特征顯著性和相似性建立兩者之間的比值關(guān)系來進行量化分析，選取能夠最大程度區(qū)分前景目標和背景的顏色空間特征，并融合LBP紋理特征來克服單一顏色特征的局限性。再通過遮擋判決準則將目標模型進行分塊跟蹤，充分利用目標的局部信息。最后通過大量視頻序列實驗驗證本文算法對遮蔽目標跟蹤的精度。

［1］Wang J Q，Ya S S.Integrating shape and color features for adaptive real－time object tracking ［C］.Kunming，China：Proceedings of the IEEE International Conference on Robotics and Biomimetics，2006：1－6.

［2］Yang C，Duraiswami R，Davis L.Efficient mean－shift tracking via a new similarity measure ［C］.Washington，DC，USA：Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，2005：176－183.

［3］Porikli F，Tuzel O，Meer P.Covariance tracking using model update based on Lie algebra［C］.New York，USA：Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2006：728－735.

［4］Jia J P，Wang Q，Chai Y M.Object tracking by multi－degrees of freedom mean shift procedure combined with the Kalman particle filter algorithm ［C］.Dalian，China：Proceedings of the International Conference on Machine Learning and Cybernatics，2006：3793－3797.

［5］Park M，Liu Y X，Collins R T.Efficient mean shift belief propagation for vision tracking ［C］.Alaska，USA：Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，2008：1－8.

［6］Han B，Comaniciu D，Zhu Y，et al.Sequential kernel density approximation and its application to real－time visual tracking［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2008，30 （7）：1186－1197.

［7］ZHOU Y M，JIA D.Head tracking algorithms based on elliptical deformable templates ［J］.Computer Engineering and Design，2009，30 （20）：4792－4795 （in Chinese）.［鄒益民，賈達.基于橢圓變形模板的頭部跟蹤算法 ［J］.計算機工程與設(shè)計，2009，30 （20）：4792－4795.］

［8］LI J，HU W G.Tracking fast movement using colors while accommodating occlusion ［J］.CAAI Transactions on Intelligent Systems，2010，5 （4）：353－358 （in Chinese）.［李金，胡文廣.基于顏色的快速人體跟蹤及遮擋處理 ［J］.智能系統(tǒng)學報，2010，5 （4）：353－358.］

［9］Weng S K，Kuo C M，Tu S K.Video object tracking using adaptive Kalman filter ［J］.Journal of Visual Communication and Image Representation，2006，17 （6）：1190－1208.

［10］Peng N S，Yang J，Liu Z.Mean shift blob tracking with kernel histogram filtering and hypothesis testing ［J］.Pattern Recognition Letters，2005，26 （5）：605－614.

［11］Babu R V，Perez P，Bouthemy P.Robust tracking with motion estimation and local kernel－based color modeling ［J］.Image and Vision Computing，2007，25 （8）：1205－1216.

［12］Collins R T，Liu Y，Leordeanu M.Online selection of discriminative tracking features ［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2005，27 （10）：1631－1643.

［13］Li P H.A clustering based color model and fast algorithm for object tracking ［C］.HongKong，China：Proceedings of the 18th International Conference on Pattern Recognition，2006：671－674.

［14］YIN H P，CHAI Y，KUANG J J，Yang X Y.A moving target tracking algorithm based on adaptive multiple cues fusion［J］.Journal of Optoelectronics Laser，2010，21 （6）：917－923（in Chinese）.［尹宏鵬，柴毅，匡金駿，等.一種基于多特征自適應(yīng)融合的運動目標跟蹤算法 ［J］.光電子·激光，2010，21 （6）：917－923.］

［15］WANG Q，JIANG S H，ZHANG J Q，et al.An approach to improve the performance of mean－shift tracking algorithm ［J］.Journal of Fudan University （Natural Science），2007，46（1）：85－90 （in Chinese）.［汪沁，江淑紅，張建秋，等.提高Mean－shift跟蹤算法性能的方法 ［J］.復(fù)旦學報 （自然科學版），2007，46 （1）：85－90.］

［16］NING J F，WU C K.A mean shift method for imaging target tracking based on texture feature ［J］.PR ＆ AI，2007，20（5）：612－618 （in Chinese）.［寧紀鋒，吳成柯.一種基于紋理模型的Mean Shift目標跟蹤算法 ［J］.模式識別與人工智能，2007，20 （5）：612－618.］