融合顏色和梯度方向直方圖的粒子濾波跟蹤算法

毛曉波，朱東偉，陳鐵軍

(鄭州大學(xué)電氣工程學(xué)院，河南鄭州450001)

0 引言

視頻目標(biāo)跟蹤是計算機(jī)視覺領(lǐng)域的一個備受關(guān)注的前沿問題，在安全監(jiān)控、軍事偵察、精確制導(dǎo)、機(jī)器人導(dǎo)航等領(lǐng)域有著廣泛的應(yīng)用.視頻目標(biāo)跟蹤是在連續(xù)的圖像序列中精確地定位目標(biāo)的位置、速度、姿態(tài)等狀態(tài)［1］.目標(biāo)跟蹤的困難主要集中在目標(biāo)顏色和形狀的變化、目標(biāo)所在環(huán)境光線的變化、目標(biāo)被遮擋及運動無規(guī)律等方面.設(shè)計一個快速魯棒的目標(biāo)跟蹤算法依然具有挑戰(zhàn)性.目前的目標(biāo)跟蹤算法大體上分為兩類：確定性跟蹤方法和概率性跟蹤方法.確定性的跟蹤方法是通過尋找目標(biāo)的最優(yōu)匹配來實現(xiàn)跟蹤，如均值漂移算法［2］(Mean Shift，MS);概率性跟蹤方法是將目標(biāo)轉(zhuǎn)換為貝葉斯濾波框架下預(yù)測目標(biāo)狀態(tài)的迭代過程，如卡爾曼濾波［3］(Kalman Filter，KF)、粒子濾波［4］(Particle Filter，PF)等.

1 粒子濾波

粒子濾波是一種基于遞推貝葉斯理論和蒙特卡羅模擬的濾波方法.它的基本思想是用一些帶權(quán)值的隨機(jī)采樣點(粒子)來表示系統(tǒng)狀態(tài)的后驗概率密度函數(shù)，以樣本均值代替積分運算，從而獲得狀態(tài)最小方差估計的過程.當(dāng)樣本數(shù)目足夠多時，這種估計等同于后驗概率密度.

貝葉斯遞推處理過程分為預(yù)測和更新2個階段.預(yù)測階段是利用系統(tǒng)模型預(yù)測狀態(tài)的先驗概率密度;更新階段是用最新的觀察數(shù)據(jù)進(jìn)行修正，得到后驗概率密度［7］.Bayes 公式為

式中：p( xk|xk－1)由運動模型定義;p( yk|xk)由觀察模型定義.

遞推迭代關(guān)系式(1)和(2)構(gòu)成了最優(yōu)貝葉斯估計的解.由于式(1)中積分運算很難實現(xiàn)，不可能進(jìn)行精確分析，所以利用蒙特卡羅仿真來模擬遞推貝葉斯估計.同時考慮到直接從后驗概率抽樣的困難，粒子濾波算法從一個比較容易采樣的重要性分布函數(shù) q( xk|xk－1，Yk)中抽取N個樣本，通過式(1)和式(2)對粒子進(jìn)行位置和權(quán)值更新，得到k時刻狀態(tài)的后驗概率密度和權(quán)值更新公式［8－10］：

對于重要性函數(shù)的選擇，將重要性函數(shù)選為狀態(tài)轉(zhuǎn)移模型［11］，即 q(xk|xk－1，Yk)=p(xk|xk－1).則粒子權(quán)值更新公式變?yōu)椋?/p>

2 目標(biāo)特征的提取

視頻跟蹤的目標(biāo)特征主要包括：顏色特征、輪廓特征、紋理特征、梯度方向特征等.筆者將顏色特征和梯度方向特征進(jìn)行融合生成綜合直方圖特征.

2.1 顏色直方圖特征

顏色直方圖特征在平面旋轉(zhuǎn)和部分遮擋的情況下變化不大，很適合描述目標(biāo)，是一個被廣泛采用的特征.為了減少跟蹤過程中光照變化的影響，筆者采用HSV顏色模型.HSV顏色模型的3個分量相互獨立：H和S分量分別表示色調(diào)和飽和度，對光照不敏感;而V分量表示亮度分量，對光照非常敏感，所以只對H和S分量根據(jù)量化級數(shù)加以量化建立直方圖.為了增加顏色直方圖描述的魯棒性，加入表示空間信息的核函數(shù)計算加權(quán)直方圖：使位于目標(biāo)中央的區(qū)域有較高的權(quán)值;而邊緣區(qū)域有可能包含背景，貢獻(xiàn)小故分配較小的權(quán)值.對H和S分量的每個通道分配量化級為8，那么顏色直方圖的量化級數(shù)為m=8×8.假設(shè)目標(biāo)狀態(tài)以 X=(x，y)為中心，h=(hx，hy)為半徑，目標(biāo)區(qū)域內(nèi)像素的位置為Xi=(xi，yi)，則目標(biāo)區(qū)域內(nèi)的歸一化顏色直方圖［12］為

層次加權(quán)分析法缺點有，評價的主觀臆斷性及其過程的隨機(jī)性，從而使得結(jié)果的可信度降低。此外，當(dāng)判斷因素較多時，常常會因為層次分解和賦值的不一致而出現(xiàn)判斷矩陣不一致的現(xiàn)象。

式中：δ是Delta函數(shù);函數(shù)b(Xi)是位于Xi處的像素在直方圖上顏色等級索引的映像;u為直方圖中顏色等級索引;k(·)為權(quán)值核函數(shù);n為目標(biāo)區(qū)域內(nèi)像素總數(shù).

2.2 梯度方向直方圖特征

筆者根據(jù)HSV顏色模型中的亮度分量V對目標(biāo)區(qū)域建立一個簡化了的梯度方向直方圖，來描述該區(qū)域的空間位置信息.建立梯度方向直方圖，首先計算區(qū)域內(nèi)所有像素點f(x，y)的垂直方向和水平方向相鄰點的差，然后計算各個像素點的梯度 G(x，y)和方向 θ(x，y)，如圖 1 所示.計算公式為［13］：

圖1 梯度方向向量Fig.1 Gradient direction vector

式中：θ(x，y)的范圍為［－π，π］，最后統(tǒng)計各個方向上的梯度幅值，形成梯度方向直方圖.筆者將［－π，π］量化為8級，即每0.25π 一個間隔.則目標(biāo)區(qū)域內(nèi)歸一化的梯度方向直方圖為

2.3 綜合直方圖特征

融合了m位顏色直方圖和n位梯度方向直方圖的m×n位歸一化的綜合直方圖定義為

通過式(10)得到的綜合直方圖不僅包含了目標(biāo)的顏色特征，還融合了目標(biāo)的結(jié)構(gòu)信息，能夠更加準(zhǔn)確地對目標(biāo)進(jìn)行描述.

2.4 相似性度量

當(dāng)計算出目標(biāo)區(qū)域和目標(biāo)候選區(qū)域的綜合直方圖分布時，采用Bhattacharyya距離［14］來衡量兩個分布的相似程度.假設(shè)目標(biāo)模板的m×n位綜合直方圖分布為候選目標(biāo)的綜合直方圖分布為 pGen=則兩者之間的相似程度可以表示為

式中：ρ[ pGen，qGen]即為Bhattacharyya系數(shù)

得到兩種分布之間的Bhattacharyya距離后，設(shè)計如下的觀察似然函數(shù)：

3 基于綜合直方圖的粒子濾波

3.1 狀態(tài)轉(zhuǎn)移概率模型

在視頻跟蹤中，用狀態(tài)轉(zhuǎn)移概率模型來描述相鄰兩幀圖像上目標(biāo)的運動.一個合適的模型可以精確地描述目標(biāo)的運動狀態(tài)，提高跟蹤的可靠性.筆者采用常速模型來描述其運動規(guī)律，并用一矩形來表示目標(biāo)的輪廓.目標(biāo)狀態(tài)表示為X=和hy為目標(biāo)矩形的長和寬，狀態(tài)轉(zhuǎn)移概率模型為

式中：Wt是系統(tǒng)噪聲，是跟蹤過程中的不確定因素，用來描述狀態(tài)轉(zhuǎn)移模型與目標(biāo)運動真實模型之間的差異.

3.2 綜合直方圖粒子濾波跟蹤算法

初始化：在初始幀，通過手動選擇感興趣區(qū)域，并計算該區(qū)域的綜合直方圖特征，完成目標(biāo)模板的初始化.通過加高斯噪聲的方式產(chǎn)生N個粒子各個粒子的初始權(quán)重均為

重要性采樣：讀入下一幀的圖像，將上一時刻的粒子狀態(tài)通過式(14)進(jìn)行傳遞，得到新的粒子.

權(quán)值更新：分別通過式(6)和式(9)計算每個粒子的顏色直方圖和梯度方向直方圖，并通過式(10)計算出每個粒子的綜合直方圖，然后通過式(13)計算每個粒子狀態(tài)對應(yīng)的觀察似然函數(shù)值(Y|X)，最后通過式(5)計算每一個粒子的權(quán)值并歸一化權(quán)值

若序列未結(jié)束，轉(zhuǎn)重要性采樣，否則，結(jié)束.

4 實驗結(jié)果及分析

為了驗證該算法的有效性，利用多組視頻進(jìn)行了測試.利用H通道和S通道建立顏色直方圖，且每個通道均量化為16個灰度級.梯度方向直方圖量化為8級.與筆者算法進(jìn)行對比的基于顏色的粒子濾波目標(biāo)跟蹤，顏色直方圖采用RGB顏色模型，且每個通道量化為16級.實驗圖像大小為320×240，粒子數(shù)目為100，σ2g=0.01.在實驗中，電腦配置為 Pentium(R)4 CPU，1G內(nèi)存，Windows XP操作系統(tǒng)，算法通過VC++6.0開發(fā)平臺和開源的計算機(jī)視覺庫OpenCV編寫實現(xiàn).

圖2為室內(nèi)環(huán)境下兩種跟蹤算法對人體目標(biāo)跟蹤的對比情況，選取了第137幀，第150幀，第158幀，第162幀圖片.通過對比發(fā)現(xiàn)，基于傳統(tǒng)顏色的粒子濾波算法，由于沒有考慮目標(biāo)顏色與背景相似的情況，導(dǎo)致跟蹤的效果不理想，目標(biāo)從第150幀已經(jīng)出現(xiàn)了偏移，到第158幀時偏移在繼續(xù)增大，到第162幀時矩形框與目標(biāo)已經(jīng)完全分離，跟蹤失敗.筆者算法在使用顏色信息的同時，將具備一定目標(biāo)結(jié)構(gòu)信息的梯度方向直方圖特征也加以提取，從而在受到相似背景顏色的影響時，可以通過梯度直方圖特征對目標(biāo)進(jìn)行準(zhǔn)確跟蹤.

圖3為高速公路上對汽車的跟蹤，選取了第330幀，第343幀，第349幀和第354幀圖片.在跟蹤過程中會受到其他車輛的影響，并且目標(biāo)顏色與路面顏色相似，在利用顏色跟蹤的同時，利用梯度方向信息區(qū)別目標(biāo)與背景之間的結(jié)構(gòu)差異，跟蹤不會出現(xiàn)較大偏移，能夠較準(zhǔn)確地跟蹤到目標(biāo).而傳統(tǒng)的跟蹤算法在跟蹤過程中由于受到背景的干擾，容易造成比較大的偏差，顯然在跟蹤精度上筆者算法優(yōu)于傳統(tǒng)的粒子濾波算法.

圖4給出了筆者算法和文獻(xiàn)［7］算法的跟蹤結(jié)果對比.該序列中包含了遮擋、相似顏色的背景干擾，選擇了第845幀，第855幀，第858幀和第859幀圖片.從圖中可以看出，由于筆者算法使用的綜合直方圖特征能夠更加準(zhǔn)確地表征目標(biāo)，所以在目標(biāo)處于部分遮擋并且相似背景的情況下，可以較準(zhǔn)確地跟蹤目標(biāo);當(dāng)遮擋結(jié)束后能夠恢復(fù)準(zhǔn)確跟蹤，具有較強(qiáng)的魯棒性.文獻(xiàn)［7］只是將兩種特征簡單的加權(quán)相加，在一定程度上并不能準(zhǔn)確表征目標(biāo)，因此跟蹤的效果不理想.

5 結(jié)論

筆者提出了一種基于綜合直方圖的粒子濾波視頻目標(biāo)跟蹤算法，融合顏色直方圖和梯度方向直方圖，形成綜合的直方圖特征，增強(qiáng)了對目標(biāo)的空間結(jié)構(gòu)信息描述.使得似然函數(shù)對目標(biāo)的描述更加充分.實驗結(jié)果表明，該算法優(yōu)于基于顏色的粒子濾波算法，能夠在復(fù)雜背景或者嚴(yán)重遮擋的情況下對目標(biāo)進(jìn)行準(zhǔn)確跟蹤，具有較強(qiáng)的魯棒性.

［1］王歡，王江濤，任明武，等.一種魯棒的多特征融合目標(biāo)跟蹤新算法［J］.中國圖象圖形學(xué)報.2009，14(3)：489－495.

［2］KATJA N，ESTHER K M，LUC V G.An adaptive color-based filter［J］.Image Vision Computing，2003，21(1)：99－110.

［3］WENG S K，KUO CM，TU S K.Video object tracking using adaptive Kalman filter［J］.Journal of Visual Communication and Image Representation，2006，17(6)：1190－1208.

［4］GORDON N J，SALMOND D J，SMITHA F M.Novel approach to nonlinear/non-Gaussian Bayesian estimation ［J］.IEE Proc.Radar and Signal Processing，1993，140(2)：107－113.

［5］曾偉，朱桂斌，陳杰，等.多特征融合的魯棒粒子濾波跟蹤算法［J］.計算機(jī)應(yīng)用.2010，30(3)：644－645.

［6］DALAL N，TRIGGS B.Histograms of oriented gradients for human detection［C］//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Diego：IEEE Computer Society Press，2005：886－893.

［7］陳善靜，楊華，曾凱，等.基于多特征融合的粒子濾波算法研究［J］.計算機(jī)工程.2011，7(4)：178－180.

［8］沈玉娟，王健.基于粒子濾波跟蹤方法研究［J］.儀表技術(shù)，2010(3)：55－57.

［9］楊小軍，潘泉，王睿，等.粒子濾波進(jìn)展與展望.控制理論與應(yīng)用［J］.2006，23(2)：261－265.

［10］張詩桂，朱立新，趙義正.粒子濾波算法研究現(xiàn)狀與發(fā)展趨勢［J］.電子信息對抗技術(shù).2010，25(5)：8－15.

［11］胡仕強(qiáng)，敬忠良.粒子濾波原理及其應(yīng)用［M］.北京：科學(xué)出版社.2010.

［12］NUMMIARO K，VAN G L.An adaptive color-based particle filter［J］.Image and Viaion Computing，2003，21(1)：99－110.

［13］LOWE D.Distinctive image features from scale-invariant keypoints［J］.Journal of Computer Vision，2004，60(2)：91－110.

［14］THACKER N，AHERNA F，ROCKETT P.The bhattacharyya metric an absolute similarity measure for frequency coded data［J］.Kybernetika，1997，34(4)：363－368.