融合顏色與紋理特征的粒子濾波目標(biāo)跟蹤*

楊陽，陳淑榮

（上海海事大學(xué)信息工程學(xué)院，上海201306）

融合顏色與紋理特征的粒子濾波目標(biāo)跟蹤*

楊陽，陳淑榮

（上海海事大學(xué)信息工程學(xué)院，上海201306）

針對(duì)采用單一顏色特征的粒子濾波目標(biāo)跟蹤算法在背景相似、光照變化復(fù)雜的場(chǎng)景下會(huì)導(dǎo)致跟蹤失敗的問題，提出一種基于LBP紋理和顏色特征融合的粒子濾波跟蹤目標(biāo)算法。綜合加權(quán)顏色直方圖和LBP紋理直方圖進(jìn)行目標(biāo)特征描述，建立目標(biāo)觀測(cè)模型；同時(shí)粒子濾波進(jìn)行狀態(tài)預(yù)測(cè)，利用Bhattacharyya系數(shù)進(jìn)行相似度測(cè)量，作為目標(biāo)區(qū)域參考模型更新準(zhǔn)則，實(shí)現(xiàn)權(quán)值更新；最后對(duì)權(quán)值歸一化處理，得到目標(biāo)位置狀態(tài)的最終估計(jì)。實(shí)驗(yàn)結(jié)果表明該算法不僅提高了跟蹤方法的魯棒性，而且在目標(biāo)遮擋、光照變化等干擾下，具有較好的準(zhǔn)確性。

目標(biāo)跟蹤；粒子濾波；加權(quán)顏色直方圖、LBP紋理特征；Bhattacharyya系數(shù)

0 引言

目標(biāo)跟蹤是計(jì)算機(jī)視覺領(lǐng)域的重要課題之一，廣泛應(yīng)用于視頻監(jiān)控、智能交通和軍事領(lǐng)域[1]。目標(biāo)跟蹤的實(shí)質(zhì)是對(duì)目標(biāo)的運(yùn)動(dòng)狀態(tài)進(jìn)行估計(jì)，而貝葉斯濾波是常用的運(yùn)動(dòng)狀態(tài)估計(jì)方法，包括卡爾曼濾波（Kalman Filtering）和粒子濾波（Particle Filtering）以及各種KF和PF的改進(jìn)方法。卡爾曼濾波[2]是線性、高斯模型的最優(yōu)解算法，且具有運(yùn)算速度快的優(yōu)點(diǎn)。實(shí)際中目標(biāo)運(yùn)動(dòng)狀態(tài)往往是非線性、非高斯的，因此標(biāo)準(zhǔn)的卡爾曼濾波方法不再適用。針對(duì)非線性非高斯目標(biāo)跟蹤，上世紀(jì)90年代中后期提出了粒子濾波[3-4]算法。粒子濾波利用蒙特卡洛方法實(shí)現(xiàn)對(duì)目標(biāo)狀態(tài)的估計(jì)，基本思想是用一組帶有權(quán)值的隨機(jī)樣本（粒子），觀測(cè)粒子相似度（似然）來確定權(quán)值，并根據(jù)粒子和權(quán)值近似表示系統(tǒng)狀態(tài)的后驗(yàn)概率密度。

跟蹤目標(biāo)的特征選擇和建模方法對(duì)算法魯棒性、準(zhǔn)確性都有著重要的影響。顏色直方圖是最常用的表達(dá)顏色特征模型的方法，其對(duì)非剛性目標(biāo)的形變、遮擋、旋轉(zhuǎn)等具有良好的魯棒性[5]。但是對(duì)于復(fù)雜跟蹤場(chǎng)景（如光照變化、背景與目標(biāo)顏色相似），依靠單一的顏色特征常會(huì)出現(xiàn)跟蹤不穩(wěn)定甚至跟蹤失敗的現(xiàn)象。紋理特征描述了圖像或圖像區(qū)域所對(duì)應(yīng)景物的表面性質(zhì)。Ojala等[6]提出了局部二值模式（Local Binary Patterns，LBP）紋理算子描述分析紋理特征，對(duì)灰度圖像中局部鄰近區(qū)域的紋理信息進(jìn)行度量和提取。LBP對(duì)灰度圖像進(jìn)行操作，光照條件下魯棒性好，但具有受到目標(biāo)形變影響的局限性。本文融合了顏色特征和LBP紋理特征，結(jié)合粒子濾波方法實(shí)現(xiàn)對(duì)動(dòng)態(tài)目標(biāo)的跟蹤。顏色特征對(duì)彩色圖像進(jìn)行處理，具有遮擋、形變適應(yīng)性；紋理特征對(duì)灰度圖像進(jìn)行處理，具有光照不變性。兩種特征融合，具有一定的互補(bǔ)性。而且模型的更新機(jī)制能有效適應(yīng)目標(biāo)的遮擋、旋轉(zhuǎn)。實(shí)驗(yàn)表明，本文方法能提高跟蹤的精度，而且有較強(qiáng)的魯棒性。

1 算法原理

融合顏色和紋理特征的粒子濾波算法的流程如圖1所示。主要步驟如下：首先讀取跟蹤視頻初始幀，手動(dòng)選出跟蹤區(qū)域，初始化粒子，提取目標(biāo)區(qū)域的顏色特征分布pcolor（x）和紋理特征分布pLBP（x），建立顏色和紋理直方圖；然后進(jìn)行相似性測(cè)量，更新權(quán)值，對(duì)粒子顏色特征權(quán)值和紋理特征權(quán)值進(jìn)行線性融合，再對(duì)融合后粒子權(quán)值進(jìn)行歸一化處理，從而得到目標(biāo)位置狀態(tài)的最終估計(jì)值；最后應(yīng)用模型更新機(jī)制判斷是否需要進(jìn)行模型更新。

圖1 算法流程框圖

1.1 加權(quán)顏色直方圖

顏色直方圖是一種常用的區(qū)域顏色建模方法，常用的顏色模型有RGB和HSV模型。為了減少顏色分量相關(guān)性，增強(qiáng)跟蹤方法對(duì)光照變化的適應(yīng)性，采用了HSV顏色空間直方圖[7]。將H和S分量量化為Nh和Ns級(jí)，V分量量化為Nv級(jí)，并使Nv＜Nhs以降低光照影響，則直方圖量化級(jí)數(shù)M=Nh×Ns+Nv?？紤]實(shí)時(shí)性和準(zhǔn)確性要求，HSV顏色空間量化級(jí)數(shù)設(shè)為8×8+4。HSV顏色直方圖特征提取如圖2所示。

圖2HSV模型顏色直方圖特征提取

本文基于核函數(shù)方法建立顏色直方圖。核函數(shù)實(shí)際上是一種加權(quán)顏色分布表示，權(quán)值由核函數(shù)k決定。同一區(qū)域中，像素點(diǎn)對(duì)目標(biāo)描述的重要性不同，跟蹤目標(biāo)中心邊緣的像素點(diǎn)更容易受到非跟蹤目標(biāo)的遮擋和相似背景干擾，賦予較小的權(quán)值，因此對(duì)顏色直方圖的建立幾乎不起作用。而越靠近中心的像素點(diǎn)賦予越大的權(quán)值。如公式（1）所示。

r表示粒子到區(qū)域中心的距離。設(shè)圖像由n個(gè)M級(jí)的像素組成，用pcolor（x）表示中心位置在x的目標(biāo)區(qū)域的顏色概率分布：

1.2 LBP紋理直方圖

LBP是一種有效的紋理描述算子，能對(duì)灰度圖像中的局部鄰近區(qū)域的紋理信息進(jìn)行有效度量和提取[8]。LBP將圖像的紋理分布理解為在灰度級(jí)上該區(qū)域內(nèi)像素的聯(lián)合分布密度，記為：

其中，gc表示圖像區(qū)域中心點(diǎn)的像素灰度值，gi（i=0，…，p-1）為在gc周圍的P個(gè)半徑為R的圓周上等距離分布的像素點(diǎn)的灰度值。P為像素點(diǎn)周圍鄰近點(diǎn)的個(gè)數(shù)，R是鄰近點(diǎn)距離中心像素點(diǎn)的距離。

在不損失紋理特征的情況下，將每個(gè)像素點(diǎn)減去gc，使得周圍像素點(diǎn)的灰度值趨于均勻，如式（5）所示。

假設(shè)給定中心點(diǎn)為（xc，yc）的圖像為F（x，y），LBP算子編碼如公式（7）所示：

圖像內(nèi)3×3鄰域，LBP紋理算子模板及編碼計(jì)算過程如圖3所示。

圖3LBP算子計(jì)算過程

經(jīng)過LBP算子處理后圖像記為FLBP（x，y），其紋理直方圖表示為：

上式中，δ為狄克拉函數(shù)，用于判斷坐標(biāo)點(diǎn)為（xi，yi）的像素屬于特征空間的第u個(gè)子空間，b（xi，yi）表示坐標(biāo)點(diǎn)對(duì)應(yīng)的像素特征值，S為歸一化系數(shù)，使得

1.3 融合顏色、紋理特征的粒子濾波

粒子濾波是一種基于遞推貝葉斯理論和蒙特卡羅模擬的濾波方法，適用于現(xiàn)實(shí)情況下非高斯、非線性場(chǎng)景的估計(jì)問題。貝葉斯遞推處理過程分為狀態(tài)預(yù)測(cè)和狀態(tài)更新2個(gè)階段。

預(yù)測(cè)階段：利用系統(tǒng)模型預(yù)測(cè)狀態(tài)的先驗(yàn)概率密度p（xk|z1：k-1）。

更新階段：完成從先驗(yàn)概率密度p（xk|z1：k-1）到后驗(yàn)概率密度p（xk|z1：k）的推導(dǎo)。

考慮到貝葉斯濾波架構(gòu)中，后驗(yàn)概率密度p（xk|z1：k）無法直接得到，需要進(jìn)行積分復(fù)雜運(yùn)算。粒子濾波利用蒙特卡洛方法，通過目標(biāo)概率分布的采樣樣本來估計(jì)系統(tǒng)隨機(jī)變量的后驗(yàn)概率分布（PDF）。根據(jù)大數(shù)定律，當(dāng)樣本數(shù)量N足夠大時(shí)，這種估計(jì)將無限接近于后驗(yàn)概率密度。

本文先對(duì)目標(biāo)區(qū)域的顏色和紋理特征進(jìn)行提取，通過公式（2）和（8）獲取該區(qū)域顏色直方圖pcolor（x）和紋理直方圖pLBP（x）。然后引入Bhattacharyya[8]系數(shù)分別計(jì)算出候選區(qū)域目標(biāo)直方圖與目標(biāo)區(qū)域直方圖相似度，得到顏色和紋理直方圖的Bhattacharyya距離dcolor和dLBP。候選區(qū)域直方圖模型q（x）和目標(biāo)區(qū)域直方圖模型p（x）之間的Bhattacharyya距離計(jì)算如下：

根據(jù)相似度距離得到粒子觀測(cè)值p（z|xki）：

根據(jù)公式（12）更新權(quán)值，實(shí)現(xiàn)粒子更新。最后利用權(quán)值融合公式（15），實(shí)現(xiàn)顏色、紋理特征線性融合。

上式中，α+β=1，且α、β的值隨著跟蹤視頻中場(chǎng)景復(fù)雜程度而改變。當(dāng)跟蹤場(chǎng)景中光線變化為主要影響因素時(shí)，將β值調(diào)高，設(shè)β值大于0.5；當(dāng)跟蹤場(chǎng)景中目標(biāo)形變、遮擋為主要影響因素時(shí)，設(shè)α值大于0.5。

1.4 目標(biāo)模型更新

現(xiàn)實(shí)中跟蹤目標(biāo)不可避免地會(huì)遇到部分甚至完全遮擋等復(fù)雜場(chǎng)景。粒子濾波跟蹤算法缺乏目標(biāo)模型自適應(yīng)更新機(jī)制，導(dǎo)致在跟蹤目標(biāo)發(fā)生較大遮擋的情況下，目標(biāo)顏色直方圖模型不能滿足準(zhǔn)確跟蹤的需要。本文采用的目標(biāo)模型更新機(jī)制通過巴氏距離的計(jì)算，自適應(yīng)地更改模板，從而提高跟蹤的準(zhǔn)確性和魯棒性。更新模板公式為：

上式中，πE[xt]是平均狀態(tài)的觀測(cè)概率，πT表示閾值[9-10]，λ表示狀態(tài)直方圖pE[St]對(duì)目標(biāo)模型qt-1的權(quán)重。這里閾值πT和參數(shù)λ設(shè)置為固定值，依據(jù)經(jīng)驗(yàn)設(shè)置為πT=0.3，λ=0.5。

圖4驗(yàn)證了目標(biāo)模型更新機(jī)制提高了跟蹤的準(zhǔn)確性。在第1 650幀跟蹤目標(biāo)沒有遮擋時(shí)，兩幅圖中均具有良好的跟蹤效果。在第1 699幀跟蹤球員被明顯遮擋時(shí)，圖（b）模型更新機(jī)制根據(jù)候選模型和參考模型相似度距離，判斷出目標(biāo)受到劇烈干擾，因此模型更新，避免適應(yīng)到錯(cuò)誤背景。在第1 723幀依然能夠穩(wěn)定跟蹤到目標(biāo)球員。圖（a）模型沒有更新，在第1699幀依然適應(yīng)到前一時(shí)刻跟蹤模型，因此錯(cuò)誤地跟蹤到了具有相似背景的己方球員，在第1 723幀時(shí)刻，雖然遮擋基本消除，跟蹤效果卻不理想。

圖4 目標(biāo)模型更新機(jī)制

2 本文算法描述

融合顏色與紋理特征的粒子濾波目標(biāo)跟蹤算法的具體步驟如下：

（1）粒子初始化。跟蹤視頻第一幀圖像，手動(dòng)選取跟蹤區(qū)域，根據(jù)公式（2）和（8）提取目標(biāo)顏色特征分布概率pcolor和紋理特征分布概率pLBP。假設(shè)有N個(gè)粒子，目標(biāo)區(qū)域中心位置賦予權(quán)值W0=1/N，其中N=100。

（2）狀態(tài)更新。讀入下一幀圖像，根據(jù)系統(tǒng)動(dòng)態(tài)模型Xk=BXk-1+Vk-1得到新的粒子樣本

（3）觀測(cè)更新。計(jì)算預(yù)測(cè)粒子的顏色特征和紋理特征并根據(jù)顏色公式（13）計(jì)算候選模型與目標(biāo)參考模型的相似度，得到顏色直方圖Bhattacharyya距離dcolor和紋理直方圖Bhattacharyya距離dLBP。根據(jù)相似度距離，得到粒子觀測(cè)值p（z|xk），利用公式（12）更新粒子權(quán)值，分別得到權(quán)值。公式（15）實(shí)現(xiàn)了顏色和紋理特征的線性融合。最后通過公式（17）進(jìn)行粒子權(quán)值歸一化。

（4）目標(biāo)狀態(tài)估計(jì)值。通過公式（17）計(jì)算出每個(gè)粒子的歸一化權(quán)值，采用加權(quán)準(zhǔn)則確定目標(biāo)的最終位置，即

（5）目標(biāo)模型更新機(jī)制。根據(jù)公式（16）判斷目標(biāo)模型是否需要更新。

（6）粒子重采樣。依據(jù)權(quán)值，復(fù)制權(quán)值高的粒子，摒棄權(quán)值低的粒子，得到N個(gè)新的粒子，設(shè)置權(quán)重為1/N。

（7）設(shè)置k=k+1，轉(zhuǎn)到（2），直至跟蹤視頻結(jié)束。

3 實(shí)驗(yàn)結(jié)果與分析

本實(shí)驗(yàn)環(huán)境為Intel i3 CPU、內(nèi)存2 GB的PC機(jī)，仿真軟件為MATLAB R2010。結(jié)合基于顏色直方圖的粒子濾波算法和本文應(yīng)用的融合顏色和紋理特征的粒子濾波算法進(jìn)行比較。

圖5顯示，在視頻第385幀、398幀和410幀跟蹤場(chǎng)景光照條件較差、跟蹤目標(biāo)與背景顏色分布非常相似，且存在目標(biāo)的部分遮擋。實(shí)驗(yàn)結(jié)果表明，圖5（a）算法在目標(biāo)和背景顏色相似度非常高、光照條件復(fù)雜的情況下，跟蹤效果不理想，甚至跟蹤失敗。圖5（b）是本文融合顏色、紋理特征算法的跟蹤結(jié)果，不僅具有顏色直方圖對(duì)目標(biāo)旋轉(zhuǎn)、部分遮擋適應(yīng)性的優(yōu)點(diǎn)，同時(shí)具有紋理特征光照不變性的優(yōu)點(diǎn)。對(duì)比圖可以明顯看出，本文跟蹤方法具有更好的準(zhǔn)確性和魯棒性。

圖5 兩種算法的目標(biāo)跟蹤效果對(duì)比圖

4 總結(jié)

本文采用了一種融合顏色和紋理特征的粒子濾波跟蹤方法，對(duì)目標(biāo)顏色、紋理特征進(jìn)行線性融合。不僅具有適應(yīng)目標(biāo)部分遮擋、形變的特性，而且具有光照適應(yīng)性好的優(yōu)勢(shì)。同時(shí)通過目標(biāo)模型更新機(jī)制，根據(jù)模型的相似度來判斷是否滿足更新條件，提高了跟蹤魯棒性和準(zhǔn)確性。

[1]MAGGIO E，CAVALLARO A.Video tracking：theory and practice[M].John Wiley and Sons，2011.

[2]KALMAN R E.A new approach to linear filtering and prediction problems[J].Transactions of the ASME-Journal of Basic Engineering，1960，82（Series D）：35-45.

[3]FEARNHEAD P.Sequential monte carlo methods in filter theory[R].Oxford：Merton College，1998.

[4]胡士強(qiáng)，敬忠良.粒子濾波算法綜述[J].控制與決策，2005（4）：361-365.

[5]曾偉，朱桂斌，陳杰，等.多特征融合的魯棒粒子濾波跟蹤算法[J].計(jì)算機(jī)應(yīng)用，2010（3）：643-645.

[6]OJALA T，PIETIKINEN M.Multiresolution Gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transaction on Pattern Analysis and Machine Intelligence，2002，24（7）：971-987.

[7]BIRCHFIELD S T，RANGARAJAN S.Spatigrams versus histograms for region-based tracking[C].IEEE CVPR，San Diego，CA USA，2005：1158-1163.

[8]SMEATON A F，O′CONNOR N E.An improved spatiogram similarity measure for robust object localization[C]. Proceeding of ICASSP，Honolulu，2007：1067-1072.

[9]NUMMIARO K，KOLLER-MEIER E，GOOL L V.Object tracking with an adaptive color-based particle filter[C].In symposium for Pattern Recognition of the DAGM，2002：353-360.

[10]NUMMIARO K，KOLLER-MEIER E，GOOL L V.An adaptive color-based particle filter[J].Image and Vision Computing，2003，21（11）：99-110.

Object tracking based on combined feature of color and texture with the particle filter

Yang Yang，Chen Shurong
（Information Engineering College，Shanghai Maritime University，Shanghai 201306，China）

In some complex scene such as similar color distribution backgrounds and frequently light changing，color-based particle filter algorithm may easily cause the unstable tracking or even lost the target.To solve the problem，a combined feature of color and LBP texture based object tracking with the particle filter algorithm is proposed.Firstly，color and LBP texture histograms are used to describe the feature to build objective observation model.Secondly，the particle filter system goes the state prediction. We apply the Bhattacharyya coefficients to compute the similarity between the reference location distribution and the candidate location distribution.We get the Bhattacharyya distance to update the weights and judge whether the model should be update or not. Finally，we normalize the weights and get the final estimate of the state of the object location.Experimental results show that the proposed method is not only robust but also accurate in object occlusion and light changing environment.

object tracking；particle filter；color histogram；LBP texture；Bhattacharyya coefficients

TP391.4

A

1674-7720（2015）11-0047-04

2015-01-14）

楊陽（1990-），男，碩士研究生，主要研究方向：圖像處理與模式識(shí)別。

國(guó)家自然科學(xué)基金（61404083）

陳淑榮（1972-），女，副教授，主要研究方向：視頻分析與處理、現(xiàn)代通信網(wǎng)絡(luò)及控制技術(shù)。