一種自適應(yīng)融合顏色和梯度方向特征的粒子濾波跟蹤算法

魏天舒，尹麗菊，高明亮，鄒國鋒,臧圓茹

(山東理工大學(xué) 電氣與電子工程學(xué)院,山東 淄博 255049)

一種自適應(yīng)融合顏色和梯度方向特征的粒子濾波跟蹤算法

魏天舒，尹麗菊，高明亮，鄒國鋒,臧圓茹

(山東理工大學(xué) 電氣與電子工程學(xué)院,山東 淄博 255049)

針對(duì)傳統(tǒng)的粒子濾波通常采用單一的特征信息，會(huì)導(dǎo)致跟蹤精度低、魯棒性差等問題，提出一種自適應(yīng)融合顏色特征和梯度方向特征的粒子濾波跟蹤算法.首先提取出能夠描述目標(biāo)的顏色和梯度方向特征，并分別采用空間核函數(shù)加權(quán)顏色直方圖和梯度方向直方圖對(duì)特征進(jìn)行描述，然后在跟蹤過程采用民主融合策略，根據(jù)兩個(gè)特征在跟蹤時(shí)的可靠性，自適應(yīng)的調(diào)節(jié)各自權(quán)重，最后采用融合后特征來對(duì)目標(biāo)進(jìn)行建模和跟蹤. 實(shí)驗(yàn)結(jié)果表明，算法能夠很好地處理目標(biāo)尺度縮放、旋轉(zhuǎn)、光照變化等復(fù)雜環(huán)境下的跟蹤問題.

視覺跟蹤;多特征融合;粒子濾波

近年來，目標(biāo)跟蹤在智能視頻監(jiān)控、人機(jī)交互、機(jī)器人導(dǎo)航等諸多領(lǐng)域得到了廣泛應(yīng)用[1-3]，成為計(jì)算機(jī)視覺領(lǐng)域中最熱門的研究課題之一.粒子濾波與傳統(tǒng)濾波方法相比，具有簡單易行、適用于非線性及非高斯噪聲環(huán)境的優(yōu)點(diǎn)，在目標(biāo)跟蹤領(lǐng)域得到了廣泛應(yīng)用[4-5].

傳統(tǒng)的粒子濾波跟蹤算法大多采用單一的特征信息.例如：Perez等人[6]將顏色特征作為粒子濾波的觀測模型，解決了目標(biāo)發(fā)生遮擋情況下的跟蹤.但是該算法的不足之處在于當(dāng)背景中出現(xiàn)與目標(biāo)顏色分布相似的干擾物時(shí)，容易造成粒子發(fā)散.為此，Birchfield等在粒子濾波框架下提出了空間顏色模型，利用像素點(diǎn)之間的空間關(guān)系改善了跟蹤的性能[7].楊大為等[8]在粒子濾波框架內(nèi)，提取出基于局部二值模式(LBP)的紋理特征，并采用稀疏表達(dá)實(shí)現(xiàn)目標(biāo)跟蹤，實(shí)驗(yàn)結(jié)果表明該方法對(duì)光照變化較為魯棒，但對(duì)形狀變化較大的目標(biāo)，跟蹤效果較差.

針對(duì)單信息進(jìn)行目標(biāo)跟蹤的缺陷，許多學(xué)者提出利用目標(biāo)的多種特征信息對(duì)目標(biāo)進(jìn)行跟蹤.Spengler等[9]提出了一種融合多特征信息的跟蹤算法，但該算法屬于尋求局部最優(yōu)的匹配算法，當(dāng)目標(biāo)發(fā)生遮擋時(shí)容易導(dǎo)致跟蹤失敗.張峰等[10]采用模糊邏輯的思想，將顏色和LBP特征融入到粒子濾波跟蹤算法中，提高了目標(biāo)跟蹤算法在復(fù)雜環(huán)境下的魯棒性和準(zhǔn)確性，但算法較復(fù)雜. 本文提出了一種基于民主融合策略的多信息融合模型，將顏色和梯度方向信息自適應(yīng)的融入到粒子濾波跟蹤方法，根據(jù)當(dāng)前跟蹤結(jié)果自適應(yīng)地調(diào)節(jié)每個(gè)特征信息的權(quán)值，增強(qiáng)了跟蹤特征的可靠性，取得了良好的跟蹤效果.

1 粒子濾波

xk=F(xk-1,uk)

(1)

zk=H(xk,vk)

(2)

式中：F為狀態(tài)轉(zhuǎn)移方程；uk為過程噪聲;H是測量方程；vk為系統(tǒng)的測量噪聲.

(3)

粒子濾波算法引入重要性采樣的概念，即對(duì)另一個(gè)與p(xk|zk)非常接近的分布q(xk|zk)進(jìn)行采樣，從而有:

(4)

為便于迭代預(yù)測系統(tǒng)狀態(tài)，q(xk|zk)滿足:

q(xk|zk)=q(xk|xk-1,zk)q(xk-1|zk-1)

(5)

根據(jù)概率統(tǒng)計(jì)理論，有如下關(guān)系:

p(xk|zk)∝p(zk|xk)p(xk|xk-1)

p(xk-1|zk-1)

(6)

將式(5) 、( 6) 帶入式( 4) ，得

(7)

實(shí)際操作中常有如下近似:

(8)

對(duì)于粒子濾波算法而言，一個(gè)重要缺陷是算法存在粒子退化現(xiàn)象[11]. 為了避免粒子退化問題，粒子濾波算法引入了重采樣技術(shù). 在重采樣之前，應(yīng)該首先確定粒子的退化程度，以確定是否進(jìn)行重采樣.Liu等人[12]給出了一種衡量粒子數(shù)匱乏程度的方法. 他們定義了“有效粒子數(shù)”Neff

(9)

當(dāng)Neff

2 目標(biāo)特征提取與融合

2.1 顏色特征

由于顏色特征具有平移、尺度不變性，且計(jì)算簡單，因此在跟蹤領(lǐng)域得到了廣泛的應(yīng)用. 現(xiàn)有的圖像采集設(shè)備最初采集到的顏色信息是RGB值，但RGB顏色空間不符合人對(duì)顏色的感知心理.HSV顏色空間是一種面向視覺感知的顏色模型[13].HSV顏色空間有兩個(gè)特點(diǎn):(1)亮度分量與圖像的彩色信息無關(guān);(2)色調(diào)與飽和度分量與人感受顏色的方式緊密相連.這些特點(diǎn)使得HSV顏色空間非常適合以人的視覺系統(tǒng)來感知彩色特性的圖像處理算法[13]. 因此，本文將目標(biāo)的顏色空間從RGB轉(zhuǎn)化為HSV空間.

為了使得到的顏色直方圖更加準(zhǔn)確，提取出目標(biāo)的基于核函數(shù)加權(quán)空間顏色模型[14]:

(10)

(11)

式中‖r‖為像素距離目標(biāo)中心的歐式距離.

得到目標(biāo)區(qū)域和候選區(qū)域的顏色信息后，采用Bhattacharyya距離來度量兩者的相似性. 顏色特征信息的觀測似然函數(shù)為

(12)

2.2 梯度方向特征

通過提取圖像中每一點(diǎn)的梯度值并按照不同梯度變化方向?qū)@些點(diǎn)進(jìn)行歸類，生成該圖像的梯度方向特征(HOG)[15].HOG特征提取過程如下：

(1)利用水平Sobel算子Kx和垂直的Sobel算子Ky計(jì)算感興趣區(qū)域內(nèi)所有像素點(diǎn)(x,y)的梯度：

(13)

(2)計(jì)算梯度的幅值大小和梯度方向：

(14)

θ= actan2(Gy(x,y)/Gx(x,y))

(15)

得到了候選位置的梯度方向直方圖后，定義梯度方向特征信息的觀測似然函數(shù)為

(16)

2.3 多特征自適應(yīng)融合

融合顏色信息和梯度方向信息，總的似然模型可以表示為

(17)

其中wc和we分別表示顏色信息和梯度方向信息的權(quán)重，也稱為信息的可靠性. 通過歸一化保證wc+we=1. 圖1顯示了兩種特征信息的獲取.

圖1 顏色信息和梯度信息的提取

在目標(biāo)跟蹤過程中，顏色信息權(quán)重wc和梯度方向信息權(quán)重we根據(jù)目標(biāo)實(shí)際狀態(tài)自適應(yīng)的進(jìn)行更新. 當(dāng)顏色可靠時(shí)，則權(quán)重wc值變大，反之梯度方向信息權(quán)重we變大.

為了能夠自適應(yīng)的調(diào)整兩種信息的權(quán)重，本文采用一種民主融合的策略對(duì)兩種信息進(jìn)行自適應(yīng)的調(diào)整. 民主融合策略是Spengler等[9]提出的一種自適應(yīng)融合各個(gè)特征信息的方法，它利用期望最大(EM)算法來在線調(diào)節(jié)每個(gè)特征信息的權(quán)重. 此融合方法根據(jù)各個(gè)信息在跟蹤時(shí)的可靠性，給不同的信息賦予不同的加權(quán)值. 若一個(gè)信息在某個(gè)時(shí)刻的可靠性大，其加權(quán)值就大，則此信息跟蹤的結(jié)果對(duì)最終的跟蹤結(jié)果貢獻(xiàn)就大.

在公式(17)的基礎(chǔ)上，通過最大似然估計(jì)可得到最終的目標(biāo)狀態(tài)，即

(18)

(19)

式中：sign是一個(gè)符號(hào)，分別代表兩種信息；a是一個(gè)常量，根據(jù)實(shí)際情況而定.

由于相鄰兩幀圖像之間變化很小，因此各個(gè)信息的加權(quán)在下一幀中可以預(yù)測為

(20)

2.4 算法流程

算法的具體流程圖如圖2所示，包括以下幾個(gè)步驟.

圖2 算法流程圖

步驟1 在初始幀中采用矩形框選定初始目標(biāo)，記初始狀態(tài)為X0=[x,y,s]，其中，(x,y)表示矩形框的中心位置，s表示矩形框的放縮比例. 分別統(tǒng)計(jì)目標(biāo)模板的核函數(shù)加權(quán)空間顏色直方圖和梯度方向直方圖.

步驟6 判斷是否有新圖像輸入，如果沒有，程序結(jié)束. 否則，根據(jù)公式(9)判斷是否滿足重采樣的條件，如果滿足重采樣條件，對(duì)粒子進(jìn)行重采樣，否則執(zhí)行步驟3.

3 實(shí)驗(yàn)結(jié)果及分析

采用兩組典型的測試視頻序列對(duì)算法的有效性進(jìn)行測試. 在第一組測試視頻中，對(duì)室內(nèi)女子頭部進(jìn)行跟蹤，這組視頻序列包括了目標(biāo)的平動(dòng)、轉(zhuǎn)動(dòng)、遮擋、相似物干擾，以及光照變化等一系列復(fù)雜的情況. 為了客觀地描述算法的跟蹤精度(誤差)，分別計(jì)算出幾種跟蹤方法的跟蹤結(jié)果(x,y)與真實(shí)目標(biāo)位置(xtrue,ytrue)的歐氏距離：

(21)

在跟蹤實(shí)驗(yàn)中，跟蹤位置與真實(shí)目標(biāo)位置之間的歐氏距離d稱為跟蹤的誤差，用來客觀地描述某種跟蹤算法的準(zhǔn)確度. 對(duì)比實(shí)驗(yàn)結(jié)果如圖3所示.

圖3 粒子濾波算法在不同的特征下跟蹤室內(nèi)女子頭部結(jié)果比較

—單獨(dú)采用顏色信息—單獨(dú)采用梯度方向信息—融合信息圖4 室內(nèi)女子頭部跟蹤效果

從實(shí)驗(yàn)結(jié)果看，本算法在處理任意平動(dòng)、轉(zhuǎn)動(dòng)、遮擋、相似物干擾，以及光照變化等較復(fù)雜的情況均有較好的效果. 部分跟蹤實(shí)驗(yàn)結(jié)果如圖4所示(彩分圖見網(wǎng)絡(luò)版). 其中，黃色框?yàn)閱为?dú)利用顏色信息進(jìn)行跟蹤的結(jié)果. 這種方法在目標(biāo)顏色發(fā)生很大變化時(shí)(如人體頭部發(fā)生旋轉(zhuǎn))，會(huì)跟蹤失敗. 紅色框是單獨(dú)利用邊緣信息進(jìn)行跟蹤的結(jié)果，該方法能對(duì)目標(biāo)發(fā)生旋轉(zhuǎn)的時(shí)候進(jìn)行較準(zhǔn)確地跟蹤，但是該方法不夠穩(wěn)定，因此適合于在簡單的背景下進(jìn)行跟蹤. 藍(lán)色框?yàn)槿诤蟽蓚€(gè)信息的跟蹤結(jié)果，可以看出自適應(yīng)融合特征的粒子濾波跟蹤算法優(yōu)于單特征的跟蹤效果.

圖5為室外場景的車輛跟蹤結(jié)果. 在跟蹤過程中，目標(biāo)有較大的尺度變化，并且，車輛的尾燈的開關(guān)會(huì)改變目標(biāo)的顏色特征. 部分對(duì)比跟蹤實(shí)驗(yàn)結(jié)果如圖6所示.

圖5 粒子濾波算法在不同的特征下跟蹤室外車輛結(jié)果比較

—單獨(dú)采用顏色信息—單獨(dú)采用梯度方向信息—融合信息圖6 室外車輛跟蹤效果

圖中，黃色框?yàn)閱为?dú)利用顏色信息進(jìn)行跟蹤的結(jié)果，顏色特征對(duì)于目標(biāo)的縮放有一定的魯棒性，但對(duì)于目標(biāo)的顏色變化比較敏感. 紅色框是單獨(dú)利用邊緣信息進(jìn)行跟蹤的結(jié)果，該方法對(duì)于顏色變化較為魯棒，但對(duì)于目標(biāo)的縮放比較敏感. 藍(lán)色框?yàn)楸菊滤惴ǜ櫧Y(jié)果，從實(shí)驗(yàn)結(jié)果看，本文算法能夠很好地處理目標(biāo)尺度縮放、光照變化等復(fù)雜情況下的跟蹤問題.

4 結(jié)束語

對(duì)于復(fù)雜背景下的目標(biāo)跟蹤，利用目標(biāo)的單一特征信息往往很難實(shí)現(xiàn)魯棒的跟蹤. 本文算法自適應(yīng)的融合顏色和梯度方向信息描述目標(biāo)的觀測信息，提高了跟蹤的魯棒性和準(zhǔn)確性；在跟蹤過程中，根據(jù)當(dāng)前幀目標(biāo)顏色和梯度方向信息的可靠性，利用民主融合策略在線調(diào)節(jié)下一幀觀測信息中顏色和梯度方向信息的權(quán)重，實(shí)現(xiàn)了兩個(gè)信息的自適應(yīng)加權(quán). 通過多組視頻測試，算法對(duì)目標(biāo)的相似性干擾、部分遮擋、不同方向的運(yùn)動(dòng)旋轉(zhuǎn)、攝像機(jī)的移動(dòng)和光照變化具有較高的精度和魯棒性.

[1]MAQUEDAAI,DEL-BLANCOCR.Human-computerinteractionbasedonvisualhand-gesturerecognitionusingvolumetricspatiogramsoflocalbinarypatterns[J].ComputerVisionandImageUnderstanding, 2015, 141:126-137.

[2]SHARMAKD,CHATTERJEEA,RAKSHITA.APSO-Lyapunovhybridstableadaptivefuzzytrackingcontrolapproachforvision-basedrobotnavigation[J].IEEETransactionsonInstrumentationandMeasurement, 2012, 61(7):1 908-1 914.

[3]ARROYOR,YEBESJJ.Expertvideo-surveillancesystemforreal-timedetectionofsuspiciousbehaviorsinshoppingmalls[J].ExpertSystemswithApplications, 2015,42(21):7 991-8 005.

[4]NUMMIAROK,KOLLER-MEIERE,VANGOOLL.Anadaptivecolor-basedparticlefilter[J].ImageandVisionComputing, 2003,21(1):99-110.

[5]王法勝,魯明羽,趙清杰,等. 粒子濾波算法[J],計(jì)算機(jī)學(xué)報(bào), 2013, 37(8):1 679-1 694.

[6]PEREZP,HUEC,VERMAAKJ,etal.Color-basedprobabilistictracking[M]//BERLIN:Springer-verlagberlin, 2002:661-675.

[7]BIRCHFIELDST,RANGARAJANS.Spatialhistogramsforregion-basedtracking[J].ETRIJOURNAL, 2007,29(5):697-699.

[8]揚(yáng)大為, 叢楊, 唐延?xùn)|. 基于粒子濾波與稀疏表達(dá)的目標(biāo)跟蹤方法[J]．模式 識(shí)別與人工智能，2013, 26(7):680-687.

[9]SPENGLERM,SCHIELEB．Towardsrobustmulti-cueintegrationforvisualtracking[J]．MachineVisionandApplications, 2003,14(1): 50-58．[10] 張峰, 何小海, 楊曉敏, 等. 基于模糊邏輯的多特征融合的粒子濾波跟蹤算法[J], 四川大學(xué)學(xué)報(bào)(工程科學(xué)版), 2013,45(S2):335-340.

[11]GAOML,LILL,SUNXM,etal.Fireyalgorithm(FA)basedparticlefiltermethodforvisualtracking[J],Optik, 2015, 26(18):1 705-1 711.

[12]LIUJS,CHENR.SequentialMonteCarlomethodsfordynamicsystems[J].Journaloftheamericanstatisticalassociation, 1998, 93(443):1 032-1 044.

[13]姜蘭池, 沈國強(qiáng), 張國煊. 基于HSV分塊顏色直方圖的圖像檢索算法[J], 機(jī)電工程, 2009,26(11):54-57.

[14]COMANICIUD,RAMESHV,MEERP.Kernel-basedobjecttracking[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2003, 25(5): 564-577.

[15]DALALN,TRIGGSB.HistogramsofOrientedGradientsforHumanDetection[C]//IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition. (CVPR),2005,886-893.

(編輯：劉寶江)

Avisualtrackingmethodbasedonadaptivecolorandorientationgradientfeaturesfusioninparticlefilter

WEITian-shu,YINLi-ju,GAOMing-liang,ZOUGuo-feng,ZANGYuan-ru

(SchoolofElectricalandElectronicEngineering,ShandongUniversityofTechnology,Zibo, 255049,China)

Thetrackingresultsareoftendisappointingwithpooraccuracyandrobustnessbecauseonlysinglecueisadoptedinthetraditionalparticlefilteralgorithm．Tosolvethisproblem,aparticlefiltertrackingalgorithmwithadaptivecolorandorientedgradientfeaturesisproposed.Firstly,thecolorandorientedgradientfeaturesarecalculatedandaredescribedbyspatialkernel-weightedcolorhistogramandedgeorientationhistogram,respectively.Thenthetwofeaturesarefusedadaptivelyusingdemocraticintegrationmethodandtheweightsareadjustedbythetheirreliabilityinthetrackingprocess.Last,thetargetismodeledandlocatedusingthefusedfeatures.Experimentalresultsshowedthattheproposedtrackingmethodhasagoodtrackingperformanceinagooddealofchallengingenvironmentandtheresultsareaccurateandrobust．

visualtracking;multi-featurefusion;particlefilter

2016-03-29

國家自然科學(xué)基金項(xiàng)目(61601266);山東省自然科學(xué)基金項(xiàng)目(ZR2015FL034，ZR2015FL029);山東理工大學(xué)青年教師支持計(jì)劃項(xiàng)目

魏天舒，女，weitianshu13@163.com; 通信作者：高明亮， 男，sdut_mlgao@163.com

1672-6197(2017)02-0017-05

TP

A