空間信息碼本和粒子濾波相結(jié)合目標(biāo)跟蹤算法

瞿 中 趙棟梁

1(重慶郵電大學(xué)計算機科學(xué)與技術(shù)學(xué)院 重慶 400065)2(重慶市軟件質(zhì)量保證與測評工程技術(shù)研究中心 重慶 400065)

?

空間信息碼本和粒子濾波相結(jié)合目標(biāo)跟蹤算法

瞿 中1，2趙棟梁1

1(重慶郵電大學(xué)計算機科學(xué)與技術(shù)學(xué)院 重慶 400065)2(重慶市軟件質(zhì)量保證與測評工程技術(shù)研究中心 重慶 400065)

針對粒子濾波跟蹤過程中容易積累誤差引起跟蹤失敗的問題，提出一種基于空間信息碼本背景建模的粒子濾波跟蹤算法。首先，在碼本背景建模過程中將目標(biāo)像素碼本和周圍8鄰域像素碼本進(jìn)行融合，克服背景噪聲干擾得到精確的前景目標(biāo)；然后提取前景區(qū)域的核函數(shù)加權(quán)顏色特征作為粒子濾波初始狀態(tài)先驗分布。同時在重采樣過程中引入位置信息加權(quán)改進(jìn)。實驗結(jié)果表明，該算法減少了粒子發(fā)散引起的采樣誤差，且能夠在復(fù)雜背景下對目標(biāo)進(jìn)行有效跟蹤，在實時性和準(zhǔn)確性上優(yōu)于標(biāo)準(zhǔn)粒子濾波算法。

碼本背景建模 目標(biāo)跟蹤 粒子濾波 空間信息

0 引 言

粒子濾波通過非參數(shù)化蒙特卡羅模擬方法實現(xiàn)遞推貝葉斯濾波，被廣泛應(yīng)用于非線性模型和非高斯噪聲的目標(biāo)跟蹤[1]。標(biāo)準(zhǔn)粒子濾波[2]需預(yù)先建立目標(biāo)觀測模型對跟蹤系統(tǒng)進(jìn)行初始化，在跟蹤過程中該目標(biāo)的觀測模板通常是不變化的。隨著跟蹤的進(jìn)行，由于目標(biāo)形狀尺度變化、交叉遮擋或背景復(fù)雜等干擾，預(yù)先建立的觀測模型難以滿足狀態(tài)的變化，使跟蹤過程產(chǎn)生誤差。同時，由于粒子采樣空間的隨機性，大量粒子浪費在非目標(biāo)區(qū)域采樣，造成粒子發(fā)散并加速粒子退化，進(jìn)而造成目標(biāo)跟蹤失敗。為提高跟蹤精度，目前有很多研究都是從觀測模型檢測基礎(chǔ)上對粒子濾波進(jìn)行改進(jìn)。文獻(xiàn)[3]采用改進(jìn)的視覺顯著性表示來對運動物體進(jìn)行表征，將檢測結(jié)果作為觀測模型整合到粒子濾波跟蹤器中，但視覺顯著性特征易受復(fù)雜背景干擾，目標(biāo)與背景特征相似時其跟蹤效果較差；文獻(xiàn)[4]提出了Tracking-by-Detection跟蹤框架，利用連續(xù)可信檢測器和粒子濾波對目標(biāo)進(jìn)行邊檢測邊跟蹤，精度雖有提高，但算法復(fù)雜度較高實時性差；文獻(xiàn)[5]采用Adaboost對目標(biāo)進(jìn)行檢測建模，將分類樣本作為粒子濾波觀測模型，實現(xiàn)運動目標(biāo)的離線跟蹤，但需要大量訓(xùn)練的樣本為前提，不利于跟蹤多樣化目標(biāo)；文獻(xiàn)[6]采用多尺度二維離散小波描述可能的目標(biāo)區(qū)域，通過對其主成分分析作為粒子濾波初始狀態(tài)先驗分布，但其初始狀態(tài)建立耗時，且在交叉遮擋試驗中效果較差。

為建立有效的先驗狀態(tài)模型，提升粒子濾波精度。本文采用空間信息融合對碼本模型進(jìn)行改進(jìn)，克服光照和噪聲干擾，得到運動目標(biāo)精確的前景區(qū)域，提取目標(biāo)前景區(qū)域特征，然后由改進(jìn)過的粒子濾波實現(xiàn)對目標(biāo)交叉遮擋、前背景相似等復(fù)雜環(huán)境下的有效跟蹤。

1 空間信息碼本背景建模算法

1.1 標(biāo)準(zhǔn)碼本建模

標(biāo)準(zhǔn)碼本模型由Kim[7]等提出，基本思想是對時間序列上的像素進(jìn)行訓(xùn)練建立碼字，得到每個像素的時間變化模型，形成一個碼本，最后將像素與碼本進(jìn)行比對判斷前景與背景。

其中，α(α<1)和β(β>1)是亮度變化范圍的閾值，通常取0.4≤α≤0.7，1.1≤β≤1.5。同時定義顏色失真度為：

在前景檢測階段，視頻幀中的像素點和碼本模型中碼字進(jìn)行比對，匹配成功的像素則為背景，被學(xué)習(xí)到背景中去，匹配不成功的像素則為噪聲或新的碼字，被記錄到新的碼本模型中。

1.2 空間信息碼本建模

標(biāo)準(zhǔn)碼本模型[7]忽視了像素之間信息的相關(guān)性，沒有很好地處理背景空間變化的不確定性，故不能準(zhǔn)確反映當(dāng)前像素的實際情況。為更好適應(yīng)對光線變化和陰影等噪聲干擾提取出精確的前景目標(biāo)，本文提出了融合空間信息的碼本模型，對Wu M[9]提出的馬爾可夫局部信息碼本建模算法進(jìn)行簡化改進(jìn)，相關(guān)算法步驟如下：

Step1 初始化碼本，令C→?,L→0；

Step2 對視頻中每個像素值序列進(jìn)行訓(xùn)練：

在碼本中需找滿足以下條件，即與xt相匹配的碼字ci：

colordist(xt,vi)≤ε1，其中ε1為設(shè)定采樣閾值；

若C=φ或無匹配，則L=L+1，同時產(chǎn)生一個新碼字cl，vl=(R,G,B)，auxl=(I,I,1,t-1,t,t)；否則更新碼字ci：

Step3 消除冗余碼字，在集合C={ci,1≤i≤L}中，令tempλi=max{λi,N-qi+pi-1}

前景檢測階段：

Step4 輸入待檢測像素xt=(R,G,B)。

Step5 在碼本中需找滿足以下條件，即與xt相匹配的碼字ci：

colordist(xt,vi)≤ε2，其中ε2為檢測閾值，通常情況下ε1<ε2；

Step6 若碼字ci與xt匹配，則xt=background，并更新碼字ci；否則，xt=foreground；同時對xt進(jìn)行以下操作：

Step6.1 若在xt碼本的8鄰域相鄰碼本中，存在ci與之平匹配，則count++；

Step6.2 若count++≥K，K為設(shè)定閾值，則xt=background；否則，xt=foreground。

1.3 前景檢測結(jié)果對比

采用PETS視頻數(shù)據(jù)庫中Camera和Lab兩組視頻進(jìn)行實驗，分別對室外和室內(nèi)場景進(jìn)行前景檢測對比。如圖1所示，Camera中左側(cè)存在樹枝晃動，以及車輛經(jīng)過引起沿途車窗光線變化，這些干擾都引起了標(biāo)準(zhǔn)碼本的誤檢。同樣，Lab中人體經(jīng)過引起室內(nèi)光線突變更是引起了標(biāo)準(zhǔn)碼本較大范圍的誤檢噪聲。而空間信息的碼本在初步檢測出前景之后又與背景碼本進(jìn)行融合比較，進(jìn)一步精確判斷前景像素，很好地適應(yīng)了環(huán)境中的噪聲和背景干擾。

圖1 前景檢測結(jié)果對比

2 基于前景檢測的粒子濾波跟蹤算法

2.1 核函數(shù)加權(quán)顏色特征提取

復(fù)雜背景、光照等干擾影響對目標(biāo)的正確描述，本文采用核函數(shù)加權(quán)[10]顏色特征對檢測出的前景目標(biāo)提取HSV顏色特征作為粒子濾波觀測模型，以減少復(fù)雜背景對觀測值的影響，即目標(biāo)中心區(qū)域分配較大權(quán)值，而目標(biāo)邊緣區(qū)域分配較小權(quán)值。其中H和S分量對光照不敏感各劃分為16個量化級，而V分量對光照明感劃分為4個量化級，直方圖顏色共被劃分為16×16×4個量化級。

首先通過碼本前景檢測得到準(zhǔn)確目標(biāo)前景并求得外接矩形H0=[x0,y0,w,h]，其中(x0,y0)為矩形框中心坐標(biāo)，w、h為矩形框?qū)捄透撸傻靡跃匦螀^(qū)域(x0,y0)為中心歸一化加權(quán)直方圖：

u=1,2,…,m

(1)

(2)

2.2 結(jié)合空間信息碼本的粒子濾波跟蹤算法

文獻(xiàn)[8]粒子濾波算法其粒子搜索空間為隨機采樣，由于噪聲、背景等干擾引起跟蹤誤差，隨著跟蹤過程進(jìn)行，大量粒子浪費在噪聲計算上且發(fā)散越來越大，引起粒子枯竭退化等問題。本文在前景檢測中得到目標(biāo)區(qū)域(x0,y0,w,h)，可知該區(qū)域外的粒子采樣是無意義的，以此區(qū)域為粒子采樣區(qū)域，減少粒子無必要的采樣，同時結(jié)合幀間位置信息加權(quán)對重采樣算法進(jìn)行改進(jìn)，相關(guān)算法步驟如下：

Step1 前景檢測。通過空間信息碼本檢測出精確的運動目標(biāo)區(qū)域，以(x0,y0)為中心設(shè)粒子采樣區(qū)域。

(3)

可得兩個粒子特征與目標(biāo)特征的巴氏距離：

(4)

Step5 權(quán)重歸一化。定義粒子的權(quán)重ω(i)：

(5)

當(dāng)巴氏距離d的值越小，粒子權(quán)重越大。對粒子進(jìn)行權(quán)重歸一化，使得所有粒子權(quán)重和為1。

(6)

Step6 位置預(yù)測。權(quán)重表示目標(biāo)的所處位置的可能性大小，權(quán)重最大的粒子表示目標(biāo)位置。

Step7 粒子重采樣。隨著粒子預(yù)測目標(biāo)狀態(tài)的運行，權(quán)重較大的粒子數(shù)量會驟減，此時需要進(jìn)行重采樣，計算能夠有效描述系統(tǒng)狀態(tài)的粒子數(shù)量Neff：

(7)

2.3 位置信息加權(quán)重采樣算法改進(jìn)

目標(biāo)運動狀態(tài)是一個連續(xù)的過程，目標(biāo)當(dāng)前位置與前N幀中位置變化不大且是相關(guān)聯(lián)的。提出了位置信息加權(quán)的粒子重采樣算法，著重選擇目標(biāo)下一幀可能所在位置進(jìn)行重采樣，相關(guān)過程如下：

Step1 目標(biāo)位置的預(yù)測。設(shè)當(dāng)前幀為第k幀，將前m幀劃分為兩部分，其中第n幀為中心劃分點，分別計算該兩部分目標(biāo)所處的平均位置的重心，兩個重心的連線矢量Vp即為下一幀目標(biāo)可能所處位置，該矢量的方向為tanθ：

(8)

Step4 按照式(7)中所講方法重采樣。

Step5 讀取下一幀，重新進(jìn)行粒子初始化。

3 實驗結(jié)果及分析

為驗證本文算法前景約束下粒子采樣的穩(wěn)定性和跟蹤效果的魯棒性，與空間信息碼本特征提取狀態(tài)下復(fù)雜背景跟蹤的有效性，分別進(jìn)行了在交叉遮擋環(huán)境下同文獻(xiàn)[8]算法對比，與復(fù)雜背景環(huán)境下同文獻(xiàn)[2]標(biāo)準(zhǔn)粒子濾波算法對比。實驗采用VS2010+OpenCV2.0，環(huán)境為i5(2.60 GHz)，內(nèi)存2 GB的筆記本電腦。

(1) 實驗一：文獻(xiàn)[8]算法交叉遮擋實驗對比

實驗采用兩個目標(biāo)由接近、交叉到分開的視頻(跟蹤粒子數(shù)為100)，對比文獻(xiàn)[8]和本文兩種算法的跟蹤效果與粒子采樣狀態(tài)。如圖2(a)所示，由于文獻(xiàn)[8]中粒子的采樣空間是隨機的，所以其粒子發(fā)散比較大，兩目標(biāo)交叉過程中發(fā)散尤為嚴(yán)重。圖2(b)為本文算法的粒子采樣狀態(tài)，由于采用了檢測出的前景區(qū)域為粒子濾波觀測樣本，且粒子圍繞目標(biāo)中心采樣，故粒子狀態(tài)較穩(wěn)定。圖2(c)為本文算法的最大權(quán)重粒子狀態(tài)即最終的跟蹤結(jié)果。

圖2 跟蹤效果對比

根據(jù)圖2兩目標(biāo)交叉時的第188幀跟蹤結(jié)果，設(shè)定粒子矩形框的中心與目標(biāo)實際中心的像素距離表征粒子的采樣狀態(tài)即發(fā)散程度，兩種算法粒子序號為1-100，采樣狀態(tài)統(tǒng)計如圖3所示，整個跟蹤過程數(shù)據(jù)對比如表1所示。

圖3 第188幀粒子采樣狀態(tài)統(tǒng)計

表1 跟蹤過程數(shù)據(jù)對比

由圖3和表1可以看出，本文算法能在目標(biāo)交叉遮擋下準(zhǔn)確、魯棒地跟蹤目標(biāo)。同時抑制粒子發(fā)散，克服粒子快速退化的問題。

(2) 實驗二：復(fù)雜背景下目標(biāo)跟蹤對比

實驗采用了一段有陰影擾動和前背景相似的視頻分別對Rob Hess的標(biāo)準(zhǔn)粒子濾波[2]和本文兩種算法的跟蹤結(jié)果進(jìn)行對比(粒子數(shù)為100)。如圖4(a)所示在240～276幀，兩種算法都可以進(jìn)行有效跟蹤，但由于地面枝葉晃動和明暗交錯，標(biāo)準(zhǔn)粒子濾波算法對預(yù)先手動劃定的目標(biāo)顏色特征不能很好地適應(yīng)，粒子波動較大。圖4(b)中在第277幀目標(biāo)與背景的顏色特征較為接近難以區(qū)分，此時標(biāo)準(zhǔn)粒子濾波出現(xiàn)較大偏差以至于在291幀之后徹底跟丟，而本文算法由于結(jié)合前景檢測對目標(biāo)區(qū)域進(jìn)行顏色特征觀測，雖有偏差但誤差較小仍能穩(wěn)定跟蹤。實驗中以目標(biāo)跟蹤框的中心與實際目標(biāo)中心的像素距離表征跟蹤誤差，加入文獻(xiàn)[8]算法對比。誤差統(tǒng)計結(jié)果如圖5所示，整個跟蹤過程的數(shù)據(jù)對比如表2所示。

圖4 跟蹤結(jié)果對比

圖5 240～290幀跟蹤誤差統(tǒng)計

表2 復(fù)雜背景實驗結(jié)果對比

由圖4、圖5和表2可以看出，本文的改進(jìn)算法可以在前背景相似情況下對目標(biāo)進(jìn)行準(zhǔn)確穩(wěn)定跟蹤，同時準(zhǔn)確性實時性優(yōu)于文獻(xiàn)[8]算法和標(biāo)準(zhǔn)粒子濾波算法。

4 結(jié) 語

本文提出了一種結(jié)合空間信息碼本和粒子濾波的目標(biāo)跟蹤算法，通過碼本前景檢測結(jié)果與背景碼本進(jìn)行融合得到準(zhǔn)確前景區(qū)域，提取該前景區(qū)域的核函數(shù)顏色特征作為粒子濾波觀測模型，同時在跟蹤過程中對觀測模板進(jìn)行實時更新，并對粒子重采樣算法進(jìn)行了改進(jìn)。實驗結(jié)果表明本文算法能夠克服交叉遮擋和復(fù)雜背景等干擾，能穩(wěn)定跟蹤目標(biāo)且粒子發(fā)散小，在精度、實時性和魯棒性上優(yōu)于標(biāo)準(zhǔn)粒子濾波算法。

[1] 夏利民, 張良春. 基于自適應(yīng)粒子濾波器的物體跟蹤[J]. 中國圖象圖形學(xué)報, 2009, 14(1): 112-117.

[2] Hess R. Particle filter object tracking[J/OL]. blog, May, 2013, http://blogs.oregonstate.edu/hess/code/particles.

[3] Su Y, Zhao Q, Zhao L, et al. Abrupt motion tracking using a visual saliency embedded particle filter[J]. Pattern Recognition, 2014, 47(5): 1826-1834.

[4] Breitenstein M D, Reichlin F, Leibe B, et al. Online Multiperson Tracking-by-Detection from a Single, Uncalibrated Camera[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2011, 33(9):1820-1833.

[5] 瞿中, 張亢, 喬高元. MB-LBP 特征提取和粒子濾波相結(jié)合的運動目標(biāo)檢測與跟蹤算法研究[J]. 計算機科學(xué), 2013, 40(12): 304-307.

[6] Rui T, Zhang Q, Zhou Y, et al. Object tracking using particle filter in the wavelet subspace[J]. Neurocomputing, 2013, 119(16):125-130.

[7] Kim K, Chalidabhongse T H, Harwood D, et al. Real-time foreground-background segmentation using codebook model[J]. Real-time imaging, 2005, 11(3): 172-185.

[8] Sherrah J, Ristic B, Redding N J. Particle filter to track multiple people for visual surveillance[J]. IET computer vision, 2011, 5(4): 192-200.

[9] Wu M, Peng X. Spatio-temporal context for codebook-based dynamic background subtraction[J]. AEU-International Journal of Electronics and Communications, 2010, 64(8): 739-747.

[10] Comaniciu D, Ramesh V, Meer P. Kernel-based object tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(5): 564-577.

TARGETS TRACKING ALGORITHM COMBINING SPATIAL-INFORMATION CODEBOOK AND PARTICLE FILTER

Qu Zhong1，2Zhao Dongliang1

1(College of Computer Science and Technology, Chongqing University of Posts and Telecommunications, Chongqing 400065, China)2(Chongqing Engineering Research Center of Software Quality Assurance,Testing and Assessment, Chongqing 400065, China)

In order to avoid tracking failure caused by the errors easily accumulated in particle filter tracking process, we proposed an algorithm particle filter tracking, it is based on spatial-information CodeBook background modelling. First, in the process of codebook background modelling, it combines the CodeBook of targets’ pixels and the CodeBook of its 8-neighborhood pixels to overcome the interference of background noise and to get precise foreground targets; Then, it extracts the weighted kernel function colour features of foreground regions as the prior distribution of initial state of particle filter, meanwhile imports the weighted improvement of position information to resampling progress. Experimental results show that this algorithm reduces the sampling errors caused by particle emission, and can effectively track targets under complex background as well, moreover, it is superior to the standard particle filter algorithm in real-time property and accuracy.

CodeBook background modelling Targets tracking Particle filter Spatial information

2015-09-17。重慶市教委科學(xué)技術(shù)研究項目(KJ1402 001)；重慶市科委基礎(chǔ)與前沿項目(cstc2014jcyjA1347);重慶市高校優(yōu)秀成果轉(zhuǎn)化項目(KJZH14219)。瞿中，教授，主研領(lǐng)域：數(shù)字圖像處理，普適計算，物聯(lián)網(wǎng)技術(shù)等。趙棟梁，碩士生。

TP391.41

A

10.3969/j.issn.1000-386x.2016.11.054