基于粒子濾波的目標(biāo)主動輪廓跟蹤算法

季玉龍，楊 光，戈文一

?

基于粒子濾波的目標(biāo)主動輪廓跟蹤算法

季玉龍1，楊 光2，戈文一1

(1. 四川大學(xué)空天科學(xué)與工程學(xué)院 成都 610065 2. 中國民航西北空中交通管理局 西安 710082)

傳統(tǒng)的粒子濾波方法采用若干維參數(shù)定義的簡單幾何圖形給出跟蹤結(jié)果，不能精確表示現(xiàn)實中具有復(fù)雜形狀的目標(biāo)物體。針對這一問題，該文提出基于粒子濾波的主動輪廓算法，用于計算復(fù)雜形狀目標(biāo)的輪廓跟蹤任務(wù)。在目標(biāo)狀態(tài)后驗分布的模擬樣本基礎(chǔ)上引入主動輪廓模型，并使用帶權(quán)粒子定義其能量函數(shù)，使得模型的輪廓線向具有重要權(quán)重粒子的所在區(qū)域演化，并最終收斂到具有最大目標(biāo)似然的圖像區(qū)域，從而實現(xiàn)對目標(biāo)物體的全局運動及局部形態(tài)演化的同時估計。精確的目標(biāo)區(qū)域提高了目標(biāo)模型的更新精度，避免了跟蹤中漂移現(xiàn)象的發(fā)生。最后，結(jié)合真實機(jī)場監(jiān)控驗證了該方法在實際復(fù)雜場景下的有效性及魯棒性。

主動輪廓; 能量函數(shù); 目標(biāo)跟蹤; 粒子濾波

目標(biāo)跟蹤是計算機(jī)視覺領(lǐng)域的一個重要研究課題，其任務(wù)是模擬出運動物體在圖像序列中的運動軌跡。粒子濾波算法[1]使用一組帶權(quán)粒子模擬目標(biāo)狀態(tài)的后驗概率分布，在目標(biāo)跟蹤領(lǐng)域越來越受到人們的關(guān)注，尤其在解決非線性、非高斯的問題上。傳統(tǒng)的粒子濾波算法采用若干維參數(shù)定義的簡單幾何圖形表示跟蹤結(jié)果，而現(xiàn)實中的物體往往具有復(fù)雜形狀并伴有姿態(tài)、尺度變化等，難以被簡單幾何圖形所描述。不精確的目標(biāo)表示還會在目標(biāo)更新階段引入噪聲像素，導(dǎo)致跟蹤任務(wù)的失敗。

許多算法嘗試引入輪廓及分割技術(shù)實現(xiàn)動態(tài)跟蹤任務(wù)。文獻(xiàn)[2]基于形狀演化以及相似性參數(shù)定義動態(tài)先驗?zāi)Ｐ?，并把其?yīng)用在粒子濾波框架中。在文獻(xiàn)[3]提出的輪廓跟蹤算法中，輪廓被參數(shù)化為橢圓，并使用隱馬爾可夫模型估計當(dāng)前輪廓狀態(tài)。與以上參數(shù)化模型相比，水平集主動輪廓技術(shù)[4-5]作為一種曲線的非參數(shù)表示法，能處理曲線的拓?fù)浣Y(jié)構(gòu)變化，應(yīng)用廣泛。在水平集模型中，輪廓線用高維函數(shù)的零水平集表示，并以高維函數(shù)的形式進(jìn)行演化，直到最小化基于圖像的能量函數(shù)。

水平集方法被用于跟蹤技術(shù)[6-7]。文獻(xiàn)[8]提出一個概率框架，用于跟蹤多個事先不可見的物體。利用觀測圖像數(shù)據(jù)計算目標(biāo)位置、相對深度以及由水平集表示的目標(biāo)形狀的后驗概率。文獻(xiàn)[9]在貝葉斯框架中引入形狀先驗統(tǒng)計知識，以實現(xiàn)基于水平集的序列跟蹤技術(shù)。文獻(xiàn)[10]在粒子濾波框架中引入Mumford-Shah模型，在粒子濾波預(yù)測階段，依據(jù)先前時刻的狀態(tài)和觀測數(shù)據(jù)，在各候選位置上執(zhí)行水平集曲線演化。文獻(xiàn)[11]在此基礎(chǔ)上將算法改進(jìn)為在更新階段執(zhí)行水平集演化，從而依據(jù)當(dāng)前時刻的狀態(tài)進(jìn)行觀測。然而這些算法使用的都是原始水平集演化模型，即僅依據(jù)圖像信息而不考慮跟蹤目標(biāo)的因素，得到的跟蹤結(jié)果依賴于初始曲線。文獻(xiàn)[12]用區(qū)域增長的方法將目標(biāo)與背景區(qū)域分割為片段，并在水平集框架中提出基于片段的跟蹤方法。

1 粒子濾波器

粒子濾波算法[1]是一種基于序列蒙特卡羅思想的估計過程，其實質(zhì)是隨機(jī)模擬序列的使用樣本并在貝葉斯框架下完成在線學(xué)習(xí)。令表示狀態(tài)向量，表示在時刻可見的觀測，并滿足狀態(tài)轉(zhuǎn)移與觀測方程：

(2)

2 粒子導(dǎo)向的主動輪廓跟蹤算法

2.1 主動輪廓模型

傳統(tǒng)的主動輪廓模型(Chan-Vese)意在尋找一個分段常值函數(shù)來近似灰度圖像的強度分布：

(4)

(6)

2.2 粒子權(quán)重

基于粒子濾波的主動輪廓跟蹤算法，將表示目標(biāo)位置與區(qū)域的粒子視作狀態(tài)，時刻的圖像視作觀測。預(yù)測階段，算法在原有樣本的基礎(chǔ)上按照分布采樣得到新樣本，其經(jīng)驗分布：

(8)

在具體實現(xiàn)中，可使用任意粒子濾波器得到該帶權(quán)粒子集合，而后在粒子空間中引入主動輪廓模型，并定義粒子導(dǎo)向的曲線演化方程，使其最終收斂到具有最多重要權(quán)重粒子的區(qū)域。

2.3 粒子空間下主動曲線演化

(11)

則式(8)中基于粒子集的概率模型可分解為：

其中：

(13)

式(13)和式(14)分別表示曲線內(nèi)包羅重要樣本及曲線外不泄露重要樣本的程度。

為驅(qū)使輪廓線運動到目標(biāo)邊界，使用圖像邊緣指示函數(shù)：

(16)

定義輪廓線的能量函數(shù)，使得最小化該能量函數(shù)等同于最大化概率：

(18)

則式(16)的關(guān)于水平集函數(shù)的形式為：

(20)

式中，；。不同于基于原始的圖像一致性原理的水平集模型，提出的方法在帶權(quán)粒子的引領(lǐng)下進(jìn)行定向演化，因而可以從較大范圍的初始狀態(tài)趨近目標(biāo)，而不依賴初始曲線形態(tài)。以airport surveillance序列為例的跟蹤流程圖如圖1所示。

3 實驗結(jié)果

3.1 目標(biāo)檢測與初始化

跟蹤算法開始前需確定跟蹤目標(biāo)。通?？稍诘谝粠惺謩赢嫵鲆粋€多邊形來給出初始目標(biāo)區(qū)域。本文采用針對運動飛機(jī)目標(biāo)的自動檢測與初始化方案。

采用背景建模方法與Haar特征對跟蹤目標(biāo)進(jìn)行檢測結(jié)果如圖2所示。首先采用基于空間局部二值模式的背景建模方法[13]得到視頻中的運動物體區(qū)域，即二值的背景減圖像。再根據(jù)飛機(jī)目標(biāo)在運動方向上的對稱性，在去噪后的運動物體區(qū)域上構(gòu)建其各個角度的外接矩形，而后在這些外接矩形上使用Haar特征進(jìn)行檢測。

a. 運動圖像

b. 背景二值模式建模

c. 構(gòu)建外接矩形

d. Harr特征進(jìn)行檢測

e. 背景目標(biāo)各角度外接矩形

f. 機(jī)目標(biāo)各角度外接矩形

圖2 采用背景建模方法與Haar特征對跟蹤目標(biāo)進(jìn)行檢測結(jié)果

3.2 目標(biāo)跟蹤

得到目標(biāo)初始區(qū)域后，在新的視頻幀中可采用以往提出的任意一種粒子濾波算法來得到模擬目標(biāo)分布的帶權(quán)粒子集，從而應(yīng)用提出的主動輪廓跟蹤方法進(jìn)行跟蹤任務(wù)。在此采用基于表觀和運動信息的粒子濾波器。首先對得到的初始目標(biāo)區(qū)域進(jìn)行表觀建模，得到其RGB三通道的密度分布，=16為量化級數(shù)。而后，在后續(xù)的視頻幀中采用前一時刻的跟蹤結(jié)果作為初始目標(biāo)區(qū)域，并在舊的粒子集上使用恒定位移模型產(chǎn)生一套新的粒子集。對每個粒子區(qū)域，統(tǒng)計其強度分布，并計算其與目標(biāo)分布的相似性度量：

其中，

(24)

基于以上帶權(quán)粒子，采用前面介紹的基于粒子濾波的主動輪廓跟蹤算法對目標(biāo)進(jìn)行跟蹤。此外，還將其與采用相同權(quán)值計算方法的標(biāo)準(zhǔn)粒子濾波器及以往的基于粒子濾波與主動輪廓的輪廓跟蹤算法[10]進(jìn)行比較。比較算法在airport sunveillance序列上的跟蹤結(jié)果如圖3所示。圖3描述了一個飛機(jī)在跑道上滑行的過程。為給出令人信服的比較結(jié)果，在相同的實驗條件下執(zhí)行3個算法。算法均采用前面所述的目標(biāo)初始化方法，且都采用30個粒子樣本。3個算法在序列上幀序號分別為284, 462, 663?？煽闯?，標(biāo)準(zhǔn)的粒子濾波算法很難準(zhǔn)確包羅整個目標(biāo)區(qū)域，這是由于矩形框所表示的目標(biāo)區(qū)域中含有大量的背景像素，由此建立的目標(biāo)模型不能提供準(zhǔn)確的信息以很好地區(qū)分目標(biāo)和局部背景。這會導(dǎo)致算法的判斷力弱化并使結(jié)果偏離目標(biāo)的真實位置。當(dāng)背景像素的污染逐步傳遞到后續(xù)圖像幀造成誤差累計時，跟蹤器就會發(fā)生漂移現(xiàn)象。而輪廓跟蹤方法[10]在粒子濾波預(yù)測階段產(chǎn)生的候選粒子上執(zhí)行傳統(tǒng)水平集模型而不考慮任何目標(biāo)信息，使得其輪廓演化不關(guān)聯(lián)目標(biāo)物體而只趨近強度一致區(qū)域，因而在具有多特征分布的目標(biāo)序列上，其曲線收斂結(jié)果受制于初始輪廓及圖像特征，很難準(zhǔn)確包羅整個目標(biāo)區(qū)域。相比之下，提出的算法使用帶權(quán)粒子引導(dǎo)主動輪廓線收斂到目標(biāo)邊界，可以精確地捕獲目標(biāo)區(qū)域。

a. 標(biāo)準(zhǔn)粒子濾波器(284幀) b. 標(biāo)準(zhǔn)粒子濾波器(462幀) c. 標(biāo)準(zhǔn)粒子濾波器(663幀)

d. 傳統(tǒng)輪廓跟蹤算法(284幀) e. 傳統(tǒng)輪廓跟蹤算法(462幀) f. 傳統(tǒng)輪廓跟蹤算法(663幀)

3.3 靜態(tài)飛機(jī)目標(biāo)分割

除了上述對運動目標(biāo)的跟蹤應(yīng)用外，在提出的基于粒子濾波的主動輪廓算法中，采用不同的粒子權(quán)值計算方法，可得到試用于不同應(yīng)用的結(jié)果。例如，對于機(jī)場監(jiān)控場景下的靜態(tài)飛機(jī)，由于攝像機(jī)的攝像距離較遠(yuǎn)，照射角度大，所以大部分物體在場景中相對飛機(jī)都因為較小而變得不顯著。由此，可采用顯著度測量的方法來為粒子賦權(quán)值從而達(dá)到針對飛機(jī)目標(biāo)進(jìn)行主動輪廓分割的目的。在此采用文獻(xiàn)[14]中的顯著度計算方法，并結(jié)合顯著區(qū)域下的haar特征值來為粒子賦權(quán)，即式(24)轉(zhuǎn)變?yōu)椋?/p>

最后基于此帶權(quán)粒子執(zhí)行提出的方法對飛機(jī)目標(biāo)進(jìn)行輪廓提取。在此也給出基于傳統(tǒng)主動輪廓模型的分割方法[4]的分割結(jié)果作為比較實驗。提出的方法在機(jī)場監(jiān)控視頻中靜態(tài)飛機(jī)目標(biāo)提取上的應(yīng)用如圖4所示。實驗結(jié)果表明了提出算法在真實應(yīng)用中的有效性。

a. 顯著度度量結(jié)果

b. 提出方法的主動輪廓分割結(jié)果

c. 提出方法的二值分割圖

d. 提出方法的前景分割圖

e. 傳統(tǒng)分割方法(初始：3個飛機(jī)外接矩形)

f. 傳統(tǒng)分割方法(初始：第2個飛機(jī)外接矩形)

圖4 提出的方法在機(jī)場監(jiān)控視頻中靜態(tài)飛機(jī)目標(biāo)提取上的應(yīng)用

4 結(jié) 論

本文提出一種新的基于粒子濾波的主動輪廓跟蹤算法，以實現(xiàn)對復(fù)雜形狀物體的輪廓跟蹤。相比于基于原始的僅依賴圖像特征的主動輪廓模型，本文的方法充分考慮跟蹤任務(wù)的上下文環(huán)境，使用目標(biāo)狀態(tài)后驗分布的模擬樣本定義輪廓能量函數(shù)，并引導(dǎo)曲線向具有重要權(quán)重粒子的區(qū)域進(jìn)行定向演化，最終收斂到具有最大目標(biāo)似然的圖像區(qū)域，實現(xiàn)了對目標(biāo)物體的全局運動及局部形態(tài)演化的同時估計。在機(jī)場監(jiān)控視頻序列上的各種應(yīng)用結(jié)果證明了本文方法在實際應(yīng)用中的有效性和魯棒性。

[1] ISARD M, BLAKE A. Condensation: Conditional density propagation for visual tracking[J]. International Journal of Computer Vision, 1998, 29(1): 5-28.

[2] VASWANI N, CHOWDHURY A R, CHELLAPPA R. Activity recognition using the dynamics of the configuration of interacting objects[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Los Alamitos, USA: IEEE, 2003.

[3] CHEN Y, RUI Y, HUANG T. JPDAF based HMM for real-time contour tracking[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Kauai, USA: IEEE, 2001.

[4] CHAN T, VESE L. Active contours without edges[J]. IEEE Transactions on Image Processing, 2001, 10(2): 266-277.

[5] OSHER S J, SETHIAN J A. Fronts propagation with curvature dependent speed: Algorithms based on hamilton- jacobi formulations[J]. Journal of Computational Physics, 1988, 79: 12-49.

[6] PRISACARIU V A, REID I. Nonlinear shape manifolds as shape priors in level set segmentation and tracking[C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Providence, USA: IEEE, 2011.

[7] SUN Xin, YAO Hong-xun, ZHANG Sheng-ping. A novel supervised level set method for non-rigid object tracking[C] //Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Providence, USA: IEEE, 2011.

[8] BIBBY C, REID I. Real-time tracking of multiple occluding objects using level sets[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. San Francisco, USA: IEEE, 2010.

[9] CREMERS D. Dynamical statistical shape priors for level set-based tracking[J]. IEEE TPAMI, 2006, 28(8): 1262- 1273.

[10] RATHI Y, VASWANI N, TANNENBAUM A, et al. Tracking deforming objects using particle filtering for geometric active contours[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2007, 29(8): 1470- 1475.

[11] SUN X, YAO H, ZHANG S. A refined particle filter method for contour tracking[C]//SPIE International Conference on Visual Communications and Image Processing. Huang shan, Anhui: [s.n.], 2010.

[12] CHOCKALINGAM P, PRADEEP N, BIRCHFIELD S. Adaptivefragments-based tracking of non-rigid objects using level sets[C]//Proceedings of IEEE International Conference on Computer Vision. Kyoto, Japan: IEEE, 2009.

編 輯 葉 芳

A Novel Particle Filter Based Object Active Contour Tracking Method

JI Yu-long1, YANG Guang2, and GE Wen-yi1

(1. School of Aeronautics and Astronautics, Sichuan University Chengdu 610065; 2. China Northwest Regional Air Traffic Management Bureau of Civil Aviation Xi’an 710082)

Conventional particle filters use simple geometric shapes with finite dimensional parameters to give the tracking results, therefore cannot precisely present the real-world objects with complex shapes. Aiming at this problem, this paper presents a novel particle filter based active contour algorithm for object contour tracking task. The active contour is introduced on the base of the samples simulating the target state posterior distribution; By including the weighted particles into the energy function, the contours evolve towards the region with particles with important weights and eventually converge to image region with maximum likelihood of the target. The proposed algorithm can improve the updating accuracy of the target model and avoid the tracking drift. Finally, a real-world airport surveillance application is presented to show the effectiveness and robustness of the proposed method in complex scenarios.

active contour; energy functional; object tracking; particle filter

TP391

A

10.3969/j.issn.1001-0548.2015.01.015

2013-04-08；

2014-07-28

國家863項目(2012AA011804)

季玉龍(1978-)，男，博士生，主要從事圖形圖像方面的研究.