相機運動狀態(tài)下的實時運動目標跟蹤算法

姜明新

(大連民族學院信息與通信工程學院，遼寧大連 116605)

基于視頻的目標跟蹤算法是計算機視覺領(lǐng)域的關(guān)鍵技術(shù)問題，在模式識別、人工智能、視頻監(jiān)控、機器人導航等方面都有廣泛的應(yīng)用［1－3］。常見的目標跟蹤算法有mean－shift算法［4］、粒子濾波算法［5］等。其中，粒子濾波算法能夠有效解決目標跟蹤中普遍存在的非線性、非高斯的問題，因而被更多的學者所采用。

現(xiàn)有的目標跟蹤算法大多數(shù)是基于靜止的視覺平臺展開的，而現(xiàn)實的監(jiān)控環(huán)境中，很多監(jiān)控相機處于運動的狀態(tài)，比如:船載和車載的監(jiān)控裝置。很多文獻討論了電子穩(wěn)像技術(shù)［6－8］，還有少部分文獻討論了基于電子穩(wěn)像的跟蹤算法［9］。但是這些算法都將穩(wěn)像和跟蹤分開進行處理，這樣做存在幾個不可避免的缺點:穩(wěn)像的過程不可避免的會造成視頻圖像信息的損失;先穩(wěn)像再跟蹤將會導致時間上的延遲，無法滿足實時性的要求;最重要的缺點是無法獲取在原始視頻中的跟蹤結(jié)果。

基于以上分析，為了克服現(xiàn)有算法中存在的問題，本文提出了一種相機運動狀態(tài)下的實時運動目標跟蹤算法。首先，對特征點進行選取，然后，利用光流法進行全局運動估計，得到相機平移運動分量和旋轉(zhuǎn)運動分量;最后，利用全局運動估計的結(jié)果對粒子濾波的運動方程進行修正，選用顏色直方圖作為目標的特征模型，實現(xiàn)在相機運動的情況下對移動目標的實時跟蹤。為了驗證本文算法的性能，選取了多組測試視頻進行實驗。實驗結(jié)果表明，在相機運動的狀態(tài)下，本文提出的算法能夠準確快速的跟蹤運動目標，達到實時性要求，具有非常好的實用價值。

1 全局運動估計

圖像的特征點選取需要考慮到精度和實時性兩方面的要求，傳統(tǒng)的穩(wěn)像算法，一般選取每一幀圖像的角點作為特征點。最普遍使用的角點的定義是由Harris提出的［10］，Harris定義的角點是指位于圖像二階導數(shù)的自相關(guān)矩陣有兩個最大特征值的地方，本質(zhì)上是以此點為中心，周圍至少存在兩個不同方向的紋理(或者邊緣)。但是，對每一幀圖像都查找角點會帶來一些問題:當需要角點數(shù)在300個以上時，與光流結(jié)合后實時性較差。

實驗證明，在穩(wěn)像的任務(wù)中使特征點分散到整個圖像比特征點是否是角點更加重要。受到基于塊匹配的穩(wěn)像算法的啟發(fā)［11］，在每幀圖像中每隔20個像素選取一個點作為特征點。均勻選取特征點的優(yōu)勢在于:具有非常好的實時性，對全局運動有很好的代表性;通過對局部運動向量的篩選可以獲得準確的全局運動的估計。

本文利用光流法來估計全局運動，采用Lucas－Kanade方法［12］來計算特征點的光流。由于均勻的選取特征點，特征點有可能在背景上，也有可能在運動目標上。為了準確的估計全局運動，需要排除運動目標對全局運動估計的影響。接下來，從理論上分析運動目標對光流結(jié)果的影響［13］。

為了分析運動目標對光流的影響，首先假設(shè)相機是靜止的。假設(shè)t時刻第i個特征點Pi(t)在相機坐標系中的坐標是［xi(t)，yi(t)，zi(t)］，則該特征點在像平面的坐標為

式中，λ是與相機分辨率和焦距有關(guān)的系數(shù)。

從式(2)可以看出，運動目標對光流的影響與運動目標的速度和景深有關(guān)，當時間間隔非常短時，可以認為速度是一定的，則運動目標的景深越小，對光流的影響就越大。

式中，M'為垂直方向上篩選后的特征點的總數(shù)。

t時刻，第i個特征點Pi(t)在相機坐標系中的坐標為［xi(t)，yi(t)，zi(t)］，令該特征點在世界坐標系中的位置保持不變，相機通過旋轉(zhuǎn)和平移發(fā)生移動，在t+1時刻，該特征點Pi(t+1)在相機坐標系中的位置變?yōu)椋踴i(t+1)，yi(t+1)，zi(t+1)］，則有

2 基于粒子濾波的運動目標跟蹤算法

粒子濾波的主體思想是用一組帶有權(quán)值的粒子來描述后驗概率分布［14－15］。根據(jù)蒙特卡羅理論，當粒子的數(shù)目足夠多時，這組具有權(quán)值的粒子就能準確地描述后驗概率分布，此時，粒子濾波就是最優(yōu)的貝葉斯估計。在目標跟蹤任務(wù)中，運動目標的位置可以被看作是狀態(tài)空間上的離散時間馬爾可夫序列。跟蹤目標就是要從帶有噪聲的觀測序列Zk中估計目標狀態(tài)Xk。

可以證明，當N→∞時，^Xk將均方收斂于p(Xk|Z1:k)的真實后驗概率分布。為了避免粒子權(quán)值退化問題，需要采用重采樣方法，通過復制高權(quán)值粒子并拋棄低權(quán)值粒子的方法來解決這一問題。

在實際跟蹤任務(wù)中，用上一節(jié)得到的視頻全局運動信息改進粒子濾波跟蹤算法。

本文選用RGB色彩空間的顏色直方圖來描述運動目標，首先，對R、G、B三個通道量化成16級，柱狀圖分格為m=16×16×16個bins。

設(shè) u={1，2，…，m}，在初始幀中，給定包含目標的粒子，可以得到目標的統(tǒng)計直方圖分布模型為的顏色概率密度為

其中，y0為初始目標中心位置。k(·)是核函數(shù)，核函數(shù)可以保證越遠離粒子中心的像素，權(quán)值越小，以提高模型的魯棒性。C為使的歸一化參數(shù)。

3 實驗結(jié)果分析

為了驗證本文提出的相機運動狀態(tài)下的實時運動目標跟蹤算法的性能，采用多組實驗視頻進行實驗，鑒于篇幅限制，本文只列出部分實驗結(jié)果。本文算法的實現(xiàn)是基于windows 7操作系統(tǒng)，采用Visual Studio 2010和opencv2.3作為軟件平臺，計算機配置為 Pentium(R)Dual－Core CPU 2.0GHz。

針對兩組實驗視頻的目標跟蹤的結(jié)果分別如圖1，圖2，圖中的紅色框為本文算法的跟蹤結(jié)果，白色框為傳統(tǒng)的粒子濾波算法的跟蹤結(jié)果，黃色框為mean－shift算法的跟蹤結(jié)果。從實驗結(jié)果中，可以明顯看出，在相機運動的情況下，本文提出的算法在準確性和魯棒性方面占有非常明顯的優(yōu)勢。

圖1 針對實驗視頻1利用不同算法進行跟蹤的結(jié)果對比

圖2 針對實驗視頻2利用不同算法進行跟蹤的結(jié)果對比

4 總結(jié)

本文提出了一種在相機運動的狀態(tài)下進行目標跟蹤的算法，克服了傳統(tǒng)算法分別對穩(wěn)像和跟蹤進行獨立處理的缺點。能夠?qū)崿F(xiàn)在原始的運動視頻中獲取目標跟蹤的結(jié)果，不損失視頻圖像信息，計算復雜度低，能夠滿足實時性要求。從實驗結(jié)果中可以看出，本文提出的算法具有非常好的魯棒性。后續(xù)，還可以改進目標的觀測似然，進一步考慮相機有突變運動時的跟蹤問題。

［1］張巧榮，馮新?lián)P.利用視覺顯著性和粒子濾波的運動目標跟蹤［J］.中國圖象圖形學報，2013，18(5):515 －522.

［2］夏瑜，吳小俊，馮振華.基于特征貢獻度的mean shift視頻跟蹤算法［J］.控制與決策，2012，27(7):1021－1026.

［3］JIANG Mingxin，LI Min，WANG Hongyu.A robust combined algorithim of object tracking based on moving object detection［C］∥Proceedings of the International Conference on Intelligent Control and Information Processing，2010:619－622.

［4］COMANICIU D V，MEER P.Kernel based object tracking［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(5):564－575.

［5］MASKELL N S，CLAPP T.A tutorial on particle filters for online nonlinear/nongaussian bayesian tracking［J］.IEEE Transactions on Signal Processing，2002，50(2):174 － 188.

［6］KONRAD A J，KARL W.Probabilistic video stabilization using kalman filtering and mosaicking［C］∥Proc.SPIE Image and Video Communications and Process，2003:663－674.

［7］TICO M，VEHVILAINEN M.Constraint motion filtering for video stabilisationsing［C］∥Proc.Int，2005:569 －572.

［8］AUBERGER S C.Miro，digital video stabilization architecture for low cost devices［C］∥Proceedings of the 4th International Symposium on Image and Signal Processing and Analysis，2005:474 －479.

［9］王斌，趙躍進，尹德森.基于電子穩(wěn)像的特征跟蹤算法［J］.紅外與激光工程，2008，37(4):607－610.

［10］BARRON J L，F(xiàn)LEET D J，BEAUCHEMIN S S.Performance of optical flow techniques［J］.International Journal of Computer Vision，1994，12(1):43－77.

［11］VELLA F，CASTORINA A.Massimo mancuso and giuseppe messina，digital image stabilization by adaptive block motion vectors filtering［J］.IEEE transactions on consumer electronics，48(3):796 － 801.

［12］SHI J，TOMASI C.Good features to track［C］.Proc.IEEE Int.Conf.on Computer Vision and Pattern Recognition，1994:593－600.

［13］CAI Jinhai，WAIKER R A.robust video stabilisation algorithm using feature point selection and delta optical flow［J］.IET Comput.Vis，2009，3(4):176 － 188.

［14］YANG Junlan，SCHONFEID D，MOHAMED M.Robust video stabilization based on particle filter tracking of projected camera motion［J］.IEEE trans on circuits and systems for video tech，2009，19(7):945 － 954.

［15］ KABAOGLU N.Target tracking using particle filters with support vector regression［J］.NE ，2009，58(5):2569－2573.

(責任編輯 劉敏)