連續(xù)同色調(diào)背景下運動目標自適應跟蹤

陳從平 黃 正 聶 葳 石小濤

1(三峽大學機械與動力學院 湖北 宜昌 443002)2(三峽庫區(qū)生態(tài)環(huán)境教育部工程研究中心 湖北 宜昌 443002)

?

連續(xù)同色調(diào)背景下運動目標自適應跟蹤

陳從平1黃 正1聶 葳1石小濤2

1(三峽大學機械與動力學院 湖北 宜昌 443002)2(三峽庫區(qū)生態(tài)環(huán)境教育部工程研究中心 湖北 宜昌 443002)

針對傳統(tǒng)的Meanshift算法在連續(xù)的同色調(diào)背景干擾下無法準確、持續(xù)跟蹤目標的問題，提出一種基于Kalman-optical flow(KOF)的改進Meanshift目標跟蹤算法。首先，通過基于色調(diào)空間的光流檢測對Meanshift窗口區(qū)域內(nèi)的特征點進行建模，獲得其圖像坐標；然后，利用Kalman濾波的速度預估排除背景特征點，得到基于目標模型特征點的空間約束條件；最后，將得到的空間約束條件結(jié)合傳統(tǒng)Meanshift算法中的色調(diào)約束條件，構(gòu)建新的反投影直方圖，并將新的反投影圖作為Meanshift的概率密度圖進行迭代，從而完成目標跟蹤。實驗表明，在連續(xù)的同色調(diào)背景區(qū)域的干擾下，該算法仍可以準確、持續(xù)地跟蹤目標。

Meanshift 目標跟蹤 光流 Kalman濾波 同色調(diào)區(qū)域

0 引 言

基于視頻的運動目標檢測與跟蹤已在許多領域得到了應用，如導彈制導、機器人導航、制造領域中視覺定位與引導、智能交通及公共安全領域的目標追蹤等。近年來，隨著計算機技術(shù)和通信技術(shù)的發(fā)展，對目標跟蹤的實時性、準確性要求也日益提高。目前，典型的目標跟蹤算法有光流法[1]、幀差法[2]、粒子濾波[3]、Kalman濾波[4]及Meanshift等[5]。其中，光流法與幀差法是基于物體的運動信息進行跟蹤的，它們能同時跟蹤所有前景目標，但無法實現(xiàn)目標選擇性跟蹤(只能跟蹤全部的前景物體而無法針對具體目標),且兩種算法都極易受到背景變動的干擾；粒子濾波則需要足夠的粒子數(shù)目以保證算法的魯棒性，這極大地增加了跟蹤過程中的計算量；Kalman濾波需要結(jié)合觀測值得到最優(yōu)更新，需要與其他算法聯(lián)合使用，因此在自適應跟蹤過程中通常作為輔助算法。Meanshift算法作為一種基于密度梯度的無參數(shù)估計跟蹤算法[6]，以其計算速度快、實時性好等特點得到了廣泛的研究與應用。

傳統(tǒng)的Meanshift算法是通過目標模型的色調(diào)特征(顏色約束)實現(xiàn)對目標跟蹤，而當其應用于如水下魚類軌跡追蹤、智能交通目標追蹤等目標與背景具有同色調(diào)信息的領域時，若不增加其他特征約束，就容易造成目標丟失。為了解決這個問題，文獻[7-9]首先通過幀差法確定運動的目標區(qū)域以排除背景色調(diào)的干擾，然后利用Meanshift進行跟蹤。該算法對于固定場景中的運動目標具有很好的跟蹤效果，但當背景發(fā)生較大改變或跟蹤目標相對靜止時，依然會產(chǎn)生跟蹤目標丟失的現(xiàn)象。文獻[10-12]提出了一種對目標特征進行分塊跟蹤的方法，通過對跟蹤目標各特征區(qū)域進行建模并加權(quán)的方式得到目標模型，能夠有效地排除背景信息的干擾。但這種方法的分塊模式較為死板，且難以跟蹤處于連續(xù)的同色調(diào)背景區(qū)域中的目標或形態(tài)發(fā)生較大改變的目標。

本文針對在目標跟蹤過程中，由于連續(xù)幀間同色調(diào)背景的干擾所導致追蹤目標丟失這一問題，提出了一種結(jié)合KOF的改進Meanshift跟蹤算法。首先通過基于色調(diào)空間的光流法獲得Meanshift搜索窗口區(qū)域的特征點信息；然后再根據(jù)Kalman濾波中的速度預估值剔除背景特征點信息，構(gòu)建僅考慮目標特征點的空間約束條件。最后將求得的空間約束結(jié)合傳統(tǒng)Meanshift算法中的顏色約束，得到改進的反投影直方圖，并將改進的反投影直方圖作為Meanshift的概率密度圖進行迭代，從而完成目標跟蹤。

1 Meanshift算法原理

跟蹤目標確定時，Meanshift算法通過提取目標模型在HSV顏色空間的H分量來建立直方圖模型，并據(jù)直方圖模型計算后續(xù)各幀的概率密度圖—反投影直方圖，Meanshift算法即收斂于反投影直方圖的概率密度極大值點。其定位原理及過程如下[13，14]：

(1)

(2)

(3)

上述公式中，δ為KroneckerDelta函數(shù)，g為核函數(shù)，h為核函數(shù)帶寬，ξ為設定閾值。

由式(1)-式(3)可知，Meanshift算法通過計算目標模型的色調(diào)信息{qu}以進行跟蹤。然而，當背景區(qū)域與跟蹤目標的色調(diào)信息相似時，僅靠色調(diào)約束無法準確、持續(xù)地跟蹤目標。為了解決這個問題，就需要對跟蹤目標添加其他的約束條件。考慮到跟蹤目標模型中可能存在的形態(tài)變化以及背景變化的干擾，本文使用對這兩種干擾不敏感的目標模型特征點信息作為新的約束條件，并通過能夠準確匹配相鄰幀中相對應點的光流法進行特征點求解。

2 基于KOF的改進Meanshift算法

2.1 基于色調(diào)空間的光流求解

當Meanshift算法中選定初始窗口后，即可通過光流檢測得到Meanshift搜索窗口內(nèi)的特征點。若特征點的色調(diào)值在相鄰幀之間無變化，則總可以找到一個偏移量(u,v)使:

Ht(x,y)=Ht+1(x+u,y+v)

(4)

其中，Ht、Ht+1分別為當前幀及下一幀的色調(diào)值。事實上，色調(diào)值在高飽和度且光強較為適中的圖像中能保持不變。為滿足這一前提，本算法中只考慮飽和度S>65且光照強度50

將式(4)泰勒展開并忽略高階項，有:

(5)

當色調(diào)不變時，式(5)可簡化為:

(6)

在連續(xù)的視頻幀中，可認為目標模型中特征點與其鄰域點的偏移量一致，具有空間一致性。此時，若已知鄰域點集的色調(diào)值(Hx1,Hx2,…,Hxn)，則可據(jù)式(6)求得(u,v)，繼而得到下一幀中特征點的坐標為：

(7)

為了提高改進算法的實時性，本文只對Meanshift搜索窗口區(qū)域內(nèi)的特征點進行檢測。此時檢測到的特征點中包含了會造成干擾的部分背景區(qū)域特征點，且由于跟蹤目標的運動，當前幀的跟蹤目標可能不完全處于上一幀的Meanshift搜索窗口區(qū)域內(nèi)。這樣會導致前后兩幀的一部分特征點匹配失敗，降低整個改進算法的魯棒性。為了防止以上兩種情況的發(fā)生，本文擬通過增加Kalman濾波來進行改進。

2.2 Kalman濾波

Kalman濾波[15]包括預測與更新兩個步驟，其預測狀態(tài)方程及預測協(xié)方差方程分別為:

(8)

(9)

式中，Kk為增益矩陣，Zk為輸入的觀測向量，H為觀測模型，R為誤差矩陣。

在利用Kalman濾波得到當前幀目標模型質(zhì)心的預估狀態(tài)向量(xk,yk,vx,vy)后，就可以通過設定閾值的方法提高Meanshift搜索窗口的跟蹤精度，排除與預估速度不一致的背景特征點；并且適度擴大檢測特征點的窗口，以防止前后幀中部分特征點匹配失敗。

2.3 改進的Meanshift算法

設第k幀目標模型質(zhì)心橫、縱方向的Kalman預估坐標及速度值分別為xk、yk、vkx、vky，為了防止改進算法跟丟目標，其Meanshift跟蹤窗口坐標應滿足:

(10)

檢測特征點的窗口的大小應滿足:

Bx=Lx-abs(2vkx)By=Ly-abs(2vky)Bwidth=Lwidth+abs(2vkx)Bheight=Lheight+abs(2vky)

(11)

追蹤目標的特征點應滿足:

abs(2vkx)>p[k,i,x]-p[k-1,i,x]>vkx/2abs(2vky)>p[k,i,y]-p[k-1,i,y]>vky/2

(12)

上述公式中，(Mx,My)為第k幀中Meanshift迭代窗口左上角坐標，(Bx,By)、Bwidth、Bheight分別為第k幀中檢測窗口左上角的坐標以及窗口的寬度、高度，(Lx,Ly)、Lwidth、Lheight分別為第k-1幀中Meanshift迭代窗口左上角坐標以及窗口的寬度、高度。p[k,i,x]與p[k,i,y]分別表示第k幀中第i個目標特征點的橫、縱坐標值。

通過式(10)-式(12)即可排除背景干擾點，得到只基于目標模型特征點的約束條件。再將目標模型特征點進行二值化、膨脹處理后，結(jié)合跟蹤目標的色調(diào)約束就可以構(gòu)建新的反投影直方圖，完成Meanshift追蹤過程。基于KOF的改進Meanshift算法的流程如圖1所示。

圖1 基于KOF的改進Meanshift算法流程圖

3 實驗結(jié)果與分析

3.1 非連續(xù)同色調(diào)背景下的跟蹤實驗

本文通過VS2010+OpenCV 2.0平臺所編寫的C++代碼，對兩個測試視頻進行了實驗，其中測試視頻1中的跟蹤目標為自行車，背景信息固定且包含與跟蹤目標具有相似色調(diào)信息的單列車輛。實驗中使用三種跟蹤算法對目標進行追蹤，其中圖2為運用傳統(tǒng)的Meanshift算法進行跟蹤的效果圖，圖3為運用Meanshift-Kalman濾波算法進行跟蹤的效果圖，圖4為運用本文中基于KOF的改進Meanshift算法進行跟蹤的效果圖。

圖2 基于傳統(tǒng)Meanshift算法的跟蹤效果

圖3 基于Meanshift-Kalman濾波算法的跟蹤效果

圖4 基于KOF的改進Meanshift算法的跟蹤效果

反投影圖中區(qū)域的高亮程度代表著其與目標模型色調(diào)信息相匹配的程度。因此，從圖2、圖3的反投影圖可以看出，在第55幀確定跟蹤目標時，背景圖像中的?？寇囕v與跟蹤目標具有相似的色調(diào)信息，故而在第65幀中當跟蹤目標靠近?？寇囕v時，基于色調(diào)信息的傳統(tǒng)Meanshift算法無法準確區(qū)分目標模型和背景區(qū)域，進而丟失跟蹤目標；而基于Meanshift-Kalman濾波的跟蹤算法在第65幀中并沒有丟失跟蹤目標。這是由于Kalman濾波的預測效果抵消了Meanshift算法的部分跟蹤誤差，且造成干擾的背景區(qū)域并非連續(xù)的同色調(diào)干擾背景，因此在之后的跟蹤過程中算法并未受到相似色調(diào)背景的影響，故而能夠精確地跟蹤目標模型。從圖4中的反投影圖可以看出，本文算法較好地屏蔽了背景區(qū)域的干擾，因此在整個追蹤過程中都保持了較高的跟蹤精度。

3.2 連續(xù)同色調(diào)背景下的跟蹤實驗

測試視頻2中的跟蹤目標為行人，背景為與跟蹤目標有相似色調(diào)信息的連續(xù)排列的車輛且背景為非固定背景。其中圖5為運用傳統(tǒng)的Meanshift算法進行跟蹤的效果圖，圖6為運用Meanshift-Kalman濾波算法進行跟蹤的效果圖，圖7為運用本文中基于KOF的改進Meanshift算法進行跟蹤的效果圖。

圖5 基于傳統(tǒng)Meanshift算法的跟蹤效果

圖6 基于Meanshift-Kalman濾波算法的跟蹤效果

圖7 基于KOF的改進Meanshift算法的跟蹤效果

從圖5-圖7的反投影圖可以看出，在第150幀中，由于跟蹤目標與當前背景區(qū)域有較大的色調(diào)差異，兩者在反投影圖中的高亮程度相差很大，因此三種算法都可以精確地跟蹤到運動目標。但從圖5、圖6的反投影圖還可以看出，從第317幀開始，跟蹤窗口內(nèi)的背景區(qū)域和跟蹤目標具有相似的色調(diào)信息，此時再使用只基于色調(diào)信息的傳統(tǒng)Meanshift算法就無法準確地區(qū)分目標模型和背景區(qū)域，最終將導致追蹤目標丟失；而基于Meanshift-Kalman濾波的跟蹤算法通過Kalman濾波的預測增益抵消了部分Meanshift算法的跟蹤誤差，故而能夠在第317幀中較好地追蹤目標模型。但是，與3.1節(jié)實驗中的非連續(xù)性背景干擾所不同的是，在第317幀之后的跟蹤過程中，跟蹤目標始終處于連續(xù)的同色調(diào)背景干擾中，因此在接下來的每一幀中Meanshift算法都無法準確地跟蹤目標，這會使該算法的累積誤差越來越大，直至第493幀完全丟失目標。而從圖7的反投影圖中可以看出，本文使用的基于KOF的改進Meanshift算法能夠很好地消除連續(xù)同色調(diào)背景區(qū)域的干擾，定位跟蹤目標區(qū)域，使算法能夠準確、持續(xù)地跟蹤目標。

為衡量以上算法跟蹤效果，對實驗視頻2進行了定位精度分析，定義定位誤差為:

(13)

其中，(xi,yi)為第i幀中跟蹤窗口的中心坐標，(xic,yic)為第i幀中目標模型實際質(zhì)心坐標，Li為兩者的像素距離。據(jù)式(13)對整個跟蹤過程進行比較，結(jié)果如圖8所示。可以看出，在背景干擾不大的區(qū)域(前200幀)，三種算法都有較好的跟蹤精度；然而在第220～270幀之間，傳統(tǒng)Meanshift算法以及基于Kalman濾波的算法的跟蹤精度略高于本文算法。這是由于改進算法中的特征點約束可能會造成部分目標信息的丟失，使跟蹤窗口產(chǎn)生部分偏移所致。而在之后連續(xù)的同色調(diào)背景干擾區(qū)域，本文的改進算法的跟蹤精度明顯高于其他兩種算法。

圖8 不同算法定位誤差比較

4 結(jié) 語

Meanshift算法能夠快速、實時地跟蹤目標，然而當跟蹤目標處于連續(xù)同色調(diào)背景區(qū)域時，就會由于無法確定跟蹤目標的信息而造成跟蹤失敗。本文結(jié)合KOF算法，首先根據(jù)光流法對色調(diào)空間的特征點進行檢測，再根據(jù)Kalman速度預估甄選出目標模型的特征點信息，最后將特征點信息結(jié)合傳統(tǒng)Meanshift算法中的色調(diào)信息構(gòu)建新的反投影圖，再進行目標跟蹤。實驗結(jié)果表明，結(jié)合KOF的改進Meanshift算法能夠準確、持續(xù)地跟蹤目標，有效地解決了連續(xù)同色調(diào)背景區(qū)域?qū)δ繕烁櫾斐傻母蓴_問題。

[1] Bao L C，Yang Q X，Jin H L. Fast Edge-Preserving PatchMatch for Large Displacement Optical Flow[C]// 2014 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society，2014：3534-3541.

[2] Jun Qiang，Jun Chen，Jun Wang. An Interfield and Intrafield Weighted Interpolative Deinterlacing Algorithm Based on Low-Angle Detection and Multiangle Extraction[J]. Mathematical Problems in Engineering，2014(15)：1-8.

[3] Sun X，Yao H X. A refined particle filter based on determined level set model for robust contour tracking[J]. Machine Vision and Applications, 2014，25(7)：1727-1736.

[4] Hoshiya M，Saito E. Structural Identification by Extended Kalman Filter[J]. Journal of Engineering Mechanics，1984,110(12)：1757-1770.

[5] 胡威. 一種新的Meanshift快速運動目標魯棒跟蹤方法[J].計算機應用與軟件，2014，31(1)：140-143.

[6] Song Y，Li S, Zhang J，et al. Scale Adaptive Tracking Using Mean Shift and Efficient Feature Matching[C]// 2014 22nd International Conference on Pattern Recognition (ICPR). IEEE Computer Society，2014：2233-2238.

[7] 鄔大鵬，程衛(wèi)平，于盛林. 基于幀間差分和運動估計的Camshift目標跟蹤算法[J].光電工程，2010，37(1)：55-60.

[8] 崔文超，洪新華，吳正平. 一種運動背景下目標快速定位方法[J].三峽大學學報：自然科學版，2007，29(2)：163-166.

[9] 張春林，李小堅. 基于幀間差分和背景差分結(jié)合的Camshift目標跟蹤算法[J].工業(yè)控制計算機，2014，27(6)：118-120.

[10] 董慧芬，董保磊，丁小芳,等. 基于相關區(qū)域分層的改進Meanshift目標跟蹤算法[J].計算機應用，2014，34(S2)：286-290.

[11] 袁霄，王麗萍. 基于Meanshift算法的運動人體跟蹤[J].計算機工程與科學，2008，30(4)：46-49.

[12] 王田，劉偉寧，韓廣良,等. 基于改進Meanshift的目標跟蹤算法[J].液晶與顯示，2012，27(3)：396-400.

[13] Vojir T，Noskova J，Matas J. Robust scale-adaptive mean-shift for tracking[J]. Pattern Recognition Letters，2014，49：250-258.

[14] Sliti O，Hamam H，Benzarti F，et al. A More Robust Mean Shift Tracker Using Joint Monogenic Signal Analysis and Color Histogram[C]// 2014 22nd International Conference on Pattern Recognition (ICPR).IEEE Computer Society，2014：2453-2458.

[15] Bourmaud G，Mégret R, Giremus A，et al. Global motion estimation from relative measurements using iterated extended Kalman filter on matrix LIE groups[C]// Image Processing (ICIP)，2014 IEEE International Conference on.IEEE，2014：3362-3366.

ADAPTIVE MOVING TARGET TRACKING UNDER INCESSANT SAME HUE BACKGROUND

Chen Congping1Huang Zheng1Nie Wei1Shi Xiaotao2

1(CollegeofMechanicalandPowerEngineering,ChinaThreeGorgesUniversity,Yichang443002,Hubei,China)2(EngineeringResearchCenterofEco-environmentinThreeGorgesReservoirRegion,MinistryofEducation,Yichang443002,Hubei,China)

Aiming at the problem that traditional Meanshift algorithm cannot track the target accurately and constantly under the interference of incessant same hue background, we proposed an improved Meanshift target tracking algorithm which is based on Kalman-optical flow (KOF). First, it models the feature points within the area of Meanshift window by hue space-based optical flow detection algorithm, and gets the coordinates of their images. Secondly, it uses the speed prediction of Kalman filter to exclude background feature points and obtains the space constraint condition which is based on the target model feature points. Finally, it combines the derived space constraint condition with the hue constraint condition of traditional Meanshift algorithm to construct new back projection histogram, and uses the new back projection graph as the probability density map of Meanshift for iteration, so as to complete the target tracking. Experimental results demonstrated that under the interference of incessant same hue background area this algorithm could still track targets accurately and constantly.

Meanshift Target tracking Optical flow Kalman filter Same hue area

2015-07-30。國家自然科學基金項目(51475266)；三峽庫區(qū)生態(tài)環(huán)境教育部工程研究中心開放基金項目(KF2015-11)；湖北省三峽大學培優(yōu)基金項目(2015PY022)。陳從平，副教授，主研領域：機器視覺，自動化工程，流體動力學。黃正，碩士。聶葳，碩士。石小濤，副教授。

TP3

A

10.3969/j.issn.1000-386x.2016.11.033