基于顏色直方圖概率分布的目標(biāo)跟蹤算法研究

李 寧，汪利慶，李 迅

(武漢工程大學(xué) 計算機科學(xué)與工程學(xué)院，湖北 武漢 430205)

基于顏色直方圖概率分布的目標(biāo)跟蹤算法研究

李 寧，汪利慶，李 迅*

(武漢工程大學(xué) 計算機科學(xué)與工程學(xué)院，湖北 武漢 430205)

針對復(fù)雜場景中存在受目標(biāo)相似物干擾造成的跟蹤錯誤問題，改進(jìn)了基于顏色直方圖概率分布的跟蹤算法，首先利用卡爾曼濾波器預(yù)估目標(biāo)狀態(tài)所在區(qū)域，可避免目標(biāo)被遮擋時Cam-shift算法陷入局部最大值，以及目標(biāo)速度過快時導(dǎo)致跟蹤失敗的問題。然后利用馬爾科夫模型加入方向預(yù)測器，在背景干擾下實現(xiàn)顏色特征離散時的目標(biāo)狀態(tài)估計，增強檢測器對相似目標(biāo)的辨識能力。通過對多組場景下的目標(biāo)跟蹤實驗，結(jié)果表明，改進(jìn)后的跟蹤算法提高了跟蹤準(zhǔn)確度和目標(biāo)的檢測速度，并且很大程度上提高了復(fù)雜背景中辨識相似目標(biāo)的準(zhǔn)確度。

目標(biāo)跟蹤；卡爾曼濾波；遮擋；處理速度；目標(biāo)預(yù)估

在跟蹤算法研究過程中，目標(biāo)的不定向運動會產(chǎn)生目標(biāo)遮擋、非剛性目標(biāo)結(jié)構(gòu)等變化，使得跟蹤算法受到各種程度的影響，甚至?xí)霈F(xiàn)目標(biāo)丟失的情況。當(dāng)圖像的特征信息相對穩(wěn)定時，目標(biāo)不發(fā)生形變，不管物體怎么移動或怎樣旋轉(zhuǎn)，其顏色直方圖概率分布相對中心的距離在縮放比例下是確定的。因此，文獻(xiàn)中的方法廣泛利用顏色直方圖和物體特征進(jìn)行目標(biāo)跟蹤。常用的特征匹配算法有SIFT[1]、KLT[2]，等等，將KTL和SIFT特征結(jié)合的匹配算法[3]可提高跟蹤過程中的匹配精度，但無法解決光照和相似特征物體的干擾。利用SIFT特征與Mean-Shift結(jié)合[4]，由SIFT特征點提供的特征位置信息校正Mean-Shift向量，但匹配特征點與相對位置之間的變化對跟蹤結(jié)果的影響較大，而且背景區(qū)域的特征點對跟蹤結(jié)果也會產(chǎn)生干擾。顏色直方圖特征在目標(biāo)顏色特征描述略顯匱乏，缺少空間信息等，導(dǎo)致跟蹤結(jié)果精度降低。改進(jìn)的mean-shift算法[5]是利用目標(biāo)的顏色概率信息達(dá)到連續(xù)跟蹤目標(biāo)的效果，時間復(fù)雜度低，在簡單背景下跟蹤結(jié)果更精準(zhǔn)，能自動調(diào)節(jié)搜索窗口大?。坏艿綑z測器檢測范圍的限制，改進(jìn)的mean-shift算法對移動速度過快的目標(biāo)跟蹤效果較差；并且，由于主要處理顏色直方圖反投影形成的二值圖像，以獲取圖像顏色的概率分布信息，對背景復(fù)雜和紋理特征豐富的目標(biāo)跟蹤效果較差，很容易受背景中與目標(biāo)相似的物體的干擾導(dǎo)致跟蹤失敗。該算法忽略了目標(biāo)的空間分布特征，所以在背景復(fù)雜情況下跟蹤算法中需要對目標(biāo)信息進(jìn)行預(yù)處理。

Cam-shift算法只考慮顏色直方圖概率分布，忽略了目標(biāo)空間特性和背景相似顏色特征的干擾。針對該算法存在的問題，本文在原跟蹤算法的基礎(chǔ)上進(jìn)行改進(jìn)，利用卡爾曼濾波器，建立了目標(biāo)當(dāng)前狀態(tài)的模型，預(yù)估目標(biāo)運動速度，對目標(biāo)中心點所在區(qū)域預(yù)估，縮小檢測器搜索范圍，提高目標(biāo)局部遮擋時的跟蹤精度。針對紋理特征較為豐富的目標(biāo)檢測問題，加入基于馬爾科夫模型的方向預(yù)測器，實現(xiàn)顏色特征離散情況下的狀態(tài)估計，能夠增強檢測器對相似目標(biāo)的辨識能力，解決背景中復(fù)雜的特征相似問題。

1 算法介紹

1.1卡爾曼濾波器

在顏色直方圖概率分布的目標(biāo)跟蹤算法中，加入卡爾曼濾波器[6]，對目標(biāo)狀態(tài)區(qū)域進(jìn)行預(yù)估，預(yù)測目標(biāo)在下幀圖像序列中的位置，再由Cam-shift算法測量反饋，對卡爾曼濾波器預(yù)測以目標(biāo)位置為中心的區(qū)域進(jìn)行搜索目標(biāo)，能有效降低檢測器搜索范圍并提高算法的抗干擾性和準(zhǔn)確性。利用卡爾曼濾波器預(yù)估目標(biāo)下一幀的狀態(tài)是在誤差協(xié)方差最小準(zhǔn)則中的最佳方法，其實時性高，計算量小，利用實際的目標(biāo)運動參數(shù)對目標(biāo)狀態(tài)估計值更新修正。根據(jù)算法的檢測器搜索區(qū)域大小和位置，卡爾曼濾波的狀態(tài)方程為：

Xk=Ak,k-1Xk-1+WK-1

(1)

式中Xk為在離散時刻K的一個不可觀測12×1維狀態(tài)向量，WK-1為k-1時刻的狀態(tài)噪聲干擾，是獨立的零均值高斯白噪聲序列，由運動模型可得到的A(K,K-1)是兩個時刻之間的狀態(tài)轉(zhuǎn)移矩陣。利用卡爾曼濾波器得出狀態(tài)預(yù)測方程。Kalman預(yù)測器狀態(tài)預(yù)測方程為：

X′(k+1│k)=AX′(k│k-1)+AKk[Zk-HkX′(k│k-1)]

(2)

利用卡爾曼濾波器預(yù)測當(dāng)前目標(biāo)狀態(tài)中心位置，以該位置為中心，設(shè)定比上一幀輸出的目標(biāo)邊界框大4倍的矩形區(qū)域，判定該區(qū)域為目標(biāo)出現(xiàn)的區(qū)域，再由檢測器檢測該幀的子窗口中是否有目標(biāo)。由此來增強對目標(biāo)運動速度過快和目標(biāo)被遮擋的跟蹤能力，并提高檢測器的速度。圖1為該過程示意圖，C框是由卡爾曼濾波器預(yù)估并結(jié)合上一幀輸出目標(biāo)邊界框給出的當(dāng)前幀目標(biāo)所在范圍。子窗口A和B與C窗口有重疊，該范圍將被檢測器檢測，子窗口D無重疊范圍，將被忽略不再檢測。

圖1利用卡爾曼濾波器減小檢測范圍示意圖

1.2馬爾科夫模型預(yù)測

利用馬爾科夫模型對目標(biāo)運動方向預(yù)估，有效解決背景中存在兩個或兩個以上與目標(biāo)相似情形時的干擾，增強對目標(biāo)在運動過程中出現(xiàn)遮擋后的辨識能力。馬爾科夫模型預(yù)測[7]具有時域空間一致性，通過計算上一時刻目標(biāo)運動方向，有效預(yù)測下一時刻的目標(biāo)運動狀態(tài)和位置。

在視頻幀數(shù)據(jù)中，目標(biāo)運動可理解為二維空間中的平面運動，簡單劃分為垂直方向和水平方向上的運動。分別設(shè)計馬爾科夫模型預(yù)測兩個方向上的目標(biāo)運動趨勢。在水平維度上，定義空間狀態(tài)為0和1,0代表向左方向，1代表向右方向。設(shè)定馬爾科夫模型當(dāng)前預(yù)測狀態(tài)只和上一時刻狀態(tài)及狀態(tài)轉(zhuǎn)移矩陣相關(guān)。目標(biāo)在t時刻的運動方向狀態(tài)量和轉(zhuǎn)移矩陣，預(yù)測t+1時刻的目標(biāo)方向為：

(4)

式中p(St=1)和p(St=0)表示目標(biāo)在t時刻的向右和向左的概率。p(St+1=1)和p(St+1=0)表示預(yù)測目標(biāo)在下一時刻的運動方向的概率。預(yù)測目標(biāo)在下一時刻的運動方向選擇概率較大的方向。根據(jù)馬爾科夫模型預(yù)測判定跟蹤人體目標(biāo)的運動方向，根據(jù)上一時刻跟蹤目標(biāo)的中心點位置標(biāo)定當(dāng)前幀中的一個區(qū)域，在下一幀中目標(biāo)出現(xiàn)在劃定的區(qū)域內(nèi)，則符合馬爾科夫模型對目標(biāo)方向的預(yù)測。圖2為馬爾科夫模型對跟蹤目標(biāo)運動方向預(yù)測判定，標(biāo)定檢測區(qū)域示意圖，圖2中矩形框表示運動目標(biāo)在上一時刻的位置區(qū)域，在該時刻由馬爾科夫模型預(yù)測得出運動目標(biāo)在水平方向向右的趨勢。因此，在虛線右側(cè)的區(qū)域為檢測器檢測區(qū)域。

圖2目標(biāo)運動方向預(yù)測和檢測區(qū)域示意圖

2 改進(jìn)的CamShift跟蹤算法

Cam-Shift算法是改進(jìn)的mean-shift算法，不斷迭代計算均值漂移矢量，直至收斂到概率密度最大的過程，其計算量較小，是顏色特征的非參數(shù)核密度估計算法，即連續(xù)自適應(yīng)目標(biāo)的跟蹤算法。原算法對目標(biāo)快速移動的跟蹤，會造成目標(biāo)與當(dāng)前搜索區(qū)域窗口無法連接，影響目標(biāo)跟蹤，造成跟蹤錯誤甚至目標(biāo)丟失。本文加入卡爾曼濾波器和卡爾曼模型，對目標(biāo)狀態(tài)區(qū)域的進(jìn)行預(yù)估，能夠使 Cam-Shift算法更容易處理背景復(fù)雜的情況下的跟蹤問題，對每幀圖像序列得到的目標(biāo)區(qū)域位置的預(yù)測和更新修正，能有效縮小檢測器檢測范圍，提高檢測器處理速度，可得到對目標(biāo)快速移動更精準(zhǔn)的跟蹤結(jié)果。

跟蹤目標(biāo)出現(xiàn)大面積的遮擋時，利用卡爾曼濾波器計算目標(biāo)所在區(qū)域的預(yù)估值，得到目標(biāo)位置，直到目標(biāo)不被遮擋。通過Bhattachryya距離d(y)計算不同顏色直方圖之間的相似程度，以判斷跟蹤目標(biāo)目標(biāo)被遮擋的時間和程度，計算出的值越小，表示兩個顏色直方圖越匹配。

利用Bhattachryya距離判斷目標(biāo)是否被遮擋，Bhattacharyya系數(shù)ρ(y):

(5)

式中pu(y)是目標(biāo)模型顏色直方圖，qu是當(dāng)前幀目標(biāo)子圖顏色直方圖。

計算Bhattacharyya距離公式d(y):

(6)

設(shè)定閾值Tb(本文取Tb=0.5)，若d(y)

針對動態(tài)環(huán)境中存在與目標(biāo)相似物體干擾和快速的運動目標(biāo)跟蹤問題，加入卡爾曼濾波器，改進(jìn)了卡爾曼模型對目標(biāo)狀態(tài)區(qū)域的預(yù)估算法，縮小運動目標(biāo)檢測的空間區(qū)域范圍來提高運算處理速度，增強目標(biāo)跟蹤的準(zhǔn)確性和算法魯棒性。

圖3 改進(jìn)的自適應(yīng)跟蹤算法框架圖

3 實驗結(jié)果及分析

本文實驗是基于Visual Tracking Benchmark[8]的數(shù)據(jù)基準(zhǔn)，采用背景影響較大和運動目標(biāo)速度快的多組圖像系列。對各種場景變化干擾和目標(biāo)發(fā)生形變、遮擋的數(shù)據(jù)進(jìn)行實驗測試，列出具有代表性的兩組實驗圖像序列結(jié)果圖對比。在原始的Cam-shift算法基礎(chǔ)上改進(jìn)，利用卡爾曼濾波器對當(dāng)前時刻目標(biāo)位置所在的區(qū)域預(yù)估，再由馬爾科夫模型預(yù)測運動目標(biāo)下一時刻的運動方向。針對檢測器增加的檢測區(qū)域改進(jìn)，排除不符合卡爾曼濾波器和馬爾科夫模型預(yù)測結(jié)果區(qū)域的范圍。實驗對多組場景下的目標(biāo)跟蹤驗證，增強了算法跟蹤結(jié)果準(zhǔn)確性和處理速度，并且提高了對場景中的相似目標(biāo)的辨識能力。

3.1實驗結(jié)果對比

在足球(football)數(shù)據(jù)測試中，復(fù)雜背景中存在多個人物與目標(biāo)相似造成干擾，圖像序列中目標(biāo)快速移動和大尺度的形變造成的影響。原跟蹤算法對目標(biāo)發(fā)生少許形變跟蹤較為準(zhǔn)確，但是目標(biāo)發(fā)生大尺度的形變，造成目標(biāo)跟蹤錯誤(如#186在背景中受相似目標(biāo)干擾造成目標(biāo)跟蹤錯誤)。本文改進(jìn)后的跟蹤算法處理速度較快，對目標(biāo)發(fā)生大尺度形變的跟蹤結(jié)果準(zhǔn)確，利用馬爾科夫模型預(yù)測目標(biāo)運動方向的必要性，減小了背景相似目標(biāo)干擾和運動目標(biāo)較快的影響，跟蹤過程中跟蹤邊界框沒有出現(xiàn)偏離中心點和目標(biāo)丟失等錯誤情況。圖4中#001是圖像序列的初始幀和算法跟蹤結(jié)果圖對比。

在Skating2圖像序列測試中，運動目標(biāo)移動速度快，并且目標(biāo)發(fā)生很大程度的形變，原Cam-shift算法出現(xiàn)跟蹤錯誤和丟幀，其中#329跟蹤結(jié)果遠(yuǎn)離目標(biāo)中心點，本文利用卡爾曼濾波器預(yù)測目標(biāo)位置區(qū)域的改進(jìn)，對目標(biāo)快速移動有很好的跟蹤結(jié)果，并且容易適應(yīng)目標(biāo)形變的跟蹤。在部分圖像序列跟蹤結(jié)果偏離中心點(如#251，#268)，但是在目標(biāo)迅速移動并且被遮擋，發(fā)生形變的復(fù)雜情況下能夠更準(zhǔn)確的完成跟蹤。

3.2算法定量評估

表1 圖像序列測試結(jié)果

4 結(jié)語

Cam-shift跟蹤算法由于計算量較小，得到了廣泛應(yīng)用，但無法在復(fù)雜的場景下跟蹤。本文針對背景顏色和相似目標(biāo)的影響因素較大，以及運動目標(biāo)速度過快導(dǎo)致目標(biāo)無法在搜索范圍內(nèi)檢測的問題，利用卡爾曼濾波和馬爾科夫模型預(yù)測下一時刻目標(biāo)的位置區(qū)域，以該位置為中心的搜索區(qū)域，有效減小檢測器檢測范圍，由卡爾曼濾波器的預(yù)測值作為目標(biāo)當(dāng)前位置，以解決目標(biāo)被大面積嚴(yán)重遮擋問題，提高跟蹤精度和速度。通過多個視頻圖像序列測試，在實驗結(jié)果比較中，本文改進(jìn)的跟蹤算法有效地提高了目標(biāo)檢測的準(zhǔn)確性，由馬爾卡夫模型預(yù)測，增強算法對復(fù)雜場景中相似目標(biāo)的辨識能力，更加準(zhǔn)確的跟蹤目標(biāo)。后續(xù)工作將會在更復(fù)雜的環(huán)境下進(jìn)行實驗，采用數(shù)據(jù)集相結(jié)合訓(xùn)練的方法，更好地實現(xiàn)目標(biāo)物體的跟蹤。

[1] 侯志強, 黃安奇, 余旺盛,等. 利用SIFT特征聯(lián)合匹配的非剛體目標(biāo)跟蹤算法[J]. 系統(tǒng)工程與電子技術(shù), 2015, 37(6):1417-1423.

[2] Qadri M T, Tayyab M. Real time object tracking using FPGA development Kit[J].International Journal of Information Technology & Computer Science, 2014, 6(11):54-58.

[3] Jabar F,Farokhi S,Sheikh U U.Object tracking using SIFT and KLT tracker for UAV-based applications[C]//IEEE International Symposium on Robotics and Intelligent Sensors. IEEE, 2016:65-68.

[4] 王智軍, 王建華. 基于SIFT驗證的Mean Shift跟蹤運動目標(biāo)新算法[J].電光與控制, 2016(11):93-96.

[5] 丁業(yè)兵, 李敬仕, 方國濤,等. 多特征連續(xù)自適應(yīng)均值漂移人臉跟蹤算法[J]. 計算機應(yīng)用, 2014(s2):276-279.

[6] Jia B, Blasch E, Pham K D, et al. Space object tracking and maneuver detection via interacting multiple model cubature Kalman filters[C]//Aerospace Conference. IEEE, 2015:1-8.

[7] Bashir F I, Khokhar A A, Schonfeld D. Object trajectory-based activity classification and recognition using hidden Markov models[J]. IEEE transactions on Image Processing, 2007, 16(7): 1912-1919.

[8] Wu Y, Lim J, Yang M H. Online object tracking: a benchmark[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2013: 2411-2418.

(責(zé)任編輯：熊文濤)

TargetTrackingAlgorithmBasedontheColorHistogramProbabilityDistribution

Li Ning, Wang Liqing, Li Xun*

(SchoolofComputerScienceandEngineering,WuhanInstituteofTechnology,Wuhan,Hubei430205,China)

Aiming at the problem of tracking errors is caused by interference with objects similar to object in complex scenes, the tracking algorithm is improved based on color histogram probability distribution. In the first place, Kalman filter is used to estimate the target state area in order to avoid the problem of Cam-shift algorithm's falling into local maximum when the target is blocked and the problem of target tracking failure when the target moves too quickly. Then the direction predictor based on the Markov model is added to realize the target state estimation under the condition of background color interference and to enhance the ability of the detector to identify similar objects. The experimental results show that the new algorithm can improve the accuracy of target tracking as well as the target testing speed, and the accuracy of identifying similar targets in complex scenes in a great sense.

target tracking； Kalmanfilter； occlusion; processing speed； target estimation

TP391.4

A

2095-4824(2017)06-0102-05

2017-07-16

武漢工程大學(xué)研究生創(chuàng)新基金項目(CX2016071)

李 寧(1992- )，男，河南周口人，武漢工程大學(xué)計算機科學(xué)與工程學(xué)院碩士研究生。

李 迅(1980- )，男，湖北黃石人，武漢工程大學(xué)計算機科學(xué)與工程學(xué)院副教授,博士，本文通信作者。