運動目標的自動選取與跟蹤

羅　菁，?！‖?，修春波，魏世安

（天津工業(yè)大學電氣工程與自動化學院，天津　300387）

運動目標的自動選取與跟蹤

羅菁，牛瑩，修春波，魏世安

（天津工業(yè)大學電氣工程與自動化學院，天津300387）

為了提高連續(xù)自適應均值漂移跟蹤方法在復雜背景中的跟蹤性能，提出一種基于顯著性色度特征的運動目標自動選取及跟蹤方法.利用高斯混合模型確定出目標模板，根據(jù)目標模板與其背景區(qū)色度直方圖的對比確定出目標的顯著性色度等級，將目標模板中具有顯著性色度等級的區(qū)域確定為跟蹤目標.根據(jù)跟蹤目標的色度直方圖模型利用反向投影建立跟蹤圖像的概率分布圖，采用自適應均值漂移方法實現(xiàn)目標跟蹤.仿真結(jié)果表明：該方法能夠有效提取目標的顯著性色度等級，從而確定出易于區(qū)分背景的跟蹤目標，可有效抑制背景對目標跟蹤的影響，改善復雜背景情況下目標跟蹤的性能，單幀平均跟蹤時間小于15 ms，滿足跟蹤系統(tǒng)實時性的要求.

運動目標；自動選?。荒繕烁?；顯著性；復雜背景；直方圖

運動目標的檢測與跟蹤是機器視覺研究的重要方向之一，在軍事、工業(yè)、安防等各領域有著廣泛的應用前景［1-3］.現(xiàn)有的目標跟蹤方法大多根據(jù)目標圖像在時間和空間上的位置信息實現(xiàn)目標的定位跟蹤.一般來說，跟蹤系統(tǒng)對跟蹤方法的實時性有著嚴格的要求，也就是要求跟蹤方法同時具有運算速度快和識別準確性高的特點，這對跟蹤算法的設計提出了較高的性能要求［4-6］.MeanShift算法由于具有無需參數(shù)以及模式匹配快速的特性得到了研究者的關注，并獲得了良好的應用效果.但當目標在跟蹤過程中出現(xiàn)明顯的尺寸變化時，該方法容易造成跟蹤失敗［7-8］.而Camshift方法能夠自適應調(diào)整目標尺寸，滿足目標尺寸變化的跟蹤要求［9］.但這2類方法都適用于目標與背景對比明顯的情況.當背景復雜、目標與背景對比度較低時，這2類方法的跟蹤性能很不穩(wěn)定［10-12］.而在實際的目標跟蹤過程中，初始目標的選取一般人為設定，不一定能夠滿足目標與背景對比度的要求［13］.由于目標顏色與背景顏色的可分性直接影響著CamShift方法的跟蹤效果，當搜索窗口中包含背景顏色信息時，傳統(tǒng)方法會將屬于背景的像素誤判為目標像素，從而產(chǎn)生跟蹤誤差，并且隨著誤差的積累，最終導致跟蹤失?。?4-16］.因此，建立易于區(qū)分的目標模型是降低背景干擾，提高目標跟蹤性能的有效手段.

本文提出一種基于顯著性色度特征的目標自動選取跟蹤方法，利用高斯混合模型確定出目標模板，通過目標直方圖與背景直方圖的對比進行目標顯著區(qū)域的自動定位，從而確定出具有顯著性色度特征的跟蹤目標，抑制背景干擾，提高目標跟蹤的可靠性.

1　目標的自動選取與跟蹤

利用高斯混合模型建立場景圖象的背景模型，從而確定出運動目標區(qū)域，即目標模板.高斯混合模型基于背景樣本的統(tǒng)計學特性來確定圖像的背景區(qū)域，實現(xiàn)運動目標區(qū)域的檢測.

對檢測出的目標模板在HSV顏色空間中對H（色度）分量建立直方圖模型.設色度特征等級劃分為m級，目標的各像素位置坐標為｛（xi，yi）｝，i=1，2，…，s.像素（xi，yi）的色度特征值為b（xi，yi），運動目標區(qū)的色度特征直方圖模型q=｛qu｝，u=1，2，…，m：

式中：δ（）為Kronecker函數(shù).以提取出的運動目標區(qū)域為中心，向四周擴展一定的區(qū)域，成為背景對比區(qū).將背景對比區(qū)內(nèi)的像素色度同樣劃分為m個等級，設背景對比區(qū)中像素的坐標位置為｛（xi，yi）｝，i=1，2，…，t.像素（xi，yi）的色度特征值為b′（xi，yi），由此可建立背景對比區(qū)的色度直方圖模型p=｛pu｝，u=1，2，…，m：

對上述2個區(qū)域內(nèi)所建立的色度直方圖的不同色度等級進行對比：

將對比度最大的色度等級確定為顯著性色度等級.即如果iv＞iθ，則色度等級v即為顯著性色度等級，其中iθ為顯著性閾值.

將具有顯著性色度等級的像素構(gòu)成的區(qū)域確定為跟蹤目標，重建跟蹤目標的色度特征直方圖模型h=

式中：k（）為高斯核函數(shù)；Ch為歸一化系數(shù)；σ為核函數(shù)帶寬.

i=1

式（4）采用顯著性像素建立直方圖模型，由于目標的邊緣已發(fā)生遮擋、形變等變化，而中心區(qū)域像素相對穩(wěn)定，核函數(shù)突出了中心區(qū)域像素的作用，可有效提高模型對噪聲的抗干擾能力.根據(jù)重建出的跟蹤目標直方圖模型進行反向投影，實現(xiàn)選定目標的運動跟蹤.

算法具體描述如下：

Step1.利用高斯混合模型實現(xiàn)運動目標區(qū)域的檢測，確定出目標模板.

Step2.利用式（1）建立目標模板的色度直方圖模型.

Step3.將運動目標區(qū)域向四周擴展0.1倍邊長，成為背景對比區(qū)，利用式（2）建立其色度直方圖模型.

Step4.利用式（3）確定顯著性色度等級.

Step5.利用式（4）重建跟蹤目標的色度特征直方圖模型.

Step6.根據(jù)跟蹤目標的色度直方圖模型進行反向投影，建立起跟蹤圖像的反向投影概率分布圖.設點（x，y）為跟蹤圖像中色度特征值為u的像素點位置坐標，該點的反向投影概率分布圖的灰度值p（x，y）為：

Step7.根據(jù)反向投影概率分布圖的灰度值，計算搜索床的質(zhì)心位置，并自適應調(diào)整搜索窗長，將搜索窗的中心移至質(zhì)心位置，重復操作直至完成均值漂移過程.

Step8.根據(jù)搜索窗的二階矩自適應調(diào)整跟蹤目標區(qū)的方向和大小，然后返回Step6對下一幀圖像進行目標定位與跟蹤.

本文在檢測出的運動目標區(qū)中進行目標與背景的色度顯著性對比分析，確定出易于區(qū)分背景的色度等級，并將具有該色度等級的運動目標區(qū)域確定為跟蹤目標，實現(xiàn)了跟蹤目標的自動選取.由于被跟蹤目標色度等級與背景差異較大，可有效抑制背景區(qū)對目標識別與定位的干擾，有利于提高目標跟蹤的穩(wěn)定性.

2　實驗結(jié)果與分析

2.1標準測試視頻目標跟蹤

采用PETS2000標準測試庫中的test.mov視頻中的運動目標進行跟蹤對比實驗，如圖1（a）所示，序列圖像中的2個人都是運動目標，采用高斯混合模型得到的運動目標檢測結(jié)果如圖1（b）所示，2個運動目標都能夠檢測出來.本實驗選擇面積較大的運動目標進行跟蹤，即對右側(cè)的人進行跟蹤，目標模板如圖1（c）所示.

圖1　高斯混合模型實現(xiàn)目標模板檢測Fig.1　Target template detection based on Gaussian mixture mode

分別選用傳統(tǒng)Camshift跟蹤方法、基于多特征融合的Camshift跟蹤方法［17］和本文方法分別進行對比跟蹤實驗.其中，基于多特征融合的Camshift跟蹤方法將顏色、邊緣和紋理等多種特征進行了自適應融合.

2.1.1傳統(tǒng)Camshift跟蹤方法

采用傳統(tǒng)Camshift跟蹤方法所得跟蹤結(jié)果如圖2所示，對應的反向投影概率分布圖如圖3所示.

圖2　傳統(tǒng)CamShift跟蹤效果Fig.2　Tracking results obtained by basic Camshift method

圖3　傳統(tǒng)CamShift跟蹤方法的反向投影概率分布圖Fig.3　Projection images of basic Camshift method

由圖2和圖3跟蹤結(jié)果可見，由于所選擇的目標模板中包含了部分背景信息，且模板中大量像素的色度與背景區(qū)的色度相同，因此在反向投影概率分布圖中，目標完全淹沒在背景中，在跟蹤過程中很快造成目標的丟失.

2.1.2基于多特征融合的Camshift跟蹤方法

采用多特征融合的Camshift跟蹤方法所得跟蹤結(jié)果及對應的反向投影概率分布圖如圖4和圖5所示.

由圖4和圖5可知，跟蹤過程中該方法將顏色、邊緣和紋理等多個特征進行融合，能夠在一定程度上提高模型的精度，有利于改善跟蹤性能，但隨著跟蹤過程的持續(xù)進行，由于背景的復雜性，對目標的識別與定位產(chǎn)生誤差，誤差逐漸累積，最終導致跟蹤的失敗.

圖4　多特征融合CamShift跟蹤效果Fig.4　Tracking results obtained by multi-feature fusion Camshift method

圖5　多特征融合CamShift跟蹤方法的反向投影概率分布圖Fig.5　Projection images of multi-feature fusion Camshift method

2.1.3本文方法

采用本文方法實現(xiàn)跟蹤的結(jié)果圖、反向投影概率分布圖及局部放大圖如圖6、圖7和圖8所示.

圖6　本文跟蹤效果Fig.6　Tracking results obtained by our method

圖7　本文跟蹤方法的反向投影概率分布圖Fig.7　Projection images of our method

圖8　本文跟蹤方法的局部放大圖Fig.8　Partial enlarged images of our method

由圖6—圖8跟蹤結(jié)果可見，盡管采用高斯混合模型將整個人體都確定為運動目標區(qū)，但由于人體下半部與背景的色度相似，因此僅將具有顯著性的上半身作為跟蹤目標，由反向投影概率分布圖可見，跟蹤目標的色度與背景的色度具有顯著差異，大部分背景區(qū)都被有效抑制，即背景區(qū)不會對跟蹤目標產(chǎn)生干擾，整個跟蹤過程都能夠?qū)δ繕藢崿F(xiàn)有效的定位與跟蹤.

2.2實際跟蹤實驗

對實驗室中實際拍攝的視頻圖像進行同樣的對比跟蹤實驗，圖9為采用高斯混合模型檢測出的運動目標區(qū)域及目標模板.

圖9　高斯混合模型實現(xiàn)目標模板檢測Fig.9　Target template detection based on Gaussian mixture mode

圖10—圖15分別為采用傳統(tǒng)CamShift跟蹤方法、多特征融合的CamShift跟蹤方法以及本文方法所獲得的跟蹤結(jié)果及對應的反向投影概率分布圖.

圖10　傳統(tǒng)CamShift跟蹤效果Fig.10　Tracking results obtained by basic Camshift method

圖11　傳統(tǒng)CamShift跟蹤方法的反向投影概率分布圖Fig.11　Projection images of basic Camshift method

圖12　多特征融合CamShift跟蹤效果Fig.12　Tracking results obtained by multi-feature fusion Camshift method

圖13　多特征融合CamShift跟蹤方法的反向投影概率分布圖Fig.13　Projection images of multi-feature fusion Camshift method

圖14　本文跟蹤效果Fig.14　Tracking results obtained by our method

圖15　本文跟蹤方法的反向投影概率分布圖Fig.15　Projection images of our method

由圖10—圖15可見，各種方法所得跟蹤結(jié)果與標準測試視頻中目標跟蹤結(jié)果一致.由于目標模板中存在與背景色度相似的區(qū)域，因此，傳統(tǒng)CamShift跟蹤方法無法抑制背景對目標識別的干擾，在跟蹤初期就造成跟蹤失敗.而多特征融合的CamShift方法利用所融合的多種輔助特征雖然能夠提高目標建模的準確性，但復雜的背景仍然會對目標的定位產(chǎn)生影響，并且定位偏差不斷累積變大，最終導致跟蹤失敗.本文跟蹤方法僅選擇了目標模板中與背景易于區(qū)分的一部分區(qū)域作為跟蹤目標，能夠有效抑制背景對目標定位的干擾，在反向投影概率分布圖中表現(xiàn)為大部分背景區(qū)域為黑色，即灰度值低，高灰度值的白色區(qū)域主要集中在目標區(qū)，因此很容易實現(xiàn)目標的準確定位與跟蹤.

2.3運算時間對比

上述目標跟蹤實驗的運算時間對比如表1所示.

表1　單幀平均跟蹤運算時間Tab.1　Average tracking time of single frame ms

由表1可見，由于多特征融合方法需要處理所融合的輔助特征，因此計算量較大，運算時間較長.而本文方法由于只利用顯著性色度等級進行目標跟蹤，而且跟蹤結(jié)果準確，目標模板尺寸較小，因此針對同樣的運動目標，本文方法具有更快的跟蹤速度，單幀平均跟蹤時間小于15 ms.另外，上述3種方法的單幀平均跟蹤運算時間均小于40 ms，都可以滿足電視跟蹤系統(tǒng)實時性的要求.

3 結(jié)語

本文結(jié)合高斯混合模型實現(xiàn)了一種跟蹤目標的自動選取及跟蹤方法，根據(jù)目標模板的色度直方圖和背景色度直方圖的對比，確定模板圖像的顯著性色度等級，將模板中具有顯著性色度等級的區(qū)域確定為跟蹤目標.利用跟蹤目標的直方圖模型進行反向投影，能夠有效抑制背景信息對目標識別的干擾.仿真實驗結(jié)果表明，該方法能夠有效克服傳統(tǒng)CamShift跟蹤方法在復雜背景中容易受到背景干擾而造成目標丟失的缺點，目標定位的準確性和穩(wěn)定性都能夠得到明顯提升，單幀平均跟蹤時間小于15 ms，滿足跟蹤系統(tǒng)實時性的要求.

［1］黃園剛，桑楠，郝宗波，等.改進CamShift算法的眼動跟蹤方法［J］.計算機應用研究，2014，31（4）：1220-1224. HUANG Y G，SANG N，HAO Z B，et al.Eye tracking method on improved CamShift algorithm［J］.Application Research of Computers，2014，31（4）：1220-1224（in Chinese）.

［2］盧少磊，李強，馬天義，等.多階微分環(huán)形模板匹配跟蹤方法［J］.天津工業(yè)大學學報，2012，31（2）：65-68. LU S L，LI Q，MA T Y，et al.Circle template matching and tracking algorithm based on multi-order differential information［J］.Journal of Tianjin Polytechnic University，2012，31 （2）：65-68（in Chinese）.

［3］譚琦，肖志濤，耿磊，等.基于多特征的前方車輛實時檢測方法［J］.天津工業(yè)大學學報，2013，32（3）：72-77. TAN Q，XIAO Z T，GENG L，et al.Preceding vehicles detecting method based on multiple features［J］.Journal of Tianjin Polytechnic University，2013，32（3）：72-77（in Chinese）.

［4］MALIK M，TARDI T.Gravity optimised particle filter for hand tracking［J］.Pattern Recognition，2014，47（1）：194-207.

［5］ DU C H，ZHU H，LUO L M，et al.Face detection in video based on AdaBoost algorithm and skin model［J］.The Journal of China Universities of Posts and Telecommunications，2013，20（S1）：6-9.

［6］GUANG D U，ZHANG P.Human-manipulator interface using hybrid sensors with Kalman filters and adaptive multi-space transformation［J］.Measurement，2014，55：413-422.

［7］ MAZINAN A H，AMIRLATIFI A.Applying mean shift，motion information and Kalman filtering approaches to object tracking［J］.ISA Transactions，2012，51（3）：485-497.

［8］ WANG F L，YU S Y，YANG J.Robust and efficient fragments-based tracking using mean shift［J］.AEU International JournalofElectronicsandCommunications，2010，64（7）：614-623.

［9］BATTIATO S，F(xiàn)ARINELLA G M，F(xiàn)URNARI A，et al.An integrated system for vehicle tracking and classification［J］.Expert Systems with Applications，2015，42（21）：7263-7275.

［10］李超，劉鐵根，劉宏利，等.基于Haar檢測和改進的Camshift的人臉跟蹤［J］.光電子·激光，2011，22（12）：1852-1856. LI C，LIU T G，LIU H L，et al.Face detecting based on Harr detection and improved Camshift algorithm［J］.Journal of Optoelectronics·Laser，2011，22（12）：1852-1856（in Chinese）.

［11］YIN M H，ZHANG J，SUN H G，et al.Multi-cue-based CamShift guided particle filter tracking［J］.Expert Systems with Applications，2011，38（5）：6313-6318.

［12］WANG Z W，YANG X K，XU Y，et al.CamShift guided particle filter for visual tracking［J］.Pattern Recognition Letters，2009，30（4）：407-413.

［13］BELAROUSSI R，MILGRAM M.A comparative study on face detection and tracking algorithms［J］.Expert Systems with Applications，2012，39（8）：7158-7164.

［14］馬正華，顧蘇杭，戎海龍.基于SIFT特征匹配的CamShift運動目標跟蹤算法［J］.計算機科學，2014，41（6）：291-294. MA Z H，GU S H，RONG H L.CamShift moving object tracking algorithm based on SIFT feature points matching［J］.Computer Science，2014，41（6）：291-294（in Chinese）.

［15］冀治航，陳家新，黎蔚，等.基于空間直方圖的CamShift目標跟蹤算法［J］.微電子學與計算機，2009，26（7）：194-197. JI Z H，CHEN J X，LI W，et al.Object tracking using CamShift algorithm based on spatiogram［J］.Microelectronics& Computer，2009，26（7）：194-197（in Chinese）.

［16］閆鈞華，陳少華，艾淑芳，等.基于Kalman預測器的改進的CAMShift目標跟蹤［J］.中國慣性技術學報，2014，22（4）：536-542. YAN J H，CHEN S H，AI S F，et al.Target tracking with improved CamShift based on Kalman predictor［J］.Journal of Chinese Inertial Technology，2014，22（4）：536-542（in Chinese）.

［17］林建華，劉黨輝，邵顯奎.多特征融合的Camshift算法及其進一步改進［J］.計算機應用，2012，32（10）：2814-2816. LIN J H，LIU D H，SHAO X K.Multi-feature fusion Camshift algorithm and its further improvement［J］.Journal of Computer Applications，2012，32（10）：2814-2816（in Chinese）.

Automatic selection and tracking method of motion target

LUO Jing，NIU Ying，XIU Chun-bo，WEI Shi-an
（School of Electrical Engineering and Automation，Tianjin Polytechnic University，Tianjin 300387，China）

In order to improve the tracking performance of the continuously adaptive Mean Shift tracking algorithm in the complex background，an automatic selection and tracking method of the motion target is proposed based on the saliency hue level.Gaussian mixture model is used to determine the target template，and the saliency hue level can be determined by comparing the hue histograms of the target template and the background.The area composed of pixels with the saliency hue level is selected as the tracking target.The probability distribution image of the tracking image can be got according to the hue histogram of the tracking target by the back projection.The continuously adaptive MeanShift tracking algorithm is used to perform the target tracking. Simulation results show that the method can extract the saliency hue level of target，and it is easy to distinguish the target from the background and restrain the information from the background to disturb the target tracking. Thus，the tracking performance can be improved under the complex background.The average tracking time of single frame is less than 15 ms，so the method can meet the real-time requirement of the tracking system.

motion target；automatic selection；target tracking；saliency；complex background；histogram

TP391.4

A

1671－024X（2016）04－0070－05

10.3969/j.issn.1671-024x.2016.04.012