簡易交互式視頻目標跟蹤技術研究

梁 碩，陳金勇，吳金亮

(1．中國電子科技集團公司 航天信息應用技術重點實驗室，河北 石家莊050081; 2．中國電子科技集團公司第五十四研究所，河北 石家莊050081)

簡易交互式視頻目標跟蹤技術研究

梁 碩1，2，陳金勇1，2，吳金亮2

(1．中國電子科技集團公司 航天信息應用技術重點實驗室，河北 石家莊050081; 2．中國電子科技集團公司第五十四研究所，河北 石家莊050081)

針對視頻目標跟蹤中背景干擾和跟蹤持續(xù)性差的問題，提出了一種簡易交互式視頻目標跟蹤的方法。依據(jù)用戶提供的初始跟蹤窗口，對目標范圍進行自動優(yōu)化，有效地避免了背景信息對跟蹤的干擾。針對跟蹤偏離目標的情況，結(jié)合用戶對目標區(qū)域的粗定位，利用特征匹配方法快速獲取精確的目標位置及范圍。實驗結(jié)果表明，提出的算法有效地剔除了背景信息的干擾，提高了跟蹤的準確性，結(jié)合簡易人工交互信息，實現(xiàn)了跟蹤的連貫性和時效性。

視頻目標跟蹤;簡易交互;目標范圍優(yōu)化;特征匹配

0 引言

視頻目標跟蹤在視頻監(jiān)控、航空偵查等方面有著非常重要的作用，是當前計算機視覺中一個非常具有挑戰(zhàn)性的熱點問題。視頻目標跟蹤問題就是在視頻初始幀中給定目標的位置和范圍之后，對目標進行特征提取，使得跟蹤器能夠在后續(xù)幀中與目標特征進行匹配，找到目標的位置，通過每一幀中成功的跟蹤結(jié)果來更新跟蹤器。

經(jīng)過了幾十年尤其是近10年的發(fā)展，視頻目標跟蹤取得了非常重要的成就。Avidan［1］提出基于支持向量機［2］(SVM)的跟蹤方法，通過求解使得目標與背景具有最大差異的候選目標這一優(yōu)化問題，實現(xiàn)對目標的跟蹤。Dalal等［3］提出了基于HOG特征的行人檢測算法，將圖像的梯度方向直方圖和支持向量機相結(jié)合，在行人檢測方面獲得了良好的效果。Hare等［4］采用基于核函數(shù)［5］的 SVM分類器，實現(xiàn)了精度比較高的跟蹤，但是跟蹤的速度很慢。Zhang等［6］利用壓縮感知［7］的知識，將正負樣本通過尺度變換，對樣本量進行擴充，然后將這個多尺度的樣本空間的樣本通過稀疏矩陣投影到低維空間中，既保證了樣本準確度，又提高了效率。Kalal等［8］提出Tracking Learning Detection(TLD)算法，通過在線結(jié)構約束正負樣本，可以對目標進行長時間的跟蹤。Henriques等［9］在相關濾波器［10］作為跟蹤器的基礎上，加入了快速傅里葉變換，提出了 Kernelized Correlation Filters(KCF)算法，將時域的卷積計算變換到頻域的乘積運算，大大提高了跟蹤的速度。除此之外，基于貝葉斯理論［11］的跟蹤方法和基于均值漂移［12］的跟蹤方法都能在一定程度上對目標進行跟蹤。

當前跟蹤算法在沒有背景信息干擾的情況具有非常良好的跟蹤效果，并且能夠?qū)崿F(xiàn)實時跟蹤。但在背景比較復雜的情況下，因為對目標框選得不夠精確，背景干擾信息的加入極易造成跟蹤的失敗。目前的跟蹤算法對嚴重遮擋的情況，無法進行有效處理，需要用戶重新框選目標，重新進行跟蹤，嚴重影響了跟蹤的連續(xù)性和時效性。本文算法可以有效避免背景信息的干擾，并且在跟蹤偏離目標后，用戶只需要對目標區(qū)域進行簡單點擊，算法會自動匹配目標位置和范圍，繼續(xù)對該目標進行跟蹤，實現(xiàn)跟蹤的持續(xù)性。

1 視頻目標跟蹤框架

視頻目標跟蹤基本框架主要包含表觀特征描述和跟蹤算法2個方面。表觀特征描述主要是通過相應的目標表觀特征描述方法將目標相對穩(wěn)定的統(tǒng)計特性或某些不變特性提取出來。在對目標的表觀特征進行提取之后，選擇合適的跟蹤算法對目標進行跟蹤。

本文在視頻目標跟蹤基本框架基礎上，增加目標范圍優(yōu)化，減少背景信息的干擾;添加智能目標匹配，處理跟蹤失敗情況，如圖1所示。

圖1 本文采取的視頻目標跟蹤流程

2 目標范圍的優(yōu)化計算

在對目標應用跟蹤算法之前，需要人為給定目標的位置和范圍，由于被跟蹤目標的幾何形狀是未知的，因此給定的初始目標區(qū)域中總會包含部分背景信息，如圖2所示。初始幀中的誤差會隨著跟蹤的進程而逐步擴大，影響跟蹤效果。尤其當目標遇到遮擋，跟蹤極易失敗。

圖2 初始幀中人為標記的跟蹤窗口

本文算法在初始幀中對目標范圍做一些優(yōu)化，自動地將目標特征提取的范圍縮小至目標的幾何范圍，不包含任何背景信息，在跟蹤開始階段就消除背景的干擾。

對視頻中目標范圍的優(yōu)化可以看成能量最小化問題，通過能量最小化函數(shù)，實現(xiàn)目標范圍的優(yōu)化。Rother等［13］提出了 grabcut分割算法，能夠?qū)D像進行有效分割。Tang等［14］在 grabcut的基礎上，對算法進行了優(yōu)化，具有更快的速度。本文基于Tang等［14］提出的算法對目標范圍進行優(yōu)化。

初始化目標區(qū)域可以表示為像素點的集合z= {z1，z2，z3…zn}，每一個像素點對應一個標記a= {a1，a2，a3…an}，an∈ { 0 ，1}，其中an值為0表示背景，1表示前景即目標。在初始目標區(qū)域中，背景區(qū)域和前景區(qū)域分別對應一個高斯混合模型(GMM)，每個GMM對應由K個高斯模型混合而成，每個像素有一個kn(kn∈ { 1 ，K })，參數(shù)來自前景還是背景取決于an的值。所選擇的能量函數(shù)為:

E(a，k，θ，z)=U(a，k，θ，z)+V(a，z)，

數(shù)據(jù)項U定義為:

D(an，kn，θ，zn)=－logp(zn|an，kn，θ)－logπ(an，kn)。

式中，p(·)表示高斯概率分布;π(·)表示混合權重系數(shù)。平滑項 V可用 RGB空間的歐幾里德距離求:

式中，C為相鄰像素對。在初始目標區(qū)域中，矩形框之內(nèi)的區(qū)域為未知區(qū)域Tu，矩形框外的區(qū)域為背景區(qū)域Tb，基于此初始化GMM，對Tu進行迭代，求出目標區(qū)域Tf，如圖3所示。

圖3 初始幀中提取特征時只對深色區(qū)域提取特征

3 智能匹配目標

視頻目標跟蹤中，一旦出現(xiàn)目標跟丟的情況，即跟蹤失敗，無法達到長時間跟蹤的效果。本文為了解決無法長時間跟蹤的問題，設計實現(xiàn)簡易交互，通過圖像配準算法，來智能重新捕獲目標進行跟蹤。

在出現(xiàn)目標跟丟的情況，只需用戶在目標區(qū)域內(nèi)點擊一下，通過圖像配準來智能匹配目標。SIFT［15］和SURF［1 6］特征都具有尺度不變性和旋轉(zhuǎn)不變的特點，對光照變化和仿射透視變換具有部分不變性。但SURF特征的速度更快，本文采用該特征來實現(xiàn)圖像配準，具體流程如圖4所示。

圖4 圖像配準流程

SURF使用了近似的Hessian矩陣檢測關鍵點，并使用積分圖像大幅減少了運算。在特定點檢測階段，用不同大小的方框濾波與原始圖像做卷積，形成圖像金字塔，易于并行。特征點的位置確定以后，為保持特征點的旋轉(zhuǎn)不變性，需要給每個特征點確定一個主方向，特征點鄰近圓域內(nèi)，計算 x和y方向上的Haar小波響應極值表示。以特征點為中心，選取一邊垂直于主方向、邊長為 20像素的正方形區(qū)域，劃分成4*4子域，每個子域計算5*5個區(qū)域用相對主方向的水平和垂直的子區(qū)域，每一子區(qū)域用8方向的 Haar小波響應之和∑dx，∑dy，以及響應的絕對值之和∑|dx|，∑|dy|來表示，形成4*4*4=64維描述向量。特征檢測結(jié)果如圖5所示。目標的臉部以及腿部可以檢測到許多特征點，基于此參考圖像圖5(a)和待配準圖像圖 5 (b)可以和目標模板進行配準。

圖5 SURF特征檢測結(jié)果

4 實驗結(jié)果

為了驗證算法的有效性，本文在KCF跟蹤算法中增加了目標范圍優(yōu)化算法與智能匹配目標算法，與KCF算法進行比較。算法運行環(huán)境為 Intel Core i7－3770，CPU 3.40 GHz，RAM3.47 GB的PC機，基于C++和Opencv實現(xiàn)，視頻分辨率為480*640，能夠做到實時處理，圖6展示了算法對比實驗的結(jié)果。

圖6 實驗結(jié)果

圖6(a)為KCF算法(細線條矩形框)與加入優(yōu)化目標范圍之后的算法(粗線條矩形框)，分別為視頻第206、246、254、265幀。圖6(b)為長時間跟蹤之后的KCF算法(細線條矩形框)和加入智能目標匹配之后的算法(粗線條矩形框)，分別為第 878、905、911、915幀。由圖6(a)可以看出，在沒有任何遮擋的情況下，KCF算法和本文算法都能對行人目標進行準確跟蹤(第206幀)。當有物體遮擋目標時，如果不對目標范圍進行優(yōu)化，跟蹤就會發(fā)生偏離，并且無法找回目標重新進行跟蹤(圖6(a)中細線條矩形框)，而采用本文算法對目標范圍進行優(yōu)化之后，在面對遮擋的情況下仍然能夠取得良好的跟蹤效果(圖6 (a)中粗線條矩形框)。當對目標進行長時間的跟蹤之后，由于誤差的累積，KCF算法和本文目標范圍優(yōu)化的算法均會發(fā)生不同程度跟丟目標的現(xiàn)象(圖6 (b)中第878幀和第905幀)。當出現(xiàn)跟丟目標的現(xiàn)象時，通過智能匹配目標的算法，只要用鼠標點擊目標附近區(qū)域，則會自動對目標進行匹配，找回目標繼續(xù)跟蹤(圖6(b)中粗線條矩形框)。

5 結(jié)束語

本文提出了一種簡易交互式視頻目標跟蹤算法，該算法在不需要復雜人機交互的情況下能夠完成對視頻目標的跟蹤。首先，在視頻目標跟蹤的初始階段對目標的范圍進行優(yōu)化，將目標區(qū)域縮小到了僅包含目標的范圍，減少了背景信息的干擾，有效區(qū)分了目標和背景的特性，提高了跟蹤的穩(wěn)定性。然后，在視頻目標跟蹤過程中，當出現(xiàn)丟失目標的現(xiàn)象時，借由對目標的粗定位，智能對目標進行匹配，使得丟失目標之后能夠自動重新獲取目標繼續(xù)跟蹤，提高了跟蹤的連續(xù)性。經(jīng)過實驗驗證，本文提出的算法極大地提高了視頻目標跟蹤的魯棒性，更有利于對目標進行長時間穩(wěn)定地跟蹤。

［1］ AVIDAN S．Support Vector Tracking［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26(8):1 064－1 072．

［2］ RAMANAN D，MCALLESTER D，F(xiàn)ELZENSZWALB P，et al．A Discriminatively Trained，Multiscale，Deformable Part Model［C］∥ IEEE Conference on Computer Vision and Pattern Recognition，2008:1－8．

［3］ DALAL N，TRIGGS B．Histograms of Oriented Gradients for Human Detection［C］∥IEEE Conference on Computer Vision and Pattern Recognition，2005:886－893．

［4］ HARE S，SAFFARI A，TORR P．Struck:Structured Output Tracking with Kernels［C］∥IEEE International Conference on Computer Vision，2011:263－270．

［5］ 尹傳環(huán)．結(jié)構化數(shù)據(jù)核函數(shù)的研究［D］．北京:北京交通大學，2008．

［6］ ZHANG K，ZHANG L，YANG M H．Real-time Compressive Tracking［C］∥European Conference on ComputerVision，2012:866－879．

［7］ 侯 猛，李 斌，孫學斌，等．基于簇的塊稀疏壓縮感知的60 GHz信道估計［J］．無線電通信技術，2012，38(6):32－34．

［8］ KALAL Z， MIKOLAJCZYK K， MATAS J． Tracking Learning Detection［J］．IEEE Transactiongs on Pattern Analysis And Machine Intelligence，2012，34(7):1 409－1 422．

［9］ HENRIQUES J F，CASEIRO R，MARTINS P，et al．High-Speed Tracking with Kernelized Correlation Filters［J］．IEEE Transactiongs on Pattern Analysis and Machine Intelligence，2015，37(3):583－596．

［10］DAVID S，BOLME J，BRUCE A，et al．Visual Object Tracking Using Adaptive Correlation Filters［C］∥ IEEE Conference on Computer Vision and Pattern Recognition，2010:2 544－2 550．

［11］宋驪平．被動多傳感器目標跟蹤方法研究［D］．西安:西安電子科技大學，2008．

［12］張 瑞．粒子濾波和均值漂移相結(jié)合目標跟蹤算法［J］．無線電通信技術，2011，37(2):29－31．

［13］ROTHER C，KOLMOGOROVV，BLAKEA．GrabCut Interactive Foreground Extraction Using Iterated Graph cut［J］．Proceedings of ACM SIGGRAPH，2004，23(3): 309－314．

［14］TANG M，GORELICK L，VEKSLER O，et al．GrabCut in One Cut［C］∥ IEEE InternationalConference on Computer Vision，2013:1 769－1 776．

［15］LOWE D G．Distinctive Image Features from Scaleinvariant Keypoints［J］．International Journal of Computer Vision，2004，60(2):91－110．

［16］BAY H，ESS A，TUYTELAARS T，et al．Surf:Speeded up Robust Features［J］．Computer Vision and Image Understanding，110(3):346－359．

An Easy Interactive Video Object Tracking Method

LIANG Shuo1，2，CHEN Jin-yong1，2，WU Jin-liang2

(1．Key Laboratory of Aerospace Information Applications of CETC，Shijiazhuang Hebei 050081，China; 2．The 54th Research Institute of CETC，Shijiazhuang Hebei 050081，China)

To overcome the problem of background interference and poorly persistent tracking in video object tracking，an easy interactive method is proposed．Using the initialized bounding box of the object given by the user，the extent of the bounding box is automatically optimized to avoid the interference of background information．For the drifting problem，the proposed method makes use of the coarse location given by the user and feature matching to regain the location and extent of the object．The experiment results show that the proposed method eliminates the interference of background information and improves the accuracy of tracking．With the easy interactive information，the proposed method realizes coherence and timeliness of tracking．

video object tracking;easy interaction;object extent optimization;feature matching

TP391.4

A

1003－3106(2017)02－0048－04

10．3969/j．issn．1003－3106．2017．02．12

梁 碩，陳金勇，吳金亮．簡易交互式視頻目標跟蹤技術研究［J］．無線電工程，2017，47(2):48－51．

2016-11-18

海洋公益性科研專項基金資助項目(201505002)。

梁 碩男，(1991—)，碩士研究生。主要研究方向:視頻圖像處理。

陳金勇男，(1970—)，研究員，博士生導師。主要研究方向:航天地面應用、電子信息系統(tǒng)。