基于改進TLD的自動目標(biāo)跟蹤方法

易 詩，林凡強，周姝穎

(成都理工大學(xué) 信息科學(xué)與技術(shù)學(xué)院，四川 成都 610059)

基于改進TLD的自動目標(biāo)跟蹤方法

易 詩，林凡強，周姝穎

(成都理工大學(xué) 信息科學(xué)與技術(shù)學(xué)院，四川 成都 610059)

視覺跟蹤一直是機器視覺研究熱點，TLD(tracking-learning-detection)算法是近年來出現(xiàn)的一種高效的視覺跟蹤算法，針對TLD算法中Lucas-Kanade(LK)光流法無法有效跟蹤物體快速移動和尺度變化的問題，采用金字塔光流法對TLD算法進行改進。并將所跟蹤物體形心作為圖像定位參考點，提取物體定位信息，通過定位信息運用比例-積分-微分(proportion-integral-derivative，PID)控制算法控制攝像頭舵機云臺轉(zhuǎn)向，使攝像頭快速、靈活、精確地自動跟蹤指定物體。通過系統(tǒng)測試，與傳統(tǒng)TLD算法對比，采用金字塔光流法改進的TLD目標(biāo)跟蹤算法在跟蹤目標(biāo)發(fā)生光照變化、尺度變化等情況時，具有更加優(yōu)良的跟蹤性能，準(zhǔn)確將跟蹤目標(biāo)形心位置提供給控制部分，控制算法高效靈活，在獲取信息后精確、快速地控制攝像頭方位，使其正對跟蹤目標(biāo)。該系統(tǒng)對目標(biāo)跟蹤技術(shù)、安防技術(shù)、自動瞄準(zhǔn)系統(tǒng)具有重大意義。

TLD算法；金字塔光流法；圖像定位；比例-積分-微分(PID)控制算法

0 引 言

目標(biāo)跟蹤是機器視覺的研究熱點，在機器視覺研究領(lǐng)域，對任意目標(biāo)的鎖定和跟蹤具有很大的研究意義。目標(biāo)跟蹤要求設(shè)備根據(jù)輸入視頻流檢測發(fā)現(xiàn)目標(biāo)、鎖定目標(biāo)、跟蹤目標(biāo)[1]。

近年來出現(xiàn)眾多目標(biāo)跟蹤算法，如連續(xù)自適應(yīng)均值漂移(continuously adaptive mean-shift，cam shift)算法、快速壓縮跟蹤算法、核相關(guān)濾波器(kernelized correlation filters,KCF)算法、(tracking-learning-detection，TLD)算法等。其中，TLD算法以其需要先驗信息較少、具備在線學(xué)習(xí)能力、長期對目標(biāo)跟蹤的魯棒性優(yōu)良，適應(yīng)于視頻采集系統(tǒng)與目標(biāo)均為動態(tài)的場合。TLD算法實時、高效、跟蹤穩(wěn)定，但也存在無法有效跟蹤光線變化和尺度變化的目標(biāo)，本文對TLD算法中跟蹤器采用的LK光流法進行改進，采用金字塔光流法，改進后的TLD算法對光線和尺度變化的目標(biāo)的跟蹤性能提升顯著[2]。

本文同時設(shè)計了根據(jù)所跟蹤物體形心作為圖像定位參數(shù)的自動跟蹤攝像頭，根據(jù)被跟蹤物體的在視頻中的位置信息，采用比例-積分-微分(proportion-integral-derivative，PID)控制算法控制攝像頭舵機云臺，使攝像頭跟隨鎖定物體各個方向轉(zhuǎn)動，達(dá)到自動跟蹤的目的，這種改進的TLD目標(biāo)跟蹤方法對于智能機器人技術(shù)有非常重大意義[3]。

1 目標(biāo)跟蹤算法

1.1 TLD目標(biāo)跟蹤算法

TLD算法是一種目前相當(dāng)高效、運用廣泛的目標(biāo)檢測跟蹤算法，算法主體為3部分：跟蹤模塊、在線學(xué)習(xí)模塊和檢測模塊[4]。算法首先指定跟蹤目標(biāo)，通過目標(biāo)檢測模塊捕捉目標(biāo)運動特性，將檢測模塊初始化、跟蹤模塊與檢測模塊協(xié)同工作，對跟蹤目標(biāo)位置進行鎖定；在線學(xué)習(xí)模塊通過鎖定與預(yù)測數(shù)據(jù)不斷對跟蹤模塊與檢測模塊的參數(shù)進行更新；同時，跟蹤模塊與檢測模塊對在線學(xué)習(xí)模塊進行數(shù)據(jù)反饋，更新在線學(xué)習(xí)模塊參數(shù)。3個模塊工作于閉環(huán)狀態(tài)，形成一個在線學(xué)習(xí)系統(tǒng)，高效準(zhǔn)確地確定運動目標(biāo)所處位置[5]。算法流程如圖1所示。

現(xiàn)行TLD算法的核心跟蹤部分位于跟蹤模塊中，跟蹤模塊使用Lucas-Kanade(LK)光流法。LK算法基本原理在于捕捉運動物體特征點，利用視頻每幀間目標(biāo)特征點所產(chǎn)生的矢量光流場進行跟蹤，用均值的方法對下一幀跟蹤目標(biāo)位移方向進行預(yù)測。根據(jù)該原理，視頻幀產(chǎn)生的新特征點均被捕捉跟蹤，目標(biāo)跟蹤具有很強魯棒性，然而，LK光流法對目標(biāo)跟蹤具備如下3個假設(shè)。

圖1 TLD算法流程圖Fig.1 TLD algorithm flow chart

1)跟蹤目標(biāo)光照和亮度恒定，目標(biāo)像素與外觀在相鄰幀間基本保持不變；

2)跟蹤目標(biāo)運動幅度不大，在連續(xù)時間點上為小運動；

3)相同背景空間上，跟蹤目標(biāo)鄰近點運動相似，在圖像上鄰近區(qū)域投影相同。

而對于自動視覺跟蹤系統(tǒng)，目標(biāo)和識別設(shè)備都處于動態(tài)環(huán)境中，跟蹤物體的亮度、運動中的尺度變化、物體所處空間環(huán)境變化均存在，因此，需要對經(jīng)典TLD算法做出一定改進[6]。

1.2 改進的目標(biāo)跟蹤器

在動態(tài)環(huán)境中，為更好使用TLD算法對物體進行跟蹤，需要對跟蹤器中的LK光流算法做出一定改進。

在動態(tài)應(yīng)用的跟蹤環(huán)境下，目標(biāo)運動速度較快，難以滿足光流估計方法的約束條件，為了解決這個問題，引入金字塔光流法。金字塔光流法的特點在于其采用多分辨率的表現(xiàn)方法，不同分辨率層可以表示不同尺度目標(biāo)。首先，在金字塔頂層計算光流，得到的運動估計特征作為下一層的初始點；然后，重復(fù)該過程直至底層，從而實現(xiàn)目標(biāo)快速跟蹤[7]。其原理如圖2所示。

圖2 金字塔光流法原理圖Fig.2 Schematic diagram pyramid optical flow method

金字塔光流法將原圖像作為金字塔最頂層輸入，將圖像減采樣至原來尺寸的1/2N(N=1)，運行一次LK算法后獲得下一層圖像輸入，該層相鄰幀間像素移動距離為D/2N，D為幀間目標(biāo)像素運動距離，當(dāng)層數(shù)達(dá)到一定值時(通常3～5層),可滿足光流法約束條件，其算法流程如圖3所示。

圖3 金字塔光流法流程圖Fig.3 Pyramid optical flow method flow chart

Vf為初始目標(biāo)運動速度，在金字塔頂層Vf=0，細(xì)節(jié)最少，ΔVf為f層的光流計算結(jié)果，作為下層圖像運動估計，并根據(jù)這一規(guī)則計算該幀光流，直至金字塔底層。

采用金字塔光流法使目標(biāo)跟蹤算法對物體光線變化、運動、尺度變化的跟蹤有了明顯改善。

2 自動跟蹤控制算法

2.1 圖像定位算法

系統(tǒng)采用改進的TLD算法對目標(biāo)進行跟蹤，對跟蹤鎖定的目標(biāo)物體提取其形心，以確定當(dāng)前物體位于圖像中的精確位置信息[8]。

物體形心的計算需先將圖像轉(zhuǎn)化為二值圖像，根據(jù)形心計算公式

(1)

(1)式中：x0，y0為形心坐標(biāo)；f(x,y)為二值圖像在(x,y)處坐標(biāo)值。根據(jù)(1)式計算出跟蹤物體的形心，通過形心計算，可以確定跟蹤物體中心在圖像中具體坐標(biāo)，提供該物體的定位信息。

2.2 攝像頭自動跟蹤控制算法

系統(tǒng)采用舵機控制板連接二自由度舵機云臺架設(shè)攝像頭，目標(biāo)跟蹤算法將舵機轉(zhuǎn)向數(shù)據(jù)與命令通過串口發(fā)送給舵機控制板，控制舵機云臺轉(zhuǎn)向，使攝像頭具備在二維平面自由旋轉(zhuǎn)跟蹤的功能，跟蹤系統(tǒng)框架如圖4所示。

圖4 跟蹤系統(tǒng)框架圖Fig.4 Tracking system frame diagram

為控制舵機云臺架設(shè)的攝像頭能精確、快速跟蹤物體，采用PID算法控制舵機進行轉(zhuǎn)向跟蹤[9]。舵機控制PID算法公式為

(2)

(2)式中：u(t)為輸出函數(shù)；KP為比例系數(shù)[10]；KI為積分系數(shù)；KD為微分系數(shù)；e(t)為時域控制函數(shù)。PID算法中，通過比例部分P進行舵機角度粗調(diào)整，通過積分部分I對轉(zhuǎn)向累積誤差進行調(diào)整，通過微分部分D對轉(zhuǎn)向誤差做出預(yù)期調(diào)整。根據(jù)目標(biāo)運動速度和舵機轉(zhuǎn)向速度，通過調(diào)試。取比例系數(shù)KP=0.000 5，積分系數(shù)KI=0.18，微分系數(shù)KD=0.08[11]。

3 系統(tǒng)測試

系統(tǒng)算法在Visual2012+opencv2.49環(huán)境下實現(xiàn)，通過串口連接舵機控制板，控制2自由度舵機云臺，掛載640像素×480像素高清網(wǎng)絡(luò)攝像頭對系統(tǒng)的目標(biāo)進行跟蹤[12]，做出了完整的測試。

為對比系統(tǒng)算法改進效果，首先采用傳統(tǒng)TLD跟蹤算法[5]對目標(biāo)在光線強度變化下的跟蹤效果進行測試，測試中將茶杯正面翻蓋處作為跟蹤目標(biāo)[13]，系統(tǒng)在第3幀時鎖定該目標(biāo)進行跟蹤，如圖5所示。

由測試可以看出，采用傳統(tǒng)TLD跟蹤算法在光照強度變化時，跟蹤形心偏離了目標(biāo)中心點[14]。

再次測試傳統(tǒng)TLD算法對跟蹤目標(biāo)尺度變化跟蹤效果，如圖6所示。

由測試可以看出，采用傳統(tǒng)TLD跟蹤算法在目標(biāo)尺度發(fā)生變化時，跟蹤形心嚴(yán)重偏離了目標(biāo)中心點，基本失去跟蹤特性[15]。

圖5 目標(biāo)光照強度變化跟蹤測試Fig.5 Target light intensity change tracking test

圖6 目標(biāo)尺度變化跟蹤測試Fig.6 Target scale change tracking test

下面使用金字塔光流法改進的TLD算法進行目標(biāo)跟蹤測試。

首先，對目標(biāo)檢測和跟蹤做出測試，如圖7所示。

圖7 目標(biāo)檢測跟蹤測試Fig.7 Target detection and tracking test

由測試可以看出，改進的TLD算法可以有效鎖定目標(biāo)[16]，同時攝像頭轉(zhuǎn)向，將目標(biāo)原來形心(450，280)調(diào)整至(330，250)。

對目標(biāo)旋轉(zhuǎn)與光照變化的跟蹤測試如圖8所示。

圖8中，將茶杯翻蓋左旋45°，目標(biāo)光照隨即發(fā)生變化，系統(tǒng)仍然能有效跟蹤目標(biāo)，攝像頭微轉(zhuǎn)向，保持物體形心位于圖像中央部分。

圖8 目標(biāo)旋轉(zhuǎn)和光照變化跟蹤測試Fig.8 Target rotation and illumination change tracking test

對目標(biāo)尺度變化的跟蹤測試如圖9所示。

圖9 目標(biāo)尺度變化跟蹤測試Fig.9 Target scale change tracking test

圖9中，將茶杯移至離原位置50 cm外，跟蹤目標(biāo)尺度發(fā)生很大變化，同時一定程度右旋，系統(tǒng)仍然快速鎖定跟蹤目標(biāo)，并微調(diào)攝像頭使目標(biāo)形心處于(300～340，220～260)中。

通過以上測試，對比傳統(tǒng)TLD跟蹤算法，無論目標(biāo)旋轉(zhuǎn)、位移或光照變化，改進的TLD目標(biāo)跟蹤算法具有更高的魯棒性[17]，能夠更準(zhǔn)確地跟蹤指定目標(biāo)。自動跟蹤控制算法靈活高效地控制攝像頭轉(zhuǎn)向，隨時對準(zhǔn)跟蹤目標(biāo)中心位置。

4 結(jié) 論

采用改進TLD算法的自動跟蹤攝像頭系統(tǒng)，可以對任意目標(biāo)進行跟蹤，鎖定時間為3～5幀視頻，目標(biāo)鎖定后，將目標(biāo)旋轉(zhuǎn)10o～90o均可有效鎖定跟蹤。光照發(fā)生一定變化時，目標(biāo)仍能鎖定。目標(biāo)在0.1～3 m存在移動尺度變化的情況下，跟蹤效果良好。攝像頭由舵機驅(qū)動轉(zhuǎn)向，在二維平面內(nèi)自動對準(zhǔn)跟蹤目標(biāo)，調(diào)整時間為1～3 s，快速靈活，使跟蹤目標(biāo)形心時刻保持在圖像(300～340，220～260)內(nèi)，處于圖像中心位置。該系統(tǒng)運用于安放監(jiān)控、智能機器人視覺、無人機目標(biāo)跟蹤等領(lǐng)域具有較大意義與潛力。

[1] 王瀛，郭雷，梁楠，等.基于線性變換的高光譜圖像端元提取算法[J].計算機仿真，2014，29(12)：329-333. WANG Ying , GUO Lei,LIANG Nan, et al. Based on the linear transformation of the hyperspectral image endmember extraction algorithm [J]. Computer simulation，2014, 29 (12): 329-333

[2] 姜傳賢，楊鐵軍，董明剛，等.基于線性空間隱藏模型的可逆圖像水印算法[J].自動化學(xué)報，2014，12(10)：2324-2333. CHUAN Xianjiang, YANG Tiejun, DONG Minggang,et al.The model of reversible image watermarking algorithm [J]. Automation of hiding based on linear space, 2014, 12 (10): 2324-2333.

[3] 劉祺,王銀玲,吳林恒.基于STM32的圖像采集與顯示系統(tǒng)的研究與設(shè)計[J].數(shù)字技術(shù)與應(yīng)用,2012(2):94. LIU Qi,WANG Yinling,WU Linheng.Research and design of image acquisition and display system based on[J].STM32 digital technology and application,2012(2):94.

[4] 楊耿.運動目標(biāo)的圖像識別與跟蹤研究[D].江蘇:江蘇大學(xué),2005. YANG Geng. Research on image recognition and tracking of moving objects[D]. Jiangsu: Jiangsu University, 2005.

[5] 陳明潔.智能視頻監(jiān)控系統(tǒng)目標(biāo)檢測和跟蹤技術(shù)分析[J].電視技術(shù)，2008，32(10)：85-91. CHEN Mingjie. Target detection and tracking technology of intelligent video surveillance system [J]. TV technology, 2008, 32 (10): 85-91.

[6] 詹曙，李敏，徐甲甲，等．局域化互信息度量的ACM 下醫(yī)學(xué)圖像的分割[J].電子測量與儀器學(xué)報，2013，27(4) : 340-346． ZHAN Shu, LI Min, XU Jiajia,et al. Localization of the mutual information metric ACM medical image segmentation [J]. Journal of electronic measurement and instrument, 2013, 27 (4): 340-346.

[7] 魏星．基于SVM 的山體滑坡災(zāi)害圖像識別方法[J].電子測量技術(shù)，2013，36( 8)：65-70． WEI Xing. Image recognition method of landslide disaster based on SVM [J]. Electronic measurement technology, 2013, 36 (8): 65-70.

[8] BABENKO B，YANG M H，BELONGIE S.Visual tracking with online multiple instance learning[C]//Proc. CVPR 2009.New York：IEEE Press，2009：983-990.

[9] VIOLA P A，PLATT J C，ZHANG C. Multiple instance Boosting for object detection[J].Advances in Neural Information Processing Systems，2006(18)：1417-1424.

[10] LIM T Y，RATNAM M M，KHALID M A．Automatic classification of weld defects using simulated data and an MLP neural network[J].Insight,2007,49(3):154-159.

[11] VILAR R，ZAPATA J，RUIZ R．An automatic system of classification of weld defects in radiographic images[J]．NDT and E International， 2009，42(5): 467-476．

[12] ZAPATA J,VILAR R,RUIZ R.An adaptive-network based fuzzy inference system for classification of welding defects[J].NDT & E International,2010,43(3):191-199．

[13] MIRAPEIX J，GARCIA-ALLENDE P B，COBO A，et a1．Real-time arc-welding defect detection and classification with principal component analysis and artificial neural networks[J]．NDT & E International,2007,40(4):315-323．

[14] VINCENT P，LAROCHELLE H，LAJOIE I， et al．Stacked de noising auto encoders: learning useful representations in a deep network with a local de noising criterion[J]．Journal of Machine Learning Research，2010，11(12):3371-3408．

[15] BENGIO Y．Learning deep architectures for AI[J]．Foundations and Trends in Machine Learning，2009，2(1):1-127．

[16] YANG L W，ZENG CH Y，ZHANG Y J．Method for the edge detection of gray-scale image based on the mathematical morphology[J]． Foreign Electronic Measurement Technology，2012，31(2):27-30．

[17] 陳佳，朱長仁，羅賓．一種 camshift 算法與 brisk 特征點相結(jié)合的運動目標(biāo)跟蹤方法[J]．重慶理工大學(xué)學(xué)報：自然科學(xué)版，2015，29(12):112-119． CHEN Jia，ZHU Changren，LUO Bin.A Combination of Camshift Algorithm and Brisk Feature Point for Real Time Moving Target Tracking [J]．Journal of Chongqing University of Technology：Natural Science，2015，29(12):112-119．

易 詩(1983-)，男，四川成都人，碩士研究生，主要從事機器視覺研究，深度學(xué)習(xí)算法研究，信號與信息處理，嵌入式技術(shù)研究。E-mail:549745481@qq.com。

(編輯：王敏琦)

Automatic tracking method based on improved TLD

YI Shi, LIN Fanqiang, ZHOU Shuying

(College of Information Science and Technology,Chengdu University of Technology, Chengdu 610059,P.R.China)

Visual tracking has been a hot research topic in machine vision, and tracking-learning-detection(TLD) algorithm is a kind of efficient visual tracking algorithm emerging in recent years. Aimed at solving the problem that the Lucas Kanade(LK)optical flow method can not effectively track the object’s rapid moves and scale changes, this paper uses the pyramid optical flow method to improve the TLD algorithm. Tracking the center of the object as the reference point for the image positioning to extract the object location information, using the positioning information and the algorithm PID control algorithm to control the camera gear steering, this way camera can rapidly, flexibly, precisely and automatically track the specified object. By testing the system, improved TLD target tracking algorithm using pyramid optical flow method under illumination and changes has more excellent tracking performance, compared with the traditional TLD algorithm for target tracking. The flexible algorithm can provide accurate target center position for the controlled part, it can steer camera accurately and fast to face the target directly after accessing the information. The system is of great significance to the target tracking technology, security technology, and automatic targeting system.

tracking-learning-detection(TLD) algorithm; pyramid optical flow method; image positioning;proportion-integral-derivative(PID) control algorithm

10.3979/j.issn.1673-825X.2016.06.023

2016-03-22

2016-10-09

易 詩 549745481@qq.com

TN919.5

A

1673-825X(2016)06-0892-05