TLD目標(biāo)跟蹤算法綜述

楊豐瑞，杜　奎，莊　園

(1．重慶重郵信科集團(tuán)股份有限公司，重慶400065；2.重慶郵電大學(xué) 通信新技術(shù)應(yīng)用研究中心，重慶 400065)

?

TLD目標(biāo)跟蹤算法綜述

楊豐瑞1，杜奎2，莊園2

(1．重慶重郵信科集團(tuán)股份有限公司，重慶400065；2.重慶郵電大學(xué) 通信新技術(shù)應(yīng)用研究中心，重慶 400065)

TLD目標(biāo)跟蹤算法將檢測和跟蹤同時加入跟蹤框架，并引入半監(jiān)督機(jī)器學(xué)習(xí)算法對鎖定目標(biāo)不斷學(xué)習(xí)以捕獲其最新外觀，使目標(biāo)無處可逃，從而實(shí)現(xiàn)對未知目標(biāo)的長時跟蹤。簡要介紹了TLD算法的理論背景和系統(tǒng)框架，并指出其存在的主要缺陷。然后對各個缺陷所提出的改進(jìn)方法進(jìn)行詳細(xì)地綜述，并給出自己的評述。最后總結(jié)全文并展望TLD目標(biāo)跟蹤算法在未來幾年的發(fā)展趨勢。

長時目標(biāo)跟蹤；半監(jiān)督機(jī)器學(xué)習(xí)；中直流跟蹤器；隨機(jī)森林分類器

目前，基于檢測和半監(jiān)督學(xué)習(xí)的目標(biāo)跟蹤算法已經(jīng)成為研究的主流[1]。TLD作為一種基于檢測和半監(jiān)督學(xué)習(xí)的目標(biāo)跟蹤算法，因其具有良好的適應(yīng)性和魯棒性，自問世以來就引起了國內(nèi)外學(xué)者的廣泛關(guān)注。

自從Zdenek Kalal提出TLD目標(biāo)跟蹤算法以來，國內(nèi)外學(xué)者對此提出了很多改進(jìn)算法，但至今國內(nèi)外還沒有一篇綜述對此進(jìn)行詳盡的闡述。本文從TLD目標(biāo)跟蹤算法所存在的缺陷出發(fā)對其進(jìn)行全面的綜述和分析。

1　TLD框架結(jié)構(gòu)及原理

2009年，Zdenek Kalal先后提出了一種基于學(xué)習(xí)和分類的新型檢測器[1]、PN學(xué)習(xí)器[2]和Median-Flow跟蹤器[3]。2010年，在此基礎(chǔ)上他正式提出了一種對未知目標(biāo)具有長期跟蹤能力的目標(biāo)跟蹤算法：Tracking-Learning-Detection，即TLD[4]。

1.1TLD提出的背景

傳統(tǒng)跟蹤算法對運(yùn)動目標(biāo)初始化后就可以快速地生成目標(biāo)的運(yùn)動軌跡，但傳統(tǒng)跟蹤算法由于僅僅依靠先驗(yàn)信息，所以其在運(yùn)行時會不斷累積誤差，而且當(dāng)目標(biāo)在視野中消失后再次進(jìn)入視野內(nèi)，此時將直接導(dǎo)致跟蹤失??；傳統(tǒng)檢測算法獨(dú)立評估每一幀視頻序列，判斷每一幀中是否含有目標(biāo)，如果有目標(biāo)就給出目標(biāo)狀態(tài)信息，檢測器不會因目標(biāo)消失而導(dǎo)致檢測失敗，但是他們需要進(jìn)行離線訓(xùn)練，所以無法對未知目標(biāo)進(jìn)行檢測。

Zdenek Kalal認(rèn)為傳統(tǒng)跟蹤算法或者檢測算法不具備獨(dú)立應(yīng)對長時目標(biāo)跟蹤的條件，因?yàn)樗鼈兌疾恢苯由婕案櫩蚱坪蟮脑诰€處理，誤差積累勢必會越來越嚴(yán)重。Zdenek Kalal認(rèn)為實(shí)現(xiàn)長期跟蹤必須滿足以下3點(diǎn)：

1)跟蹤器具備一定的自檢測能力。

2)加入半監(jiān)督機(jī)器學(xué)習(xí)以實(shí)時更新目標(biāo)模型。

3)檢測模塊與跟蹤模塊搭配。

1.2TLD目標(biāo)跟蹤系統(tǒng)框架

TLD算法由4個模塊構(gòu)成：跟蹤模塊、學(xué)習(xí)模塊、檢測模塊和整合模塊[4]。在TLD算法中，跟蹤模塊和檢測模塊并列運(yùn)行，二者相互影響，檢測模塊可以重置跟蹤模塊，同時跟蹤模塊又可以通過學(xué)習(xí)模塊為檢測模塊提供訓(xùn)練數(shù)據(jù)，緊接著將它們所生成的正負(fù)樣本傳入整合模塊，整合模塊生成正負(fù)樣本參與半監(jiān)督學(xué)習(xí)，此時負(fù)責(zé)存儲具備表征當(dāng)前目標(biāo)外觀的正負(fù)樣本的目標(biāo)模型得到更新，更新后的目標(biāo)模型又反作用于跟蹤模塊和檢測模塊。TLD系統(tǒng)框架如圖1所示。

圖1　TLD系統(tǒng)框架圖

2　TLD目標(biāo)跟蹤算法缺陷

近年來針對TLD算法存在的缺陷涌現(xiàn)出了相當(dāng)多的改進(jìn)方案。表1對TLD算法的缺陷、改進(jìn)模塊和對應(yīng)的改進(jìn)算法進(jìn)行了分類歸納[6-32]。下面3個章節(jié)將從表1列出的缺陷出發(fā)，以缺陷為單位，對這些改進(jìn)算法進(jìn)行全面綜述，并給出相應(yīng)的評述。

表1TLD算法缺陷歸納

主要問題具體改進(jìn)模塊相關(guān)文獻(xiàn)手動初始化檢測模塊[6]貪婪搜索檢測模塊[5,12,14,15,16,17,18,19,28]圖像元方差分類器泛化能力相對較弱檢測模塊[12,22]目標(biāo)模型樣本膨脹學(xué)習(xí)模塊[7,11,13,20]對相似目標(biāo)辨識能力相對較弱檢測模塊、整合模塊[13,14,15]發(fā)生嚴(yán)重遮擋時,目標(biāo)框易漂移檢測模塊、整合模塊[8,9,10,11,12,13,27,28,32,26]最近鄰分類器耗時巨大檢測模塊[24,30]復(fù)雜背景下,目標(biāo)框易漂移檢測模塊、整合模塊[16,21,29,32]Median-Flow跟蹤器穩(wěn)定性相對較弱跟蹤模塊[14,23,31]目標(biāo)發(fā)生大尺度形變時,目標(biāo)框易漂移檢測模塊、跟蹤模塊[6,19,25]

3　針對TLD算法存在問題所提出的解決方案

3.1手動初始化

文獻(xiàn)[6]采用運(yùn)動目標(biāo)檢測和SIFT算法來識別出最佳匹配區(qū)域作為TLD初始跟蹤區(qū)域。具體思想如下：1)利用SURF算法提取這兩幀圖像中匹配特征點(diǎn)對以完成快速注冊；然后利用RANSAC算法剔除錯誤的匹配特征點(diǎn)對[6]；2)估計(jì)仿射模型得到仿射變換圖像；3)借助運(yùn)動直方圖觀察兩個放射變換圖像之間的差異；4)利用多幀關(guān)聯(lián)技術(shù)提煉出前景跟蹤框，同時剔除錯誤的運(yùn)動目標(biāo)；5)利用改進(jìn)型SIFT算法來確定最優(yōu)的匹配區(qū)域。目標(biāo)自動初始化流程如圖2所示。

圖2目標(biāo)自動初始化流程圖

文獻(xiàn)[6]所提出的方法確實(shí)實(shí)現(xiàn)了跟蹤目標(biāo)自動初始化，但是該方法需要在跟蹤前消耗一定的時間去完整地遍歷視頻序列，相比原始算法，延長了初始化時間。

3.2貪婪搜索

所謂“貪婪搜索”，即TLD 中檢測器是基于滑動窗口掃描的，檢測器需要對圖像中可能包含目標(biāo)的子窗口進(jìn)行掃描以確定窗口包含前景目標(biāo)[12]。對一幀320×240大小的圖像，檢測模塊大概需要遍歷3萬個子掃描窗口，而其中大概只有10%～25%的子窗口才包含目標(biāo)[4]。

文獻(xiàn)[5]提出ROI(Region Of Interest)理念，采用非全局搜索策略，即直接將目標(biāo)框長與寬各擴(kuò)大20像素，如果失敗就利用背景抽離技術(shù)得到粗粒度的前景區(qū)域，然后通過模板匹配技術(shù)得到細(xì)粒度的前景區(qū)域。實(shí)驗(yàn)表明，該方法同時提高了幀處理速度[5]。

文獻(xiàn)[12，14-15]均將Kalman濾波器預(yù)測區(qū)域作為目標(biāo)檢測區(qū)域，大同小異。

文獻(xiàn)[16]在 TLD檢測模塊中加入Kalman濾波器和Meanshift算法。首先利用Meanshift算法迭代出置信度最高的目標(biāo)區(qū)域，在該區(qū)域上做一外接矩形框，然后將其傳給Kalman濾波器作為預(yù)測量，最后將Kalman濾波的預(yù)測區(qū)域作為Meanshift下一幀的初始搜索區(qū)域。

文獻(xiàn)[17]提出一種檢測區(qū)域自適應(yīng)的方法。該方法利用雙Kalman濾波器加速矯正預(yù)測區(qū)域。但該策略明顯降低了TLD系統(tǒng)的跟蹤精度。

文獻(xiàn)[18]引入金字塔LK光流法獲取目標(biāo)區(qū)域，該策略具備動態(tài)生成掃描框的特性。

文獻(xiàn)[19]引入粒子濾波，隨機(jī)產(chǎn)生K個特征點(diǎn)作為運(yùn)動粒子，接著利用Meanshift算法計(jì)算這些粒子在下一幀中的位置，然后計(jì)算各粒子位置加權(quán)和來得到下一幀目標(biāo)所在的邊界框。另外，為粒子權(quán)重設(shè)置閾值進(jìn)一步弱化粒子退化產(chǎn)生的影響。

文獻(xiàn)[28]利用基于幀差法的前景運(yùn)動目標(biāo)檢測器替換圖像元方差分類器。該策略在一定程度上增強(qiáng)了系統(tǒng)的實(shí)時性和魯棒性。

產(chǎn)生“貪婪搜索”的主要原因就是TLD正負(fù)樣本的生成策略不合理，提出新型正負(fù)樣本生成方案方能從源頭解決這個問題。

3.3發(fā)生嚴(yán)重遮擋時，目標(biāo)框易漂移

基于抗遮擋的目標(biāo)跟蹤方法多依賴于預(yù)測理論，常見的預(yù)測手段有：Kalman濾波器、粒子濾波器和馬爾科夫鏈。

文獻(xiàn)[8]提出一種基于Kalman濾波的TLD跟蹤算法，當(dāng)TLD跟蹤成功，TLD為Kalman濾波提供觀測值，當(dāng)TLD跟蹤失敗，則利用Kalman預(yù)測值取代觀測值，隨著遞歸的不斷進(jìn)行，最終輸出目標(biāo)狀態(tài)[8]。

文獻(xiàn)[9]在檢測模塊中加入SURF特征檢測器。當(dāng)目標(biāo)出現(xiàn)快速運(yùn)動、發(fā)生遮擋時，啟動SURF特征檢測器提取SURF特征以對目標(biāo)進(jìn)行二次檢測，但此時不參與學(xué)習(xí)過程，防止采集不正確的正樣本而導(dǎo)致跟蹤失敗。這種策略值得借鑒。

文獻(xiàn)[10]提出一種基于參考點(diǎn)的TLD跟蹤算法，所謂“參考點(diǎn)”，即在每一幀中實(shí)時地篩選出和目標(biāo)具有一定聯(lián)系的SURF特征點(diǎn)。當(dāng)目標(biāo)因發(fā)生部分或者完全遮擋而跟蹤失敗時，則可以利用參考點(diǎn)準(zhǔn)確預(yù)測出目標(biāo)所在區(qū)域。

文獻(xiàn)[11]結(jié)合光電跟蹤系統(tǒng)跟蹤背景相對簡單的特點(diǎn)，提出了適用于?？窄h(huán)境的TLD 算法。具體流程如圖3所示。

圖3目標(biāo)自動初始化流程圖

文獻(xiàn)[13]使用改進(jìn)的MIL跟蹤器(Online MIL)替換Median-Flow跟蹤器來進(jìn)行目標(biāo)跟蹤，提高了目標(biāo)在被遮擋情況下跟蹤的魯棒性。

文獻(xiàn)[27]提出了完備的遮擋預(yù)判定的體系。遺憾的是其提出的抗遮擋解決方案相對于遮擋預(yù)判定的體系來說，過于粗略。

文獻(xiàn)[28]提出了一種基于時空上下文目標(biāo)跟蹤(STC)和Kalman濾波器相結(jié)合的新型的跟蹤器，并利用該跟蹤器替代Median-Flow跟蹤器。實(shí)驗(yàn)表明，該新型跟蹤器對嚴(yán)重遮擋目標(biāo)具有較強(qiáng)的容忍性。

文獻(xiàn)[32]利用霍夫森林替換級聯(lián)分類器。由于霍夫森林可以充分提取出目標(biāo)的局部空間信息以及多通道特征，因此該策略可以有效增強(qiáng)系統(tǒng)魯棒性。

在目標(biāo)跟蹤領(lǐng)域，對遮擋目標(biāo)的跟蹤始終沒有強(qiáng)魯棒性的算法被提出來，絕大多數(shù)的方案局限于在特定環(huán)境，將其應(yīng)用在其他環(huán)境下可能就會發(fā)生限位框漂移的現(xiàn)象。上述文獻(xiàn)所提出的方法依然是以特定環(huán)境為前提。

3.4目標(biāo)模型樣本膨脹

所謂“樣本膨脹”，即目標(biāo)模型更新時缺少限制樣本數(shù)量的策略，隨著跟蹤系統(tǒng)的不斷運(yùn)行，目標(biāo)模型中的正負(fù)樣本數(shù)量會越來越多。導(dǎo)致目標(biāo)模型樣本冗余度高。

文獻(xiàn)[7]通過為目標(biāo)模型中正負(fù)樣本總數(shù)量設(shè)定閾值來抑制正負(fù)樣本膨脹，當(dāng)正負(fù)樣本總數(shù)量達(dá)到飽和狀態(tài)時，就替換掉其內(nèi)表征能力最弱的正樣本或者負(fù)樣本。但這種替換策略事實(shí)上違背了目標(biāo)模型的數(shù)據(jù)結(jié)構(gòu)。

文獻(xiàn)[11]通過分析檢測模塊各級分類器的算法時間復(fù)雜度來論證：目標(biāo)模型內(nèi)樣本數(shù)量過多會嚴(yán)重影響檢測器的實(shí)時性。設(shè)圖像塊Pi(i=1，2，…，n)經(jīng)過方差過濾器篩選之后剩余數(shù)量為N1，經(jīng)過隨機(jī)厥分類器篩選之后剩余圖像塊數(shù)量為N2。模型M中當(dāng)前模板數(shù)量為Nt，模板像素?cái)?shù)為Nm，則各級分類器算法時間復(fù)雜度如表2所示。

表2級聯(lián)分類器時間復(fù)雜度

分類器圖像元方差分類器隨機(jī)厥分類器最近鄰分類器復(fù)雜度O(Nb)O(N1·Nf)O(N2·Nt·Nm)

改進(jìn)更新策略：從正負(fù)樣本空間中剔除相似性最大的正樣本數(shù)據(jù)和相似性最小的負(fù)樣本數(shù)據(jù)。

對于目標(biāo)模型中正負(fù)樣本的限制均是基于這樣一個事實(shí)：樣本對當(dāng)前目標(biāo)外觀的表征能力與加入目標(biāo)模型的時間順序成反比。

3.5相似目標(biāo)辨識能力較弱

文獻(xiàn)[13]在TLD框架內(nèi)引入MIL跟蹤器同時改進(jìn)整合模塊判決策略以此來應(yīng)對具有相似干擾目標(biāo)的場景。整合模塊判決策略摒棄原有的權(quán)重論而是將通過比較跟蹤模塊與檢測模塊的輸出置信度的大小來判決目標(biāo)在下一幀的位置。另外，MIL跟蹤器非常出色，但在此引入會導(dǎo)致框架過于復(fù)雜。

文獻(xiàn)[14]巧妙地將馬爾科夫預(yù)測器時域一致性的優(yōu)點(diǎn)和特定場景進(jìn)行融合，很好地解決了相似目標(biāo)相向而行時目標(biāo)框漂移的問題。

TLD檢測模塊在面對相似目標(biāo)時容易被干擾目標(biāo)同化，最有效的解決方法是通過融合前景和背景信息設(shè)計(jì)一個對相似干擾目標(biāo)具有強(qiáng)魯棒性的檢測器。

3.6目標(biāo)發(fā)生大尺度形變時，目標(biāo)框易漂移

文獻(xiàn)[6]引入綜合性能優(yōu)于SIFT和SURF算法的ORB描述器來增強(qiáng)TLD算法的跟蹤器，改進(jìn)型跟蹤器與原始TLD跟蹤器不同，在限位框內(nèi)不再是均勻產(chǎn)生10×10個像素點(diǎn)，而是僅僅產(chǎn)生5×5個均勻像素點(diǎn)，剩下75個像素點(diǎn)是不均勻分布的ORB特征點(diǎn)。

文獻(xiàn)[19]提出一種基于SAMS算法的尺度自適應(yīng)策略，即使尺度跟隨目標(biāo)動態(tài)變化。

大尺度變換和目標(biāo)遮擋長期以來被視作阻礙視覺目標(biāo)跟蹤發(fā)展的攔路虎。在滿足實(shí)時性的前提下，目前尚沒有很好的應(yīng)對策略。

3.7復(fù)雜背景下，目標(biāo)框易漂移

文獻(xiàn)[16]針對在復(fù)雜場景下，目標(biāo)與背景灰度差異小，方差分類器無法準(zhǔn)確剔除背景目標(biāo)。于是利用顏色特征彩色直方圖替換灰度直方圖，使方差分類器正常工作。

文獻(xiàn)[21]所提出的方法依然是對引入顏色特征直方圖對圖像元方差分類器進(jìn)行改進(jìn)?？傮w與文獻(xiàn)[16]大同小異。

文獻(xiàn)[29]經(jīng)實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)檢測器沒有輸出時，恰恰就是檢測器中的最后一級分類器沒有輸出，但隨機(jī)厥分類器的輸出已經(jīng)很接近目標(biāo)位置了。于是，該文對第二級隨機(jī)厥分類結(jié)果進(jìn)行聚類分析，取其外接矩形框作為最終輸出。

上述3篇文獻(xiàn)介紹了TLD框架中檢測模塊和整合模塊的缺陷，并且提出了行之有效的解決方案，實(shí)驗(yàn)表明，上述改進(jìn)方案確實(shí)可以很好地解決復(fù)雜背景下跟蹤框易漂移的問題。

3.8Median-Flow跟蹤器穩(wěn)定性相對較弱

導(dǎo)致Median-Flow跟蹤器不穩(wěn)定的主要因素是Lucas-Kanade光流法，Median-Flow跟蹤器依賴后者產(chǎn)生具體的跟蹤軌跡。但是光流法又是基于目標(biāo)運(yùn)動一致性假設(shè)的，當(dāng)目標(biāo)運(yùn)動速度過快時，顯然違背了該假設(shè)。在現(xiàn)實(shí)生活中，只有極少數(shù)的情景才滿足目標(biāo)運(yùn)動一致性假設(shè)。

文獻(xiàn)[14]所提出的跟蹤器，是基于Cell FoT+算法的。跟蹤器框架如圖4所示。

圖4　跟蹤器框架

文獻(xiàn)[23]引入粒子濾波和積分直方圖來改進(jìn)跟蹤器。由于中值流跟蹤器采用FB誤差來實(shí)現(xiàn)跟蹤自檢測，其需要連續(xù)運(yùn)用兩次金字塔光流法跟蹤特征點(diǎn)。顯然，此舉無形中增大了出錯的風(fēng)險。粒子濾波算法跟蹤比較準(zhǔn)確，但在長期跟蹤中會面臨粒子退化和粒子匱乏的問題。粒子濾波和金字塔光流法相結(jié)合的策略，不僅可以減少中值流跟蹤器中累積的誤差，還可以有效緩解粒子退化和粒子匱乏等現(xiàn)象。

在上述所述的方法中，文獻(xiàn)[14]所提出的方法比較優(yōu)秀，跟蹤精度高，但是比較復(fù)雜，時間復(fù)雜度高。

3.9 最近鄰分類器耗時巨大

目標(biāo)模型中樣本數(shù)量越大，最近鄰分類器耗時越大[24]。

文獻(xiàn)[24]將其提出的在目標(biāo)遮擋和跟蹤準(zhǔn)確性上有著良好表現(xiàn)的MGACT算法替換最近鄰分類器。MGACT 算法通過特征的壓縮，在執(zhí)行最后檢測時，可以憑借壓縮特征實(shí)現(xiàn)高速檢測，進(jìn)而大幅度提升幀處理速度。改進(jìn)檢測模塊邏輯圖見圖5。

圖5　改進(jìn)檢測模塊邏輯圖

文獻(xiàn)[30]通過將前景檢測、方差濾波、集成分類器和模板匹配串聯(lián)起來替代原始的檢測模塊，如圖3所示。在該新型檢測模塊中，前景檢測依賴于背景抽離技術(shù)，在每一幀中將所有圖像塊與背景模型進(jìn)行比較，如果兩者相似度低于閾值，那么就濾除該圖像塊，反之將此圖像塊標(biāo)記為正樣本圖像塊，接著傳入到下一級方法中；模板匹配技術(shù)在這4種“去噪”方法中對于負(fù)樣本圖像塊的濾除是最嚴(yán)格、最有效果的，因?yàn)閳D像塊之間的比較都是在像素級展開的，先后通過計(jì)算NCC、d(p1，p2)和d+/-，最后將這4個參數(shù)歸一化為1個參數(shù)P+，以此來精確篩選出正負(fù)圖像塊樣本。

(1)

(2)

(3)

4　總結(jié)

當(dāng)前絕大多數(shù)的研究者都將注意力放在“貪婪搜索”和“目標(biāo)遮擋”上。而“手動初始化”和“最近鄰分類器耗時巨大”這兩大缺陷卻沒有得到太多的關(guān)注?！笆謩映跏蓟边@一缺點(diǎn)會在跟蹤啟動的時候就將誤差等干擾因子引入整個系統(tǒng)，隨著跟蹤系統(tǒng)的不斷進(jìn)行，誤差會不斷累積，最終將導(dǎo)致跟蹤失?。弧白罱彿诸惼骱臅r巨大”這一問題，是關(guān)乎TLD系統(tǒng)實(shí)時性的決定性因素，亟待解決。

就目前來說，國內(nèi)外對TLD的理論研究還不是很成熟，隨著對TLD算法研究的不斷深入，越來越多的缺陷會被挖掘，同時也會涌現(xiàn)出越來越多的優(yōu)質(zhì)高效地解決方案。

[1]KALALZ，MIKOLAJCZYKK，MATASJ.Forward-backwarderror：automaticdetectionoftrackingfailures[C]//Proc. 20thInternationalConferenceonPatternRecognition(ICPR). [S.l.]：IEEE，2010：2756-2759.

[2]KALALZ，MATASJ，MIKOLAJCZYKK.Onlinelearningofrobustobjectdetectorsduringunstabletracking[C]//Proc.IEEE12thInternationalConferenceonComputerVisionWorkshops(ICCVWorkshops) . [S.l.]：IEEE，2009：1417-1424.

[3]KALALZ，MATASJ，MIKOLAJCZYKK.Pnlearning：bootstrappingbinaryclassifiersbystructuralconstraints[C]//Proc.IEEEConferenceonComputerVisionandPatternRecognition(CVPR) . [S.l.]：IEEE，2010：49-56.

[4]KALALZ，MIKOLAJCZYKK，MATASJ.Tracking-learning-detection[J].IEEEtransactionsonpatternanalysisandmachineintelligence，2012，34(7)：1409-1422.

[5]NEMADEB，BHARADIVA.Adaptiveautomatictracking，learninganddetectionofanyrealtimeobjectinthevideostream[C]//Proc.IEEE5thInternationalConferenceonConfluenceTheNextGenerationInformationTechnologySummit(Confluence). [S.l.]：IEEE，2014： 569-575.

[6]HAILONGW，GUANGYUW，JIANXUNL.Animprovedtracking-learning-detectionmethod[C]//Proc.IEEE34thChineseControlConference(CCC). [S.l.]：IEEE，2015： 3858-3863.

[7]ZHANGP，SUNYQ，YA-LIWU，etal.AparallelimplementationofTLDalgorithmusingCUDA[C]// 2013全國高性能計(jì)算學(xué)術(shù)年會. 桂林：[出版者不詳]，2013：220-224.

[8]龔小彪，何濤. 基于卡爾曼濾波的抗遮擋TLD跟蹤算法[J]. 信息與電腦(理論版)，2014(4)：195-196.

[9]劉朵. 基于特征描述子的目標(biāo)跟蹤研究[D]. 西安：西安電子科技大學(xué)，2013.

[10]李敏敏.基于TLD模型的目標(biāo)跟蹤方法[D]. 西安：西安電子科技大學(xué)，2013.

[11]王建剛，李醒飛，陳誠，等. 改進(jìn)TLD算法在光電跟蹤中的應(yīng)用[J].紅外技術(shù)，2015(10)：824-830.

[12]張帥領(lǐng).基于TLD的視頻目標(biāo)跟蹤算法的研究[D]. 西安：西安電子科技大學(xué)，2014.

[13]高帆，吳國平，刑晨，等.TLD目標(biāo)跟蹤算法研究[J].電視技術(shù)，2013，37(11)：70-74.

[14]周鑫，錢秋朦，葉永強(qiáng)，等.改進(jìn)后的TLD視頻目標(biāo)跟蹤方法[J].中國圖象圖形學(xué)報(bào)，2013(9)：1115-1123.

[15]SUNC，ZHUS，LIUJ.FusingKalmanfilterwithTLDalgorithmfortargettracking[C]//Proc. 2015 34thChineseControlConference(CCC). [S.l.]：IEEE，2015：3736-3741.

[16]金龍，孫涵.TLD視頻目標(biāo)跟蹤方法改進(jìn)[J].計(jì)算機(jī)與現(xiàn)代化，2015(4)：42-46.

[17]曲海成，單曉晨，孟煜，等.檢測區(qū)域動態(tài)調(diào)整的TLD目標(biāo)跟蹤算法[J].計(jì)算機(jī)應(yīng)用，2015(10)：2985-2989.

[18]鄭遠(yuǎn)力，胡志坤. 基于滑動掃描框的高速物體的圖像實(shí)時跟蹤算法[J]. 計(jì)算機(jī)科學(xué)，2015(10)：287-291.

[19]滕飛，劉清，朱琳. 一種快速魯棒的內(nèi)河CCTV系統(tǒng)船舶跟蹤算法[J]. 武漢理工大學(xué)學(xué)報(bào)，2014(5)：80-85.

[20]江博.基于Kalman的TLD目標(biāo)跟蹤算法研究[D]. 西安：西安科技大學(xué)，2013.

[21]肖慶國，葉慶衛(wèi)，周宇，等.基于Mean-Shift優(yōu)化的TLD視頻長時間跟蹤算法[J].計(jì)算機(jī)應(yīng)用研究，2015(3)：925-928.

[22]齊楠楠，揭斐然，謝熙，等.基于TLD的艦船目標(biāo)跟蹤方法研究[J].紅外技術(shù)，2013(12)：780-787.

[23]周雅琪. 結(jié)合濾波理論的內(nèi)河視頻序列船舶TLD跟蹤算法研究[D].武漢：武漢理工大學(xué)，2013.

[24]黃坤. 基于在線學(xué)習(xí)算法的目標(biāo)跟蹤技術(shù)研究[D]. 北京：北京理工大學(xué)，2015.

[25]程立英，張丹，趙姝穎，等.一種基于TLD改進(jìn)的視覺跟蹤算法[J].科學(xué)技術(shù)與工程，2013(9)：2382-2386.

[26]包涵，黃學(xué)航，陸星家.TLD目標(biāo)追蹤算法研究[J]. 寧波工程學(xué)院學(xué)報(bào)，2012(1)：52-54.

[27]楊萌，楊陽，王藝，等. 一種改進(jìn)的TLD算法[J]. 傳感器與微系統(tǒng)，2014(12)：130-133.

[28]呂枘蓬，蔡肖芋，董亮，等. 基于TLD框架的上下文目標(biāo)跟蹤算法[J]. 電視技術(shù)，2015，39(9)：6-9.

[29]成正國，潘廣貞. 基于TLD的動態(tài)背景下視覺跟蹤技術(shù)研究[J]. 電視技術(shù)，2015，39(7)：111-114.

[30]NEBEHAYG.Robustobjecttrackingbasedontracking-learning-detection[EB/OL]. [2015-12-18].http://www.gnebehay.com/publications/master_thesis/master_thesis.pdf.

[31]CHENGS，LIUG，SUNJ.Robustandfasttracking-learning-detection[C]//Proc. 2015InternationalConferenceonComputerScienceandIntelligentCommunication. [S.l.]：Atlantis，2015.

[32]李俊，謝維信，李良群. 基于空時線索的TLD視頻跟蹤算法[J]. 信號處理，2015，31(10)：1287-1293.

杜奎(1990— )，碩士生，主研視覺目標(biāo)跟蹤；

楊豐瑞(1963— )，博士，教授，主要研究方向?yàn)橥ㄐ判录夹g(shù)應(yīng)用與電信增值業(yè)務(wù)；

莊園(1990— )，女，碩士生，主研蜂窩網(wǎng)下D2D通信的干擾協(xié)調(diào)技術(shù)。

責(zé)任編輯：閆雯雯

Survey on TLD object tracking algorithm

YANG Fengrui1，DU Kui2，ZHUANG Yuan2

((1.ChongqingInformationTechnology(Group)Co.，Ltd.，Chongqing400065，China；2.ApplicationofNewTechnologiesofCommunicationResearchCenter，ChongqingUniversityofPostandTelecommunications，Chongqing400065，China)

In order to enable long-term tracking for unknown objects， a semi-supervized machine learning algorithm is added in object tracking based on TLD algorithm which matches traditional tracking algorithm and detection algorithm for keeping capturing the newest appearances by continuous learning. Firstly， TLD’s theoretical background， tracking framework and major defects are introduced. Then， the improvements of the original algorithm are elaborately disscussed. Finally， the propspects of object tracking based on TLD algorithm are presented.

object tracking；semi-supervized machine learning；median flow tracker；random forest classifier

TN391.41

ADOI： 10.16280/j.videoe.2016.10.021

2015年重慶市研究生科研創(chuàng)新項(xiàng)目(CYS15166)

2015-12-18

文獻(xiàn)引用格式：楊豐瑞，杜奎，莊園. TLD目標(biāo)跟蹤算法綜述[J].電視技術(shù)，2016，40(10)：101-106.YANG F R，DU K，ZHUANG Y. Survey on TLD object tracking algorithm [J]. Video engineering，2016，40(10)：101-106.