運動背景下的抗遮擋TLD改進算法

高 陽，徐長波，曹少中

(北京印刷學(xué)院 信息工程學(xué)院，北京 102600)

視覺目標(biāo)跟蹤技術(shù)是計算機視覺領(lǐng)域內(nèi)的研究熱點之一，已經(jīng)被廣泛應(yīng)用到了日常生活、社會保障、軍事和醫(yī)療等各個重要領(lǐng)域[1-2]。目前，應(yīng)用視覺目標(biāo)跟蹤技術(shù)面臨著一些挑戰(zhàn)，如跟蹤環(huán)境光照的變化、目標(biāo)遮擋、目標(biāo)快速移動和復(fù)雜背景等因素會影響跟蹤效果。

跟蹤學(xué)習(xí)檢測(Tracking Learning Detection，TLD)算法[3]通過相關(guān)的訓(xùn)練和學(xué)習(xí)技術(shù)對跟蹤目標(biāo)與背景區(qū)域進行分類，以達到目標(biāo)跟蹤的目的，適用于長時間的目標(biāo)跟蹤。但是，TLD算法的特征點無法準(zhǔn)確表達目標(biāo)特征，另外，還存在檢測模塊計算量大，無法適應(yīng)遮擋場景等問題。采用支持向量機(Support Vector Machine，SVM)技術(shù)代替TLD算法檢測模塊[4]，能夠提高算法的實時性，改善目標(biāo)受到嚴(yán)重遮擋時算法的準(zhǔn)確性，但是，在目標(biāo)受到完全遮擋時，仍然不能準(zhǔn)確地預(yù)測到目標(biāo)位置。多實例學(xué)習(xí)(Multiple Instance Learning，MIL)算法[5]采用多個圖像塊作為一個樣本集，若樣本集中存在至少一個正樣本，則設(shè)置樣本集的標(biāo)簽為正，這種方式具有更好的靈活性。核相關(guān)濾波(Kernel Correlation Filter，KCF)算法[6]采用核函數(shù)和嶺回歸的方式，減小了算法復(fù)雜度，有效提升了算法速度。

已經(jīng)有許多研究者對抗遮擋目標(biāo)跟蹤算法進行了研究。目前的主流的抗遮擋目標(biāo)跟蹤算法主要分為基于有效特征信息的目標(biāo)跟蹤算法、基于狀態(tài)估計信息的目標(biāo)跟蹤算法和基于穩(wěn)定時空信息的目標(biāo)跟蹤算法等3種[7]，其中，基于狀態(tài)信息的目標(biāo)跟蹤算法又包括應(yīng)用卡爾曼濾波(Kalman Filter，KF)和粒子濾波(Particle Filter，PF)兩種技術(shù)。采用經(jīng)典Kalman濾波器對遮擋目標(biāo)進行位置預(yù)測[8-9]，能夠有效地針對目標(biāo)遮擋的場景實施跟蹤，但是，在運動的場景下，該方法無法達到預(yù)期效果。采用多特征融合的粒子濾波進行短期跟蹤[10]，或在判定目標(biāo)受到遮擋后采用粒子濾波方法進行狀態(tài)預(yù)測[11]，能夠改善遮擋情況下的跟蹤狀況，但是，與經(jīng)典TLD算法相比，該類算法速度較慢，實時性較差。

為提升目標(biāo)跟蹤算法對遮擋目標(biāo)跟蹤的準(zhǔn)確性和目標(biāo)跟蹤過程中的精確度和實時性，本文擬在經(jīng)典TLD算法的基礎(chǔ)上進行改進，提出一種運動背景下的抗遮擋TLD改進算法。將魯棒性較好的面向加速分段測試特征和旋轉(zhuǎn)二進制魯棒獨立基本特征(Oriented FAST and Rotated BRIEF，ORB)[12]作為跟蹤模塊的主要特征，采用局部和全局搜索策略，并且引入Kalman濾波與特征點匹配算法，以使得改進的算法在運動背景下遇到目標(biāo)遮擋時依然能夠準(zhǔn)確地跟蹤，并且具有較高的運行速度。

1 經(jīng)典TLD算法

經(jīng)典TLD算法主要由跟蹤模塊、檢測模塊和學(xué)習(xí)模塊等模塊組成[3]，特別適用于對運動目標(biāo)進行長時間的跟蹤。經(jīng)典TLD算法框架示意圖如圖1所示。

圖1 經(jīng)典TLD算法框架示意圖

1.1 跟蹤模塊

跟蹤模塊采用Median-Flow追蹤算法，該算法基本原理為，在時刻t，跟蹤框中產(chǎn)生10×10均勻分布的特征點。將這100個點的位置作為初始位置，然后，運用盧卡斯-卡納德(Lucas-Kanade，L-K)光流法[13]正向追蹤這100個初始位置點在t+1時刻圖像中的前向位置，根據(jù)前向位置反向追蹤這些點在t時刻圖像的后向位置，作為預(yù)測位置。

1.2 檢測模塊

檢測模塊使用級聯(lián)分類器，對從搜索框獲得的樣本進行分類，級聯(lián)分類器由方差分類器、集成分類器和最近鄰分類器構(gòu)成。首先，使用方差分類器對樣本進行方差過濾，濾除方差比較小的樣本；其次，采用集成分類器對通過方差分類器的樣本進行隨機蕨分類，計算10棵樹對該樣本的編碼(長度為13的0/1序列)，得到10棵樹對該樣本的10個后驗概率累加和的平均值，濾除平均值小于閾值的樣本；最后，應(yīng)用最近鄰分類器計算剩余樣本與在線模型的相關(guān)相似度，選擇與在線模型中相似度最高的圖像塊作為最終的檢測結(jié)果。

1.3 學(xué)習(xí)模塊

學(xué)習(xí)模塊使用的方法為正負(fù)約束(Positive-Negative，P-N)學(xué)習(xí)方法[14]。P-N學(xué)習(xí)方法是一種半監(jiān)督學(xué)習(xí)方法，P專家能夠改正被誤分為負(fù)樣本的正樣本，N專家能夠檢出被誤分為正樣本的負(fù)樣本，并更新樣本集。另外，學(xué)習(xí)模塊還不斷更新集成分類器和最近鄰分類器的閾值，以保證檢測模塊的魯棒性。

經(jīng)典TLD算法跟蹤模塊存在的主要問題是，TLD算法的特征點無法準(zhǔn)確地表達目標(biāo)的特征，在目標(biāo)受到嚴(yán)重遮擋時跟蹤模塊和檢測模塊都無法準(zhǔn)確地找出目標(biāo)的位置，而且，檢測模塊采用全局搜索策略，使得算法的計算時間較長。

2 改進的TLD跟蹤算法

提出一種新的遮擋判定方法，選擇引入ORB特征點與均勻分布特征點相結(jié)合的特征點提取算法來代替經(jīng)典TLD算法中提取均勻分布特征點的方法。當(dāng)目標(biāo)受到遮擋時，選擇Kalman濾波器結(jié)合基于網(wǎng)格的運動統(tǒng)計(Grid-Based Motion Statistics，GMS)特征點匹配算法[15]對運動背景下被遮擋的目標(biāo)進行運動預(yù)測。檢測模塊選擇局部搜索與全局搜索相結(jié)合的方法，將搜索策略與遮擋判定和跟蹤模塊的結(jié)果相對應(yīng)。改進算法的原理框架圖如圖2所示。

圖2 改進算法原理框架示意圖

2.1 結(jié)合ORB特征點的跟蹤模塊

特征點提取是目標(biāo)跟蹤過程中的關(guān)鍵步驟，特征點提取的質(zhì)量將直接影響后續(xù)的目標(biāo)跟蹤效果。考慮到ORB結(jié)合了加速分段測試特征[16](Features from Accelerated Segment Test，F(xiàn)AST)特征點檢測和二進制魯棒獨立基本特征[17](Binary Robust Independent Elementary Features，BRIEF)特征描述子算法，速度比較快，而且在一定程度上對噪聲和圖像變換的抵抗力較高，為此，在跟蹤模塊中采用ORB方法提取圖像的特征點。特征點提取原理示意圖如圖3所示，以像素點P為中心，選取半徑為3的圓上的16個像素點的像素值與點P的像素值作比較，如果圓上有連續(xù)的12個像素點的像素值比點P的像素值大或者小，則認(rèn)為點P為特征點。

圖3 特征點提取原理示意圖

將引入的ORB特征點提取算法與經(jīng)典TLD算法均勻分布特征點提取方法相結(jié)合。在ORB特征點數(shù)目超過100個時，采用ORB特征點作為跟蹤模塊的特征點；在ORB提取的特征點不夠100個時，采用均勻分布特征點提取方法對特征點進行補足。這樣做是為了保證特征點的數(shù)量足夠表達目標(biāo)的關(guān)鍵特征信息，以提升跟蹤模塊的魯棒性和穩(wěn)定性。

均勻分布特征點的間距為

(1)

(2)

式中：ls表示水平方向間距；lv表示垂直方向間距；P0為ORB特征點個數(shù)；w0和h0分別表示目標(biāo)框的寬和高。

以David測試集第500幀為例，方法改進前后跟蹤窗口的對比效果如圖4所示?？梢钥闯?，選取的特征點主要集中在目標(biāo)的眼睛、鼻子和嘴巴上，一方面，可以較好地表達目標(biāo)的特征；另一方面，減小了無效特征點數(shù)量，有利于提高算法的準(zhǔn)確率。

圖4 方法改進前后跟蹤窗口的對比效果

2.2 Kalman濾波與特征點匹配融合算法

由于經(jīng)典的Kalman濾波算法對運動背景下的目標(biāo)遮擋情形的適應(yīng)性較低，因此，考慮將Kalman濾波器與特征點匹配融合算法，對運動背景下被遮擋的目標(biāo)位置進行預(yù)測，以改善運動背景下對受到遮擋目標(biāo)的跟蹤效果。

如何正確判斷目標(biāo)是否發(fā)生遮擋，是解決目標(biāo)遮擋問題的一個關(guān)鍵前提。為了保證判斷結(jié)果的準(zhǔn)確性，在目標(biāo)跟蹤框的基礎(chǔ)上分割出4個警戒區(qū)域，并延展出8個警戒區(qū)域，共設(shè)定12個警戒區(qū)域。改進算法的遮擋檢測方法的警戒區(qū)域示意圖如圖5所示。

圖5 遮擋檢測方法警戒區(qū)域示意圖

分別計算12個警戒區(qū)域的色彩-飽和度-值(Hue-Saturation-Value，HSV)直方圖。以圖5(a)中的右警戒區(qū)為例，采用巴氏(Bhattacharyya)距離[18]系數(shù)，分別計算t時刻的外側(cè)警戒區(qū)域HSV直方圖與t-1時刻中部警戒區(qū)域HSV直方圖的匹配度ρ(Rout,t,Rmed,t-1)，以及t-1時刻中部警戒區(qū)域HSV直方圖與t-2時刻內(nèi)側(cè)警戒區(qū)域HSV直方圖的匹配度ρ(Rmed,t-1,Rin,t-2)，其計算表達式分別為

(3)

(4)

其中：Rout,t(i)表示t時刻外側(cè)警戒區(qū)域HSV直方圖第i個分區(qū)的相關(guān)數(shù)據(jù)；Rmed,t-1表示t-1時刻中部警戒區(qū)域HSV直方圖第i個分區(qū)的數(shù)據(jù)；Rin,t-2(i)表示t-2時刻內(nèi)側(cè)警戒區(qū)域HSV直方圖第i個分區(qū)的相關(guān)數(shù)據(jù)；n為樣本分區(qū)總數(shù)。

HSV直方圖的匹配度ρ的取值范圍在0到1之間，ρ越接近0，代表兩張圖像越相似。若t時刻ρ(Rout,t,Rmed,t-1)和ρ(Rmed,t-1,Rin,t-2)小于閾值(一般為0.5)，且目標(biāo)框HSV直方圖與目標(biāo)模型的相似度大于閾值，則判定t時刻跟蹤目標(biāo)受到遮擋，采用Kalman濾波器與特征點匹配融合算法對被遮擋目標(biāo)的位置進行預(yù)測。反之，在左警戒區(qū)，t+j-2時刻外側(cè)警戒區(qū)域HSV直方圖與t+j-1時刻中部警戒區(qū)域HSV直方圖的匹配度和t+j-1時刻中部警戒區(qū)域HSV直方圖與t+j時刻內(nèi)側(cè)警戒區(qū)域HSV直方圖的匹配度大于閾值，則判定t+j時刻目標(biāo)遮擋消失，重新采用經(jīng)典TLD算法進行目標(biāo)跟蹤。

依據(jù)上述方法，無論目標(biāo)從哪個方向受到遮擋，均能準(zhǔn)確地判斷遮擋的發(fā)生。為了保證TLD算法的跟蹤準(zhǔn)確性，當(dāng)判定目標(biāo)受到遮擋時，不再使用學(xué)習(xí)模塊更新集成分類器和最近鄰分類器的閾值。

在時刻k，改進算法所采用的Kalman濾波方法的核心方程組為

(5)

由于在目標(biāo)跟蹤過程中，目標(biāo)背景圖像大多會隨著目標(biāo)的移動而變化，從而導(dǎo)致目標(biāo)框的位置和目標(biāo)的運動速度難以確定。為此，以視頻第一幀為基準(zhǔn)，構(gòu)建坐標(biāo)系?？梢詫⒛繕?biāo)狀態(tài)表示為

x=[x,y,w,h,dx,dy]T

(6)

其中：x，y分別表示目標(biāo)框的橫向、縱向位置坐標(biāo)；dx，dy分別表示目標(biāo)的橫向、縱向移動速率；w，h分別表示目標(biāo)框的寬和高。

采用ORB特征點提取方法，對視頻幀圖像背景區(qū)域進行特征點的提取，對相鄰的兩幀圖像的背景區(qū)域特征點采用GMS方法進行特征匹配。以Jogging測試集第11和第12幀圖像為例，相鄰幀背景區(qū)域特征點匹配效果如圖6所示。在對視頻幀圖像背景區(qū)域進行特征點提取操作之后，使用經(jīng)過特征匹配的相似特征點對計算兩幀間背景移動的距離。

圖6 相鄰幀背景區(qū)域特征點匹配效果

對匹配到的特征點對的坐標(biāo)作差，累加后取平均值即為背景圖像移動的距離，由此得到x,y,dx,dy分別為

(7)

(8)

(9)

(10)

式中：x′t、y′t分別表示第t幀的測量值；x′t-1、y′t-1分別為第t-1幀的測量值；Pt(x,j)和Pt-1(x,j)、Pt(y,j)和Pt-1(y,j)分別表示第t幀和第t-1幀圖像匹配到的第j個特征點對的橫向、縱向位置坐標(biāo)；N為匹配到特征點對的個數(shù)。

如果在第t幀檢測到目標(biāo)受到遮擋，則使用第t-1幀Kalman濾波器的最優(yōu)估計值直接作為觀測值，即

(11)

直到目標(biāo)遮擋消失后，調(diào)用檢測模塊，將檢測模塊的最優(yōu)結(jié)果作為跟蹤結(jié)果。

2.3 改進的掃描框方法

在經(jīng)典TLD算法檢測模塊初始化時，產(chǎn)生的掃描框可能有上萬個甚至十萬個，其中大多掃描框中不含有前景目標(biāo)。排除這些不含前景目標(biāo)的掃描框?qū)z測模塊的干擾，有利于提升算法的效率和實時性。

引入感興趣區(qū)域(Region of Interest，ROI)方法，在上一幀目標(biāo)跟蹤框的基礎(chǔ)上向四周拓展20個像素，生成目標(biāo)局部檢測區(qū)域。當(dāng)跟蹤模塊跟蹤失敗時，采用全局搜索策略；反之，當(dāng)跟蹤模塊跟蹤到目標(biāo)時，則采用局部搜索策略。采用改進后的搜索策略，以有效地排除不含有前景目標(biāo)搜索框的干擾，減少進入檢測模塊搜索框的數(shù)量，提升算法速度。以David測試集第770幀為例，算法改進前后效果對比如圖7所示。可以看出不含有前景目標(biāo)的搜索框相比經(jīng)典TLD算法大大減少。

圖7 算法改進前后效果對比

3 實驗結(jié)果及分析

為測試改進算法的性能，對Jumping、Walking、Dog1、Jogging、Human4、Dog和Fish共7組測試序列集進行測試，并將改進算法的目標(biāo)跟蹤性能與KCF算法、MIL算法和經(jīng)典TLD算法進行比較。

在7組測試序列集中，Jumping、Walking、Dog1、Jogging和Human4測試集來自文獻[19]，Dog和Fish測試集來自文獻[20]。這些測試集中場景包含了光照變換，尺度變換，遮擋、形變，運動模糊，快速移動，目標(biāo)在圖像平面內(nèi)旋轉(zhuǎn)，目標(biāo)在圖像平面外旋轉(zhuǎn)等情況。

Jumping序列描述了目標(biāo)快速運動而產(chǎn)生目標(biāo)模糊的現(xiàn)象，主要用來測試算法對于運動模糊以及目標(biāo)快速移動的魯棒性。Dog序列描述了小狗沖向主人的運動過程，其中包含了目標(biāo)奔跑過程中身體形狀與拍攝視角的變化，主要用來測試算法對尺度變化和形變的魯棒性。Walking序列描述了目標(biāo)在經(jīng)過輕微遮擋后由近到遠(yuǎn)的行走過程，其中包含了目標(biāo)行走過程中的姿態(tài)變化和尺度變化，主要用來測試算法對輕微遮擋、尺度變化和形變的魯棒性。Dog1序列描述了小狗玩偶在運動過程中俯仰、傾斜、搖擺和尺度變化的情形，主要用來測試算法對物體旋轉(zhuǎn)和多尺度的魯棒性。Fish序列描述了目標(biāo)物體在快速運動過程中環(huán)境光照條件發(fā)生變化的過程，主要用來測試算法對于快速運動和光照變化的魯棒性。Jogging序列和Human4序列描述了目標(biāo)經(jīng)過遮擋物的過程，主要用來測試算法對運動背景下目標(biāo)被完全遮擋的適應(yīng)性。

實驗的硬件環(huán)境為AMD Ryzen 7 3700U 2.30 GHz處理器，8 G內(nèi)存。軟件環(huán)境為Visual Studio 2019和OpenCV3.4.15。

3.1 綜合性能分析

選取Jumping、Dog、Walking、Dog1和Fish共5種測試集進行綜合性能測試，比較改進算法與經(jīng)典TLD算法、KCF算法和MIL算法在跟蹤目標(biāo)時的魯棒性、準(zhǔn)確性和實時性。4種跟蹤算法的目標(biāo)跟蹤結(jié)果如圖8所示，圖中實線為改進算法的跟蹤結(jié)果，點型虛線為經(jīng)典TLD算法的跟蹤結(jié)果，間斷型虛線為MIL算法的跟蹤結(jié)果，點線型虛線為KCF算法的跟蹤結(jié)果。

從圖8(a)中可以看出，對于Jumping測試集中快速移動的跟蹤目標(biāo)，相對來說，改進算法的跟蹤精度和成功率均為最高，其他算法或多或少都存在目標(biāo)框丟失和漂移現(xiàn)象。特別是MIL算法和KCF算法均產(chǎn)生了較嚴(yán)重的漂移現(xiàn)象，算法的魯棒性較差。

從圖8(b)中可以看出，在Dog測試集中的第86幀和第101幀，當(dāng)目標(biāo)發(fā)生大幅形變時，經(jīng)典TLD算法的跟蹤框發(fā)生了輕微漂移現(xiàn)象，而MIL算法和KCF算法無法對尺度變化進行檢測，依舊維持初始框大小。

從圖8(c)中可以看出，在Walking測試集中的第86幀，當(dāng)目標(biāo)在受到輕微遮擋時，經(jīng)典TLD和MIL算法目標(biāo)框均發(fā)生小幅偏移，KCF算法目標(biāo)框則是發(fā)生漂移現(xiàn)象，而且在后續(xù)的目標(biāo)尺度逐漸變化的過程中MIL算法無法對尺度變化進行檢測，始終維持初始框大小直到跟蹤結(jié)束。

從圖8(d)中可以看出，對于Dog1測試集，經(jīng)典TLD算法、KCF算法和改進算法對物體旋轉(zhuǎn)的魯棒性較高，而MIL算法發(fā)生了漂移現(xiàn)象。從對目標(biāo)尺度變化的適應(yīng)能力上看，經(jīng)典TLD算法和改進算法表現(xiàn)較好，而KCF算法適應(yīng)性較差。

從圖8(e)中可以看出，對于Fish測試集，在初始目標(biāo)發(fā)生快速運動的過程中，KCF算法的目標(biāo)框發(fā)生了漂移。在第157幀，當(dāng)環(huán)境光照發(fā)生突變時，改進算法和經(jīng)典TLD算法目標(biāo)跟蹤框均丟失，而MIL算法具有良好的光照變化魯棒性。

圖8 4種跟蹤算法的目標(biāo)跟蹤結(jié)果

3.1.1 算法的魯棒性

從圖8的實驗結(jié)果可以看出，改進算法和經(jīng)典TLD算法對物體模糊、旋轉(zhuǎn)、形變以及尺度變化均有著良好的魯棒性，而MIL算法和KCF算法在穩(wěn)定環(huán)境下的跟蹤效果較好，特別是MIL算法對于光線突變變化適應(yīng)性較好。另外，當(dāng)物體發(fā)生仿射變換時，改進算法的目標(biāo)跟蹤成功率明顯高于經(jīng)典TLD算法，但是，對于光照突變的魯棒性較差。這是因為，光照突變對經(jīng)典TLD算法中跟蹤模塊所使用的L-K光流法影響較大，會直接導(dǎo)致跟蹤失敗。

3.1.2 算法的準(zhǔn)確性

采用準(zhǔn)確率[20](Success Plot，SP)和平均像素誤差[20](Average Pixel Error，APE)作為算法準(zhǔn)確性的評價標(biāo)準(zhǔn)。使用TLD算法、MIL算法、KCF算法和改進算法分別對Walking、Dog、Jumping、Dog1和Fish測試集進行測試，4種算法在不同測試集中的準(zhǔn)確率和平均像素誤差測試結(jié)果分別如表1和表2所示。

表1 4種算法在不同測試集中的準(zhǔn)確率

表2 4種算法在不同測試集中的平均像素誤差

從表1可以看出，改進算法的跟蹤準(zhǔn)確率均高于經(jīng)典TLD算法和KCF算法。除了對于光照變換較劇烈的Fish測試集之外，改進算法的跟蹤準(zhǔn)確率也明顯高于MIL算法。從表2可以看出，改進算法的平均像素誤差在多數(shù)測試集也優(yōu)于其他3種算法。這是由于跟蹤模塊采用了更能表達出目標(biāo)特征的特征點，從而導(dǎo)致算法跟蹤準(zhǔn)確率較高，平均像素誤差較低。

但是，從表2還可以看出，在對Dog測試集和Fish測試集進行的測試中，改進算法的平均像素誤差略高于經(jīng)典TLD算法。這是由于，一方面，Dog測試集目標(biāo)圖像塊較小，改進算法采集不到較優(yōu)的特征點，導(dǎo)致跟蹤框產(chǎn)生了小幅偏移，提高了平均像素誤差。另一方面，在對Fish測試集進行的實驗中，經(jīng)典TLD算法丟失的幀數(shù)較多，而這些丟失的幀并不會出現(xiàn)在計算平均像素誤差的過程中，從而導(dǎo)致經(jīng)典TLD算法的平均像素誤差略低。

3.1.3 算法的實時性

采用平均幀率作為算法準(zhǔn)確性的評價標(biāo)準(zhǔn)。平均幀率即每秒鐘算法處理幀數(shù)(Frames Per Second，F(xiàn)PS)的平均值。采用TLD算法、MIL算法、KCF算法和改進算法分別對Walking測試集、Dog測試集、Jumping測試集、Dog1測試集和Fish測試集進行測試，4種算法在不同測試集中的平均幀率測試結(jié)果如表3所示。

表3 4種算法在不同測試集中的平均幀率

從表3可以看出，MIL算法的檢測速度相對穩(wěn)定。KCF算法在跟蹤過程中的速度一般，但是，在目標(biāo)發(fā)生丟失時，KCF算法的速度會明顯提高。整體而言，改進算法對較高分辨率和較低分辨率的視頻序列均有較好的實時性。特別是，當(dāng)改進算法處理目標(biāo)圖像塊分辨率相對于視頻分辨率較小的視頻序列如Walking時，在目標(biāo)不發(fā)生丟失的情況下檢測速度明顯高于經(jīng)典TLD算法。這是由于，一方面，改進算法采用ROI方法動態(tài)劃分檢測區(qū)域，通過方差分類器剔除了大量不含有前景目標(biāo)的樣本，大大減少了樣本數(shù)量，從而導(dǎo)致了算法的運行速度和實時性較高；另一方面，只有當(dāng)跟蹤過程中目標(biāo)發(fā)生丟失時，改進算法才采用全局搜索的策略，從而運行速度較高。

但是，對Dog1測試集和Fish測試集進行測試的結(jié)果顯示，改進算法整體的平均幀率略低于經(jīng)典TLD算法。這是因為，而改進算法在對Dog1測試集和Fish測試集跟蹤過程中，產(chǎn)生的正樣本過多，檢測模塊中最近鄰分類器的耗時增大，從而導(dǎo)致整體的平均幀率較低。

3.2 抗遮擋性能

為了對比改進算法與經(jīng)典TLD算法在處理嚴(yán)重遮擋問題上的性能差異，選取Jogging和Human4測試集進行測試和比較。

3.2.1 定性分析

使用改進算法與經(jīng)典TLD算法，選取Jogging和Human4測試集中的關(guān)鍵幀進行定性分析。兩種算法對Jogging測試集目標(biāo)1和目標(biāo)2跟蹤結(jié)果對比分別如圖9和圖10所示，對Human4測試集跟蹤結(jié)果對比如圖11所示。

從圖9、圖10和圖11的實驗結(jié)果中可以看出，在目標(biāo)受到輕度遮擋時，經(jīng)典TLD算法會將含有遮擋物的目標(biāo)框作為正樣本進行訓(xùn)練，導(dǎo)致經(jīng)典TLD算法在一定程度上能夠處理目標(biāo)受到輕度遮擋的情況。但是，當(dāng)目標(biāo)受到嚴(yán)重遮擋后，例如，當(dāng)目標(biāo)進入遮擋物并消失在視頻幀中時，經(jīng)典TLD算法的目標(biāo)框會發(fā)生漂移現(xiàn)象，不能進行準(zhǔn)確地跟蹤。

圖9 兩種算法Jogging測試集目標(biāo)1跟蹤結(jié)果對比

圖10 兩種算法Jogging測試集目標(biāo)2跟蹤結(jié)果對比

圖11 兩種算法Human4測試集跟蹤結(jié)果對比

而在判定為目標(biāo)受到遮擋后，改進算法能夠預(yù)測后續(xù)幀中目標(biāo)的位置。當(dāng)后續(xù)幀判定遮擋消失后，改進算法使用檢測模塊的最優(yōu)結(jié)果作為該幀的跟蹤結(jié)果，能夠更加準(zhǔn)確地追蹤目標(biāo)。

3.2.2 定量分析

采用平均重疊率[20](Average Overlap Rate，AOR)作為算法抗遮擋性能準(zhǔn)確性的評價標(biāo)準(zhǔn)。使用經(jīng)典TLD算法和改進算法分別對Jogging測試集目標(biāo)1、Jogging測試集目標(biāo)2和Human4測試集進行測試。兩種算法對不同測試對象的平均重疊率測試結(jié)果如表4所示。

表4 兩種算法對不同測試對象的平均重疊率

從表4可以看出，相比于經(jīng)典TLD算法，改進算法的平均重疊率更高，說明改進算法有著更好的抗遮擋性能。這是因為，改進算法中加入了遮擋物判定機制，當(dāng)判定有遮擋物時，不使用學(xué)習(xí)模塊進行樣本更新，調(diào)用Kalman濾波器進行運動預(yù)測，因此，當(dāng)目標(biāo)在重新回到視野當(dāng)中時，依然能夠準(zhǔn)確地跟蹤到目標(biāo)。而經(jīng)典TLD算法將包含遮擋物的目標(biāo)框作為正樣本訓(xùn)練之后，可能會影響后續(xù)幀的跟蹤結(jié)果。

4 結(jié)語

針對經(jīng)典TLD跟蹤算法無法準(zhǔn)確地表達目標(biāo)的特征，在目標(biāo)受到嚴(yán)重遮擋時，跟蹤不準(zhǔn)確，以及采用全局搜索策略，導(dǎo)致的實時性較差等問題，引入ORB特征點與均勻分布特征點相結(jié)合的特征點作為跟蹤模塊的特征點集，并采用劃分ROI區(qū)域的方法排除非目標(biāo)圖像塊的干擾，以增強算法的實時性和準(zhǔn)確性。另外，通過引入Kalman濾波器結(jié)合特征點匹配算法對目標(biāo)運動軌跡進行預(yù)測，從而使得運動背景下的目標(biāo)在受到嚴(yán)重遮擋時，算法依舊能準(zhǔn)確地跟蹤到目標(biāo)。

但是，改進算法仍然存在一些問題，例如，當(dāng)光照變換較劇烈時，改進算法的魯棒性較差；當(dāng)跟蹤目標(biāo)丟失后，幀處理時間較長等。這兩個問題將是下一步的研究的關(guān)鍵。