融合CN跟蹤算法改進(jìn)的TLD實(shí)時(shí)目標(biāo)跟蹤算法*

張 晶，黃浩淼，王健敏，保峻嶸

(1.昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院,云南 昆明 650500;2.云南梟潤(rùn)科技服務(wù)有限公司,云南 昆明 650500;3.昆明理工大學(xué)云南省人工智能重點(diǎn)實(shí)驗(yàn)室，云南 昆明 650500;4.云南省農(nóng)村科技服務(wù)中心,云南 昆明 650021;5.云南省信息技術(shù)發(fā)展中心,云南 昆明 650228)

1 引言

在計(jì)算機(jī)視覺(jué)領(lǐng)域中，目標(biāo)跟蹤是一個(gè)長(zhǎng)期以來(lái)研究的熱點(diǎn)，同時(shí)也是信息物理融合系統(tǒng)(Cyber Physical System)感知層中的研究熱點(diǎn)。如今目標(biāo)跟蹤技術(shù)正在快速發(fā)展，但在目標(biāo)旋轉(zhuǎn)變化、快速移動(dòng)、出視角再出現(xiàn)、背景雜亂等復(fù)雜場(chǎng)景中，目標(biāo)跟蹤仍然面臨很大的挑戰(zhàn)性。為了解決這些問(wèn)題，研究者提出了許多優(yōu)秀的判別式與生成式目標(biāo)跟蹤算法[1]。比如，引入循環(huán)矩陣和核概念的算法CSK(Circulant Structure of tracking-by-detection with Kernel)[2,3]，CSK將目標(biāo)作為訓(xùn)練樣本，對(duì)訓(xùn)練樣本與目標(biāo)周圍的背景進(jìn)行密集采樣，構(gòu)造出一些候選區(qū)域的樣本進(jìn)行循環(huán)移位，同時(shí)由訓(xùn)練好的分類器對(duì)循環(huán)移位樣本進(jìn)行檢測(cè)，提高跟蹤的魯棒性。但是，在跟蹤運(yùn)動(dòng)目標(biāo)時(shí)，CSK跟蹤器并不能對(duì)快速運(yùn)動(dòng)目標(biāo)、出視角再出現(xiàn)目標(biāo)進(jìn)行有效跟蹤，Kalal等人[4,5]提出了跟蹤與檢測(cè)結(jié)合的 TLD(Tracking-Learning-Detection)算法。該算法通過(guò)一種正負(fù)樣本在線學(xué)習(xí)機(jī)制，解決了以上場(chǎng)景中傳統(tǒng)算法跟蹤失敗問(wèn)題，然而TLD算法在目標(biāo)旋轉(zhuǎn)、背景雜亂等情景中跟蹤效果不佳。Danelljan等人[6]在CSK的基礎(chǔ)上進(jìn)行改進(jìn)，引入了顏色屬性(Color Attributes)，提出了一種處理多通道顏色特征的算法，CN(adaptive color attributes for real-time visual tracking)算法通過(guò)將顏色信息投影到10維子空間上，使用PCA降維大大減少顏色維度的數(shù)量，提升了算法運(yùn)行速度，并圍繞目標(biāo)的跟蹤范圍對(duì)多通道顏色信號(hào)經(jīng)過(guò)快速傅里葉變換與核映射，計(jì)算出下一幀的最大響應(yīng)值[7,8]，提高了目標(biāo)旋轉(zhuǎn)、背景雜亂等情景中跟蹤的魯棒性。Liu等人[9]提出一種前景劃分下的雙向?qū)?yōu)跟蹤方法，通過(guò)顏色屬性建立判別外觀模型，采用一種前景劃分的方式解決目標(biāo)旋轉(zhuǎn)時(shí)特征丟失的問(wèn)題。Wang等人[10]提出從圖像中提取目標(biāo)模型和背景的跟蹤方法,利用圖像中的目標(biāo)模型計(jì)算出置信圖，評(píng)估目標(biāo)的下一幀位置，并更新目標(biāo)模型，提高目標(biāo)形變跟蹤精度。Oron等人[11]提出一種對(duì)目標(biāo)區(qū)域分塊的跟蹤方法,將分好塊的目標(biāo)區(qū)域進(jìn)行像素匹配，通過(guò)匹配的相似性預(yù)測(cè)下一幀的目標(biāo)位置，通過(guò)匹配分塊的目標(biāo)區(qū)域建立約束，提高背景雜亂情景跟蹤的精度?；鹪彽热薣12]提出一種融合多特征的相關(guān)濾波跟蹤算法，通過(guò)對(duì)目標(biāo)的顏色特征、HOG特征、灰度特征降維后，重新構(gòu)造特征矩陣融入相關(guān)濾波器中，得到更精確的目標(biāo)跟蹤效果。Chen等人[13]提出一種多模糊核融合的單目標(biāo)跟蹤算法，通過(guò)將模糊化的核函數(shù)作為目標(biāo)函數(shù)，使得算法在跟蹤實(shí)時(shí)性上得到提高。張晶等人[14]提出一種時(shí)空上下文相似性的TLD目標(biāo)跟蹤算法，通過(guò)計(jì)算上下幀目標(biāo)之間的相似性，對(duì)結(jié)果進(jìn)行距離判定后，求出置信圖中最大的跟蹤框作為目標(biāo)框輸出。

由于TLD跟蹤框在目標(biāo)非剛性形變、旋轉(zhuǎn)、背景雜亂情景中容易跟蹤漂移，導(dǎo)致跟蹤精度低，CN跟蹤框結(jié)合了顏色特征能準(zhǔn)確地表征目標(biāo)區(qū)域，在以上情景中跟蹤具有很好的魯棒性，故可以結(jié)合CN跟蹤算法來(lái)提高TLD算法的魯棒性。為了找到CN跟蹤框與TLD跟蹤框的權(quán)重分配比例，本文首先使用BRISK(Binary Robust Invariant Scalable Keypoints)算法[15]采集跟蹤框內(nèi)旋轉(zhuǎn)不變性的特征點(diǎn)；然后融合顏色特征和紋理特征對(duì)前后幀之間特征點(diǎn)的描述子進(jìn)行相似性匹配，獲得跟蹤過(guò)程中的可靠特征點(diǎn)集合；再用這些可靠特征點(diǎn)經(jīng)過(guò)判別式字典稀疏編碼后，分別與TLD跟蹤框和CN跟蹤框的中心像素點(diǎn)進(jìn)行權(quán)重計(jì)算；最后根據(jù)權(quán)重比例調(diào)整得到輸出框中心點(diǎn)位置。實(shí)驗(yàn)表明，改進(jìn)算法在目標(biāo)形變、旋轉(zhuǎn)、背景雜亂情景中提高了跟蹤的魯棒性。同時(shí)TLD算法采用一種網(wǎng)格循環(huán)采樣特征點(diǎn)的方法導(dǎo)致算法實(shí)時(shí)性不高，本文在采樣特征點(diǎn)上，提出通過(guò)計(jì)算圖像顯著性來(lái)確定BRISK算法特征點(diǎn)采樣的閾值，從而獲取合適的特征點(diǎn)，提高了算法的實(shí)時(shí)性。目標(biāo)快速運(yùn)動(dòng)時(shí)會(huì)影響CN跟蹤算法的顏色模型更新，導(dǎo)致更新過(guò)程中存在過(guò)多背景信息，從而跟蹤失敗。本文算法通過(guò)TLD檢測(cè)器篩除錯(cuò)誤樣本，避免了快速運(yùn)動(dòng)產(chǎn)生的邊界效應(yīng)，并通過(guò)CN跟蹤框與TLD跟蹤框線性加權(quán)調(diào)整后優(yōu)化輸出框，更新學(xué)習(xí)模型，不斷提高算法的魯棒性。

2 基本跟蹤算法

2.1 TLD跟蹤算法

TLD 跟蹤算法能對(duì)單目標(biāo)進(jìn)行長(zhǎng)期跟蹤，它使用一種正負(fù)樣本的在線學(xué)習(xí)方法，通過(guò)一對(duì)約束來(lái)估計(jì)出錯(cuò)誤，更新檢測(cè)器，并根據(jù)需要通過(guò)檢測(cè)器不斷修正跟蹤器，提高目標(biāo)跟蹤過(guò)程的魯棒性。TLD 算法解決了跟蹤過(guò)程中目標(biāo)快速運(yùn)動(dòng)或者目標(biāo)在視頻序列中消失一段時(shí)間后又重新回到視頻中的跟蹤失敗問(wèn)題。

在初始條件下，TLD算法的跟蹤模塊通過(guò)學(xué)習(xí)第1幀跟蹤框內(nèi)的背景環(huán)境和目標(biāo)信息，使用二叉分類器劃分目標(biāo)與周圍背景環(huán)境的邊界，建立初始化正負(fù)樣本，初步建立在線模型，通過(guò)網(wǎng)格均勻采樣的方法作用于跟蹤框得到特征點(diǎn)；然后使用LK光流法計(jì)算特征點(diǎn)前向后向誤差FB_error(Forward-Backward error)，去除異常特征點(diǎn)，同時(shí)將篩選后滿足條件的特征點(diǎn)保留下來(lái)，以預(yù)測(cè)下一幀跟蹤框的位置。

根據(jù)設(shè)定好的掃描窗口尺度產(chǎn)生大量的滑動(dòng)矩形框，然后檢測(cè)器找到與跟蹤目標(biāo)相似度最高的滑動(dòng)矩形框。主要步驟如下：首先經(jīng)過(guò)方差分類器利用積分圖求出滑動(dòng)矩形框內(nèi)圖像的方差值，若該值大于閾值，再經(jīng)過(guò)集合分類器，集合分類器中的決策樹(shù)對(duì)圖像的像素進(jìn)行比較，從而確定葉子節(jié)點(diǎn)的結(jié)果，對(duì)決策樹(shù)上的所有葉子節(jié)點(diǎn)的結(jié)果進(jìn)行編碼，利用編碼結(jié)果求得決策樹(shù)的后驗(yàn)概率，再取其均值。若后驗(yàn)概率均值大于給定閾值，則該滑動(dòng)矩形框中存在前景目標(biāo)，否則丟棄掉。最后由最近鄰分類器對(duì)剩下的滑動(dòng)矩形框與在線模型計(jì)算相似度，若相似度大于設(shè)定閾值，則目標(biāo)跟蹤成功，同時(shí)更新目標(biāo)在線模型。

TLD算法的學(xué)習(xí)模塊主要完成對(duì)檢測(cè)器中的集合分類器和最近鄰分類器初始化的過(guò)程，并利用P-N約束對(duì)檢測(cè)器進(jìn)行更新，它通過(guò) P-N 學(xué)習(xí)的理論劃分出正樣本和負(fù)樣本，對(duì)正負(fù)樣本進(jìn)行仿射變換更新在線模型和正負(fù)樣本庫(kù)，從而提高了檢測(cè)器的準(zhǔn)確性。

2.2 CN跟蹤算法

CN 跟蹤算法是一種引入復(fù)雜顏色特征進(jìn)行多通道目標(biāo)跟蹤的算法，CN 跟蹤算法的內(nèi)核函數(shù)將多維顏色特征信息加入 CSK算法，使CSK能夠處理多通道的目標(biāo)圖像，并調(diào)整了CSK的更新機(jī)制，實(shí)驗(yàn)表明了其目標(biāo)跟蹤的有效性。為了提高算法運(yùn)算速度，CN跟蹤算法提出一種將 11維顏色特征降低到 2 維的自適應(yīng)維度下降方法。

yj(m,n)|2+λ〈wj,wj〉)

(1)

(2)

其中，βj表示第j幀圖像權(quán)重值；φ()是映射到希爾伯特空間的函數(shù);λ≥0 是固定值；a(k,l)為濾波器系數(shù)。分類器參數(shù)Ap表示為：

(3)

(4)

(5)

xp=(1-γ)xp-1+γxp

(6)

(7)

其中，αp是視頻幀數(shù)的投射權(quán)重，αj是視頻中第j幀的投射權(quán)重，bj是矩陣Bp的列向量。利用訓(xùn)練模型訓(xùn)練降維后的顏色特征信息，并更新學(xué)習(xí)目標(biāo)模型和訓(xùn)練因子。計(jì)算下一幀圖像獲得響應(yīng)分?jǐn)?shù)最大的位置向量y：

y=F-1(μUm,n)

(8)

即求得新的目標(biāo)中心位置,F-1()為反傅里葉變換函數(shù)，μ為響應(yīng)因子，Um,n為目標(biāo)響應(yīng)值。

3 改進(jìn)的目標(biāo)跟蹤算法TLD-CN

3.1 跟蹤框內(nèi)特征點(diǎn)的檢測(cè)與匹配

BRISK算法具有較好的旋轉(zhuǎn)不變性，對(duì)于快速運(yùn)動(dòng)導(dǎo)致模糊的圖像匹配魯棒性也較好。

BRISK首先識(shí)別跟蹤框中的感興趣區(qū)域，使用圖像金字塔中設(shè)定的閾值T來(lái)檢測(cè)區(qū)域中的特征點(diǎn)，但算法在檢測(cè)特征點(diǎn)時(shí)，只考慮了特征點(diǎn)在圖像中的灰度信息，并未考慮特征點(diǎn)距離目標(biāo)的局部信息，導(dǎo)致特征點(diǎn)選取不適當(dāng)，增加了特征點(diǎn)的誤匹配率。本文改進(jìn)了BRISK算法，通過(guò)融入目標(biāo)區(qū)域的局部圖像顯著性來(lái)計(jì)算算法閾值，從而得到跟蹤框內(nèi)適當(dāng)?shù)奶卣鼽c(diǎn)。

假設(shè)第t-1幀圖像中目標(biāo)跟蹤框Bt-1的高為HBt-1、寬為WBt-1，將目標(biāo)框Bt-1的高和寬擴(kuò)展2倍得到目標(biāo)區(qū)域A，圖像中剩下的即為背景區(qū)域B。將第t幀的圖像作為搜索區(qū)域，將圖像均分為9個(gè)子塊Ri(i=1,…,9)，對(duì)9個(gè)子塊分別計(jì)算像素點(diǎn)之間的對(duì)比度，再計(jì)算出像素點(diǎn)的圖像顯著性，所以得到：

(9)

其中，[0,255]為圖像中像素點(diǎn)的灰度值范圍，In表示第n個(gè)像素點(diǎn)的灰度值，fn是圖像中灰度值為In的像素點(diǎn)在目標(biāo)區(qū)域出現(xiàn)的頻率。獲得圖像中每個(gè)子塊圖像的顯著性后，通過(guò)高斯平滑濾波得到該子塊的特征點(diǎn)檢測(cè)閾值Ti為：

(10)

其中，a取經(jīng)驗(yàn)值0.2，b為Ri子塊內(nèi)的所有像素個(gè)數(shù)，I(x,y)為(x,y)位置像素點(diǎn)的灰度值，(x,y)∈Ri。根據(jù)圖像每個(gè)子塊的檢測(cè)閾值Ti得到該子塊的特征點(diǎn)。再通過(guò)連續(xù)域擬合二次函數(shù)來(lái)獲得每個(gè)特征點(diǎn)的位置和尺度，以特征點(diǎn)為中心在其周圍采集θ個(gè)特征圓，建立旋轉(zhuǎn)和尺度歸一化的描述子。

當(dāng)目標(biāo)背景復(fù)雜、發(fā)生非剛性形變時(shí)，跟蹤框內(nèi)采集的特征點(diǎn)容易發(fā)生偏移。偏移的特征點(diǎn)不能準(zhǔn)確地表征跟蹤目標(biāo)，因此為了獲得可靠的特征點(diǎn)，本文提出融合圖像中的顏色特征和紋理特征對(duì)跟蹤框內(nèi)前后幀的描述子進(jìn)行前后向最優(yōu)相似性匹配。首先計(jì)算第t-1幀跟蹤框中特征點(diǎn)描述子與第t幀跟蹤框中特征點(diǎn)描述子之間的相似性；然后通過(guò)距離決策判定后，將超過(guò)偏移閾值的特征點(diǎn)去除，從而得到可靠的特征點(diǎn)集合。

假設(shè)第t幀跟蹤框得到的n2個(gè)特征點(diǎn)描述子集合為Q={qj},j∈1,…,n2，qj表示第j個(gè)局部特征點(diǎn)描述子，第t-1幀跟蹤框得到的n1個(gè)特征點(diǎn)描述子集合為P={pi},i∈1,…,n1，pi表示第i個(gè)局部特征點(diǎn)描述子。為了對(duì)跟蹤框中前后幀描述子進(jìn)行最優(yōu)相似性匹配，首先要獲得跟蹤框中P與Q之間所有描述子的最優(yōu)匹配對(duì)：

OMPi,j(P,Q)=

(11)

其中，NN(pi,Q)為最近鄰匹配距離，在匹配過(guò)程中，計(jì)算出P中第i個(gè)特征點(diǎn)描述子pi與Q之間的最近鄰匹配距離，在Q中得到的最優(yōu)匹配特征點(diǎn)描述子為qj，qj再與P之間進(jìn)行反向最近鄰匹配距離計(jì)算，若qj的最優(yōu)匹配特征點(diǎn)描述子也是pi，則OMP(P,Q)為1，否則為0，NN(pi,Q)=arg mind(pi,qj)。d(pi,qj)是描述子pi與Q之間的匹配距離：

(12)

其中，A表示顏色特征，L表示紋理特征。然后計(jì)算前后幀跟蹤框中P與Q之間的最優(yōu)相似性匹配特征點(diǎn)描述子的期望：

(13)

其中,Γ()為概率分布函數(shù);若pi和qj相互作為彼此最優(yōu)匹配特征點(diǎn)描述子時(shí)，OMPi,j(P,Q)=1，反之為0，由此OMPi,j(P,Q)表示為：

(14)

其中，n=n1+n2,D是通過(guò)描述子距離來(lái)判斷的函數(shù)。若期望大于設(shè)定閾值，則保留匹配的特征點(diǎn)，然后計(jì)算相鄰幀中跟蹤框內(nèi)各匹配的特征點(diǎn)之間的中心距離：

(15)

其中,xi和yi分別表示第t幀跟蹤框中特征點(diǎn)的橫坐標(biāo)和縱坐標(biāo)，x′i和y′i分別表示第t-1幀跟蹤框中特征點(diǎn)的橫坐標(biāo)和縱坐標(biāo)。若結(jié)果中心距離處于設(shè)定度量閾值區(qū)間d±d/5，則保留該特征點(diǎn)，并將其放入可靠特征點(diǎn)集Rt。圖1是對(duì)跟蹤框內(nèi)可靠特征點(diǎn)匹配結(jié)果圖。

Figure 1 Feature points matching results in tracking box圖1 跟蹤框內(nèi)特征點(diǎn)匹配結(jié)果圖

3.2 計(jì)算權(quán)重調(diào)整輸出框

本文將3.1節(jié)獲得的可靠特征點(diǎn)集合Rt經(jīng)過(guò)判別式字典稀疏編碼[16]表示后，分別與CN跟蹤框中心像素點(diǎn)與TLD跟蹤框中心像素點(diǎn)進(jìn)行權(quán)重計(jì)算；再將Rt中每個(gè)特征點(diǎn)得到的權(quán)重由相似性的度量方法[17]得到總的權(quán)重值，由CN跟蹤框的總權(quán)重FCN和TLD跟蹤框的總權(quán)重FTLD求得分配比例系數(shù)ρ；最后經(jīng)過(guò)比例系數(shù)加權(quán)平均調(diào)整輸出框的中心點(diǎn)位置。

為了調(diào)整輸出框，需要在輸出框權(quán)重計(jì)算過(guò)程中劃分跟蹤框內(nèi)特征點(diǎn)的可信度[18]。本文需要計(jì)算出Rt中每一個(gè)特征點(diǎn)與中心像素點(diǎn)的不同權(quán)重，但每一個(gè)特征點(diǎn)與跟蹤框中心像素點(diǎn)之間距離值是不同的，離中心像素點(diǎn)較近的特征點(diǎn)與目標(biāo)更接近，代表其可信度越高，離得遠(yuǎn)的特征點(diǎn)因?yàn)楦咏尘皩?dǎo)致可信度低。所以，本文把特征點(diǎn)與中心像素點(diǎn)的距離作為衡量權(quán)重的依據(jù)，先對(duì)Rt中每一個(gè)特征點(diǎn)用判別式字典進(jìn)行稀疏編碼表示：

(16)

其中，Y=[Y1,Y2,…,Ym]，Yi表示Rt中第i個(gè)特征點(diǎn)，D為編碼因子，bi表示Yi在判別式字典下的編碼系數(shù)矩陣。假設(shè)第i個(gè)特征點(diǎn)與中心像素點(diǎn)的距離為di，則第i個(gè)特征點(diǎn)與跟蹤框之間的權(quán)重wi為：

(17)

再通過(guò)相似性度量方法WAP計(jì)算CN跟蹤框和TLD跟蹤框與Rt中每個(gè)特征點(diǎn)的總權(quán)重值為：

(18)

(19)

Figure 2 Flow chart of TLD-CN algorithm adjustment output box圖2 TLD-CN跟蹤算法調(diào)整輸出框流程圖

3.3 權(quán)重的更新

對(duì)目標(biāo)進(jìn)行長(zhǎng)時(shí)間跟蹤時(shí)，由于每一幀圖像都要計(jì)算跟蹤框的中心像素點(diǎn)與可靠特征點(diǎn)集Rt中每個(gè)特征點(diǎn)的權(quán)重，會(huì)導(dǎo)致算法的實(shí)時(shí)性不佳，因此本文提出一種權(quán)重更新的方法。

(20)

(21)

(22)

3.4 算法流程

(1)初始化目標(biāo)框。

(2)初始化TLD算法檢測(cè)器，根據(jù)3.1節(jié)計(jì)算圖像顯著性，得到BRISK算法選取特征點(diǎn)的閾值，獲得合適的特征點(diǎn)。

(3)跟蹤模塊：再利用3.1節(jié)融合顏色特征和紋理特征，將剩余特征點(diǎn)的描述子進(jìn)行最優(yōu)相似性匹配，由距離決策判定后，得到可靠特征點(diǎn)集合。根據(jù)3.2節(jié)得到CN跟蹤框與TLD跟蹤框的權(quán)重系數(shù)，建立比例關(guān)系分配，加權(quán)調(diào)整最終跟蹤框輸出位置，并將跟蹤框模型放入學(xué)習(xí)模塊。

(4)檢測(cè)器：根據(jù)設(shè)定的矩形框窗口尺度，循環(huán)采樣獲得大量滑動(dòng)矩形框，并將經(jīng)過(guò)三大級(jí)聯(lián)分類器的滑動(dòng)矩形框進(jìn)行相似度scbb和重疊度dbb計(jì)算，最后進(jìn)行聚類得到檢測(cè)器預(yù)測(cè)的矩形框集合。

(5)綜合模塊：調(diào)整后的跟蹤框與檢測(cè)器的預(yù)測(cè)矩形框相互計(jì)算重疊度dbb，選擇更精確的目標(biāo)輸出框。

(6)學(xué)習(xí)模塊：根據(jù)3.3節(jié)更新權(quán)重，調(diào)整輸出框分配權(quán)重比例，通過(guò)P-N在線學(xué)習(xí)機(jī)制對(duì)檢測(cè)器中的目標(biāo)模型進(jìn)行學(xué)習(xí)與更新，提高TLD檢測(cè)器的準(zhǔn)確性。

(7)視頻結(jié)束則退出，反之返回步驟(3)對(duì)下一幀進(jìn)行跟蹤。

圖3給出了本文算法的流程圖。

Figure 3 Flow chart of TLD-CN algorithm圖3 TLD-CN跟蹤算法流程圖

4 實(shí)驗(yàn)結(jié)果

本節(jié)從目標(biāo)跟蹤測(cè)試集網(wǎng)站(http:∥www.visual-tracking.net)上選擇了6個(gè)測(cè)試視頻，如表1所示，共有3 284幀，對(duì)本文算法與 CN跟蹤算法、TLD算法、KCF算法進(jìn)行實(shí)驗(yàn)分析。實(shí)驗(yàn)測(cè)試視頻序列包括背景雜亂、形變、旋轉(zhuǎn)、遮擋、快速運(yùn)動(dòng)等背景環(huán)境。

Table 1 Test video sequences

Figure 4 Accuracy of the test video sequences圖4 測(cè)試視頻的精度

本文實(shí)驗(yàn)環(huán)境的處理器為Intel?i5-4210 2.60 GHz，內(nèi)存為4 GB，對(duì)本文3.3節(jié)中權(quán)重更新參數(shù)取θ=0，Γ=0.05，w-=w+=1，學(xué)習(xí)率取δ=0.4。本文從成功率、精度和幀率FPS3個(gè)方面評(píng)測(cè)上述4種算法，計(jì)算跟蹤算法輸出目標(biāo)框的中心位置與實(shí)際目標(biāo)框的中心位置的歐氏距離得到精確圖，通過(guò)計(jì)算跟蹤算法每幀的包圍框重疊度，將大于給定閾值的幀數(shù)除以總幀數(shù)計(jì)算得到成功率，使用文獻(xiàn)[19]給出的測(cè)試視頻中Ground truth作為實(shí)際目標(biāo)框來(lái)計(jì)算成功率和精度。圖4和圖5分別為本文算法、KCF算法、CN跟蹤算法和TLD算法的實(shí)驗(yàn)精度與實(shí)驗(yàn)成功率。通過(guò)對(duì) 6個(gè)視頻序列的跟蹤，綜合以上3種評(píng)測(cè)標(biāo)準(zhǔn)，可以看出本文算法在中心位置誤差的精度和包含框重疊度的成功率上都優(yōu)于TLD算法。

接下來(lái)通過(guò)本文實(shí)驗(yàn)結(jié)果以及視頻測(cè)試序列部分截圖對(duì)4種不同的跟蹤算法進(jìn)行實(shí)驗(yàn)分析。

4.1 背景雜亂及旋轉(zhuǎn)

在實(shí)驗(yàn)測(cè)試視頻中，本文選擇具有背景雜亂、快速移動(dòng)情景的soccer測(cè)試視頻。從圖5的soccer實(shí)驗(yàn)成功率可以看到，在重疊閾值大于0.2時(shí)，本文算法和CN跟蹤算法成功率比TLD算法成功率高。主要原因是在背景雜亂時(shí)，CN跟蹤算法對(duì)目標(biāo)進(jìn)行顏色特征描述后提高了跟蹤魯棒性，而本文算法在調(diào)整跟蹤框輸出時(shí)，CN跟蹤框所占權(quán)重比例更大，導(dǎo)致本文算法也能有效跟蹤到目標(biāo)。在重疊閾值大于0.4時(shí)，本文算法成功率比CN跟蹤算法成功率高。因?yàn)榭焖僖苿?dòng)影響了CN跟蹤算法對(duì)目標(biāo)顏色特征模型的更新，導(dǎo)致目標(biāo)跟蹤失敗，而本文算法和TLD算法具有在線學(xué)習(xí)機(jī)制，通過(guò)檢測(cè)器篩除融入背景信息過(guò)多的錯(cuò)誤樣本，再對(duì)每一幀的正負(fù)樣本進(jìn)行學(xué)習(xí)訓(xùn)練，使得輸出框?qū)ο乱粠繕?biāo)區(qū)域跟蹤更準(zhǔn)確。圖6a是soccer測(cè)試視頻跟蹤結(jié)果的截圖，從第59幀可以看出，快速運(yùn)動(dòng)使目標(biāo)顏色模型更新受到背景信息的干擾，導(dǎo)致CN跟蹤算法對(duì)目標(biāo)顏色特征的描述變差，影響CN跟蹤框表征目標(biāo)區(qū)域，從而跟蹤框發(fā)生偏移。從第106和第207幀可以看出，目標(biāo)區(qū)域出現(xiàn)背景雜亂時(shí)，TLD算法和KCF算法跟蹤框出現(xiàn)漂移，最后導(dǎo)致跟蹤失敗；CN跟蹤算法由于獲取目標(biāo)顏色特征，提高了跟蹤的魯棒性；本文算法結(jié)合TLD算法和CN跟蹤算法的特點(diǎn)，加權(quán)融合2種算法，在快速運(yùn)動(dòng)后本文算法通過(guò)在線學(xué)習(xí)機(jī)制仍然可以跟蹤到目標(biāo)，在背景雜亂的情況下，本文算法結(jié)合顏色特征對(duì)目標(biāo)進(jìn)行更有效的跟蹤，然后將跟蹤的樣本作為正樣本，放入目標(biāo)學(xué)習(xí)模型中不斷地優(yōu)化算法。

Figure 5 Success rates of test video sequences圖5 測(cè)試視頻的成功率

Figure 6 Background messy and rotating part of the screenshot圖6 背景雜亂及旋轉(zhuǎn)部分截圖

選擇具有背景雜亂、旋轉(zhuǎn)情景的david3和panda測(cè)試視頻。從圖4的david3實(shí)驗(yàn)精度和表2的精度可以看出，TLD算法精度為0.287，主要是目標(biāo)受到遮擋和背景雜亂時(shí)跟蹤框偏移積累后導(dǎo)致跟蹤失敗。圖6b是david3測(cè)試視頻跟蹤結(jié)果的截圖，從第53幀看到TLD算法受到桿子的遮擋導(dǎo)致跟蹤框偏移，之后受到背景的干擾；在第69幀，由于TLD算法把車輛作為一個(gè)正樣本進(jìn)行訓(xùn)練，導(dǎo)致跟蹤失敗。從第144幀看到KCF算法在目標(biāo)旋轉(zhuǎn)時(shí)跟蹤發(fā)生偏移，本文算法和CN跟蹤算法考慮了顏色特征表述目標(biāo)，從而目標(biāo)跟蹤效果更優(yōu)。從圖5的panda實(shí)驗(yàn)成功率和表3的成功率可以看出，CN跟蹤算法和本文算法的成功率比TLD算法和KCF算法的更高，主要是旋轉(zhuǎn)和背景雜亂導(dǎo)致TLD算法和KCF算法跟蹤失敗。圖6c是panda測(cè)試視頻跟蹤結(jié)果的截圖，從第138幀可以看出背景雜亂時(shí)，TLD算法跟蹤框中樹(shù)葉被作為正樣本訓(xùn)練導(dǎo)致跟蹤失??；在第215幀中TLD算法通過(guò)檢測(cè)器的跟蹤失敗恢復(fù)機(jī)制重新找到目標(biāo)區(qū)域；在第155幀目標(biāo)旋轉(zhuǎn)影響KCF算法外觀模型提取HOG特征，從而跟蹤失敗，本文算法和CN跟蹤算法通過(guò)顏色特征模型獲得了更優(yōu)的跟蹤效果。

Table 2 Average center error rate (accuracy)of four different algorithms

Table 3 Average overlap ratio (success rate)of four different algorithms

Figure 7 Screenshot of target deformation, occlusion and fast motion圖7 目標(biāo)形變、遮擋和快速運(yùn)動(dòng)部分截圖

4.2 目標(biāo)形變、遮擋和快速運(yùn)動(dòng)

在實(shí)驗(yàn)測(cè)試視頻中，本文選擇具有遮擋、目標(biāo)形變情況的woman測(cè)試視頻。從圖5的woman實(shí)驗(yàn)成功率得到，在重疊閾值大于0.7時(shí)，本文算法的成功率大于CN跟蹤算法的，主要是目標(biāo)在行走過(guò)程中存在尺度變小的問(wèn)題，而CN跟蹤算法跟蹤框并不能根據(jù)目標(biāo)尺度變化相應(yīng)地改變，從而降低了跟蹤框重疊度，導(dǎo)致成功率變小。本文算法結(jié)合TLD算法中檢測(cè)器通過(guò)循環(huán)尺度采樣矩形框后，再綜合利用矩形框和跟蹤框之間相似度計(jì)算，平滑輸出得到尺度自適應(yīng)變換的跟蹤框。圖7a是woman測(cè)試視頻跟蹤結(jié)果的截圖，從第116和第313幀可以看出，TLD算法在遮擋的時(shí)候跟蹤框持續(xù)漂移，導(dǎo)致目標(biāo)跟蹤失敗。

選擇具有目標(biāo)形變、尺度變換情況的walking測(cè)試視頻。從圖4的walking實(shí)驗(yàn)精度和表2的精度可以看出，CN跟蹤算法精度為0.598，在目標(biāo)形變上CN跟蹤算法加入顏色特征對(duì)目標(biāo)進(jìn)行表述，跟蹤效果更好，但尺度變化上CN 算法跟蹤框偏大，從而降低了跟蹤精度。圖7b是walking測(cè)試視頻跟蹤結(jié)果的截圖，從第125,188,272和399幀可以看出，在目標(biāo)發(fā)生形變后，TLD算法跟蹤框發(fā)生微小漂移，CN跟蹤算法的跟蹤框尺度一直偏大。

選擇具有快速移動(dòng)情況的BlurOwl測(cè)試視頻。從圖5的BlurOwl實(shí)驗(yàn)成功率和表3的成功率可以看出，本文算法成功率為0.742，TLD算法成功率為0.782，CN跟蹤算法成功率為0.623，KCF算法成功率為0.556，主要是快速移動(dòng)產(chǎn)生的邊界效應(yīng)影響了CN跟蹤算法和KCF算法模型的更新，引入了過(guò)多背景信息，最后導(dǎo)致跟蹤失敗。而本文算法根據(jù)檢測(cè)器篩除邊界效應(yīng)得到的負(fù)樣本，根據(jù)在線學(xué)習(xí)機(jī)制對(duì)正負(fù)樣本的每一幀進(jìn)行學(xué)習(xí)訓(xùn)練，使得輸出框?qū)δ繕?biāo)區(qū)域跟蹤更準(zhǔn)確。圖7c是BlurOwl測(cè)試視頻跟蹤結(jié)果的截圖，從第49和58幀可以看出，目標(biāo)上下快速移動(dòng)時(shí)，CN跟蹤算法跟蹤框已經(jīng)跟蹤失敗。從第117和172幀可以看出，目標(biāo)左右快速移動(dòng)時(shí)，CN跟蹤算法和KCF算法的跟蹤框跟蹤失敗，而TLD算法和本文算法可以持續(xù)跟蹤到目標(biāo)。

從表4可知，KCF算法對(duì)高斯核函數(shù)改進(jìn)后，跟蹤的實(shí)時(shí)性最好；CN跟蹤算法在CSK算法上融入顏色特征后，使用主成分分析法降維，跟蹤的精度和實(shí)時(shí)性得到提高；TLD算法采用網(wǎng)格循環(huán)采樣特征點(diǎn)的方法，導(dǎo)致實(shí)時(shí)性較差；本文算法通過(guò)計(jì)算圖像顯著性獲得BRISK算法選取特征點(diǎn)的最佳閾值，從而減少了算法采樣特征點(diǎn)的時(shí)間，同時(shí)本文提出了一種權(quán)重更新的方式，減少了對(duì)特征點(diǎn)的匹配次數(shù)。本文算法在TLD算法基礎(chǔ)上，實(shí)時(shí)性提高了2.15倍，平均幀率達(dá)到46.645 f/s。

Table 4 Average frame ratecomparison of four different algorithms

5 結(jié)束語(yǔ)

本文在TLD算法的基礎(chǔ)上，結(jié)合在目標(biāo)形變、旋轉(zhuǎn)、背景雜亂情景中魯棒性更優(yōu)的CN跟蹤算法，提出了一種融合CN跟蹤算法改進(jìn)的TLD實(shí)時(shí)目標(biāo)跟蹤算法TLD-CN。首先通過(guò)BRISK算法獲得合適的特征點(diǎn)，再對(duì)這些特征點(diǎn)的描述子進(jìn)行前后幀之間的最優(yōu)相似性匹配，從而得到可靠特征點(diǎn)集合，將集合進(jìn)行稀疏編碼后，分別與CN跟蹤器和TLD跟蹤器的中心像素點(diǎn)進(jìn)行相似度的度量，得到相應(yīng)的權(quán)重值，根據(jù)權(quán)重值調(diào)整輸出框的比例關(guān)系，提高了算法的魯棒性。同時(shí)，本文通過(guò)計(jì)算圖像顯著性選取BRISK算法的閾值，對(duì)比于TLD算法使用循環(huán)采樣特征點(diǎn)的方法縮短了計(jì)算周期。實(shí)驗(yàn)結(jié)果表明，本文的TLD-CN跟蹤算法在實(shí)時(shí)性和平均幀率方面優(yōu)于TLD算法。針對(duì)TLD算法在目標(biāo)形變、旋轉(zhuǎn)、背景雜亂情景中容易跟蹤漂移，本文所提出的算法能夠有效解決TLD算法的問(wèn)題。然而，本文算法并沒(méi)有考慮多個(gè)相似目標(biāo)重疊時(shí)導(dǎo)致跟蹤失敗的問(wèn)題，下一步的研究方向是在相似目標(biāo)發(fā)生遮擋場(chǎng)景中提高跟蹤算法的魯棒性。