多特征融合且抗遮擋的長時目標(biāo)跟蹤算法

吳 濤，袁 亮

(新疆大學(xué) 機械工程學(xué)院，新疆 烏魯木齊 830047)

0 引 言

目標(biāo)跟蹤是計算機視覺領(lǐng)域的一個熱點研究方向，涉及到目標(biāo)特征提取、目標(biāo)狀態(tài)信息分析、目標(biāo)運動信息的檢測和識別等多種技術(shù)[1-4]。

其中基于相關(guān)濾波的目標(biāo)跟蹤算法以其優(yōu)越的跟蹤速度和跟蹤效率，近些年得到廣大研究者的關(guān)注。Bolme等在目標(biāo)跟蹤中運用了相關(guān)理論，設(shè)計出一個最小誤差輸出平方和濾波器(MOSSE)，通過提取圖像灰度特征進行跟蹤。Henriques等[5]提出核循環(huán)結(jié)構(gòu)(CSK)跟蹤算法，對相鄰幀在頻域上進行點乘操作，減少了運算量。之后，Henriques等[6]對CSK做了進一步改進引入多通道特征，提出了核相關(guān)濾波跟蹤(KCF)算法，用梯度方向直方圖(HOG)特征代替了灰度特征，使跟蹤精度得以提高。針對尺度變換的問題，Danelljan等[7]提出判別尺度空間(DSST)跟蹤算法，通過二維位置濾波器和一維尺度濾波器來實現(xiàn)尺度的自適應(yīng)變換。Ma等[8]提出長時跟蹤(LCT)算法，訓(xùn)練了隨機蕨類重檢測器，在長時跟蹤上取得一定效果。研究發(fā)現(xiàn)，在遇到目標(biāo)被遮擋、復(fù)雜背景、長時間跟蹤時，這些基于傳統(tǒng)相關(guān)濾波的算法所產(chǎn)生的誤差會隨著時間積累的越來越大，最終導(dǎo)致跟蹤失效。

本文針對以上問題，提出一種融合特征的抗遮擋、長時間跟蹤算法。該算法在DSST算法的基礎(chǔ)上，在特征提取階段融入顏色特征，提高了濾波器在復(fù)雜背景情況下的跟蹤精度和魯棒性。通過計算跟蹤目標(biāo)的置信度和樣本響應(yīng)值波動水平來判斷目標(biāo)的遮擋情況，在確認(rèn)目標(biāo)丟失之后觸發(fā)隨機蕨分類檢測器進行重新檢測、定位目標(biāo)。同時，當(dāng)樣本響應(yīng)值異常時，停止模板更新。

1 判別尺度空間(DSST)算法

在DSST算法中設(shè)計了兩個相關(guān)濾波器,分別為位置濾波器和尺度濾波器,通過二者來實現(xiàn)目標(biāo)的跟蹤和尺度變換。且兩個濾波器是相互獨立的,在特征提取階段可選擇不同的特征進行融合,其中的尺度估計方法也可和不具備尺度估計的跟蹤算法相結(jié)合。

1.1 位置相關(guān)濾波器

位置估計的方法基于MOSSE跟蹤方法,通過學(xué)習(xí)和訓(xùn)練得到一個位置相關(guān)濾波器,用此濾波器來確定目標(biāo)下一幀的位置。MOSSE跟蹤算法的思想是構(gòu)造一個濾波器模板h， 讓該模板h與輸入圖像目標(biāo)區(qū)域f做卷積運算如式(1)所示

g=f*h

(1)

用頻域點乘來代替時域上的卷積運算，并運用快速傅里葉變換的方法提高運算的速度，計算方法如式(2)所示

(2)

DSST算法選擇由灰度和HOG特征共同組成的多維特征l{1,…,d} 作為輸入樣本f, 相對于MOSSE算法增加的HOG特征能使DSST算法更好地適應(yīng)復(fù)雜場景的跟蹤。通過相關(guān)濾波運算之后得到對應(yīng)的濾波器響應(yīng)輸出 {g1,g2,…,gt}, 在時間t時得到最優(yōu)的濾波器ht, 且ht滿足最小均方誤差和

(3)

式中：f有d維,fl為其中的第l維,l的取值范圍為 {1,…,d}，λ為正則項(為避免式子解的分母為0，故引入?yún)?shù)λ來消除輸入樣本頻譜中的零頻分量)，當(dāng)訓(xùn)練樣本只有一個時，對Hl進行求解得

(4)

對上式中A、B分別進行迭代更新得

(5)

(6)

式中：η代表學(xué)習(xí)率,對下一幀圖像樣本Z有響應(yīng)值

(7)

最大響應(yīng)值ymax的位置即為估計位置。

1.2 尺度相關(guān)濾波器

用于尺度估計的濾波器的設(shè)計是DSST算法中的亮點,算法中利用位置濾波器得到預(yù)測的目標(biāo)二維位置信息,以所預(yù)測的位置為中心,選取33個梯度尺度的候選區(qū)域,再采用一維的尺度相關(guān)濾波器搜索最優(yōu)尺度區(qū)域,即為目標(biāo)的尺度估計結(jié)果。

選取梯度候選區(qū)域塊大小的依據(jù)為

(8)

式中：q和r分別代表上一幀中目標(biāo)框的寬度和高度；s表示各不相同的尺度個數(shù)；a為尺度因子。

2 改進算法

2.1 融合顏色空間特征

目標(biāo)特征的選取環(huán)節(jié)特別重要，會直接影響到跟蹤效果的好壞[9]。DSST算法所選的目標(biāo)特征為單一HOG特征，HOG特征常用來描述形狀和邊緣，對平移、光照變化和旋轉(zhuǎn)具有一定不變性，在捕捉樣本區(qū)域的局部形狀信息時表現(xiàn)較好。但在背景中存在多噪聲時，目標(biāo)區(qū)域的梯度特征不再明顯，HOG特征的描述能力減弱,此時容易造成目標(biāo)丟失。針對這一弊端，本文在特征提取中融合顏色(CN)特征來解決。

顏色空間特征(CN)把RGB圖像的三維顏色映射為11通道的CN顏色特征,能更好描述目標(biāo)的顏色信息,具備較強的目標(biāo)分辨能力,對目標(biāo)形變、漂移具有較好的魯棒性，能提高跟蹤算法在復(fù)雜背景下的目標(biāo)跟蹤性能。

當(dāng)多個特征進行融合時,可看成樣本中多個通道信息被整合到一個向量中x=(x1,x2,…,xc)， 本文提取的HOG和CN的特征向量分別記為：phog、pcn， 根據(jù)相關(guān)濾波的多通道特性將兩種特征向量相結(jié)合，得到如下公式

P=λ1phog+λ2pcn

(9)

式中：λ1、λ2代表兩個特征向量相融合的系數(shù)，由經(jīng)驗可得二者參數(shù)均為0.5。則P=[P1,P2,…Pn] 即為最終得到的融合特征向量。

2.2 目標(biāo)遮擋檢測

在實際目標(biāo)跟蹤應(yīng)用中,目標(biāo)容易受到遮擋物遮擋跟丟,或是受到長時間的誤差積累以及復(fù)雜背景的影響而丟失跟蹤目標(biāo)。本文算法對跟蹤目標(biāo)的狀態(tài)做檢測和判斷,當(dāng)確定目標(biāo)丟失后,停止繼續(xù)跟蹤和模板的更新,然后利用重檢測器對目標(biāo)的位置和尺度進行重新估計。

當(dāng)目標(biāo)被遮擋時一般分為3種情況：輕微遮擋、嚴(yán)重遮擋、完全遮擋。當(dāng)目標(biāo)受到輕微遮擋,可正常跟蹤并進行模型更新,當(dāng)目標(biāo)被嚴(yán)重遮擋甚至丟失,此時停止模板更新并啟動重檢測器。傳統(tǒng)算法中用最大響應(yīng)值Fmax來判斷跟蹤狀態(tài),當(dāng)Fmax大于一定閾值的時候即認(rèn)為跟蹤正常。但是如果目標(biāo)被相似物遮擋產(chǎn)生跟蹤漂移,此時的響應(yīng)值依然很高,所以這一判據(jù)不可靠。針對這一問題,需要一種簡單準(zhǔn)確的目標(biāo)遮擋檢測機制來做出判斷。

文中引入平均峰值相關(guān)能量APCE[10],該指標(biāo)可用于分析響應(yīng)圖的峰值情況和波動程度,其公式為

(10)

式中：Fmax、Fmin分別表示響應(yīng)圖的最大、最小值；FW,H中的W表示響應(yīng)圖的寬度；H表示響應(yīng)圖的高度；mean[·] 表示取平均運算。

APCE值反映了響應(yīng)圖的峰值與各點響應(yīng)值的關(guān)系,當(dāng)出現(xiàn)遮擋、模糊、丟失等情況時,響應(yīng)圖會發(fā)生波動。響應(yīng)峰值越突出,起伏越小,對應(yīng)的APCE值就越大。當(dāng)目標(biāo)被遮擋或跟蹤異常時,響應(yīng)圖峰值變低波動變大，APCE值大幅減小。因此,分析響應(yīng)圖的波動計算APCE值可以有效反映跟蹤置信度,為判斷遮擋程度提供了有力依據(jù)。

確認(rèn)目標(biāo)被遮擋之后,啟用隨機蕨分類器進行檢測。隨機蕨分類器常用于對多種目標(biāo)進行分類識別,在用于視頻目標(biāo)檢測時可分為兩類,一類為要檢測的目標(biāo),另一類為圖像背景,進而計算兩者在隨機蕨中的似然概率分布。隨機蕨分類器是在樸素貝葉斯分類器的基礎(chǔ)上發(fā)展來的,由貝葉斯分類器的思想可知,分類器的訓(xùn)練過程就是把樣本特征映射到樣本類別的過程。定義具有類別屬性的大量樣本Dm=(fm,cm),m=1,2,…,M, 其中M代表樣本數(shù)量,f代表樣本特征值,一般為N維向量,表示為

f=(f1,f2,…,fN)

(11)

設(shè)C為樣本的類別,類別數(shù)量用K表示為

C∈{c1，c2，…，cK}

(12)

分類器H表示為:f→C。

隨機蕨分類器也可稱作半樸素貝葉斯(Semi-NaiveBayes)分類器,半樸素貝葉斯分類器是從貝葉斯分類器演變過來的。根據(jù)其思想,即從由特征組成的集合中隨機抽取l組大小相同的特征子集合,任一子集都代表一個隨機蕨,設(shè)每個子集中都包含s個特征,則有

Fl={fl，1，fl，2，…,fl,s}

(13)

假設(shè)每個隨機蕨都是屬性條件獨立的,則全部特征的聯(lián)合似然估計為

(14)

對應(yīng)的隨機蕨分類器即為

(15)

由式(15)可知,隨機蕨是通過隨機蕨分類器隨機提取多個特征所組成,因此可選擇多個隨機蕨進行聯(lián)合近似計算。

2.3 模板更新策略

傳統(tǒng)相關(guān)濾波算法中,模型的更新策略為

(16)

式(16)對模型前后幀進行線性插值,ai和X分別表示下一幀樣本模型的參數(shù)和模板,ai-1和Xpre分別表示前一幀樣本模型的參數(shù)和模板,Xn是由當(dāng)前樣本區(qū)域訓(xùn)練得到的值,α表示插值因子(模型更新率),傳統(tǒng)相關(guān)濾波算法中模型更新率是固定值。當(dāng)α取值過小時,針對快速運動的目標(biāo)難以及時更新參數(shù),當(dāng)α取值過大時,導(dǎo)致模型更新過快記憶過多背景區(qū)域信息,兩種情況都會造成跟蹤效果差甚至跟蹤失敗,所以α的大小選取對跟蹤的性能有著顯著影響。

本文引入APCE參數(shù),選用樣本區(qū)域最大響應(yīng)值Fmax和APCE值分別與文中定義閾值T1、T2作比較,當(dāng)Fmax大于T1和APCE值大于T2時,更新濾波器模型,否則停止更新。

(17)

當(dāng)u≥8時,模板更新率α取較大的值0.04；當(dāng)3≤u≥8時,模板更新率α取適中值0.025；當(dāng)u<3時,模板更新率α取較小值0.01。通過對模板更新率進行分段設(shè)定,可增強算法在遮擋、尺度變換等復(fù)雜場景下的穩(wěn)定性。

改進的算法步驟如下：

(1)初始化圖像,對目標(biāo)區(qū)域第一幀循環(huán)采樣得到樣本集合；

(2)提取目標(biāo)區(qū)域塊中的HOG和CN特征,并由式(9)得到融合特征H, 對特征向量訓(xùn)練得到濾波器模型；

(3)計算置信度指標(biāo)Fmax、APCE和當(dāng)前目標(biāo)響應(yīng)值f, 進行遮擋判斷；

(4)若遮擋,則停止模板更新,啟動檢測機制；

(5)未遮擋情況下,通過幀差法計算模板更新率,進行模板更新。

3 實驗結(jié)果與分析

3.1 實驗環(huán)境與參數(shù)

本文采用Matlab R2018a作為開發(fā)平臺,在Intel(R) Core(TM) i5-4460CPU,主頻3.20 GHz,內(nèi)存8 GB配置的計算機上進行實驗驗證。選擇CSK[5]、KCF[6]、DSST[7]、LCT[8]共4種算法與本文算法作對比。本文算法除模板更新率設(shè)置3個階段值0.04、0.025、0.01外,其余參數(shù)與DSST算法參數(shù)保持一致,其它算法均保持原參數(shù)設(shè)置不變。

3.2 實驗數(shù)據(jù)集與評估準(zhǔn)則

為驗證本文算法的可行性,采用OTB100[11]和UAV123[12]數(shù)據(jù)集作為實驗數(shù)據(jù),其中UAV123數(shù)據(jù)集里只選取50個長度在1000幀以上的圖像序列用于評測算法的長時性能。在實驗中采用中心誤差和覆蓋率兩種評估指標(biāo)來衡量。

(1)平均中心誤差就是真實標(biāo)定的中心位置與跟蹤結(jié)果之間的平均歐式距離,平均中心誤差越小,算法的跟蹤精度就越高,體現(xiàn)了算法跟蹤的精確程度

(18)

式中： (xt,yt) 和 (xe,ye) 分別代表圖像序列中目標(biāo)和被測試算法所跟蹤目標(biāo)的中心位置。

(2)覆蓋率體現(xiàn)了跟蹤結(jié)果中的目標(biāo)區(qū)域與真實目標(biāo)的重合度的情況,覆蓋率越大,說明算法跟蹤的成功率越高

(19)

式中：re和rt分別代表被測試算法和真實標(biāo)注的目標(biāo)邊界框,S的值越大就表示成功率越高,反之就就越低。

3.3 定量分析

一次通過性評估OPE(one-pass evaluation)是跟蹤算法常用的評估標(biāo)準(zhǔn),但是不同起始幀初始化對跟蹤算法的性能有影響,所以本文引入時間魯棒性TRE(temporal robustness evaluation)準(zhǔn)則來分析在不同起始幀初始化時跟蹤算法的魯棒性。圖1為5種算法在OTB100測試數(shù)據(jù)集上進行TRE的測試結(jié)果。

由圖1可看出Ours與其它算法相比排在第一位,跟蹤性能更好。在圖1(a)的精度評估中，Ours與LCT基本持平，在跟蹤成功率上相比LCT跟蹤算法提高了6.7%。

圖1 OTB100跟蹤TRE評估曲線

為評測本文算法的長時跟蹤性能,從UAV123數(shù)據(jù)集中選取50個幀數(shù)在1000以上的圖像序列進行實驗驗證。如圖2所示是5種跟蹤算法在TRE下的跟蹤精度和成功率的評測結(jié)果。從中可以看出Ours算法的性能排在第一位,相比LCT跟蹤算法在跟蹤精度上提高了6.7%，在成功率上提高了17%。

圖2 UAV123跟蹤TRE評估曲線

表1內(nèi)容為5種算法在OTB100上的運行速度,雖然Ours相比DSST增加了計算量,但其35.6 fps/s的速度仍可以滿足實時跟蹤的要求。

表1 5種跟蹤算法運行速度對比

3.4 定性分析

為了更好體現(xiàn)改進算法在遮擋情況下的跟蹤效果,對5種算法在圖像序列上進行測試,6個圖像序列上的實際跟蹤結(jié)果對比分析如圖3所示,圖像序列的參數(shù)見表2。

表2 實驗圖像序列特點

在圖3(a)jogging1圖像序列中跟蹤目標(biāo)為左側(cè)行人,可以看到在58幀時,各跟蹤器都表現(xiàn)較好,然后開始進入電線桿的遮擋區(qū)域,到74幀時目標(biāo)被完全遮擋,78幀時目標(biāo)再次出現(xiàn),此時Ours和LCT跟蹤算法啟動了目標(biāo)檢測器,在80幀時再次檢測到目標(biāo),而DSST、KCF、CSK這3種算法則完全跟丟。

在圖3(b)liquor圖像序列中,在第510幀和734幀時目標(biāo)分別被向右和向左移動的相似物遮擋時,CSK和DSST算法跟蹤到遮擋物導(dǎo)致跟蹤失敗,在873幀時向右移動目標(biāo)路過相似物時,LCT和KCF跟蹤模板發(fā)生漂移也相繼跟丟目標(biāo),到881幀可清晰看到只有Ours成功跟蹤目標(biāo)。

圖3 5種算法的跟蹤結(jié)果

在圖3(c)Gym圖像序列中跟蹤目標(biāo)是體操運動員,在開始幀到19幀時,目標(biāo)運動幅度小,5種算法都能成功跟蹤。在545幀附近時,目標(biāo)運動幅度逐漸增大,KCF、CSK、DSST跟蹤器開始出現(xiàn)偏差,到第767幀時可明顯看出KCF、CSK跟蹤器完全跟蹤失敗,DSST跟蹤器跟蹤效果較差,只有Ours和LCT跟蹤器還能成功跟蹤目標(biāo)。由此可看出Ours跟蹤算法融合了CN特征之后在跟蹤目標(biāo)發(fā)生形變的情況下具備良好的跟蹤性能。

在圖3(d)Tiger2圖像序列中玩具獅子為跟蹤目標(biāo),此圖像序列具備著遮擋、快速運動、形變、旋轉(zhuǎn)等多種屬性,由圖中可以看出從初始幀到第113幀時,只有Ours能完好跟蹤目標(biāo),LCT也出現(xiàn)了偏差,KCF、CSK和DSST完全跟丟。在356幀時目標(biāo)受到遮擋,到363幀時遮擋結(jié)束,此時LCT跟蹤器也跟蹤失敗,只有Ours能成功跟蹤目標(biāo)。從中可看出本文算法進行特征融合的效果,在復(fù)雜場景下依然能保持較好的跟蹤性能。

圖3(e)、圖3(f)均為長時跟蹤序列,在圖3(e)中第949幀時目標(biāo)被完全遮擋,在974幀時目標(biāo)部分脫離遮擋區(qū)域,Ours成功檢測到目標(biāo)并成功跟蹤。在圖3(f)中從389幀目標(biāo)開始轉(zhuǎn)向并開始跳躍翻轉(zhuǎn),在此過程中4種算法陸續(xù)跟蹤失敗,到419幀時只剩下Ours能保持跟蹤。

4 結(jié)束語

為了使傳統(tǒng)相關(guān)濾波能更好適應(yīng)遮擋和長時下的跟蹤,本文提出了一種特征融合結(jié)合目標(biāo)檢測的抗遮擋長時跟蹤算法。在DSST算法基礎(chǔ)上融合CN顏色特征,提高了位置濾波器的預(yù)測精確度,同時結(jié)合尺度濾波器實現(xiàn)了自適應(yīng)尺度跟蹤。針對遮擋等復(fù)雜場景下的跟蹤失敗情況,引入APCE進行目標(biāo)遮擋程度的判斷,確認(rèn)受到遮擋之后停止模板更新,啟動隨機蕨分類器檢測目標(biāo),重新獲取目標(biāo)位置,實現(xiàn)抗遮擋長時跟蹤。實驗結(jié)果表明,融合顏色特征使得該算法在目標(biāo)形變和復(fù)雜場景下具備較好的跟蹤性能,檢測器使改進算法在抗遮擋和長時跟蹤上取得了較好的效果,跟蹤精度和魯棒性相比其它幾種經(jīng)典算法均有提高。