基于KCF的樣本更新與目標(biāo)重定位方法

吳世宇，李志華，王 威

(河海大學(xué)能源與電氣學(xué)院，江蘇 南京 211100)

0 引 言

視覺(jué)跟蹤在視頻監(jiān)控[1-2]、自動(dòng)駕駛[3-4]、醫(yī)學(xué)研究[5-6]等領(lǐng)域有著廣泛的應(yīng)用，是計(jì)算機(jī)視覺(jué)領(lǐng)域的一項(xiàng)具有挑戰(zhàn)性的任務(wù)。跟蹤的目的是根據(jù)目標(biāo)在首幀中的位置，預(yù)測(cè)出目標(biāo)在后續(xù)視頻序列中的位置。近年來(lái)，涌現(xiàn)出了大量的目標(biāo)跟蹤算法，也取得了顯著的成果，但由于目標(biāo)會(huì)出現(xiàn)嚴(yán)重遮擋、外觀變化明顯以及運(yùn)動(dòng)出視線(xiàn)之外等[7]情況，如何實(shí)現(xiàn)對(duì)目標(biāo)精準(zhǔn)、快速的跟蹤仍是一個(gè)難題。

通常情況下，跟蹤算法可分為生成式跟蹤[8-11]和判別式跟蹤[12-16]。生成式跟蹤使用生成模型對(duì)物體表觀特征進(jìn)行描述，通過(guò)搜索尋找最佳的匹配窗口定位目標(biāo)。生成跟蹤不需要訓(xùn)練大量的數(shù)據(jù)，但是易受背景干擾而產(chǎn)生誤跟蹤現(xiàn)象。判別式跟蹤把視覺(jué)跟蹤看作為分類(lèi)問(wèn)題，通過(guò)對(duì)目標(biāo)和背景的學(xué)習(xí)，將預(yù)測(cè)的區(qū)域作為目標(biāo)所在的位置。在目標(biāo)跟蹤時(shí)，判別式方法可以充分利用背景信息，但是通常需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練來(lái)實(shí)現(xiàn)良好的跟蹤性能。雖然這2類(lèi)跟蹤算法已經(jīng)取得了很大的進(jìn)展，但從有限的訓(xùn)練樣本集中歸納出目標(biāo)的外觀模型仍然是一個(gè)具有挑戰(zhàn)性的任務(wù)。在判別式跟蹤中，相關(guān)濾波[17](Correlation Filter， CF)由于快速的運(yùn)行速度以及定位的精確度在跟蹤領(lǐng)域取得了巨大的成功。Bolme等[18]首次將CF算法應(yīng)用到跟蹤領(lǐng)域，提出了誤差最小平方和濾波器(MOSSE)，每秒可以處理上百幀的圖像序列。Henriques等[19]提出了CSK算法，使用循環(huán)矩陣的結(jié)構(gòu)，通過(guò)增加負(fù)樣本數(shù)來(lái)增強(qiáng)分類(lèi)器的訓(xùn)練。為了進(jìn)一步提高CSK跟蹤器的性能，Danelljan等[20]提出了顏色命名方法(Color Name, CN)，充分應(yīng)用了目標(biāo)的顏色特征。Danelljan等[21]提出的DSST算法分為位置濾波器和尺度濾波器2大部分，其中尺度濾波器可以與其他相關(guān)濾波算法結(jié)合，對(duì)解決目標(biāo)尺度變化有較好表現(xiàn)?；贑SK跟蹤算法，Henriques等[22]提出了KCF算法。為了提高跟蹤算法的精確度和穩(wěn)定性，KCF計(jì)算目標(biāo)的HOG特征而不是原始的像素值而且簡(jiǎn)化了計(jì)算過(guò)程，提高了運(yùn)算效率。Bertinetto等[23]將HOG特征和CN特征進(jìn)行融合，提出了Staple算法，在模糊、光照變化明顯的情況下可以完成有效跟蹤。Danelljan等[24]提出了ECO算法，簡(jiǎn)化訓(xùn)練樣本，解決模型的過(guò)擬合問(wèn)題，在運(yùn)行速率和跟蹤效果上都有很好的表現(xiàn)。Zuo等[25]基于支持向量機(jī)對(duì)相關(guān)濾波算法進(jìn)行改進(jìn)，擴(kuò)大樣本間的差異性從而優(yōu)化了分類(lèi)效果。但在大多數(shù)相關(guān)濾波算法中，并沒(méi)有對(duì)預(yù)測(cè)結(jié)果可信度進(jìn)行判斷，直接作為樣本訓(xùn)練分類(lèi)器。在背景誤判為目標(biāo)的情況下，容易污染訓(xùn)練樣本集，無(wú)法對(duì)目標(biāo)重新定位，導(dǎo)致跟蹤失敗。

針對(duì)樣本污染、目標(biāo)重定位等問(wèn)題，本文對(duì)KCF算法進(jìn)行改進(jìn)，提出一種樣本更新機(jī)制，評(píng)價(jià)跟蹤結(jié)果的可信度，自適應(yīng)地選取樣本對(duì)跟蹤模型進(jìn)行更新。使用Kalman濾波算法估計(jì)目標(biāo)位置，然后評(píng)價(jià)其估計(jì)結(jié)果。若判斷為目標(biāo)丟失時(shí)，使用ORB特征點(diǎn)匹配算法完成對(duì)目標(biāo)的重定位。

1 KCF跟蹤算法

KCF跟蹤算法中，構(gòu)建樣本的循環(huán)矩陣，擴(kuò)充分類(lèi)器的樣本集，結(jié)合循環(huán)矩陣的性質(zhì)，提高跟蹤效率，然后通過(guò)核函數(shù)確定輸出響應(yīng)最大的區(qū)域作為新的目標(biāo)區(qū)域，最后根據(jù)當(dāng)前區(qū)域的信息對(duì)分類(lèi)器進(jìn)行更新，實(shí)現(xiàn)對(duì)目標(biāo)實(shí)時(shí)跟蹤。

1.1 循環(huán)矩陣

正樣本的獲取一直是目標(biāo)跟蹤工作關(guān)注的重點(diǎn)，但是用判別式方法進(jìn)行跟蹤時(shí)，需要給訓(xùn)練器足夠的負(fù)樣本，負(fù)樣本的采樣不足對(duì)跟蹤精確度的提升有著重要影響。在KCF跟蹤算法中，將目標(biāo)作為基礎(chǔ)樣本即正樣本，通過(guò)循環(huán)移位轉(zhuǎn)換獲得足夠多的負(fù)樣本。設(shè)基礎(chǔ)樣本表示為x=[x1,x2,…,xn]T，移位矩陣為P，故一次移位之后的結(jié)果可表示為Px=[xn,x1,x2,…,xn-1]T。循環(huán)矩陣X為：

X=C(x)=(P0x,P1x,P2x，…,Pn-1x)

(1)

循環(huán)矩陣可由離散傅里葉變換進(jìn)行對(duì)角化：

(2)

1.2 分類(lèi)器訓(xùn)練與檢測(cè)

本文使用線(xiàn)性嶺回歸對(duì)樣本進(jìn)行訓(xùn)練。訓(xùn)練的目的是找到函數(shù)f(z)=ωTz，使樣本與其目標(biāo)值的誤差平方和最小，即：

(3)

寫(xiě)成矩陣形式：

(4)

其中，列向量y為樣本標(biāo)簽，λ為保證系統(tǒng)的泛化性能的參數(shù)，列向量ω表示權(quán)重系數(shù)。求公式(4)的閉式解：

ω=(XHX+λI)-1XHy

(5)

其中，I為單位矩陣，XH表示X的共軛轉(zhuǎn)置矩陣。應(yīng)用式(2)對(duì)式(5)進(jìn)行計(jì)算簡(jiǎn)化，可得：

(6)

其中，⊙表示向量間的點(diǎn)積運(yùn)算。該方法在提取圖像特征以及求解一般回歸問(wèn)題上節(jié)約了計(jì)算的成本?？紤]到非線(xiàn)性回歸問(wèn)題，為了獲得更有效的分類(lèi)器，引入核技巧，將線(xiàn)性問(wèn)題映射到非線(xiàn)性空間，非線(xiàn)性回歸函數(shù)可表示為：

(7)

其中，k(z,xi)為核函數(shù)。此時(shí)的權(quán)重系數(shù)列向量為α=[α1,α2,…,αn]T，同樣運(yùn)用式(2)，即循環(huán)矩陣的性質(zhì)，可以快速對(duì)其進(jìn)行求解：

(8)

同樣可以應(yīng)用循環(huán)矩陣的技巧來(lái)加速整個(gè)檢測(cè)過(guò)程。設(shè)在下一幀中相同位置處的圖像塊為z，將其視為基礎(chǔ)矩陣，計(jì)算其響應(yīng)值：

(9)

1.3 尺度自適應(yīng)

在原KCF算法中，沒(méi)有解決跟蹤目標(biāo)尺度上的變化問(wèn)題。使用固定大小的跟蹤框容易產(chǎn)生漂移現(xiàn)象，導(dǎo)致跟蹤精度不夠、跟蹤失敗。為此，將KCF算法與DSST中的尺度濾波器相結(jié)合。

訓(xùn)練階段在目標(biāo)所在位置，按不同尺度截取一系列圖像塊并計(jì)算每一個(gè)圖像塊的HOG特征，計(jì)算圖像塊的響應(yīng)值，得到濾波器模版。檢測(cè)階段則是在預(yù)測(cè)位置處分別計(jì)算不同尺度圖像塊的響應(yīng)值，根據(jù)響應(yīng)的最大值確定目標(biāo)的大小。

2 改進(jìn)的KCF算法

2.1 樣本更新機(jī)制

在長(zhǎng)期目標(biāo)跟蹤中，目標(biāo)可能會(huì)存在遮擋、模糊以及變形等問(wèn)題。通常情況下，相關(guān)濾波算法沒(méi)有對(duì)跟蹤結(jié)果的可靠性進(jìn)行判斷，直接更新跟蹤模型。在這種情況下，由于測(cè)量誤差的不斷積累和傳播，即使是短暫的遮擋，也有可能導(dǎo)致跟蹤目標(biāo)的丟失。因此，評(píng)估跟蹤結(jié)果的可信度非常有必要。針對(duì)以上問(wèn)題，本文提出樣本評(píng)價(jià)與更新機(jī)制。

KCF的跟蹤機(jī)制是選擇響應(yīng)值最大的圖像塊來(lái)確定跟蹤目標(biāo)的位置，但是在目標(biāo)受到遮擋、模糊以及變形等情況影響時(shí)的響應(yīng)值不足以將目標(biāo)和背景區(qū)分開(kāi)來(lái)。尤其是在背景與目標(biāo)相似度較高的情況下，背景處的響應(yīng)大于目標(biāo)處的響應(yīng)，極易造成目標(biāo)跟蹤的丟失，致使跟蹤失敗。

圖1 目標(biāo)有、無(wú)遮擋時(shí)的響應(yīng)圖

如圖1所示，在模糊和遮擋情況下的目標(biāo)樣本響應(yīng)的最大值，與鄰域的響應(yīng)值非常相近。此時(shí)，背景有可能被判斷為前景，并且直接進(jìn)行樣本更新，污染樣本集。因此對(duì)樣本進(jìn)行選擇性的更新是很有必要的。

圖2 可信度評(píng)價(jià)示意圖

如圖2所示，令響應(yīng)的最大值為Pa,b，與其去心鄰域內(nèi)響應(yīng)平均值的比值作為判斷是否進(jìn)行樣本更新的標(biāo)準(zhǔn)，即：

(10)

其中，N=(2n+1)2-1，為Pa,b去心鄰域內(nèi)的響應(yīng)的個(gè)數(shù)。當(dāng)I比值大于某一閾值γ，此時(shí)的預(yù)測(cè)目標(biāo)有較高的可信度。反之，區(qū)分度較弱，可信度較低。只取可信度高的目標(biāo)圖像對(duì)模型進(jìn)行更新。這種更新機(jī)制不僅可以解決訓(xùn)練樣本污染的問(wèn)題，而且可以為目標(biāo)遮擋等情況的發(fā)生提供預(yù)警功能，從而進(jìn)行后續(xù)操作。

2.2 結(jié)合Kalman濾波進(jìn)行跟蹤

狀態(tài)方程：

(11)

觀測(cè)方程：

(12)

其中，Zk為預(yù)測(cè)目標(biāo)位置構(gòu)成的向量，向量Wk-1為過(guò)程噪聲，向量Vk為觀測(cè)噪聲。在跟蹤過(guò)程中，KCF可優(yōu)先在Kalman預(yù)測(cè)的位置處計(jì)算區(qū)域的響應(yīng)值，迅速對(duì)目標(biāo)定位。

2.3 目標(biāo)的重定位

當(dāng)跟蹤結(jié)果的可信度低時(shí)，需要在之后的序列中重新確定目標(biāo)位置。本文使用ORB特征點(diǎn)匹配的方法，對(duì)目標(biāo)進(jìn)行重新定位。

ORB采用FAST算法來(lái)確定特征點(diǎn)的位置。比較候選點(diǎn)與周?chē)c(diǎn)的差值，如果差值大于某一閾值的點(diǎn)對(duì)超過(guò)一定的數(shù)目，則將其視為角點(diǎn)。為了加速特征點(diǎn)的檢測(cè)過(guò)程，如圖3所示，選取候選點(diǎn)P周?chē)?、5、9、13等4個(gè)點(diǎn)中，至少有3個(gè)符合要求，否則不將其作為特征點(diǎn)，不再進(jìn)行其他鄰域點(diǎn)的計(jì)算。

圖3 特征點(diǎn)的選取

ORB的描述子選擇BRIEF算法計(jì)算。將計(jì)算所得的二進(jìn)制串描述子，比較它們的漢明距離進(jìn)行特征點(diǎn)的匹配。相比于其他特征點(diǎn)算法，ORB可以較快地完成特征點(diǎn)之間的匹配。使用ORB特征點(diǎn)對(duì)目標(biāo)進(jìn)行重定位，可以滿(mǎn)足跟蹤的實(shí)時(shí)性要求。

當(dāng)根據(jù)判斷結(jié)果需要重新確定目標(biāo)位置時(shí)，保留當(dāng)前時(shí)刻的目標(biāo)圖像，在之后的圖像序列中，使用ORB特征點(diǎn)進(jìn)行匹配，獲得目標(biāo)在當(dāng)前圖像中的位置信息，完成重新定位。

圖4 使用ORB特征點(diǎn)匹配對(duì)目標(biāo)重新定位

如圖4所示，在跟蹤小女孩時(shí)出現(xiàn)遮擋、模糊等問(wèn)題，故保留前一時(shí)刻的目標(biāo)圖像，在后續(xù)圖像中對(duì)其進(jìn)行匹配，直到匹配成功獲得目標(biāo)的位置信息，確保后續(xù)跟蹤的順利進(jìn)行。

2.4 算法流程

首先，框選出目標(biāo)進(jìn)行初始化，采用KCF-DSST框架，結(jié)合Kalman濾波對(duì)目標(biāo)進(jìn)行跟蹤，根據(jù)圖像塊響應(yīng)的峰值與去心鄰域平均值的比值I，當(dāng)I大于閾值γ時(shí)，采用當(dāng)前位置的圖像目標(biāo)對(duì)樣本集進(jìn)行更新操作，否則保留當(dāng)前位置圖像，在后續(xù)圖像序列中使用ORB特征點(diǎn)匹配算法對(duì)目標(biāo)進(jìn)行重新定位。具體流程如圖5所示。

圖5 算法流程圖

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境與參數(shù)

實(shí)驗(yàn)的環(huán)境為Intel(R) Core(TM) i5-3230M CPU 2.60 GHz 6 GB的Win7 64 bit操作系統(tǒng)，使用Python3.5完成算法的實(shí)現(xiàn)工作。實(shí)驗(yàn)中的比值參數(shù)γ=2.25,其他參數(shù)繼承了原KCF算法里的參數(shù)值。最后使用TB數(shù)據(jù)集[26]對(duì)算法進(jìn)行對(duì)比驗(yàn)證。

3.2 跟蹤性能對(duì)比

在TB數(shù)據(jù)集中選取具有遮擋、模糊、運(yùn)動(dòng)變化明顯等干擾特征的視頻序列，本文使用精確度與成功率對(duì)算法性能進(jìn)行評(píng)估。對(duì)比情況如圖6、圖7所示。

圖6 精確度圖

圖7 成功率圖

由圖6、圖7可知，在如Jogging等存在遮擋的視頻序列中，KCF、KCF-DSST跟蹤算法由于缺少對(duì)跟蹤結(jié)果可靠性的評(píng)價(jià)機(jī)制和重定位方法，所以在目標(biāo)丟失、樣本污染后，無(wú)法進(jìn)行重新定位跟蹤，而本文提出的方法在精確度和成功率上都有著突出的提升。在如MotorRolling等存在背景復(fù)雜、目標(biāo)突變的序列中，也有著較為明顯的改善。在其他視頻序列中，跟蹤性能也有一定的提高。直觀的跟蹤結(jié)果如圖8所示。

…KCF，--KCF-DSST，—本文方法圖8 跟蹤結(jié)果對(duì)比

3.3 跟蹤時(shí)間效率對(duì)比

在實(shí)現(xiàn)有效跟蹤的同時(shí)，跟蹤算法的實(shí)時(shí)性也是跟蹤算法的重要評(píng)價(jià)標(biāo)準(zhǔn)之一。本文在測(cè)試視頻中統(tǒng)計(jì)并對(duì)比了相關(guān)跟蹤算法的時(shí)間效率，即算法平均每秒處理的視頻幀數(shù)，如表1所示。

表1 相關(guān)跟蹤算法運(yùn)行速率

跟蹤算法KCFKCF-DSST本文算法平均速率/(幀數(shù)·s-1)121.7430.327.81

由表1可知，本文提出的算法的運(yùn)行速率達(dá)到了27.81幀/s，雖不及KCF算法上百幀的運(yùn)行速率，但與KCF-DSST算法相差無(wú)幾，可以滿(mǎn)足實(shí)時(shí)性的要求。

4 結(jié)束語(yǔ)

本文使用KCF-DSST框架結(jié)合Kalman濾波對(duì)目標(biāo)位置進(jìn)行預(yù)測(cè)，提出目標(biāo)樣本更新機(jī)制，目標(biāo)發(fā)生遮擋、模糊等強(qiáng)干擾時(shí)，跟蹤結(jié)果可信度較低，當(dāng)前目標(biāo)不加入訓(xùn)練樣本進(jìn)行模型更新，保留前一時(shí)刻的可信度高的圖像，提取角點(diǎn)并計(jì)算描述子，在后續(xù)序列中通過(guò)特征點(diǎn)的匹配操作，定位出目標(biāo)當(dāng)前位置，重新進(jìn)行跟蹤。本文算法相比于原KCF算法在運(yùn)行速度上有所降低，但在跟蹤性能上都有一定的提升，在遮擋、模糊等情況下改進(jìn)明顯，可以滿(mǎn)足跟蹤實(shí)時(shí)性的要求。但在運(yùn)動(dòng)位置突變、場(chǎng)景變化迅速、高速運(yùn)動(dòng)等情況下，跟蹤精確度和成功率還有很大的提升空間。在優(yōu)化跟蹤性能的同時(shí)，如何提高算法的運(yùn)行速率也將是今后研究工作的重點(diǎn)之一。