基于上下文感知的自適應(yīng)目標(biāo)跟蹤算法

萬(wàn)文明,路 紅,秦彬鑫,邱 春

(南京工程學(xué)院自動(dòng)化學(xué)院, 江蘇 南京 211167)

隨著信息技術(shù)和視覺技術(shù)的不斷發(fā)展,運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤得到廣泛應(yīng)用[1]:在社會(huì)管理上,用于車輛交通監(jiān)控系統(tǒng)、人流量檢測(cè)等;在生活中,用于人臉、指紋識(shí)別等;在軍事領(lǐng)域中,用于精密定位、軍事偵察等[2-4].運(yùn)動(dòng)目標(biāo)跟蹤在這些領(lǐng)域都已經(jīng)取得了很大的成就,但是依舊存在許多困難沒有被解決[5].

目標(biāo)識(shí)別和跟蹤即在圖像集的第一幀中確定所要跟蹤的目標(biāo),在之后的每一幀中都能動(dòng)態(tài)跟蹤到所需要識(shí)別的目標(biāo),并能將識(shí)別對(duì)象框出來[6].一個(gè)優(yōu)秀的目標(biāo)跟蹤算法應(yīng)具有較高的魯棒性、適用性和實(shí)時(shí)性,能夠很好地跟蹤到目標(biāo)的運(yùn)動(dòng)軌跡.

基于相關(guān)濾波器的目標(biāo)跟蹤(discriminative scale space tracking,DSST)算法得到快速發(fā)展[7].文獻(xiàn)[8]提出采用單通道灰度特征的最小輸出平方和誤差(minimum output sum of squared error filter,MOSSE)算法;文獻(xiàn)[9]在MOSSE算法基礎(chǔ)上引入循環(huán)矩陣和核的概念,提出基于核循環(huán)結(jié)構(gòu)跟蹤(exploiting the circulant structure of tracking-by-detection with kernels,CSK)算法,將單通道轉(zhuǎn)化為多通道,采用方向梯度直方圖(histogram of oriented gradients,HOG)特征,提出核相關(guān)濾波器(kernelized correlation filters, KCF)目標(biāo)跟蹤算法,提高了跟蹤精度和實(shí)時(shí)性;文獻(xiàn)[10]提出聯(lián)合全局上下文(context aware correlation filter tracking,CACF)算法進(jìn)行背景訓(xùn)練.

本文提出一種基于上下文感知的自適應(yīng)目標(biāo)跟蹤算法,提高尺度自適應(yīng)的能力,能夠更好地在復(fù)雜環(huán)境下跟蹤目標(biāo),主要技術(shù)思路:1) 在濾波器訓(xùn)練時(shí),將目標(biāo)運(yùn)動(dòng)方向上的背景信息作為先驗(yàn)信息,對(duì)運(yùn)動(dòng)狀態(tài)上的目標(biāo)樣本訓(xùn)練時(shí)降低非運(yùn)動(dòng)方向上背景樣本的權(quán)重,增加運(yùn)動(dòng)方向上背景樣本的權(quán)重,增強(qiáng)上下文的作用;2) 融合目標(biāo)跟蹤算法到CACF中,設(shè)計(jì)一個(gè)提取訓(xùn)練集的模塊,根據(jù)上一幀圖像確定的目標(biāo)尺度大小,實(shí)現(xiàn)目標(biāo)尺度自適應(yīng);3) 在模型進(jìn)行更新時(shí)引入平均峰值相關(guān)能量(average peak correlation energy,APCE)作為遮擋判據(jù)指標(biāo),當(dāng)響應(yīng)峰值和APCE數(shù)值同時(shí)滿足條件時(shí),再進(jìn)行目標(biāo)模型更新,防止在跟蹤結(jié)果不準(zhǔn)的情況下更新模型.

1 CACF和DSST算法原理

CACF算法是一種對(duì)背景訓(xùn)練的相關(guān)濾波算法,把選取目標(biāo)的背景區(qū)域加入到濾波器中進(jìn)行背景模板訓(xùn)練.該算法不但充分利用了背景信息,而且不影響跟蹤的其他性能,解決了搜索區(qū)域和余弦窗的限制.CACF算法在傳統(tǒng)相關(guān)濾波算法目標(biāo)函數(shù)的基礎(chǔ)上增加了一個(gè)背景懲罰項(xiàng),使要訓(xùn)練的模板和背景在進(jìn)行相關(guān)運(yùn)算時(shí)響應(yīng)盡量小,并且使新的目標(biāo)函數(shù)能夠求得封閉解,解決了傳統(tǒng)相關(guān)濾波在模板學(xué)習(xí)時(shí)無(wú)法學(xué)習(xí)到太多背景信息、跟蹤目標(biāo)受到復(fù)雜背景環(huán)境干擾時(shí)容易導(dǎo)致目標(biāo)跟丟的問題.

DSST算法提出一種三維尺度相關(guān)濾波器.利用位置濾波器確定跟蹤目標(biāo)的位置,利用尺度濾波器得到最大響應(yīng)值的尺度,調(diào)整跟蹤框的比例,實(shí)現(xiàn)尺度自適應(yīng).該算法的優(yōu)勢(shì)是能方便地將尺度估計(jì)與其他算法相結(jié)合.

2 自適應(yīng)上下文感知的目標(biāo)跟蹤

2.1 算法整體流程

本文基于上下文感知的自適應(yīng)目標(biāo)跟蹤算法的整體流程為:選擇跟蹤目標(biāo),確定候選區(qū),提取HOG特征;利用卡爾曼濾波器估計(jì)目標(biāo)運(yùn)動(dòng),預(yù)測(cè)下一幀位置;在濾波器訓(xùn)練時(shí),將目標(biāo)運(yùn)動(dòng)方向上的背景信息作為先驗(yàn)信息,在對(duì)目標(biāo)運(yùn)動(dòng)方向上的目標(biāo)樣本進(jìn)行訓(xùn)練時(shí)降低非運(yùn)動(dòng)方向上背景樣本的權(quán)重,增加運(yùn)動(dòng)方向上背景樣本的權(quán)重;以上一幀確定的目標(biāo)位置為中心,通過計(jì)算得到最大響應(yīng)值,當(dāng)前幀的目標(biāo)尺度就是響應(yīng)值對(duì)應(yīng)的尺度;通過平均峰值相關(guān)能量對(duì)模型進(jìn)行遮擋判別,確定目標(biāo)的位置和尺度.

2.2 圖像預(yù)處理

通過循環(huán)位移產(chǎn)生更多的樣本,在目標(biāo)上下左右各采集一個(gè)上下文區(qū)域,將中間的A0標(biāo)記為正樣本,將附近的Ai標(biāo)記為負(fù)樣本,充分利用背景信息,以便于更好區(qū)分跟蹤目標(biāo)與背景信息.

CACF算法通過循環(huán)位移構(gòu)建卡爾曼濾波器的訓(xùn)練樣本集和相對(duì)應(yīng)的標(biāo)簽.構(gòu)建訓(xùn)練器的最小代價(jià)函數(shù)為:

(1)

式中:y為回歸標(biāo)簽,表示高斯分布的矢量化圖像;λ1為正則化權(quán)重參數(shù),防止過擬合;w為訓(xùn)練的相關(guān)濾波器.

2.3 濾波器訓(xùn)練

對(duì)視頻序列每一幀中的目標(biāo)圖像a0∈Rn進(jìn)行硬陰性采樣策略,即對(duì)跟蹤目標(biāo)周圍添加k個(gè)上下文片段ai∈Rn,所構(gòu)成的循環(huán)矩陣分別記為A0∈Rn×n和Ai∈Rn×n.這些樣本包含了諸多干擾元素的背景環(huán)境.聯(lián)合全局上下文跟蹤器的目的是使它對(duì)目標(biāo)有很高的響應(yīng).目標(biāo)訓(xùn)練得到一個(gè)濾波器w∈Rn,對(duì)上下文局部塊的響應(yīng)很小或者接近于0.將上下文作為正則化項(xiàng)添加到式(1)中,得到:

(2)

式中,λ1和λ2為正則化參數(shù),λ1防止過擬合,λ2用于控制響應(yīng)為0的上下文圖像塊.

計(jì)算出最大響應(yīng)值,確定目標(biāo)位置.利用循環(huán)矩陣的對(duì)角化性質(zhì),轉(zhuǎn)化到傅里葉域中得到w的閉式解:

(3)

式中:a0為循環(huán)矩陣B的第一行;ai為循環(huán)矩陣B的第i行,i從1開始; ^ 表示傅里葉變換;*表示共軛;k為選取背景區(qū)域的數(shù)量,本文選取4塊背景區(qū)域樣本.

2.4 尺度選擇與更新

特征尺度估計(jì)的目的是為了得到最佳尺度相關(guān)濾波器,通過最小二乘法求解濾波器:

(4)

式中:λ為正則化參數(shù),防止過擬合;g為響應(yīng)輸出;l為特征維數(shù);h為尺度濾波器；f為當(dāng)前幀的特征圖.

將式(4)轉(zhuǎn)換成在傅里葉域:

(5)

2.5 模型更新

為了獲得更好的跟蹤效果,減小跟蹤過程中的誤差累積,濾波器的更新模型為:

(6)

式中,η表示學(xué)習(xí)率.

在新的一幀中,尺度濾波器的響應(yīng)求解公式為:

(7)

在目標(biāo)定位時(shí),通過相關(guān)計(jì)算得到的最大值就是目標(biāo)的當(dāng)前幀位置:

(8)

在模型更新時(shí),利用遮擋判據(jù)APCE[11]對(duì)模型執(zhí)行更新:

(9)

式中:Lmax為響應(yīng)峰值;Lmin為響應(yīng)谷值;Lm,n為在位置(m,n)的響應(yīng)值.

APCE判據(jù)反映出響應(yīng)圖的振蕩程度,結(jié)合平均峰值相關(guān)能量與相應(yīng)峰值對(duì)模型進(jìn)行遮擋判別.

3 試驗(yàn)結(jié)果分析

本文試驗(yàn)的電腦配置為3.5 GHz CPU PC,Windows 10操作系統(tǒng);運(yùn)用Matlab R2019a軟件進(jìn)行仿真試驗(yàn).為驗(yàn)證本文算法的魯棒性,選取的視頻集為OTB100,選取的算法為CSK、DCF _ CA、KCF、SAMF[12]、MOSSE_CA、DSST算法.通過多個(gè)算法的對(duì)比試驗(yàn)來驗(yàn)證本文算法的跟蹤情況.本文算法的參數(shù)為: 正則化系數(shù)λ1=10-4,λ2=25,λ3=5,學(xué)習(xí)率η=0.015,搜索框padding=2,γ1=0.5,γ2=0.35.

3.1 定量對(duì)比和分析

圖 1 和圖2分別為7種跟蹤算法在數(shù)據(jù)集OTB100上的成功率曲線和精確率曲線.由圖1和圖2可見,本文算法成功率和精確率高于其他算法,分別為0.714和0.784.

圖1 7種跟蹤算法成功率圖

圖2 7種跟蹤算法精準(zhǔn)率圖

圖3為本文算法其他屬性的跟蹤性能,包括快速移動(dòng)、背景雜波、運(yùn)動(dòng)模糊、變形、光照變化、平面內(nèi)旋轉(zhuǎn)、低分辨率、遮擋、平面外旋轉(zhuǎn)視線之外、尺度變化等性能.通過多種跟蹤性能進(jìn)行比較,能夠更好體現(xiàn)本文算法的跟蹤能力.

(a) 尺度變化成功率圖

根據(jù)試驗(yàn)結(jié)果,本文算法除了平面內(nèi)外旋轉(zhuǎn)的精準(zhǔn)率和成功率低于SAMF算法,其他屬性的跟蹤性能總體上都優(yōu)于另外6種算法,特別在尺度變化、遮擋和背景雜波有較大的提升,充分體現(xiàn)了本文算法的魯棒性.

3.2 定性對(duì)比和分析

選取多個(gè)不同環(huán)境下的視頻序列進(jìn)行對(duì)比,圖4為隨機(jī)選取的視頻序列,其包含多種不同屬性特征.

(a) Car 1

在Car1視頻序列中,目標(biāo)大小出現(xiàn)改變,從初始幀到第10幀所有算法都能夠很好地跟蹤目標(biāo)小車;到第300幀時(shí),部分算法開始產(chǎn)生偏移,核相關(guān)濾波和上下文感知算法雖然能夠追蹤到目標(biāo),但無(wú)法做到尺度自適應(yīng),本文算法能夠做到尺度自適應(yīng);到第762幀時(shí),核相關(guān)濾波和上下文感知算法開始有所偏移,把周圍環(huán)境也當(dāng)成跟蹤目標(biāo)的一部分,導(dǎo)致跟蹤框開始偏移,無(wú)法完全跟蹤目標(biāo),而本文算法達(dá)到自適應(yīng)并且能夠持續(xù)地跟蹤目標(biāo).

在Skter2視頻序列中,目標(biāo)出現(xiàn)快速移動(dòng)、形變、扭轉(zhuǎn)等情況.在第10幀時(shí)部分算法已經(jīng)不能很好地追蹤目標(biāo),開始出現(xiàn)偏移;到第357幀時(shí),跟蹤目標(biāo)出現(xiàn)旋轉(zhuǎn),部分算法漂移嚴(yán)重或只能跟蹤到目標(biāo)的一部分;到第405幀時(shí),跟蹤目標(biāo)產(chǎn)生形變和扭轉(zhuǎn),部分算法已經(jīng)不能跟蹤到目標(biāo),本文算法跟蹤效果最好.

在Matrix視頻序列中,在跟蹤目標(biāo)過程中出現(xiàn)了光照,扭轉(zhuǎn)等情況.在第10幀時(shí),所有算法都能夠跟蹤目標(biāo);在第52幀時(shí),目標(biāo)快速移動(dòng),除本文算法外,其他算法無(wú)法跟蹤到目標(biāo);在第88幀時(shí),受光照等背景的影響,本文算法依然可以很好地跟蹤目標(biāo),部分算法已經(jīng)偏移嚴(yán)重.通過對(duì)比,充分證明了本文算法具有較高的魯棒性.

在Tiger2視頻序列中,在跟蹤目標(biāo)過程中出現(xiàn)了遮擋、扭轉(zhuǎn)、形變等情況.從初始幀到第10幀,所有算法都可以良好地跟蹤;到第279幀時(shí),跟蹤目標(biāo)出現(xiàn)了扭轉(zhuǎn)和遮擋,本文算法和KCF算法能夠良好地跟蹤,部分算法出現(xiàn)跟蹤失敗,產(chǎn)生偏移;在第355幀時(shí),目標(biāo)出現(xiàn)遮擋情況,對(duì)比算法或多或少都產(chǎn)生了偏移,本文算法能夠持續(xù)跟蹤.

4 結(jié)語(yǔ)

本文提出一種基于上下文感知的自適應(yīng)目標(biāo)跟蹤算法,在訓(xùn)練濾波器時(shí)通過降低非運(yùn)動(dòng)方向上背景樣板的權(quán)重、增加運(yùn)動(dòng)方向上背景樣本的權(quán)重提高了相關(guān)濾波器的魯棒性.在CACF算法中融合DSST算法,提高算法的定位精度和尺度自適應(yīng)能力.通過引入APCE對(duì)模型進(jìn)行遮擋判別,解決了目標(biāo)遮擋的問題.試驗(yàn)結(jié)果表明,本文算法跟蹤目標(biāo)的成功率和精確率分別為 0.714和0.784,能夠在復(fù)雜環(huán)境下更好地跟蹤目標(biāo).