基于樣本可靠性的時(shí)空正則化自適應(yīng)相關(guān)濾波目標(biāo)跟蹤

陳中意,陶 洋

(重慶郵電大學(xué) 通信與信息工程學(xué)院,重慶 400065)

1 引 言

目標(biāo)跟蹤是計(jì)算機(jī)視覺領(lǐng)域中一個(gè)基礎(chǔ)性問題,在無人駕駛、人機(jī)交互、視頻監(jiān)控等領(lǐng)域具有廣泛的應(yīng)用[1].目標(biāo)跟蹤的任務(wù)是通過給定第1幀的初始化邊界框來估計(jì)目標(biāo)物在下一幀的邊界框[2].一般來說,影響目標(biāo)跟蹤性能的問題有很多,如快速運(yùn)動(dòng)、旋轉(zhuǎn)、物體遮擋、光照變化以及圖像分辨率低等挑戰(zhàn).近十幾年來,目標(biāo)跟蹤算法的研究不斷深入,出現(xiàn)了大量優(yōu)秀的算法,目標(biāo)跟蹤的性能得到了顯著的提升,面臨的困難也得到了進(jìn)一步的解決,但實(shí)現(xiàn)一種在復(fù)雜場(chǎng)景下跟蹤準(zhǔn)確、快速和穩(wěn)健的目標(biāo)跟蹤算法依然是一項(xiàng)艱巨的任務(wù)[3].

基于相關(guān)濾波的目標(biāo)跟蹤算法借助循環(huán)矩陣和頻域計(jì)算與傳統(tǒng)方法相比,其性能更好、速度更快,得到廣泛應(yīng)用.但循環(huán)位移會(huì)導(dǎo)致邊界效應(yīng),引入背景雜波而導(dǎo)致模型學(xué)習(xí)到錯(cuò)誤樣本降低模型的準(zhǔn)確性.在2010年,Bolme[4]等提出了平方誤差最小輸出相關(guān)濾波器(MOSSE),MOSSE相關(guān)濾波器首次將相關(guān)濾波引入到目標(biāo)跟蹤領(lǐng)域,在各大主流數(shù)據(jù)集上表現(xiàn)優(yōu)秀,研究基于相關(guān)濾波的目標(biāo)跟蹤算法的潮流開始興起.Henriques[5]等提出了循環(huán)核相關(guān)濾波算法(CSK),該算法是基于MOSSE進(jìn)行改進(jìn)的,引入核函數(shù)和循環(huán)密集采樣提高目標(biāo)跟蹤算法的穩(wěn)健性,但CSK利用的僅是樣本的灰度特征,對(duì)目標(biāo)的外觀特征表達(dá)能力較弱.Danelljan[6]等提出了核相關(guān)濾波算法(KCF),為增強(qiáng)跟蹤模型的目標(biāo)特征表達(dá)能力,使用具有31個(gè)通道的方向梯度直方圖(HOG)特征替代原來單一通道的灰度特征.為緩解邊界效應(yīng),Danelljan[7]等提出了一種基于空間正則項(xiàng)的相關(guān)濾波目標(biāo)跟蹤(SRDCF)算法,該算法引入空間權(quán)重矩陣對(duì)濾波器進(jìn)行抑制,對(duì)遠(yuǎn)離目標(biāo)中心的特征抑制較強(qiáng),能較好的解決邊界效應(yīng)問題,但引入空間權(quán)重矩陣以后,目標(biāo)函數(shù)的封閉解被破壞,跟蹤速度只能達(dá)到4 frame/s,同時(shí)其預(yù)設(shè)的是固定的負(fù)高斯形狀的空間權(quán)重矩陣,在快速運(yùn)動(dòng)、遮擋等場(chǎng)景下,無法自適應(yīng)目標(biāo)的變化,導(dǎo)致跟蹤漂移.Galoogahi等人[8]提出了基于背景感知的相關(guān)濾波跟蹤(BACF)算法,為獲取真實(shí)的負(fù)樣本,對(duì)其搜索的范圍進(jìn)行擴(kuò)張,同時(shí)對(duì)樣本進(jìn)行循環(huán)位移采樣,增加樣本數(shù)量,提高了模型對(duì)于背景和目標(biāo)的辨別能力.但較大的搜索范圍會(huì)引入較多的背景雜波,容易造成跟蹤漂移.Huang等人[9]在BACF的基礎(chǔ)上提出了基于異常響應(yīng)抑制的相關(guān)濾波(ARCF)跟蹤算法,其利用前后兩幀響應(yīng)圖的全局變化情況檢測(cè)跟蹤過程中的異常情況,避免濾波器錯(cuò)誤學(xué)習(xí)過多的背景信息,能有效的解決邊界效應(yīng)以及抑制畸變.Li等人[10]以SRDCF為基礎(chǔ),提出了基于時(shí)空正則化的相關(guān)濾波目標(biāo)跟蹤(STRCF)算法,將前后兩幀濾波器的信息充分利用,避免跟蹤模型發(fā)生退化.但時(shí)間正則項(xiàng)的超參數(shù)是一個(gè)固定值,在跟蹤的過程中對(duì)時(shí)間正則項(xiàng)的懲罰力度固定,在發(fā)生相似背景干擾的時(shí)候無法自適應(yīng)增強(qiáng)對(duì)時(shí)間正則項(xiàng)的約束,容易導(dǎo)致跟蹤漂移.

以上方法雖然在一定程度上減輕了邊界效應(yīng)對(duì)目標(biāo)跟蹤的影響,但還是存在諸多問題.本文在STRCF算法的基礎(chǔ)上提出一種基于樣本可靠性的時(shí)空正則化自適應(yīng)相關(guān)濾波目標(biāo)跟蹤算法,該算法通過樣本可靠性構(gòu)建空間參考權(quán)重矩陣,利用自適應(yīng)空間正則項(xiàng)緩解邊界效應(yīng),同時(shí)使用前后兩幀響應(yīng)圖的全局變化程度確定時(shí)間正則項(xiàng)的超參數(shù),適應(yīng)復(fù)雜背景防止模型發(fā)生突變,緩解跟蹤漂移.

2 時(shí)空正則化相關(guān)濾波算法

基于相關(guān)濾波的跟蹤算法借鑒了信號(hào)處理當(dāng)中互相關(guān)的思想[11],提出了模板匹配的跟蹤方法,其將目標(biāo)與搜索區(qū)域進(jìn)行相關(guān)性匹配,其中匹配度最高的區(qū)域即為目標(biāo)預(yù)測(cè)結(jié)果.

基于時(shí)空正則化相關(guān)濾波(STRCF)目標(biāo)跟蹤算法以相關(guān)濾波理論為基礎(chǔ),提取目標(biāo)的多維特征,通過循環(huán)位移矩陣增加樣本數(shù)量,采用嶺回歸的思想訓(xùn)練相關(guān)濾波器,引入了空間正則項(xiàng)與時(shí)間正則項(xiàng),能夠有效降低邊界效應(yīng)的影響,提升基于相關(guān)濾波目標(biāo)跟蹤算法的性能與魯棒性.STRCF算法的目標(biāo)函數(shù)如下:

(1)

由STRCF算法的目標(biāo)函數(shù)可知,其在目標(biāo)函數(shù)中引入了固定的空間權(quán)重矩陣,減少了邊界效應(yīng)的影響.但在目標(biāo)形變、遮擋、旋轉(zhuǎn)等場(chǎng)景下,空間權(quán)重矩陣不能自適應(yīng)目標(biāo)的外觀變化,無法獲取可信任的空間權(quán)重矩陣,容易導(dǎo)致跟蹤漂移.空間權(quán)重矩陣應(yīng)是動(dòng)態(tài)的,與目標(biāo)的變化建立相關(guān)的聯(lián)系,使得濾波器可較好避免學(xué)習(xí)到背景信息,提升模型對(duì)目標(biāo)和背景的辨別能力.STRCF算法為防止濾波器突變,引入了時(shí)間正則項(xiàng).其固定的時(shí)間正則項(xiàng)超參數(shù),使得對(duì)每一幀的濾波器進(jìn)行了相同的抑制,在一定程度上避免了濾波器的突變,但無法適應(yīng)一些復(fù)雜的目標(biāo)跟蹤場(chǎng)景.

3 本文算法

3.1 空間可靠性

在STRCF算法中引入空間正則項(xiàng)在一定程度上減輕了邊界效應(yīng)對(duì)目標(biāo)跟蹤模型的影響,但在跟蹤的過程中其空間權(quán)重矩陣是固定的,空間權(quán)重矩陣未與目標(biāo)物建立聯(lián)系,對(duì)于不同場(chǎng)景下的目標(biāo)懲罰約束力度相同不免會(huì)懲罰有效樣本,在后續(xù)目標(biāo)跟蹤過程中無法自適應(yīng)更新.故本文提出基于樣本可靠性的自適應(yīng)空間正則項(xiàng),建立與目標(biāo)之間的聯(lián)系.

本文利用前后兩幀響應(yīng)圖的局部變化作為空間參考權(quán)重矩陣,當(dāng)前后兩幀響應(yīng)圖的局部變化較激烈時(shí),該部分的可靠性較低,對(duì)不可靠部分執(zhí)行較高的約束,反之亦然.其空間參考權(quán)重矩陣wr定義為:

(2)

公式中:Rt[ψΔ]為當(dāng)前樣本生成的響應(yīng)圖,Rt-1為上一幀樣本生成的響應(yīng)圖.η為學(xué)習(xí)率,設(shè)置為1000;wr-1為上一幀的空間權(quán)重矩陣,w初始化為STRCF算法中固定的空間權(quán)重矩陣,即為負(fù)高斯形狀的空間權(quán)重矩陣.

3.2 自適應(yīng)時(shí)間正則化

STRCF算法中的時(shí)間正則項(xiàng)的超參數(shù)是固定的,無法自適應(yīng)復(fù)雜的跟蹤場(chǎng)景,當(dāng)目標(biāo)物由于快速運(yùn)動(dòng)、遮擋、形變、旋轉(zhuǎn)等因數(shù)造成目標(biāo)發(fā)生外觀變化,模型因魯棒性較差易導(dǎo)致跟蹤漂移.故提出自適應(yīng)時(shí)間正則項(xiàng),根據(jù)前后兩幀的異常情況獲取時(shí)間正則項(xiàng)超參數(shù)的參考值,在跟蹤的過程中利用時(shí)間正則項(xiàng)超參數(shù)的參考值調(diào)整時(shí)間正則項(xiàng)對(duì)模型的約束程度,提高模型的魯棒性,對(duì)快速運(yùn)動(dòng)、遮擋、形變、旋轉(zhuǎn)等場(chǎng)景下的目標(biāo)跟蹤性能有較大的提高.其參考值設(shè)置如下:

(3)

公式中:Rt[ψΔ]為當(dāng)前樣本生成的響應(yīng)圖,Rt-1為上一幀樣本生成的響應(yīng)圖.在目標(biāo)物的外觀模型前后兩幀變化不明顯時(shí),相應(yīng)的響應(yīng)圖較為相似,參考值ur較大,使得時(shí)間正則項(xiàng)對(duì)模型的約束能力較強(qiáng),能較好的避免模型發(fā)生突變.相反的,在目標(biāo)物的外觀模型前后兩幀變化較明顯時(shí),如遮擋、目標(biāo)形變或旋轉(zhuǎn)、背景雜波等富有挑戰(zhàn)性的場(chǎng)景,前后兩幀的響應(yīng)圖相似程度較低,參考值ur較小,使得時(shí)間正則項(xiàng)對(duì)模型的約束能力較弱,目標(biāo)跟蹤模型需發(fā)生較大的變化以適應(yīng)后續(xù)的復(fù)雜場(chǎng)景.為合理使用時(shí)間正則項(xiàng)對(duì)模型的約束能力,參數(shù)α、β分別設(shè)置為10、10.本文設(shè)置參考值ur對(duì)于時(shí)間正則項(xiàng)的超參數(shù)具有一定的指導(dǎo)意義,提高模型對(duì)復(fù)雜場(chǎng)景的適應(yīng)能力.

3.3 目標(biāo)函數(shù)及優(yōu)化

本文以STRCF為基準(zhǔn)算法,引入了基于樣本可靠性的自適應(yīng)時(shí)空正則項(xiàng),其目標(biāo)函數(shù)定義如式(4)所示:

(4)

為求解公式(4),可使用交替方法乘子法(ADMM)[12]進(jìn)行迭代求解,加快求解效率,提升本文目標(biāo)跟蹤算法的運(yùn)行速度.引入輔助變量g=f,可將式(4)寫出增廣拉格朗日公式,即:

(5)

(6)

采用ADMM可將式(6)分解為4個(gè)子問題,其表達(dá)式為:

(7)

(8)

(9)

mi+1=mi+fi+1-gi+1

(10)

對(duì)上述4個(gè)子問題分別進(jìn)行求解得最優(yōu)值.

1)子問題f

子問題f計(jì)算復(fù)雜度較高,根據(jù)帕塞瓦爾定理[13]將式(7)從時(shí)域轉(zhuǎn)換到頻域,可顯著降低算法復(fù)雜度,公式(7)轉(zhuǎn)換后如下:

(11)

(12)

(13)

由于公式(13)中矩陣求逆耗時(shí)長,根據(jù)Sherman-Morrsion 公式[14]可得:

(14)

2)子問題g

對(duì)于公式(8)未存在相關(guān)性計(jì)算,因此不必引入離散傅里葉變換,可直接在時(shí)域進(jìn)行求解,對(duì)公式(8)求導(dǎo)可得:

gi+1=(WTW+γI)-1γ(ft+mt)

(15)

式中,W=diag(w)∈RT×T為空間權(quán)重矩陣w的對(duì)角矩陣,推導(dǎo)可得w·h=Wh.

3)子問題w

子問題w的求解與子問題g類似,可直接在時(shí)域上對(duì)公式(9)進(jìn)行求導(dǎo),可得:

(16)

式中,G=diag(g)∈RT×T為輔助矩陣g的對(duì)角矩陣,推導(dǎo)可得g·w=Gw.

4)更新懲罰參數(shù)γ

懲罰參數(shù)γ的更新公式如下:

γi+1=min(γmax,ργ(i))

(17)

式中,γmax為γ的最大值,ρ為γ為的固定參數(shù).

3.4 算法流程

本文算法將空間可靠性與自適應(yīng)時(shí)間正則化融入到STRCF算法中實(shí)現(xiàn)目標(biāo)跟蹤,其流程如下:

1)第1幀初始化:根據(jù)視頻序列初始第1幀的目標(biāo)框,在目標(biāo)區(qū)域提取目標(biāo)的灰度、顏色屬性(CN)和方向梯度直方圖(HOG)特征,建立特征模型.以負(fù)高斯模型作為本文算法的空間參考權(quán)重矩陣進(jìn)行初始化,自適應(yīng)時(shí)間正則項(xiàng)超參數(shù)初始化為8,進(jìn)而初始化位置濾波器和尺度濾波器.

2)目標(biāo)定位及尺度估計(jì):在下一幀輸入時(shí),在目標(biāo)搜索區(qū)域內(nèi)提取不同尺度的目標(biāo)特征并與位置濾波器和尺度濾波器進(jìn)行相關(guān)性計(jì)算,得到相應(yīng)的響應(yīng)圖,獲得目標(biāo)的位置與尺度.

3)參數(shù)更新及模型訓(xùn)練:通過公式(2)更新空間參考權(quán)重矩陣,通過公式(3)更新時(shí)間正則項(xiàng)超參數(shù),在最后根據(jù)公式(14)可對(duì)位置濾波器進(jìn)行訓(xùn)練.

4)模型更新:采用STRCF算法中的固定更新速率對(duì)位置濾波器和尺度濾波器進(jìn)行更新,以適應(yīng)跟蹤環(huán)境的多樣性和復(fù)雜性.

5)循環(huán)跟蹤:若視頻序列未結(jié)束,則執(zhí)行步驟2);若視頻序列結(jié)束,則算法結(jié)束.

4 實(shí)驗(yàn)與結(jié)果分析

4.1 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

為驗(yàn)證本文算法的有效性,本文使用MATLAB R2019b軟件以及MatConvNet工具箱在Windows操作系統(tǒng)下編程實(shí)現(xiàn).其實(shí)驗(yàn)硬件平臺(tái)的CPU為Intel i5-9400F,運(yùn)行內(nèi)存為32G.本文算法的基準(zhǔn)算法為STRCF,尺度估計(jì)階段,本文利用DSST[15]算法中的 33 個(gè)尺度的圖像金字塔與尺度相關(guān)濾波器確定目標(biāo)尺度信息,尺度個(gè)數(shù)為33,尺度因子為1.01.由于本文算法引入自適應(yīng)空間正則項(xiàng),其自適應(yīng)空間正則項(xiàng)權(quán)重參數(shù)a設(shè)置為10.其余參數(shù)設(shè)置與STRCF相同.本文選用近幾年優(yōu)秀算法在OTB-2013[16]、OTB-2015[17]數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)和質(zhì)量評(píng)估,以凸顯本文算法的魯棒性和優(yōu)越性,選用的對(duì)比算法有KCF[6]、DSST[15]、SRDCF[7]、BACF[8]、STRCF[10]、ARCF[9]和AutoTracker[18].

4.2 數(shù)據(jù)集和評(píng)估標(biāo)準(zhǔn)

OTB數(shù)據(jù)集是目標(biāo)跟蹤領(lǐng)域主流的測(cè)試數(shù)據(jù)集,其包含常用跟蹤場(chǎng)景下收集的100個(gè)視頻序列,將視頻序列一幀一幀分割成圖片的形式,其共58897幀圖片.覆蓋了現(xiàn)實(shí)中常見的跟蹤場(chǎng)景,如低分辨率、光照變化、平面外旋轉(zhuǎn)、出視野、尺度變化、形變、遮擋、快速運(yùn)動(dòng)、運(yùn)動(dòng)模糊、平面內(nèi)旋轉(zhuǎn)以及背景雜亂共11種跟蹤挑戰(zhàn),滿足本文的對(duì)比試驗(yàn)需求.OTB2013數(shù)據(jù)集是從OTB數(shù)據(jù)集中選取了更具有挑戰(zhàn)性的51個(gè)視頻序列,大部分視頻序列為灰度序列.OTB2015數(shù)據(jù)集是OTB2013數(shù)據(jù)集的擴(kuò)展,具有100個(gè)視頻序列,更能全面的評(píng)估算法的整體性能.在對(duì)比實(shí)驗(yàn)中,比較重要的兩個(gè)指標(biāo)是:成功率(SR)與距離精度(DP),采用一次通過評(píng)估標(biāo)準(zhǔn)(OPE).成功率(SR)表示為跟蹤序列中標(biāo)注目標(biāo)框和跟蹤目標(biāo)框重疊得分大于給定閾值(td=20pixel)的幀數(shù)占比,能有效評(píng)估跟蹤算法的位置與尺度的精度.距離精度(DP)為跟蹤序列中目標(biāo)中心定位誤差小于給定閾值(t0=0.5)的幀數(shù)占比,能有效評(píng)估跟蹤算法的目標(biāo)定位精度.

4.3 定量分析

為檢驗(yàn)本文目標(biāo)跟蹤算法的跟蹤性能,選取了近幾年優(yōu)秀的基于相關(guān)濾波的目標(biāo)跟蹤算法在數(shù)據(jù)集OTB-2013與OTB-2015進(jìn)行了對(duì)比實(shí)驗(yàn),包含KCF、DSST、SRDCF、BACF、STRCF、ARCF和AutoTracker.圖1展示了8種對(duì)比算法在OTB-2013數(shù)據(jù)集上的距離精度和成功率.圖2展示了8種對(duì)比算法在OTB-2015數(shù)據(jù)集上的距離精度和成功率.由結(jié)果可知本文算法在數(shù)據(jù)集OTB-2013與OTB-2015上的表現(xiàn)相對(duì)于近幾年的優(yōu)秀算法都是較優(yōu)的.本文算法在數(shù)據(jù)集OTB-2013的距離精度和成功率分別達(dá)到了87.9%和68.1%,相對(duì)于基準(zhǔn)算法STRCF,其距離精度和成功率分別提升了1.2%和1.8%.同時(shí)本文算法在在數(shù)據(jù)集OTB-2015也取得了不錯(cuò)的表現(xiàn),其距離精度和成功率分別達(dá)到了86.8%和66.4%,相對(duì)于基準(zhǔn)算法STRCF,其距離精度和成功率分別提升了1.5%和1.9%.實(shí)驗(yàn)結(jié)果表明,本文算法根據(jù)圖像的可靠性對(duì)空間正則項(xiàng)進(jìn)行自適應(yīng)更新,及時(shí)適應(yīng)目標(biāo)形變或遮擋情況,同時(shí)根據(jù)前后兩幀的相應(yīng)圖的變化情況對(duì)時(shí)間正則項(xiàng)的超參數(shù)進(jìn)行自適應(yīng)的跟蹤,減少模型漂移對(duì)性能的影響,提升了目標(biāo)跟蹤算法的性能.

圖1 OTB-2013數(shù)據(jù)集上的距離精度和成功率Fig.1 Distance accuracy and success rate on OTB-2013 dataset

圖2 OTB-2015數(shù)據(jù)集上的距離精度和成功率Fig.2 Distance accuracy and success rate on OTB-2015 dataset

由于本文算法借助頻域計(jì)算與ADMM算法極大的降低了本文算法目標(biāo)函數(shù)的求解過程,但相對(duì)基準(zhǔn)算法STRCF的求解,其增加了子問題W的求解以及相關(guān)參考值的計(jì)算,額外增加求解的難度,故在跟蹤速度方面相對(duì)于STRCF較慢,但與同類型解決邊界效應(yīng)的SRDCF相比較,其跟蹤速度較快.如表1所示為本文算法與DSST、SRDCF、BACF、STRCF、ARCF和AutoTracker在OTB-2015數(shù)據(jù)集上的平均跟蹤速度對(duì)比情況,本文算法在數(shù)據(jù)集OTB-2015上的平均跟蹤速度為23.6 frame/s,相對(duì)于STRCF僅下降了4.7 frame/s.

表1 7種算法在數(shù)據(jù)集OTB-2015上的平均跟蹤速度對(duì)比Table 1 Comparison of tracking speed of seven algorithms on data set OTB-2015

本文算法相對(duì)于STRCF的成功率在數(shù)據(jù)集OTB-2015提升僅僅只有1.5%,但本文算法在STRCF的基礎(chǔ)上加入了自適應(yīng)時(shí)空正則項(xiàng)機(jī)制,在遮擋、形變、出視野和旋轉(zhuǎn)等復(fù)雜場(chǎng)景下相對(duì)于STRCF具有不錯(cuò)的性能提升.如圖3所示為本文算法與7種對(duì)比算法在數(shù)據(jù)集OTB-2015中遮擋、形變、出視野和旋轉(zhuǎn)4種屬性場(chǎng)景下的成功率曲線圖.由實(shí)驗(yàn)結(jié)果可知:本文算法在遮擋、形變、出視野和旋轉(zhuǎn)屬性的視頻序列上均表現(xiàn)良好,優(yōu)于其他7種對(duì)比算法.本文算法在遮擋、形變、出視野和旋轉(zhuǎn)屬性的視頻序列上的成功率分別為64.1%、64.2%、62.5%和64.2%,相對(duì)于STRCF分別提升了6.5%、6.3%、5.6%和3.9%.在形變和旋轉(zhuǎn)屬性場(chǎng)景下,目標(biāo)會(huì)發(fā)生顯著的外觀變化,固定的空間權(quán)重矩陣無法自適應(yīng)目標(biāo)輪廓變化,使得濾波器學(xué)習(xí)到錯(cuò)誤的樣本信息以及無法充分利用正確樣本信息,本文引入基于樣本可靠性的自適應(yīng)空間正則項(xiàng),可根據(jù)目標(biāo)外觀變化自適應(yīng)調(diào)節(jié)空間權(quán)重矩陣,提高模型在形變和旋轉(zhuǎn)等屬性場(chǎng)景下跟蹤性能.在遮擋和出視野屬性場(chǎng)景下,目標(biāo)的部分有用信息丟失,容易造成跟蹤漂移現(xiàn)象,本文算法利用前后兩幀響應(yīng)圖的變化情況得到時(shí)間正則項(xiàng)超參數(shù),對(duì)不同幀采用不同程度的時(shí)間正則項(xiàng)約束,避免濾波器發(fā)生突變,有效控制濾波器的更新,克服遮擋、出視野等場(chǎng)景對(duì)模型的干擾,提升跟蹤算法的性能.

圖3 OTB-2015數(shù)據(jù)集中遮擋、形變、出視野和旋轉(zhuǎn)屬性視頻序列上的成功率Fig.3 Success rate of occlusion、 deformation、out of view and rotation attribute video sequences in OTB-2015 dataset

4.4 定性分析

為更加直觀的分析評(píng)估本文算法的跟蹤性能,本文利用本文算法與6種對(duì)比算法(DSST、BACF、STRCF、SRDCF、AutoTrack、ARCF)在數(shù)據(jù)集OTB-2015的4個(gè)具有挑戰(zhàn)性屬性的視頻序列(Board、DragonBaby、Girl2、Shaking)進(jìn)行定性分析.跟蹤結(jié)果如圖4所示,本文通過不同灰度和虛實(shí)線型的選框標(biāo)識(shí)出各算法當(dāng)前序列所跟蹤到的目標(biāo)位置.這4種不同屬性的視頻序列幾乎包含了全部挑戰(zhàn).

圖4 7種算法在4個(gè)視頻序列上的跟蹤結(jié)果Fig.4 Tracking results of seven algorithms on four video sequences

Board視頻序列具有出視野、運(yùn)動(dòng)模糊、快速運(yùn)動(dòng)等屬性.由圖4(a)可知:在第103幀之前,所以算法均能較好的跟蹤上目標(biāo),在第261～371幀之間發(fā)現(xiàn)了較大了尺度變化,DSST、AutoTrack和ARCF算法無法適應(yīng)其較大的尺度變化,導(dǎo)致跟蹤變大,將學(xué)習(xí)到過多的背景信息,后續(xù)模型的跟蹤精度降低.在第585幀時(shí),目標(biāo)發(fā)生了運(yùn)動(dòng)模糊,導(dǎo)致目標(biāo)外觀劇烈變化,DSST、SRDCF、AutoTrack和ARCF算法無法準(zhǔn)確的提前目標(biāo)特征,從而導(dǎo)致跟蹤漂移.到第669幀時(shí),由于誤差累計(jì)和跟蹤漂移,DSST、SRDCF、AutoTrack和ARCF算法已經(jīng)跟蹤不上目標(biāo),只有本文算法、BACF和STRCF跟蹤到目標(biāo),背景感知和空間正則項(xiàng)可以較好的處理出視野與運(yùn)動(dòng)模糊等問題.

DragonBaby視頻序列具有旋轉(zhuǎn)、遮擋、快速運(yùn)動(dòng)等屬性.由圖4(b)可知:由于快速運(yùn)動(dòng),從第34幀開始,DSST、SRDCF和BACF算法開始出現(xiàn)跟蹤漂移問題,其余算法由于引入了時(shí)間正則項(xiàng)或異常抑制機(jī)制,能較好的減少跟蹤漂移.在第51幀時(shí),只有本文算法和AutoTrack算法較好的跟蹤到了目標(biāo),其余算法都未跟蹤上目標(biāo),由此可見自適應(yīng)時(shí)間正則項(xiàng)可較好的克服目標(biāo)模糊、旋轉(zhuǎn)、快速運(yùn)行等挑戰(zhàn)性問題.在第68～79幀時(shí),目標(biāo)發(fā)生了遮擋問題,本文算法依然可以較好的跟蹤到目標(biāo),本文利用樣本可靠性學(xué)習(xí)到了可靠的空間權(quán)重矩陣參考值,有效了避免了學(xué)習(xí)到錯(cuò)誤的樣本信息,避免由于目標(biāo)遮擋發(fā)生漂移或跟丟現(xiàn)象.在第113幀時(shí),DSST、SRDCF和BACF由于跟蹤漂移誤差累計(jì)不能跟蹤上目標(biāo),而本文算法依然可以穩(wěn)定跟上目標(biāo).

Girl2視頻序列具有目標(biāo)變形、遮擋、運(yùn)動(dòng)模糊等屬性.由圖4(c)可知:在第110幀時(shí),目標(biāo)發(fā)生了完全遮擋,樣本可靠性較低,導(dǎo)致所有算法無法跟蹤到正確的目標(biāo),而是跟蹤到了遮擋物.在第202幀時(shí),遮擋物離開視野范圍,跟蹤框停留在原地.在第344幀時(shí),本文算法與STRCF算法重新跟蹤上目標(biāo)物,這是由于目標(biāo)走進(jìn)了目標(biāo)搜索范圍,濾波器在搜索范圍內(nèi)找到了響應(yīng)最大值處.在第950～1050幀之間,鏡頭開始向目標(biāo)物拉近,發(fā)生了較大的尺度變化,但本文算法與STRCF算法依然穩(wěn)定跟蹤到目標(biāo).其他算法與第110幀時(shí)跟蹤情況相同,無法跟蹤到目標(biāo).Shaking視頻序列具有光照變化、旋轉(zhuǎn)等屬性.由圖4(d)可知:在第15幀時(shí),本文算法、STRCF和DSST可以穩(wěn)定的跟蹤到目標(biāo),其他算法都跟蹤失敗.在第60幀時(shí)發(fā)生了較大的光照變化,影響目標(biāo)物的特征提取,此時(shí)本文算法、STRCF和DSST依然可以很好的跟蹤到目標(biāo),而其他算法的偏移程度加大,未能跟蹤到目標(biāo),這表明本文算法提取的HOG特征可以較好的克服光照變化.在90～160幀之間,目標(biāo)物發(fā)生了較大了旋轉(zhuǎn)、尺度變化,除本文算法、STRCF和DSST可以一直穩(wěn)定跟蹤目標(biāo)外,其余算法均跟蹤失敗.

5 結(jié) 論

本文算法針對(duì)現(xiàn)有基于時(shí)空正則化相關(guān)濾波的目標(biāo)跟蹤算法在解決邊界效應(yīng)時(shí)引入的空間權(quán)重矩陣無法自適應(yīng)目標(biāo)變化和時(shí)間正則項(xiàng)超參數(shù)固定的問題,提出了基于樣本可靠性的時(shí)空正則化自適應(yīng)相關(guān)濾波目標(biāo)跟蹤算法.該算法利用響應(yīng)圖的局部變化和上一幀的空間權(quán)重矩陣,判斷樣本的空間可靠性,使濾波器充分學(xué)習(xí)到正確的目標(biāo)信息.同時(shí)引入相鄰兩幀的響應(yīng)圖全局變化作為時(shí)間正則項(xiàng)超參數(shù),用于約束模型的突變.采用交替方向乘子法(ADMM)進(jìn)行算法的優(yōu)化,迭代求解多個(gè)子問題,保證算法的運(yùn)行效率.實(shí)驗(yàn)結(jié)果驗(yàn)證了本文算法的優(yōu)越性,對(duì)遮擋、形變、出視野和旋轉(zhuǎn)等場(chǎng)景提升較大,在一定程度上解決了邊界效應(yīng)對(duì)跟蹤的影響.但本文算法在低分辨率和背景雜波場(chǎng)景下性能較弱,接下來的工作將以本文算法為基礎(chǔ),嘗試把手工特征和深度特征進(jìn)行自適應(yīng)融合,同時(shí)利用多個(gè)相關(guān)濾波器來提升跟蹤性能.