基于加速自適應(yīng)時(shí)空背景感知相關(guān)濾波的目標(biāo)追蹤算法

李養(yǎng)曉 衛(wèi)福源 周正華 趙建偉

目標(biāo)追蹤是計(jì)算機(jī)視覺研究的熱點(diǎn)之一，在智能監(jiān)控、機(jī)器人視覺、虛擬現(xiàn)實(shí)、軍事成像等領(lǐng)域具有廣泛應(yīng)用.目標(biāo)追蹤的任務(wù)是根據(jù)視頻序列第一幀中目標(biāo)的初始位置，設(shè)計(jì)追蹤算法，確定目標(biāo)在下一幀中的位置.因?yàn)槟繕?biāo)追蹤過程中存在光線變化、快速移動(dòng)、運(yùn)動(dòng)模糊、目標(biāo)遮擋或目標(biāo)變形等因素的干擾，所以設(shè)計(jì)高效、魯棒的追蹤算法仍是一項(xiàng)具有挑戰(zhàn)性的任務(wù).

近年來，基于相關(guān)濾波的追蹤算法由于高效的追蹤性能而受到人們的廣泛關(guān)注[1-2].這類追蹤算法基于信號處理中“相似的信號具有相似的響應(yīng)圖”的原理建立優(yōu)化模型.Bolme等[3]將上述原理引入目標(biāo)追蹤領(lǐng)域中，提出最小平方誤差(Minimum Output Sum of Squared Error, MOSSE)追蹤算法，首先利用快速傅里葉變換提取訓(xùn)練樣本，再利用最小平方誤差設(shè)計(jì)學(xué)習(xí)相關(guān)濾波的優(yōu)化模型，最后利用該模型求解的相關(guān)濾波,確定下一幀目標(biāo)的位置.在此基礎(chǔ)上,學(xué)者們提出許多改進(jìn)的基于相關(guān)濾波的追蹤算法.Henriques等[4]通過循環(huán)位移對圖像進(jìn)行密集采樣，增加訓(xùn)練樣本的數(shù)量，提出高效的核化相關(guān)濾波(Kernelized Correlation Filter， KCF)追蹤算法.同時(shí)，Danelljan等[5]在MOSSE的外觀模型中引入尺度正則化項(xiàng)，提出判別尺度空間追蹤算法(Discriminative Scale Space Tracker, DSST).為了緩解不必要的邊界效應(yīng)對追蹤算法的影響，Danelljan等[6]在DSST的外觀優(yōu)化模型的尺度正則項(xiàng)中又引入空間權(quán)值矩陣，提出基于空間正則化相關(guān)濾波(Spatially Regularized Discriminative Correlation Filters, SRD-CF)追蹤算法.Li等[7]在SRDCF的外觀模型中引入時(shí)間正則項(xiàng)，學(xué)習(xí)前后幀相關(guān)濾波之間的聯(lián)系，提出基于時(shí)空正則化相關(guān)濾波(Spatial Temporal Regula-rized Correlation Filters, STRCF)追蹤算法.

上述追蹤算法主要是針對正訓(xùn)練樣本在相關(guān)濾波的框架下進(jìn)行外觀優(yōu)化模型的改進(jìn)，例如，在MOSSE的外觀優(yōu)化模型中引入尺度正則項(xiàng)、空間正則項(xiàng)和時(shí)間正則項(xiàng)等.為了消除邊界效應(yīng)和增強(qiáng)背景和前景的區(qū)分度，Galoogahi等[8]提取負(fù)樣本, 提出基于背景感知相關(guān)濾波(Background-Aware Corre-lation Filters, BACF)追蹤算法.考慮到BACF空間正則項(xiàng)中的權(quán)值矩陣是固定的，而實(shí)際應(yīng)用中視頻序列的空間信息是改變的，Dai等[9]在BACF的優(yōu)化模型中引入時(shí)空正則項(xiàng)和自適應(yīng)權(quán)值矩陣，提出自適應(yīng)空間正則化相關(guān)濾波(Adaptive Spatially-Re-gularized Correlation Filter, ASRCF)追蹤算法.值得注意的是，對于上述追蹤算法的外觀優(yōu)化模型，學(xué)者們主要利用交替方向乘子法(Alternating Direction Method of Multipliers, ADMM)[10]進(jìn)行迭代求解.由于該類求解方法需要對變量進(jìn)行遍歷平均，會破壞求解的稀疏性，導(dǎo)致算法的收斂速度不是最優(yōu)的.Ouyang等[11]在ADMM的基礎(chǔ)上提出加速交替方向乘子法(Accelerated ADMM, A-ADMM)，提高算法求解速度的最優(yōu)性.

本文在BACF的基礎(chǔ)上，結(jié)合時(shí)空正則化、ASRCF中的自適應(yīng)權(quán)值和A-ADMM，提出基于加速自適應(yīng)時(shí)空背景感知相關(guān)濾波(Background-Aware Spatial Temporal Regularized Correlation Filter, BAST-RCF)的目標(biāo)追蹤算法.不同于ASRCF，本文算法不僅考慮前后幀相關(guān)濾波之間的關(guān)系，同時(shí)采用簡單的自適應(yīng)權(quán)值正則項(xiàng)，并利用A-ADMM加快優(yōu)化模型的求解速度.因此，本文算法不僅可充分利用背景信息、空間信息、前后幀相關(guān)濾波間的關(guān)系，提高算法的追蹤性能，而且通過自適應(yīng)權(quán)值反映追蹤過程中目標(biāo)的外觀變化.

1 基于加速自適應(yīng)時(shí)空背景感知相關(guān)濾波的目標(biāo)追蹤算法

考慮到現(xiàn)有的ASRCF未充分利用前后幀相關(guān)濾波之間的關(guān)系及求解優(yōu)化模型的速度問題，本文結(jié)合時(shí)間正則化和簡單的自適應(yīng)權(quán)值矩陣，提出自適應(yīng)時(shí)空背景感知外觀優(yōu)化模型，并利用加速交替方向乘子法給出模型的迭代解.

1.1 自適應(yīng)時(shí)空背景感知外觀模型

設(shè)It為第t幀圖像，目標(biāo)位置信息已知.為了預(yù)測下一幀目標(biāo)位置，需要學(xué)習(xí)第t幀圖像的相關(guān)濾波ht.在建立外觀優(yōu)化模型進(jìn)行相關(guān)濾波訓(xùn)練之前，需要采集訓(xùn)練樣本.為了減少目標(biāo)周圍的一些背景信息及相似目標(biāo)的干擾，本文采用循環(huán)位移操作進(jìn)行訓(xùn)練樣本的提取.傳統(tǒng)的循環(huán)位移方法僅在一個(gè)小的圖像塊上操作，不能產(chǎn)生足夠多的訓(xùn)練樣本.為了得到豐富的訓(xùn)練樣本，本文首先在每幀圖像上進(jìn)行循環(huán)位移操作，然后裁取所需的圖像塊.

由于ASRCF未充分利用前后幀相關(guān)濾波之間的關(guān)系，并且自適應(yīng)空間權(quán)值矩陣需要參考權(quán)重wr，因此本文簡化自適應(yīng)權(quán)值矩陣的約束形式，并在外觀優(yōu)化模型中引入時(shí)間正則項(xiàng)，提出自適應(yīng)時(shí)空背景感知外觀模型，數(shù)學(xué)公式描述如下：

(1)

其中，

P為對角二進(jìn)制矩陣，w為自適應(yīng)權(quán)值矩陣,ht-1為根據(jù)上一幀學(xué)習(xí)得到的相關(guān)濾波，λ1、λ2、λ3分別為各項(xiàng)對應(yīng)的正則項(xiàng)參數(shù).

上述模型(1)中，第1項(xiàng)是使用背景信息的脊回歸項(xiàng)，第2項(xiàng)強(qiáng)調(diào)前景信息，第3項(xiàng)是規(guī)避模型退化的空間權(quán)值矩陣范數(shù)，最后一項(xiàng)體現(xiàn)目標(biāo)運(yùn)動(dòng)連續(xù)的時(shí)間正則項(xiàng).值得注意的是，模型(1)中的權(quán)值矩陣也是自適應(yīng)的，但不像ASRCF中需要參考權(quán)重wr，因此較簡便.

綜上所述，本文模型不僅可自適應(yīng)地利用背景信息和前景信息，而且可充分利用前后幀相關(guān)濾波之間的關(guān)系，從而緩解目標(biāo)快速移動(dòng)導(dǎo)致的漂移問題.

1.2 基于加速交替方向乘子法的模型求解

本節(jié)對模型(1)進(jìn)行求解.一般地，基于相關(guān)濾波的目標(biāo)追蹤算法主要利用ADMM對優(yōu)化模型進(jìn)行求解.為了加快追蹤速度，本文采用A-ADMM[11]對外觀模型進(jìn)行求解.

為了便于計(jì)算，首先利用傅里葉變換將式(1)從空間域轉(zhuǎn)換到頻域，轉(zhuǎn)換后形式如下:

使得

(2)

其中,

式(2)中的優(yōu)化模型是雙凸的，因此可通過最小化獲得局部最優(yōu)解.優(yōu)化模型(2)的增廣拉格朗日函數(shù)為

(3)

其中，

為拉格朗日參數(shù),

為相應(yīng)的傅里葉變換.

令

則式(3)可轉(zhuǎn)化為

(4)

其中

對于式(4)，通過運(yùn)用A-ADMM，可轉(zhuǎn)換為如下3個(gè)子問題：

(5)

下面給出上述子問題具體解的形式.

(6)

其中,

使得

(7)

(8)

求解w.根據(jù)上述子問題得到的解可得到h，則w的求解可表示為

(9)

(10)

μ(j+1)=min{μmax,βμ(j)}.

最后，在傅里葉域上進(jìn)行檢測：

2 實(shí)驗(yàn)及結(jié)果分析

2.1 實(shí)驗(yàn)環(huán)境

本文選擇在OTB50[12]、OTB100[13]、DTB70[14]、VOT2016[15]、TC128[16]數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn).對比方法如下：KCF[4]、SRDCF[6]、STRCF[7]、BACF[8]、ASRCF[9]、尺度自適應(yīng)多維特征法(Scale Adaptive Multiple Features, SAMF)[17]、分層卷積特征法(Hierarchical Convolutional Features, HCF)[18]、時(shí)間正則背景感知相關(guān)濾波法(Temporal Regularized Background-Aware Correlation Filter, TRBACF)[19]、空間可靠性約束時(shí)間正則相關(guān)濾波法(Spatial Reliable Constraint Temporal Regularized Correlation Filter, SRCTRCF)[20].下文通過對比實(shí)驗(yàn)說明本文算法的良好性能.

實(shí)驗(yàn)中對本文算法作如下參數(shù)設(shè)置：尺度個(gè)數(shù)為5，尺度步長為1.01，λ1=0.5,λ2=1.5,λ3=0.01,β=10，學(xué)習(xí)率η=0.02，A-ADMM循環(huán)次數(shù)為2.

所有實(shí)驗(yàn)都是在配置為Intel Xeon CPU E5-1620 v3 @3.50 GHz的電腦上進(jìn)行，編程軟件為MatlabR-2015b.

2.2 消融實(shí)驗(yàn)

本節(jié)通過消融實(shí)驗(yàn)說明BASTRCF設(shè)計(jì)的合理性.表1為BASTRCF在OTB100數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果.

表1 在OTB100數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果Table 1 Results of ablation experiment on OTB100 dataset %

在表1中,BACF作為基準(zhǔn)，BACF+SR表示在BACF的正則項(xiàng)中添加空間權(quán)值，BACF+SR+AW表示在BACF+SR的基礎(chǔ)上考慮自適應(yīng)權(quán)值矩陣，BASTRCF表示在BACF+SR+AW的基礎(chǔ)上添加時(shí)間正則項(xiàng).由表可看出，隨著外觀模型中正則項(xiàng)的增加，追蹤算法的精確值和成功率都有不同程度的上升.這說明外觀模型的每項(xiàng)對追蹤結(jié)果都有一定的改進(jìn).特別地，時(shí)間正則項(xiàng)和自適應(yīng)空間權(quán)值對追蹤結(jié)果的提升具有明顯作用.

2.3 定量分析

各算法在5個(gè)數(shù)據(jù)集上的成功率和精確度的結(jié)果如表2所示.同時(shí)，圖1、圖2給出各算法在5個(gè)數(shù)據(jù)集上相應(yīng)的成功率圖和精確度圖.

表2 各算法在5個(gè)數(shù)據(jù)集上的成功率和精確度的對比Table 2 Comparison of success rate and precision of different algorithms on 5 datasets %

從表2和圖1、圖2可知，BASTRCF在5個(gè)數(shù)據(jù)集上的成功率和精確度都達(dá)到最優(yōu)效果.在OTB50數(shù)據(jù)集上，BASTRCF成功率為67.0%，比第二名ASRCF提高0.4%，比第三名SRCTRCF提高3.2%.同時(shí)，在精確度方面，BASTRCF達(dá)到82.4%，依然保持領(lǐng)先地位，比第二名ASRCF提高1.3%，比第三名SRCTRCF提高3.1%.

(a)OTB50 (b)OTB100 (c)DTB70

(d)TC128 (e)VOT2016圖1 各算法在5個(gè)數(shù)據(jù)集上的成功率對比Fig.1 Success rate comparison of different algorithms on 5 datasets

(a)OTB50 (b)OTB100 (c)DTB70

(d)TC128 (e)VOT2016圖2 各算法在5個(gè)數(shù)據(jù)集上的精確率對比Fig.2 Precision comparison of different algorithms on 5 datasets

造成上述結(jié)果的主要原因是BASTRCF的時(shí)間正則項(xiàng)和自適應(yīng)權(quán)重項(xiàng)可自適應(yīng)地利用空間信息、背景信息和前后幀相關(guān)濾波的信息，提高追蹤算法的性能.

2.4 定性分析

本節(jié)對比各算法在背景干擾、快速運(yùn)動(dòng)、目標(biāo)遮擋上的追蹤性能.

BASTRCF、ASRCF、STRCF、BACF在OTB50數(shù)據(jù)集中具有背景干擾屬性的2個(gè)視頻序列上的追蹤結(jié)果如圖3所示.由圖可看出，在英式足球視頻序列中，很多場景出現(xiàn)相似背景干擾的情況(如第309幀、第325幀、第350幀).兩位足球運(yùn)動(dòng)員身穿相似的運(yùn)動(dòng)服、頭戴相似的頭盔，這些干擾容易導(dǎo)致追蹤目標(biāo)發(fā)生漂移.但是，BASTRCF(紅色框)可準(zhǔn)確定位目標(biāo)，而其它3種追蹤算法都發(fā)生漂移.針對足球比賽獲獎(jiǎng)視頻序列，背景對追蹤目標(biāo)干擾非常嚴(yán)重(如第93幀、第123幀、135幀)，容易導(dǎo)致追蹤目標(biāo)發(fā)生漂移.ASRCF(綠色框)和BACF(黑色框)都未準(zhǔn)確追蹤到目標(biāo)，STRCF(藍(lán)色框)在后面兩幀中也發(fā)生漂移.但是，BASTRCF(紅色框)仍可準(zhǔn)確追蹤目標(biāo).

圖3 各算法在OTB50數(shù)據(jù)集視頻序列上的追蹤結(jié)果對比Fig.3 Tracking result comparison of different algorithms on video sequences of OTB50 dataset

BASTRCF、ASRCF、STRCF、BACF在OTB100數(shù)據(jù)集中具有快速運(yùn)動(dòng)屬性的2個(gè)視頻序列上的追蹤結(jié)果如圖4所示.

由圖4可看出，在對打的場景中，兩個(gè)人動(dòng)作移動(dòng)十分迅速(如第17幀、第22幀、第44幀)，因此目標(biāo)的快速移動(dòng)容易引起追蹤器發(fā)生漂移，導(dǎo)致追蹤精確度降低.但是，BASTRCF(紅色框)可準(zhǔn)確定位目標(biāo)，而其它3種追蹤算法都發(fā)生漂移.在羚羊運(yùn)動(dòng)的視頻中，羚羊運(yùn)動(dòng)十分迅速(如第27幀、第35幀、第52幀)，容易導(dǎo)致追蹤目標(biāo)漂移.但是，BASTRCF(紅色框)一直準(zhǔn)確定位目標(biāo)，而其它算法一開始就發(fā)生漂移.

圖4 各算法在OTB100數(shù)據(jù)集視頻序列上的追蹤結(jié)果對比Fig.4 Tracking result comparison of different algorithms on video sequences of OTB100 dataset

BASTRCF、ASRCF、STRCF、BACF在DTB70數(shù)據(jù)集中具有目標(biāo)遮擋屬性的2個(gè)視頻序列上的追蹤結(jié)果如圖5所示.

由圖5可看出，在飛鳥視頻序列中，小鳥飛進(jìn)云朵里出現(xiàn)遮擋(如第63幀、102幀、第126幀)，會嚴(yán)重影響追蹤算法的精確性.然而，BAST-RCF依然可準(zhǔn)確定位目標(biāo)，其它算法都發(fā)生漂移.在瓶子視頻序列中，第782幀、867幀、第1 219幀出現(xiàn)瓶子被遮擋的情況，嚴(yán)重干擾追蹤算法的性能，導(dǎo)致追蹤算法轉(zhuǎn)而追蹤其它小瓶子.但是，BASTRCF(紅色框)和ASRCF(綠色框)能準(zhǔn)確定位目標(biāo)，而其它算法發(fā)生漂移.

圖5 各算法在DTB70數(shù)據(jù)集視頻序列上的追蹤結(jié)果對比Fig.5 Tracking result comparison of different algorithms on video sequences of DTB70 dataset

BASTRCF、ASRCF、STRCF、BACF在TC128數(shù)據(jù)集中具有目標(biāo)遮擋和快速運(yùn)動(dòng)屬性的2個(gè)視頻序列上的追蹤結(jié)果如圖6所示.由圖可看出，對于籃球視頻序列，穿綠色球服的運(yùn)動(dòng)員在防守穿白色球服的運(yùn)動(dòng)員時(shí)產(chǎn)生遮擋(見第10幀)，容易導(dǎo)致追蹤目標(biāo)發(fā)生漂移.然而，BASTRCF依然可準(zhǔn)確定位目標(biāo)，其它算法都發(fā)生漂移.對于足球視頻序列，第10幀中足球發(fā)生快速移動(dòng)，嚴(yán)重影響追蹤算法的追蹤性能.然而，BASTRCF(紅色框)仍能準(zhǔn)確定位追蹤目標(biāo)，其它算法都發(fā)生漂移.

圖6 各算法在TC128數(shù)據(jù)集視頻序列上的追蹤結(jié)果對比Fig.6 Tracking result comparison of different algorithms on video sequences of TC128 dataset

BASTRCF、ASRCF、STRCF、BACF在VOT2016數(shù)據(jù)集中具有目標(biāo)遮擋和快速運(yùn)動(dòng)屬性的2個(gè)視頻序列上的追蹤結(jié)果如圖7所示.由圖可看出，對于袋子視頻序列，白色袋子在沒有規(guī)律地上下飄動(dòng)，這將影響追蹤算法的追蹤精度.BASTRCF仍可準(zhǔn)確定位目標(biāo)，而其它算法都出現(xiàn)偏差.對于袋鼠視頻序列，第131幀中出現(xiàn)袋鼠被黑貓遮擋的情況，嚴(yán)重影響算法的追蹤性能，導(dǎo)致追蹤結(jié)果出現(xiàn)偏差.由圖可看出，BASTRCF(紅色框)和STRCF(藍(lán)色框)都能準(zhǔn)確定位目標(biāo)，而其它算法都發(fā)生漂移.

圖7 各算法在VOT2016數(shù)據(jù)集視頻序列上的追蹤結(jié)果對比Fig.7 Tracking result comparison of different algorithms on video sequences of VOT2016 dataset

2.5 追蹤速度

各算法在DTB70數(shù)據(jù)集上的追蹤速度對比如下：KCF為171幀/秒，SAMF為22幀/秒，SRDCF為5幀/秒，BACF為35.3幀/秒，HCF為11.0幀/秒，STRCF為5.3幀/秒，TRBACF為27.6幀/秒，SRCTRCF為3.7幀/秒，ASRCF為28幀/秒，本文算法(ADMM)為27幀/秒，本文算法(A-ADMM)為30幀/秒.其中，本文算法(ADMM)表示本文的自適應(yīng)背景感知外觀優(yōu)化模型，用ADMM求解優(yōu)化模型.本文算法(A-ADMM)表示自適應(yīng)背景感知外觀優(yōu)化模型，用A-ADMM求解優(yōu)化模型.

由于KCF結(jié)構(gòu)簡單，因此追蹤速度最快.BACF排名第二，本文算法(A-ADMM)排名第三，可達(dá)到30幀/秒，快于ASRCF和本文算法(ADMM).這說明使用A-ADMM確實(shí)可提高追蹤速度.

3 結(jié) 束 語

本文在背景感知追蹤算法的基礎(chǔ)上，提出基于加速自適應(yīng)時(shí)空背景感知相關(guān)濾波的目標(biāo)追蹤算法.在背景感知追蹤算法的基礎(chǔ)上，融合空間信息和時(shí)間信息，考慮空間權(quán)值矩陣的自適應(yīng)性，提出自適應(yīng)時(shí)空背景感知外觀優(yōu)化模型，運(yùn)用加速交替方向乘子法求解空間權(quán)值矩陣和濾波器，實(shí)現(xiàn)目標(biāo)自適應(yīng)追蹤.不同于ASRCF，本文算法不僅考慮前后幀相關(guān)濾波之間的關(guān)系，同時(shí)使用更簡單的自適應(yīng)權(quán)值正則項(xiàng)，并利用A-ADMM代替ADMM加速優(yōu)化模型的求解.因此，本文算法不僅可充分利用背景信息、空間信息、前后幀相關(guān)濾波間的關(guān)系，提高追蹤算法的性能，而且通過自適應(yīng)權(quán)值反映追蹤過程中目標(biāo)的外觀變化.實(shí)驗(yàn)表明本文算法具有較好的追蹤性能.未來可在此基礎(chǔ)上，考慮將相關(guān)濾波與深度學(xué)習(xí)結(jié)合，利用深度網(wǎng)絡(luò)提取不同層次的樣本特征，訓(xùn)練相關(guān)濾波器，從而提高追蹤器的追蹤性能.