自適應(yīng)多濾波器的高效卷積算子目標(biāo)跟蹤算法

李國(guó)友，張鳳煦，紀(jì)執(zhí)安

自適應(yīng)多濾波器的高效卷積算子目標(biāo)跟蹤算法

李國(guó)友，張鳳煦*，紀(jì)執(zhí)安

燕山大學(xué)工業(yè)計(jì)算機(jī)控制工程河北省重點(diǎn)實(shí)驗(yàn)室，河北 秦皇島 066004

針對(duì)單一濾波器難以適應(yīng)復(fù)雜變化的目標(biāo)跟蹤環(huán)境的問(wèn)題，本文在高效卷積算子目標(biāo)跟蹤算法的基礎(chǔ)上，提出了自適應(yīng)多濾波器的目標(biāo)跟蹤算法。該算法使用時(shí)空正則化濾波器、一致性檢驗(yàn)濾波器和高效卷積算子算法中的相關(guān)濾波器分別與目標(biāo)特征進(jìn)行卷積，得到三個(gè)濾波檢測(cè)得分。其中，時(shí)空正則化濾波器是通過(guò)將時(shí)間正則化引入相關(guān)濾波損失函數(shù)而得到；一致性檢驗(yàn)濾波器是通過(guò)反向定位前幾幀目標(biāo)，比較反向與正向定位坐標(biāo)的誤差，只有誤差小于閾值時(shí)才更新濾波器；選擇峰值旁瓣比最大濾波檢測(cè)得分，估計(jì)目標(biāo)的位置。使用OTB-2015數(shù)據(jù)集和UAV123數(shù)據(jù)集對(duì)改進(jìn)算法進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果表明，本文算法能夠更好地適應(yīng)跟蹤過(guò)程中的復(fù)雜變化的環(huán)境，具有較高的精度和魯棒性。

目標(biāo)跟蹤；濾波器；時(shí)空正則化；一致性檢驗(yàn)；高效卷積算子

1 引 言

目標(biāo)跟蹤廣泛應(yīng)用在視頻監(jiān)控、導(dǎo)彈制導(dǎo)、人機(jī)交互、人工智能、智能交通等領(lǐng)域，是計(jì)算機(jī)視覺研究中的重要分支[1-2]。目標(biāo)跟蹤是根據(jù)給定的目標(biāo)位置和尺寸，在視頻序列中估計(jì)出每一幀目標(biāo)的位置和尺寸。目標(biāo)追蹤過(guò)程中存在著遮擋、光照變化、目標(biāo)旋轉(zhuǎn)、目標(biāo)快速移動(dòng)和背景雜亂等干擾因素，這些干擾因素影響目標(biāo)跟蹤精度[3]，從而難以實(shí)現(xiàn)對(duì)任意模型的跟蹤。

目標(biāo)跟蹤算法主要可以分為生成式[4]和判別式[5]兩種，生成式跟蹤算法是在圖像區(qū)域進(jìn)行搜索，在圖像區(qū)找出與目標(biāo)外觀模型最相似的區(qū)域作為目標(biāo)，算法復(fù)雜度較大[6]。判別式跟蹤算法將目標(biāo)跟蹤問(wèn)題轉(zhuǎn)化為二元分類問(wèn)題，將目標(biāo)從背景中分離出來(lái)，算法復(fù)雜度低，速度較快[7]。

近年來(lái)，相關(guān)濾波器引入到判別式跟蹤算法的框架中，使目標(biāo)跟蹤的精度進(jìn)一步提高。Bolme等[8]提出最小輸出平方誤差和相關(guān)濾波跟蹤算法(minimum output sum of squared error, MOSSE)。Henriques等人[9]在CSK(circulant structure with kernels)算法中，使用循環(huán)矩陣結(jié)構(gòu)在頻域上做分析，將矩陣的運(yùn)算轉(zhuǎn)化為向量的點(diǎn)積，提高了運(yùn)算速度。由于CSK使用的灰度特征受光照影響較大，Henriques等[10]提出采用梯度方向直方圖特征(histogram of oriented gradient, HOG)的KCF算法，提高了濾波器對(duì)目標(biāo)的跟蹤效果。Danelljan 等[11]針對(duì)KCF算法中的邊界效應(yīng)問(wèn)題，在SRDCF (spatially regularized discriminative correlation filters)算法中在空間域上對(duì)濾波器進(jìn)行正則化，有效地抑制了背景區(qū)域的響應(yīng)。之后在連續(xù)卷積算子算法(continuous convolution operators for tracking，C-COT)[12]中使用隱式插值模型，將DCF(discriminative correlation filters)[13]中的單分辨率特征映射轉(zhuǎn)換為連續(xù)空間域的多分辨率特征映射，使跟蹤精度進(jìn)一步提高。Danelljan等[14]提出的高效卷積算子目標(biāo)跟蹤算法(efficient convolution operators，ECO)，在特征提取上對(duì)連續(xù)卷積算子算法進(jìn)行了簡(jiǎn)化，降低了算法計(jì)算復(fù)雜度，并使用高斯混合模型簡(jiǎn)化了訓(xùn)練集，優(yōu)化了模型更新策略。Li等[15]將時(shí)間正則化引入SRDCF算法[11]中，改善了遮擋和大幅形變情況下濾波器過(guò)度更新的情況。

盡管目前的目標(biāo)跟蹤算法取得了很好的跟蹤效果，但是現(xiàn)存的跟蹤算法主要使用單個(gè)濾波器對(duì)目標(biāo)進(jìn)行跟蹤。在實(shí)際目標(biāo)跟蹤過(guò)程中，目標(biāo)的姿態(tài)各異，所處的環(huán)境復(fù)雜多變，單一濾波器難以應(yīng)對(duì)視頻序列的復(fù)雜變化。當(dāng)目標(biāo)發(fā)生巨大形變或遮擋時(shí)，如果單一濾波器過(guò)度更新，將會(huì)造成濾波器對(duì)新樣本的過(guò)擬合；如果單一的濾波器積累了過(guò)多的噪聲信息，將會(huì)難以準(zhǔn)確地確定目標(biāo)位置，使跟蹤精度下降。隨著深度特征引入目標(biāo)追蹤領(lǐng)域[16]，濾波器對(duì)目標(biāo)的識(shí)別能力有所增強(qiáng)，但運(yùn)算量過(guò)大，算法實(shí)時(shí)性不高。

針對(duì)單一濾波器難以適應(yīng)目標(biāo)跟蹤過(guò)程中復(fù)雜變化的環(huán)境的問(wèn)題，本文采用多個(gè)濾波器對(duì)目標(biāo)進(jìn)行跟蹤[17]。根據(jù)視頻序列相鄰幀變化不會(huì)很大的原理，引入時(shí)間正則化[15]，訓(xùn)練時(shí)空正則化濾波器。對(duì)于追蹤過(guò)程中出現(xiàn)的遮擋等各種噪聲問(wèn)題，引入一致性檢驗(yàn)對(duì)序列目標(biāo)進(jìn)行反向定位，根據(jù)前后定位誤差的大小，對(duì)濾波器進(jìn)行選擇性更新，得到一致性檢驗(yàn)濾波器。然后利用時(shí)空正則化濾波器、一致性檢驗(yàn)濾波器和ECO算法中的相關(guān)濾波器分別對(duì)目標(biāo)特征進(jìn)行卷積，得到三個(gè)濾波檢測(cè)得分。最后根據(jù)三個(gè)濾波器濾波檢測(cè)得分的峰值旁瓣比(peak-to-side ratio, PSR)的大小，選擇最佳濾波檢測(cè)得分確定的目標(biāo)位置。采用OTB-2015數(shù)據(jù)集[18]和UAV123數(shù)據(jù)集[19]評(píng)估本文算法的性能，實(shí)驗(yàn)結(jié)果表明，改進(jìn)的算法具有更高的精度和魯棒性。

2 ECO跟蹤算法

ECO算法[14]提出了因式分解卷積操作，減少模型中參數(shù)的維數(shù)，并且使用高斯混合模型(GMM)來(lái)生成不同的模型組件，將相似的模型歸為一類，防止了目標(biāo)出現(xiàn)過(guò)擬合，同時(shí)降低模型更新頻率，提高了運(yùn)算效率，避免了模型的漂移問(wèn)題。

2.1 分解卷積算子

將一階近似式(4)代入式(3)中，得到第次迭代處的高斯-牛頓子問(wèn)題：

2.2 生成樣本空間模型

利用樣本空間模型，將樣本數(shù)量從減少到=/8，提高了運(yùn)算效率和跟蹤性能。

2.3 ECO算法基本流程

最后使用牛頓法對(duì)濾波響應(yīng)得分函數(shù)進(jìn)行優(yōu)化，得到目標(biāo)的估計(jì)位置，并進(jìn)行下一幀目標(biāo)的跟蹤。每隔s幀使用共軛梯度法對(duì)濾波器進(jìn)行更新，投影矩陣在以后每一幀中保持不變。ECO算法的初始化及具體流程如圖1所示。

3 自適應(yīng)多濾波器算法

本文訓(xùn)練時(shí)空正則化濾波器、一致性檢驗(yàn)濾波器和ECO算法中的相關(guān)濾波器。其中，時(shí)空正則化濾波器能夠很好地適應(yīng)目標(biāo)外觀的巨大變化，一致性檢驗(yàn)濾波器能夠防止濾波器更新過(guò)程中引入過(guò)多的噪聲信息，而ECO算法中的相關(guān)濾波器包含了最全面的目標(biāo)特征信息。當(dāng)目標(biāo)發(fā)生大幅形變時(shí)，時(shí)空正則化濾波器具有較好的跟蹤效果；當(dāng)目標(biāo)及背景雜亂噪聲較多時(shí)，一致性檢驗(yàn)濾波器具有較高的魯棒性；當(dāng)跟蹤環(huán)境相對(duì)平穩(wěn)，干擾較少時(shí)，ECO算法中的相關(guān)濾波器能夠準(zhǔn)確地確定目標(biāo)位置。

圖1 ECO算法流程圖

3.1 時(shí)空正則化濾波器

當(dāng)出現(xiàn)一個(gè)新的樣本實(shí)例時(shí)，首先對(duì)目標(biāo)搜索區(qū)域進(jìn)行特征提取，得出樣本的標(biāo)簽，然后根據(jù)新實(shí)例標(biāo)簽更新濾波器。一般情況連續(xù)相鄰幀的目標(biāo)變化不大，新的濾波器與之前的濾波器具有一定的相似性，同時(shí)新的濾波器也需要盡可能多地體現(xiàn)出新樣本的特征，以保證能夠正確地識(shí)別新目標(biāo)。STRCF (spatial-temporal regularized correlation filters)算法[15]中的損失函數(shù)加入了時(shí)間正則化，防止了濾波器對(duì)新樣本的過(guò)擬合，在目標(biāo)遮擋和大幅形變情況下準(zhǔn)確率和魯棒性都表現(xiàn)良好。在不同環(huán)境中自適應(yīng)地調(diào)整濾波器，能夠更好地適應(yīng)目標(biāo)跟蹤過(guò)程中的各種環(huán)境。

式中：為拉格朗日乘數(shù)，為懲罰因子，引入輔助變量=/，則可化簡(jiǎn)為

因此損失函數(shù)的最優(yōu)解可以轉(zhuǎn)化為采用交替方向乘子算法交替求解以下子問(wèn)題：

3.2 一致性檢驗(yàn)濾波器模型

圖2 時(shí)空正則化濾波器的隨幀變化

圖3 一致性檢驗(yàn)濾波器訓(xùn)練流程

表1 前向與后向目標(biāo)軌跡坐標(biāo)

圖4 前后向距離誤差

3.3 最優(yōu)濾波器模型選擇

圖5展示了目標(biāo)跟蹤精度與峰旁比的關(guān)系，其中圖5(a)為ECO算法在OTB-2015數(shù)據(jù)集中的平均中心位置誤差(center location error，CLE)與平均峰旁比的二次擬合曲線?？梢钥闯霎?dāng)峰旁比的值越大時(shí)，中心像素誤差越小，目標(biāo)跟蹤的精度越高。圖5(b)為部分幀的濾波檢測(cè)得分、峰旁比和跟蹤結(jié)果?？梢姺迮员鹊闹翟酱螅繕?biāo)估計(jì)位置越接近真實(shí)位置。

圖6為Skating2序列在跟蹤過(guò)程中不同濾波檢測(cè)得分的峰旁比?？梢钥闯鲈谡麄€(gè)序列中三個(gè)濾波檢測(cè)得分的峰旁比是不斷變化的。當(dāng)目標(biāo)外觀多變時(shí)，時(shí)空正則化濾波器的檢測(cè)得分峰旁比較高，當(dāng)目標(biāo)出現(xiàn)遮擋或多噪聲時(shí)，一致性檢驗(yàn)濾波器的檢測(cè)得分峰旁比較高。因此使用峰旁比較高的濾波波檢測(cè)得分估計(jì)目標(biāo)位置。

圖5 目標(biāo)跟蹤精度與峰旁比的關(guān)系。(a) 峰旁比與跟蹤精度關(guān)系曲線；(b) 部分幀的濾波檢測(cè)得分、峰旁比和跟蹤結(jié)果

圖6 不同濾波檢測(cè)得分峰旁比

在本文算法中，利用時(shí)空正則化濾波器、一致性檢驗(yàn)濾波器和ECO算法中的相關(guān)濾波器同時(shí)對(duì)目標(biāo)特征進(jìn)行卷積，得到三個(gè)濾波檢測(cè)得分。利用式(22)的多濾波器決策模型，選擇最優(yōu)的濾波檢測(cè)得分。根據(jù)最優(yōu)的濾波檢測(cè)得分，估計(jì)目標(biāo)的所在位置。自適應(yīng)多濾波器的目標(biāo)跟蹤算法具體流程如圖7所示。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)環(huán)境與方法

對(duì)于本文實(shí)驗(yàn)結(jié)果，采用中心位置誤差(CLE，用CLE表示)和重疊率(overlapping ratio，OR，用OR表示)兩種方法進(jìn)行評(píng)價(jià)：

在OTB-2015中的得出精確度圖(precision plot)和成功率圖(success plot)兩種評(píng)價(jià)標(biāo)準(zhǔn)。精確度是指跟蹤目標(biāo)中心位置和目標(biāo)真實(shí)位置的誤差小于20 pixel的跟蹤序列所占的百分比；成功率為跟蹤目標(biāo)與真實(shí)目標(biāo)的重疊率大于閾值0.5的幀數(shù)占跟蹤序列中所有幀數(shù)的百分比。

本實(shí)驗(yàn)使用一次通過(guò)評(píng)估方法(one-pass evaluation, OPE)的精確度圖和成功率圖評(píng)估改進(jìn)后算法的性能。在OTB-2015數(shù)據(jù)集[25]中自帶的算法和ECO[19]、fDSST(fast discriminative scale space tracker)[27]、KCF[15]、STRCF[20]、HCF (Hierarchical convolutional features)[28]、MEEN (multiple experts using entropy minimization)[29]、Staple(sum of template and pixel-wise lear-ners)[30]、LCT(long-term correlation tracking)[31]等主流的跟蹤算法進(jìn)行性能比較，在UAV123數(shù)據(jù)集[26]上采用ECO[19]、DSST、fDSST[27]、KCF[15]、STRCF[20]、HCF[28]、Staple[30]、LCT[31]、LEDS (large-displacement tracking vis estimation of similarity)[32]與本文算法作對(duì)比。在精度圖和成功率圖上只顯示排名靠前的10種跟蹤算法的結(jié)果，以便于觀察。

4.2 定量分析

圖8是排名前10種算法在OTB-2015序列集上的總精確度圖和成功率圖，改進(jìn)的算法的精確度為88.3%，比ECO算法提高了4.7%。改進(jìn)的算法成功率為79.1%，比原始的ECO算法提高了2.8%。改進(jìn)的算法精度和成功率均排名第一。

圖7 多濾波器目標(biāo)跟蹤算法流程圖

Fig. 7 Multi-filter target tracking algorithm flow chart

圖8 OTB2015 評(píng)估OPE 精確度圖和成功率圖

在OTB-2015數(shù)據(jù)集中的測(cè)試視頻的跟蹤難點(diǎn)主要包括：光照變化(IV)、尺度變化(SV)、平面內(nèi)旋轉(zhuǎn)(IPR)、平面外旋轉(zhuǎn)(OPR)、遮擋(OCC)、形變(DEF)、運(yùn)動(dòng)模糊(MB)、快速運(yùn)動(dòng)(FM)、相似背景干擾(BC)、出視野(OV)、低分辨率(LR)等。為了驗(yàn)證改進(jìn)算法在各種跟蹤難點(diǎn)下的魯棒性，在這11種不同的跟蹤情況下，得出改進(jìn)后的算法和5種對(duì)比算法的精度和成功率如表2和表3所示。

由表2可以看出，改進(jìn)的算法在11種不同跟蹤情況下，有9種情況精度排名為第一，只有在低分辨率和快速移動(dòng)情況下精度排名第二，且比原始的ECO算法有所提高。表3中的不同算法的成功率可知，本文改進(jìn)的算法在不同跟蹤情況下的成功率均排名較高，且有9種情況下排名第一。因此改進(jìn)的算法具有較高的精度和魯棒性，能夠很好地應(yīng)對(duì)復(fù)雜場(chǎng)景和目標(biāo)多變的情況下的目標(biāo)跟蹤問(wèn)題。

表2 不同情況下跟蹤算法的精度

表3 不同情況下跟蹤算法的成功率

表4為本文算法與精度和成功率排名靠前的8種算法的平均重疊率、中心位置誤差和速度比較結(jié)果。改進(jìn)的算法與原ECO 算法相比較，平均重疊率提高了3%，中心位置誤差提高了9 pixels。改進(jìn)的算法在OTB-2015數(shù)據(jù)集上的平均速度為 30.5 f/s，能夠滿足算法實(shí)時(shí)性要求。因此，本文采用的多濾波器跟蹤算法，能夠更好地適應(yīng)目標(biāo)跟蹤過(guò)程中的復(fù)雜變化，提高了跟蹤的準(zhǔn)確性，使算法具有更高的魯棒性。

為進(jìn)一步驗(yàn)證改進(jìn)算法的準(zhǔn)確性，本文在UAV123數(shù)據(jù)集上繼續(xù)對(duì)改進(jìn)算法的精度和成功率進(jìn)行評(píng)估，如圖9所示。通過(guò)對(duì)比試驗(yàn)，本文改進(jìn)的算法在精度和成功率上均排名第一。相比ECO算法，精度和成功率均有所提高。

4.3 定性分析

在OTB-2015數(shù)據(jù)集中選取的具有代表性的視頻序列的跟蹤數(shù)據(jù)，如圖10所示。其中包含光照變化、運(yùn)動(dòng)模糊、尺度變化、快速移動(dòng)、相似目標(biāo)干擾等各種復(fù)雜變化。本節(jié)使用ECO、MEEM、STRCF、HCF、Staple、fDSST等精度較高算法在不同場(chǎng)景中跟蹤過(guò)程中定性地對(duì)比分析目標(biāo)跟蹤算法的精確性和魯棒性。

Twinnings序列中，要跟蹤的目標(biāo)是手里的書。在149幀目標(biāo)由近變遠(yuǎn)，尺度發(fā)生變化，MEEN、HCF的算法沒(méi)有很好地適應(yīng)目標(biāo)尺度變化。在第240幀，目標(biāo)因發(fā)生旋轉(zhuǎn)導(dǎo)致外觀巨大變化，到331幀后，當(dāng)目標(biāo)再次發(fā)生尺度變化時(shí)，ECO算法的尺度和位置發(fā)生偏移。Biker序列中在63幀~94幀時(shí)目標(biāo)快速移到另一條軌道，此時(shí)發(fā)生運(yùn)動(dòng)模糊、快速移動(dòng)等干擾因素，在目標(biāo)發(fā)生轉(zhuǎn)向時(shí)，STRCF算法發(fā)生漂移。到第94幀目標(biāo)完全跳向右邊軌道后，只有本文算法和ECO算法定位到目標(biāo)位置，且本文算法的精度最高。因此，本文算法能夠在目標(biāo)外觀發(fā)生巨大形變和運(yùn)動(dòng)模糊的情況下準(zhǔn)確地跟蹤目標(biāo)。

在Skating2-2序列中，目標(biāo)是雙人滑冰中的男性，序列中存在目標(biāo)快速移動(dòng)和相似目標(biāo)干擾等問(wèn)題。第13幀時(shí)，ECO算法發(fā)生短暫漂移，由于50幀前時(shí)目標(biāo)發(fā)生遮擋除本文算法外的其它算法精度有所下降，經(jīng)過(guò)目標(biāo)的多次遮擋和旋轉(zhuǎn)，到第454幀，只有本文算法準(zhǔn)確定位到目標(biāo)位置。因此本文算法能夠在快速移動(dòng)和相似目標(biāo)干擾情況下保持較高的精度。

表4 8種算法平均重疊率、中心位置誤差和速度

圖9 UAV123評(píng)估OPE精確度圖和成功率圖

圖10 數(shù)據(jù)集上部分測(cè)試視頻上的跟蹤結(jié)果

Shaking序列中的目標(biāo)手拿小提琴的樂(lè)隊(duì)成員的臉存在嚴(yán)重的光照變化。在第10幀7種算法都能定位目標(biāo)位置；由于燈光干擾和目標(biāo)的移動(dòng)，到21幀Staple和HCF發(fā)生漂移；到216幀，Staple定位到其它相似目標(biāo)位置，ECO和STRCF尺度準(zhǔn)確性下降，本文算法精確定位目標(biāo)位置。Bolt序列中的目標(biāo)是在跑道上比賽的右數(shù)第四個(gè)運(yùn)動(dòng)員，其中存在多個(gè)相似目標(biāo)。第100幀Staple算法的尺度估計(jì)精度下降，到239幀由于目標(biāo)的快速移動(dòng)，追蹤精度均有所下降，本文算法能夠保持高精度定位目標(biāo)位置。因此，改進(jìn)算法在相似目標(biāo)干擾和目標(biāo)快速移動(dòng)情況下具有較強(qiáng)的魯棒性。

5 結(jié) 論

本文在高效卷積算子目標(biāo)跟蹤算法的框架上，針對(duì)單一濾波器難以適應(yīng)各種環(huán)境下目標(biāo)跟蹤的問(wèn)題，提出自適應(yīng)多濾波器的目標(biāo)跟蹤算法。本文訓(xùn)練了時(shí)空正則化濾波器、一致性檢驗(yàn)濾波器和ECO算法中的相關(guān)濾波器。其中，時(shí)空正則化濾波器改善了濾波器過(guò)度更新的情況，一致性檢驗(yàn)濾波器減少了在濾波器更新過(guò)程中引入的噪聲信息，ECO算法中的相關(guān)濾波器保留了最全面的目標(biāo)及背景特征信息。使用三個(gè)濾波器同時(shí)對(duì)目標(biāo)特征進(jìn)行卷積，得到三個(gè)濾波檢測(cè)得分。對(duì)不同濾波器的濾波檢測(cè)得分的峰旁比進(jìn)行比較，選擇出最佳的濾波檢測(cè)得分。根據(jù)最佳的濾波檢測(cè)得分，估計(jì)目標(biāo)的位置。本文在OTB-2015和UAV123數(shù)據(jù)集上評(píng)估改進(jìn)算法的性能，通過(guò)定性和定量的分析，本文算法在復(fù)雜環(huán)境下的跟蹤精度和成功率相對(duì)于傳統(tǒng)ECO算法均有所提高。因此改進(jìn)的算法能更好地適應(yīng)目標(biāo)追蹤過(guò)程中環(huán)境的復(fù)雜變化，具有較高的精度和魯棒性。

[1] Lu H C, Li P X, Wang D. Visual object tracking: a survey[J]., 2018, 31(1): 61–76.盧湖川, 李佩霞, 王棟. 目標(biāo)跟蹤算法綜述[J]. 模式識(shí)別與人工智能, 2018, 31(1): 61–76.

[2] Fan X S, Xu Z Y, Zhang J L. Dim small target tracking based on improved particle filter[J]., 2018, 45(8): 170569.

樊香所, 徐智勇, 張建林. 改進(jìn)粒子濾波的弱小目標(biāo)跟蹤[J]. 光電工程, 2018, 45(8): 170569.

[3] Li S S, Zhao G P, Wang J Y. Distractor-aware object tracking based on multi-feature fusion and scale-adaption[J]., 2017, 37(5): 0515005.

李雙雙, 趙高鵬, 王建宇. 基于特征融合和尺度自適應(yīng)的干擾感知目標(biāo)跟蹤[J]. 光學(xué)學(xué)報(bào), 2017, 37(5): 0515005.

[4] Ross D A, Lim J, Lin R S,. Incremental learning for robust visual tracking[J]., 2008, 77(1–3): 125–141.

[5] Babenko B, Yang M H, Belongie S. Robust object tracking with online multiple instance learning[J]., 2011, 33(8): 1619–1632.

[6] Zhu W Q, Liu Y, Bian L,. Survey on object tracking method base on generative model[J]., 2017, 38(1): 41–47.

朱文青, 劉艷, 卞樂(lè), 等. 基于生成式模型的目標(biāo)跟蹤方法綜述[J]. 微處理機(jī), 2017, 38(1): 41–47.

[7] Ge B Y, Zuo X Z, Hu Y J. Review of visual object tracking technology[J]., 2018, 23(8): 1091–1107.

葛寶義, 左憲章, 胡永江. 視覺目標(biāo)跟蹤方法研究綜述[J]. 中國(guó)圖象圖形學(xué)報(bào), 2018, 23(8): 1091–1107.

[8] Bolme D S, Beveridge J R, Draper B A,. Visual object tracking using adaptive correlation filters[C]//, San Francisco, CA, USA, 2010.

[9] Henriques J F, Caseiro R, Martins P,. Exploiting the circulant structure of tracking-by-detection with kernels[C]//, Berlin, Heidelberg, 2012: 702–715.

[10] Henriques J F, Caseiro R, Martins P,. High-speed tracking with kernelized correlation filters[J]., 2015, 37(3): 583–596.

[11] Danelljan M, H?ger G, Khan F S,. Learning spatially regularized correlation filters for visual tracking[C]//, Santiago, Chile, 2015: 4310–4318.

[12] Danelljan M, Robinson A, Khan F S,. Beyond correlation filters: learning continuous convolution operators for visual tracking[C]//, Cham, 2016: 472–488.

[13] Luke?ic A, Vojír T, Zajc L C,. Discriminative correlation filter with channel and spatial reliability[C]//, Honolulu, HI, USA, 2017: 4847–4856.

[14] Danelljan M, Bhat G, Khan F S,. ECO: Efficient convolution operators for tracking[C]//, Honolulu, HI, USA, 2017: 6638–6646.

[15] Li F, Tian C, Zuo W M,. Learning spatial-temporal regularized correlation filters for visual tracking[C]//, Salt Lake City, UT, USA, 2018: 4904–4913.

[16] Hu S, Shao Y M, Sun X. Review of object tracking based on convolutional neural networks[J]., 2018, 28(3): 207–213.

胡碩, 趙銀妹, 孫翔. 基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)跟蹤算法綜述[J]. 高技術(shù)通訊, 2018, 28(3): 207–213.

[17] Sun H, Li J, Du B,. Correlation filtering target tracking based on online multi-lifespan learning[J]., 2017, 45(10): 2337–2342.

孫航, 李晶, 杜博, 等. 基于多階段學(xué)習(xí)的相關(guān)濾波目標(biāo)跟蹤[J]. 電子學(xué)報(bào), 2017, 45(10): 2337–2342.

[18] Wu Y, Lim J, Yang M H. Object tracking benchmark[J]., 2015, 37(9): 1834–1848.

[19] Mueller M, Smith N, Ghanem B. A benchmark and simulator for UAV tracking[C]//, Cham, 2016: 445–461.

[20] Danelljan M, H?ger G, Khan F S,. Discriminative scale space tracking[J]., 2017, 39(8): 1561–1575.

[21] Ma C, Huang J B, Yang X K,. Hierarchical convolutional features for visual tracking[C]//, Santiago, Chile, 2015: 3074–3082.

[22] Zhang J M, Ma S G, Sclaroff S. MEEM: robust tracking via multiple experts using entropy minimization[C]//, Berlin, 2014: 188–203.

[23] Bertinetto L, Valmadre J, Golodetz S,. Staple: Complementary learners for real-time tracking[C]//, Las Vegas, NV, USA, 2016: 1401–1409.

[24] Ma C, Yang X K, Zhang C Y,. Long-term correlation tracking[C]//, Boston, MA, USA, 2015: 5388–5396.

[25] Li Y, Zhu J K, Hoi S C H,. Robust estimation of similarity transformation for visual object tracking[Z]. arXiv: 1712.05231[cs.CV], 2017.

Adaptive multi-filter tracker based on efficient convolution operator

Li Guoyou, Zhang Fengxv*, Ji Zhian

Key Laboratory of Industrial Computer Control Engineering, Yanshan University, Qinhuangdao, Hebei 066004, China

Multifilter decision flow chart

Overview:In the actual target tracking process, the shape and posture of the target are different, and the environment in tracking is complex and changeable. It is difficult for a single filter to cope with the complex changes of the video sequence and tracking environment. To solve this problem, based on the efficient convolution operators for tracking algorithm, a multi-filter target tracking algorithm which can adapt to more complex environments is proposed. The algorithm trains two more filters of spatial-temporal regularization filter and consistency checking filter than the efficient convolution operators for tracking algorithm. The spatial-temporal regularization filter is obtained by introducing the temporal regularization into the loss function of correlation filtering. Spatial-temporal regularization filter can well adapt to the huge changes in the appearance of the target, so it can adapt to the environment that targets variable. The training method of consistency check filter is: firstly, the current filter is used to locate the target that has been tracked forward, and then the errors between the reverse location coordinate and the forward location coordinate are compared. When the error is less than the threshold, the consistency check filter is updated, but not be updated when the distance error is greater than the threshold. The consistency check filter reduces the noise information introduced in the filter update process, so it can be used in the case of more background clutter and noise. The correlation filter in the efficient convolution operators for tracking algorithm retains the most comprehensive target and background feature information, so it is suitable for relatively stable tracking environment with less interference. Spatial-temporal regularization filter, consistency check filter and correlation filter in efficient convolution operators for tracking are convolved with target features respectively, and three filter detection scores are obtained. The filter detection score obeys the Gaussian distribution. The higher the peak to side ratio of detection score, the higher the target tracking accuracy. The position of the target is estimated by the best filter detection score witch the peak to side ratio is more than the other filter detection score. The improved algorithm is evaluated on the OTB-2015 data set and UAV123 data set. Through qualitative and quantitative analysis, the experimental results show that the improved algorithm can better adapt to the complex changing environment in the tracking process, and its accuracy and success are improved, which is superior to most existing tracking algorithms.

Citation: Li G Y, Zhang F X, Ji Z AAdaptive multi-filter tracker based on efficient convolution operator[J]., 2020, 47(7): 190510

Adaptive multi-filter tracker based on efficient convolution operator

Li Guoyou, Zhang Fengxv*, Ji Zhian

Key Laboratory of Industrial Computer Control Engineering, Yanshan University, Qinhuangdao, Hebei 066004, China

With the problem of difficulty that a single filter to adapt to various complex changes in the tracking process, an adaptive multi-filter target tracking algorithm based on the efficient convolution operators for tracking is proposed. Spatial-temporal regularized filter, the consistency check filter and the correlation filter in the efficient convolution operator tracker, convolve with target features respectively, which obtains three detection scores. The training method of spatial-temporal regularized filter is to introduce temporal regularization into loss function. The consistency check filter is a filter that uses current filter to track the target of previous several frames and updates only when the error of forward and backward position is less than the threshold. Target position is estimated by the best filter detection score with the peak-to-side ratio is maximum. The improved algorithm is tested with the OTB-2015 dataset and UAV123 dataset. The experimental results show that the proposed algorithm can better adapt to the complex environment in tracking process, which has high precision and robustness.

target tracking; filter; spatial-temporal regularized; consistency check; efficient convolution operators

TP391.4

A

10.12086/oee.2020.190510

: Li G Y, Zhang F X, Ji Z A. Adaptive multi-filter tracker based on efficient convolution operator[J]., 2020,47(7): 190510

李國(guó)友，張鳳煦，紀(jì)執(zhí)安.自適應(yīng)多濾波器的高效卷積算子目標(biāo)跟蹤算法[J]. 光電工程，2020，47(7): 190510

Supported by Youth Fund for Science and Technology Research in Colleges (2011139), and Universities of Hebei Province and Natural Science Foundation of Hebei Province (F2012203111)

* E-mail: 1097089954@qq.com

2019-08-31；

2019-12-27

河北省高等學(xué)校科學(xué)技術(shù)研究青年基金項(xiàng)目(2011139)；河北省自然科學(xué)基金項(xiàng)目(F2012203111)

李國(guó)友(1972-)，男，博士，教授，主要從事機(jī)器視覺和圖像處理算法的設(shè)計(jì)。E-mail：lgyysu@163.com

張鳳煦(1994-)，男，碩士研究生，主要從事運(yùn)動(dòng)目標(biāo)的檢測(cè)與跟蹤的研究。E-mail：1097089954@qq.com