一種基于特征互補(bǔ)的新型長期跟蹤算法

夏 亮，張 亞，魏念巍

(安徽理工大學(xué) 電氣與信息工程學(xué)院，安徽 淮南 232001)

計(jì)算機(jī)視覺在日常生活及工業(yè)生產(chǎn)中作用突出，而目標(biāo)跟蹤已成為該領(lǐng)域研究的重點(diǎn)方向之一，并被廣泛應(yīng)用于安防監(jiān)控、國防工業(yè)、自動(dòng)駕駛和智能交通等領(lǐng)域[1].傳統(tǒng)的目標(biāo)跟蹤算法在簡單環(huán)境下表現(xiàn)良好，但在目標(biāo)遮擋、尺度變化、光照變化、背景雜波等干擾場景下，跟蹤效果嚴(yán)重不佳，因此，長期穩(wěn)定的目標(biāo)跟蹤算法是一個(gè)值得研究的課題方向.

目標(biāo)跟蹤算法主要包含生成式和判別式2 種方式[2].目標(biāo)跟蹤生成式算法主要對跟蹤目標(biāo)特征進(jìn)行建模，再搜索相似區(qū)域并估計(jì)出目標(biāo)位置，其經(jīng)典算法有Meanshift 和Kalman Filter.判別式跟蹤算法則是將跟蹤目標(biāo)從背景中區(qū)分出來，經(jīng)分類后得到跟蹤結(jié)果，具有快速、穩(wěn)定的跟蹤表現(xiàn).近年來，相關(guān)濾波跟蹤算法在目標(biāo)跟蹤領(lǐng)域有著快速性和穩(wěn)定性的良好表現(xiàn)，相應(yīng)領(lǐng)域的研究也迅速展開.2010 年，Bolme 等[3]首次使用相關(guān)濾波進(jìn)行目標(biāo)跟蹤，提出了跟蹤器濾波(MOSSE)算法.Henriques 等[4]提出核相關(guān)濾波器(KCF)算法，使梯度方向直方圖特征(HOG)[5]結(jié)合核方法，并引入相關(guān)濾波，將特征用核技巧在高維空間進(jìn)行表達(dá)，增強(qiáng)特征和濾波器穩(wěn)健性.Li 等[6]提出的SAMF 算法融合了HOG 特征與顏色特征(CN)，同時(shí)根據(jù)尺度特征估計(jì)目標(biāo)的最佳尺度，其跟蹤精度比KCF 算法有較大提升.2016 年，Bertinetto等[7]通過構(gòu)造2 個(gè)獨(dú)立的嶺回歸框架，提出了特征互補(bǔ)學(xué)習(xí)跟蹤算法(Staple)，增強(qiáng)了系統(tǒng)在目標(biāo)形變與快速運(yùn)動(dòng)等場景下的抗干擾性能.雖然Staple 算法具有較好的跟蹤性能，跟蹤速度也較快，但是當(dāng)目標(biāo)在被嚴(yán)重遮擋、超出視野、有相似目標(biāo)干擾等場景下時(shí)，Staple 算法會(huì)出現(xiàn)目標(biāo)丟失及模型漂移等狀況.

為了解決長期目標(biāo)跟蹤過程中出現(xiàn)的以上問題，本文在Staple 算法基礎(chǔ)上，提出一種依賴丟失重檢測機(jī)制的長期目標(biāo)跟蹤算法，對長期目標(biāo)跟蹤過程中的目標(biāo)丟失進(jìn)行判斷，調(diào)用GMS 匹配算法[8]進(jìn)行重檢測并對模板更新，使跟蹤器重定位初始目標(biāo)，有效保持該跟蹤算法的穩(wěn)定性與準(zhǔn)確度.

1 Staple 跟蹤算法

Staple 算法分別用梯度方向直方圖特征和顏色直方圖特征來構(gòu)建2 個(gè)獨(dú)立的濾波器[9]，根據(jù)融合響應(yīng)最大值確定對應(yīng)的目標(biāo)位置與尺寸，并在當(dāng)前幀的跟蹤響應(yīng)最大值位置提取表征對模板進(jìn)行更新.

1.1 相關(guān)濾波器

相關(guān)濾波器提取目標(biāo)及其附近區(qū)域的HOG表征，f表示d維的特征構(gòu)成樣本，根據(jù)嶺回歸方程得到的目標(biāo)模型為

1.2 顏色直方圖

在訓(xùn)練階段采用顏色直方圖判別器訓(xùn)練模板φ，提取顏色特征，且目標(biāo)在每個(gè)特征維度的損失函數(shù)為

2 長期跟蹤算法

通過設(shè)計(jì)一種基于特征匹配的重檢測模型，改善Staple 算法在長期目標(biāo)跟蹤過程中的易受干擾而丟失目標(biāo)的缺陷，使其對受遮擋、光照變化等影響具有更強(qiáng)的適應(yīng)性，從而保持穩(wěn)定地長期目標(biāo)跟蹤.

2.1 基于特征匹配的重檢測

本文采用特征匹配算法(GMS)作為檢測器，該算法匹配目標(biāo)的ORB 特征，對計(jì)算出的匹配成功的特征相似點(diǎn)部分進(jìn)行過濾，并消除錯(cuò)誤匹配部分，其基于網(wǎng)格運(yùn)動(dòng)統(tǒng)計(jì)的方式能夠快速、準(zhǔn)確地對特征提取匹配[12].將目標(biāo)圖像Im和候選匹配圖像It匹配的區(qū)域表示為m,t，iQ?Q為該區(qū)域之間的點(diǎn)集，考慮各個(gè)特征點(diǎn)匹配是獨(dú)立的，可近似認(rèn)為鄰域匹配點(diǎn)數(shù)iρ為二次分布，即

其中，ix和iy為預(yù)匹配集中匹配對的坐標(biāo)；n為匹配點(diǎn)集總數(shù)；iw為點(diǎn)匹配正確時(shí)周圍點(diǎn)的支持概率.根據(jù)匹配結(jié)果確定跟蹤目標(biāo)位置，分別將該位置對應(yīng)的圖像塊代入相關(guān)濾波器模型和顏色直方圖模型中計(jì)算，使跟蹤器初始化目標(biāo)跟蹤.

2.2 算法步驟

所提出的基于特征互補(bǔ)和重檢測(Re_Staple)算法的步驟如下：

1)根據(jù)輸入初始幀圖像0x以及目標(biāo)框，建立相關(guān)濾波器模型和顏色直方圖模型；

6)利用式(3)～式(4)更新當(dāng)前幀的濾波器模型h，利用式(9)～式(10)更新顏色直方圖模型φ.

3 實(shí)驗(yàn)對比分析

實(shí)驗(yàn)配置為 Intel(R) Core(TM) i7-7700HQ(2.8 GHz)CPU，8 G 內(nèi)存；算法平臺(tái)版本為Matlab 2018a，閾值τ選取為 0.18.選擇公開數(shù)據(jù)集OTB-2013，OTB-2015[13]和顏色跟蹤基準(zhǔn)Temple Color-128[14]中的部分視頻序列，并對其在6 種不同的視覺干擾跟蹤場景(尺度變化(SV)、目標(biāo)遮擋(OCC)、變形(DEF)和快速運(yùn)動(dòng)(FM)等)下進(jìn)行分析對比，以驗(yàn)證算法的魯棒性.

3.1 綜合性能評估

為有效評估基于特征互補(bǔ)學(xué)習(xí)與重檢測的長期跟蹤算法Re_Staple 的實(shí)用性，選取KCF，CSK，CT，Staple，LCT 和fDSST[15]等主流算法進(jìn)行對比，結(jié)果如圖1 所示.

圖1 不同算法的精確度和成功率對比

圖1 為改進(jìn)后的算法在一次通過評估(OPE)距離精度(DP)閾值為20 像素和重疊成功率(OS)閾值為0.5 條件下，與其他算法的對比結(jié)果.由圖1可以看出，所提算法的精確度為81.1%，相比于Staple 算法提升了17.5%；成功率為84.5%，相比于Staple 算法提高了17.8%；其精確度和成功率均優(yōu)于其他對比算法，綜合性能表現(xiàn)優(yōu)異.

表1 列出了幾種對比算法的一次通過評估距離精度、重疊成功率和速度的詳細(xì)對比結(jié)果.

表1 各算法重疊率、平均精度和速度對比

從表1 可看出，改進(jìn)后的算法綜合性能優(yōu)異，整體的重疊率和平均精度都表現(xiàn)突出，并展現(xiàn)了36.7 幀·s-1的速度，相較于速度快但準(zhǔn)確度低的CSK 算法更加實(shí)用，能滿足實(shí)際工程的需求.

3.2 不同場景下的算法性能分析

為充分對比在不同干擾環(huán)境下各算法的表現(xiàn)差異，實(shí)驗(yàn)選取了尺度變化、目標(biāo)遮擋、變形和快速運(yùn)動(dòng)等6 個(gè)場景，測試了所提算法的一次通過評估準(zhǔn)確度，其結(jié)果如表2 所示.

表2 不同場景下各算法性能對比 %

由表2 可知，本文所提算法在遮擋、尺度變化、快速運(yùn)動(dòng)等場景下表現(xiàn)優(yōu)異.如在遮擋場景下，其準(zhǔn)確度達(dá)到75.2%，相比Staple 算法提升了27.0%，性能上有著顯著改善.這說明采用特征融合的算法更能適應(yīng)目標(biāo)丟失的情況，對顏色變化明顯的干擾場景也有著良好的魯棒性.

3.3 遮擋重檢測性能測試

為進(jìn)一步驗(yàn)證所提算法在遮擋重檢測方面的性能，將改進(jìn)前、后算法的跟蹤響應(yīng)最大值曲線進(jìn)行對比，選取2 個(gè)典型遮擋序列(Carchasing_ce1和jogging-1)進(jìn)行測試，結(jié)果如圖2 所示.

圖2 遮擋重檢測結(jié)果

由圖2 可知，在視頻序列Carchasing_ce1 的第143 幀和視頻序列jogging-1 的第70 幀，由于目標(biāo)被障礙物遮擋，導(dǎo)致跟蹤器丟失目標(biāo)，當(dāng)目標(biāo)重新出現(xiàn)的時(shí)候，Staple 算法并不能對目標(biāo)穩(wěn)定跟蹤，而改進(jìn)的Re_Staple 算法可以重新找回丟失的目標(biāo)，并對其長期有效地跟蹤，這驗(yàn)證了所提算法對丟失目標(biāo)具有良好的重檢測能力.

4 結(jié)論

為彌補(bǔ)傳統(tǒng)Staple 算法缺陷，在相關(guān)濾波和顏色特征模型的基礎(chǔ)上，使用基于網(wǎng)格運(yùn)動(dòng)統(tǒng)計(jì)的特征匹配算法(GMS)作為檢測器，通過對受遮擋和丟失目標(biāo)的重檢測，重新定位到目標(biāo)的確切位置，保證長期穩(wěn)定地跟蹤目標(biāo).在公開數(shù)據(jù)集上驗(yàn)證了所提算法的性能，綜合性能評估結(jié)果表明，其一次通過評估精確度為81.1%，重疊成功率為84.5%，均優(yōu)于各對比算法；不同場景下的算法性能對比和遮擋重檢測測試結(jié)果表明，所提算法具有較強(qiáng)的顏色和尺度變化適應(yīng)性，且在有遮擋和相似目標(biāo)干擾等場景下，也能準(zhǔn)確、穩(wěn)定地對目標(biāo)進(jìn)行長期跟蹤.