基于時空上下文的視覺跟蹤自適應(yīng)超特征融合*

馮明輝

（福建中煙工業(yè)有限責(zé)任公司 廈門 362000）

1 引言

視覺跟蹤是計算機視覺領(lǐng)域的一個熱門研究問題，有著廣泛的應(yīng)用，例如智能視頻監(jiān)控［1］，自動駕駛［2］，醫(yī)療診斷［3］，虛擬現(xiàn)實［4］。視覺跟蹤的主要任務(wù)是估計后續(xù)幀中目標(biāo)的未知狀態(tài)，只有第一幀中目標(biāo)的初始狀態(tài)（例如，通常是位置或比例）可用。目前，主流的跟蹤算法一般分為兩類，一類是基于相關(guān)濾波框架的跟蹤算法，另一類是基于深度卷積神經(jīng)網(wǎng)絡(luò)的跟蹤算法。這兩種方法各有優(yōu)缺點。

基于相關(guān)濾波器的方法［11～22，27～31］已于2010年引入視覺跟蹤社區(qū)，并取得了令人印象深刻的跟蹤性能。由于計算量低，基于CF 的跟蹤器可以通過快速傅立葉變換（FFT）將時域中復(fù)雜的卷積計算轉(zhuǎn)換成頻域中簡單的元素乘法運算。這種方法通常使用手工制作的特征（如 HOG［5］，Corlor Names［6］）來處理跟蹤過程中各種目標(biāo)和背景外觀的變化。

特征級融合方法［6～8］已經(jīng)被廣泛應(yīng)用，并且已經(jīng)做出了相當(dāng)大的努力來提高跟蹤性能，但是仍然有很大的改進(jìn)空間。方法［7］有效地結(jié)合了多種手工制作的特征，如HOG 和顏色名稱，其中HOG 特征對光照變化敏感，顏色名稱對變形和運動模糊具有魯棒性。HCFTstar［8～10］有效地結(jié)合了多層深層層次卷積特征，在跟蹤過程中，目標(biāo)對象經(jīng)常會遇到各種復(fù)雜的外觀場景挑戰(zhàn)。不正確的更新方法很容易導(dǎo)致跟蹤漂移，并會對后續(xù)幀的跟蹤性能產(chǎn)生負(fù)面影響。目前，大多數(shù)跟蹤算法［12，19～20，27］逐幀更新他們的模型，這些方法沒有考慮跟蹤是否準(zhǔn)確。

2 相關(guān)工作

2.1 基于相關(guān)濾波器的跟蹤算法

近年來，相關(guān)濾波器在視覺跟蹤算法中非常成功，因為它可以通過使用快速傅立葉變換來提高計算效率，并且可以有效緩解樣本模糊問題。MOSSE追蹤器［11］首次將相關(guān)濾波器理論引入視覺跟蹤，通過基于灰度圖像學(xué)習(xí)最小誤差平方和濾波器。隨后提出了大量基于相關(guān)濾波器的跟蹤算法。已經(jīng)做出了相當(dāng)大的努力來改進(jìn)跟蹤性能，改進(jìn)包括核化相關(guān)濾波器［12～13］、模型優(yōu)化方法［14］。

2.2 跟蹤算法的深度學(xué)習(xí)

為了增強跟蹤的魯棒性并實現(xiàn)最先進(jìn)的跟蹤性能，基于深度學(xué)習(xí)的方法已經(jīng)廣泛應(yīng)用于視覺跟蹤領(lǐng)域，并且精度已經(jīng)取得了顯著的進(jìn)步。例如，Danelljan 等［32］采用了基于區(qū)別性相關(guān)濾波器框架的深層卷積特征，而不是傳統(tǒng)手工制作的特征。馬等［33］利用不同層次卷積特征的性能特征進(jìn)行視覺跟蹤，通過推斷每一層的最大置信度來實現(xiàn)從粗到細(xì)的翻譯估計。宋等［34］提出了一種魯棒的卷積殘差學(xué)習(xí)跟蹤方法，該方法將特征提取、響應(yīng)圖生成和模型更新集成到一層卷積神經(jīng)網(wǎng)絡(luò)。李等［35］在暹羅網(wǎng)絡(luò)框架上引入了RPN（地區(qū)提案網(wǎng)絡(luò)），通過離線的端到端訓(xùn)練網(wǎng)絡(luò)實現(xiàn)實時和最先進(jìn)的跟蹤性能。

3 自適應(yīng)超特征融合算法

3.1 時空上下文跟蹤框架

大多數(shù)跟蹤算法通常使用余弦窗口來減輕邊界效應(yīng)，這限制了搜索窗口的區(qū)域并抑制了目標(biāo)周圍的上下文信息。CACF框架的主要目標(biāo)是獲得一個最佳濾波器w，用于所有由帶有滑動窗口的循環(huán)移位產(chǎn)生的訓(xùn)練樣本D0，并且傅立葉域中循環(huán)矩陣的性質(zhì)可以用于最小化以下回歸公式：

其中數(shù)據(jù)矩陣D0表示矢量化圖像塊d0的所有循環(huán)移位，w 是學(xué)習(xí)的相關(guān)濾波器?；貧w目標(biāo)y是2D 高斯的矢量化圖像，λ1表示正則化權(quán)重參數(shù)。

上下文感知框架想要訓(xùn)練一個對目標(biāo)圖像塊具有高響應(yīng)，對上下文圖像塊接近零響應(yīng)的濾波器，通過將上下文塊作為正則項添加到標(biāo)準(zhǔn)公式中來實現(xiàn)（參見式（1））。

這里，λ1，λ2是正則化權(quán)重因子，參數(shù)λ2用于控制上下文補丁回歸為零。

3.2 尺度判別相關(guān)濾波

在視覺跟蹤過程中，目標(biāo)物體經(jīng)常容易遇到尺度變化。在本文的工作中，為了有效地處理尺度變化，本文引入了一種精確的尺度估計方法，基于檢測跟蹤框架上的區(qū)分相關(guān)濾波器。這是通過在比例金字塔上訓(xùn)練一個比例鑒別相關(guān)濾波器，然后根據(jù)最佳置信度框架估計比例來實現(xiàn)的。以目標(biāo)為中心用于比例估計的圖像塊大小為

其中P 和R 分別表示當(dāng)前幀中的寬度和高度，ɑ 表示比例因子，S 表示比例濾波器的大小。目標(biāo)是獲得最佳尺度相關(guān)濾波器h。這是通過最小化以下目標(biāo)函數(shù)來實現(xiàn)的：

其中g(shù) 表示期望的相關(guān)輸出，l 表示特征的維數(shù)，λ是規(guī)則系數(shù)。上述頻域解決方案由以下公式給出：

其中G 和F 代表復(fù)雜的共軛。為了獲得準(zhǔn)確的結(jié)果，式（8）中H1的分母分別更新如下：

3.3 算法模型

3.3.1 自適應(yīng)特征融合方法

本文從目標(biāo)對象中提取了一些特征，如手工制作的特征，如（HOG、顏色直方圖），分層卷積特征，如（VGGNet中的conv5-4和conv4-4層）。首先，本文線性加權(quán)每個層次卷積特征：

Response_deep1 和 response_deep2 分 別 是對應(yīng)于conv5-4 和conv4-4的響應(yīng)值。

其中fuse_r1 和fuse_r2 分別是深度特征和手工特征的權(quán)重。由于深度特征具有比手工特征更高的辨別性能，因此深度特征的權(quán)重更高，手工特征的權(quán)重相對更低。

3.3.2 自適應(yīng)模型更新方法

當(dāng)目標(biāo)遇到復(fù)雜的外觀變化時，如遮擋、光照變化和視線之外。這些長期積累的信息將直接影響后續(xù)序列的跟蹤質(zhì)量，然后影響整個跟蹤模型并導(dǎo)致跟蹤漂移。為此本文提出了一種有效的模型更新機制。PSR定義如下：

其中G（x）是計算的響應(yīng)圖。Gmax（x）是響應(yīng)圖G（x）的峰值。s1是峰值周圍的峰值旁瓣區(qū)域，這是本文中響應(yīng)圖面積的15%，μs1和σs1是旁瓣面積的平均值和標(biāo)準(zhǔn)偏差。

圖1 顯示了PSR 平均值的跟蹤結(jié)果，本文知道目標(biāo)對象經(jīng)歷了顯著的外觀變化，峰值越尖銳，模型噪聲越少，滿足更新條件，其中平均PSR 值大于響應(yīng)峰值，應(yīng)該考慮模型更新。

圖1 PSR平均值分布

4 實驗分析

4.1 OTB基準(zhǔn)數(shù)據(jù)集的整體跟蹤性能

本文算法與14 種最先進(jìn)的追蹤器進(jìn)行比較，包括使用手工制作的特征（即LMCF［14］、SRDCF［27］、START _ CA［26］、START［7］和 ECO-HC［31］以及使用深度特征（即 UCT［37］、CREST［34］、DeepSRDCF［32］、DeepLMCF［14］流行的跟蹤基準(zhǔn)數(shù)據(jù)集［20～21］。該數(shù)據(jù)集由50 個視頻和100 個帶有11 種不同屬性的視頻全注釋視頻序列組成，以便于分別進(jìn)行跟蹤分析和評估。本文使用［20］中提供的三個指標(biāo)評估OTB-50 和 OTB-100 上的 13 個跟蹤器，并使用距離精度（DP）和重疊成功率（OS）報告跟蹤結(jié)果。距離精度（DP），顯示其估計中心位置在地面真相給定閾值距離內(nèi)的幀的百分比；重疊成功圖。圖2 說明了所提出的算法在OTB-50 基準(zhǔn)數(shù)據(jù)集上的距離精度（DP）、重疊成功圖（OS）方面比13 種最先進(jìn)的方法表現(xiàn)得好得多。所提出的跟蹤器性能良好，DP 為82.7%，OS為59.5%，其中平均DP 為82.7，超過了最近的最新跟蹤器，結(jié)果證明了利用所提出的方法從強大的超特征中訓(xùn)練更多的辨別性跟蹤器的重要性。圖3 說明了所提出的算法在OTB-100 基準(zhǔn)數(shù)據(jù)集上的距離精度（DP）、重疊成功圖（OS）方面比13 種最先進(jìn)的方法表現(xiàn)得好得多。所提出的跟蹤器性能良好，DP 為86.6%，OS 為64.2%，其中平均DP為86.6。這些跟蹤結(jié)果進(jìn)一步證明了所提出方法的有效性。

圖2 本文算法與其他算法比較1

4.2 基于屬性的跟蹤評估

在本節(jié)中，本文使用OTB-2015 數(shù)據(jù)集上的11個帶注釋的不同屬性，進(jìn)一步評估了建議跟蹤器的跟蹤性能：光照變化（IV）、比例變化（SV）、遮擋（OCC）、變形（DEF）、運動模糊（MB）、快速運動（FM）、面內(nèi)旋轉(zhuǎn)（IPR）、面外旋轉(zhuǎn)（OPR）、視野外旋轉(zhuǎn)（OV）、背景雜波（BC）、低分辨率（LR）。由于頁面有限，本文只報告7 個屬性結(jié)果的重疊成功圖，借助于自適應(yīng)模型更新方法，該算法對快速運動、運動模糊、視野外、平面內(nèi)旋轉(zhuǎn)和旋轉(zhuǎn)外的場景表現(xiàn)出更強的魯棒性，并且超特征融合對目標(biāo)外觀變化保持了強大的辨別能力。

圖3 本文算法與其他算法比較2

5 結(jié)語

本文提出了一種有效的自適應(yīng)超特征融合方法，用于魯棒視覺跟蹤。本文在響應(yīng)級別線性融合了多個強大的特征，如HOG、顏色直方圖和層次卷積特征。本文框架通過提出的自適應(yīng)融合方法充分利用了不同特征的優(yōu)勢，實現(xiàn)了精確的平移估計。引入輸出約束傳遞方法來控制響應(yīng)圖遵循高斯分布，以處理目標(biāo)外觀變化。為了減輕噪聲更新引起的模型漂移，提出了一種有效的自適應(yīng)模型更新方法，以確?？煽康母櫋?/p>