基于上下文感知和尺度自適應(yīng)的實(shí)時(shí)目標(biāo)跟蹤

夏愛明，伍雪冬

〈圖像處理與仿真〉

基于上下文感知和尺度自適應(yīng)的實(shí)時(shí)目標(biāo)跟蹤

夏愛明，伍雪冬

（江蘇科技大學(xué) 電子信息學(xué)院，江蘇 鎮(zhèn)江 212003）

針對(duì)傳統(tǒng)核相關(guān)濾波視覺目標(biāo)跟蹤算法在快速運(yùn)動(dòng)、背景雜波、運(yùn)動(dòng)模糊等情況下跟蹤精度低且不能處理尺度變化的問題，提出了一種基于上下文感知和尺度自適應(yīng)的實(shí)時(shí)目標(biāo)跟蹤算法。該算法在核相關(guān)濾波算法框架的基礎(chǔ)上，引入了上下文感知和尺度自適應(yīng)方法，增加了背景信息且能夠處理目標(biāo)的尺度變化。首先，利用融合了fHOG（fusion histogram of oriented gradient）、CN（color names）和灰度的特征對(duì)目標(biāo)區(qū)域進(jìn)行采樣，訓(xùn)練一個(gè)二維位移濾波器，然后，在目標(biāo)區(qū)域建立尺度金字塔，利用fHOG對(duì)目標(biāo)區(qū)域進(jìn)行多尺度采樣，訓(xùn)練一個(gè)一維尺度濾波器，最后，在模型更新階段改進(jìn)了更新策略。在標(biāo)準(zhǔn)數(shù)據(jù)集OTB-2015上對(duì)100組視頻序列進(jìn)行的試驗(yàn)結(jié)果表明，提出的算法比基準(zhǔn)算法（kernel correlation filter, KCF）精度提高了13.9%，成功率提高了14.2%，且優(yōu)于實(shí)驗(yàn)中對(duì)比的其他跟蹤算法。在尺度變化、運(yùn)動(dòng)模糊、快速運(yùn)動(dòng)等條件下，提出的算法在準(zhǔn)確跟蹤的同時(shí)，能夠保持較高的速度。

相關(guān)濾波；特征融合；上下文感知；尺度自適應(yīng)

0 引言

目標(biāo)跟蹤是計(jì)算機(jī)視覺領(lǐng)域極具挑戰(zhàn)性的課題，在服務(wù)型機(jī)器人、視頻監(jiān)控、人機(jī)交互、智能交通等方面有著廣泛的應(yīng)用前景。但在實(shí)際的場(chǎng)景中，存在著目標(biāo)尺度變化、遮擋、姿態(tài)變化、光照變化等問題，這些問題影響了目標(biāo)跟蹤的準(zhǔn)確性和成功率，因此如何解決這些問題成為視覺目標(biāo)跟蹤方向的研究熱點(diǎn)[1-2]。

針對(duì)在實(shí)際場(chǎng)景中存在的問題，研究人員提出了多種算法，但是目前還沒有通用的算法可以解決所有問題?？傮w而言，現(xiàn)有的目標(biāo)跟蹤算法主要分為生成式算法和判別式算法[3-4]。

近年來，基于判別式的相關(guān)濾波跟蹤算法，因其結(jié)構(gòu)簡(jiǎn)單和速度快而得到了廣泛的關(guān)注[5-8]。Bolme等[9]首次將相關(guān)濾波引入目標(biāo)跟蹤領(lǐng)域，并提出最小均方誤差和（minimum output sum of squared error, MOSSE）濾波器，采用簡(jiǎn)單的灰度特征即達(dá)到了快速高效的跟蹤。Henriques等[10]提出了經(jīng)典的核相關(guān)濾波算法（kernel correlation filter，KCF），采用方向梯度直方圖（histogram of oriented gradient，HOG）[11]特征并引入循環(huán)采樣、核方法和嶺回歸分類器，算法高速且精度高，成為了后續(xù)眾多算法的基礎(chǔ)，但是該算法沒有考慮尺度變化和背景信息，對(duì)尺度變化、背景雜波等不夠魯棒。Danelljan等[12]提出了自適應(yīng)顏色屬性跟蹤算法（color names，CN），利用顏色名[13]作為特征進(jìn)行目標(biāo)跟蹤，取得了不錯(cuò)的效果，但是特征單一，對(duì)光照變化不夠魯棒。Danelljan等[14]提出了尺度自適應(yīng)跟蹤算法（discriminative scale space tracker, DSST），利用降維后的HOG特征和灰度特征進(jìn)行位置跟蹤，利用HOG特征進(jìn)行尺度跟蹤，實(shí)現(xiàn)了對(duì)目標(biāo)尺度的魯棒跟蹤，但是其尺度金字塔尺度較粗，在尺度較細(xì)時(shí)，跟蹤不夠魯棒。Mueller等[15]提出了上下文感知相關(guān)濾波算法（context-aware correlation filter tracker, CACF），在目標(biāo)周圍提取圖像塊作為訓(xùn)練樣本，增加了訓(xùn)練樣本的背景信息，且速度損失較小，但是其更新策略不夠魯棒。

本文針對(duì)核相關(guān)濾波算法沒有考慮尺度變化、背景信息較少的問題，提出了一種改進(jìn)的基于核相關(guān)濾波的實(shí)時(shí)視覺目標(biāo)跟蹤算法（improved kernel correlation filter，IKCF），該算法引入上下文感知相關(guān)濾波來增加背景信息，并改進(jìn)其更新策略，顯著提高其精度和成功率，將HOG特征替換為融合fHOG、CN和灰度的特征，獲取更多的特征信息，增強(qiáng)特征的魯棒性，采用一維尺度金字塔尺度濾波器估計(jì)尺度，兩維位置濾波器估計(jì)位置，并改進(jìn)尺度金字塔的尺度粗細(xì)，引入了尺度估計(jì)且保證算法的實(shí)時(shí)性。

1 基于核相關(guān)濾波的改進(jìn)算法

核相關(guān)濾波算法通過對(duì)單個(gè)樣本進(jìn)行循環(huán)移位形成豐富的樣本庫，利用樣本庫建立目標(biāo)表觀模型，訓(xùn)練一個(gè)正則化的最小二乘（嶺回歸）分類器，利用核函數(shù)在傅里葉域進(jìn)行分類器訓(xùn)練和響應(yīng)檢測(cè)，得到濾波器模板和目標(biāo)在新一幀的位置，實(shí)現(xiàn)了目標(biāo)的在線訓(xùn)練與跟蹤。雖然KCF算法取得了不錯(cuò)的跟蹤效果，但是其跟蹤準(zhǔn)確性和成功率還有進(jìn)一步提升的空間。

本文針對(duì)KCF算法在目標(biāo)尺度變化、快速運(yùn)動(dòng)、背景雜波、運(yùn)動(dòng)模糊等情形下出現(xiàn)跟蹤失敗或跟蹤精度不高的問題，對(duì)KCF算法在目標(biāo)特征、背景信息、跟蹤策略和更新策略方面進(jìn)行了改進(jìn)。

1.1 特征融合

在目標(biāo)跟蹤過程中強(qiáng)大的特征可以顯著提高跟蹤的準(zhǔn)確度和檢測(cè)的性能。

KCF算法在CSK（circulant structure of tracking- by-detection with kernels）算法[16]的基礎(chǔ)上將灰度特征替換為HOG特征，性能得到了大幅地提升，CN在CSK的基礎(chǔ)上用顏色名特征對(duì)灰度特征進(jìn)行了替換，并利用主成分分析技術(shù)（principal component analysis, PCA）將11維顏色特征降為2維，取得了很好的效果，可見HOG特征和CN特征對(duì)目標(biāo)表觀建模有很強(qiáng)的表達(dá)能力。

fHOG[17]特征是將36維HOG特征縮減為32維特征而得，包括18維對(duì)比度敏感的方向通道、9個(gè)對(duì)比度不敏感的方向通道、4個(gè)紋理通道和一個(gè)全零通道，這種改進(jìn)的HOG特征保持了傳統(tǒng)HOG特征判別能力，且縮減了通道維數(shù)，從而減少了計(jì)算量，加快了跟蹤速度，本文去除全零通道，將fHOG縮減為31維。顏色名特征（CN）是人類用來表示世界上顏色的語言標(biāo)簽，包含11個(gè)基本的顏色術(shù)語：黑色、藍(lán)色、棕色、灰色、綠色、橙色、粉色、紫色、紅色、白色和黃色，這種描述比常用的顏色（如RGB、Hue等）具有更好的表達(dá)能力。本文沒有采用CN算法的降維方法，而僅保留了其中的10維通道。原始的灰度像素特征雖然沒有HOG和CN特征表達(dá)的信息多，但是其特征表達(dá)能力仍不能忽略。

由于核相關(guān)函數(shù)只需要計(jì)算點(diǎn)積和向量范數(shù)，因此可以對(duì)圖像特征應(yīng)用多個(gè)通道。本文中將31維的fHOG、10維的CN和1維的灰度像素共42個(gè)通道連接到一個(gè)向量中，使得本文提出的算法可以使用更強(qiáng)大的特征，特征的可視化見圖1。

1.2 環(huán)境上下文感知相關(guān)濾波

目標(biāo)跟蹤通常在第一幀人工給定一個(gè)矩形框，根據(jù)給定的矩形框進(jìn)行跟蹤。基于核相關(guān)濾波的算法一般都是在給定矩形框的基礎(chǔ)上放大1～2倍建立搜索區(qū)域，但是這樣做會(huì)丟失很多背景信息，而目標(biāo)周圍的背景對(duì)于跟蹤的性能有很大影響，如相似物體的背景雜波等。文獻(xiàn)[15]提出了在訓(xùn)練階段向?yàn)V波器添加上下文環(huán)境信息的環(huán)境上下文相關(guān)濾波跟蹤算法，增加更多的背景信息，采樣區(qū)域如圖2所示。

圖1 融合特征的可視化

圖2 采樣區(qū)域

在每一幀中，對(duì)目標(biāo)樣本周圍的個(gè)上下文圖像塊a(＝1,2,…,)進(jìn)行采樣，它們對(duì)應(yīng)的循環(huán)矩陣為(＝1,2,…,)，這些上下文圖像塊可以視為硬性負(fù)樣本。它們以各種干擾物和不同背景的形式包含目標(biāo)周圍的背景。這樣可以學(xué)習(xí)一個(gè)包含上下文樣本的濾波器，使得濾波器對(duì)目標(biāo)產(chǎn)生較高響應(yīng)，對(duì)上下文背景樣本響應(yīng)接近零。包含環(huán)境上下文圖像塊的最小化目標(biāo)函數(shù)為：

上式在單通道特征原始域中的解為：

式中：表示圖像的第幀；為學(xué)習(xí)率。

1.3 跟蹤過程

1.3.1 位移相關(guān)濾波

基于HOG特征的相關(guān)濾波跟蹤器（比如KCF，DSST）通過提取灰度圖像的方向梯度圖對(duì)特征進(jìn)行表達(dá)，對(duì)運(yùn)動(dòng)模糊和光照變化魯棒性高，但對(duì)顏色跟蹤效果不魯棒，CN特征側(cè)重于顏色信息，對(duì)顏色魯棒性高，對(duì)運(yùn)動(dòng)模糊和光照變化效果不佳，兩者具有互補(bǔ)作用，提出的算法將兩者結(jié)合并加上灰度特征，在KCF框架的基礎(chǔ)上引入環(huán)境上下文感知，用于2維位移相關(guān)濾波訓(xùn)練和檢測(cè)。將表示特征的多個(gè)通道連接到一個(gè)向量中，連接后的特征向量為c＝[1,2, …,42]，則公式(2)為：

響應(yīng)的檢測(cè)公式為：

1.3.2 尺度相關(guān)濾波

KCF跟蹤算法采用固定的目標(biāo)搜索區(qū)域，沒有考慮目標(biāo)尺度的變化，跟蹤過程中目標(biāo)尺度變化時(shí)，容易導(dǎo)致跟蹤失敗。為了保證跟蹤的成功率，需要對(duì)目標(biāo)的尺度變化進(jìn)行估計(jì)。目前尺度估計(jì)算法的一種常見思路是將尺度估計(jì)并入位移跟蹤器，構(gòu)成三維濾波器（如SAMF，scale adaptive with multiple features tracker[17]），而濾波器維數(shù)越高需要的計(jì)算成本越高，這將降低跟蹤器的速度。理想情況下，精確的尺度估計(jì)方法應(yīng)該是魯棒的，同時(shí)計(jì)算效率高。文獻(xiàn)[14]提出了一種快速尺度估計(jì)方法，通過分別獨(dú)立學(xué)習(xí)一個(gè)二維位移濾波器和一個(gè)一維尺度估計(jì)濾波器，相比融合尺度和位移的三維濾波器擁有更低的計(jì)算成本。此方法可以獨(dú)立選擇特征，而尺度估計(jì)加入CN特征對(duì)于尺度濾波器跟蹤意義不大，還可能降低跟蹤的效果，因此，提出的算法在這種方法的基礎(chǔ)上采用31維的fHOG特征進(jìn)行尺度跟蹤，以估計(jì)目標(biāo)圖像塊的尺度。

1）一維尺度金字塔構(gòu)建

設(shè)和分別表示當(dāng)前幀中目標(biāo)的寬和高，表示尺度濾波器中的尺度數(shù)，其值取為33。以位移濾波器預(yù)測(cè)的目標(biāo)位置為中心，構(gòu)建尺度金字塔圖像塊J，表達(dá)式如下：

式中：b表示各個(gè)特征層之間的尺度因子，在實(shí)驗(yàn)中觀察發(fā)現(xiàn)，兩幀圖像間尺度變化不會(huì)特別大，故本文采用細(xì)尺度，取值為1.002，通過式(6)可以得到33個(gè)以目標(biāo)尺度為中心的尺度金字塔，如圖3。

2）一維尺度估計(jì)

利用下式計(jì)算尺度相關(guān)濾波器響應(yīng)值R，以最大響應(yīng)尺度為當(dāng)前目標(biāo)尺度。

1.4 更新策略

在KCF中利用簡(jiǎn)單線性插值作為模型更新策略被證明不是最優(yōu)的[12]，因?yàn)樵诟履Ｐ蜁r(shí)只考慮當(dāng)前幀，而且之前幀在模型中的貢獻(xiàn)指數(shù)衰減過快。為了提高KCF的魯棒性，本算法采用了CN中提出的更新策略，同時(shí)考慮了當(dāng)前幀和之前所有幀中的目標(biāo)圖像塊，對(duì)分子分母分別更新，公式(4)和(8)的更新方式如下：

式中：1、2分別為位移濾波器和尺度濾波器的學(xué)習(xí)率。

2 算法流程

基于上述策略，文中算法的跟蹤步驟如下。

輸入：

當(dāng)前幀圖像I；

先前目標(biāo)位置p－1和尺度s－1；

位移模型A－1、B－1和尺度模型C－1、D－1。

輸出：

當(dāng)前幀目標(biāo)位置p和尺度s；

更新位移模型A、B和尺度模型C、D

位移估計(jì)：

1）在當(dāng)前幀圖像I中位置p－1和尺度s－1處提取位移樣本trans；

尺度估計(jì)：

5）在當(dāng)前幀圖像I中位置p和尺度s－1處提取尺度樣本scale；

模型更新

9）利用公式(9)、(10)更新位移模型A、B；

10）利用公式(11)、(12)更新尺度模型C、D

當(dāng)輸入下一幀圖像I＋1時(shí)，重復(fù)以上步驟，算法的整體跟蹤框架如圖4所示。

3 實(shí)驗(yàn)驗(yàn)證與分析

3.1 特征和參數(shù)設(shè)置

所有訓(xùn)練集視頻的參數(shù)設(shè)為固定，以防止過擬合。正則化參數(shù)設(shè)置為＝0.0001，1＝0.01。

將位移濾波器期望的相關(guān)輸出的標(biāo)準(zhǔn)偏差設(shè)置為目標(biāo)大小的1/10。濾波器大小設(shè)置為初始目標(biāo)大小的3倍。

位移濾波器的二維高斯標(biāo)簽的帶寬＝0.4，尺度濾波器的一維高斯標(biāo)簽帶寬1＝0.25。位移和尺度濾波器的學(xué)習(xí)率分別設(shè)置為1＝0.005,2＝0.03。

位移濾波器中使用的fHOG特征單元尺寸采用4×4，尺度濾波器使用的fHOG特征單元尺寸采用1×1。尺度參數(shù)設(shè)置參照第1.3.2節(jié)。

圖4 本文算法流程圖

3.2 實(shí)驗(yàn)設(shè)置

本文的所有代碼在MATLAB R2016a上編譯實(shí)現(xiàn)。在CPU為Intel G630，主頻2.70GHz，內(nèi)存為4GB的臺(tái)式計(jì)算機(jī)上運(yùn)行。

3.2.1 數(shù)據(jù)集

Wu等[18]建立了一套評(píng)估目標(biāo)跟蹤算法的視頻測(cè)試數(shù)據(jù)集OTB-2015，其中包含100個(gè)視頻，涵蓋了光照變化、顏色變化、快速移動(dòng)、遮擋、尺度變化等一系列視頻目標(biāo)跟蹤的過程中常見的問題，具有較高的代表性，已成為目標(biāo)跟蹤領(lǐng)域的通用測(cè)試集，提出的算法在此數(shù)據(jù)集中的全部100個(gè)視頻序列中運(yùn)行。

3.2.2 評(píng)估方法

為了評(píng)估跟蹤算法的性能，實(shí)驗(yàn)中采用OTB-2015測(cè)試數(shù)據(jù)集中兩種通用評(píng)估方法即精度圖（precision plots）和成功率圖（success plots）作為定量評(píng)價(jià)標(biāo)準(zhǔn)，評(píng)估方式采用一次跟蹤評(píng)估（one-pass evaluation，OPE），即所有的視頻序列只跟蹤一次。

在精度圖中，根據(jù)某范圍內(nèi)的閾值來繪制平均距離精度（distance precision, DP），使用的指標(biāo)是中心位置誤差（center location error, CLE），CLE定義為算法預(yù)測(cè)的目標(biāo)框中心坐標(biāo)與視頻序列中人工標(biāo)注的框中心坐標(biāo)之間的平均歐式距離。DP為CLE小于某一閾值的幀數(shù)占總幀數(shù)的比值，計(jì)算公式為DP＝/，為算法預(yù)測(cè)的位置與目標(biāo)的真實(shí)位置小于一定閾值時(shí)的幀數(shù)，為跟蹤視頻的總幀數(shù)，實(shí)驗(yàn)采用標(biāo)準(zhǔn)閾值（20像素）。

成功率圖的評(píng)估標(biāo)準(zhǔn)是成功率（Success Rate, SR），即跟蹤目標(biāo)框與人工標(biāo)注目標(biāo)框之間的重疊率超過一定閾值的幀數(shù)與跟蹤視頻的總幀數(shù)的比值，用重疊率R表示，計(jì)算公式為：

式中：T為算法預(yù)測(cè)目標(biāo)框；G為人工標(biāo)注目標(biāo)框，area(T∩G)表示區(qū)域重疊面積，area(T∪G)表示區(qū)域合并面積。實(shí)驗(yàn)中采用標(biāo)準(zhǔn)閾值0.5，大于該值認(rèn)為跟蹤成功。

為了評(píng)估算法的實(shí)時(shí)性，采用平均跟蹤速度進(jìn)行評(píng)估，平均跟蹤速度定義為視頻幀數(shù)除以算法跟蹤圖像總耗時(shí)，單位為fps（幀/每秒），文中以文獻(xiàn)[19-20]中定義的15fps作為實(shí)時(shí)性的判別標(biāo)準(zhǔn)。

3.3 與先進(jìn)算法的對(duì)比與分析

實(shí)驗(yàn)中選擇了OTB-2015中提供的可用于運(yùn)行100組視頻的7種算法，分別為CT（compressive tracking）、IVT（incremental learning for visual tracking）、DFT（distribution fields for tracking）、ASLA（adaptive structural local sparse appearance model）、L1APG（L1 tracker using accelerated proximal gradient approach）、ORIA（online robust image alignment）、CSK（circulant structure of tracking-by-detection with kernels），新加入了近年來比較先進(jìn)的算法3種，分別為KCF、CN和DSST。IKCF為本文提出的算法。為了保證測(cè)試的客觀性，所有的對(duì)比算法都采用其原始代碼和參數(shù)，并在相同的測(cè)試環(huán)境中進(jìn)行。

3.3.1 不同算法的特點(diǎn)

表1列出了最新6種算法的特點(diǎn)，從表1中可看出，本文算法采用了更強(qiáng)的特征來表征目標(biāo)，并且加入了尺度估計(jì)。

3.3.2 不同算法幀率

表2列出了全部11種算法在不同視頻上的跟蹤速度，表中第1行為視頻序列，最后1列為運(yùn)行速度，單位fps，表中加粗字體表示其對(duì)應(yīng)的算法達(dá)到了實(shí)時(shí)性的要求。從表2中可以看出，L1APG算法的跟蹤速度僅約0.6fps，遠(yuǎn)不能達(dá)到實(shí)時(shí)要求，而本文提出的算法可以達(dá)到26fps，與DSST相近。

表1 6種最新算法的特點(diǎn)

表2 11種算法運(yùn)行速度對(duì)比

3.3.3 定量分析

將11種算法在標(biāo)準(zhǔn)OTB-2015視頻數(shù)據(jù)集上運(yùn)行，得到排名前10的10種算法精度曲線圖和成功率曲線圖圖5。圖5為全部100組視頻的整體精度和成功率圖。從圖中可看出，文中提出的算法在整體跟蹤精度和成功率上均是最優(yōu)的。在精度圖中，提出的算法精度為0.793，比排名第二的基準(zhǔn)算法（KCF）提高了13.9%。在成功率圖中，本文算法成功率比基準(zhǔn)算法（KCF）提高了14.2%，比排名第二的DSST提高了2.6%。

實(shí)驗(yàn)中還繪制了不同環(huán)境下的精度圖和成功率圖，從中選出了快速運(yùn)動(dòng)、背景雜波、運(yùn)動(dòng)模糊、尺度變化4種環(huán)境下的精度圖和成功率圖，列在圖6中。從圖中可以看出，在這4種跟蹤環(huán)境下：①提出的算法在精度和成功率上均比基準(zhǔn)算法(KCF)有較大提高；②提出的算法的精度均排在第一；③在跟蹤成功率方面，除了尺度變化環(huán)境下的成功率略低于DSST，其余跟蹤環(huán)境下的成功率均排在第一。

圖5 100個(gè)視頻序列的精度圖和成功率圖

3.3.4 定性分析

為了更直觀地體現(xiàn)各個(gè)算法的跟蹤效果，圖7列出了11種對(duì)比算法中排名前4位的算法在OTB-2015數(shù)據(jù)集中部分具有代表性的視頻序列的跟蹤效果截圖。圖中視頻序列從上到下依次為jogging-1，singer2和shaking。3組視頻均存在快速運(yùn)動(dòng)、遮擋、運(yùn)動(dòng)模糊、尺度變化等多種干擾條件，具有很好的代表性。

1）jogging-1視頻中第76幀左右遇到燈桿的遮擋，在第84幀看到只有本文算法跟蹤到目標(biāo)，其他算法均跟蹤失敗。

2）singer2視頻中第11幀4種算法都能很好地跟蹤，由于目標(biāo)的快速運(yùn)動(dòng)、姿態(tài)變化、背景雜波和尺度變化，在15幀左右CN算法跟蹤發(fā)生了偏離，本文算法和其它算法能夠一直跟蹤到第366幀，并且跟蹤效果最好。

3）shaking視頻序列中由于目標(biāo)的光照變化、姿態(tài)變化、尺度變化和平面內(nèi)翻轉(zhuǎn)，本文算法在第15幀左右發(fā)生了跟蹤偏離，但在21幀左右又能重新跟蹤到目標(biāo)，并且跟蹤效果較好。

從3組視頻序列可以看出，本文算法在保持較高精度的同時(shí)，還可以很好地處理目標(biāo)的尺度變化和目標(biāo)周圍的環(huán)境，說明算法中加入的尺度自適應(yīng)、上下文感知和更新策略發(fā)揮了良好的作用。

圖6 不同跟蹤環(huán)境曲線圖

4 結(jié)束語

針對(duì)KCF算法存在背景信息較少和不能很好處理目標(biāo)尺度變化的問題，在其基礎(chǔ)上提出了一種改進(jìn)算法，增加背景信息的同時(shí)，還可以處理目標(biāo)的尺度變化。利用融合的多特征訓(xùn)練一個(gè)二維位移濾波器估計(jì)目標(biāo)位置，利用fHOG特征訓(xùn)練一個(gè)一維尺度濾波器估計(jì)目標(biāo)尺度，在模型更新階段改進(jìn)了更新策略。在標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)表明：提出的算法對(duì)基準(zhǔn)KCF算法有較大改善，與其他當(dāng)前一些主流跟蹤算法相比整體綜合性能較好，驗(yàn)證了提出的算法的可行性和有效性。另外，位移濾波器中使用的3種特征只是簡(jiǎn)單的矢量鏈接，沒有考慮到不同視頻場(chǎng)合下不同特征的主導(dǎo)作用，同時(shí)跟蹤的成功率還有待進(jìn)一步提高。

[1] Yilmaz A. Object tracking: a survey[J]., 2006, 38(4): 1-45.

[2] Smeulders A W M, Chu D M, Cucchiara R, et al. Visual tracking: an experimental survey[J]., 2014, 36(7): 1442-1468.

[3] 魏全祿, 老松楊, 白亮.基于相關(guān)濾波器的視覺目標(biāo)跟蹤綜述[J]. 計(jì)算機(jī)科學(xué), 2016, 43(11):1-5,18.

WEI Quanlu, LAO Songyang, BAI Liang. Visual Object Tracking Based on Correlation Filters: A Survey[J]., 2016, 43(11): 1-5, 18.

[4] 孟琭, 楊旭. 目標(biāo)跟蹤算法綜述[J]. 自動(dòng)化學(xué)報(bào), 2019, 45(7): 1244-1260.

MENG Lu, YANG Xu. A Survey of Object Tracking Algorithms[J]., 2019, 45(7): 1244-1260.

[5] 徐康, 龍敏.增強(qiáng)尺度估計(jì)的特征壓縮跟蹤算法[J]. 紅外技術(shù), 2018, 40(12): 1176-1181.

XU Kang, LONG Min. Feature Compression Tracking Algorithm with Enhanced Scale Estimation[J]., 2018, 40(12): 1176-1181.

[6] 劉教民, 郭劍威, 師碩.自適應(yīng)模板更新和目標(biāo)重定位的相關(guān)濾波器跟蹤[J]. 光學(xué)精密工程, 2018, 26(8): 2100-2111.

LIU Jiaomin, GUO Jianwei, SHI Shuo. Correlation filter tracking based on adaptive learning rate and location refiner[J]., 2018, 26(8): 2100-2111.

[7] 葉瑞哲, 許卓斌.基于自適應(yīng)搜索的空時(shí)上下文目標(biāo)跟蹤算法[J]. 微電子學(xué)與計(jì)算機(jī), 2018, 35(6):88-91.

YE Ruizhe, XU Zhuobin.Spatio-Temporal Context-based Object Tracking Algorithm in Video Surveillance[J]., 2018, 35(6): 88-91.

[8] 胡昭華, 鈕夢(mèng)宇, 邵曉雯, 等.多層深度特征的目標(biāo)跟蹤算法研究[J]. 現(xiàn)代電子技術(shù), 2019, 42(1): 51-56.

HU Zhaohua, NIU Mengyu, SHAO Xiaowen, et al. Research on object tracking method based on multi-level deep feature[J]., 2019, 42(1): 51-56.

[9] Bolme D S, Beveridge J R, Draper B A, et al. Visual object tracking using adaptive correlation filters[C]//2010, 2010: 2544-2550.

[10] Henriques J F, Caseiro R, Martins P, et al. High-speed tracking with kernelized correlation filters[J]., 2015, 37(3): 583-596.

[11] Felzenszwalb P F, Girshick R B, McAllester D, et al. Object detection with discriminatively trained part-based models[J]., 2010, 32(9): 1627-1645.

[12] Danelljan M, Shahbaz Khan F, Felsberg M, et al. Adaptive color attributes for real-time visual tracking[C]//, 2014: 1090-1097.

[13] Van De Weijer J, Schmid C, Verbeek J, et al. Learning color names for real-world applications[J]., 2009, 18(7): 1512-1523.

[14] Danelljan M, H?ger G, Khan F, et al. Accurate scale estimation for robust visual tracking[C]//, 2014: 1-11.

[15] Mueller M, Smith N, Ghanem B. Context-aware correlation filter tracking[C]//, 2017: 1396-1404.

[16] Henriques J F, Caseiro R, Martins P, et al. Exploiting the circulant structure of tracking-by-detection with kernels[C]//2012: 702-715.

[17] LI Y, ZHU J. A scale adaptive kernel correlation filter tracker with feature integration[C]//, 2014: 254-265.

[18] WU Y, LIM J, YANG M H. Object Tracking Benchmark[J]., 2015, 37(9): 1834-1848.

[19] YUN S, CHOI J, YOO Y, et al. Action-decision networks for visual tracking with deep reinforcement learning[C]//. 2017: 2711-2720.

[20] LI Y, FU C, HUANG Z, et al. Keyfilter-aware real-time uav object tracking[C]//2020(), 2020: 193-199.

Real-time Object Tracking Based on Context Awareness and Scale Adaptation

XIA Aiming，WU Xuedong

(School of Electronics and Information, Jiangsu University of Science and Technology, Zhenjiang 212000, China)

Becausethe traditional kernel correlation filter algorithm for visual object tracking has low tracking accuracy under fast motion, background clutter, and motion blurring conditions and cannot deal with scale changes, a real-time object tracking algorithm based on context awareness and scale adaptation is proposed. Based on the kernel correlation filter algorithmframework, context-aware and scale-adaptive methods are introduced to add background information and handle changes in the scale of the target. First, the target region is sampled using the features of the fusion histogram of oriented gradient (fHOG), color names (CN),and gray, and a two-dimensional translation filter is trained. Then, a scale pyramid is established in the target areaand multi-scale sampling is performed using fHOG on the target area. Following this, a one-dimensional scale filter is trained. Finally, the update strategy is improved in the model updating stage. The experimental results of 100 sets of video sequences in the standard OTB-2015 dataset show that the proposed algorithm showed an improvement in the accuracy by 13.9% as compared with the benchmark algorithm (kernel correlation filter, KCF), and the success rate improved by 14.2%, which is superior to that of other comparison-tracking algorithms considered in the experiment. Under the conditions of scale change, motion blur, and fast motion, the proposed algorithm can maintain a high speed with accurate tracking.

correlation filters, feature fusion, context-aware, scale-adaptive

TP391.41

A

1001-8891(2021)05-0429-08

2019-06-08；

2021-03-19.

夏愛明（1985-），男，碩士研究生，主要研究方向?yàn)橐曈X目標(biāo)跟蹤。E-mail: 362931408@qq.com。

伍雪冬（1975-），男，博士，教授，主要研究方向?yàn)橛?jì)算機(jī)視覺,能源預(yù)測(cè)與環(huán)境經(jīng)濟(jì)調(diào)度等。E-mail: woolcn@163.com。

國家自然科學(xué)基金（61671222）。