強化前景感知的相關(guān)濾波目標跟蹤

姜文濤，徐曉晴

1.遼寧工程技術(shù)大學 軟件學院，遼寧 葫蘆島 125105

2.遼寧工程技術(shù)大學 研究生院，遼寧 葫蘆島 125105

在現(xiàn)代化數(shù)字城市中，目標跟蹤技術(shù)占據(jù)重要地位[1-6]，在智能監(jiān)控[7]、現(xiàn)代化軍事[8]和醫(yī)學圖像[9]等領(lǐng)域被廣泛應(yīng)用。但實際生活場景較為復(fù)雜多變，這些不確定性給目標跟蹤帶來了極大的挑戰(zhàn)[10]。因此，實現(xiàn)較為魯棒的目標跟蹤仍是一項極具挑戰(zhàn)性的任務(wù)[11-13]。

相關(guān)濾波算法具有魯棒性強、速度快及精度高等特點，近年來得到了國內(nèi)外廣泛的關(guān)注及應(yīng)用。2010年，Bolme等[14]將信號處理領(lǐng)域的相關(guān)濾波方法引入到目標跟蹤領(lǐng)域，提出了最小輸出誤差平方和（minimum output sum of squared error，MOSSE）算法，該算法將計算轉(zhuǎn)換到頻域內(nèi)，在頻域內(nèi)快速學習并檢測，有效提高了跟蹤速度。2014 年，Danelljan 等[15]提出了判別型尺度空間跟蹤（discriminative scale space tracking，DSST）算法，增加了尺度濾波器，使獨立的尺度濾波器和位置濾波器分別學習，可以較好地應(yīng)對尺度變化，提高了尺度自適應(yīng)能力。隨后，Henriques等[16]將多通道的HOG（histogram of oriented gradients）特征引入，提出了著名的核相關(guān)濾波（kernel correlation filters，KCF）算法，算法通過核函數(shù)將非線性問題轉(zhuǎn)化為線性問題，有效提高了模型跟蹤的準確性。相關(guān)濾波算法采用循環(huán)移位策略進行采樣，使算法易受邊界效應(yīng)影響。Danelljan等[17]在2015年提出了基于空間正則化的相關(guān)濾波（spatially regularized correlation filters，SRDCF）算法，在擴大檢測區(qū)域的同時，加入了空間正則化懲罰項，有效緩解了邊界效應(yīng)。2016年，Bertinetto等[18]在DSST算法的基礎(chǔ)上融合了顏色直方圖特征，提出互補性實時跟蹤Staple算法，將相關(guān)濾波響應(yīng)和顏色直方圖概率響應(yīng)以固定權(quán)值進行融合，根據(jù)融合后的響應(yīng)進行目標定位。隨后，Danelljan 等[19]提出了快速判別尺度空間跟蹤（fast discriminative scale space tracking，fDSST）算法，在DSST基礎(chǔ)上通過壓縮維數(shù)和線性插值方式，加快了算法的運算速度。2017 年，Galoogahi 等[20]提出了背景感知相關(guān)濾波（background-aware correlation filters，BACF）算法，該算法聯(lián)合背景信息，擴大循環(huán)采樣區(qū)域，剪裁出高質(zhì)量樣本并增加其數(shù)量，有效提高了算法定位精度。2018年，Li等[21]提出了時空正則化相關(guān)濾波器（spatial-temporal regularized correlation filters，STRCF）算法，加入了時間正則項并在跟蹤過程中只使用上一幀的信息，大幅度提高了算法的精度及速度。2019年，Huang等[22]引入抑制跟蹤異常機制，提出了畸變抑制正則化相關(guān)濾波（aberrance repressed correlation filters，ARCF）算法，有效避免了由響應(yīng)圖畸變造成的跟蹤誤差累計問題。2020年，Li等[23]提出了自動時空正則化跟蹤（automatic spatio-temporal regularization tracking，AutoTrack）算法，多特征訓(xùn)練濾波器并自適應(yīng)調(diào)整正則化參數(shù)，提高了跟蹤算法的魯棒性。2021年，Xu等[24]提出了自適應(yīng)信道選擇判別相關(guān)濾波器（adaptive channel selection with discriminative correlation filters，ACSDCF）算法，通過衡量多通道特征的相關(guān)性進行通道的選擇，可以較好地應(yīng)對目標變化。

以上相關(guān)濾波算法在各個方面都有不同程度的提高，但仍然存在著許多不足。當目標出現(xiàn)形變、快速移動、運動模糊、相似物干擾以及遮擋時，跟蹤效果不理想。大多相關(guān)濾波方法都是提取單特征進行匹配并且每一幀都進行模型更新，在復(fù)雜情況下跟蹤魯棒性較低。另外一些（如Staple）是將多特征以固定權(quán)值進行融合，在不同的跟蹤情況下并不一定是最優(yōu)策略。本文針對以上問題提出了強化前景感知的相關(guān)濾波目標跟蹤，本文采用相關(guān)濾波器提取目標的梯度方向直方圖（HOG）特征并進行相關(guān)運算得到目標的相關(guān)濾波響應(yīng)，同時將改進的顏色直方圖干擾感知模型[25]引入，通過加強前景和背景顏色直方圖差異部分使得前景像素更加顯著，并通過其干擾感知模型預(yù)測存在的相似干擾區(qū)域并抑制。再將相關(guān)濾波響應(yīng)和顏色直方圖概率響應(yīng)自適應(yīng)加權(quán)融合，融合后的干擾感知響應(yīng)圖中最大值位置即為目標位置，其融合權(quán)重通過利用顏色直方圖干擾感知模型計算目標區(qū)域內(nèi)像素點為目標的概率均值控制。最后通過平均峰相關(guān)能量（average peak-to correlation energy，APCE）值[26]和最大響應(yīng)值fmax設(shè)置高置信度判別條件，只有當兩者值都以一定比例高于其歷史均值時，認為目標跟蹤結(jié)果具有較高可信度，再通過計算幀差均值[27]判斷目標或背景的變化幅度，當變化較大時進一步通過計算前后幀間歐式距離[28]判斷是目標運動還是背景運動，最后針對不同情況設(shè)置相應(yīng)的相關(guān)濾波模型更新學習率。

1 相關(guān)濾波器原理

fDSST算法是基于DSST的改進算法，在保障了算法魯棒性的前提下，對位置濾波器提取的HOG 特征采用主成分分析（principal component analysis，PCA）方法進行壓縮降維，同時采用插值運算，大大提升了跟蹤算法的實時性，從而本文選取此方法作為相關(guān)濾波部分的基算法。

首先，手動選取跟蹤目標的第一幀，循環(huán)采樣得到一系列目標樣本x(n)∈R(d)，fDSST 算法對目標區(qū)域提取d維HOG 特征，記作x(l)，l∈(1,2,…,d)，l表示特征通道。通過構(gòu)建最小化相關(guān)響應(yīng)與期望輸出g之間的代價函數(shù)ε獲得最優(yōu)相關(guān)濾波器h(l)，目標函數(shù)如下：

式中，?為循環(huán)相關(guān)操作；g為高斯函數(shù)類型的期望輸出響應(yīng)分數(shù)；λ為正則化參數(shù)，用于避免濾波器過擬合；h(l)、x(l)與g具有相同的大小及維數(shù)。

為了加速計算，將式（1）的線性最小二乘問題通過Parseval公式轉(zhuǎn)化到傅里葉域進行運算，求解最優(yōu)相關(guān)濾波器H(l)：

式中，H、G、X均表示其對應(yīng)量的離散傅里葉變換（dis crete Fouriertransform，DFT），表示復(fù)共軛。首先將H(l)轉(zhuǎn)化為式（3）的分數(shù)形式，并采用如下更新策略：

為了提高算法的實時性，fDSST算法引入主成分分析法對特征進行降維壓縮，從而減少快速傅里葉變換次數(shù)。更新目標模板，再通過最小化目標模板的重構(gòu)誤差ε構(gòu)建大小為的投影矩陣Rt，用于將高維特征投影到低維子空間。投影矩陣Rt通過式（4）獲?。?/p>

對于新一幀圖像，利用前一幀的目標位置信息在特定的背景區(qū)域提取不同維度特征樣本，對其進行壓縮降維后得到候選樣本zt，再經(jīng)快速傅里葉變換（fast Fourier transform，F(xiàn)FT）得到，計算得到最終的響應(yīng)分數(shù)為：

對上式得到的響應(yīng)分數(shù)Yt進行傅里葉逆變換（inverse fast Fourier transform，IFFT）得到最終的濾波器響應(yīng)fcf，利用其最大響應(yīng)值定位目標。相關(guān)濾波響應(yīng)fcf表達式如下：

為了更好地應(yīng)對跟蹤過程中目標尺度不斷變化的問題，在定位目標后，采用尺度濾波器估計目標的最佳尺度。尺度濾波器與位置濾波器有相似的濾波學習過程，首先構(gòu)造尺度金字塔，然后將尺度池中不同尺度通過相關(guān)濾波器濾波得到17 維的響應(yīng)向量，再對17 維響應(yīng)向量進行插值得到33 維的尺度響應(yīng)向量，其中最大響應(yīng)尺度即為所求的目標最優(yōu)尺度。尺度響應(yīng)的計算表達式如下：

2 本文算法

本文在相關(guān)濾波算法的基礎(chǔ)上融合了增強前景的顏色直方圖干擾感知模型，將相關(guān)濾波算法得到的目標響應(yīng)與顏色直方圖響應(yīng)自適應(yīng)加權(quán)融合得到最終的干擾感知響應(yīng)圖，利用此圖中最高峰位置定位目標。最后通過平均峰相關(guān)能值和響應(yīng)圖最大值聯(lián)合判斷目標跟蹤的可信度。當跟蹤可信度較低時說明目標跟蹤不準確或出現(xiàn)跟蹤漂移，不進行模板更新；反之，通過幀差法判斷目標變化程度，目標變化程度較大時利用前后幀間歐式距離判斷屬于目標變化或背景變化。每種情況設(shè)置不同的相關(guān)濾波模型的學習率以實現(xiàn)模型的自適應(yīng)更新。本文算法總體框架如圖1所示。

圖1 總體框架圖Fig.1 General frame diagram

2.1 改進顏色直方圖干擾感知模型

為了提高算法在快速運動、形變、運動模糊及相似物干擾下的跟蹤魯棒性，將顏色直方圖干擾感知模型引入本文算法。相關(guān)濾波目標跟蹤算法提取的特征通常為局部特征（HOG 特征），對運動模糊及光照變化不敏感，如圖2（a）所示，但在快速運動、形變等情況下跟蹤效果不佳，如圖3（a）所示。而統(tǒng)計目標的全局顏色特征對目標外觀變化及邊緣信息較為魯棒，可以有效彌補HOG 特征的局限性，如圖3（b）所示，但顏色直方圖干擾感知模型只關(guān)注顏色，不關(guān)注像素所處的位置，易受到相似背景顏色干擾，當存在運動模糊及相似顏色背景時，易出現(xiàn)跟蹤漂移，如圖2（b）所示，此時HOG特征可以較好地應(yīng)對顏色直方圖干擾感知模型的缺陷。因此將兩者結(jié)合可以有效彌補傳統(tǒng)相關(guān)濾波算法的缺點，減少目標丟失及漂移情況。為了驗證融合特征目標跟蹤的有效性，表1分別列出單特征和融合特征進行目標跟蹤的精確率。

表1 單特征及融合特征跟蹤精確率Table 1 Single feature and fusion feature tracking accuracy

圖2 運動模糊及相似顏色背景跟蹤序列Fig.2 Motion blur and similar color background tracking sequence

圖3 形變及快速跟蹤序列Fig.3 Deformation and fast motion tracking sequence

顏色直方圖干擾感知模型主要分為三部分：（1）前后背景分離。利用其背景對象模型將目標像素從輸入幀中提取出來。（2）利用目標擾動模型預(yù)先檢測存在的相似干擾區(qū)域并對其進行抑制。（3）融合目標區(qū)域及干擾區(qū)域，得到融合后響應(yīng)圖。圖4為顏色直方圖干擾感知模型原理示意圖。

圖4 顏色直方圖干擾感知模型原理示意圖Fig.4 Schematic diagram of color histogram interference perception model

建立顏色直方圖干擾感知模型，為了將目標前景像素和背景像素有效區(qū)分開，采用顏色直方圖的貝葉斯分類器對目標像素以及背景像素進行建模：

（1）背景對象模型。根據(jù)貝葉斯公式得到像素x屬于目標區(qū)域的概率為：

式中，O和D分別為目標像素區(qū)域和背景像素區(qū)域；P(?x|x∈O)為目標區(qū)域O中像素x屬于區(qū)間?x的直方圖概率，P(?x|x∈D)為背景區(qū)域D中像素x屬于區(qū)間?x的直方圖概率，計算見式（10）；P(x∈O|O,D,?x)為構(gòu)造的貝葉斯分類模型。

（2）前景增強的背景對象模型。在實際目標跟蹤場景中，由于相似背景干擾造成的目標跟蹤漂移尤為常見。當相似背景干擾出現(xiàn)時，背景像素被誤判屬于前景的概率較高，為了更加準確地提取前景像素，本文提出了增強前景的顏色直方圖干擾感知模型，在傳統(tǒng)背景對象模型的基礎(chǔ)上重視前景與背景顏色差異部分并增強前景直方圖與背景直方圖顏色差異分量，增強了目標像素在復(fù)雜背景下的顯著性，使得前景更加突出，更加準確地將前景像素從背景中分離。圖5 為第t幀前景顏色直方圖和背景顏色直方圖對比，其橫坐標為像素值，縱坐標為像素值對應(yīng)的像素個數(shù)，通過加強兩個直方圖中對應(yīng)的直方柱的差值達到強化前景像素的目的。因此對式（11）進一步改進：

圖5 Green通道前后背景顏色直方圖Fig.5 Foreground color histogram and background color histogram of Green channel

其中，Δ=1+ζ?(P(?x|x∈O)-P(?x|x∈D))；ζ為增強系數(shù)，用于控制模型突出前景的程度；P(?x|x∈O)-P(?x|x∈D)為歸一化后的前景顏色直方圖和背景顏色直方圖的差值。差值越小Δ越趨近于1，此時P(x∈O|O,D,?x)值變化較小，而差值越大說明像素點在兩個直方圖對應(yīng)的直方柱上差異越大，是前景相對突出的部分，Δ同樣增大，同時P(x∈O|O,D,?x)值也變大，說明像素點x屬于目標區(qū)域O的似然概率越大，從而計算得到突出前景的像素為目標區(qū)域的概率，達到突出前景的目的。

（3）為了進一步提高模型抗擾動能力，引入目標擾動模型：

式中，K為目標擾動區(qū)域，即與目標外觀相似區(qū)域。

（4）將改進的背景對象模型與擾動模型整合得到目標的聯(lián)合概率模型如下：

式中，υ為設(shè)定的權(quán)重。

通過上式得到像素級顏色概率圖，搜索所有與預(yù)測尺度大小相等的目標候選框Ot,i，采用積分法計算每個候選框內(nèi)像素屬于目標區(qū)域的概率和，此概率和為對應(yīng)目標框中心位置為目標中心位置的概率，從而得到改進的顏色直方圖干擾感知模型中心位置響應(yīng)圖fhist(I)。

式中，Pt(x)=P(x∈O|?x)為第t幀圖像中像素x為目標區(qū)域的概率。

為了更加適應(yīng)光照及形變變化，對顏色直方圖概率模型進行更新：

式中，ηtemp為模型更新學習率。

2.2 自適應(yīng)融合相關(guān)濾波響應(yīng)與顏色直方圖響應(yīng)

大多數(shù)現(xiàn)有的多特征融合算法都是以固定權(quán)值進行線性融合，在復(fù)雜場景下并不一直是最優(yōu)策略，因此本文采用自適應(yīng)特征融合策略進行相關(guān)濾波響應(yīng)和顏色直方圖干擾感知模型概率響應(yīng)的融合，其加權(quán)融合示意圖見圖6。

圖6 自適應(yīng)加權(quán)融合示意圖Fig.6 Diagram of adaptive weighted fusion

（1）當判別器認為像素點x屬于目標時，Pt(x)的值會增大，同時區(qū)域內(nèi)像素屬于目標的概率均值也會變大，這時要增加算法對顏色直方圖干擾感知模型概率響應(yīng)的關(guān)注，此時利用顏色直方圖干擾感知模型計算目標區(qū)域像素點為目標的概率均值M來確定自適應(yīng)融合權(quán)值ω，即：

式中，O?為顏色直方圖干擾感知模型計算得到的目標區(qū)域，即n為目標區(qū)域O?中的像素個數(shù)。

考慮到概率均值M計算的準確性，在計算像素點為目標的概率均值M基礎(chǔ)上減掉像素點屬于環(huán)繞背景區(qū)域D的概率均值，確保了概率均值M的相對準確性。因此將式（17）進一步改進得到更加精確的概率均值M′如下：

（2）在有顏色相似物體干擾下，由于顏色直方圖概率模型只關(guān)注顏色特征，不關(guān)注像素的具體位置，此時易將顏色相似的背景像素錯判為目標像素，Pt(x)值和概率均值M′同樣會增大，這時HOG 特征比顏色直方圖特征更加魯棒，應(yīng)減小顏色直方圖干擾感知模型概率響應(yīng)的權(quán)值并控制其所占權(quán)重ω小于0.5，防止學習到過多背景信息。因此設(shè)置閾值ρ，當概率均值M′≥ρ時，權(quán)重ω采用指數(shù)函數(shù)計算得到：

圖7為Skating序列下各特征跟蹤效果圖，圖7（a）為各特征在序列第220 幀到350 幀的跟蹤置信度曲線圖，其中第225～229 幀目標發(fā)生形變、第273～278幀目標發(fā)生快速運動，HOG 特征跟蹤置信度較低。結(jié)合圖7（b）和圖7（c）可以看出，此時利用HOG特征跟蹤出現(xiàn)了嚴重的偏差，而顏色直方圖特征準確率較高，此時本文算法增加顏色直方圖的融合權(quán)重，使得算法可以較為準確地跟蹤到目標。第317～322 幀目標運動模糊，第337～345 幀存在相似顏色背景干擾，如圖7（d）及圖7（e）所示，顏色直方圖特征跟蹤結(jié)果誤差較大，此時本文算法選用指數(shù)函數(shù)降低了顏色直方圖算法融合權(quán)重，有效提升了算法的跟蹤性能及魯棒性?；趫D7的定量及定性分析，結(jié)果顯示本文算法控制權(quán)重具有可行性及有效性。

圖7 Skating序列各特征融合效果分析Fig.7 Analysis of fusion effect of Skating sequence features

最終融合后的干擾感知響應(yīng)為：

2.3 目標定位

本文在目標定位階段利用得到的最終擾動感知響應(yīng)圖的最大位置定位目標。該融合響應(yīng)圖最大值位置即是所尋求的目標位置。

式中，Wt為確定的目標最終位置。

2.4 自適應(yīng)模型更新策略

在目標連續(xù)跟蹤過程中，目標必然受到形變、旋轉(zhuǎn)、快速運動及遮擋等噪聲影響，處于不斷變化的過程中。因此選擇一個合適的模板更新策略應(yīng)對不斷變化的情況，確保更新過程中不出現(xiàn)效果退化是目標魯棒跟蹤的關(guān)鍵之一。現(xiàn)有的目標模型更新算法大多都是采取逐幀并且以固定學習率進行更新，沒有考慮當前幀跟蹤結(jié)果的可靠性及目標的變化程度，可能導(dǎo)致誤差累計，則在復(fù)雜情況下濾波器不能較好地跟蹤到目標，最后影響跟蹤效果。因此本文基于平均峰值相關(guān)能量值和響應(yīng)圖最大值fmax判斷目標跟蹤的可靠性，并采用自適應(yīng)更新學習率策略更新相關(guān)濾波模板。自適應(yīng)模型更新策略流程如圖8所示。

圖8 自適應(yīng)模型更新策略流程圖Fig.8 Flow chart of adaptive model update strategy

（1）高置信度判定條件

fmax是以響應(yīng)圖的峰值從局部的角度反映跟蹤置信度，不考慮響應(yīng)圖的旁瓣值，APCE 值可以反映響應(yīng)圖震蕩變化程度，是從整體的角度反映跟蹤置信度。因此將兩個指標互補結(jié)合可以更好地從多角度反映跟蹤過程是否出現(xiàn)異常情況，具有較好的普適性。當跟蹤目標較為明顯或受干擾較小時，此時將得到較為理想的響應(yīng)圖，即響應(yīng)圖為單峰形式且APCE值較高；反之，當目標受到背景較大影響，遮擋甚至跟蹤丟失時，APCE 值會極速減小。同時，在整個跟蹤過程中目標變化對響應(yīng)圖的影響具有連續(xù)性，因此將歷史幀置信度信息融入高置信度判定部分。只有在當前幀的APCE值以σ1的比例超過歷史幀APCE均值且當前幀fmax值以σ2的比例超過歷史幀fmax均值時，才可認為當前幀的跟蹤結(jié)果具有較高的置信度，否則認為出現(xiàn)異常情況，不進行模型更新。只有同時滿足以下兩個條件時，認為當前幀跟蹤結(jié)果具有較高置信度。

式中，APCEt為第t幀平均峰相關(guān)能量，計算公式見式（23）；ft,max為第t幀響應(yīng)圖最大值；σ1及σ2為設(shè)定的比例系數(shù)。APCE值的計算公式如下：

式中，fmax為響應(yīng)圖的峰值；fmin為響應(yīng)圖的最低值；fx,y為坐標(x,y)處的響應(yīng)值。

圖9為coke視頻序列在跟蹤過程中，各置信度分量變化情況，其中目標從第28 幀到第42 幀出現(xiàn)遮擋。由圖可以看出，第31幀到第39幀，fmax曲線位于fmax置信度曲線下方，此時不符合式（22）所設(shè)條件，同理在第31幀到第40幀，APCE值位于APCE置信度曲線下方，不滿足高置信度條件。因此，跟蹤模型在第31幀到第40幀屬于低置信度區(qū)間，不進行模型更新，有效避免了學習過多背景信息造成模型的錯誤更新。

圖9 coke視頻序列跟蹤置信度分量變化Fig.9 Component changes of coke sequence tracking confidence

（2）自適應(yīng)更新模型學習率

在跟蹤過程中，當目標出現(xiàn)形變、旋轉(zhuǎn)和快速運動等情況時，容易導(dǎo)致跟蹤漂移，這是因為當目標發(fā)生較大變化時，設(shè)置的固定學習率較小不能使模型快速學習到目標的變化，只能學習當前幀中較少的信息，從而導(dǎo)致跟蹤結(jié)果不準確，如圖10（a）所示。若設(shè)置的學習率過大，一旦上一幀由于遮擋、形變、快速運動等因素導(dǎo)致跟蹤結(jié)果有偏差時，模型會大量學習背景信息，誤差累計到一定程度模型可能會將背景誤判為跟蹤目標，導(dǎo)致目標丟失，如圖10（b）所示。而圖10（c）為學習率適中的跟蹤效果，針對以上問題，本文提出了聯(lián)合幀差法及前后幀間歐式距離判斷目標的變化程度并設(shè)置相應(yīng)的相關(guān)濾波更新學習率，達到自適應(yīng)更新模型的目的。

圖10 不同學習率下的跟蹤效果圖Fig.10 Tracking renderings of different learning rates

①通過（1）判斷當前幀跟蹤結(jié)果的置信度，當置信度不滿足高置信度條件時，不進行模型更新，學習率保持不變。此時η=η1。

②當置信度滿足高置信度條件時進行模型更新，此時用式（24）幀差法判斷目標的變化程度，設(shè)置閾值?，當幀差均值α

式中，α為幀差均值；D(x,y)為前后兩幀圖像的灰度差；N、Q為差分圖像大小。

③通過②可判斷目標或是背景變化的幅度，當α≥?變化幅度較大時，通過計算前后兩幀的歐氏距離β判斷目標是否發(fā)生較大運動，設(shè)置閾值Γ，當歐式距離β<Γ時，說明目標的移動位移較小，可能是背景在發(fā)生變化，此時設(shè)置適中學習率η=η3；反之，當α≥?且β≥Γ時，說明目標發(fā)生了較大位移，此時目標可能發(fā)生了較大的變化或處于快速運動狀態(tài)，此時應(yīng)該設(shè)置較大的學習率，使算法可以更好地適應(yīng)目標變化η=η4。

歐式距離β計算公式：

通過（1）和（2）判斷目標狀態(tài)并根據(jù)其狀態(tài)設(shè)置不同的學習率η，保證在相鄰兩幀目標變化較小時設(shè)置較小的學習率，目標變化較大時設(shè)置較大學習率來加快對模型的更新，通過自適應(yīng)改變學習率可以使模型更好地跟蹤到目標。

2.5 算法步驟

（1）建立初始幀樣本模型。手動選定初始幀跟蹤目標和目標框位置(x,y)及其背景區(qū)域。

（2）濾波器訓(xùn)練。提取目標的HOG特征，通過式（2）和式（9）訓(xùn)練二維位置濾波器和一維尺度濾波器，同時通過式（14）訓(xùn)練顏色直方圖干擾感知模型。

（3）定位目標。截取目標候選區(qū)域并提取特征，將其與上一幀訓(xùn)練得到的相關(guān)濾波器通過式（7）和式（8）進行相關(guān)運算，生成相關(guān)濾波響應(yīng)圖fcf(I)。同時利用改進的顏色直方圖干擾感知模型通過式（14）計算像素屬于目標區(qū)域的概率，然后代入式（15）得到顏色直方圖概率響應(yīng)fhist(I)，最后通過式（18）和式（19）確定fcf(I)和fhist(I)的融合權(quán)重ω并代入式（20）計算融合后的干擾感知響應(yīng)圖f(I)，此響應(yīng)圖最高峰位置即為目標所在位置。

（4）高置信度判別。利用APCE值和最高響應(yīng)值fmax進行可靠性判斷，通過判別結(jié)果轉(zhuǎn)至步驟（6）選擇相應(yīng)的更新策略。

（5）目標尺度估計。根據(jù)式（9）創(chuàng)建尺度金字塔，利用尺度濾波器計算最大響應(yīng)求得目標的最佳尺度。

（6）自適應(yīng)模型更新。步驟（4）判別跟蹤結(jié)果滿足高置信度條件時，通過式（6）更新顏色直方圖干擾感知模型，同時利用式（24）及式（25）確定相關(guān)濾波自適應(yīng)更新學習率η，實現(xiàn)相關(guān)濾波模型的自適應(yīng)更新。

（7）輸出跟蹤結(jié)果。將跟蹤結(jié)果可視化輸出，跳轉(zhuǎn)至步驟（2）繼續(xù)跟蹤下一幀圖像目標。

3 實驗結(jié)果分析

3.1 實驗環(huán)境及參數(shù)配置

本文算法采用GUN Octave 作為實驗測試開發(fā)平臺，處理器為Intel?CoreTMi5-9300H CPU，操作系統(tǒng)Windows 10，8 GB內(nèi)存。本文算法參數(shù)設(shè)置：相關(guān)濾波位置濾波器中，初始未壓縮的特征維度d=32，降維后的特征維度=17，正則化參數(shù)設(shè)置為λ=0.001。顏色直方圖干擾感知模型中：前景增強系數(shù)為ζ=9.5，聯(lián)合概率模型融合權(quán)重υ=0.3，模型學習率ηtemp=0.04。尺度模型中：尺度因子a=1.02，壓縮后的特征維數(shù)s=17。自適應(yīng)融合閾值ρ采用最優(yōu)化步長逼近方式獲得：閾值ρ取值范圍為(0,1)，根據(jù)設(shè)置的步長由粗到精地找到最佳閾值ρ的大小。首先將起始步長設(shè)置為0.1，根據(jù)逐次實驗得到其最佳閾值大小為0.4。再以0.4為中心、以長度為0.02的步長為基準在范圍(0.34,0.46)內(nèi)進行逐次實驗比較，其實驗得到的最佳閾值的取值為ρ=0.38，最后以0.01長度為基準步長在范圍(0.35,0.41)進行對應(yīng)的實驗比較，得到最終的最優(yōu)閾值取值為ρ=0.38。置信度比例值的設(shè)定：σ1=0.45，σ2=0.60。目標更新學習率及其閾值大小的設(shè)定：幀差閾值及位移閾值同樣通過步長逼近方式經(jīng)過多次實驗比對獲得，其中幀差閾值設(shè)定為?=3.5，目標位移閾值為Γ=11。四種學習率分別設(shè)置為η1=0，η2=0.005，η3=0.009，η4=0.02。

3.2 評價指標

本文選取OTB100 數(shù)據(jù)集用于與其他主流算法進行實驗對比，OTB100數(shù)據(jù)集是目標跟蹤實驗中常用的數(shù)據(jù)集，其包含100個涉及了11種不同視覺目標跟蹤挑戰(zhàn)屬性的視頻序列。OTB100 數(shù)據(jù)集包含的11 種屬性分別為：光照變化（illumination variation，IV）、尺度變化（scale variation，SV）、遮擋（occlusion，OCC）、非剛性變化（deformation，DEF）、運動模糊（motion blur，MB）、快速運動（fast motion，F(xiàn)M）、平面內(nèi)旋轉(zhuǎn)（in-plane rotation，IPR）、平面外旋轉(zhuǎn)（out-plane rotation，OPR）、超出視野（out of view，OV）、復(fù)雜背景（background clutter，BC）、低分辨率（low resolution，LR）。這11 種屬性可以更加清晰地、綜合地與其他算法進行跟蹤性能的對比。本文算法采用一次性通過評估（one-pass evaluation，OPE）分析算法的性能及魯棒性，以第一幀標注的目標位置為初始位置，測試整個視頻序列組，將跟蹤成功率和精確率作為評價標準。

3.3 對比實驗結(jié)果分析

本文選取了8種主流算法進行對比實驗，驗證其有效性及魯棒性。對比算法分別為：STRCF、BACF、fDSST、Staple、ARCF、DeepSTRCF、AutoTrack、ACSDCF。

3.3.1 定量比較

圖11 為9 種算法在OTB100 數(shù)據(jù)集上的精確率和成功率曲線，本文算法的成功率為0.780，僅低于深度學習DeepSTRCF算法0.029，高于次優(yōu)ACSDCF算法0.016，精確率為0.838，低于深度學習DeepSTRCF算法0.011，高于次優(yōu)STRCF 算法0.021。本文在相關(guān)濾波的基礎(chǔ)上結(jié)合了強化前景的顏色直方圖干擾感知模型，有效彌補了相關(guān)濾波算法采用局部特征進行特征提取時，對于邊緣模糊情況下跟蹤精度較低的不足，因此提高了目標在形變、運動模糊及快速運動挑戰(zhàn)下的魯棒性，整體性能最優(yōu)。最后，進行異常分析和自適應(yīng)更新學習率，跟蹤異常出現(xiàn)時，不更新模型，有效避免了學習過多背景信息造成的跟蹤漂移。由圖12 可見，本文算法在形變屬性下成功率和精確率都達到了最高，分別是0.768和0.843。如圖13 所示，本文算法在運動模糊屬性下成功率和精確率達到了0.803 和0.814，遠遠超過其他算法。如圖14 所示，本文算法在快速運動屬性下成功率和精確率高達0.796和0.818，均位居第一。

圖11 9種跟蹤算法對比曲線Fig.11 Comparison curves of 9 tracking algorithms

圖13 9種跟蹤算法運動模糊屬性對比曲線Fig.13 Comparison curves of 9 tracking algorithms motion blur sequence

為了更加直觀地對比本文算法與其他算法在各屬性下的跟蹤效果，表2 和表3 分別列出了這9 種算法在OTB100 數(shù)據(jù)集上11 種視頻屬性下的跟蹤精確率和成功率。

表2 9種跟蹤算法在各屬性序列上的精確率得分Table 2 Precision scores of 9 tracking algorithms on attribute sequences

表3 9種跟蹤算法在各屬性序列上的成功率得分Table 3 Success scores of 9 tracking algorithms on attribute sequences

3.3.2 定性分析

為了更加直觀地比較本文算法和其他8 種算法在這11種屬性下的跟蹤效果，圖15列出了包含這11種屬性的部分視頻序列。

圖15 各算法跟蹤結(jié)果對比Fig.15 Comparison of tracking results of each algorithm

skiing序列中包含了形變、旋轉(zhuǎn)、背景雜亂、低分辨率及尺度變化等視頻屬性。在第11 幀時，目標發(fā)生了第一次旋轉(zhuǎn)及形變，導(dǎo)致ACSDCF、STRCF、ARCF、fDSST 及DeepSTRCF 算法均發(fā)生不同程度的漂移；到第15 幀時，AutoTrack 和Staple 算法不能夠及時學習到目標變化也逐漸發(fā)生漂移；在第22幀到第51幀，目標不斷發(fā)生旋轉(zhuǎn)和形變，且背景較為雜亂導(dǎo)致目標分辨率較低，而本文算法在傳統(tǒng)背景對象模型的基礎(chǔ)上突出了前后背景的顏色差異分量，更好地應(yīng)對雜亂背景，此時只有本文算法和BACF算法能夠準確地跟蹤目標，其他算法均漂移到了背景上，導(dǎo)致目標丟失；到第63 幀時，目標發(fā)生形變且遠離攝像頭，造成目標尺度發(fā)生變化，BACF算法不能適應(yīng)目標的尺度變化導(dǎo)致跟蹤框較大，包含了較多的背景信息，降低了跟蹤精度。此時只有本文算法可以精確定位目標，其余算法均存在跟蹤誤差。

在Bolt2視頻序列中，目標具有形變、尺度變化等屬性并存在大量相似物干擾。在第8幀時，目標發(fā)生自身形變，此時從圖中可以看出ACSDCF、STRCF、ARCF、AutoTrack、fDSST算法不能適應(yīng)目標的變化，在跟蹤過程中學習到較多的背景信息，從而逐漸導(dǎo)致目標跟蹤漂移，而本文算法采用自適應(yīng)更新學習率策略并結(jié)合了全局顏色特征可以更好地應(yīng)對目標形變；在第11幀時，ARCF及STRCF算法甚至跟蹤漂移到了目標相似物上，而本文算法改進了增強前景的背景對象模型，可以有效避免相似物的干擾；在第22幀到第33幀，目標形變較大且出現(xiàn)自身尺度變化，DeepSTRCF、Staple、BACF算法逐漸發(fā)生不同程度的漂移，只跟蹤到了目標的一部分，只有本文算法跟蹤較為準確；到第86 幀，目標一直發(fā)生形變及尺度變化，只有本文算法可以準確地跟蹤到目標，其他算法均發(fā)生嚴重漂移。

DragonBaby視頻序列中包含快速運動、遮擋、旋轉(zhuǎn)、形變、出視野等屬性。第27幀到第32幀，目標第一次發(fā)生旋轉(zhuǎn)并造成形變和自身遮擋，在翻轉(zhuǎn)開始時（第27幀）除本文算法、ACSDCF、BACF算法，其他算法均發(fā)生漂移，第32幀目標再次出現(xiàn)時，BACF 和ACSDCF出現(xiàn)中度漂移，只有本文算法和DeepSTRCF算法較準確地定位到目標；在第45幀時，目標由于快速運動造成運動模糊和出視野，此時僅有本文算法正確跟蹤到目標，其他算法不能較好地提取到目標特征導(dǎo)致跟蹤漂移；在序列第82 幀到第91 幀，由于目標再次發(fā)生快速運動及自身形變，僅本文算法和ACSDCF 可以準確定位目標，其他算法不能較好地學習到目標的變化，導(dǎo)致目標丟失。本文引入了顏色直方圖模型，因此對目標外觀變化及邊緣信息較為魯棒，可以較好地解決快速運動、形變及運動模糊造成的目標丟失問題。

在Girl2 視頻序列中，存在遮擋、形變、尺度變化及運動模糊等挑戰(zhàn)。從初始幀到第102幀，所有算法均可準確地跟蹤到目標；第107幀到第134幀目標出現(xiàn)遮擋，目標被部分遮擋時（第107 幀），ARCF 和fDSST算法完全漂移，Staple、BACF算法也部分漂移到遮擋物上；到第135幀時遮擋結(jié)束，目標再次出現(xiàn)，從第135幀到第295幀，只有本文算法和ACSDCF算法可重新定位到目標，其余算法均發(fā)生嚴重漂移，丟失目標；第345幀時，目標自動移動到STRCF、DeepSTRCF算法目標跟蹤框位置時，STRCF 和DeepSTRCF 算法才重新跟蹤到目標；在第972幀時，目標出現(xiàn)形變及尺度變化，ACSDCF 算法不能適應(yīng)目標的尺度變化，同時STRCF 及DeepSTRCF 算法也只能跟蹤到目標的一部分，出現(xiàn)中度漂移。從初始幀到最后一幀只有本文算法可以準確跟蹤目標，說明本文算法對于遮擋、形變及尺度變化的魯棒性較高。

在BlurOwl 序列中，目標具有快速運動、旋轉(zhuǎn)及運動模糊等屬性。從序列第47 幀到第52 幀目標發(fā)生旋轉(zhuǎn)、快速運動并導(dǎo)致運動模糊，可以看到Staple、BACF、fDSST、ARCF 算法跟蹤精度顯著降低，出現(xiàn)一定程度的漂移；序列第68幀、第155幀及第443幀，攝像頭再次快速旋轉(zhuǎn)導(dǎo)致目標模糊嚴重、分辨率較低、目標邊緣特征極不明顯，此時，DeepSTRCF、ACSDCF、AutoTrack 和STRCF 算法提取不到目標的邊緣輪廓特征，出現(xiàn)嚴重漂移，只有文本算法準確定位目標。本文算法利用強化前景的顏色直方圖模型進行顏色特征統(tǒng)計，有效彌補了局部特征的缺陷，增強了目標在快速運動及運動模糊等挑戰(zhàn)下的魯棒性，使算法較準確地跟蹤到目標。

在Matrix 視頻序列中，目標背景比較復(fù)雜，存在光照變化、形變、快速運動等屬性。在第21 幀時，目標自身旋轉(zhuǎn)，ARCF、AutoTrack算法首先丟失目標；在第36 幀，目標發(fā)生旋轉(zhuǎn)及快速運動，ARCF、STRCF、Staple、BACF、DeepSTRCF 及ACSDCF 算法陸續(xù)脫離正確位置，丟失目標；在序列第44 幀時，出現(xiàn)嚴重光照變化，此時只有本文算法具有較高的適應(yīng)性，準確跟蹤目標；在第50 幀到第72 幀，目標一直處于復(fù)雜背景及光照變化條件下，同時目標姿態(tài)也不斷發(fā)生變化，BACF 和ACSDCF 算法跟蹤精度較低，部分跟蹤框漂移到背景上，其他算法均丟失目標，僅本文算法精確定位目標。

3.4 實時性分析

本文從OTB100 數(shù)據(jù)集中隨機選取了30 組視頻序列進行算法的跟蹤實時性對比，以每秒讀取幀數(shù)的平均值作為跟蹤速度的評價指標，9種算法的測試結(jié)果如表4所示。結(jié)合表2及表3，結(jié)果顯示，相比其他算法，本文算法在保障了算法實時性的前提下，有效提高了跟蹤算法的性能。

表4 9種跟蹤算法在各屬性序列上的平均跟蹤速度Table 4 Average tracking speed of 9 tracking algorithms on attribute sequences 單位：FPS

4 結(jié)束語

針對傳統(tǒng)相關(guān)濾波算法通常提取局部特征（HOG 特征）導(dǎo)致目標邊緣信息模糊或發(fā)生變化時，跟蹤效果不佳的問題，本文在相關(guān)濾波算法的基礎(chǔ)上自適應(yīng)融合了顏色直方圖干擾感知模型，兩者有效互補減少了跟蹤的局限性，且本文改進了顏色直方圖干擾感知模型，增大前后背景顏色差異部分以達到強化突出前景的作用。因此，提高了目標在形變、運動模糊、快速運動及相似物干擾等挑戰(zhàn)下的跟蹤魯棒性。同時，進行跟蹤異常判斷，當跟蹤精度較低時，不更新模型，有效避免了目標錯判及學習較多背景信息。另外，當跟蹤置信度較高時，自適應(yīng)更新學習率使得跟蹤模板可以較好地適應(yīng)目標變化。本文算法在OTB100數(shù)據(jù)集上進行了大量的對比實驗，本文的成功率和精確率均高于其他8種主流算法，表明本文算法具有較高的跟蹤準確性及魯棒性。本文算法雖滿足跟蹤實時性，但為了進一步提高算法速度，在今后的工作中考慮將相關(guān)濾波算法與深度學習算法進行結(jié)合。