復(fù)雜場(chǎng)景下的改進(jìn)核相關(guān)濾波跟蹤算法

王 蓓，陳金廣，王明明

1.西安工程大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院，西安710048

2.柯橋區(qū)西紡紡織產(chǎn)業(yè)創(chuàng)新研究院，浙江 紹興312030

視頻目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)中重要的組成部分，在智慧城市、虛擬現(xiàn)實(shí)、公共安全監(jiān)測(cè)、機(jī)器視覺(jué)等實(shí)際應(yīng)用中起到關(guān)鍵作用。目標(biāo)跟蹤算法在近些年的發(fā)展中大致分為三個(gè)研究方向[1]：深度學(xué)習(xí)方向[2-6]、相關(guān)濾波方向[7-12]和傳統(tǒng)的跟蹤算法方向[13-15]，而在實(shí)際跟蹤環(huán)境中，傳統(tǒng)方法在面對(duì)尺度變換、復(fù)雜背景、遮擋等跟蹤問(wèn)題時(shí)難以滿足準(zhǔn)確性、快速性和魯棒性。而基于深度學(xué)習(xí)的目標(biāo)跟蹤算法面對(duì)上述問(wèn)題時(shí)，跟蹤精度雖然能夠保障，但跟蹤實(shí)時(shí)性較差。近十年發(fā)展起來(lái)的相關(guān)濾波算法因在復(fù)雜環(huán)境中的跟蹤精度和實(shí)時(shí)性具有良好性能，逐步成為視頻跟蹤算法的重要研究方向。

2010 年，Bolme 等[7]首次將信號(hào)相關(guān)性和傅里葉時(shí)頻域轉(zhuǎn)換引入視頻目標(biāo)跟蹤中，提出誤差最小平方和濾波器（Minimizing the Output Sum of Squared Error，MOSSE），奠定了相關(guān)濾波視頻目標(biāo)跟蹤算法的基礎(chǔ)。之后的幾年中該算法得到了迅速的發(fā)展，Henriques等[8]針對(duì)MOSSE 中滑動(dòng)卷積的樣本重復(fù)采樣問(wèn)題，引入循環(huán)矩陣，提出核循環(huán)算法（Circulant Structure of trackingby-detection with Kernel，CSK），并結(jié)合多通道方向梯度直方圖（HOG）進(jìn)行特征融合提出了核相關(guān)濾波（Kernelized Correlation Filters，KCF）算法；Danelljan 等[11]基于CSK提出了基于自適應(yīng)顏色屬性（Color Names，CN）的視頻跟蹤算法，有效解決跟蹤過(guò)程中由復(fù)雜背景導(dǎo)致的目標(biāo)定位不準(zhǔn)確的問(wèn)題。以上方法具有較好的跟蹤效果和跟蹤穩(wěn)定性，但在復(fù)雜場(chǎng)景中的跟蹤效果并不理想。

針對(duì)尺度變化問(wèn)題，Danelljan等[9]以MOSSE算法為基礎(chǔ)，提出多尺度空間濾波跟蹤算法（Discriminative Scale Space Tracking，DSST）在此基礎(chǔ)上為解決DSST跟蹤速度慢的問(wèn)題提出了快速的多尺度空間濾波跟蹤算法（fast Discriminative Scale Space Tracking，fDSST）[10]，此方法雖能夠較準(zhǔn)確地估計(jì)目標(biāo)的實(shí)時(shí)尺度，但缺乏對(duì)目標(biāo)樣本的學(xué)習(xí)和更新機(jī)制，對(duì)除尺度變化之外的其他復(fù)雜背景問(wèn)題的跟蹤效果不佳。在此基礎(chǔ)上，Li等[16]引入七尺度的尺度池，能夠解決模塊大小定型的問(wèn)題，并且融合HOG和CN特征來(lái)提升算法的整體性能。

針對(duì)復(fù)雜背景和遮擋跟蹤問(wèn)題，目前對(duì)大多數(shù)的改進(jìn)集中于盡可能多地采集目標(biāo)及目標(biāo)周圍特征，使得目標(biāo)在跟蹤的過(guò)程中能夠獲得目標(biāo)的更大響應(yīng)。Bertinetto等[17]融合HOG 和顏色特征，以DSST 方法估計(jì)目標(biāo)尺度，提出了一種基于互補(bǔ)學(xué)習(xí)的跟蹤方法（Staple），較高效解決了目標(biāo)形變跟蹤魯棒性差，但融合特征計(jì)算量大且復(fù)雜，因此跟蹤實(shí)時(shí)性偏低。Mueller等[18]在相關(guān)濾波的框架下，引入全局上下文信息來(lái)輔助定位目標(biāo)位置，提出CA-CF（Context-Aware Correlation Filter）算法，該算法能夠處理目標(biāo)周圍的邊界響應(yīng)問(wèn)題，又能夠較準(zhǔn)確地跟蹤目標(biāo)位置。但由于提取的目標(biāo)特征單一，因此對(duì)于跟蹤遮擋目標(biāo)效果較差。Zhang 等[19]在KCF 的基礎(chǔ)上將多個(gè)特征進(jìn)行融合，并引入多個(gè)核函數(shù)，訓(xùn)練多個(gè)位置濾波器，從而使得核有自適應(yīng)選擇的能力。還有如Ojala等[20]提出的局部二值模式（Local Binary Pattern，LBP），有計(jì)算量小、對(duì)噪聲不敏感、對(duì)灰度和旋轉(zhuǎn)具有不變性等優(yōu)點(diǎn)，被應(yīng)用于目標(biāo)跟蹤方法中[21]。

在復(fù)雜場(chǎng)景下核相關(guān)濾波及改進(jìn)的跟蹤算法在處理復(fù)雜場(chǎng)景下的視頻序列時(shí)仍會(huì)存在一些問(wèn)題，主要表現(xiàn)在：目標(biāo)遮擋時(shí)，特征只能提取一部分，甚至不能提取到有效的目標(biāo)特征；存在尺度變換和背景雜波時(shí)，固定的尺度大小容易提取到背景復(fù)雜時(shí)的非目標(biāo)特征噪聲，從而引起跟蹤漂移、丟包等錯(cuò)誤。

本文以KCF 算法為基礎(chǔ)，針對(duì)相關(guān)濾波器在目標(biāo)遮擋、尺度變換、背景雜波等復(fù)雜場(chǎng)景下跟蹤效果不佳的問(wèn)題進(jìn)行改進(jìn)，首先引入位置濾波器，分別提取HOG和CN特征并進(jìn)行線性加權(quán)融合，估計(jì)目標(biāo)中心位置，再引入尺度濾波器，估計(jì)目標(biāo)尺度變換，用相關(guān)能量平均峰值判斷目標(biāo)是否被遮擋，當(dāng)目標(biāo)被遮擋時(shí)，用卡爾曼濾波根據(jù)目標(biāo)歷史路徑數(shù)據(jù)估計(jì)出被遮擋時(shí)的目標(biāo)位置。AMFKCF算法能夠較好地解決上述復(fù)雜場(chǎng)景下跟蹤效果不佳等問(wèn)題，且兼具有核相關(guān)濾波算法的優(yōu)點(diǎn)。

1 核相關(guān)濾波算法

核相關(guān)濾波目標(biāo)跟蹤算法[12]使用循環(huán)矩陣訓(xùn)練濾波器，并通過(guò)核函數(shù)預(yù)測(cè)目標(biāo)位置。該算法包括目標(biāo)特征循環(huán)采樣、訓(xùn)練位置濾波器、預(yù)測(cè)位置及更新參數(shù)等過(guò)程。

1.1 目標(biāo)特征循環(huán)采樣

KCF 算法中，首先對(duì)初始化目標(biāo)框進(jìn)行一次采樣，其他目標(biāo)樣本由循環(huán)偏移產(chǎn)生如圖1所示，以目標(biāo)位置的1.5～2 倍的矩形區(qū)域進(jìn)行一次樣本采樣，記為s1，循環(huán)偏移產(chǎn)生目標(biāo)樣本記為s1=[ s1,s2,…,sn] ，然后通過(guò)循環(huán)矩陣N 對(duì)樣本進(jìn)行循環(huán)移位，若循環(huán)移位一次記為s2=N2s1=[ sn,s1,s2,…,sn-1] ，則循環(huán)移位的所有樣本集合可表示為：Si+1=Ni+1*s1，i=1,2,…,n-1，Ni為N的第i 行元素，循環(huán)矩陣N 為：

圖1 循環(huán)移位

1.2 訓(xùn)練濾波器

KCF算法以嶺回歸方式訓(xùn)練濾波器，其目標(biāo)是尋找一個(gè)目標(biāo)分類器f(w)=wTv(S)，使得濾波器期望輸出yi和樣本Si之間的均方誤差函數(shù)最小，即：

式中，Si、yi分別表示第i 個(gè)訓(xùn)練樣本和期望輸出，λ 為防止過(guò)擬合的正則化參數(shù)[22]，v(S)為Si的高維空間映射。若能找到一個(gè)目標(biāo)分類器f(w)使得式（2）最小，則可以達(dá)到訓(xùn)練濾波器的目的。

當(dāng)引入的圖像塊為多通道特征（如本文用HOG 和CN 特征進(jìn)行融合）時(shí)，此時(shí)圖像塊映射v(S)為非線性函數(shù)，引入一個(gè)核函數(shù)，對(duì)圖像塊進(jìn)行核化、對(duì)偶，記為a，則目標(biāo)分類器內(nèi)核函數(shù)就可表示為w=vTa，將其代入目標(biāo)函數(shù)式（2）中，通過(guò)學(xué)習(xí)可得對(duì)偶空間系數(shù)a=(K+λI)-1y，其中K=vvT為核矩陣，K 為循環(huán)矩陣，因此對(duì)其進(jìn)行離散化傅里葉變換可得分類函數(shù)的頻域解，即：

式中，Kvv為樣本向量Si之間的核相關(guān)向量。

1.3 預(yù)測(cè)位置及更新參數(shù)

式中，z 為下一幀待檢測(cè)目標(biāo)塊，其檢測(cè)對(duì)偶域求解公式為f( z;a )=aTvsv( z )；vs表示更新后的模型參數(shù)；采用與1.2節(jié)相同的方式求解目標(biāo)塊z 的所有循環(huán)移位的響應(yīng)值，并計(jì)算濾波器頻域響應(yīng)表示相鄰幀之間的快速傅里葉變換，再通過(guò)傅里葉反變換，得到最大響應(yīng)點(diǎn)即為目標(biāo)中心位置。

因目標(biāo)外觀、背景、所處環(huán)境的不斷變換，所以跟蹤過(guò)程中濾波器的相關(guān)參數(shù)也在不斷地更新，核相關(guān)濾波算法的更新參數(shù)為對(duì)偶空間系數(shù)和圖像模塊?，更新策略為：

2 自適應(yīng)融合多特征的抗遮擋核相關(guān)濾波算法（AMFKCF）

在背景雜波、尺度變換、目標(biāo)遮擋等復(fù)雜場(chǎng)景中，核相關(guān)濾波算法容易發(fā)生目標(biāo)跟蹤丟失。實(shí)時(shí)地提取、融合目標(biāo)圖像塊的多個(gè)特征，估計(jì)、更新目標(biāo)尺度的變化，將會(huì)有效地提高目標(biāo)的跟蹤性能。本文算法流程如圖2所示。首先提取目標(biāo)圖像塊的方向梯度直方圖（Histogram of Oriented Gradient，HOG）[23]和顏色（Color Name，CN）[11]特征，并將兩類特征進(jìn)行融合，然后利用多個(gè)尺度池估計(jì)目標(biāo)的尺度大小，再利用卡爾曼濾波器對(duì)目標(biāo)的位置進(jìn)行補(bǔ)償，最后更新位置參數(shù)和尺度參數(shù)。本文算法的五個(gè)步驟：多特征融合、尺度計(jì)算、遮擋判別、卡爾曼位置濾波器補(bǔ)償、濾波器參數(shù)更新。

2.1 HOG和CN特征融合

HOG 是通過(guò)計(jì)算、統(tǒng)計(jì)目標(biāo)圖像塊的梯度方向直方圖來(lái)構(gòu)成目標(biāo)的特征，具有圖像幾何和光學(xué)形變的不變性；CN 是通過(guò)提取目標(biāo)塊RGB 空間的3 維顏色特征映射到黑、藍(lán)、棕、灰、綠、橙、粉、紫、紅、白和黃的11 維顏色空間，對(duì)不同顏色物體進(jìn)行分離，對(duì)顏色區(qū)別顯著且紋理形狀相似的目標(biāo)和背景具有很好的區(qū)分度，CN顏色特征具有旋轉(zhuǎn)、平移和尺度不變性的優(yōu)點(diǎn)。HOG和CN特征具有一定的互補(bǔ)性，二者提取的算法相對(duì)簡(jiǎn)單，對(duì)實(shí)時(shí)跟蹤效果影響小，因此本文選取這兩種特征進(jìn)行融合。

提取HOG和CN特征采用31和10維通道來(lái)描述目標(biāo)，因此融合后的特征維數(shù)為41維，設(shè)HOG和CN特征分別為：

式中，aHOG和aCN分別為HOG 和CN 對(duì)應(yīng)的特征訓(xùn)練相關(guān)濾波器，和分別表示多通道特征的的訓(xùn)練樣本ν 與預(yù)測(cè)區(qū)域z 之間的核相關(guān)，F(xiàn)()?和F-1()?分別表示傅里葉變換和傅里葉逆變換。通過(guò)線性加和的方式融合多通道特征，即：

式中，βHOG、βCN為HOG和CN特征響應(yīng)融合權(quán)值。方便起見(jiàn)，取值βHOG=0.5，βCN=0.5。

2.2 利用目標(biāo)尺度池計(jì)算尺度

在跟蹤目標(biāo)的過(guò)程中，目標(biāo)的尺度實(shí)時(shí)變化，因此固定跟蹤框大小的算法跟蹤效果往往不理想，無(wú)法準(zhǔn)確地跟蹤目標(biāo)。因此本文加入了尺度濾波器估計(jì)目標(biāo)尺度。

圖2 AMFKCF算法流程

假設(shè)P×M 為基礎(chǔ)圖像塊大小，則目標(biāo)尺度池可表示為：

其中，P、M 分別表示上一幀目標(biāo)的高度和寬度，a=1.02 為尺度因子，γ=33 為尺度池圖像塊個(gè)數(shù)。

幀數(shù)大于2 時(shí)，首先核相關(guān)濾波器計(jì)算新位置，在上一幀尺度的基礎(chǔ)上利用尺度濾波器，以當(dāng)前新位置獲取不同尺度的圖像池，從而找到最匹配的尺度。計(jì)算可參考文獻(xiàn)[12]。

2.3 遮擋判別

在目標(biāo)跟蹤的過(guò)程中，抗遮擋算法一直以來(lái)都是研究的熱點(diǎn)，本文引入Wang等[24]提出的平均峰值-相關(guān)能量（Average Peak-to Correlation Energy，APCE）遮擋判據(jù)。APCE的定義公式如式（11）：

式中，F(xiàn)max、Fmin和Fw,h分別為f(z)的峰值、谷值及位置(w,h)對(duì)應(yīng)的響應(yīng)值，mean(?)為求平均值。

該判據(jù)可以反映出響應(yīng)圖的振蕩程度，如圖3 所示，當(dāng)目標(biāo)沒(méi)有發(fā)生遮擋時(shí)，響應(yīng)圖只有一個(gè)尖銳的峰和平滑下降的區(qū)域，APCE 變得更大，當(dāng)目標(biāo)被遮擋或消失的時(shí)候，APCE 將會(huì)急劇下降，響應(yīng)圖會(huì)存在多峰和凹凸的區(qū)域。當(dāng)Fw,h響應(yīng)值峰值大于δ1和響應(yīng)值均值的乘積，同時(shí)當(dāng)前位置的APCE 值F(w,h)|APCE也大于δ2和目標(biāo)位置的APCE歷史均值的乘積時(shí)，目標(biāo)沒(méi)有發(fā)生遮擋，此時(shí)下式成立：

2.4 卡爾曼位置補(bǔ)償濾波器

在目標(biāo)軌跡跟蹤方面卡爾曼濾波（Kalman Filter）發(fā)揮重要作用[25-27]，通過(guò)系統(tǒng)輸入輸出觀測(cè)數(shù)據(jù)對(duì)系統(tǒng)狀態(tài)進(jìn)行最優(yōu)估計(jì)，尤其適用于目標(biāo)遮擋情況。假設(shè)目標(biāo)的狀態(tài)向量為，觀測(cè)向量為zk=[ x,y]T,其中x、y 為目標(biāo)位置分量，˙為目標(biāo)速度分量。因此跟蹤物體的運(yùn)動(dòng)狀態(tài)方程為：

其中，xk和zk分別為第k 幀目標(biāo)的狀態(tài)和觀測(cè)值，Ak是狀態(tài)轉(zhuǎn)移矩陣，Hk是觀測(cè)矩陣，過(guò)程噪聲wk和觀測(cè)噪聲vk為協(xié)方差分別為Qk和Rk的高斯白噪聲。通常目標(biāo)在相鄰兩幀的運(yùn)動(dòng)狀態(tài)可以看作勻速直線運(yùn)動(dòng)，所以Ak和Hk定義為：

除了傳統(tǒng)色彩濃厚外，蔣介石的意識(shí)形態(tài)建構(gòu)崇尚軍事化，這與其早年在日本所受嚴(yán)格的軍事訓(xùn)練及他本人對(duì)日本社會(huì)的觀感有很大關(guān)系。蔣介石認(rèn)為日本之所以驟致富強(qiáng)，與武士道精神有密切關(guān)系。蔣介石在新生活運(yùn)動(dòng)中提倡社會(huì)軍事化，以軍事化的標(biāo)準(zhǔn)來(lái)改造社會(huì)。與其長(zhǎng)期以來(lái)對(duì)黨組織的失望和嫌惡相比，蔣介石對(duì)于軍人和軍隊(duì)組織的美德贊譽(yù)有加。而崇尚軍事化的意識(shí)形態(tài)宣導(dǎo)窒息了社會(huì)的活力和能動(dòng)性，為實(shí)現(xiàn)僵化的統(tǒng)制，放棄了意識(shí)形態(tài)的社會(huì)動(dòng)員功能。

式中，Δt 表示相鄰兩幀采樣時(shí)間間隔。如視頻序列每秒采樣n 次，則Δt=1/n。

Kalman算法一般包括預(yù)測(cè)和更新兩個(gè)步驟。預(yù)測(cè)步驟為：

其中，Kk為卡爾曼增益，為k 時(shí)刻的狀態(tài)最優(yōu)估計(jì)結(jié)果，Pk|k為k 時(shí)刻的狀態(tài)估計(jì)的協(xié)方差。

從第2幀開始對(duì)目標(biāo)的位置進(jìn)行預(yù)測(cè)，通過(guò)位置濾波器式（4）計(jì)算出的未修正目標(biāo)位置為，因此卡爾曼濾波器補(bǔ)償目標(biāo)位置策略為：式中，δ1、δ2為位置補(bǔ)償權(quán)值，[ x,y] 為卡爾曼濾波器預(yù)測(cè)的位置，本文中當(dāng)APCE 判據(jù)判斷未發(fā)生遮擋時(shí)δ1=0.99、δ2=0.01；發(fā)生遮擋時(shí)δ1=0.01、δ2=0.99，此時(shí)卡爾曼濾波器充當(dāng)位置濾波器，估計(jì)目標(biāo)位置。

2.5 模板參數(shù)更新

模板更新包括尺度模板和參數(shù)模板更新，當(dāng)獲得的最優(yōu)尺度SPM與模板尺寸對(duì)應(yīng)的對(duì)偶空間系數(shù)aPM-1之間采用線性加權(quán)法來(lái)更新第t+1 幀的目標(biāo)尺度模板：

式中，ε 為尺度模型更新學(xué)習(xí)率，本文設(shè)為0.025。

圖3 遮擋與未遮擋時(shí)APEC值

3 實(shí)驗(yàn)仿真與結(jié)果分析

本文選取具有目標(biāo)形變、遮擋、尺度變換、運(yùn)動(dòng)模糊、平面旋轉(zhuǎn)、光照變換、背景雜波等特性的圖像序列，與KCF[12]、CACF[18]、CN[11]、CSK[8]、DSST[9]、CXT[28]、CT[29]、DFT[30]等經(jīng)典算法在CVPR2013 Benchmark[31]數(shù)據(jù)上進(jìn)行對(duì)比。為了綜合地評(píng)價(jià)各個(gè)跟蹤算法的性能，選取5個(gè)常用目標(biāo)跟蹤評(píng)估指標(biāo)[32]分別為：中心位置誤差（Center Location Error，CLE）、距離精度（Distance Precision，DP）、每秒運(yùn)行幀數(shù)（Frames Per Seconds，F(xiàn)PS）、一次通過(guò)評(píng)價(jià)（One-Pass Evaluation，OPE）所計(jì)算的成功率和精確度。

實(shí)驗(yàn)軟件環(huán)境為MATLAB R2018a，硬件環(huán)境為：Intel Core i5-5200U處理器，2.20 GHz主頻，4 GB內(nèi)存，Windows 10操作系統(tǒng)。

3.1 中心位置誤差

中心位置誤差是跟蹤目標(biāo)精度的一個(gè)評(píng)估指標(biāo)，是目標(biāo)跟蹤框中心位置和實(shí)際目標(biāo)跟蹤框中心位置之間歐式距離的均值。CLE值越小，跟蹤結(jié)果越準(zhǔn)確。表1是各算法跟蹤圖像序列的CLE結(jié)果，每個(gè)圖像序列最優(yōu)的CLE 加粗，次優(yōu)用斜體標(biāo)注。在表1 中，本文算法（AMFKCF）有11 個(gè)最優(yōu)中心位置誤差，12 個(gè)次優(yōu)的中心位置誤差。AMFKCF算法的平均CLE為10.85像素，相比于基礎(chǔ)算法KCF的平均CLE（25.52個(gè)像素）提高了14.67個(gè)像素，故AMFKCF算法的平均CLE均優(yōu)于其他6種跟蹤算法。

3.2 距離精度

距離精度是跟蹤目標(biāo)中心位置誤差小于一定閾值的幀數(shù)和總幀數(shù)的比值。DP 值越大，表示跟蹤結(jié)果越準(zhǔn)確。表2 是各種算法跟蹤圖像序列的DP 結(jié)果，每個(gè)圖像序列最優(yōu)的DP 加粗，次優(yōu)斜體標(biāo)注。本文算法（AMFKCF）的平均DP 是90.81%，比基礎(chǔ)算法（KCF）的平均DP（81.06%）提高了9.75個(gè)百分點(diǎn)，比MOSSE_CA的平均DP（55.94%）提高了34.87 個(gè)百分點(diǎn)，比CN 的平均DP（68.91%）提高了21.9個(gè)百分點(diǎn)，比CSK的平均DP（65.94%）提高了24.87個(gè)百分點(diǎn)，比DCF_CA的平均DP（87%）提高了3.81 個(gè)百分點(diǎn)，比DSST 的平均DP（84.74%）提高了6.07 個(gè)百分點(diǎn)，故AMFKCF 算法的平均DP均優(yōu)于其他6種跟蹤算法。

表1 中心位置誤差（CLE） 像素

表2 距離精度（DP） %

3.3 每秒幀數(shù)

每秒運(yùn)行的幀數(shù)是跟蹤算法每秒處理圖像序列的幀數(shù)，是衡量算法跟蹤速度的標(biāo)準(zhǔn)之一。FPS 的值越大，代表算法處理圖像序列速度越快，表3 是各種算法跟蹤圖像序列的FPS，每個(gè)圖像序列最優(yōu)的FPS 加粗，次優(yōu)斜體標(biāo)注。雖然本文算法（AMFKCF）的FPS 和KCF 的FPS 相比有所降低，但是速度相比于經(jīng)典算法DSST還是略高，基本滿足實(shí)時(shí)性。

3.4 成功率圖和精度圖

本文采用OPE 評(píng)價(jià)標(biāo)準(zhǔn)計(jì)算的成功率圖和精度圖來(lái)進(jìn)一步分析AMFKCF 算法和其他9 個(gè)跟蹤算法的跟蹤性能，OPE是指跟蹤算法按照視頻序列的順序來(lái)處理每幀的視頻序列。精確度是指中心位置誤差在給定閾值范圍內(nèi)的幀數(shù)和總幀數(shù)的比值，圖4的精確度曲線圖的閾值范圍為0到50。成功率表示的是給定一個(gè)閾值，計(jì)算跟蹤目標(biāo)位置和真實(shí)目標(biāo)位置的重疊率，重疊率定義為：

其中，rt是跟蹤目標(biāo)框，rs是真實(shí)目標(biāo)框，| |?是目標(biāo)框內(nèi)的像素點(diǎn)數(shù)目。

估計(jì)圖像序列中目標(biāo)位置和實(shí)際目標(biāo)位置的重疊率S 大于給定閾值的圖像序列幀數(shù)與總圖像序列幀數(shù)的比值即是成功率。成功率圖采用曲線下面積（AUC）的值來(lái)衡量算法性能，閾值范圍是0到1，AUC代表跟蹤目標(biāo)成功率的大小，AUC 越大，跟蹤目標(biāo)的成功率越大。圖4 的精確度圖中本文算法（AMFKCF）的精確度是0.959，比第二名DSST 算法精確度（0.898）高0.061，比KCF精確度（0.844）高0.115。圖5成功率圖中AMFKCF成功率是0.659，比第二名DCF_CA 算法成功率（0.613）高0.046，比KCF成功率（0.576）高0.083。

圖4 精確度圖

表3 每秒幀數(shù)（FPS）

圖5 成功率圖

為了全面準(zhǔn)確地分析本文算法（AMFKCF）在各種復(fù)雜場(chǎng)景下的性能，圖6是AMFKCF和其他9種跟蹤算法對(duì)24個(gè)具有不同屬性具有挑戰(zhàn)性的圖像序列進(jìn)行跟蹤所得到的精確度圖和成功率圖。從圖中可以看出，AMFKCF在處理背景雜波、平面旋轉(zhuǎn)、形變、嚴(yán)重遮擋、尺度變換、光照變換等屬性的視頻序列時(shí)跟蹤精度和成功率均優(yōu)于其他算法，只有跟蹤具有光照變換屬性的視頻序列，AMFKCF 的跟蹤精度和成功率相比于有些算法性能略差。

為了直觀說(shuō)明本文算法（AMFKCF）跟蹤的準(zhǔn)確性，圖7 給出了AMFKCF 和9 種主流算法跟蹤視頻序列cardark、david、david3、dog1、faceocc2、girl、jogging1、shaking、treilles、walking1、woman 的結(jié)果。在圖7（a）cardark 截取的部分跟蹤結(jié)果圖中，AMFKCF 的跟蹤框一直準(zhǔn)確地跟蹤著目標(biāo)車輛，并隨著車輛在視頻序列中的尺度大小變換而變換。圖7（b）是david部分視頻跟蹤結(jié)果，在#0569幀中，目標(biāo)尺度變大，AMFKCF算法跟蹤框也隨著變大，在#0696幀中，視頻中人摘掉眼鏡，目標(biāo)尺度變大，AMFKCF算法跟蹤框隨著變大，并準(zhǔn)確跟蹤上。圖7（c）是david3 部分視頻跟蹤結(jié)果，#0032 幀視頻中的人從電線桿后面經(jīng)過(guò)，#0092 幀中人經(jīng)過(guò)樹，#0200幀人往回來(lái)走，再次經(jīng)過(guò)樹，#0243幀再次經(jīng)過(guò)電線桿，面對(duì)嚴(yán)重遮擋，AMFKCF 算法能夠很好地跟蹤上視頻中的行人。圖7（d）是dog1 部分視頻跟蹤結(jié)果，視頻中玩具狗的尺度在#0264 幀、#0550 幀、#0740 幀、#0937 幀都有明顯的尺度變換，AMFKCF 算法的跟蹤框也隨著發(fā)生了較為明顯的尺度變換。圖7（e）是faceocc2 的部分視頻跟蹤結(jié)果，視頻中男士在#0026 幀、#0151 幀、#0263 幀、#0570 幀視頻序列中均有明顯尺度變換，在#0263幀、#0489幀、#0570幀男士的面部有了一些遮擋，但是AMFKCF算法的跟蹤框一直能夠準(zhǔn)確地跟蹤上目標(biāo)。圖7（f）是girl的部分視頻序列，在#0038幀、#0173、#0310幀，視頻序列中的女孩面部有明顯的旋轉(zhuǎn)，AMFKCF算法跟蹤框一直能夠跟蹤上，在girl 中的女孩面部有尺度變換，AMFKCF 算法可以很好地處理。圖7（g）是jogging1的部分視頻序列，從#0073幀、#0084幀，視頻序列中的女孩經(jīng)過(guò)電線桿的遮擋，AMFKCF 算法的跟蹤框還是能跟蹤上目標(biāo)。圖7（h）是shaking的部分視頻序列，視頻序列中的歌手站在舞臺(tái)上，有明顯的光照變換和尺度變換，跟蹤框一直能夠跟蹤上目標(biāo)。圖7（i）是treilles的部分視頻跟蹤序列，圖中的視頻序列中的人物處在很暗的環(huán)境下，并且有些尺度變換，AMFKCF算法仍能跟蹤上目標(biāo)。圖7（j）是walking1的部分視頻序列，#0018 幀、#0089 幀、#0121 幀視頻序列中的人經(jīng)過(guò)電線桿，還是能夠在嚴(yán)重遮擋情況下跟蹤上目標(biāo)。圖7（k）是woman的部分視頻序列，在#0125幀、#0205幀、#0323幀中的女士均發(fā)生嚴(yán)重遮擋，到#0392幀AMFKCF能夠準(zhǔn)確跟蹤上目標(biāo)。

圖6 復(fù)雜場(chǎng)景下的精確度、成功率圖

圖7 部分視頻序列跟蹤結(jié)果

4 結(jié)語(yǔ)

本文提出一種結(jié)合卡爾曼濾波的多特征融合的尺度自適應(yīng)相關(guān)濾波算法，算法中有位置和尺度濾波器，在KCF 的框架上得到兩個(gè)特征的響應(yīng)值，并進(jìn)行線性加權(quán)融合，融合后的響應(yīng)值來(lái)確定目標(biāo)的位置；在此基礎(chǔ)上，引入了尺度濾波器來(lái)估計(jì)目標(biāo)的尺度，以此來(lái)增強(qiáng)尺度的自適應(yīng)能力；但是在面臨嚴(yán)重遮擋問(wèn)題時(shí)還會(huì)出現(xiàn)跟蹤目標(biāo)丟失的現(xiàn)象，所以本文再引入卡爾曼濾波，對(duì)跟蹤目標(biāo)的位置進(jìn)行修正來(lái)保證跟蹤結(jié)果的精確性。為了驗(yàn)證本文算法（AMFKCF）算法的綜合性能，AMFKCF 和9 種經(jīng)典算法同時(shí)處理具有不同屬性的圖像序列，結(jié)果表明，AMFKCF算法處理遮擋、尺度變換、背景雜波、形變、平面旋轉(zhuǎn)等具有挑戰(zhàn)性的場(chǎng)景時(shí)，在保證速度的同時(shí)跟蹤精確度也表現(xiàn)良好。

AMFKCF 算法在處理大多數(shù)具有挑戰(zhàn)性場(chǎng)景的視頻序列時(shí)都能表現(xiàn)出良好的性能，而且基本滿足實(shí)時(shí)性，但是在跟蹤具有運(yùn)動(dòng)模糊屬性的視頻序列時(shí)跟蹤性能稍弱，因此未來(lái)工作將基于AMFKCF 算法在處理運(yùn)動(dòng)模糊方面做出改進(jìn)。