流形背景感知的相關(guān)濾波目標(biāo)跟蹤

袁 姮，趙肖祎

1.遼寧工程技術(shù)大學(xué) 軟件學(xué)院，遼寧 葫蘆島125105

2.遼寧工程技術(shù)大學(xué) 研究生院，遼寧 葫蘆島125105

目標(biāo)跟蹤是計算機(jī)視覺領(lǐng)域的一個研究熱點[1-4]，其本質(zhì)是根據(jù)先驗信息，在連續(xù)的視頻圖像中對感興趣目標(biāo)的位置和狀態(tài)進(jìn)行分析、識別。目標(biāo)跟蹤在視頻監(jiān)控、現(xiàn)代化軍事、人機(jī)交互以及智能視覺導(dǎo)航等領(lǐng)域具有重要的研究價值和應(yīng)用價值[5-6]。由于跟蹤過程中存在圖像分辨率低、目標(biāo)尺度變化、復(fù)雜背景等因素，容易發(fā)生目標(biāo)丟失等問題，如何解決這些問題，提高目標(biāo)跟蹤的準(zhǔn)確率，是目標(biāo)跟蹤領(lǐng)域的研究熱點和難點[7-10]。

近些年來，相關(guān)濾波算法在目標(biāo)跟蹤領(lǐng)域應(yīng)用廣泛，實驗表明基于相關(guān)濾波的目標(biāo)跟蹤算法速度較快且準(zhǔn)確率較高。2010年，Bolme等人[11]提出最小輸出平方和誤差濾波（minimum output sum of squared error，MOSSE）跟蹤算法，該算法通過卷積計算將圖像從時域轉(zhuǎn)換到頻域，將卷積操作變?yōu)辄c乘提升跟蹤速度，并通過圖像的響應(yīng)值判斷初始位置與候選位置的相關(guān)性來提高濾波器的準(zhǔn)確率。2012 年，Henriques等人[12]提出核循環(huán)結(jié)構(gòu)（exploiting the circulant structure of tracking-by-detection with kernels，CSK）算法，該算法計算相鄰兩幀之間的相關(guān)性，將最大響應(yīng)值作為預(yù)測目標(biāo)中心，提升跟蹤效果，但該算法目標(biāo)尺度固定，對目標(biāo)尺度變換不魯棒。2015年，Henriques 等人[13]改進(jìn)CSK 算法，提出核相關(guān)濾波算法（kernel correlation filter，KCF），該算法通過構(gòu)造循環(huán)矩陣擴(kuò)充負(fù)樣本的數(shù)量來增強(qiáng)跟蹤器的性能，對算法進(jìn)行優(yōu)化，但當(dāng)目標(biāo)快速運(yùn)動時，跟蹤效果不明顯。2015年，Danelljan等人[14]提出基于空間正則化的相關(guān)濾波算法（spatially regularized correlation filters，SRDCF），該算法能夠有效抑制背景區(qū)域的響應(yīng)，擴(kuò)大搜索范圍，提升目標(biāo)在復(fù)雜背景下的跟蹤效果，但該算法不適用于實時跟蹤。2017年，Galoogahi等人[15]提出背景感知相關(guān)濾波算法（background-aware correlation filters，BACF），該算法在目標(biāo)的前景和背景發(fā)生變化時，擴(kuò)大了循環(huán)矩陣的采樣區(qū)域，增加了樣本數(shù)量，同時在每個樣本上提取有效樣本區(qū)域從而提高樣本質(zhì)量，大幅提升跟蹤器的效果和速度。2018年，Li等人[16]在SRDCF的基礎(chǔ)上加入了時間正則化，提出了空間與時間正則化算法（spatial-temporal regularized correlation filters，STRCF），該算法通過對判別相關(guān)濾波器系數(shù)施加空間懲罰來解決處理邊界效應(yīng)時效率損失這一問題。2019年，Dai等人[17]提出自適應(yīng)空間加權(quán)相關(guān)濾波的目標(biāo)跟蹤（visual tracking via adaptive spatially-regularized correlation filters，ASRCF）算法，該算法用自適應(yīng)空間約束相關(guān)濾波算法優(yōu)化濾波器權(quán)重、約束空間矩陣，用兩種相關(guān)濾波模型分別估計目標(biāo)的位置和尺度，有效減少計算量，得到較高的定位精度。

背景感知相關(guān)濾波算法（BACF）雖然增加了樣本數(shù)量，保證了樣本質(zhì)量，但該算法在目標(biāo)與背景信息相似、遮擋、快速運(yùn)動等復(fù)雜場景下，容易發(fā)生目標(biāo)漂移，因此如何在目標(biāo)的運(yùn)動方向上有效提取背景信息至關(guān)重要。本文在背景感知相關(guān)濾波算法的基礎(chǔ)上，提出了一種基于流形搜索的背景感知相關(guān)濾波目標(biāo)跟蹤算法。該算法采用雙指數(shù)分布構(gòu)建流形搜索區(qū)域，并能夠根據(jù)目標(biāo)的運(yùn)動速度和運(yùn)動方向動態(tài)調(diào)整流形搜索區(qū)域的搜索范圍和搜索角度，有效提取背景樣本進(jìn)行濾波器訓(xùn)練并更新濾波器模板，對提升基于背景感知的相關(guān)濾波跟蹤算法性能具有重要意義。

1 流形背景感知方法

1.1 流形搜索區(qū)域定義

本文提出一種新的背景感知方法，由于該方法感知的空間范圍在幾何形態(tài)上近似流形，將其定義為流形背景感知方法（本文定義的流形概念與模式識別領(lǐng)域中的流形學(xué)習(xí)有本質(zhì)區(qū)別，本文流形是指背景感知的最優(yōu)空間范圍，而模式識別領(lǐng)域中的流形學(xué)習(xí)是一種從高維采樣數(shù)據(jù)中恢復(fù)低維流形結(jié)構(gòu)的非線性降維方法）。為了詳細(xì)闡述流形背景感知方法，本文假設(shè)目標(biāo)沿水平方向向右運(yùn)動，則其下一幀向右運(yùn)動的概率大于其他方向運(yùn)動的概率，如果能在大概率運(yùn)動空間對目標(biāo)進(jìn)行背景感知，可以有效降低目標(biāo)丟失率，提高目標(biāo)跟蹤精度。視頻序列中連續(xù)兩幀運(yùn)動目標(biāo)的位置分布，可以看作兩個獨(dú)立同概率的隨機(jī)時間布朗運(yùn)動，滿足隨機(jī)時間布朗運(yùn)動的概率分布是雙指數(shù)分布和拉普拉斯分布，從數(shù)學(xué)角度分析，雙指數(shù)分布具有零點無界的特點，拉普拉斯分布具有零點有界的特點，對于實際運(yùn)動目標(biāo)而言，下一時刻目標(biāo)出現(xiàn)在正方向位置或者反方向位置上的概率是隨機(jī)且無界的，因此采用具有零點無界特性的雙指數(shù)分布來描述目標(biāo)運(yùn)動的總體變動方向和變動程度，可以有效度量目標(biāo)運(yùn)動的隨機(jī)過程。本文采用兩個指數(shù)分布背靠背連接在一起，構(gòu)成運(yùn)動目標(biāo)的背景感知空間范圍，稱為流行搜索區(qū)域，流形搜索區(qū)域的數(shù)學(xué)模型為：

式中，e 為自然常數(shù)，a為系數(shù)，用來描述曲線坡度。流形搜索區(qū)域數(shù)學(xué)模型如圖1（a）所示，流形搜索區(qū)域效果圖如圖1（b）所示。

圖1 流形搜索區(qū)域示意圖Fig. 1 Schematic diagram of manifold search area

1.2 流形搜索區(qū)域有效性證明

任意相鄰兩幀間的目標(biāo)運(yùn)動具有隨機(jī)性，其隨機(jī)運(yùn)動出現(xiàn)位置的概率服從正態(tài)分布[18-19]，本文以正態(tài)分布為例，證明流形搜索區(qū)域的有效性，其中正態(tài)分布函數(shù)為：

如圖2 所示，假設(shè)目標(biāo)的初始位置是原點，目標(biāo)的初速度為單位速度1 pixel/s，運(yùn)動方向沿x軸正方向，則目標(biāo)下一幀出現(xiàn)位置的概率近似服從標(biāo)準(zhǔn)正態(tài)分布，則μ=0，σ=1，概率分布示意圖如圖2中陰影部分所示（圖中正態(tài)分布圖形是經(jīng)旋轉(zhuǎn)后放入流形區(qū)域內(nèi)）。

圖2 流形搜索區(qū)域概率示意圖Fig. 2 Schematic diagram of manifold search probability

基于式（2），可以得到目標(biāo)在流形感知區(qū)域內(nèi)出現(xiàn)的概率為：

式（3）中，es和-es均為關(guān)于s的函數(shù)，將式（3）積分轉(zhuǎn)化為二重積分極坐標(biāo)方式進(jìn)行求解，此時：

由式（4）可知s取不同值時，式（3）的結(jié)果均接近于1，說明目標(biāo)落在流形搜索區(qū)域的概率趨近于1，由此可以證明，流形感知方法基本涵蓋了目標(biāo)運(yùn)動的大概率空間范圍。同時由文獻(xiàn)[20]可知，采用不同數(shù)量運(yùn)動粒子進(jìn)行實驗，實驗粒子的位置均為隨機(jī)分布，且水平速度也為隨機(jī)分布。則經(jīng)實驗驗證，粒子的豎直方向速度不管是隨機(jī)分布還是高斯隨機(jī)分布，其曲線的形狀均趨向于高斯分布?？梢娺\(yùn)動粒子速度的初始分布方式并不重要，只要是隨機(jī)的即可，因此在證明過程中可以不考慮速度因素，采用式（1）作為流形感知范圍的數(shù)學(xué)模型具有理論可行性和有效性。

1.3 流形背景感知方法原理

假設(shè)初始幀目標(biāo)位置坐標(biāo)為原點（0,0），將函數(shù)y=±aex，x=x1，x=x2(x1＜x2)所圍成的區(qū)域作為初始搜索區(qū)域，其中當(dāng)目標(biāo)位于初始位置（0,0）時，函數(shù)x=x1與函數(shù)x=x2關(guān)于y軸對稱。為了有效提取背景樣本，在搜索區(qū)域內(nèi)作函數(shù)：

當(dāng)目標(biāo)位于初始位置（0,0）時，假設(shè)取a=1,x1=-2,x2=2,Δ1=0.8,Δ2=0.2，畫出以及的函數(shù)圖像，搜索點示意圖如圖3所示。圖中黑色虛線為函數(shù)=-2+0.8i1的圖像，彩色曲線為函數(shù)=(1-0.2i2)ex的圖像，將圖中函數(shù)的所有交點作為搜索點（圖中點C(p,q)為搜索點之一），則共有66個搜索點可以提取背景樣本進(jìn)行濾波器訓(xùn)練。

圖3 搜索點示意圖Fig. 3 Search point diagram

當(dāng)目標(biāo)位于初始位置（0,0）時，利用定積分可以得到函數(shù)x1、函數(shù)x2與函數(shù)y=±aex所圍成的初始流形搜索區(qū)域的面積S0：

當(dāng)t時刻目標(biāo)運(yùn)動到Q(m,n)點時，即目標(biāo)在水平方向由初始位置移動了m個單位（目標(biāo)向右運(yùn)動時m為正數(shù)，目標(biāo)向左運(yùn)動時m為負(fù)數(shù)），在豎直方向上由初始位置移動了n個單位（目標(biāo)向上運(yùn)動時n為正數(shù)，目標(biāo)向下運(yùn)動時n為負(fù)數(shù)），也就是函數(shù)發(fā)生了平移，其相對位置發(fā)生了變化，則式（1）在目標(biāo)由初始位置運(yùn)動到Q點時可變換為：

由于目標(biāo)在運(yùn)動過程中，目標(biāo)的運(yùn)動速度以及方向時刻變化，需時刻考慮目標(biāo)的速度變化和角度變化。假設(shè)目標(biāo)運(yùn)動速度為v，角度為ω=arctan，若目標(biāo)運(yùn)動速度增大，則目標(biāo)的運(yùn)動方向不易改變，因此可以在目標(biāo)的運(yùn)動方向上擴(kuò)大搜索范圍，在目標(biāo)運(yùn)動方向的垂直方向上減小搜索范圍，即將a減小到ai；同理，若目標(biāo)運(yùn)動速度減小，則目標(biāo)的運(yùn)動方向容易改變，因此可以在目標(biāo)的運(yùn)動方向上減小搜索范圍，在目標(biāo)運(yùn)動方向的垂直方向上擴(kuò)大搜索范圍，即將a增大到ai。其中，ai定義為：

搜索點之一C(p,q)經(jīng)角度ω逆時針旋轉(zhuǎn)為C(p′,q′)，其中p′和q′分別為：

式（9）中，v∈(0,+∞)。在目標(biāo)運(yùn)動速度以及運(yùn)動方向發(fā)生變化時，利用式（9）和式（10）可以先確定目標(biāo)的大致范圍，使得目標(biāo)在該范圍內(nèi)有效防止目標(biāo)丟失。目標(biāo)運(yùn)動到Q(m,n)點時=x1+m，利用定積分得到目標(biāo)運(yùn)動到Q點時流形搜索區(qū)域的面積St：

從式（11）可以看出，流形搜索區(qū)域會隨著目標(biāo)運(yùn)動狀態(tài)變化而改變，為了有效控制計算復(fù)雜度，使流形搜索的計算量不受目標(biāo)運(yùn)動狀態(tài)干擾，令目標(biāo)在Q點時的流形搜索區(qū)域面積始終等于目標(biāo)位于初始位置時的流形搜索區(qū)域面積，即St=S0，由式（7）、式（11）可求得：

以式（10）和式（12）可以重新確定運(yùn)動目標(biāo)在Q坐標(biāo)位置的流形搜索區(qū)域，最后提取搜索點的背景樣本進(jìn)行濾波器訓(xùn)練。

2 基于流形背景感知的相關(guān)濾波算法

2.1 背景感知相關(guān)濾波算法原理

在目標(biāo)跟蹤的過程中，目標(biāo)可能會發(fā)生快速運(yùn)動、尺度變化、旋轉(zhuǎn)等變化，而產(chǎn)生邊界效應(yīng)，影響目標(biāo)跟蹤效果。為解決邊界效應(yīng)，Galoogahi 等人[21]在2015 年提出了有限邊界相關(guān)性過濾器（correlation filters with limited boundaries，CFLB）最小化嶺回歸：

式中，N代表訓(xùn)練的圖片數(shù)量，T代表圖片的尺寸大小，y是回歸目標(biāo)，h∈RD，h代表訓(xùn)練濾波器，H 為轉(zhuǎn)置，P是D×T的二維矩陣，用于提取信號x中的D個元素，D是目標(biāo)樣本大小，通常情況下，D?T，且P是可以計算出來的常數(shù)矩陣，xu∈RT，Δτv是循環(huán)移位操作，λ是正則化系數(shù)。該算法能有效解決邊界效應(yīng)問題，跟蹤效果較好。

背景感知相關(guān)濾波在式（13）的基礎(chǔ)上加入了多通道特征（histogram of oriented gradient，HOG）：

該算法令式（13）中的N等于1，然后加入HOG特征。式（14）中，y(v)是y的第v個元素，K代表特征通道的數(shù)量，hK是多通道的濾波器，xk∈RT（k=1,2,…,K)，表示提取的特征樣本，且有y∈RT和h∈RD。相比傳統(tǒng)的相關(guān)濾波算法，該算法擴(kuò)大循環(huán)矩陣的采樣區(qū)域，同時裁剪樣本，為保證樣本質(zhì)量，提取樣本的有效區(qū)域。

2.2 基于流形背景感知的相關(guān)濾波算法模型

流形背景感知算法利用流形搜索區(qū)域，根據(jù)目標(biāo)的運(yùn)動方向提取背景信息，并利用背景信息進(jìn)行濾波器訓(xùn)練，從而增強(qiáng)濾波器對目標(biāo)和背景的分類能力，則式（14）在頻域上可化為：

式中，γ為正則化系數(shù)，(δ∈[1,?])是由式（12）所確定的流形搜索區(qū)域中提取的目標(biāo)背景信息，?是利用流形搜索算法所提取的背景塊的數(shù)量，φ為權(quán)重系數(shù)且φ∈()0,1，與提取的背景塊的數(shù)量有關(guān)，選取的背景塊數(shù)越多，φ越接近1。將式（15）轉(zhuǎn)換到頻域上計算，公式為：

2.3 基于流形背景感知的相關(guān)濾波算法模型求解

為求解式（16），采用增廣拉格朗日乘子法[22]在優(yōu)化函數(shù)中加入約束項，即：

（1）子問題1：求解h*。若式（17）中y^、g^、λ、μ、γ、φ、P均為已知量，則式（17）轉(zhuǎn)化為具有閉式解的子問題。

對式（18）中h求偏導(dǎo)得：

式（19）等于0解得：

（2）子問題2：求解g*。若式（17）中y^、h、λ、μ、γ、φ、P均為已知量，則式（17）轉(zhuǎn)化為具有閉式解的子問題。

令式（23）等于0得到：

將式（25）代入式（24）中得到：

子問題求解后，對ξ進(jìn)行求解，拉格朗日乘子向量更新為：

2.4 基于流形背景感知的相關(guān)濾波算法模型更新

在發(fā)生形變或尺度變化時，為提高目標(biāo)的跟蹤魯棒性，本文采用自適應(yīng)策略，即：

3 算法步驟及實例測試

3.1 算法步驟

背景感知相關(guān)濾波（BACF）跟蹤算法的準(zhǔn)確性和魯棒性較好，本文采用BACF 作為算法框架。同時，為了能夠有效地提取背景信息，根據(jù)目標(biāo)運(yùn)動方向建立流形搜索區(qū)域，在搜索區(qū)域內(nèi)利用背景感知算法對背景信息進(jìn)行提取。利用背景圖像對濾波器進(jìn)行訓(xùn)練，更新濾波器模板。目標(biāo)跟蹤過程的仿真效果如圖4 所示，其中綠色框為初始目標(biāo)，紅色框為流形區(qū)域提取的背景信息，利用提取的背景外觀特征對初始濾波器模板進(jìn)行訓(xùn)練，可以有效抑制目標(biāo)區(qū)域的背景信息，提高目標(biāo)跟蹤的精確度。然后采用相關(guān)濾波得到目標(biāo)位置并形成目標(biāo)運(yùn)動軌跡，運(yùn)動軌跡如圖4第五行序列圖像中綠色線所示，最后根據(jù)目標(biāo)的運(yùn)動速度和運(yùn)動方向動態(tài)調(diào)整流形搜索區(qū)域的范圍和角度，實現(xiàn)循環(huán)跟蹤。

圖4 目標(biāo)跟蹤過程仿真圖Fig. 4 Simulation diagram of target tracking process

本文提出的基于流形背景感知的相關(guān)濾波跟蹤算法流程示意圖如圖5所示，算法步驟如下：

圖5 流形背景感知的相關(guān)濾波跟蹤算法流程圖Fig. 5 Flow chart of manifold background-aware correlation filtering tracking algorithm

步驟1初始化階段。（1）選取待跟蹤目標(biāo)，確定跟蹤區(qū)域；（2）提取目標(biāo)的外觀特征，建立初始目標(biāo)特征模型；（3）將待跟蹤目標(biāo)在視頻圖像中的位置設(shè)定為原點(0,0)，并建立平面直角坐標(biāo)系；（4）在坐標(biāo)系中采用雙指數(shù)分布構(gòu)建初始流形搜索區(qū)域，并計算流形搜索區(qū)域初始面積S0；（5）提取流形搜索區(qū)域內(nèi)的背景信息，根據(jù)背景信息對（2）中得到的初始目標(biāo)特征模型進(jìn)行濾波器訓(xùn)練，得到初始濾波器模板。

步驟2目標(biāo)跟蹤。將步驟1 中得到的濾波器模板對下一幀目標(biāo)進(jìn)行定位，跟蹤目標(biāo)，并輸出跟蹤結(jié)果。轉(zhuǎn)至步驟3。

步驟3流形背景感知。（1）假設(shè)步驟2 中得到的目標(biāo)位置信息為t(m,n)，提取該幀圖像中目標(biāo)的外觀特征，更新目標(biāo)的特征模型；（2）根據(jù)相鄰兩幀圖像中目標(biāo)的位置，計算目標(biāo)的運(yùn)動速度和運(yùn)動方向，并根據(jù)目標(biāo)的速度和方向，動態(tài)調(diào)整流形搜索區(qū)域的搜索范圍和搜索角度；（3）計算調(diào)整后流形搜索區(qū)域的面積St，令St=S0，并將計算得到的流形搜索區(qū)域確定為當(dāng)前搜索區(qū)域；（4）提取當(dāng)前搜索區(qū)域內(nèi)的背景信息，根據(jù)背景信息，對（1）中得到的目標(biāo)特征模型進(jìn)行濾波器訓(xùn)練，更新濾波器模板。轉(zhuǎn)至步驟2，循環(huán)執(zhí)行。

3.2 實例測試

為了驗證流形背景感知相關(guān)濾波跟蹤算法的有效性，本文選取數(shù)據(jù)集OTB100（object tracking benchmark 100）中的小狗運(yùn)動的視頻序列圖像進(jìn)行實例測試。跟蹤目標(biāo)為小狗全身區(qū)域，小狗在側(cè)向奔跑過程中，其運(yùn)動速度快，角度變化劇烈，小狗身體存在尺度伸縮和形狀變化，身體顏色與背景顏色較為相似，這些干擾因素對小狗跟蹤帶來較大困難。采用本文提出的流形背景感知相關(guān)濾波跟蹤算法的實例測試效果如圖6所示（紅色范圍為流形搜索區(qū)域）。

圖6 算法跟蹤效果示意圖Fig. 6 Schematic diagram of algorithm tracking effect

圖6 測試結(jié)果表明，在目標(biāo)運(yùn)動的過程中，流形背景感知算法能夠根據(jù)目標(biāo)的運(yùn)動速度和運(yùn)動方向動態(tài)調(diào)整搜索區(qū)域的范圍和角度，能夠覆蓋目標(biāo)運(yùn)動的大概率范圍，有效感知目標(biāo)背景信息，克服復(fù)雜因素對小狗跟蹤的干擾，對目標(biāo)實行準(zhǔn)確和穩(wěn)定的跟蹤。

4 實驗及結(jié)果分析

4.1 實驗環(huán)境及參數(shù)設(shè)置

本文所選用的編程軟件為GNU Octave，處理器為Intel i7-6700 CPU，內(nèi)存為16 GB。操作系統(tǒng)為Windows 10。本文實驗參數(shù)設(shè)置如下：HOG 特征通道數(shù)量K=31，正則化因子λ=0.01，γ=1，迭代次數(shù)L=2，懲罰因子μ=1，參數(shù)μ采用μi+1=min(μmax,?μ(i))更新，μmax=103，?=10。數(shù)量塊?=66。

為了驗證本文算法的有效性，本文選取數(shù)據(jù)集OTB100 中的序列與當(dāng)前8 種主流算法進(jìn)行實驗對比。數(shù)據(jù)集OTB100[24]具有不同的屬性，如背景雜亂、光照變化等。采用一次性通過評價（one-time evaluation，OPE），在分析算法性能時將成功率以及跟蹤精確率作為評價標(biāo)準(zhǔn)。

4.2 實驗結(jié)果與分析

本節(jié)采用算法定性分析和算法定量比較兩個比較方法。選定8 種當(dāng)前主流算法，分別為KCF[13]、SRDCF[14]、BACF[15]、DSST（discriminative scale space tracker）[25]、Staple[26]、DCF_CA（discriminative correlation filter context-aware）[27]、SAMF_CA（scale adaptive multiple feature context-aware）[28]、ASRCF[17]算法作為對比算法。

4.2.1 定性分析

圖7給出了8組不同跟蹤屬性的視頻序列，包含出視野（out of view，OV）、背景雜亂（background clutters，BC）、低分辨率（low resolution，LR）等11 種不同的視頻屬性。

圖7 9種跟蹤方法的跟蹤結(jié)果Fig. 7 Tracking results of 9 tracking algorithms

Biker序列中目標(biāo)具有出視野和平面外旋轉(zhuǎn)的屬性。從圖7（a）中可以看出，在第45 幀之前各算法均能較好地跟蹤目標(biāo)。由于目標(biāo)自身旋轉(zhuǎn)到第67 幀時，DSST、KCF、SRDCF、DCF_CA、Staple 算法均發(fā)生跟蹤漂移丟失目標(biāo)，BACF算法和SAMF_CA算法在跟蹤的過程中只跟蹤到了目標(biāo)的部分信息，但本文的流形背景感知算法和ASRCF算法卻能準(zhǔn)確地跟蹤到目標(biāo)。到第68幀時，ASRCF算法也發(fā)生了跟蹤漂移，只能跟蹤到目標(biāo)的一部分信息。到第71幀時，只有本文算法以及BACF算法跟蹤到目標(biāo)，但BACF算法未能跟蹤到目標(biāo)的全部信息。到第73 幀時，發(fā)現(xiàn)目標(biāo)的部分信息未在視野內(nèi)，此時只有本文算法與BACF算法能跟蹤到目標(biāo)。

Blurowl序列中目標(biāo)具有快速運(yùn)動以及運(yùn)動模糊的屬性。當(dāng)目標(biāo)在連續(xù)的圖像中運(yùn)動區(qū)間超過20個像素時，目標(biāo)具有快速運(yùn)動的屬性。運(yùn)動模糊是由于攝像時相機(jī)和目標(biāo)間的相對運(yùn)動造成圖像模糊的情況。從圖7（b）中可以看到，在第47幀之前，各算法均能準(zhǔn)確跟蹤目標(biāo)。由于目標(biāo)在平面內(nèi)快速運(yùn)動，在第47幀時，BACF算法和Staple算法均發(fā)生了一定程度的漂移，到第153 幀時，DSST 算法和KCF 算法發(fā)生漂移，丟失目標(biāo)。尤其在156 幀時，除本文算法和SRDCF 算法能準(zhǔn)確跟蹤目標(biāo)，其余算法均跟蹤失敗。在經(jīng)歷運(yùn)動模糊的過程后，到第384 幀時，SRDCF 算法也出現(xiàn)了一定程度的漂移，只能跟蹤到目標(biāo)的部分信息。目標(biāo)在發(fā)生快速運(yùn)動時，本文算法能夠根據(jù)目標(biāo)運(yùn)動速度和角度的變化調(diào)整流形搜索區(qū)域防止目標(biāo)丟失。因此，從初始幀到最后一幀，在目標(biāo)發(fā)生快速運(yùn)動和運(yùn)動模糊時，只有本文算法比較穩(wěn)定，能準(zhǔn)確跟蹤目標(biāo)。

Board序列中目標(biāo)出現(xiàn)了平面外旋轉(zhuǎn)，平面外旋轉(zhuǎn)是指目標(biāo)在發(fā)生旋轉(zhuǎn)時目標(biāo)本身容易被其他物體或者自身遮擋。從圖7（c）中可以看到，在第553幀之前各算法均能準(zhǔn)確地跟蹤目標(biāo)。到第582 幀和595幀時，由于目標(biāo)旋轉(zhuǎn)被自身遮擋，可以看到DSST、KCF、BACF、SRDCF、DCF_CA、Staple 算法均發(fā)生了一定程度的漂移，只有本文算法、SAMF_CA 算法和ASRCF 算法能準(zhǔn)確地跟蹤目標(biāo)，但相比本文算法，SAMF_CA算法和ASRCF算法不能適應(yīng)目標(biāo)的外觀變化，跟蹤到目標(biāo)的全部信息。到第672 幀時，DSST、KCF、BACF、SRDCF、DCF_CA、Staple 算法均跟蹤失敗，丟失目標(biāo)。因此從開始到最后一幀只有本文算法、ASRCF 算法和SAMF_CA 算法能準(zhǔn)確跟蹤到目標(biāo)，且只有本文算法能適應(yīng)目標(biāo)的外觀變化，跟蹤到目標(biāo)的全部信息。

Football序列中目標(biāo)存在平面內(nèi)旋轉(zhuǎn)的現(xiàn)象。從圖7（d）中可以看到，各算法在第283幀之前均能準(zhǔn)確跟蹤目標(biāo)。到第292 幀時，目標(biāo)被相似物體遮擋，此時DSST、KCF、BACF、DCF_CA、SAMF_CA、Staple算法將與目標(biāo)相似的物體當(dāng)作目標(biāo)，發(fā)生跟蹤漂移跟蹤失敗。只有本文算法、SRDCF算法和ASRCF算法能準(zhǔn)確跟蹤到目標(biāo)。在第306幀，目標(biāo)發(fā)生平面內(nèi)旋轉(zhuǎn)，SRDCF 算法與ASRCF 算法發(fā)生輕微跟蹤漂移，丟失了目標(biāo)的一部分信息。第331 幀，只有本文算法與ASRCF 算法能準(zhǔn)確跟蹤目標(biāo)。因此，從初始幀到最后一幀，只有本文算法與ASRCF 算法能準(zhǔn)確地跟蹤目標(biāo)。

Ironman 序列中顯示了目標(biāo)在光照變化和背景雜亂的情況下算法的跟蹤效果，光照變化是指目標(biāo)所在的區(qū)域背景顏色變化明顯，影響跟蹤效果。背景雜亂是在目標(biāo)周圍出現(xiàn)了與目標(biāo)相似的背景信息，對目標(biāo)跟蹤造成困擾。從圖7（e）中可以看出，在第10 幀時SRDCF 和ASRCF 均出現(xiàn)了一定程度上的跟蹤漂移。到第60幀和第63幀時光照變化明顯，此時除本文算法能夠跟蹤目標(biāo)外，其余算法均出現(xiàn)了跟蹤漂移。由于背景雜亂，出現(xiàn)與目標(biāo)相似的背景信息，到第102 幀時，DSST、KCF、SRDCF、DCF_CA、ASRCF 算法均不能有效地區(qū)分目標(biāo)和相似背景信息，將相似的背景信息當(dāng)成初始幀的跟蹤目標(biāo)出現(xiàn)了跟蹤漂移，BACF、SAMF_CA、Staple算法也出現(xiàn)了一定程度上的漂移。由于本文采用了流形背景感知算法，能有效辨別目標(biāo)與背景信息，將背景信息作為負(fù)樣本，在背景雜亂時能夠有效提取背景樣本進(jìn)行濾波器訓(xùn)練。此外本文算法中的HOG特征對于光照變化更加魯棒，因此從初始幀到最后一幀只有本文算法能夠準(zhǔn)確地跟蹤目標(biāo)。

Lemming 序列中目標(biāo)存在遮擋的情況。遮擋是目標(biāo)跟蹤中常見的挑戰(zhàn)因素之一。從圖7（f）中可以看到，在第295 幀之前，各算法均能準(zhǔn)確跟蹤目標(biāo)。到第352幀時，由于目標(biāo)被遮擋，ASRCF算法出現(xiàn)漂移。到第369 幀時，除本文算法能準(zhǔn)確跟蹤到目標(biāo)，其余8 種算法均出現(xiàn)了一定程度的漂移。到第717幀時，除本文算法和SAMF_CA 算法能跟蹤目標(biāo)外，其余算法均無法在丟失目標(biāo)后重新跟蹤到目標(biāo)，但與本文算法相比，SAMF_CA算法不能較好地適應(yīng)目標(biāo)的外觀變化。到第1 336 幀時，DSST、KCF、BACF算法重新檢測到目標(biāo)并跟蹤，但BACF、DSST、KCF算法不能適應(yīng)目標(biāo)的外觀變化。因此，當(dāng)目標(biāo)在跟蹤過程中出現(xiàn)被遮擋的情況下，只有本文算法能適應(yīng)目標(biāo)的外觀變化并準(zhǔn)確跟蹤到目標(biāo)。

Panda序列中目標(biāo)的分辨率較低，并且目標(biāo)在翻轉(zhuǎn)的過程中發(fā)生了形變。從圖7（g）中可以看到，在第130幀之前，各算法均能準(zhǔn)確地跟蹤目標(biāo)，到第137幀時，除本文算法外，其余算法均發(fā)生了一定程度的漂移，其中只有本文算法和DCF_CA算法能跟蹤到目標(biāo)的全部信息。由于目標(biāo)分辨率較低且不斷翻轉(zhuǎn)導(dǎo)致形變，在第613 幀時，DSST、KCF、BACF、SRDCF、DCF_CA、SAMF_CA 算法均丟失目標(biāo)，跟蹤失敗。Staple算法和ASRCF算法出現(xiàn)了漂移，只跟蹤到了目標(biāo)部分信息。在最后一幀時，除本文算法，其余算法均跟蹤失敗。由于本文算法采用了自適應(yīng)更新策略，在目標(biāo)發(fā)生形變時能迅速適應(yīng)目標(biāo)變化，跟蹤效果較好。

Sylvester序列中目標(biāo)發(fā)生了平面內(nèi)/外旋轉(zhuǎn)。從圖7（h）中可以看到，從第1 103 幀到1 127 幀，BACF算法丟失目標(biāo)，跟蹤失敗，此時只有本文算法跟蹤到了目標(biāo)的全部信息。到第1 138 幀時，除本文算法外，ASRCF 算法也能跟蹤到目標(biāo)的全部信息。到第1 228 幀時，SAMF_CA 算法和Staple 算法跟蹤失敗。到第1 336 幀時，除本文算法與ASRCF 算法外，其余算法均不能重新定位目標(biāo)，無法跟蹤目標(biāo)。因此在Sylvester 序列中，在目標(biāo)出現(xiàn)平面內(nèi)/外旋轉(zhuǎn)的現(xiàn)象后，只有本文算法與ASRCF算法能準(zhǔn)確跟蹤目標(biāo)。

從圖7 中看到，與當(dāng)前主流算法相比，本文算法在背景雜亂等復(fù)雜場景下跟蹤性能更優(yōu)。

4.2.2 定量比較

如圖8所示為9種跟蹤算法在數(shù)據(jù)集OTB100上的精確率曲線以及成功率曲線。從圖8中可見，本文采用的流形搜索算法的成功率以及精確率分別達(dá)到0.774和0.829，得分均高于BACF的成功率（0.720）和精確率（0.796）。流形搜索區(qū)域能最大概率地涵蓋目標(biāo)下一幀可能出現(xiàn)的位置，提高了目標(biāo)跟蹤的準(zhǔn)確率。本文在BACF 算法的基礎(chǔ)上加入了流形搜索算法，提取目標(biāo)周圍的背景信息更加豐富，使得背景信息在運(yùn)動方向上的訓(xùn)練權(quán)重高于非運(yùn)動方向上的訓(xùn)練權(quán)重，從而很好地解決了目標(biāo)在背景雜亂的復(fù)雜場景下容易出現(xiàn)跟蹤漂移的問題。9 種跟蹤算法在背景雜亂屬性下的成功率和精確率曲線如圖9 所示。從圖9可見，本文算法在背景雜亂屬性下的成功率和精確率分別達(dá)到了0.771和0.796。實驗表明，本文算法在其他復(fù)雜場景下的跟蹤成功率和跟蹤精確率均有較好的效果，圖10 展示了9 種跟蹤算法在運(yùn)動模糊屬性下的成功率和精確率曲線圖。如圖10所示，本文算法在運(yùn)動模糊屬性下的成功率達(dá)到了0.768，高于排在第二位的ASRCF 算法的成功率0.734；在運(yùn)動模糊屬性下的精確率達(dá)到了0.789，高于排在第二位的SRDCF算法的精確率0.767。

圖8 9種跟蹤算法對比曲線Fig. 8 Comparison curves of 9 tracking algorithms

圖9 9種跟蹤算法背景雜亂屬性對比曲線Fig. 9 Comparison curves of 9 tracking algorithms background clutter sequence

圖10 9種跟蹤算法運(yùn)動模糊屬性對比曲線Fig. 10 Comparison curves of 9 tracking algorithms motion blur sequence

為比較本文算法與其他主流算法的跟蹤性能，表1和表2分別為9 種算法在數(shù)據(jù)集OTB100上各種視頻屬性的精確率和成功率。

表1 9種跟蹤算法在各屬性序列上的精確率得分Table 1 Precision scores of 9 tracking algorithms on attribute sequences

表2 9種跟蹤算法在各屬性序列上的成功率得分Table 2 Success rate scores of 9 tracking algorithms on attribute sequences

從表1 可以看出，在數(shù)據(jù)集OTB100 上，本文算法除了光照變化屬性序列和平面內(nèi)旋轉(zhuǎn)屬性序列處于次優(yōu)位置外，其余屬性序列下的跟蹤精確率得分均處于最優(yōu)位置，得分均高于BACF算法。從表2可以看出，本文算法除了光照變化屬性序列下的跟蹤成功率僅次于ASRCF 算法外，在其他屬性序列下的跟蹤成功率均處于最優(yōu)位置。從圖8也可以看出，相比其他算法，本文算法整體跟蹤精確率和整體跟蹤成功率均處于最優(yōu)位置，表明本文算法在大多數(shù)情況下可以準(zhǔn)確且穩(wěn)健地跟蹤目標(biāo)，優(yōu)于其他相關(guān)濾波算法，整體跟蹤效果更好。

4.3 實時性分析

本文從數(shù)據(jù)集OTB100 中隨機(jī)選取25 組序列進(jìn)行跟蹤比較，各算法的平均跟蹤速度如表3 所示。由于本文算法在流形搜索區(qū)域上提取背景信息，背景信息數(shù)量較少，有效降低了計算量，同時采用增廣拉格朗日乘子法和交替求解算法求解模型，降低了計算復(fù)雜度，提升了跟蹤速度。本文算法的跟蹤速度達(dá)到了35.7 FPS，說明本文算法能滿足實時性要求。

表3 算法平均跟蹤速度Table 3 Average tracking speed of algorithms 單位：FPS

5 結(jié)束語

本文提出了一種基于流形背景感知的相關(guān)濾波目標(biāo)跟蹤方法。流形背景感知是一種新的運(yùn)動估計方法，根據(jù)目標(biāo)的運(yùn)動速度和運(yùn)動方向?qū)δ繕?biāo)的運(yùn)動范圍進(jìn)行估計，采用兩個指數(shù)分布背靠背連接在一起，構(gòu)成運(yùn)動目標(biāo)的估計搜索范圍，由于估計搜索范圍在幾何形態(tài)上近似流形，本文將提出的運(yùn)動估計方法稱為流形背景感知算法。該方法提取流形搜索區(qū)域內(nèi)的背景信息進(jìn)行濾波器訓(xùn)練，采用增廣拉格朗日乘子法和交替求解算法將目標(biāo)問題轉(zhuǎn)化為子問題進(jìn)行模型求解，在有效降低計算復(fù)雜度的同時，提升跟蹤算法的準(zhǔn)確率和魯棒性。

相較于其他主流跟蹤算法，本文算法具有以下優(yōu)點：

（1）提出了一種新的流形背景感知算法，其動態(tài)搜索機(jī)制更加貼近生物視覺的搜索機(jī)制，能有效涵蓋目標(biāo)運(yùn)動的大概率空間范圍，防止目標(biāo)丟失。

（2）流形背景感知算法能夠根據(jù)目標(biāo)的運(yùn)動速度和運(yùn)動方向靈活地調(diào)整搜索范圍和角度，確定搜索區(qū)域，使提取的背景信息更加豐富和準(zhǔn)確，能有效解決背景雜亂等復(fù)雜場景下目標(biāo)易漂移的問題。

（3）由于流形搜索數(shù)據(jù)量較少，計算簡單，同時采用交替求解算法將全局問題分解為多個子問題，本文方法整體計算復(fù)雜度較低，提升了目標(biāo)跟蹤速度。

本文算法在數(shù)據(jù)集OTB100上進(jìn)行了實驗，其成功率和精確率分別達(dá)到了0.774和0.829，平均跟蹤速度為35.7 FPS，實驗結(jié)果表明本文算法在處理相似背景、遮擋、快速運(yùn)動、運(yùn)動模糊等復(fù)雜場景下的目標(biāo)跟蹤具有很好的準(zhǔn)確率、實時性和魯棒性。

由于流形搜索在視頻圖像中屬于二維畸變投影模型，其畸變過程限制了流形搜索范圍的立體延伸，為更好地發(fā)揮流形搜索的有效性，今后將針對三維流形搜索的目標(biāo)跟蹤做進(jìn)一步研究。