非線性時空正則化的相關濾波目標跟蹤算法

姜文濤，王德強，張晟翀

1.遼寧工程技術大學 軟件學院，遼寧 葫蘆島 125105

2.光電信息控制和安全技術重點實驗室，天津 300308

目標跟蹤作為計算機視覺研究領域中的熱點問題[1]，在交通視頻監(jiān)控[2]、視覺機器人[3]、現(xiàn)代化軍事[4]等領域上的應用較為廣泛。近年來，高速發(fā)展的深度學習算法將深度特征[5]應用于目標跟蹤領域，對于目標的跟蹤效果較好，吸引了大量學者研究。目標跟蹤算法在融入了深度神經(jīng)網(wǎng)絡[6]等深度特征后的優(yōu)勢體現(xiàn)在跟蹤過程中的抗干擾性，這種抗干擾性能主要依賴于經(jīng)過多層卷積[7]提取到的特征?；谙嚓P濾波的跟蹤算法作為目標跟蹤領域中的重要部分，具有跟蹤的實時性與穩(wěn)定性，實際應用價值較高。最早在目標跟蹤算法中引入相關濾波器的是Bolme等[8]在2010年提出的誤差最小平方和濾波（minimum output sum of squared error，MOSSE）算法。隨后在MOSSE 的基礎上，Henriques 等[9]通過引入循環(huán)矩陣與核方法提出了具有核檢測跟蹤結構的（exploiting the circulant structure of tracking-by-detection with kernels，CSK）算法，解決了MOSSE 中存在的訓練樣本信息不足與低維度空間非線性的問題。但是CSK算法僅采用了單一的灰度特征，特征表達過于局限，導致其在跟蹤精確率上的表現(xiàn)不佳。Henriques等[10]在CSK的基礎上引入了多通道的梯度方向直方圖（histogram of oriented gradient，HOG）[11]特征，提出了具有多通道濾波器的核相關濾波（kernel correlation filter，KCF）算法，為后續(xù)的算法發(fā)展奠定了基礎。但是KCF 算法沒有考慮跟蹤過程中目標的背景信息且不具有尺度估計，當跟蹤目標發(fā)生尺度變化時，跟蹤模型易發(fā)生漂移。針對于邊界效應問題，Danelljan等[12]提出了空間正則化相關濾波（spatially regularized correlation filters，SRDCF）算法，通過設定一個固定的空間正則權重系數(shù)對濾波器進行懲罰，使得濾波器函數(shù)向目標的中心區(qū)域進行集中性趨向，越靠近邊緣區(qū)域的權重越趨近于0，由此緩解邊界效應。但目標與算法模型中的空間正則項未能建立起聯(lián)系，當目標發(fā)生遮擋、出視野等情況時，算法無法保證空間正則化權重系數(shù)的可靠性且跟蹤速度緩慢。Galoogahi 等[13]提出了背景感知相關濾波（background aware correlation filters，BACF）算法，由于該算法選用了背景中經(jīng)過真實移位而產(chǎn)生的負樣本進行濾波器訓練，此時的負樣本因其包含了真實的背景信息和更大的搜索區(qū)域從而保證了樣本質(zhì)量。Dai等[14]提出了自適應空間正則化的相關濾波（adaptive spatially regularized correlation filters，ASRCF）算法，建立了空間正則項與目標之間的聯(lián)系，其中的空間權重由該算法建立的自適應空間約束機制通過高效率學習得到，增強算法對目標外觀變化的適應性，但是由于該算法的更新模式為逐幀法，并且在目標函數(shù)中沒有引入時間正則項，從而不能魯棒性地處理目標發(fā)生快速移動等異常問題。Li 等[15]提出時空正則化相關濾波（spatial-temporal regularized correlation filters，STRCF）算法，其核心思想是在SRDCF算法的基礎上引入時間正則項并與空間正則項共同建立起時空正則項，建立了鄰近幀之間的濾波器聯(lián)系，將逐幀法的模式更新為對單個圖像的信息進行記錄，使濾波器退化的問題得到了緩解，跟蹤的實時性得到了提升。由于STRCF中的空間正則項參數(shù)在第一幀中就已經(jīng)確定并且不再更新，而固定的空間正則項在目標變化較大時會使得濾波器不能較好地關注目標區(qū)域。近年來無人機目標跟蹤的應用較為廣泛，但空中場景中的跟蹤目標往往會發(fā)生不可預見的外觀變化，而固定的時間正則項無法處理此場景下目標發(fā)生的不可預見性外觀變化。因此，Li等[16]基于STRCF算法提出了自動時空正則化目標跟蹤（automatic spatio-temporal regularization tracking，AutoTrack）改進方法，通過利用隱藏在響應圖中的局部變量，進行空間懲罰權重的確定，防止其出現(xiàn)局部側移；同時利用隱藏在響應圖中的全局變量，對濾波器的更新速率加以控制。但是該算法中的時間正則項僅依賴于相鄰兩幀之間的響應圖關聯(lián)，且在空間正則項的參數(shù)更新過程中采用計算搜索區(qū)域中各個像素的置信度來進行外觀學習，當目標發(fā)生快速運動時，目標的外觀變化較大，無法及時學習到新的外觀模型，造成目標丟失。

本文算法針對上述情況中STRCF及其改進方法模型中存在的問題，結合生物視覺感知存在的規(guī)律，在STRCF算法的基礎上，提出了一種非線性時空正則化的目標跟蹤算法。本文的主要工作與創(chuàng)新觀點有：（1）摒棄了STRCF 模型中固定不變的時間正則項，結合生物視覺系統(tǒng)所特有的非線性特征感知規(guī)律-史蒂文斯冪定律[17]提出了一種動態(tài)更新的時間正則項。新提出的時間正則項因其貼近人類視覺感知存在的冪定律，能夠根據(jù)跟蹤狀態(tài)進行動態(tài)的模型更新，從而增強了時間正則項的約束性，避免了因濾波器退化而造成的跟蹤模型漂移。（2）STRCF采用了人工特征，實現(xiàn)了實時跟蹤，但在跟蹤決策階段對不同特征跟蹤響應進行直接疊加求出用于目標定位的跟蹤響應圖，這會使得跟蹤響應圖具有較多噪聲，從而會影響濾波器對目標的定位。為此在特征提取上，針對傳統(tǒng)HOG 特征以及不同特征跟蹤響應直接疊加所存在的局限性，本文創(chuàng)新性地只提取一種經(jīng)過非線性更新的HOG特征，降低了噪聲干擾，增強了邊緣特征描述的連續(xù)性，使算法更加魯棒。（3）為了降低算法的復雜度、提升運行速度，采用了交替方向乘子法（alternating direction method of multipliers，ADMM）[18]。（4）在尺度估計上，采用符合生物映射的極坐標尺度估計代替STRCF及其改進方法中現(xiàn)有的尺度估計，使算法更加適應目標發(fā)生的尺度變化，從而保證了跟蹤精度。

1 時空正則化相關濾波算法

經(jīng)過時空正則化調(diào)整的相關濾波算法STRCF為了獲取充足的樣本，在濾波器的訓練過程中充分利用了循環(huán)矩陣的思想，將空間懲罰項和時間正則項引入到相關濾波跟蹤算法框架中，對濾波器進行空間懲罰的同時建立與鄰域濾波器之間的關系，STRCF使用當前第t幀樣本與其上一幀學習到的濾波器ft-1來訓練當前幀的濾波器ft，使訓練后得出的濾波器專注于目標中心的能力更強。STRCF目標函數(shù)如下所示：

但是STRCF在時間正則項中的更新機制屬于線性更新，與生物視覺系統(tǒng)所特有的非線性特征感知規(guī)律-史蒂文斯冪定律有明顯差距。

2 非線性時空正則化的相關濾波目標跟蹤

2.1 生物視覺感知系統(tǒng)

目標跟蹤算法在關注模型改進的同時，往往忽略了目標跟蹤與自然生物視覺感知之間的聯(lián)系。人類視覺作為自然生物視覺的重要部分，在一定場景下的跟蹤能力往往是跟蹤模型所期望達到的。因為人類的視覺感知機理來自于眼睛所具有的特殊光學系統(tǒng)，人眼受心理狀態(tài)與視覺神經(jīng)的調(diào)控；特別是在目標存在背景干擾時，多數(shù)跟蹤模型面對背景中與目標高度相似的物體只能根據(jù)目標特征進行檢測識別。而人眼跟蹤可以結合心理狀態(tài)與神經(jīng)系統(tǒng)進行目標感知，對于背景中相似物體的檢測識別方式更加多樣化，因此在跟蹤模型中引入心理物理學提出的模型來模仿生物視覺感知。本文在跟蹤模型中根據(jù)史蒂文斯冪定律模仿人類的視覺感知建立起感知量模型與物理量模型，使算法在處理背景干擾等問題時更加魯棒。

2.2 生物視覺感知的非線性模型

自然生物的視覺感知符合史蒂文斯冪定律，當生物感受到外界刺激的差異性變化，此時刺激變化程度主要取決于生物受到的初始刺激，且在變化中表現(xiàn)出冪律分布。在跟蹤模型中引入史蒂文斯冪定律使算法對于目標增添由感知量S與物理量I組合成的感知刺激。其中S與I兩者之間可以表示為冪函數(shù)的關系：S=nIa，式中的n為常數(shù)，表示變量之間存在的比例。a作為指數(shù)用于表示不同程度的刺激。當a ＜1 時，S的增長低于I的增長，相當于對物理量具有抑制作用；當a ＞1時，S的增長高于I的增長，相當于對物理量具有增強作用，S與I之間的關系符合史蒂文斯冪定律。在跟蹤過程中，背景光照變化明顯指的是跟蹤目標在極亮與極暗場景之間頻繁地進行轉換，而STRCF 算法在跟蹤背景復雜與光照變化明顯的場景中的處理不夠魯棒；因此面對背景復雜與光照變化明顯的環(huán)境宜采用加入史蒂文斯冪定律的算法進行跟蹤處理。

2.3 目標函數(shù)的生物視覺感知非線性優(yōu)化

STRCF 中的時間正則項通過在模型訓練中對時間施加線性化的約束，在一定程度上緩解了短時間范圍內(nèi)模型對樣本的過擬合問題。但是目標在跟蹤過程中易發(fā)生較大幅度的變化，而線性化的時間約束與自然中符合史蒂文斯冪定律的生物視覺感知之間存在一定的差距，所以僅依靠線性化的約束不能靈活地進行應對，此外采用標準方法引入權值或偏置量又會增加模型的復雜度，較高的復雜度難以保證跟蹤穩(wěn)定性。因此基于STRCF模型，引入史蒂文斯冪定律S=nIa，考慮到外界刺激在改變過程中具有冪律分布的特點，把濾波器響應看作外界刺激，相鄰幀間濾波器的變化量看作外界刺激的改變程度。即令n=ft-ft-1,a=-|f-ft-1|，為了模擬冪律分布中的增強抑制作用，令I為自然常數(shù)e，以構造數(shù)學因子形成對濾波器響應的增強抑制作用，提升濾波器的目標跟蹤性能，因此提出新的目標函數(shù)：

式中，f d∈RT×1表示為訓練過程中的第d個通道濾波器，λ表示為正則化參數(shù)。相比于STRCF 中線性更新模式的時間正則項，在模型中新提出符合生物視覺感知冪定律的時間正則項，利用冪律分布的性質(zhì)將其融入樣本信息，使濾波器根據(jù)目標的實時變化進行非線性更新，減少對時間正則項的線性懲罰，增強時間正則項的非線性感知性能，使跟蹤模型貼近生物視覺系統(tǒng)的冪定律感知機理。相比于線性的時間正則項更新，非線性的時間正則項更新因其更加符合自然界中的生物視覺感知規(guī)律，優(yōu)化了時間約束，提升了算法在復雜環(huán)境中的目標跟蹤性能。

2.4 目標函數(shù)優(yōu)化

因為式（1）中的模型是可微的凸函數(shù)，可以通過ADMM 保證收斂到全局最優(yōu)。首先設置f=g引入一個輔助量g，步長參數(shù)表示為γ。式（1）的增廣拉格朗日形式表述為：

通過方向乘子法將如下的子問題進行交替求解以獲得全局最優(yōu)解：

接下來針對每個子問題的解決方案進行詳細說明：

（1）子問題g，根據(jù)上述公式（4）中的第二個子方程中可以看出，由于g?中沒有卷積運算，而且g?的每個元素都可以獨立的進行運算，因此可以直接求出其封閉解，假設已知ω,h兩個子問題，目標函數(shù)為：

記W=diag(ω)∈RT×T為代表空間正則ω的對角矩陣，表示為特征提取區(qū)域的范圍，W表示DMN×DMN維度的對角矩陣與D維對角矩陣diag(ω)的連接。

令上式等于0，并對gd進行求導，求得：

求解復雜度分析：由于可以直接求出其封閉解，所以g的求解復雜度為O(DMN) 。

（2）子問題f，假設已知ω,g兩個子問題，將

根據(jù)帕薩瓦爾定理在傅里葉域中轉換成：

對公式（8）求偏導，并令其為0，求出一個封閉性的解νj()即：

由于式（10）中只包含了對于向量的乘法與加法運算，因此降低了運算復雜度，提升了求解速度。最后，通過對進行逆DFT運算從而求出f。

求解復雜度分析：從式（7）可以看出，公式中存在一定的可分性，需要求解的子問題的數(shù)量為MN，并且每個問題是由D個變量組成的線性方程組系統(tǒng)，根據(jù)Sherman Morrision 方程式，每個系統(tǒng)的求解精度為O(D)，所以的求解復雜度為O(DMN)，考慮到在運算過程中運用了DFT 與逆DFT，所以f的求解復雜度為O(DMNlog(MN))。綜上可得，算法整體所消耗的運算成本為O(DMNlog(MN)NI)，其中利用NI表示最大的迭代次數(shù)，運算成本較低，計算速度較快。

通過如下公式（11）對拉格朗日步長參數(shù)進行更新：

i,i+1 均為迭代次數(shù)，ι表示更新參數(shù)，gi+1與f i+1分別表示在第(i+1)次迭代時式（5）子問題gd與式（7）子問題的解。對于更新參數(shù)利用式（12）進行更準確的變換，式中β=10，ιmax=10 000。由上可知，提出的目標跟蹤算法模型是凸函數(shù)，利用ADMM 進行求解的每個子問題都有封閉式的解，因此其具備Eckstein-Bertsekas[19]定理的條件，可以滿足快速的全局最優(yōu)性收斂，保證目標的精度。

2.5 對數(shù)極坐標尺度適應

由于視網(wǎng)膜與大腦皮層之間存在一種符合Logpolar[20]映射模型的描述關系，所以在人眼視覺系統(tǒng)中對于區(qū)域的分辨率描述存在一定的興趣傾向性，即人眼對感興趣區(qū)域采用較高的分辨率描述，但對于興趣區(qū)域的周圍區(qū)域只采用較低的分辨率描述。人眼視覺系統(tǒng)通過上述的機制既可以保證廣闊的視野采樣范圍，又可以對局部細節(jié)進行高分辨率的描述。

Log-polar映射模型表示如下：

式中，(xi,yi)，(x0,y0)通過式（14）進行變化：

目標發(fā)生的尺度變化可以通過式（14）進行對數(shù)極坐標變換成坐標系下的二維移動，將上述的現(xiàn)有原理與相關濾波結合起來通過圖像配準進而達到目標檢測的目的。因此，將其與基于相關濾波框架的本文算法進行創(chuàng)新性的組合，提高算法應對目標尺度變化的適應能力。

在目標跟蹤過程中，對數(shù)極坐標的變換通過目標模板實現(xiàn)。目標變化后的尺寸與原始尺寸的比值為目標尺度的變化率，在笛卡爾積坐標系下的尺度大小表示為：

將式（15）進行對數(shù)變換后得出：

將處于笛卡爾坐標系下的目標圖像進行k倍放大，經(jīng)過變換之后的目標圖像相比于歷史位置順著ξ軸方向平移lnk個單位；若目標圖像發(fā)生旋轉，將目標圖像在笛卡爾坐標系下的旋轉角度與其順著η軸方向相對于歷史位置的平移量進行比較，兩者數(shù)值相等。由此可以看出，將發(fā)生旋轉或者進行尺度縮放的目標圖像進行對數(shù)極坐標變換之后，目標可以保持形狀不變。

2.6 非線性HOG特征提取

傳統(tǒng)的特征提取采用單一或者線性化結合的方式進行，未能結合生物視覺感知。為了增強HOG 特征在噪聲下的抗干擾能力，本文創(chuàng)新性地提出一種符合生物視覺感知規(guī)律的非線性HOG 特征，經(jīng)過非線性動態(tài)優(yōu)化的HOG 特征增強了邊緣特征描述的連續(xù)性，提升了跟蹤算法的抗干擾能力。

非線性HOG特征提取模型為：

gx(x,y)new、gy(x,y)new為(x,y)處的標準橫向梯度與標準縱向梯度，H(x,y)表示像素值。

表示為像素點(x,y)處的水平方向梯度像素值變化。像素點(x,y)處的梯度幅值與梯度方向分別為：

3 非線性更新

3.1 非線性濾波器更新

對比于STRCF 在固定時間正則項下求得的濾波器，非線性時間正則項具有冪律分布的增強抑制性質(zhì)，進一步提高所求濾波器與歷史濾波器的相似度，從而降低了模型退化腐敗的概率，也有助于對抗目標遮擋，在第t幀視頻序列當中相關濾波器的非線性自適應更新模型為：

式中，Δ表示第t-1 幀圖像的濾波器模板與第t幀圖像的濾波器模板之間的變化值。分別將兩種應用了不同濾波器的算法對不同的視頻序列進行測試對比，對比結果如圖1所示，圖1中的紅色跟蹤框代表本文算法、綠色跟蹤框代表基線算法STRCF，可以直觀地看出當跟蹤目標發(fā)生遮擋或光照變換等情況時，STRCF 不能完全準確地跟蹤目標，甚至當目標處于較大幅度遮擋時跟丟目標，而本文算法可以正常的跟蹤目標。由于STRCF中時間正則項的更新機制是線性的，屬于傳統(tǒng)的現(xiàn)有方法，雖然可以讓當前幀得到的濾波器盡量貼近歷史幀的濾波器，從而保留了一定的歷史信息，但是線性化的更新機制對于相鄰幀目標響應圖產(chǎn)生的畸變抑制處理不夠靈活，經(jīng)求解得到的濾波器與上一時刻的濾波器不夠相似，模型容易退化腐敗，導致跟丟目標。加入非線性濾波器更新后，當目標發(fā)生遮擋或處于光照變換明顯的環(huán)境時，因為模型中的時間正則項貼近生物視覺感知系統(tǒng)的冪定律感知機理，能夠根據(jù)跟蹤目標的變化而實現(xiàn)自適應更新，使得當前幀的濾波器更大限度地與歷史的濾波器保持相似，有效避免了模型退化腐敗，保持對目標的正常跟蹤。所以本文新提出的經(jīng)過非線性濾波器更新的算法相比于基線算法STRCF對于目標的捕捉能力更優(yōu)、跟蹤精準度更高。

圖1 不同濾波器算法的跟蹤效果對比圖Fig.1 Comparison diagram of tracking effects of different filter

3.2 遮擋異常檢測

在目標跟蹤過程中不可避免地會發(fā)生遮擋現(xiàn)象，其中的部分遮擋現(xiàn)象除了通過人眼視覺直接發(fā)現(xiàn)之外，還可以參考濾波器得到的響應值更加細致地進行判別。在目標跟蹤過程中STRCF算法采用逐幀式的模型更新方式，若在產(chǎn)生跟蹤誤差之后仍然使用這種更新方式，容易使濾波器不間斷地產(chǎn)生誤差堆積。

針對單一性的依靠響應值進行判別的局限性，現(xiàn)有的改進方法通過引入平均峰值相關能量（average peakto-correlation energy，APCE），將APCE與最大響應的歷史均值進行結合性判斷，將得出的結果作為跟蹤目標遮擋情況與模型更新時機的判斷標準，其中APCE的表達式為式：

式中，F(xiàn)max表示最大響應的矩陣值，F(xiàn)min表示最小響應的矩陣值，F(xiàn)z,h表示響應矩陣中第z行，第h列的元素值，mean函數(shù)作為均值函數(shù)可以反應響應圖的波動情況。

|Fmax-Fmin|可以用來表示峰值。當目標跟蹤正常時，生成的響應圖為尖銳的單個波峰且APCE的數(shù)值較大，當目標出現(xiàn)遮擋等異常性情況時，生成的響應圖中出現(xiàn)多個不同的響應波峰且APCE 數(shù)值較小，圖2 反映了目標發(fā)生遮擋前后的響應圖變化情況。

圖2 目標遮擋檢測判斷Fig.2 Judgement of target occlusion

對于最大響應的歷史均值Fmean，利用當前幀跟蹤目標反饋的響應峰值Fimax(i=1,2,…,n)與跟蹤的幀數(shù)n進行計算，公式表示為：

當目標發(fā)生遮擋或形變較大等異常跟蹤情況時，APCE數(shù)值相比于歷史平均值急劇下降，響應峰值也隨之降低，此時停止模板更新。當目標被正常跟蹤時，目標外觀幾乎未發(fā)生變化，響應圖呈現(xiàn)出尖銳的峰值且只有少量的的噪聲響應，APCE 數(shù)值較大，且最大響應值也相比于歷史平均值而升高。

但是通過上述現(xiàn)有的改進方法只能粗略地判斷模型是否更新或者目標是否發(fā)生遮擋，當面對跟蹤目標的背景較為復雜或者相似性干擾物過多的情況時，會形成虛假峰值，極易造成錯誤的判斷。為了更加準確化地進行判斷，本文結合了文獻[21]引入兩個閾值θ1=0.71 與θ2=0.46，并新提出下述約束條件作為判斷輔助：

式中，均值的運算利用mean進行表示。

當FiAPEC滿足式（24）與式（25）時，目標保持正常跟蹤狀態(tài)且進行模型更新。

當公式（24）與公式（25）中有任何一個不成立時，目標跟蹤暫停且停止模型更新。為了使目標跟蹤與模型更新正常進行，在采樣過程中通過調(diào)節(jié)采樣窗口尺寸來擴大搜索范圍，當之前不成立的公式（24）或公式（25）滿足成立條件時，暫停搜索并在檢測到的位置上進行尺度更新且將采樣窗口尺寸進行初始化。利用上述兩個閾值結合條件進行輔助判斷，使得判斷條件更加細致，對于模型更新的時間控制更加精準，降低了模型漂移的概率，使模型不再盲目性地進行更新，從而進一步地約束了更新速度。對于兩個閾值的選擇方面，若θ1與θ2設置過大，式（24）與式（25）同時滿足的概率偏低，進而縮小了FiAPEC的可波動范圍，導致模型停止更新，不能維持正常的目標跟蹤。若θ1與θ2設置過小，式（24）與式（25）同時滿足的概率偏大，雖然增大了FiAPEC的可波動范圍，但是此時模型的更新過于頻繁，此時的采樣窗口尺寸與位置尺度不需要進行更新，容易忽略目標的異常變化，造成跟蹤精度降低。更多的閾值設置對模型更新造成的影響如表1所示，可以看出文獻中的兩個閾值通過新提出的約束條件可以保證模型的正常更新。

表1 不同閾值設置對于模型更新的影響Table 1 Effects of different threshold settings on model updating

4 算法步驟

綜合以上，非線性時空正則化的相關濾波目標跟蹤算法的總體框架如圖3所示，算法步驟如下：

圖3 總體算法框架示意圖Fig.3 Schematic diagram of overall algorithm framework

（1）輸入第一幀圖像，根據(jù)圖像信息初始化。

（2）獲取目標位置信息。

（3）提取第一幀圖像中目標的HOG 特征并進行非線性處理，根據(jù)最大置信度值確定當前幀的目標位置。

（4）根據(jù)目標位置利用對數(shù)極坐標進行尺度估計，確定為目標尺度。

（5）利用當前幀的最大響應值與APCE值的關系對濾波器是否更新進行判斷。

（6）若當前幀的最大響應值與APCE值同時滿足約束條件時，濾波器模板更新進入步驟（7）；若有一個不符合上述條件時，模板不進行更新并循環(huán)步驟（2）～步驟（5）。

（7）判斷是否為最后一幀圖像，若不是最后一幀，則從步驟（2）開始循環(huán)，直至算法跟蹤結束。若是最后一幀，則算法跟蹤結束。

5 實驗及結果分析

5.1 實驗環(huán)境與參數(shù)配置

本文使用GNU Octave作為實驗平臺，硬件實驗環(huán)境為Intel?Core?i7CPU 16 GB內(nèi)存，并選用OTB2013、OTB2015 兩個數(shù)據(jù)集中的標準序列進行實驗測試。本文算法所使用的主要參數(shù)：ADMM 的迭代次數(shù)是2，步長的初始參數(shù)γ是10，γmax表示γ的最大值并設置為100，ρ表示尺度因子并設置為1.6，其他參數(shù)與STRCF原文保持不變。

5.2 性能評估指標

為了使本文算法的跟蹤性能得到更加準確的評估，本文選取具有多種干擾屬性的OTB2013、OTB2015 數(shù)據(jù)集，從成功率與精確率兩個方面上對算法進行評估，得出的具體排名情況如圖4所示。

圖4 測試算法在數(shù)據(jù)集上的對比實驗結果Fig.4 Comparison of experimental results of algorithms on datasets

5.3 與主流及深度學習算法的對比實驗

本文算法在OTB2013、OTB2015 數(shù)據(jù)集上與采用全卷積孿生網(wǎng)絡結構的SiamFC（fully-convolutional siamese networks）算法[22]、結合CNN學習判別顯著圖的CNN-SVM（learning discriminative saliency map with convolutional neural network）算法[23]、采用子網(wǎng)絡與候選區(qū)域生成網(wǎng)絡雙重結構的SiamRPN（siamese region proposal network）算法[24]、STRCF算法、SRDCF算法、基于全卷積新型孿生網(wǎng)絡改進的SiamFC++（fully convolutional siamese tracker++，）算法[25]、背景感知相關濾波算法BACF、基于目標感知Siamese 圖注意力網(wǎng)絡的SiamGAT（graph attention tracking）算法[26]、視覺與語言模態(tài)模塊化聚合SNLT（siamese natural language tracker）算法[27]、采用了深度特征的ARCF（learning aberrance repressed correlation filters）算法以及staple（complementary learners for real-time tracking）算法、SAMF（scale adaptive kernel correlation filter tracker with feature integration）算法、AutoTrack算法等12種主流算法的性能進行對比。

對比近年來熱門的深度學習算法，本文算法在OTB2013和OTB2015數(shù)據(jù)集中的精確率與成功率得分上均有較大幅度的提升；由表2、表3可知，在OTB2015上相比于SNLT在成功率上提升了24.7%，相比于SiamFC++在精確率上提升了11.8%；此外，本文算法在OTB2013上相比于SNLT在成功率上提升了32.1%，相比于SiamGAT在精確率與成功率上分別提升了23.7%與10%，同時相比于SRDCF、ARCF、BACF、AutoTrack 等主流算法，本文算法在精確率與成功率兩方面上也均有不同幅度的提升。由圖4可知，本文算法在兩個數(shù)據(jù)集上進行測試后得到的精確率分別為0.836、0.898，成功率分別為0.761、0.833。

表2 各種跟蹤算法在數(shù)據(jù)集上的精確率得分Table 2 Precision rate scores of various tracking algorithms on datasets

表3 各種跟蹤算法在數(shù)據(jù)集上的成功率得分Table 3 Success rate scores of various tracking algorithms on datasets

5.3.1 定量分析

由表2和表3可知，在OTB2013與OTB2015兩個數(shù)據(jù)集中，本文算法在成功率與精確率上的得分均排名前列，相比于基線算法STRCF 在精確率與成功率兩個方面上均有一定的提升，證明了算法的整體性能。

為了更加直觀的、綜合的對比每種算法的跟蹤性能，選取進行實驗的視頻序列包含了尺度變化、背景復雜、低分辨率等11 種不同屬性。表4、表5 分別表示在OTB2015數(shù)據(jù)集上進行測試的跟蹤算法在11種屬性中精確率與成功率的得分情況：所提出的算法相比于基線算法STRCF 在精確率與成功率上有了一定程度的提升，這是因為在尺度估計上采用了符合生物映射的對數(shù)極坐標變換，有效處理了目標因外觀變換、快速運動而出現(xiàn)的尺度問題；將提取到的HOG 特征進行非線性化處理以增強特征的連續(xù)性，從而緩解目標因發(fā)生運動模糊、快速移動、旋轉等而導致的特征提取不充分現(xiàn)象；同時構建的動態(tài)更新時間正則項與遮擋異常檢測能夠監(jiān)測出目標發(fā)生旋轉、遮擋、光照變化等異常情況，并根據(jù)目標實際的跟蹤情況動態(tài)更新模型。與基準算法STRCF 在OTB2015 上的總體跟蹤精確率（0.876）與成功率（0.807）做比較，本文算法的跟蹤精確率（0.898）與成功率（0.833）分別提高了2.5%和3.2%，跟蹤效果具有一定幅度的提升。

表4 測試算法在OTB2015數(shù)據(jù)集上的精確率得分Table 4 Precision rate scores of algorithms on OTB2015 dataset

表5 測試算法在OTB2015數(shù)據(jù)集上的成功率得分Table 5 Success rate scores of algorithms on OTB2015 dataset

5.3.2 定性分析

（1）10 種算法在6 組視頻序列中的跟蹤結果如圖5所示，根據(jù)圖5 中的跟蹤結果進行分析，對于視頻序列Basketball，從第19幀到第224幀，跟蹤目標因發(fā)生了不同程度的形變與旋轉而導致非剛性形變，第224幀到第656 幀，所跟蹤目標發(fā)生了遮擋、平面外旋轉、光照變化等多種干擾。在這一過程中，目標的形變幅度較大，而SRDCF、ARCF、SiamFC++等算法對于目標特征更新的適應性較差，算法只能部分化地跟蹤到目標，影響了跟蹤精確率?；鶞仕惴⊿TRCF 在跟蹤過程中對于目標的尺度預估與位置定位也出現(xiàn)了不同程度的偏差，而AutoTrack算法、DSST（discriminative scale space tracker）算法則完全跟蹤失敗。在第656 幀到第706 幀，跟蹤目標出現(xiàn)不同程度的遮擋異常，而BACF、ARCF、SNLT、staple 這幾種算法模型中不具有自適應性的空間正則項，導致算法無法自適應地減少遮擋范圍內(nèi)的權重分配，造成模型盲目地更新而影響跟蹤效果。本文算法模型中引入了具有非線性動態(tài)更新的時間正則項，因其更新機制貼近生物視覺感知機理，增強了學習速率變化的動態(tài)性，進一步降低了濾波器在相鄰幀之間發(fā)生過擬合現(xiàn)象的概率，使濾波器對于目標特征變化可以進行自適應更新；另外，在遮擋異常檢測中，通過新提出的約束條件避免了模型的盲目更新，使算法更加魯棒。

圖5 10種算法的跟蹤結果Fig.5 Tracking results of top 10 algorithms

（2）在Box 視頻序列中可以觀察到，第122 幀時，進行測試的10 種算法均可以保證穩(wěn)定的跟蹤效果，隨后目標在移動過程中發(fā)生了尺度變化，并且其所處的背景較為雜亂、光照變化明顯。在第497 幀，由于目標的背景環(huán)境較為雜亂，基于深度學習的SNLT、SiamGAT、SiamFC++對于目標尺度變化的適應性較差，導致跟蹤模型易受到背景環(huán)境中與目標高度相似物體的干擾，影響跟蹤的精確率。本文算法能夠準確地跟蹤目標到視頻序列結束，且根據(jù)人眼視覺系統(tǒng)中存在的Log-polar映射模型引入了對數(shù)極坐標尺度適應機制維持了目標的外部信息，提高算法的精確率。

（3）對于低分辨率的跟蹤場景，跟蹤模型如何在低于正常跟蹤分辨率的場景下有效地提取到目標特征是保證跟蹤成功的關鍵所在。在FreeMan3 序列的第22幀，進行測試的算法都可以準確地跟蹤到目標，在第264幀到第370 幀，ARCF、STRCF 由于提取到的特征較少，導致濾波器不能進行充分的特征學習，適應目標尺度變化的性能較差，且不能準取地確定目標位置。在第426幀到第460 幀，ARCF、SNLT、staple、DSST 的模型對跟蹤目標發(fā)生的形狀、外觀變換未能做出適應性更新，導致跟蹤失敗。在FreeMan3 序列第370 幀、FreeMan4 序列第97 幀之后，AutoTrack 因不具備對目標長時間外觀形態(tài)變化的跟蹤能力，導致跟蹤失敗。FreeMan4 序列中包含遮擋、尺度變化、平面內(nèi)旋轉、平面外旋轉等干擾屬性，且整個跟蹤過程均在低分辨率的場景下進行。綜合圖5可以看出，除本文以外的跟蹤算法由于對目標特征的提取較少，均不同程度地出現(xiàn)了跟蹤漂移，甚至跟蹤失敗的現(xiàn)象。實驗結果說明本文利用生物映射尺度估計對于目標出現(xiàn)平面內(nèi)旋轉、平面外旋轉、變換性尺度干擾等情況的適應性較強；此外算法中提出的非線性HOG 特征通過對原HOG 特征模型進行了貼近于史蒂文斯冪定律的非線性處理，從而增強了傳統(tǒng)HOG特征的連續(xù)性；當跟蹤過程中目標受到遮擋、低分辨率等干擾時，非線性HOG特征可以提取到邊緣連續(xù)性更強的特征描述，從而使濾波器學習到更多的特征，提升跟蹤能力。

（4）針對跟蹤過程中目標發(fā)生的快速移動和運動模糊問題，能否及時跟蹤到目標以及準確地提取到目標特征影響著跟蹤算法的成功率與精確率。從DragonBaby序列的第47 幀到第50 幀，所要跟蹤的小男孩進行著快速的肢體變換與跳躍動作造成了跟蹤目標形態(tài)與位置不斷變化，以及視頻中存在目標運動模糊，只有本文算法與STRCF 跟蹤正常；從Bolt1 序列的第25 幀到第46幀，需要跟蹤的運動員進行快速的奔跑移動，導致跟蹤目標發(fā)生了快速移動、尺度變化，其中DSST、SNLT、ARCF、BACF等算法不能及時地跟蹤到目標；本文算法因為在跟蹤模型上采用了非線性的濾波器更新、在特征選擇上采用了非線性的特征提取，可以根據(jù)目標所處于的實際場景對于跟蹤模型進行動態(tài)化調(diào)整，從而準確地跟蹤目標。從DragonBaby序列第80幀到第108幀可以看出，由于本文算法通過對數(shù)極坐標變換進行尺度估計，跟蹤過程中該算法的跟蹤框相對于STRCF 的跟蹤框在尺寸上更加貼合跟蹤目標，跟蹤的精確率也更高，使算法對目標發(fā)生快速移動和運動模糊時的跟蹤較為魯棒。DragonBaby序列中的第50幀到第88幀，所跟蹤的目標超出視野且經(jīng)過數(shù)幀的序列變化后目標才穩(wěn)定地出現(xiàn)在跟蹤畫面上，從跟蹤情況看出STRCF 從第50幀開始發(fā)生跟蹤漂移，其他算法也對于目標長時間外觀劇烈變化的適應性較差；改進算法模型中的時間正則項模擬了生物在外界刺激的改變過程中表現(xiàn)出的冪律分布，能夠適應目標發(fā)生的劇烈變化，保持正常跟蹤。

5.3.3 算法跟蹤速度

從表6可以看出，由于所提出的算法在模型求解過程中采用了ADMM 算法實現(xiàn)子問題的最優(yōu)化求解，提高了模型的求解效率；并建立符合生物視覺感知機理-史蒂文斯冪定律的時間正則項，通過遮擋異常檢測使模型的更新時機更加準確，從而保證了算法的跟蹤速度，相比基線算法STRCF 在跟蹤速度上提高了2.6 FPS，與基于深度學習的跟蹤算法相比具有較大優(yōu)勢。

表6 各種跟蹤算法在OTB2015數(shù)據(jù)集上平均跟蹤速度Table 6 Average tracking speed on OTB2015 dataset

6 結束語

本文提出一種非線性時空正則化的相關濾波目標跟蹤算法，算法的創(chuàng)新主要有：（1）在STRCF 算法模型的基礎上加入了貼合生物視覺感知機理的非線性時間正則項，使其能夠根據(jù)實際的目標跟蹤情況自適應地進行模型更新，從而降低了模型退化腐敗的概率。（2）針對傳統(tǒng)的HOG特征進行了非線性處理，增強了HOG特征的連續(xù)性。（3）采用符合生物映射的對數(shù)極坐標方法進行尺度適應，保證了跟蹤精度。（4）對于目標建立了遮擋異常檢測機制，能夠?qū)Ξ惓Ｇ闆r進行輔助判斷，保證模型更新的穩(wěn)定性。

在OTB2013與OTB2015兩個數(shù)據(jù)集上進行了大量的測試，對比了包含深度學習算法在內(nèi)的10 種主流算法，實驗結果表明本文算法在11 種屬性上的成功率與精確率得分絕大部分處于領先位置，對比于基線算法在成功率與精確率上有一定的提高。但本文算法對于快速運動的目標跟蹤表現(xiàn)稍遜色，下一步將針對目標的跟蹤速度進行優(yōu)化研究。