結合掩膜機制的間隔最大化相關濾波跟蹤算法

馮學鋼，周大可，楊 欣

南京航空航天大學 自動化學院，南京211100

1 引言

目標跟蹤技術如今已被成功地應用于許多計算機視覺系統中，如視頻監(jiān)控、無人機導航、智能交通系統等。其任務要求在僅給定目標初始的狀態(tài)信息條件下能夠持續(xù)地識別出后續(xù)幀圖像中目標的位置大小等狀態(tài)信息[1]。

在過去幾年的跟蹤算法發(fā)展中，基于相關濾波（Correlation Filter，CF）的跟蹤方法已然取代核結構化輸出方法（Struck）[2]等傳統方法在當前單目標跟蹤領域中的地位。相關濾波方法中利用循環(huán)采樣的方式來近似密集采樣的效果，從而可以在保證模型訓練計算復雜度很低的前提下，達到像素級別的定位精度。其中，Henrique 等人[3]提出的核化相關濾波器（Kernelized Correlation Filter，KCF）能夠利用多個特征通道的相關濾波響應。Li 等人[4]在KCF 的基礎上提出了一種跟蹤多尺度變化目標的方法，并融合了多種類型的特征如顏色屬性（Color Naming，CN）[5]以及梯度直方圖（Histo‐gram of Oriented Gradients，HOG）[6]。

本文是在后者SAMF 方法（Scale Adaptive with Multiple Features tracker）的基礎上做出了改進。由于相關濾波類方法中的循環(huán)采樣方式引入了樣本的強周期性假設，使得帶有非真實邊界的訓練樣本會影響到濾波器的決策平面。除去該因素以外，服從高斯函數分布的樣本標簽設定也會導致訓練樣本中存在有過多的負樣本，考慮到正樣本是否訓練充分，相關濾波類方法中的正負樣本比例不均衡問題也不容忽視。為了解決上述兩點問題，本文先采用了一種掩膜機制[7]來過濾掉移位樣本中的部分非真實邊界，以降低相關濾波器中邊界效應的影響，再結合最大化間隔約束條件來有效地改善相關濾波器的訓練過程。

2 結合掩膜機制的最大化間隔相關濾波器

2.1 多通道相關濾波器與尺度自適應

多尺度相關濾波器SAMF 先通過最小化相關濾波損失學習到目標特征對應的相關濾波器，再對多尺度檢測區(qū)域提取出金字塔特征并進行尺度縮放，根據每個尺寸對應特征圖的相關濾波響應，找出目標當前所處的置信度最大的位置以及尺寸變化情況[8]。多尺度檢測部分如圖1所示。

圖1 多尺度檢測示意圖

設由目標模板x 循環(huán)移位得到的樣本集為X=[ x1, x2,…,xN]，其中xi為N×1×D 大小的循環(huán)移位樣本，樣本集對應的所有標簽通過一個可調節(jié)帶寬的高斯函數y 來表示。相關濾波器f 可通過最小化一個正則化平方和誤差函數來求解，其目標函數一般表示為：

其中，λ為模型的結構化損失懲罰系數。

2.2 間隔最大化

判別式模型訓練過程中，常用到間隔最大化的約束條件來提升模型的難例判別能力以及泛化能力[9]。Hare等人[2]將輸入圖像到標簽之間映射函數h:x →y 的求解問題替換為輸入圖像以及標簽的聯合分布與真實分布之間的相似性最大化問題：

然而該方法需要先進行候選框提取再通過序貫最小化方法（Sequential Minimal Optimization，SMO）來迭代地進行求解，無法達到很好的實時性與準確性。Ning等人[9]提出了一種對偶線性結構化支持向量機，相比Struck 方法損失項雖然能夠更快地達到收斂，但由于采樣問題仍無法滿足實時性要求。

為了進一步加快計算速度并提高定位精度，Zuo 等人[10]基于循環(huán)結構提出了一種支持相關濾波器，并證明該濾波器求解僅需通過幾次迭代便可以達到很好的收斂效果。Wang 等人[11]在此算法的基礎上將各個樣本對應的間隔由原本的候選框之間的重疊率（Intersection of Union，IOU）替換成更符合循環(huán)樣本的高斯函數值，并提出了一個新的響應判別標準（Average Peak-to-Correlation Energy，APCE）來輔助解決跟蹤丟失的問題。

結合間隔最大化的約束條件，更改式（1）表示的目標函數得：

其中，ψ( xi,yi)為移位樣本xi與狀態(tài)信息yi的聯合表示，間隔Δ( yi,y0)為對應的狀態(tài)信息yi被誤判成y0時的損失閾值，ξ=[ ξ0ξ1… ξN-1]為實際計算損失時超出間隔Δ( yi,y0)的部分。本文中定義間隔閾值為：

其中G 為期望的高斯閾值函數。

結合循環(huán)矩陣的性質，將式（3）內所有樣本的約束條件整合至一個表達式中可得：

其中，Ψ( X,y )表示循環(huán)移位得到的樣本矩陣與真實狀態(tài)信息的聯合表示，Ψ( X,y0)為樣本矩陣與假設模板狀態(tài)信息的聯合表示，所有樣本的間隔閾值為：

2.3 引入掩模機制

閉式求解得到的相關濾波器由于易受邊界效應的影響而往往導致判別性能大打折扣，因此加入間隔最大化約束條件后甚至會出現性能倒退的現象。本文采用了一種掩膜機制[7]通過濾除樣本中的非真實邊界來改善濾波器的訓練過程，如圖2以及圖3所示，循環(huán)移位的樣本中存在有很明顯的非真實邊界，而經過掩膜處理過后將不再有多余的邊界保留。

被掩模處理過后的樣本矩陣可表示為( P ? ID)X，其中?代表Kronecker 乘積，表示對樣本的每個通道特征都做一致的掩膜處理。將輸入替換為重新處理過后的樣本矩陣，可得改進樣本過后相關濾波器的目標函數為：

圖2 邊界效應

圖3 掩膜過后的樣本

訓練的同時考慮抑制過多的負移位樣本的權重，向式（6）中加入最大化間隔約束條件。結合式（6）表示的目標函數以及公式（5）內的約束條件可得：

其中，Ψ=Ψ( X,y)。

2.4 目標優(yōu)化

為了便于求解該優(yōu)化問題，本文通過設置一個對偶變量z先將目標函數轉換成較易求解的形式：

此時目標函數將被替換為：

由于引入掩模矩陣P 后濾波器的閉式解形式將會遭到破壞，本文采用了交叉迭代的思想對濾波器進行求解。首先定義加入掩模矩陣過后訓得的相關濾波器頻域表示為，再通過濾波器的直接頻域表示與不斷地相互逼近來求得最終解。的相關濾波響應為：

式中定義的各個變量交替求解的步驟如下：

（1）z的求解

通過對偶變量轉換為目標損失最小化問題之后，期望的相關濾波響應為。代入新目標函數后可得式（12）中關于的優(yōu)化函數。利用舍曼-莫里森求逆公式[13]對閉式解中的矩陣求逆運算進行化簡，得到每個像素對應的*為：

（3）f 的求解

令式（15）對f 的偏導為0，可得濾波器f 的解為：

3 算法流程

綜合上述算法分析，本文在SAMF跟蹤算法的基礎上，得到的改進相關濾波跟蹤流程圖可參考圖4。其中訓練過程中對樣本的密集采樣是通過相關運算來隱式實現的，而對于樣本的掩膜處理P 也只是作為求取濾波器前定義的中間變量，對實際優(yōu)化過程不產生影響，改進后具體的跟蹤流程可如下所示：

（1）初始化參數，開始處理第一幀圖像。

（2）若當前幀不是第一幀圖像：

①計算多尺度搜索區(qū)域的金字塔響應圖；

②利用插值方法推算出當前幀中響應最大值所處的位置以及目標尺寸大小。

（3）根據預測信息提取當前幀中搜索區(qū)域的特征。

③根據公式（16）求出空域中的相關濾波器f；

④更新拉格朗日乘子ζ,μ；

⑤當迭代次數到達上限時退出迭代過程，否則返回到①步。

（5）輸出當前幀中目標預測的大小、位置等狀態(tài)信息，取下一幀圖像，并返回第（2）步，否則結束退出。

4 實驗環(huán)節(jié)

4.1 實驗簡介

本文算法在對圖像塊進行特征提取時采用的是HOG 特征、顏色屬性以及灰度值的融合特征?？紤]到不同目標尺寸大小不一致對同一跟蹤算法的運行速率影響差異過大，本文將所有提取到的特征圖統一縮放到2 500～10 000 個像素點以內。由于增大ADMM 迭代次數后相關濾波器可能會有潛在的過擬合風險，經多次實驗對比發(fā)現2 次迭代過后相關濾波器的跟蹤性能最好。本文還對比了幾個常用的參數在選取不同值時的跟蹤效果，最終結合實時性以及定位精確度準則選取的參數如表1所示。

表1 本文算法中參數的選擇

4.2 可行性對比實驗

為了驗證掩膜矩陣以及最大化間隔約束對相關濾波器跟蹤性能的提升作用，本文設計了四組不同的跟蹤器來進行對比。其中RR 為標準的多尺度相關濾波器SAMF、SSVM 中僅加入最大化間隔約束，RR+Mask 中加入了掩膜機制，SSVM+Mask 同時加入了掩膜機制與最大化間隔約束。在均取如表1 所示參數條件下，四組跟蹤器在一次通過OTB2015 數據集上所有視頻序列后得出的性能比較如表2所示。

圖4 改進的相關濾波跟蹤算法流程圖

表2 四組跟蹤器在OTB2015上的性能對比

圖5 與其他幾種跟蹤算法在OTB2015上的性能對比

結果表明，加入掩膜機制的跟蹤器RR+Mask 可以達到0.802的Mean OP和0.585的AUC，比跟蹤器RR分別高出了31.3%和20.6%。然而值得注意的是，只加入了最大化間隔約束的跟蹤器SSVM 在效果上反不如RR，這是由于對非真實樣本直接進行最大化間隔約束反而會加重非真實樣本對訓練過程帶來的負面影響。而結合掩膜矩陣凈化過的樣本以及最大化間隔約束后，由表2 可知，相比較RR+Mask，跟蹤器SSVM+Mask 能夠進一步提升2.6%的定位精確度和3.5%的AUC值。

4.3 跟蹤算法對比實驗

為了驗證本文算法的實際跟蹤效果，本文還設計了SSVM+Mask跟蹤器與10種最先進跟蹤算法之間的對比實 驗 ，包 括 Struck[2]、DSST[5]、SAMF、SRDCF[14]、SAMF_AT[15]、DLSSVM[8]、BACF[7]、ECO-HC[16]、LM‐CF[11]。其中，Struck 和DLSSVM 是基于SVM 的跟蹤算法，LMCF 是結合了最大化間隔的相關濾波算法，其余算法均是相關濾波類算法，實驗對比結果如圖5 所示。對比同樣結合了相關濾波與SVM 的方法LMCF，在沒有加入響應檢測標準APCE 的前提下，本文算法能高出4.3%的定位精確度以及4.5%的平均通過率。表3 為實驗用機器上測得的各算法跟蹤效果，對比同樣采用掩模機制的BACF 方法，本文算法的精準度更高；相比ECOHC、SRDCF 等空域正則化跟蹤算法，本文算法由于采取了改進樣本策略，可以很好地維持實時性。

表3 幾種算法在OTB2015上的平均通過率與速度對比

為了便于直觀地與其他算法作對比，圖6 還列出了部分幀的跟蹤結果?？煽吹皆趖rellis 中出現光照變化，coke 以及dragonbaby、freeman1 中出現平面外翻轉、遮擋情況，dog1與human9中出現尺寸變化情況時，本文算法仍能精確地檢測出目標。

圖6 幾種算法的跟蹤效果對比

5 結語

本文提出了一種結合掩膜矩陣以及最大化間隔約束的策略來解決相關濾波方法中的邊界效應問題。經由交叉乘子方向法對模型進行求解，該算法可以在保證實時性的同時進一步提升相關濾波器的跟蹤性能。通過與其他先進的跟蹤算法之間的對比，結果表明本文算法能夠很好地應對目標形變、平面外翻轉、遮擋等復雜情況。本文方法不足之處在于，由于交叉乘子方向法收斂的不確定性以及手工特征的局限性，本文在求解過程中不能進一步提升相關濾波器的性能。因此，后續(xù)將對ADMM 優(yōu)化方法的收斂性以及卷積特征方面作進一步研究。