基于多互補特征融合的視頻跟蹤算法

張君昌, 張登, 萬錦錦

(1.西北工業(yè)大學(xué) 電子信息學(xué)院, 陜西 西安 710072; 2.光電控制技術(shù)重點實驗室, 河南 洛陽 471000)

近年來,基于相關(guān)濾波器的跟蹤算法受到廣泛關(guān)注,該類方法屬于判別式跟蹤,其實質(zhì)是將跟蹤問題轉(zhuǎn)化成一個分類問題，通過在線訓(xùn)練的分類器將前景和背景進行分離,實現(xiàn)目標(biāo)跟蹤的任務(wù)。

文獻[1]提出了一種基于相關(guān)濾波器最小輸出均方誤差和的視頻跟蹤算法。文獻[2]設(shè)計了2個一致并且相對獨立的相關(guān)濾波器, 分別實現(xiàn)了目標(biāo)位置跟蹤和尺度變換。文獻[3]將檢測建議框架與相關(guān)濾波跟蹤器框架相結(jié)合,并采用了特征集成、魯棒更新與建議拒絕等優(yōu)化方法,保證了各部分的有效整合。通過全局搜索,文獻[4]找出了利用輪廓特征標(biāo)記出的建議候選樣本,得到較優(yōu)的正負(fù)樣本和更強的檢測器,來完成分類器測試和更新,有效減少了分類器搜索空間,降低虛假目標(biāo)干擾。為了克服相關(guān)濾波器跟蹤算法對于形變和旋轉(zhuǎn)魯棒性較差的問題,文獻[5]通過融合特征響應(yīng)圖的形式,將相關(guān)濾波器框架和顏色模型框架進行融合,提高了跟蹤算法的魯棒性。但是在互補特征的選擇以及響應(yīng)圖的融合方式上還有待進一步研究。

本文將物體性檢測理論引入到相關(guān)濾波跟蹤和顏色模型跟蹤的框架中,多互補模型的分類器框架能夠有效地對目標(biāo)和背景進行分離,克服跟蹤器易受光照、背景干擾的問題,降低跟蹤虛假目標(biāo)的概率。并且本文通過衡量不同模型預(yù)測響應(yīng)圖的置信度來推理該模型對目標(biāo)和背景的分辨能力,從而確定合適的加權(quán)權(quán)重,提升跟蹤性能。

1 融合多互補特征的跟蹤算法

Staple[5-6]算法通過相關(guān)濾波模型和顏色模型同時對目標(biāo)和背景進行分類,提高了跟蹤器的泛化能力。然而,跟蹤模型還是易受到環(huán)境、光照等因素的干擾?；谏鲜鰡栴},本文在Staple算法的基礎(chǔ)上融入了物體性檢測模型[7],充分利用樣本信息多樣化的特點。物體性檢測模型基于物體邊緣輪廓特征,對光照、背景變換有良好的適應(yīng)性。新算法通過結(jié)合3個互補模型分別對目標(biāo)位置進行分類預(yù)測,最后將得到的各個模型的預(yù)測響應(yīng)圖進行自適應(yīng)加權(quán)融合來進一步提高跟蹤器魯棒性。算法整體框架如圖1所示。

圖1 多互補特征融合跟蹤器框架

(1)

1.1 平移濾波器模型與其響應(yīng)圖計算

(2)

式中，*表示循環(huán)相關(guān),hl為第l維特征對應(yīng)的濾波器系數(shù),g為回歸響應(yīng)函數(shù),本文選擇高斯函數(shù)。第二項λ表示正則化項。通過在頻域下利用帕塞瓦爾定理進行快速求解,得到濾波器的頻域形式為:

(3)

(4)

式中，l=1,2,…d,η為學(xué)習(xí)因子。

(5)

1.2 物體性檢測模型預(yù)測

a(si,sj)=|cos(θi-θij)cos(θj-θij)|γ

(6)

式中，γ用來調(diào)節(jié)相似度對方向的敏感程度。當(dāng)2個邊界群之間的距離大于2個像素時,則兩者的相似度就為0。

(7)

式中,bw和bh分別為邊界框Π的寬和高。bin代表邊界框Π的中心區(qū)域,尺寸為(bw/2)×(bh/2);r表示邊界框內(nèi)的任意一個邊界像素,mr為r的響應(yīng)幅值,mi為邊界群si中所有邊界像素幅值之和,ζi為邊界群si完全位于b的權(quán)重分?jǐn)?shù),邊界像素響應(yīng)幅值和ζi的計算方法可見文獻[7],ζi越高表示si完全位于Π內(nèi)的可能性就越大;k為對目標(biāo)長、寬大小的懲罰系數(shù)。

1.3 顏色模型預(yù)測

(8)

(9)

(10)

1.4 基于響應(yīng)圖置信度的自適應(yīng)融合算法

文獻[5]對于2個響應(yīng)圖的融合采用了固定權(quán)重的融合方式,然而,目標(biāo)跟蹤過程中各個時刻跟蹤器中各個模型受干擾程度往往不盡相同,固定權(quán)重不能準(zhǔn)確有效地利用各個模型的預(yù)測信息,導(dǎo)致跟蹤器對目標(biāo)跟蹤的魯棒性不高。對于融合多通道的跟蹤器來說,若不能對受不同程度干擾的模型動態(tài)加入合適的權(quán)重系數(shù),跟蹤的穩(wěn)定性難以得到保證。為此,本文通過有效地計算不同模型預(yù)測響應(yīng)圖的置信度,進而自適應(yīng)地對模型權(quán)重進行調(diào)整,進一步提高跟蹤算法的魯棒性。

文獻[6]中用不同模板對正負(fù)樣本的分別能力來表示跟蹤的置信度,其計算過程需要一定數(shù)量有對應(yīng)標(biāo)簽的目標(biāo)樣本。然而,目標(biāo)樣本標(biāo)簽的得到一般是通過跟蹤器歷時幀的跟蹤結(jié)果來確定的,因此跟蹤結(jié)果發(fā)生飄逸將會導(dǎo)致置信度的計算錯誤,跟蹤器陷入循環(huán)的錯誤計算中。而文獻[6]通過將上述問題轉(zhuǎn)換為半監(jiān)督的部分標(biāo)簽問題,首先計算一個可能的部分帶有標(biāo)簽的圖像塊樣本集合:

{(x1,z1),…(xi,zi)},i=1,…n。

(11)

(12)

最大似然概率L和損失熵H的計算公式分別為:

(13)

(14)

這里假設(shè)目標(biāo)所在位置概率模型P(li|φi)為高斯分布函數(shù)。并且假設(shè)P(li|φi,xi;θ)=P(li|φi;θ)成立,則條件概率可以表示為

(15)

同時令

(16)

式中，S′∈z時δz(S′)取1,否則為0。詳細(xì)過程可以參考文獻[6]。得到復(fù)合特征響應(yīng)圖和濾波器響應(yīng)圖的置信度后,就可以計算各個響應(yīng)圖的加權(quán)權(quán)重。

(17)

(18)

(19)

1.5 尺度的計算和優(yōu)化

當(dāng)平移濾波器確定出目標(biāo)中心坐標(biāo)后,引用文獻[5]的方法,用一維尺度濾波器計算目標(biāo)當(dāng)前尺度。尺度金字塔建立如下

ζnwt-1×ζnht-1,n∈{-(ρ-1)/2,…,(ρ-1)/2}

(20)

式中,wt-1,ht-1分別為目標(biāo)在上一幀的寬和高。ζ為尺度放縮因子,本文選擇1.02,ρ為尺度金字塔的層數(shù),本文選擇33。具體計算可參考文獻[5]。

1.6 算法實現(xiàn)

本文算法可分為4個主要組成部分:初始化、位置估計、尺度估計和模型訓(xùn)練。具體步驟如下:

1) 初始化

初始設(shè)置算法的初始參數(shù),以及第一幀序列中目標(biāo)的位置和尺度狀態(tài)。

2) 位置估計

3) 尺度估計

根據(jù)尺度金子塔對目標(biāo)尺度進行估計。

4) 模型訓(xùn)練

2 實驗結(jié)果

本文在計算機處理器為i7,主頻為3.5GHz CPU,內(nèi)存為 8G RAM的硬件配置下通過MATLAB2016b軟件對算法在OTB2015提供的100個視頻序列上進行了實驗評估。測試視頻序列包含的干擾特征包括特征有:遮擋,光照變化,尺度變化,運動模糊,快速運動,平面外旋轉(zhuǎn),變形等。實驗中的參數(shù)設(shè)置如表1所示。

2.1 定性分析

如圖2所示,本節(jié)選取了4個同時包含多種挑戰(zhàn)因素的視頻序列來對算法進行定性評估,并列出了包括雙線性支持向量機(DLSSVM)、具有通道和空間可靠性的判別相關(guān)濾波器(CSR-DCF)以及融合相關(guān)濾波器模板和顏色特征模板跟蹤算法(Staple)以及本文算法在內(nèi)的4種跟蹤算法的跟蹤結(jié)果。

表1 本文算法參數(shù)設(shè)置

圖2 各個算法在各測試序列上部分時刻的跟蹤結(jié)果

Shaking序列中存在劇烈的光照變化,并存在一定目標(biāo)形變。如圖2a)所示,由于CSR-DCF依賴顏色信息,當(dāng)?shù)?0幀時光照發(fā)生強烈變化時,CSR-DCF產(chǎn)生了嚴(yán)重的跟蹤飄逸。在第64幀Staple算法已經(jīng)跟蹤失敗, DLSSVM也已經(jīng)產(chǎn)生了較大的跟蹤誤差。而本文算法能夠較好地對目標(biāo)進行跟蹤。

Girl 2序列中存在著完全遮擋的干擾,本文算法當(dāng)目標(biāo)出現(xiàn)后能及時捕獲到目標(biāo),同樣在第1 384幀后目標(biāo)又出現(xiàn)了完全遮擋的問題,在第1 399幀,本文算法依舊能夠較準(zhǔn)確地跟蹤到目標(biāo)。

Couple序列中存在著相似背景和運動模糊的干擾,在第92幀和107幀時,Staple 算法和CSR-DCF相繼出現(xiàn)跟蹤失敗。而DLSSVM算法和本文算法能有效地提取正確的目標(biāo)表觀信息,較好地適應(yīng)目標(biāo)表觀變化,完成目標(biāo)跟蹤的任務(wù)。

在Freeman 4序列中,目標(biāo)分辨率較低同時存在著一定的目標(biāo)遮擋。如第207幀DLSSVM、CSR-DCF以及Staple算法都出現(xiàn)了跟蹤飄逸,在第271幀Staple和CSR-DCF算法甚至已經(jīng)完全跟蹤失敗,而本文算法能夠較好地對目標(biāo)跟蹤進行跟蹤。

2.2 定量分析

本節(jié)采用中心位置誤差(CLE)和重疊率(OR)進行性能評估。一般來說,較小的平均誤差和較大的重疊率意味著更準(zhǔn)確的跟蹤結(jié)果。表2和表3分別表示不同算法在各個測試序列中的中心位置平均誤差和邊界框重疊率平均值的比較結(jié)果。表4給出了各個算法在OTB2015中100序列中的平均跟蹤幀率。表2、表3以及表4中最優(yōu)及次優(yōu)的結(jié)果分別用1和2進行標(biāo)注。

表2 不同算法在各個視頻序列的平均中心位置誤差

表3 不同算法在各個視頻序列的平均邊界框重疊率

表4 不同算法的平均幀率 幀/秒

2.3 基于可視基準(zhǔn)的評估

本文采用一次性評估實驗OPE通過OTB2015提供的100個視頻序列對Staple、DLSSVM、CSR-DCF、基于循環(huán)特征映射的跟蹤算法(LMCF)、空間正則化濾波跟蹤器(SRDCF)、濾波網(wǎng)絡(luò)跟蹤器(DCFNet)、全卷積網(wǎng)絡(luò)跟蹤器(SiamFC)、卷積神經(jīng)網(wǎng)絡(luò)支持向量機跟蹤器(CNN-SVM)和本文算法在內(nèi)的9種跟蹤器進行整體性能測試和對比。如圖3所示,本文算法由于在Staple算法的基礎(chǔ)上,融合了物體性檢測模型,充分利用了樣本信息的多樣化的特性,并采用自適應(yīng)權(quán)重的融合方式來調(diào)整各模型加權(quán)比重,有效提升了跟蹤算法的魯棒性。新算法在和OTB2015序列集下得到的精度和成功率相比較于其他跟蹤算法均取得了最好的性能。其次,引入的置信度計算本身復(fù)雜度較低,所以保證新算法依然能夠保持較高的跟蹤實時性。通過表4可得,新算法和Staple算法相比,依然有著較高的跟蹤實時性。

圖3 跟蹤器在OTB2015上的測試結(jié)果

3 結(jié) 論

為了提高跟蹤算法適應(yīng)復(fù)雜場景的能力,本文在Staple算法的基礎(chǔ)上融入了基于輪廓特征的物體性檢測模型,與原有基于HOG特征的濾波器模型和顏色模型結(jié)合形成一種融合多互補模型的跟蹤算法。并針對該算法中對不同模型預(yù)測響應(yīng)結(jié)果進行簡單線性加權(quán)帶來的跟蹤性能不穩(wěn)定的問題,提出一種以最大似然概率和損失熵作為響應(yīng)圖置信度的自適應(yīng)預(yù)測響應(yīng)圖加權(quán)權(quán)重計算方法。實驗結(jié)果表明,新算法在多種復(fù)雜場景中能有效地解決目標(biāo)跟蹤性能較低的問題,并且實時性較強。