遮擋判別下自適應(yīng)融合更新相關(guān)濾波跟蹤

孔菁澤,劉萬軍,姜文濤,邴曉環(huán)

1(遼寧工程技術(shù)大學(xué) 研究生院,遼寧 葫蘆島 125105)2(遼寧工程技術(shù)大學(xué) 軟件學(xué)院,遼寧 葫蘆島 125105)

1 引 言

針對運動目標(biāo)的跟蹤,是機器視覺方向的重要研究課題[1-3],在智能交通、國防安全、工業(yè)領(lǐng)域等方面均有廣泛的應(yīng)用[4-6].近年來,在快速提高的硬件計算能力和蓬勃發(fā)展的機器視覺前提下,基于數(shù)據(jù)集驅(qū)動的深度學(xué)習(xí)跟蹤方法,受到越來越多研究者的青睞.但由于訓(xùn)練階段消耗過多的時間,不能較好地實現(xiàn)實時跟蹤,因此兼顧跟蹤精度和跟蹤速度相關(guān)濾波類目標(biāo)跟蹤,是目標(biāo)跟蹤領(lǐng)域研究的一個重要方向.

近年來,由于在目標(biāo)跟蹤過程中引入了通信領(lǐng)域的相關(guān)濾波器的概念,目標(biāo)跟蹤的準確性得到進一步的提升.相關(guān)濾波跟蹤算法就是將跟蹤問題轉(zhuǎn)化為二分類問題,通過建立對應(yīng)的相關(guān)濾波跟蹤模型,區(qū)分出目標(biāo)特征和背景特征,根據(jù)響應(yīng)圖的峰值變化標(biāo)記出目標(biāo)的準確位置,并采用快速傅里葉變換方法優(yōu)化計算過程,提高計算速度.2010年Bolme等人[7]最先提出相關(guān)濾波跟蹤算法,該算法利用跟蹤輸出結(jié)果的平方差最小值來訓(xùn)練相關(guān)濾波器,僅利用灰度特征跟蹤目標(biāo)區(qū)域,跟蹤速度高達600幀/s.2014年,Danelljan等人[8]在CSK算法基礎(chǔ)上,提出了顏色空間(Color Name,CN)的跟蹤算法,該算法對CSK算法中提取到的特征進行微調(diào),并將三色通道RGB拓寬為11種相異色系的通道.雖然這種拓展通道的方法使目標(biāo)跟蹤的精度得到一定的提高,但這種特征多通道的計算方式同樣帶來了計算量的增加,為了降低計算復(fù)雜度,作者利用主成分分析方式將特征的11維通道降維至2通道.Henriques等人[9]繼續(xù)對循環(huán)核結(jié)構(gòu)CSK算法進行改進,提出了核相關(guān)濾波KCF算法,在相關(guān)濾波跟蹤過程中,補充目標(biāo)特征的通道數(shù),利用梯度方向直方圖(Histogram of Oriented Gradient,HOG)將單通道變?yōu)槎嗤ǖ?并在此基礎(chǔ)上采用核函數(shù)將線性嶺回歸問題映射到非線性空間,在非線性空間中依據(jù)循環(huán)矩陣在傅里葉空間形成對角化的原理,簡化計算,大幅度地提高計算效率.研究人員發(fā)現(xiàn)現(xiàn)實場景的環(huán)境復(fù)雜多變,進行跟蹤時僅使用單一的特征不能完全應(yīng)對,因此考慮將目標(biāo)的多個特征進行融合跟蹤.LI等人[10]通過采用矢量鏈接的方式,將CN特征、灰度特征和HOG特征進行融合,獲取目標(biāo)的跟蹤特征,進而增強跟蹤器的跟蹤穩(wěn)固性.Bertinetto 等人[11]基于DSST算法[12]中的獨立濾波器的啟發(fā)下,提出基礎(chǔ)特征之間聚合、互補的Staple算法,作者充分利用存在差異的應(yīng)用場景下,兩種特征互補特性,有效地融合了目標(biāo)的顏色直方圖特征與HOG特征,提高訓(xùn)練出的目標(biāo)跟蹤器的跟蹤準確度.為緩解邊界效應(yīng)對基于濾波器的算法造成干擾,Danelljan等[13]設(shè)計了空間約束的相關(guān)濾波器(Spatially Regularized Correlation Filter,SRDCF),拓展了目標(biāo)所在的區(qū)域,同時在算法中引入空間正則化的概念,使得目標(biāo)的中心區(qū)域,受到的極小的約束;反之,遠離目標(biāo)的區(qū)域受到更大的約束.該方法削弱了邊緣特征對整體部分的干擾,從而提高了分類器性能的穩(wěn)定性和跟蹤精度.

國內(nèi)外研究者利用深度學(xué)習(xí)方法對目標(biāo)跟蹤進行研究,并基于深度卷積網(wǎng)絡(luò)訓(xùn)練了大量數(shù)據(jù)集,有效提高了目標(biāo)的跟蹤效果.Danelljan等人[14]提出連續(xù)卷積算子的算法,該算法是利用卷積學(xué)習(xí)連續(xù)的空間域特征,采用連續(xù)卷積公式對目標(biāo)實現(xiàn)亞像素級定位.在連續(xù)卷積算子的基礎(chǔ)上,Yun等人[15]提出ECO(Efficient Convolution Operators)算法,該算法對特征提取做了一定的簡化,基于高斯混合模型簡化訓(xùn)練階段的樣本,同時為減少模型的更新次數(shù),設(shè)置模型每6幀更新一次,提高了模型的時間和空間效率.DeepSTRCF[16]引入了基于STRCF的深度特征,以確保模型在復(fù)雜場景中仍然能進行精確穩(wěn)定的跟蹤.

在相關(guān)濾波框架的基礎(chǔ)上,本文提出一種遮擋判別下自適應(yīng)融合更新的相關(guān)濾波跟蹤方法.該方法選取目標(biāo)互補的兩種基礎(chǔ)特征,通過引入可信度策略,對基礎(chǔ)特征進行兩次自適應(yīng)融合,利用可信度較高的融合特征充分描述目標(biāo)區(qū)域.然后對跟蹤結(jié)果進行遮擋判斷,若判斷結(jié)果為遮擋,則激活遮擋重檢測機制對目標(biāo)重新定位.最后精確定位目標(biāo)后,自適應(yīng)更新檢測模型,實現(xiàn)對目標(biāo)的穩(wěn)定跟蹤.此外,本文使用文獻[17]的尺度估計方法,來解決目標(biāo)在變化過程中的尺度變化問題.在標(biāo)準跟蹤數(shù)據(jù)集OTB100(Object Tracking Benchmark)選取所有具有遮擋屬性的視頻序列進行實驗驗證.

2 相關(guān)濾波跟蹤器

2.1 fDSST跟蹤器

fDSST算法[17]是Danelljan基于DSST算法提出的一種相關(guān)濾波器跟蹤算法.該算法中采用相互獨立的濾波器的思想來對目標(biāo)的位置和尺度進行跟蹤,通過訓(xùn)練位置濾波器對目標(biāo)在當(dāng)前幀的位置進行確定.在搜索區(qū)域中,濾波器響應(yīng)圖是由位置濾波器提取出來的HOG特征轉(zhuǎn)化而來的,圖中響應(yīng)分數(shù)最高的位置作為目標(biāo)的中心位置.該方法目標(biāo)是通過設(shè)計最優(yōu)的相關(guān)濾波器hl,構(gòu)造最小化的代價函數(shù)ε,計算公式為:

(1)

式中Δ表征了循環(huán)間的關(guān)聯(lián)程度,g代表由高斯函數(shù)計算出的最佳期望響應(yīng)值,d是對特征中通道的遍歷,fi是濾波器提取的第l維特征,式中l(wèi)∈{1,2,…,d},公式(1)中后半部分表示的是能夠使模型的泛化能力顯著增強的正則化項,它的權(quán)重參數(shù)是λ.

為降低運算過程中的耗時,將公式(1)的計算過程從時域轉(zhuǎn)到頻域,其對應(yīng)的轉(zhuǎn)換結(jié)果為:

(2)

(3)

(4)

(5)

公式(5)的rt代表計算得到的最終響應(yīng)值,F-1表示傅里葉逆變換,響應(yīng)值rt最大的位置即為當(dāng)前幀中待跟蹤目標(biāo)的位置.

2.2 多尺度跟蹤器

由于目標(biāo)在跟蹤過程中,其尺度會在運動的過程中不斷發(fā)生變化,因此文獻[17]提出一種基于相關(guān)濾波器的尺度自適應(yīng)算法.本文借鑒該方法,建立了一個相對獨立尺度濾波器,即使在跟蹤目標(biāo)的過程中出現(xiàn)尺度變化,跟蹤器也能很好地適應(yīng).對比濾波器中各尺度的響應(yīng)值,選擇響應(yīng)數(shù)值最大的尺度,該尺度便是當(dāng)前幀視頻序列所對應(yīng)的最佳目標(biāo)尺度.因此,尺度池的建立可以定義為:

Sscale=(σn×W)×(σn×H)

(6)

公式(6)中尺度因子用σ表示,W×H是前一幀序列中被跟蹤目標(biāo)的尺寸,S表示被濾波器縮聚后特征的維度.尺度濾波器的計算步驟為:首先采用不同比例的矩形框,圍繞目標(biāo)的位置得到不同尺度的圖像塊并提取其中的HOG特征,采用一維高斯函數(shù)作為目標(biāo)的期望響應(yīng)函數(shù).在實現(xiàn)頻域轉(zhuǎn)換后,相應(yīng)的得出不同尺度下的響應(yīng)向量,在最后階段,計算每種尺度的目標(biāo)響應(yīng)數(shù)值,選取響應(yīng)最大的尺度作為當(dāng)前視頻序列最合適的尺度.

3 遮擋判別下自適應(yīng)融合更新的相關(guān)濾波跟蹤方法

本文提出的方法以fDSST算法為基礎(chǔ)框架,針對fDSST算法采用單一特征和固定學(xué)習(xí)率逐幀更新方式跟蹤效果較差的問題,本文從多特征融合和自適應(yīng)學(xué)習(xí)率的角度入手,通過融合兩種互補特征,增強模型對目標(biāo)的識別能力,同時對跟蹤結(jié)果的可信度進行判定,進行遮擋判別和自適應(yīng)更新,總體設(shè)計框架圖如圖1所示.

圖1 整體框架示意圖

3.1 直方圖概率模型

由于單一特征不能全面地描述目標(biāo)的所有信息,本文在文獻[11]中處理顏色直方圖的方法基礎(chǔ)上,通過提取目標(biāo)的顏色直方圖特征建立直方圖概率模型.其主要思想為:首先區(qū)分特征圖中的目標(biāo)特征和背景區(qū)域,接著統(tǒng)計背景與目標(biāo)區(qū)域的顏色直方圖,對其進行歸一化處理,最后通過計算得出最終的概率響應(yīng)圖,該響應(yīng)圖為像素級別.目標(biāo)的位置就是其中響應(yīng)值最大的位置.響應(yīng)圖的計算方式為:

(7)

公式(7)中M是搜索區(qū)域包含的像素網(wǎng)格的數(shù)量,a是模型參數(shù),Φ(x)表示搜索區(qū)域中統(tǒng)計第x個像素網(wǎng)格區(qū)域的顏色直方圖得分的函數(shù).通過分別提取統(tǒng)計前、背景的顏色直方圖信息,并計算像素的響應(yīng)值,獲得顏色直方圖特征的概率響應(yīng)圖.對于模型參數(shù)a,計算公式為:

(8)

公式(8)中ρj(Ο)表示目標(biāo)區(qū)域中顏色特征j非零部分對應(yīng)的像素比例,ρj(Β)表示背景區(qū)域中顏色特征j的非零部分對應(yīng)的像素比例,j代表不同的顏色通道,γ則表示顏色概率模型的權(quán)重,是防止模型過擬合而設(shè)定的參數(shù),一般設(shè)γ=0.001.在實現(xiàn)對第t幀序列中的目標(biāo)跟蹤時,學(xué)習(xí)率要設(shè)定為η,同時需要更新像素比例,具體的更新方式為:

(9)

(10)

3.2 自適應(yīng)融合特征選擇

在進行目標(biāo)跟蹤的過程中,提取到的特征是否能夠有效表征目標(biāo),對跟蹤的結(jié)果有著至關(guān)重要的影響.首先,提取得到的跟蹤特征,需要可以有效地描述目標(biāo)的特征信息.其次,目標(biāo)的不同特征在不同的環(huán)境中具有不同的描述能力,單一特征對于目標(biāo)表征能力,隨著場景的轉(zhuǎn)變被弱化,從而導(dǎo)致跟蹤在場景變化過程中失敗.最后,跟蹤器對目標(biāo)的跟蹤需要具有實時性,才有應(yīng)用的實際意義,所以提取特征的過程應(yīng)當(dāng)越簡便越好.為了滿足以上要求,本文提出了自適應(yīng)融合的特征選擇方法.顏色直方圖特征在光照變化和運動形變等因素影響下依舊具有較高的穩(wěn)定性以及較為突出的跟蹤效果,因此選取顏色直方圖和HOG的融合特征作為基礎(chǔ)特征,選用不同的權(quán)值融合這兩種特征,確保初步特征可以描述不同的信息,之后基于可信度方式篩選初步特征,實現(xiàn)可信度高的初步特征的自適應(yīng)融合,相關(guān)濾波響應(yīng)圖反映了其對各個特征的跟蹤能力,利用響應(yīng)圖完成融合過程的特征自適應(yīng)選擇.特征的自適應(yīng)選擇融合過程如圖2所示.

圖2 自適應(yīng)特征融合示意圖

3.2.1 特征融合

在本文中,特征的初步融合思路是采用線性加權(quán)的方式,對提取計算出的兩種基礎(chǔ)特征的概率響應(yīng)圖進行組合,在組合階段調(diào)整線性權(quán)值,從而獲取偏向融合特征的不同關(guān)注點.線性加權(quán)具體定義為:

ffuse=ωfcolor+(1-ω)fcf

(11)

公式(11)中，ffuse是響應(yīng)特征初步融合的函數(shù),fcolor代表響應(yīng)顏色直方圖特征的函數(shù),fcf則是響應(yīng)HOG特征的函數(shù),ω是不同的權(quán)重值.采用線性加權(quán)的方式對提取得到的兩種基礎(chǔ)特征進行組合,獲得初步融合后的偏向性表達特征.在跟蹤過程中,為了處理目標(biāo)和背景信息的變化,要保證初步融合特征具有不同的偏向性表達,因此權(quán)重ω的選取對融合特征的獲取有很大的影響.權(quán)重分配的偏向性太大或太小均會影響融合特征的表達能力,前者使得融合特征與單一特征的跟蹤效果類似,后者的分配方式可視為等比值分配.本著窮舉分配的原理,在大量實驗數(shù)據(jù)基礎(chǔ)上,本文詳細分析了跟蹤性能較佳的三類權(quán)重分配方法,同時利用這3種方式加權(quán)融合特征.具體的權(quán)重分配見表1.

表1 權(quán)重的多種分配方式

3.2.2 自適應(yīng)選擇融合

在完成特征的初步融合后,依據(jù)其可信度對于具有不同偏向性的初步特征響應(yīng)圖進行了判斷,將其中可信度最小的融合特征進行剔除,采用原有的可信度策略自適應(yīng)融合其他的初步特征,融合之后所得到的最終特征即為當(dāng)前一個幀的追蹤特征.本文采用平均峰值對應(yīng)的相關(guān)能量[18](APCE,average peak-to correlation energy)計算可信度,具體定義為:

(12)

公式(12)中Fmax、Fmin分別表示特征圖中的最大、最小響應(yīng)值,Fw,h則代表特征圖(w,h)中相應(yīng)位置的響應(yīng),mean()是均值函數(shù),EAPCE反映了響應(yīng)值的整體波動程度,當(dāng)EAPCE變小時,在特征響應(yīng)圖中,表明峰值區(qū)域之外的其他區(qū)域也有劇烈的波動,目標(biāo)對背景區(qū)域的響應(yīng)較為一般,可信度越低,反之則可信度越高.為簡化后續(xù)的計算過程,歸一化處理得到的初步融合特征的可信度,即將第t幀的不同融合特征的EAPCE值與前(t-1)幀相對應(yīng)的融合特征的最大EAPCE值進行歸一化,其運算過程表示為:

(13)

公式(13)中G(t)表示第t幀的融合特征進行歸一化處理之后的平均峰值相關(guān)能量值.歸一化處理完初步融合特征的可信度后,利用自適應(yīng)的權(quán)重分配方式,加權(quán)融合兩種置信度較高的初步特征,權(quán)重分配方式定義為:

(14)

W2=1-W1

(15)

上述兩個公式中的W1、W2分別表示特征自身的權(quán)值,G1(t)、G2(t)代表在對兩種特征歸一化后,得到的特征置信度.經(jīng)過上述兩個公式輸出特征對應(yīng)的權(quán)重后,利用響應(yīng)函數(shù)f1和f2自適應(yīng)融合特征,并將融合后得到的特征作為當(dāng)前幀的跟蹤特征.融合計算公式為:

ffinal=W1f1+W2f2

(16)

3.3 遮擋重檢測模型

為對跟蹤結(jié)果的可靠性進行判定以及獲取更為精確的目標(biāo)位置,本文提出了一個遮擋重檢測模型.在該模型中,ΔFAPCE是目標(biāo)可信度的歷史均值與當(dāng)前幀最大可信度的差值,同時提前設(shè)定一個重檢測閾值常量,通過比較ΔFAPCE與重檢測閾值的大小關(guān)系,判斷跟蹤結(jié)果的可靠性,從而進一步判斷是否需對跟蹤結(jié)果重新檢測.當(dāng)差值ΔFAPCE超過設(shè)定閾值常量時,表明在目標(biāo)被遮擋的情況下,跟蹤區(qū)域的響應(yīng)圖有強烈的峰值波動,所以需要開啟遮擋下的重檢測機制進行目標(biāo)位置重檢;否則正常更新模型,不啟動重新檢測過程.在這個過程中,跟蹤結(jié)果的產(chǎn)生很大程度上取決于能否選取恰當(dāng)?shù)闹貦z測閾值.若設(shè)定的重檢測閾值過大,可能給予可信度較小的波動范圍,應(yīng)當(dāng)觸發(fā)重檢測模型從而緩解檢測器的誤判行為,但是這樣會加大模型的計算復(fù)雜度;若重檢測閾值設(shè)定的過小時,則可信度波動的范圍相應(yīng)變大,增加了跟蹤器漏判目標(biāo)的幾率,出現(xiàn)跟蹤漂移的現(xiàn)象.在采用窮舉的方式進行大量實驗數(shù)據(jù)的測試,將重檢測閾值設(shè)置為θ=0.6×Fmean,Fmean是可信度數(shù)值的歷史均值,它能夠較好地反映在以往的檢測幀中,目標(biāo)響應(yīng)圖的波動均值.在尋求最大可信度的基礎(chǔ)上,本文設(shè)計的重檢測機制,可以最大程度緩解ΔFAPCE過高的情況.首先通過前一幀的跟蹤結(jié)果,對當(dāng)前幀搜索區(qū)域中目標(biāo)可能出現(xiàn)的位置進行預(yù)測,同時擴展當(dāng)前幀目標(biāo)的搜索范圍,計算并比較不同預(yù)測區(qū)域中各個目標(biāo)位置的響應(yīng)可信度,當(dāng)前幀目標(biāo)位置應(yīng)選擇可靠程度最高的目標(biāo)預(yù)測位置,從而實現(xiàn)跟蹤.

在視頻序列中,幀與幀之間的目標(biāo)位置移動不會發(fā)生跳躍性的變化,而應(yīng)該是緩速漸進的一種移動方式,這就表明即便出現(xiàn)目標(biāo)被遮擋的情況,也會出現(xiàn)若干幀目標(biāo)逐漸被遮擋的過程,而不會是目標(biāo)突然消失.因此,可以在前一幀得到準確目標(biāo)位置的基礎(chǔ)上,向不同的方向延伸,在不同方向分別設(shè)定預(yù)測區(qū)域,對當(dāng)前幀的目標(biāo)位置進行預(yù)測.當(dāng)前幀可信度較低的問題不只會發(fā)生在跟蹤漂移時,還會發(fā)生在目標(biāo)特征的提取度較低的情況中,因此即使當(dāng)前幀確定的目標(biāo)位置可信度不高,但是為了得到更加精準的目標(biāo)定位,仍然可以將預(yù)測結(jié)果看作一個可能存在目標(biāo)的位置,并與設(shè)置的其他預(yù)測位置相比較.本文在進行遮擋重新檢測的過程中,共設(shè)置5個不同的預(yù)測區(qū)域,集合表示為L={L1,L2,L3,L4,L5},在預(yù)測區(qū)域集合中L5是由當(dāng)前幀確定的目標(biāo)區(qū)域,但是可信度不高,而L1,L2,L3,L4則是在前一幀跟蹤結(jié)果中確定的目標(biāo)位置基礎(chǔ)上,向不同的方向進行延伸所得到預(yù)測的目標(biāo)區(qū)域.圖3為各個方向的預(yù)測圖.

從圖3可以看出,P0點是根據(jù)前一幀跟蹤結(jié)果確定的中心點目標(biāo),P1、P2、P3、P4則分別表示以P0點為基準向左上、右上、左下、右下4個方向拓展得到的預(yù)測區(qū)域的中心點.以P1點的位置為例,記前一幀確定的目標(biāo)尺寸大小為wprior×hprior,P1點坐標(biāo)的獲取過程為:P0點在垂直方向朝上移動φ×hprior的單位的距離,然后在水平方向朝左移動φ×wprior的單位的距離,即可得到P1點坐標(biāo).P2、P3、P4點坐標(biāo)的獲取方式P1點類似,移動的距離相同,只是在移動的方向上有所不同.根據(jù)大量實驗數(shù)據(jù)分析時預(yù)測得到的φ=0.25效果最好.

圖3 各個方向預(yù)測示意圖

圖3中的實線矩形框表示以P0點為中心位置坐標(biāo)的搜索區(qū)域,虛點框則表示以P1點為中心坐標(biāo)的預(yù)測搜索區(qū)域,虛線框是P1、P2、P3、P4 4個中心坐標(biāo)點所確定的搜索區(qū)域的最大范圍.

在重檢測模型的構(gòu)建過程中,考慮到當(dāng)前幀得到的跟蹤結(jié)果可信度較低的原因主要是特征融合的方式不能很好地提取到目標(biāo)的特征,因此在重檢測模型中,改變二次特征融合時的融合方式,旨在通過改變?nèi)诤戏绞皆鰪姼櫰鲗τ诓煌瑘鼍白兓倪m應(yīng)能力.針對不同方向的預(yù)測區(qū)域的重檢過程為:首先,在每個預(yù)測區(qū)域中提取基礎(chǔ)特征并進行初步融合;然后,通過使用可信度的方式判定融合得到的偏向特征,并輸出可信度值的集合Q={Q1,Q2,Q3},將可信度集合中的元素每兩個分為一組,采用公式(14)對不同的組進行計算得到權(quán)重集合w={w1,w2,w3,w4,w5,w6};最后,利用計算出的不同權(quán)重,在可信度值集合的分組方式下,對特征值進行二次自適應(yīng)融合,并且利用可靠性來篩選得到的各個融合特征的跟蹤結(jié)果,當(dāng)前幀重檢測的目標(biāo)位置是由可信度最高的跟蹤結(jié)果來決定的,即該結(jié)果的中心作為目標(biāo)的所在位置.重檢模型中的特征融合過程如圖4所示.

圖4 重檢模型中的特征融合過程圖

3.4 自適應(yīng)模型更新策略

在跟蹤器跟蹤目標(biāo)時更新目標(biāo)模型,可以確保模型始終做到準確描述目標(biāo)特征.若采用逐幀固定學(xué)習(xí)率的更新方式,如果有序列幀存在遮擋目標(biāo)或背景干涉目標(biāo),出現(xiàn)目標(biāo)的特征不突顯的情況,此時對獲取到的特征進行更新,則將削弱跟蹤器對目標(biāo)的跟蹤準確性,造成一定的跟蹤誤差,隨視頻序列的增加,誤差會在逐幀更新中累積,使得跟蹤效果逐漸變差.針對以上問題,本文提出一種自適應(yīng)更新學(xué)習(xí)率的方法,對跟蹤器進行更新學(xué)習(xí).其主要思想是首先設(shè)定一個固定閾值,然后計算當(dāng)前幀跟蹤結(jié)果的可信度和以往最佳可信度的比值,假如當(dāng)前幀的目標(biāo)特征可靠性強,則該比值高于固定閾值,此時需要初始化的固定學(xué)習(xí)率更新跟蹤器即可;反之,若提取到的目標(biāo)信息可靠程度較低,比值也會相應(yīng)降低,需要根據(jù)當(dāng)前幀的實際采集情況計算自適應(yīng)學(xué)習(xí)率對跟蹤器進行更新.自適應(yīng)學(xué)習(xí)率的計算3個因素決定,分別是前一幀視頻序列的響應(yīng)情況、當(dāng)前幀的響應(yīng)情況和響應(yīng)峰值,學(xué)習(xí)率計算方式定義為:

η=φ1ρ+φ2rmax

(17)

公式(17)中學(xué)習(xí)率η的計算由兩項組成,其中φ1和φ2代表兩種相異的權(quán)重參數(shù),第1項中τ代表前后兩幀間的平均峰值波動比,第2項中的rmax表示當(dāng)前幀響應(yīng)的最大值.如果有遮擋目標(biāo)的情況出現(xiàn),使得當(dāng)前幀的波動狀況比較強烈,且τ和rmax的值會受到影響而降低,最終導(dǎo)致學(xué)習(xí)率也相應(yīng)減小,這樣當(dāng)面對當(dāng)前幀的目標(biāo)干擾信息時,跟蹤器能夠有效降低性能;若相反,則可以極大地提高跟蹤器的性能.τ的計算結(jié)果定義為:

(18)

(19)

(20)

公式(18)中,Reo代表當(dāng)前幀視頻中各個像素位置的響應(yīng)值相加的結(jié)果,Rpre_eo則對應(yīng)表示前一幀響應(yīng)圖中各個像素的響應(yīng)值和,公式(19)和公式(20)分別表示了這兩個變量的計算過程,兩個公式中的(w,h),(w1,h1)則分別代表當(dāng)前幀和前一幀計算得到的概率響應(yīng)圖的尺寸大小,ri,j則是響應(yīng)圖中像素坐標(biāo)(i,j)處的響應(yīng)數(shù)值.

本文的跟蹤器模型設(shè)置了相互獨立的兩個濾波器模型,分別為定位濾波器模型和尺度濾波器模型,所以在對模型更新時,兩個濾波器模型也是獨立更新.以測試序列的第t幀為例,跟蹤器的更新方式為:

β=(1-η)βt-1+ηβt

(21)

χ=(1-η)χt-1+ηχt

(22)

式中β表示定位濾波器模型,χ表示尺度濾波器模型.

4 實驗結(jié)果及分析

4.1 實驗參數(shù)設(shè)置及數(shù)據(jù)

為了有效地驗證本文的跟蹤性能,選取標(biāo)準測試數(shù)據(jù)集OTB100中包含遮擋屬性的視頻序列進行實驗.實驗中跟蹤性能的評估標(biāo)準為跟蹤準確率,跟蹤成功率以及跟蹤速度,采用OPE(one-pass evaluation)評價準則來計算跟蹤的準確率和成功率.跟蹤準確率(DP)是真實框中心與目標(biāo)預(yù)測框中心的位置誤差小于像素閾值的視頻序列占視頻總序列的比重;跟蹤成功率是目標(biāo)預(yù)測框與真實框的重疊率高于像素閾值的視頻序列,占據(jù)視頻總序列的比重,重疊率表示預(yù)測框與真實框的重疊面積與總面積之比.跟蹤速度(FPS)表示跟蹤器在1秒時間讀取的序列幀數(shù).在本文中準確率閾值設(shè)置為20個像素,同時設(shè)置成功率閾值為0.5.

4.2 實驗結(jié)果與分析

選取7種近年來主流的表現(xiàn)較好的跟蹤方法,與本文提出的跟蹤算法作對比,從跟蹤準確性和時效性兩個方面進行跟蹤效果對比,這些方法分別是fDSST[15]、SAMF[10]、SRDCF[13]、BACF[19]、STRCF[20]、STAPLE[11]、ECO[15].在這些方法中,有相關(guān)濾波方法,也有基于相關(guān)濾波的改進方法和深度學(xué)習(xí)方法.

4.2.1 準確性分析

在本文實驗過程中,為了使自適應(yīng)更新模型在自適應(yīng)更新學(xué)習(xí)率的過程中,有更多的有較為可靠的歷史數(shù)據(jù)參考更新,因此在OTB數(shù)據(jù)集所有包含遮擋屬性的序列中,去除了遮擋不明顯和視頻序列較短的序列,選擇42個包含遮擋屬性的序列進行實驗測試,對比不同方法之間的距離精確度和重疊跟蹤率.表2和表3分別給出了8種方法在部分序列上的跟蹤精確度和跟蹤成功率.表中不同的數(shù)據(jù)集有不同的屬性,涵蓋變化的尺度(Scale Variation,SV)、遮擋(Occlusion,OCC)、光亮變化(Illumination Variation,IV)、形變(Deformation,DEF)、背景雜波(Background Clutter,BC)、平面外部旋轉(zhuǎn)(Out-of-Plane Rotation,OPR)、平面內(nèi)部旋轉(zhuǎn)(In-Plane Rotation,IPR)以及快速運動(Fast Motion,FM)[21]等各種情況.

表2 不同方法的跟蹤精確度的對比(%)

表3 不同方法跟蹤成功率的對比(%)

結(jié)合表2和表3中的數(shù)據(jù)可以看出,本文雖然在每個序列的跟蹤精確度和準確率方面不一定是最優(yōu)的,但是總體表現(xiàn)較為穩(wěn)定.在背景因素簡單有遮擋的序列能夠達到與其他方法相同的效果,在背景因素復(fù)雜有遮擋的序列,依然能夠表現(xiàn)出較好的跟蹤性能,精確度和成功率在數(shù)值上沒有出現(xiàn)較大的波動,進一步表明本文穩(wěn)定性較高.

表4列出了8種方法在所有具有遮擋屬性序列的平均DP和平均OP,其中排在前3名的依次是ECO、本文和STRCF,對應(yīng)的跟蹤精度曲線和成功率曲線如圖5所示.圖5(a)、圖5(b)兩圖的橫軸分別代表位置誤差閾值和重疊閾值,縱軸均表示符合設(shè)定條件的幀數(shù)占視頻總幀的比重.

表4 8種跟蹤算法平均跟蹤性能比較

圖5 8種跟蹤算法在OTB-100遮擋序列上的精確率和成功率對比

結(jié)合表4和圖5中的曲線圖可以看出,本文提出的方法在跟蹤精確度上與ECO方法相比,下降了9%左右,略優(yōu)于STRCF方法.在跟蹤成功率上,僅次于ECO方法,有4%左右的降低,但優(yōu)于其他6種方法.相比于同樣是使用特征融合進行跟蹤的Staple算法,在跟蹤精確度和成功率上分別提高了7%和9%.與本文的基礎(chǔ)框架fDSST算法相比,精確度和成功率都有較為明顯的提高.綜上所述,表明提出的方法相比于深度學(xué)習(xí)方法,在精確度和成功率上有一定差距,但是多數(shù)情況下,依然展現(xiàn)出了較好的跟蹤效果,可以準確地、穩(wěn)定地跟蹤目標(biāo).相較于針對遮擋的STRCF方法,本文中的遮擋重檢測機制和自適應(yīng)更新機制能夠有效的克服遮擋對模型的影響,對目標(biāo)進行穩(wěn)定地跟蹤.結(jié)合表2和表3來看,與同樣采用多特征融合跟蹤的Staple方法相比,本文方法有效地提高了跟蹤的成功率和精確度.同時雖然本文中的跟蹤濾波器是基于fDSST算法基礎(chǔ)上的改進,但是很大程度上提升了跟蹤性能,為更直觀地展示不同算法的跟蹤效果對比,選擇具有代表性的視頻序列進行可視化,跟蹤效果的對比如圖6所示.

圖6 8種跟蹤方法在部分序列上跟蹤結(jié)果

Basketball序列中目標(biāo)存在遮擋、光照變化和快速運動屬性,在第5幀到第489幀的跟蹤過程中,跟蹤的目標(biāo)快速運動并被不同的干擾目標(biāo)遮擋,部分方法出現(xiàn)了跟蹤漂移,尤其在第661幀時,目標(biāo)被相似干擾物遮擋后,SAMF方法丟失目標(biāo),被相似目標(biāo)吸引,導(dǎo)致跟蹤失敗.本文在該序列目標(biāo)被遮擋且快速移動時,一直能準確地跟蹤目標(biāo),表明本文對于快速運動的遮擋目標(biāo)有跟蹤魯棒性.

在對序列Box的跟蹤時,跟蹤目標(biāo)均存在大面積遮擋和消失的情況,對于Box序列,在目標(biāo)尺度變化和輕微遮擋的情況下(10、321幀),8種方法都能成功地跟蹤到目標(biāo),但當(dāng)目標(biāo)被遮擋的范圍較大和消失時(462、575幀),部分跟蹤器丟失目標(biāo),最終在1161幀時,只有本文和ECO方法準確地跟蹤到目標(biāo).本文的遮擋重檢測機制,在目標(biāo)被大面積遮擋和消失時,擴大搜索區(qū)域并降低模型的學(xué)習(xí)能力,有效地避免了因遮擋目標(biāo)丟失的情況.

Human3序列中存在遮擋和尺度變化的屬性,在第5幀到第100幀的跟蹤過程中,Staple、SRDCF以及fDSST方法由于目標(biāo)被遮擋,學(xué)習(xí)到錯誤的信息更新模型,導(dǎo)致跟蹤漂移.目標(biāo)在持續(xù)運動中(878、1445幀)ECO方法和BACF方法在尺度上均有不同程度的漂移,不能精確地定位目標(biāo)的位置.本文通過當(dāng)目標(biāo)被遮擋時,自適應(yīng)更新目標(biāo)模型的機制,有效地克服了目標(biāo)在非理想狀態(tài)下的更新,保證了模型對目標(biāo)描述的準確性.

Girl2序列中具有完全遮擋以及運動模糊的屬性.在目標(biāo)被遮擋時(123幀),除本文和ECO方法外,其余方法由于逐漸累積更新錯誤的目標(biāo)信息,最后被遮擋物吸引,不能正確地跟蹤目標(biāo).在第260幀到第1500幀的過程中,STRCF方法雖在目標(biāo)被遮擋時,已經(jīng)發(fā)生了嚴重的漂移現(xiàn)象,但是由于目標(biāo)重新運動至其搜索區(qū)域中,最終仍成功跟蹤了目標(biāo),只是這種情況具有一定的偶然性.在對目標(biāo)的整個跟蹤過程中,最終僅有本文與ECO方法能夠?qū)崿F(xiàn)對目標(biāo)穩(wěn)定的跟蹤,其中ECO方法在目標(biāo)被遮擋重現(xiàn)過程中,也發(fā)生了輕度的漂移現(xiàn)象,進一步說明了本文的遮擋重檢測以及自適應(yīng)更新機制,對于遮擋目標(biāo)的跟蹤的魯棒性.

4.2.2 時效性分析

對跟蹤方法的性能評估標(biāo)準除了跟蹤準確性之外,跟蹤的時效性也是一個重要指標(biāo).不同算法的跟蹤速度對比結(jié)果見表5和表6.其中表5展示的是8種方法在部分序列的跟蹤速度,表6則給出了各方法在所有具有遮擋屬性序列的平均跟蹤速度.

表5 不同方法在實驗圖像序列上的跟蹤速度

表6 8種跟蹤算法平均跟蹤速度比較

結(jié)合表2、表3和表5中數(shù)據(jù)可以發(fā)現(xiàn),本文雖然在有些序列上的跟蹤效果略低于其他算法,但是在跟蹤速度上,提出的方法相較其他算法有較為明顯的優(yōu)勢.尤其是ECO算法,其跟蹤速度不能較好地滿足實時性的要求,本文在跟蹤速度上具有較大優(yōu)勢.在表4和表6的數(shù)據(jù)中可以看出,雖然ECO方法在距離準確度和跟蹤成功率上都略優(yōu)于本文,但是其跟蹤速度較慢,跟蹤時效性較差.STRCF方法與本文在精確度和成功率上效果相當(dāng), 但是本研究在跟蹤速度上明顯優(yōu)于該方法.由于本文二次融合特征且加入了遮擋重檢測機制,因此在跟蹤速度上相較fDSST方法和Staple方法有一定的降低,但本文的跟蹤速度可以達到實時效果,并且跟蹤準確率比這兩個方法更高,跟蹤性能更好.

5 結(jié) 論

本文的遮擋判別下自適應(yīng)融合更新的相關(guān)濾波跟蹤算法,主要思想是提取兩種基礎(chǔ)特征進行兩次融合,得到不同種融合特征,選擇最優(yōu)的融合特征去跟蹤目標(biāo),并對跟蹤結(jié)果做出判別和評估.通過遮擋重檢測機制與自適應(yīng)更新策略相結(jié)合,有效的解決了目標(biāo)被遮擋跟丟目標(biāo)的問題和固定學(xué)習(xí)率更新策略的錯誤累積問題,實現(xiàn)對目標(biāo)穩(wěn)定準確的跟蹤.實驗結(jié)果表明,本文兼顧跟蹤精度和跟蹤速度,具有一定的跟蹤魯棒性和較高的跟蹤準確率,尤其在處理遮擋目標(biāo)的跟蹤,跟蹤精確度和成功率分別為0.817和0.767,且跟蹤平均速度為40.1幀/s,能夠滿足實時性的要求.下一步的研究重點為優(yōu)化計算方式,進一步提升算法的跟蹤速度.