融合多特征的時空正則化相關(guān)濾波無人機(jī)跟蹤

張 微

(寶雞文理學(xué)院計(jì)算機(jī)學(xué)院，陜西 寶雞 721000)

0 引言

視覺目標(biāo)跟蹤在許多領(lǐng)域均有非常廣泛的應(yīng)用，特別是各種類型的無人機(jī)(UAV)應(yīng)用，如空中監(jiān)控、基礎(chǔ)設(shè)施巡邏、空對空加油和精確著陸等[1-2]。盡管大量視覺跟蹤方法已被設(shè)計(jì)用于無人機(jī)[3-5]，但受視角變化、目標(biāo)外觀變化、部分或全部遮擋、快速運(yùn)動、圖像分辨率低及背景雜亂等因素影響，魯棒和精確的無人機(jī)跟蹤仍面臨巨大的挑戰(zhàn)。

近年來，基于相關(guān)濾波的目標(biāo)跟蹤方法(CFTs)和基于深度學(xué)習(xí)的目標(biāo)跟蹤方法得到了研究者們越來越多的關(guān)注[6-12]。2010年，文獻(xiàn)[6]提出一種相關(guān)濾波器(MOSSE濾波器)用于目標(biāo)跟蹤，該方法在當(dāng)時達(dá)到了領(lǐng)先的速度(669 幀/s)?；贛OSSE濾波器的基本框架，研究者們通過引入核方法[7]、多通道形式[8]、尺度估計(jì)[9-10]、有效特征[11-12]等不同改進(jìn)形式，使CFTs的跟蹤性能得到不同程度的提升。此類方法不僅通過循環(huán)平移操作進(jìn)行密集采樣，增加了訓(xùn)練樣本的多樣性，還利用快速傅里葉變換將復(fù)雜的卷積操作轉(zhuǎn)化為頻域中元素間的乘法運(yùn)算，減小了計(jì)算量，提高了求解效率。目標(biāo)的空間和時間信息為跟蹤任務(wù)提供關(guān)鍵的輔助線索。為緩解訓(xùn)練樣本周期性假設(shè)帶來的邊界效應(yīng)，文獻(xiàn)[13]提出一種空間正則化相關(guān)濾波跟蹤方法(SRDCF)；通過對跟蹤過程中的目標(biāo)及其背景進(jìn)行有效建模，文獻(xiàn)[14]提出一種背景感知的相關(guān)濾波跟蹤方法(BACF)；文獻(xiàn)[15]將一種時間正則化項(xiàng)引入SRDCF，提出一種時空正則化相關(guān)濾波器(STRCF)，用于目標(biāo)跟蹤；文獻(xiàn)[16-17]將不同類型特征融合，通過選擇具有判別力的特征或特征融合方式，進(jìn)一步提升跟蹤性能，分別提出一種基于相關(guān)濾波的多視圖模型(MvCFT)和一種多線索相關(guān)濾波跟蹤方法(MCCT)?？紤]到無人機(jī)的功率容量和計(jì)算資源的限制，相比于基于深度學(xué)習(xí)的目標(biāo)跟蹤方法，CFTs在傅里葉域計(jì)算的高效性使其具有更顯著的優(yōu)勢。文獻(xiàn)[4]將多種特征引入BACF，提出一種基于在線多特征學(xué)習(xí)的無人機(jī)跟蹤方法(OMFL)；文獻(xiàn)[5]充分利用局部-全局響應(yīng)的變化，提出一種自動時空正則化框架(AutoTrack)，用于無人機(jī)跟蹤。

雖然上述CFTs在跟蹤精度和速度上均取得較好的結(jié)果，但是這些方法在目標(biāo)外觀表示多樣性和位置定位精度方面仍有待提升。為解決這一問題，本文在STRCF的基礎(chǔ)上提出了一種融合多特征的時空正則化相關(guān)濾波跟蹤方法，并用于無人機(jī)跟蹤。首先，將譜殘差顯著性(Spectral Residual Saliency)[18]引入時空正則化相關(guān)濾波跟蹤框架，與灰度(Gray)、顏色(CN)和梯度方向直方圖(HOG)特征結(jié)合，用于提高目標(biāo)外觀表示的多樣性。其次，利用峰值旁瓣比(PSR)衡量相關(guān)響應(yīng)圖的峰值強(qiáng)度，評估不同特征權(quán)重，提出一種多特征加權(quán)融合策略，進(jìn)一步提升目標(biāo)定位精度。最后，在公共數(shù)據(jù)集UAV123@10FPS[3]上，對123個具有挑戰(zhàn)性的無人機(jī)視頻序列進(jìn)行定性和定量實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，相比于12種經(jīng)典跟蹤器，本文方法在精確度和成功率上均取得較好的結(jié)果，具有良好的跟蹤性能。

1 多特征時空正則化相關(guān)濾波跟蹤框架

1.1 時空正則化相關(guān)濾波器

(1)

式(1)通過交替方向乘子法(ADMM)求得全局最優(yōu)解。首先，引入輔助變量g，且f=g，得到式(1)的增廣拉格朗日形式為

(2)

(3)

對子問題f,g分別求解得到

(4)

g=(WTW+γI)-1(γf+γh)

(5)

γ(i+1)=min(γmax,ργ(i))

(6)

式中：γmax表示γ的最大值；ρ表示尺度因子。詳細(xì)求解過程參見文獻(xiàn)[15]。

1.2 顯著性特征

顯著性即目標(biāo)本身比背景更引人注目的特性，常用于目標(biāo)檢測。受文獻(xiàn)[18]啟發(fā)，本文提取跟蹤過程中目標(biāo)的顯著性特征用于STRCF,以提升跟蹤性能。

(7)

(8)

(9)

(10)

(11)

本文實(shí)驗(yàn)中n取值3。

(12)

1.3 多特征融合策略

在具有多種挑戰(zhàn)性因素的跟蹤序列中，目標(biāo)易受外觀變化、視角變化、遮擋、背景雜亂等因素影響，因而僅利用單一特征表達(dá)目標(biāo)信息實(shí)現(xiàn)準(zhǔn)確跟蹤是不夠的。為了提高跟蹤性能，本文設(shè)計(jì)了一種簡單有效的特征融合策略。

將4種不同特征Gray，HOG，CN和Saliency特征分別用符號,,和表示。給定圖像幀(k)和基跟蹤器，可以分別得到每種特征的相關(guān)響應(yīng)圖，即

(13)

式中，特征池f′包含上述4種特征，記為f′∈{,,,}。

Rfi′=αfi′rfi′

(14)

式中，特征池f′中第i種特征的歸一化權(quán)重為αfi′，其算式為

(15)

(16)

式中，max(·),μ(·)和σ(·)分別計(jì)算響應(yīng)圖rfi′的最大值、均值和標(biāo)準(zhǔn)差。

受跟蹤過程中各種復(fù)雜因素影響，僅利用單一特征計(jì)算獲得的相關(guān)響應(yīng)圖可能包含噪聲信息。為了濾除噪聲，提高響應(yīng)圖置信度，本文將4種特征進(jìn)行兩兩組合，可以得到6種不同的結(jié)果，組合結(jié)果表示為O∈{,,,,,}，該特征組合將2種特征的相關(guān)響應(yīng)圖進(jìn)行融合，以提高噪聲濾波的精度和自適應(yīng)性，上述策略被用于不同特征組合RO中，即

(17)

(18)

式中，M為特征組合O中包含的組合數(shù)目。第j種組合的歸一化權(quán)重βOj算式為

(19)

因此，最終融合響應(yīng)圖的最大值即為檢測結(jié)果。

1.4 本文算法流程

融合多特征的時空正則化相關(guān)濾波跟蹤算法如下。

輸入為第k-1幀的目標(biāo)位置；輸出為第k幀的估計(jì)目標(biāo)位置。從k=2開始重復(fù)以下步驟：

1) 以第k-1幀的目標(biāo)位置為中心在第k幀中提取圖像塊；

2) 在該圖像塊上分別提取Gray，HOG，CN和Saliency這4種不同特征；

3) 利用式(13)計(jì)算每一種特征i的相關(guān)響應(yīng)圖；

5) 利用式(17)將所有特征組合響應(yīng)圖進(jìn)行融合；

6) 利用式(18)和式(19)計(jì)算最終融合響應(yīng)圖Q；

7) 通過在最終融合響應(yīng)圖Q中搜索最大值估計(jì)目標(biāo)在第k幀的位置；

8) 使用式(3)和式(6)分別對每種特征i對應(yīng)的時空正則化模型進(jìn)行更新；

9) 重復(fù)直至視頻序列最后一幀。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

2.1.1 實(shí)驗(yàn)環(huán)境

本文方法實(shí)驗(yàn)采用Matlab實(shí)現(xiàn)，在16 GiB 內(nèi)存，配置Intel?CoreTMi7-7700 CPU的計(jì)算機(jī)上運(yùn)行。

2.1.2 參數(shù)設(shè)置

對于ADMM法，時間正則化參數(shù)μ=16，初始化步長參數(shù)γ(0)=10，步長參數(shù)的最大值γmax=100，尺度因子ρ=1.2，ADMM法的迭代次數(shù)設(shè)為2。對于顯著性特征參數(shù)，參見文獻(xiàn)[18]。

2.1.3 數(shù)據(jù)集

本文方法在公共無人機(jī)數(shù)據(jù)集UAV123@10FPS[3]上進(jìn)行跟蹤性能評估,該數(shù)據(jù)集包含123段挑戰(zhàn)性UAV視頻序列(共37 885幀)。

2.2 評估方法

為分析和評估各類跟蹤算法的性能，本文采用一次性通過評估(OPE)，以精確度(DP)和成功率曲線下面積(AUC)作為主要評價標(biāo)準(zhǔn)，詳情可參見文獻(xiàn)[19]。

2.3 跟蹤性能評估

2.3.1 總體性能分析

本文方法與OMFL[4]，AutoTrack[5]，KCF[8]，SAMF[10]，SRDCF[13]，BACF[14]，STRCF[15]，MCCT_H[17]，MEEM[20]，MUSTER[21]，Struck[22]和TLD[23]這12種經(jīng)典跟蹤器進(jìn)行總體性能分析。

圖1給出所有跟蹤器在123段UAV視頻序列上的精確度曲線圖和成功率曲線圖。

圖1 所有跟蹤器在123段UAV視頻序列上的精確度和成功率曲線圖Fig.1 Precision and success rate plots of all trackers on 123 UAV sequences

在所有精確度曲線圖中，所有跟蹤器在中心位置誤差(CLE)閾值為20像素時的距離精度分別為0.681(本文方法)，0.671(AutoTrack)，0.655(OMFL)，0.627(STRCF)，0.596(MCCT_H)，0.584(MEEM)，0.575(SRDCF)，0.572(BACF)，0.526(MUSTER)，0.509(Struck)，0.465(SAMF)，0.415(TLD)和0.406(KCF)。同樣地，在成功率曲線圖中，所有跟蹤器的成功率AUC值分別為0.489(本文方法)，0.477(AutoTrack)，0.459(OMFL)，0.657(STRCF)，0.433(MCCT_H)，0.423(SRDCF)，0.413(BACF)，0.380(MEEM)，0.371(MUSTER)，0.347(Struck)，0.326(SAMF)，0.286(TLD)和0.265(KCF)。從上述結(jié)果可以看出，相比于其他12種經(jīng)典跟蹤器，本文方法在精確度和成功率曲線下面積上均排名第一。

2.3.2 屬性性能分析

除總體性能分析，圖2和圖3分別給出本文方法與12種跟蹤器在123段UAV視頻序列上不同屬性的精確度曲線圖和成功率曲線圖。12種不同屬性分別為尺度變化(SV)、部分遮擋(POC)、攝像機(jī)運(yùn)動(CM)、縱橫比改變(ARC)、視角變化(VC)、低分辨率(LR)、相似目標(biāo)(SOB)、全部遮擋(FOC)、光照變化(IV)、移出視野(OV)、快速運(yùn)動(FM)、背景雜亂(BC)，屬性順序按照與每種屬性相對應(yīng)的視頻數(shù)目降序排列。

圖2 所有跟蹤器在123段UAV視頻序列上不同屬性的精確度曲線圖Fig.2 Precision plot of different attributes of all trackers on 123 UAV sequences

圖3 所有跟蹤器在123段UAV視頻序列上不同屬性的成功率曲線圖Fig.3 Success rate plots of different attributes of all trackers on 123 UAV sequences

在所有精確度曲線圖中，本文方法在12種屬性中的11種屬性上取得了最優(yōu)結(jié)果，僅在快速運(yùn)動屬性上取得了次優(yōu)結(jié)果。相比于次優(yōu)方法，本文方法在11種屬性上的精確度分別得到了不同程度的提升。具體地，根據(jù)圖2的屬性順序依次為1.1%(SV),4.5%(POC),1.7%(CM),0.9%(ARC),1.5%(VC),3.1%(LR),3.5%(SOB),5.4%(FOC),1.9%(IV),4.8%(OV),3.9%(BC)。在所有屬性中，部分遮擋、全部遮擋及移出視野屬性上的跟蹤性能提升尤為顯著。

在所有成功率曲線圖中，除了快速運(yùn)動屬性，本文方法在其他11種屬性上均取得了最優(yōu)結(jié)果。相比于次優(yōu)方法，本文方法在11種屬性上的成功率分別得到了不同程度的提升。具體地，根據(jù)圖3的屬性順序依次為1.2%(SV),2.4%(POC),1.9%(CM),1.6%(ARC),3.1%(VC),0.3%(LR),3.0%(SOB),3.1%(FOC),2.1%(IV),2.5%(OV),3.3%(BC)。屬性順序同圖2。在所有屬性中，視角變化、全部遮擋及背景雜亂屬性上的跟蹤性能提升尤為顯著。

2.4 跟蹤結(jié)果比較

為了進(jìn)一步驗(yàn)證本文方法的跟蹤性能，圖4給出本文方法與其他12種經(jīng)典跟蹤器在4組挑戰(zhàn)性序列上的跟蹤結(jié)果。表1給出所選取視頻序列的總幀數(shù)及所包含的屬性。從圖4中可以觀察到，本文方法相比于其他12種跟蹤器在這些序列中取得了較好的跟蹤結(jié)果。

表1 典型UAV視頻序列Table 1 Typical UAV sequences

圖4 所有跟蹤器在4組挑戰(zhàn)UAV視頻序列上的跟蹤結(jié)果比較Fig.4 Comparison of tracking results of all trackers on four challenge UAV sequences

2.5 跟蹤速度比較

圖5給出所有跟蹤器在123段UAV視頻序列上的跟蹤速度比較。從圖5中看出，本文方法的跟蹤速度(11.9 幀/s)在所有跟蹤器中排名第8，其速度大于10 幀/s，能夠滿足在UAV跟蹤任務(wù)中的實(shí)時性能要求，且其速度優(yōu)于多線索跟蹤器(MCCT_H)的10.1 幀/s。

圖5 所有跟蹤器在123段UAV視頻序列上的跟蹤速度比較結(jié)果Fig.5 Comparison results of tracking speed of all trackers on 123 UAV sequences

3 結(jié)論

本文提出了一種融合多特征的時空正則化相關(guān)濾波無人機(jī)跟蹤方法。通過采用不同特征提高時空正則化相關(guān)濾波目標(biāo)特征表示的多樣性，并利用峰值旁瓣比衡量不同特征響應(yīng)圖峰值強(qiáng)度，通過加權(quán)后特征組合進(jìn)行降噪，最終加權(quán)融合提升目標(biāo)定位精度，實(shí)現(xiàn)無人機(jī)復(fù)雜場景下目標(biāo)的穩(wěn)定跟蹤，并通過公共無人機(jī)數(shù)據(jù)集上的仿真實(shí)驗(yàn)驗(yàn)證了本文方法的有效性。下一步將引入重檢測策略，進(jìn)一步提升目標(biāo)定位精度。