響應(yīng)差異約束的相關(guān)濾波無人機目標(biāo)跟蹤算法

王海軍，張圣燕，杜玉杰

(濱州學(xué)院 山東省高校航空信息與控制重點實驗室，山東 濱州 256603)

無人機目標(biāo)跟蹤是計算機視覺領(lǐng)域一項重要的研究課題，在智能安防、森林防火、航空攝影等領(lǐng)域得到了廣泛的應(yīng)用。盡管國內(nèi)外學(xué)者對無人機目標(biāo)跟蹤進(jìn)行了大量研究[1-3]，取得了一系列研究成果，但是由于基于無人機高空平臺對地面小目標(biāo)跟蹤存在角度變化、外觀變化、遮擋、尺度變化等嚴(yán)重影響跟蹤性能的因素，使得設(shè)計一種魯棒的無人機目標(biāo)跟蹤算法仍然是一項充滿挑戰(zhàn)的課題。

近年來，相關(guān)濾波在目標(biāo)跟蹤領(lǐng)域得到了廣泛的應(yīng)用[4-5]，取得了較高的跟蹤速度和較好的跟蹤性能。文獻(xiàn)[6]首先把相關(guān)濾波應(yīng)用到目標(biāo)跟蹤領(lǐng)域，將時域的卷積運算變換為頻域的點積運算，大大提升了跟蹤速度；但是由于該算法采用循環(huán)移位產(chǎn)生的非真實樣本代替實際抽取的樣本，使得算法存在邊界效應(yīng)，導(dǎo)致跟蹤性能不高。為了緩解邊界效應(yīng)的不良影響，文獻(xiàn)[7]提出基于背景感知的相關(guān)濾波跟蹤算法，在擴(kuò)大的搜索區(qū)域中采用真實的候選樣本來訓(xùn)練濾波器；但是該方法同時引入了背景噪聲，在場景雜亂時，容易引起跟蹤漂移。為了解決跟蹤過程目標(biāo)外觀變化等問題，文獻(xiàn)[8]利用歷史幀濾波器作用于當(dāng)前幀訓(xùn)練樣本；但是該方法沒有考慮前后幀之間的響應(yīng)差異，當(dāng)跟蹤目標(biāo)形變較大時，容易跟丟目標(biāo)。為了解決上述問題，筆者提出了一種基于響應(yīng)差異約束的相關(guān)濾波無人機目標(biāo)跟蹤算法，根據(jù)濾波器在幀間變化的一致性，構(gòu)造基于前后幀濾波器作用同一訓(xùn)練樣本的響應(yīng)差異約束機制，學(xué)習(xí)跟蹤目標(biāo)的外觀變化，有效提升了濾波器的魯棒性。同時引入輔助因子，采用交替求解算法進(jìn)行濾波器和輔助因子最優(yōu)解的快速計算。在多個無人機跟蹤視頻庫上仿真實驗表明，新算法能夠有效提升傳統(tǒng)相關(guān)濾波算法在目標(biāo)外觀變化、角度變化等方面的無人機跟蹤性能。

1 傳統(tǒng)相關(guān)濾波跟蹤算法

傳統(tǒng)相關(guān)濾波跟蹤算法中，通過建模相關(guān)響應(yīng)與樣本標(biāo)簽y的均方差，并轉(zhuǎn)換到頻域進(jìn)行快速計算，可以學(xué)習(xí)得到濾波器，從而能夠?qū)⒏櫮繕?biāo)從背景中分離出來。目標(biāo)函數(shù)為

(1)

當(dāng)?shù)趖+1幀視頻到來時，跟蹤目標(biāo)位置可以通過尋找響應(yīng)最大值確定：

(2)

其中，Xt+1表示第t+1幀訓(xùn)練樣本，是以第t幀跟蹤結(jié)果在第t+1幀視頻圖像上選取。

2 響應(yīng)差異約束的相關(guān)濾波跟蹤算法

雖然傳統(tǒng)相關(guān)濾波跟蹤算法在跟蹤速度上具有較大的優(yōu)勢，但是由于無人機跟蹤場景中存在高空視角的遮擋、背景雜亂等嚴(yán)重影響跟蹤性能因素，使得傳統(tǒng)相關(guān)濾波算法跟蹤性能一般。為了有效提升無人機跟蹤算法的性能，文中提出考慮響應(yīng)差異約束的相關(guān)濾波跟蹤算法。圖1給出文中算法的流程圖。基于大多數(shù)視頻跟蹤場景前后連續(xù)幀目標(biāo)的外觀以及位置變化不大，導(dǎo)致前后幀濾波器具有較大的相似性，因此，可以用前后幀濾波器作用于同一訓(xùn)練樣本產(chǎn)生的響應(yīng)差異對跟蹤目標(biāo)的外觀變化進(jìn)行學(xué)習(xí)。文中算法在傳統(tǒng)相關(guān)濾波跟蹤算法的基礎(chǔ)上引入響應(yīng)差約束項，目標(biāo)函數(shù)為

圖1 文中算法的流程圖

(3)

(4)

其中，S=diag(s)，為對角矩陣。為了提高計算效率，根據(jù)帕塞瓦爾定理，式(4)可以變換到頻域進(jìn)行計算：

(5)

其中，⊙表示兩矩陣對應(yīng)元素相乘，F(xiàn)為傅里葉變換矩陣。通過增廣拉格朗日乘子法，式(5)可進(jìn)一步改寫為

(6)

(7)

(8)

(9)

其中，上標(biāo)i和i+1分別表示第i次和第i+1次循環(huán)。

3 實驗結(jié)果

采用Matlab軟件進(jìn)行編程仿真，實驗平臺配置為Window 10操作系統(tǒng)、Intel(R)Xeon(R)CPU E5-2680@2.4 GHz、128 GB內(nèi)存。為了驗證所提算法的優(yōu)越性，在3個無人機視頻庫：DTB70[9]、UAV123@10 fps[10]和UAVDT[11]上與當(dāng)前比較流行的11種算法進(jìn)行對比。11種算法分別為AMCF[12]、BACF[7]、ECO-HC[13]、CSR-DCF[14]、MCCT_H[15]、fDSST[16]、Staple[17]、SRDCF[18]、SAMF[19]、KCF[20]、SAMF_CA[21]。

DTB70數(shù)據(jù)集上含有從無人機平臺上獲取的15 777張圖片組成的70個短視頻。UAV123@10 fps數(shù)據(jù)集中包含123個速度為10 fps的無人機視頻。由于進(jìn)行了人為降速，跟蹤目標(biāo)具有相對較大的形變，實現(xiàn)準(zhǔn)確跟蹤更加困難。UAVDT數(shù)據(jù)集含有50個高空無人機視角的短視頻，特別是夜晚和大霧場景下視頻較多，嚴(yán)重影響算法的跟蹤性能。無人機視頻通常具有以下幾種不同挑戰(zhàn)性因素：寬高比變化(Aspect Ratio Variation，ARV)、背景雜亂(Background Clutter，BC)、形變(DEFormation，DEF)、相機快速運動(Fast Camera Motion，F(xiàn)CM)、平面內(nèi)旋轉(zhuǎn)(In Plane Rotation，IPR)、運動模糊(Motion Blur，MB)、遮擋(OCClusion，OCC)、平面外旋轉(zhuǎn)(Out of Plane Rotation，OPR)、視野外(Out of View，OV)、尺度變化(Scale Variation，SV)、相似物體干擾(Similar Objects Around，SOA)、完全遮擋(Full OCclusion，F(xiàn)OC)、部分遮擋(Partial OCclusion，POC)、快速運動(Fast Motion，F(xiàn)M)、光照變化(Illumination Variation，IV)、視角變化(Viewpoint Change，VC)、長程跟蹤(Long Term Tracking，LTT)等。實驗采用準(zhǔn)確度和跟蹤成功率兩個指標(biāo)對跟蹤結(jié)果進(jìn)行評價。準(zhǔn)確度表示所有視頻中采用算法估計的跟蹤目標(biāo)位置與人工標(biāo)注的位置之間的差值小于20個像素的比值。跟蹤成功率表示所有視頻中計算得到的覆蓋率大于0.5的比率，其中覆蓋率為G0∩G1/G0∪G1，G0為人工標(biāo)注的跟蹤目標(biāo)覆蓋框的范圍，G1為采用算法估計的跟蹤目標(biāo)覆蓋框的范圍。

3.1 定量對比

圖2給出文中算法與11種當(dāng)前比較流行的算法分別在DTB70、UAV123@10 fps、UAVDT等無人機數(shù)據(jù)庫上的跟蹤性能對比。

圖2 不同算法分別DTB70、UAV123@10 fps、UAVDT無人機數(shù)據(jù)庫上跟蹤準(zhǔn)確度和成功率對比

從圖中可以看出，在跟蹤準(zhǔn)確度和跟蹤成功率兩個指標(biāo)上，文中所提算法在所有3個無人機視頻庫上都取得了第一名的成績。在DTB70數(shù)據(jù)庫上，相比基礎(chǔ)相關(guān)濾波算法KCF，文中算法在跟蹤準(zhǔn)確度和跟蹤覆蓋率上分別改善了19.4%和18.3%。在UAV123@10 fps數(shù)據(jù)庫上，由于降采樣導(dǎo)致部分中間圖像缺失，前后幀目標(biāo)外觀變化相對較大，給無人機對地目標(biāo)跟蹤帶來了極大的挑戰(zhàn)。但是文中算法由于采用前后幀濾波器作用于同一樣本產(chǎn)生的響應(yīng)差異對模型進(jìn)行約束，能夠較好地學(xué)習(xí)到目標(biāo)形變，因此在UAV123@10 fps數(shù)據(jù)庫上的跟蹤性能在對比算法中仍然是最優(yōu)的。在UAVDT數(shù)據(jù)庫中，由于包含較多的能見度不高的視頻，給算法進(jìn)行準(zhǔn)確跟蹤帶來了較大的困難。文中算法分別以0.734和0.467在跟蹤準(zhǔn)確度和跟蹤成功率兩個指標(biāo)上取得了最佳的跟蹤效果。CSR-DCF雖然在DTB70和UAV123@10 fps兩個數(shù)據(jù)庫跟蹤準(zhǔn)確度指標(biāo)上取得了第二名的成績，但是在UAVDT數(shù)據(jù)庫上只取得了第五名。相比文中算法在所有3個數(shù)據(jù)庫兩個不同指標(biāo)上的成績，表明文中算法具有較好的泛化性。

圖3為跟蹤性能較好的5種算法分別在DTB70、UAV123@10 fps、UAVDT無人機數(shù)據(jù)庫上不同屬性上跟蹤成功率對比。從中可以看出，幾乎在所有的挑戰(zhàn)性屬性上，文中算法都取得了相對較好的成績。

圖3 不同算法分別在DTB70、UAV123@10 fps、UAVDT無人機數(shù)據(jù)庫上不同屬性上跟蹤成功率對比

3.2 定性對比

圖4為不同算法分別在DTB70、UAV123@10 fps、UAVDT等無人機數(shù)據(jù)庫上代表性視頻跟蹤結(jié)果對比。

圖4(a)和4(b)分別為DTB70數(shù)據(jù)庫中g(shù)ull和soccer1視頻的跟蹤結(jié)果。gull視頻中，海鷗在深藍(lán)色大海上空飛行，目標(biāo)海鷗顏色與藍(lán)天和海水顏色非常接近，同時海鷗不斷改變飛行姿態(tài)，具有較大的形變。從第235幀圖像中可以看出，對比的其他4種跟蹤算法都偏離目標(biāo)，只有文中算法能夠較好學(xué)習(xí)目標(biāo)變化，從而實現(xiàn)準(zhǔn)確的跟蹤。soccer1視頻中，遠(yuǎn)處目標(biāo)人物旁邊存在一位外觀非常接近的人物干擾，從跟蹤結(jié)果上看，除CSR-DCF偏移到干擾人物上，其他算法都能排除干擾，實現(xiàn)魯棒跟蹤。

圖4(c)和4(d)分別為UAV123@10 fps數(shù)據(jù)庫中wakeboard 7和group2_2視頻的跟蹤結(jié)果。wakeboard 7視頻中，沖浪運動員在游艇的牽引下快速移動，同時由于視角變化，存在較大的形變。從第67幀視頻可以看出，SRDCF、MCCT_H、CSR-DCF和ECO-HC 4種算法都偏離目標(biāo)，文中算法能夠通過學(xué)習(xí)響應(yīng)變化，從而實現(xiàn)準(zhǔn)確定位目標(biāo)人物。group2_2視頻中，目標(biāo)人物與沙灘顏色比較接近，同時在第472幀視頻中存在嚴(yán)重的遮擋，從第582幀視頻中可以看出，SRDCF和MCCT_H都跟丟了目標(biāo)。

圖4(e)和4(f)分別為UAVDT數(shù)據(jù)庫中S1001和S1301跟蹤結(jié)果對比。S1001視頻中不但有背景樹木雜亂干擾，也有其他相似車輛的干擾。從結(jié)果上來看，只有筆者提出的算法能夠同時不受背景雜亂、相似物體的干擾，準(zhǔn)確地獲得目標(biāo)特征，從而實現(xiàn)穩(wěn)定的目標(biāo)位置定位。S1301視頻中，目標(biāo)車輛是黑色的，同時由于是在晚上，比較難獲得目標(biāo)車輛的外觀特征，所以CSR-DCF算法跟丟了目標(biāo)車輛，其他4種算法都實現(xiàn)了穩(wěn)定的跟蹤。

(a)gull

4 結(jié)束語

筆者提出了一種基于響應(yīng)差異約束的相關(guān)濾波無人機平臺對地目標(biāo)跟蹤算法。根據(jù)大多數(shù)場景中，前后幀間目標(biāo)位置變化較小，導(dǎo)致濾波器在幀間變化存在一致性，從而使前后幀濾波器作用同一訓(xùn)練樣本的響應(yīng)差異不大，因此能夠建立約束機制學(xué)習(xí)跟蹤目標(biāo)的外觀變化，大大提升了算法的魯棒性。同時通過引入輔助變量，對濾波器和輔助變量采用交替求解算法進(jìn)行最優(yōu)解的快速計算。在3個無人機視頻庫(DTB70、UAV123@10 fps和UAVDT)仿真實驗表明，與其他主流算法相比，新算法在無人機視頻存在的目標(biāo)外觀變化、背景雜亂等干擾屬性方面具有較好的跟蹤性能。