特征融合和多峰檢測的無人機目標跟蹤

許甲云，林淑彬

（閩南師范大學計算機學院，福建漳州363000）

隨著目標跟蹤在計算機視覺[1]領域取得的巨大成功，研究人員開始將目標跟蹤應用于無人機的目標跟蹤領域[2-3].無人機(Unmanned Aerial Vehicle，UAV)由于其自由靈活的飛行方式以及其活動范圍廣、空間限制較小的特點，廣泛應用于災難救援、環(huán)境監(jiān)測、電力巡檢、人群監(jiān)測等領域.在對圖像或視頻進行目標跟蹤時，由于運動目標的正確檢測與分割受到外觀遮擋、光照等因素的影響，無人機目標跟蹤具有很大的挑戰(zhàn)性[4].

在目標跟蹤的過程中，特征向量對目標跟蹤的精度與成敗起著決定性作用.Danelljan 等[5]利用顏色特征描述目標的外觀，對目標進行實時跟蹤.多通道和多特征的結合可以準確地描述目標對象，為了提高目標跟蹤的效果，融合目標對象的多種特征與自適應尺度并應用于目標跟蹤任務中[6-7].Wang 等[8]提出無人機跟蹤的自適應采樣，采用邊框方案和隨機樣本進行目標跟蹤.Fu 等[9-10]提出在線多特征學習基于相關濾波的無人機在線多特征學習，并提出邊界效應視覺跟蹤器算法，解決無人機目標跟蹤的邊界效應問題.Huang 等[11]提出畸變抑制相關濾波器在解決邊界效應的同時有效抑制畸變的跟蹤方法，并引入裁剪矩陣和正則項來擴大搜索區(qū)域和抑制變異的新型跟蹤方法.Li等[12-13]提出增強記憶的相關濾波器算法，提高濾波器的識別能力；進一步提出采用自動時空正則化，并在實際應用中驗證該算法的有效性和通用性.

但是，在低空無人機目標跟蹤這一個領域，依然存在機遇與挑戰(zhàn).除了如圖像運動模糊、目標形變、外觀遮擋、尺度變化等已經(jīng)存在的傳統(tǒng)的目標跟蹤問題，由于無人機飛行高度和飛行姿態(tài)不穩(wěn)定等因素影響，獲得的圖像畫面小，分辨率不高，使目標跟蹤具有更大的困難和挑戰(zhàn)性.多特征的融合增強了算法的表達能力，但融合后也將伴隨著相似物體或背景噪聲響應的產(chǎn)生，跟蹤目標發(fā)生漂移、丟失或失敗等現(xiàn)象.

針對上述存在的這些問題，提出基于特征融合和多峰檢測的無人機目標跟蹤算法(Feature Fusion and Multi-Peak Detection in UAV Object Tracking，F(xiàn)FMPD).首先，顏色矩特征可以保留目標局部區(qū)域的位置信息；顏色直方圖作為全局特征，不受目標形狀、姿態(tài)等變化的影響.分別提取目標的方向梯度直方圖(Histogram of Oriented Gradients，HOG)特征和顏色矩特征，并訓練各自的濾波器模型.對兩個特征進行加權，形成融合特征.根據(jù)融合后目標響應的可靠性對相關濾波器的學習速率進行動態(tài)調(diào)整.其次，在跟蹤目標中心位置附近的圖像塊提取特征，采用多峰值檢測方法，防止由于相似目標物體或背景噪聲引起的模型漂移.最后，利用高置信度的反饋進行更新濾波器模型，避免目標跟蹤模型的損壞.在UAV123[14]和Vis-Drone2019[15-16]測試數(shù)據(jù)集上進行實驗，該算法具有更好的精度和魯棒性.

1 相關濾波器

在某時刻，兩個不同波的幅度及頻率相接近，將會發(fā)生共振現(xiàn)象.在視頻序列的相關運算中，這種圖像信號可以近似當成一個波形圖，用此方法來判斷它們的相似度性.相關運算中其一維的計算公式：

式(1)中，x是位移變量，和是運算函數(shù)，c(x)表示在其定義域的相似程度.從時域空間變換到頻域進行簡化、轉換后表示為式(2)：

式(2)中，*表示相關系運算，G(t)分別表示g(t)的傅里葉變換F(t+x)則分別表示f(t+x)的傅里葉變換.通過計算相關濾波器模型h 與輸入圖像f 間的相關程度，獲得響應值g，當模型作用在目標位置時，獲得最大的響應值.則可表示為：

在計算時，利用傅里葉變換，提高計算速度，減小復雜度，將相關運算從時域轉換到頻域.

以輸入圖像的目標位置區(qū)域為中心進行采樣，獲得圖像塊P 并提取特征f，并作為訓練樣本m.為找到最優(yōu)的濾波器h，樣本訓練是使輸入樣本和需要輸出之間平方誤差最小.通過最小化均方差求得：

其中，g 表示訓練樣本m 的期望輸出，τ 表示正則化參數(shù)，訓練樣本特征f 共有d 維，是為其中的第l 維，l∈{1 ,…,d}.為了計算的簡便，在第t幀時，將公式更新為：

其中，濾波器模型更新的學習率表示為η.在完成最優(yōu)濾波器模型的訓練之后，進行檢測目標，得到下一幀的候選樣本z，計算濾波器與z之間的相關性，結果為y：

y取得的最大值時，新的目標位置即可確定.

2 特征的提取

為了解決無人機跟蹤因遮擋、尺度變化而引起的跟蹤丟失的問題，在利用相關濾波器算法的基礎上，對HOG 特征、顏色矩特征進行融合，同時采用多峰檢測算法，在無人機跟蹤目標發(fā)生偏離時，能自動進行更新，達到優(yōu)化目標跟蹤算法的目的.

2.1 HOG特征

HOG 特征大多應用于計算機視覺、模式識別領域中的一種描述圖像局部信息紋理的特征，可以忽略梯度所在的位置，得到的特征比較豐富.方向梯度特征是局部特征，方向的分布在邊緣的具體位置未知的情況下，也可以較好處理小目標的形態(tài)變化和光線引起的問題.

2.2 顏色矩特征

M.Stricker 等[17]提出了一種描述圖像區(qū)域內(nèi)所對應場景表面信息的顏色矩(Color Moments，CM)特征表示方法.顏色矩特征是全局特征，使用顏色的低階矩陣足以表達圖像的顏色分布.

其中，μi，σi，Si分別表示一、二、三階矩，pi,j表示圖像i顏色通道中灰度像素為j的概率，N為像素個數(shù).RGB 圖像的3 個顏色分量3 個低階矩陣組成一個直方圖向量，圖像的顏色矩特征表示為：

2.3 多峰目標檢測

以目標y=f(s;w)為中心的圖像塊的所有循環(huán)移位都被視為訓練樣本，其中s 為在當前幀中以前一幀目標位置為中心的區(qū)域，即Y={(w,h)|w∈{0 ,…,W?1} ,h∈{0 ,…,H?1}}，其中w和h分別為圖像塊的寬度和高度.利用快速傅里葉變換算法學習的模型可以加速這一過程，得到了對所有循環(huán)變換的完整檢測響應映射：

式中＾和F?1表示離散傅里葉變換和它的逆變換，°表示element-wise 乘法，?表示共軛，目標的定位是在響應圖的最高點進行估計，將其定義為單峰檢測.部分的訓練樣本可能會污染學習模型，位于相似目標或背景噪聲處的峰值可能接近甚至超過目標處的峰值.為了提高定位精度，利用單峰檢測響應圖F(s,y;w)，提出一種多峰檢測方法.

式中B是與F(s,y;w)相同大小的二元矩陣.當次高峰值與最高峰值的比值大于預先定義的閾值時，利用式(13)重新檢測峰值中心的圖像塊.最終確定目標并在響應圖中的最大值進行定位.

2.4 高置信度更新

現(xiàn)有的跟蹤器通常在每一幀更新跟蹤模型，而不考慮檢測是否準確，這可能會導致確定性失敗.因此，文中探討兩種反饋機制：第一個指標是響應圖F(s,y;w)的最大響應值Fmax：

第二個置信度指標是平均峰值相關能量(average peak-to correlation energy，APCE)，公式為：

式中Fmax、Fmin和Fw,h分別表示F(s,y;w)的最大值、最小值和第w 行h 列的元素.APCE 表示響應映射的波動程度和檢測目標的置信水平.

當前幀的APCE 和Fmax都大于各自的歷史平均值時，則認為當前幀的跟蹤結果是高置信度的.該跟蹤模型將在線進行更新，學習速率參數(shù)η

當目標被嚴重遮擋時，即響應圖波動劇烈，APCE 下降到10 左右，而Fmax仍然很大.在這種情況下的更新策略將不更新濾波器跟蹤模型，跟蹤模型就不會被破壞，且可以在后續(xù)幀中成功跟蹤.

3 目標跟蹤算法

首先在分別提取顏色矩特征和HOG 特征后，進行歸一化處理，單獨訓練相關分類器，得到的響應值最大的位置作為相應的跟蹤結果，再根據(jù)響應值的大小對兩種特征各自的權重進行加權融合.在數(shù)學上如公式(22)所示：

其中，δ=[0,1].然后，在目標位置四周采集樣本圖像塊，對融合后的響應的圖像塊進行多模態(tài)處理，同時，對樣本圖像塊采用尺度搜索策略，對其進行可信度的更新處理.根據(jù)Fmax和APCE 的關系進行更新濾波器，算法步驟表示為：

算法1 FFMPD 跟蹤算法

輸入：第i(i≥2)幀視頻Vi；上一幀的目標位置Pi-1及尺度si-1

輸出：檢測出跟蹤序列的最大響應位置Pi及尺度si；

返回視頻系列的目標位置.

根據(jù)視頻序列給出的在第一幀中的目標位置，使用跟蹤算法在后續(xù)幀中尋找并獲得新的目標位置.FFMPD 跟蹤算法如圖1所示.

圖1 FFMPD跟蹤流程圖Fig.1 Tracking flow chart of the FFMDT algorithm

4 實驗結果與分析

為驗證FFMPD 算法的有效性，所有數(shù)據(jù)結果都在i7-8700K 處理器3.7GHz、16GB RAM、ΝVIDIA GTX 1660Ti GPU 的筆記本電腦上采用無人機公開數(shù)據(jù)集UAV123 和VisDrone2019 進行跟蹤性能評估實驗.

4.1 UAV123 數(shù)據(jù)集實驗分析

UAV123 的數(shù)據(jù)集是專門場景的數(shù)據(jù)集，用無人機拍攝，特點是背景干凈、視角變化較多，包含123個視頻.在UAV123 數(shù)據(jù)集上與SRDCF[18]、BACF[19]、AMCF[12]、MCCT-H[20]、OMFL[9]、BEVT[10]、AutoTrack[13]、CSK[21]、ARCF[11]等九個跟蹤算法進行對比.FFMPD 算法在一次通過的精度和成功率對比結果如圖2所示中，都取得很好的結果，分別為74.1%和52.5%.所選的對比算法中，主要是DCF 和基于深度的跟蹤器算法，都具有一定的代表性.與這些方法進行比較更能驗證FFMPD 算法的有效性.FFMPD 跟蹤器利用HOG 特征和CM 特征的優(yōu)點，進行融合后采用多峰檢測和高置信度自動更新，有效地解決特征融合后的定位問題.使用的顏色矩特征的低階矩陣，可以滿足無人機的輕量化運算和快速運動的要求.

圖2 在UAV123 數(shù)據(jù)集上的精度和成功率Fig.2 Precision and success plots on the UAV123 Dataset

在圖3顯示FFMPD 跟蹤算法在攝像機抖動、完全遮擋、部分遮擋、尺度變化等屬性上都具有較好的性能.這也驗證了FFMPD 算法的多峰檢測與高置信度，可以較好的解決跟蹤目標因遮擋等問題，同時使用了目標尺度自適應，能夠很好地檢測目標位置，增強算法的魯棒性.說明采用特征提取并進行融合更新濾波器的方法，可以較好處理小目標的形態(tài)變化以及光照帶來的問題.表1、表2中，加粗字體的為性能最優(yōu)，下劃線字體的為性能次優(yōu)，F(xiàn)FMPD 算法與其他跟蹤器相比，顯示在縱橫比變化和快速運動等屬性，取得明顯較高的性能.在低分辨率屬性上表現(xiàn)略好，可能是因為在進行多峰檢測時，響應圖的尖峰表現(xiàn)不佳.

表1UAV123數(shù)據(jù)集的AUC比較結果Tab.1 AUC comparison results for the UAV123 Dataset

表2在UAV123 數(shù)據(jù)集8種屬性的精度評價指標Tab.2 The precision evaluation index of eight attributes on the UAV123 Dataset

圖3 在UAV123 數(shù)據(jù)集上CM等屬性的精度和成功率Fig.3 Precision and success plots of of CM and other attributes on the UAV123 Dataset

4.2 VisDrone2019 數(shù)據(jù)集實驗分析

VisDrone2019 數(shù)據(jù)集由天津大學機器學習與數(shù)據(jù)挖掘實驗室AISKYEYE 隊伍負責收集，基準數(shù)據(jù)集由無人機捕獲，包括288 個視頻片段，視頻含有兩百多萬個常用目標.在VisDrone2019 數(shù)據(jù)集上與SRDCF[18]、OMFL[9]、ARCF[11]、MCCT-H[20]、AMCF[12]、BACF[19]、CSK[21]、AutoTrack[13]、BEVT[10]等九個跟蹤算法進行對比.FFMPD 算法在一次通過的精度和成功率對比結果如圖4所示中，都取得很好的結果，分別為83.5%和73.0%.

圖4 在VisDrone2019 數(shù)據(jù)集上的精度和成功率Fig.4 Precision and success plots on the VisDrone2019 Dataset

在表3、表4中，加粗字體的為性能最優(yōu)，下劃線字體的為性能次優(yōu).FFMPD 算法在低分辨率屬性上表現(xiàn)稍微不好，其余各屬性比其他跟蹤器具有較好的精度分數(shù).驗證了FFMPD 算法采用多峰檢測技術使目標因遭受遮擋、背景噪聲引起的模型漂移時可以進行自動更新，使用HOG 特征可以較好處理小目標的形態(tài)變化以及光照帶來的問題.

4.3 UAV123 數(shù)據(jù)集上定性比較結果

為了直觀展示可視化跟蹤結果，分別與SRDCF[18]、BACF[19]、AMCF[12]、ARCF[11]、OMFL[9]、MCCT-H[20]、BEVT[10]、AutoTrack[13]、CSK[21]等9 個先進跟蹤算法在UAV123 數(shù)據(jù)集上進行比較.如圖5所示，從上到下分別為wakeboard6_1、boat9_1、car6_3 和group3_3 視頻序列，F(xiàn)FMPD 跟蹤算法都表現(xiàn)出良好的跟蹤性能，同時也驗證了算法的有效性.

表3VisDrone2019 數(shù)據(jù)集8種屬性的精度評價指標Tab.3 The precision evaluation index of eight attributes on the VisDrone2019 Dataset

表4VisDrone2019 數(shù)據(jù)集的AUC比較結果Tab.4 AUC comparison results for the VisDrone2019 Dataset

圖5 在UAV123 數(shù)據(jù)集上的定性比較結果Fig.5 Qualitative evaluation of our proposed and other trackers on the UAV123 Dataset

5 結論

本文提出了特征融合和多峰檢測的無人機目標跟蹤算法.FFMPD 算法通過特征融合、多峰檢測技術的高置信度反饋機制，有效解決了無人機跟蹤目標在遭遇遮擋、尺度變化以及光照變化等因素影響的問題，能及時修正漂移后的模型，提高目標的跟蹤精度和魯棒性.但實際跟蹤環(huán)境較為復雜，變化較多，攝像機抖動也會對目標的跟蹤性能產(chǎn)生一定的干擾，影響跟蹤效果.為了提高跟蹤性能，需要進一步探索時空正則化和目標裁剪等策略.