基于外觀相似性更新的相關(guān)濾波跟蹤算法

方 澄, 路 穩(wěn), 姬菁穎, 宋玉蒙, 梁斐菲, 羅志偉

(中國民航大學(xué)電子信息與自動化學(xué)院, 天津 300300)

0 引 言

視覺目標跟蹤是計算機視覺中非常重要的任務(wù)之一,廣泛地應(yīng)用于智能視頻監(jiān)控、人機交互、智能導(dǎo)航、醫(yī)療診斷、雷達目標跟蹤等方面。目標跟蹤的任務(wù)是在給定目標初始位置與尺寸信息的情況下,預(yù)測后續(xù)目標的狀態(tài)。而由于在真實目標跟蹤場景中常存在多種復(fù)雜問題,比如:① 目標遮擋、背景雜波、光照變化等環(huán)境變化影響;② 目標本身的快速運動、形變、旋轉(zhuǎn)、尺度等目標變化影響;③ 視頻采集時低分辨率、相機快速運動、目標超出視野等采集設(shè)備影響,因此設(shè)計一個在真實應(yīng)用環(huán)境下魯棒且準確的跟蹤算法仍然具有很高的挑戰(zhàn)性。

相關(guān)濾波思想的引入,使得視覺目標跟蹤的實時性和準確性得到了明顯提高。最初的相關(guān)濾波算法使用灰度特征進行目標外觀表達,使用循環(huán)矩陣提取樣本,并將時域的計算轉(zhuǎn)換到頻域,提高了跟蹤的效率。但是,灰度特征遠遠不能準確地表達目標,研究人員開始將顏色特征、梯度方向直方圖(histogram of oriented gridients,HOG)特征、深度特征加入到目標跟蹤中。王乃巖等人通過實驗分析了目標外觀表達對目標跟蹤具有明顯的影響。基于此項研究,后續(xù)的一些研究工作在算法設(shè)計上將不同的特征組合進行融合,將融合后的特征用于外觀建模。不同于這些特征級的融合算法,Staple分別提取顏色特征和HOG特征建立不同的目標模型,并考慮決策級的加權(quán)融合。而人工設(shè)計的特征不能很好地表達目標的特點,一些算法開始探索使用神經(jīng)網(wǎng)絡(luò)提取目標的深度特征。依靠深度學(xué)習(xí)算法對于目標特征的強大提取能力,研究者們設(shè)計出來多種目標跟蹤的深度學(xué)習(xí)網(wǎng)絡(luò)模型,而孿生網(wǎng)絡(luò)利用提取的深度特征進行模型間的匹配,也成為了目前目標跟蹤最為主流的網(wǎng)絡(luò)框架。但深度學(xué)習(xí)網(wǎng)絡(luò)模型在訓(xùn)練時需要大量的線下訓(xùn)練,而且模型計算復(fù)雜度高,實時性表現(xiàn)差。同時由于深度網(wǎng)絡(luò)跟蹤算法通常包括模型訓(xùn)練和在線跟蹤兩個階段,在模型訓(xùn)練時需要對算法進行預(yù)先的跟蹤訓(xùn)練,而訓(xùn)練得到的深度特征通道在目標在線跟蹤時可能存在冗余,因此需要對特征通道進行選擇并且對特征空間進行壓縮,才能達到實際應(yīng)用的實時性需求。

無論是相關(guān)濾波算法還是深度學(xué)習(xí)算法都是主要從目標的特征表達方面進行考慮,對跟蹤算法性能進行了極大的改善,但是當目標發(fā)生遮擋、變形、模糊時,特征表達將發(fā)生畸變,使得目標跟蹤容易產(chǎn)生漂移現(xiàn)象,目前仍沒有針對漂移的有效的解決方法,特別是傳統(tǒng)相關(guān)濾波算法的無差別更新使得遮擋、形變時的干擾特征持續(xù)保存到目標模型中,造成跟蹤模型的退化,目標更容易發(fā)生漂移或者丟失。

因此,本文提出基于核相關(guān)濾波(kernel correlation filter, KCF)的自適應(yīng)更新的目標跟蹤算法(adaptive updating target tracking algorithm based on KCF,AUKCF)算法,能夠有效地減少模型退化和目標漂移,提高目標跟蹤的穩(wěn)定性和準確性。該算法使用多峰響應(yīng)檢測對容易發(fā)生漂移的場景進行判斷,并使用顯著性檢測對目標位置進行修正,考慮到顯著性檢測方法可能存在的檢測誤差,算法提出一種針對顯著性檢測位置和多峰位置的重檢測策略,提高了對目標漂移進行重新定位的準確性。同時,考慮到在遮擋、變形時模型的無差別更新造成保存的干擾特征引起模型退化的問題,創(chuàng)新性地提出一種基于斯皮爾曼相關(guān)性判斷的自適應(yīng)更新策略,當斯皮爾曼相關(guān)性小于閾值時,將當前幀目標判別為干擾目標,不對算法模型進行更新,從而保持模型的健壯,降低模型退化的影響。

本文所提AUKCF算法主要的貢獻包括:第一,提出一種針對多峰響應(yīng)的顯著性檢測定位的方法;第二,為了對顯著性檢測的準確性進行判別,算法提出使用重檢測的策略對顯著性檢測的位置及多峰響應(yīng)的位置進行重檢測;第三,針對模型的無差別更新,提出將斯皮爾曼相關(guān)性判斷應(yīng)用于跟蹤算法的新型、通用自適應(yīng)更新策略。在OTB2015和VOT2018上的評測結(jié)果顯示,AUKCF算法達到了最優(yōu)的性能,并且特別需要指出AUKCF算法在使用少量訓(xùn)練樣本條件下,不論算法精度還是成功率,均超過了評測中使用的流行深度學(xué)習(xí)方法。

1 相關(guān)工作

1.1 顯著性檢測跟蹤

視覺顯著性是根據(jù)人的視覺系統(tǒng)的注意力總是集中于場景中的突出物體的特性設(shè)計的,目的是檢測場景中最引人注目的物體。目標跟蹤算法中通常使用顯著性檢測來進行跟蹤結(jié)果的校正。使用平均峰值相關(guān)能量(average peak-to-correlation energy, APCE)作為跟蹤結(jié)果的置信度進行判斷,當?shù)陀谥眯哦葧r僅使用顯著性檢測的結(jié)果作為目標的判別定位,而當高于置信度時則用原跟蹤器進行目標跟蹤定位。這種方式一定程度上減少了漂移對跟蹤算法的影響,但由于缺乏對顯著性定位的結(jié)果判斷,當顯著性檢測定位出現(xiàn)偏差時,跟蹤定位結(jié)果，因此也會出現(xiàn)漂移。而將顯著性檢測進行跟蹤的結(jié)果與相關(guān)濾波算法跟蹤結(jié)果進行融合加權(quán)一定程度上減少了顯著性檢測偏差的影響,提高了跟蹤的準確性。這些算法直接使用顯著性檢測的結(jié)果進行定位判斷,一旦顯著性檢測的結(jié)果不準確,跟蹤結(jié)果也會產(chǎn)生一定的漂移。因此本文將對上述方法進行改進,提出了一種針對顯著性檢測結(jié)果的重檢測方法,在一定程度上減少了顯著性檢測結(jié)果偏差帶來跟蹤漂移的可能性。在此基礎(chǔ)上,算法使用響應(yīng)的多峰結(jié)果選擇性進行顯著性檢測,縮小了目標檢測的范圍,縮短了每幀進行顯著性檢測的時間,提高了跟蹤算法的速度。

1.2 模型退化

模型隨著時間的推移可能產(chǎn)生變化,尤其是在相關(guān)濾波類算法中,采用線性插值進行更新的方式,更容易疊加干擾噪聲,引起模型退化。因此，根據(jù)目標檢測中跟蹤響應(yīng)結(jié)果的反饋,來決定是否更新模型就很有必要。Wang等人利用目標檢測響應(yīng)的APCE作為評價指標來設(shè)計跟蹤置信度判定策略,處于高置信度時進行更新,反之則不進行更新。還有一些方法采用正則化的算法,在進行模型學(xué)習(xí)的同時進行模型更新,優(yōu)化模型的同時進一步防止了模型的退化,空間正規(guī)劃判別相關(guān)濾波器(spatially regularized discriminative correlation filters,SRDCF)算法根據(jù)目標的位置特點加入了空間正則化,減輕了模型的邊界效應(yīng),在此基礎(chǔ)上,Li等人提出加入了時間正則化,在保證模型與歷史模型相似的前提下防止模型的退化。AutoTrack算法使用局部響應(yīng)和全局響應(yīng)的特點分別作為時間和空間的正則化條件,跟蹤精度得到進一步提高。而本文提出了一種新的模型更新方式,將斯皮爾曼相似性判斷引入目標跟蹤算法,檢測判斷目標遮擋、形變等情況,當相似性條件低于某一閾值時,當前模型不需要進行更新;當斯皮爾曼相似性大于某一閾值時,當前模型存在干擾的可能性較低,進行模型保存并更新。

2 AUKCF算法

本文提出的AUKCF算法是基于KCF算法提出的顯著性重檢測定位以及斯皮爾曼相關(guān)性判別的自適應(yīng)更新方式,算法框架如圖1所示。

圖1 AUKCF算法總框架Fig.1 Overall procedure of AUKCF algorithm

圖1中,① 表示算法首先使用相關(guān)濾波算法得到目標響應(yīng)。② 表示當響應(yīng)為正常的單峰情況時,根據(jù)響應(yīng)圖的最大值位置定位為目標位置。③ 表示傳統(tǒng)相關(guān)濾波算法在復(fù)雜環(huán)境下響應(yīng)圖容易出現(xiàn)多峰現(xiàn)象,當出現(xiàn)多峰狀態(tài)時,使用顯著性方法進行檢測,得到被檢測區(qū)域的顯著性位置。④ 表示對顯著性檢測的位置和響應(yīng)圖中最高峰和次高峰的位置進行響應(yīng)的重新計算判斷目標位置。⑤ 表示提取當前目標位置的灰度特征并與第1幀目標的灰度特征計算斯皮爾曼相似性。⑥ 表示通過自適應(yīng)的方式更新濾波器模型和目標模型。本節(jié)首先介紹基本的KCF算法,然后介紹本文提出的顯著性檢測及其重檢測方法,最后介紹提出的自適應(yīng)更新方法。

2.1 KCF算法

KCF算法主要分為模型訓(xùn)練、目標定位和模型更新3部分。

(1) 模型訓(xùn)練

KCF算法中濾波器的訓(xùn)練可以看作是求解嶺回歸的問題:

(1)

式中：為循環(huán)移位采樣的第個訓(xùn)練樣本；為第個訓(xùn)練樣本對應(yīng)的高斯標簽；是列向量,表示權(quán)重系數(shù)；為正則化系數(shù),模型訓(xùn)練的過程就可以看作是求解的過程。

在線性空間中,()=,將式(1)寫成矩陣形式為

(2)

式中：=[,,…,],的每一行表示一個向量。是列向量,第個元素對應(yīng),每一個元素表示一個樣本標簽。

為了使得映射后的樣本在高維空間中線性可分,算法中引入非線性映射函數(shù)(·)將特征空間映射到更高維空間,使得可以表示為

(3)

式中：為權(quán)重系數(shù)。

因此，的求解可以轉(zhuǎn)換成對的求解,為的向量形式,式(2)可以寫成

(4)

式中：()=[(),(),…,()]。

令導(dǎo)數(shù)為0,可以求得

=(()()+λ)

(5)

式中：為表示核空間中的權(quán)重系數(shù)的列向量。

令=()()表示核空間的核矩陣,則

(6)

經(jīng)過快速傅里葉變換,可將式(6)變換為

(7)

通過上述步驟就可以通過對所有訓(xùn)練樣本進行嶺回歸訓(xùn)練得到濾波器模型。

(2) 目標定位

用前一幀得到的目標位置為中心,使用25倍目標大小的區(qū)域,作為當前幀的候選測試區(qū)域,從中提取測試樣本,并對目標進行檢測,將當前幀的測試樣本和訓(xùn)練得到的濾波器計算相關(guān)性響應(yīng),響應(yīng)最大的位置判斷為當前目標的位置。定義核空間中的測試樣本和訓(xùn)練樣本的核矩陣=()(),則測試樣本的響應(yīng)為

(8)

式中：是的第一列。

(3) 模型更新

(9)

(10)

2.2 基于顯著性的目標重檢測

在KCF通過式(8)獲得目標響應(yīng)之后,本文對響應(yīng)圖進行多峰響應(yīng)的檢測，文獻[11]中提出了有關(guān)多峰響應(yīng)的概念,當采樣范圍內(nèi)存在相似物體或者背景噪聲時響應(yīng)圖可能存在多個峰值接近的情況,響應(yīng)圖的其他峰值和最高峰值的比例超過一定閾值則認為是多峰響應(yīng)狀態(tài)。在多峰響應(yīng)狀態(tài)時,本文對當前采樣范圍進行顯著性檢測,得到顯著性目標位置,然后保存多峰響應(yīng)中的最高峰和次高峰的位置,針對顯著性目標位置、最高峰位置、次高峰位置分別進行響應(yīng)重計算,重新確定目標位置。

顯著性重檢測首先檢測響應(yīng)圖中所有像素鄰域范圍內(nèi)最高點即峰值的位置,對于輸入的響應(yīng)圖,峰值位置的計算可以表示為

(11)

對峰值大小進行排序,由于次高峰和主高峰對目標位置的判斷影響最大,所以本文中僅對最高峰和次高峰進行計算,響應(yīng)狀態(tài)判斷如下:

(12)

式中：為返回響應(yīng)峰值的位置；為次高峰對應(yīng)的響應(yīng)大??；為最高峰對應(yīng)的響應(yīng)；為判斷閾值。()表示最高峰對應(yīng)的位置；(,)表示次高峰位置和最高峰位置的集合。當次高峰與最高峰比值大于時,認為次高峰有可能是目標的正確位置,同時將次高峰和最高峰的位置輸出。次高峰與最高峰比值小于等于時,認為次高峰是正確位置的可能性不大,最高峰所在的位置即為當前目標的位置。

當次高峰與最高峰比值大于時,對目標區(qū)域進行顯著性檢測,使用基于圖形的視覺顯著性(graph-based visual saliency,GBVS)算法進行顯著性目標位置定位。顯著性檢測使用顏色、亮度、方向特征構(gòu)造區(qū)域特征圖×,把每個像素作為圖的節(jié)點,根據(jù)像素的特征差異性構(gòu)造圖模型,節(jié)點(,)和(,)的特征差異性為

(13)

式中:((,)||(,))表示節(jié)點(,)和(,)比值的對數(shù)距離。

對于有向圖,節(jié)點(,)到節(jié)點(,)有向邊可以表示為權(quán)值:

((,),(,))=((,)||(,))(-,-)

(14)

其中,

(15)

式(15)定義了距離權(quán)重,距離越遠對結(jié)果影響越小。最后構(gòu)造二維圖像的馬爾可夫鏈并計算均衡分布,最后的均衡分布即為顯著性圖。顯著圖的75%顯著性區(qū)域的中心即為顯著性目標的位置。將顯著性檢測得到的位置以及多峰的位置分別與目標模型重新計算響應(yīng),則可以表示為

(16)

由式(16)得到3個響應(yīng)圖,將3個響應(yīng)圖中最大響應(yīng)進行排序,響應(yīng)值最大的位置作為目標重檢測的最終位置。

通過將多峰位置與顯著性檢測的位置進行重檢測可以提高目標定位的準確性。而當目標周圍存在干擾,采用KCF中的更新方式會通過式(9)和式(10)的更新將干擾保存到模型,容易引起模型退化,產(chǎn)生目標漂移。因此，本文在顯著性重檢測之后采用基于外觀相似性的自適應(yīng)模型更新方式。

2.3 基于外觀相似性的更新方式

針對KCF算法傳統(tǒng)更新方式在目標出現(xiàn)干擾時引起模型退化的問題,本文提出基于外觀相似性的更新方式,判斷當前模型是否適合進行更新。這里采用的是斯皮爾曼相關(guān)性系數(shù)來判斷外觀的相似性,斯皮爾曼相關(guān)性系數(shù)通常也叫斯皮爾曼等級相關(guān)系數(shù)或者斯皮爾曼秩相關(guān)系數(shù),常用于判斷數(shù)據(jù)的相關(guān)性。在目標跟蹤算法中,對給定的初始幀的目標,提取目標灰度特征作為數(shù)據(jù)集X,后續(xù)的預(yù)測目標提取的灰度特征數(shù)據(jù)作為數(shù)據(jù)集,假設(shè)和的數(shù)據(jù)長度是,集合中任意一個元素值表示為、(1≤≤),對數(shù)據(jù)集、中的所有元素同時進行升降排序,分別得到進行數(shù)值重新升降排序后的新集合′、′,其中元素′為′中的第個元素,′為′中的第個元素,將集合′、′中的相應(yīng)位置元素相減得到一個排行差分集合,其中=-,∈,1≤≤,則圖像和圖像之間的斯皮爾曼等級相關(guān)系數(shù)的計算公式為

(17)

以O(shè)TB2015中的Basketball視頻序列為例,通過計算當前目標和初始目標的灰度特征的斯皮爾曼相似性,可以得到變化規(guī)律如圖2所示。圖中紅色線條為算法選定閾值,從圖2中可以看出斯皮爾曼相似性低于閾值時,目標出現(xiàn)嚴重形變或者目標受到嚴重的遮擋、背景雜波等干擾的情形。如果目標過多的保存到這些干擾,模型就會發(fā)生退化,引起跟蹤漂移。因此,值不能過大,否則會將一定程度范圍的遮擋、形變、背景雜波等保留到模型中,降低模型的魯棒性;而值過小,則會保留過多的干擾信息,模型產(chǎn)生退化。斯皮爾曼相關(guān)系數(shù)的閾值是根據(jù)實驗效果不斷調(diào)試的結(jié)果,但不是固定的參數(shù),只是相似性判斷的依據(jù),經(jīng)過大量實驗觀測,在02至04范圍之間進行取值都可以獲得比較好的性能結(jié)果。當斯皮爾曼相似性低于時不進行當前模型的更新,從而可以進一步提高目標模型的穩(wěn)健性,減少模型退化的影響。

圖2 斯皮爾曼相似性Fig.2 Spearman correlation

AUKCF算法在傳統(tǒng)的KCF算法的基礎(chǔ)上將顯著性檢測融入到跟蹤過程中,可以對目標跟蹤結(jié)果進行調(diào)整。同時,AUKCF算法改進了KCF算法的更新方式,使用外觀相似性的自適應(yīng)更新方法提高模型的穩(wěn)健性,進一步減少目標漂移。

3 實驗及分析

3.1 實驗環(huán)境與參數(shù)設(shè)置

本實驗環(huán)境配置為Intel Xeon W-2235 CPU(主頻為3.80 GHz),RAM為64 GB的計算機,測試平臺為Windows10+Matlab R2014b。本文采用公開數(shù)據(jù)集OTB2015和VOT2018對AUKCF算法進行驗證分析,為了評測的公平性,在所有的測試中使用作者提供的源碼并使用默認參數(shù)值。本文中=07,=0.25。AUKCF算法速度可以達到93.84 fps,完全可以滿足實際應(yīng)用的實時性需要。

3.2 實驗數(shù)據(jù)集及實驗指標介紹

3.3 消融實驗

本節(jié)中對AUKCF算法的每一個組成部分進行分析,主要包括顯著性檢測調(diào)節(jié)部分和模型的自適應(yīng)更新部分。算法沿用了KCF的特征和核函數(shù)以及更新時的參數(shù),為了說明每一個部分的作用,本節(jié)進行了消融實驗分析,每一個實驗設(shè)置如表1所示。

表1 消融實驗設(shè)置

如表1所示,KCF為基準的實驗算法,本文的算法在KCF算法上進行改進,KCFup算法在KCF的基礎(chǔ)上加入自適應(yīng)更新模塊,為了和本文效果進行比較,更新的閾值=0.25。KCFsd算法在KCF算法的基礎(chǔ)上加入顯著性檢測用以對響應(yīng)的結(jié)果進行響應(yīng)狀態(tài)判斷并進行重檢測定位目標的位置。而本文提出的AUKCF算法則是將二者進行結(jié)合,即使用顯著性檢測對目標的跟蹤結(jié)果進行修正,又使用自適應(yīng)更新模塊對模型進行選擇性的更新。

為了驗證各部分的有效性,在OTB2015中選擇了部分存在遮擋問題和形變挑戰(zhàn)的視頻進行消融實驗,結(jié)果如圖3所示。從圖3中可以看出,在一次通過評估(one-pass evalution, OPE)的精度圖和成功率圖中,在KCF中只加入自適應(yīng)更新方法后的KCFup相比KCF提高1.9%和2.3%,在KCF中只加入顯著性重檢測方法后的KCFsd相比于KCF提高5.8%和3.2%。而將自適應(yīng)更新和顯著性檢測都用于目標跟蹤時的AUKCF平均跟蹤精度、平均跟蹤成功率比原始的KCF分別提高了14%和11.8%,目標跟蹤的效果得到更明顯的提高。但是與同時使用顯著性和自適應(yīng)更新的AUKCF算法相比,僅使用顯著性檢測或者自適應(yīng)更新的方法相對原始KCF的性能提升要小得多,這是因為在復(fù)雜場景下出現(xiàn)各種干擾時,顯著性檢測會對目標位置進行檢測,如果目標響應(yīng)異常,則使用重檢測進行修正,減少目標漂移的可能。同時,使用了自適應(yīng)更新策略可以在目標發(fā)生干擾時選擇性地對目標模型進行更新,這樣就可以在目標恢復(fù)正常狀態(tài)時使用顯著性檢測快速定位到目標。因此,在復(fù)雜場景中,AUKCF算法中的顯著性檢測和自適應(yīng)更新策略會起到相互補充的檢測效果,有一定的相互促進作用,進一步提高了跟蹤的準確性。

圖3 消融實驗精度圖和成功率圖Fig.3 Precision plot and success plot of ablation experiment

3.4 模型對比

本節(jié)將AUKCF算法同CSK算法、DSST算法、KCF算法、SAMF算法、LDES算法、AutoTrack算法6個相關(guān)濾波類算法以及SiamTri算法、ACFN算法、UDT算法、GradeNet算法4個深度學(xué)習(xí)算法進行比較,使用OTB2015數(shù)據(jù)集進行定性和定量分析。

3.4.1 定性分析

本節(jié)選取Football、Jogging-1、Singer2、Jump、Basketball、Deer 6個視頻對11個算法進行定性分析,涵蓋目標跟蹤中常見的復(fù)雜場景,視頻序列跟蹤結(jié)果如圖4所示。

圖4 部分視頻序列跟蹤結(jié)果Fig.4 Tracking results of partial video sequences

(1) 遮擋

遮擋始終是跟蹤領(lǐng)域最艱難的挑戰(zhàn),遮擋后目標的動向和大小未知,而且遮擋時目標的部分或全部特征消失,此時將模型進行保存更新會加劇模型退化,在Football視頻中發(fā)生了不同程度的遮擋,在285幀時目標部分遮擋,可以看出所有算法都可以正確跟蹤目標,在287幀的時候目標已經(jīng)全部被遮擋,可以看出所有的算法都只定位到目標消失的地方,而在290幀目標重新出現(xiàn)時大多數(shù)的算法定位出現(xiàn)漂移,而本文提出的AUKCF算法在遮擋消失目標重新出現(xiàn)之后能立即跟蹤到正確目標。在Jogging-1視頻的66幀時跟蹤的行人被部分遮擋,這時多數(shù)的算法都可以正確定位,目標在72幀時完全被路邊的設(shè)施遮擋,在80幀時重新出現(xiàn),此時多數(shù)算法丟失目標,只有本文算法和少數(shù)幾個算法能重新檢測到目標的位置。通過以Football和Jogging-1為例的不同遮擋程度下的跟蹤效果可以看出,本文算法在目標的不同遮擋場景下依然可以準確跟蹤,這是因為AUKCF算法在目標嚴重遮擋時不進行目標模型的更新,保持模型的魯棒性,并且在目標重新出現(xiàn)之后使用顯著性進行重檢測定位,可以重新獲取目標完成跟蹤。

(2) 形變

在Singer2視頻中,可以看出在13幀到17幀之間,歌手有了形態(tài)上的變化,多數(shù)算法跟蹤位置產(chǎn)生漂移,只有少數(shù)算法可以準確跟蹤,從17幀到28幀之間,歌手的形態(tài)有了更大的變化,可以看出多數(shù)算法已經(jīng)丟失目標。在Jump視頻中,在11幀到20幀之間隨著跳高運動員起跳過程中的不同程度的姿勢變化,多數(shù)跟蹤算法丟失目標,而只有本文算法和ACFN算法在不同程度的形態(tài)變化后仍然可以準確檢測目標的位置。當目標外形發(fā)生變化時,對于形變程度小的目標,本文算法依舊可以根據(jù)更新閾值的限制對目標模型進行保留更新,而當目標形變過大時,此時的模型不進行更新,但是如果目標定位出現(xiàn)漂移會使用顯著性檢測進行目標的重定位識別,進而跟蹤到目標的準確位置。

(3) 光照

在Basketball視頻中,可以看出在649幀時目標處在正常的光照條件下,而在650幀時目標產(chǎn)生劇烈的光照變化,可以看出,受到光照變化的干擾,部分算法開始跟蹤目標旁邊的相似的干擾,產(chǎn)生漂移,直至丟失目標。本文算法不受光照條件的影響仍然可以準確跟蹤,一方面是因為原有的KCF算法使用的HOG特征本身就對光照變化不敏感。另一方面,本文算法使用顯著性檢測的方法對響應(yīng)的結(jié)果進行修正,可以不受相似干擾的影響,進而保持準確跟蹤。

(4) 運動模糊、快速運動、背景雜波

運動模糊通常和快速運動挑戰(zhàn)同時產(chǎn)生,而在Deer視頻中還受到背景雜波的影響?？梢钥闯鲈?4幀時,目標發(fā)生模糊,25幀時出現(xiàn)快速運動,同時存在相似背景的干擾,導(dǎo)致部分算法漂移,在26幀時,漂移算法進而丟失原有目標。本文算法之所以能繼續(xù)準確地跟蹤目標,一方面是因為使用顯著性檢測可以在快速運動和背景雜波時準確跟蹤目標。另一方面,當目標受到嚴重干擾時,自適應(yīng)更新策略會選擇性地對目標模型進行更新,保持了模型的魯棒性,在目標正常時就可以繼續(xù)完成目標跟蹤。

綜上所述,通過定性分析AUKCF算法在目標出現(xiàn)遮擋、目標形變、光照、快速運動、運動模糊、背景雜波時都可以保持準確魯棒的跟蹤。尤其是目標遮擋情況下,算法表現(xiàn)出了優(yōu)越的跟蹤性能。

3.4.2 定量分析

本文使用VOT2018數(shù)據(jù)集對算法進行評測。VOT2018數(shù)據(jù)集可以分為相機抖動、超出視野、光照變化、快速運動、遮擋、尺度變化6種挑戰(zhàn)。通過對不同挑戰(zhàn)視頻進行評測,來說明本文算法在復(fù)雜場景下的性能。為了更好地評測本文算法的效果,使用準確率均值、準確率加權(quán)平均、準確率合并方差和EAO(expected average overlap)對算法性能進行測試,實驗結(jié)果如表2所示(表中加粗表示最優(yōu))。

表2 VOT2018實驗結(jié)果

從表中可以看出,本文算法在相機抖動、目標快速運動、遮擋、尺度變化時均能保持最優(yōu)的性能,而且在目標超出視野以及光照變化時也有不錯的表現(xiàn)。這是因為本文算法使用顯著性檢測可以對快速運動、光照變化、尺度變化、相機抖動場景中的目標進行快速的檢測定位,在遮擋中同樣可以在目標受到遮擋重新出現(xiàn)、以及從視野消失又出現(xiàn)之后對目標進行檢測,找到目標的準確位置。同時由于自適應(yīng)更新可以選擇性的對目標進行更新,避免了模型退化,也增加了目標受到劇烈干擾之后能快速識別檢測目標,提高跟蹤的準確性。

綜上所述,AUKCF算法在復(fù)雜場景中仍然具有較高的跟蹤精度,并且算法實時性很高,可以滿足實際應(yīng)用的需求。

4 結(jié) 論

本文對目標跟蹤的檢測階段進行調(diào)節(jié),提出一種顯著性檢測的重檢測目標定位方法,顯著性檢測獨立于跟蹤過程,不受跟蹤漂移影響,而采用重檢測策略,又可以對顯著性檢測結(jié)果進行校準。同時針對環(huán)境干擾提出一種斯皮爾曼相似性模型更新的方法,相似性判斷的方法可以有效檢測干擾,檢測到干擾時不進行模型更新,減少了模型退化,提高了目標跟蹤的準確性。本文算法可為模型更新策略提供思路,即采用和目標相似性有關(guān)的判別方法實現(xiàn)自適應(yīng)模型更新。本文算法也可以提供一種漂移檢測和模型更新的思路,進一步的研究可以使用相似性判斷的思想實現(xiàn)正則化約束。后續(xù)研究將對獨立的顯著性檢測和相似性檢測方法進行模塊化,應(yīng)用于在線的深度學(xué)習(xí)目標追蹤算法中,實現(xiàn)目標檢測精度的進一步提升。