張家葉子
(92941部隊,葫蘆島 125000)
從概念上來看,可將目標跟蹤定義如下:在第一幀中,以方框表示出一個目標,然后,在后面的各幀中均定位此目標。通常來說,目標跟蹤主要有兩種,即生成式、判別式。前者是先對目標特征進行提取,再建立目標外觀模型,然后,利用其對圖像區(qū)域進行搜索,以實現(xiàn)模式匹配,如果在圖像中找到的區(qū)域與模型最匹配,這就是目標;后者也叫基于檢測的跟蹤方法,其是將視覺目標跟蹤定義成二分類問題,然后,對背景與跟蹤目標間的決策邊界進行探尋。
在計算機視覺中,CF最早是應(yīng)用于眼睛跟蹤及檢測行人,但因為這種方法需要基于大量訓(xùn)練數(shù)據(jù)才能實現(xiàn),跟蹤速度太慢,不能更好地適應(yīng)當前實際所需。Bolme等在2010年提出了新型相關(guān)濾波器MOSSE,于是CF字詞開始被應(yīng)用于跟蹤算法。此種跟蹤器是在頻域中建立框架,借助FFT的快速性來進行跟蹤,極大地提高了跟蹤速度,使之可達600-700 fps。這以結(jié)果大大超過了當時的最為先進的算法,而且,其性能也非常卓越,一度在CV界激起強烈反響,并引起了重點關(guān)注。
實踐結(jié)果顯示,由于基于檢測的跟蹤必須要以大量樣本數(shù)據(jù)為基礎(chǔ)來進行訓(xùn)練,由此就會增加計算負擔,這背離了實時跟蹤的需求。不過,如果樣對樣本數(shù)量進行限制,則又會導(dǎo)致犧牲算法性能受到影響。出于加快訓(xùn)練的目的,之前以CF算法為基礎(chǔ)的跟蹤,均選擇稀疏采樣的策略,這樣在每一幀中,都能在目標臨域內(nèi)得到數(shù)個與目標相同大小的樣本。同時,樣本如果重疊率很高,將會導(dǎo)致數(shù)據(jù)冗余很大,但若采用下采樣的方法,就能將背景雜亂序列的跟蹤性能顯著降低。牛津大學(xué)Joao F.Henriques通過研究發(fā)現(xiàn),如果平移樣本達到數(shù)千個時,數(shù)據(jù)矩陣就會呈現(xiàn)出環(huán)狀的特征,在這種情況下,樣本間潛在的結(jié)構(gòu)信息就得不到有效的利用。
后來,隨著研究的進一步深入,在CSK基礎(chǔ)上,Joao F.Henriques繼續(xù)提出了核化相關(guān)濾波器KCF,KCF是一種新型的、優(yōu)化后的核化相關(guān)濾波器。同時,他還應(yīng)用線性核提出了DCF,其是由快速多通道擴展而來的線性相關(guān)濾波器。KCF優(yōu)勢顯著,借助其優(yōu)點可以執(zhí)行執(zhí)行分類器訓(xùn)練,并檢測候選樣本,如果結(jié)合HOG特點,就能快捷地實現(xiàn)非常理想的跟蹤效果,而且很是精確、魯棒且快速。從精度和速度來看,其均遠遠領(lǐng)先于當時OTB50上最具代表性的Struck算法。
在CF方法具體應(yīng)用中,因為應(yīng)用了FFT,這將極大地提高了跟蹤算法的速度,美中不足的是,CF本身的尺度估計能力是不具備的。從文獻資料來看,有研究者提出了DSST,這是一種新的魯棒尺度估計方法。DSST使用HOG特征,同時,其基礎(chǔ)上學(xué)習(xí)判別CF是在尺度金字塔表示的。尺度的估計是應(yīng)用一維濾波器,平移的判斷是應(yīng)用二維濾波器,定位目標應(yīng)用的是三維濾波器并通過窮舉尺度空間來實現(xiàn)。該算法的通用性比較強,能與所有不具備尺度估計的跟蹤方法實現(xiàn)有效合作。
比較DSST和SAMF兩種方法可以發(fā)現(xiàn),DSST是將跟蹤分為兩個問題進行研究,因而其方法與特征比較靈活,不足之處是需要另外訓(xùn)練一個濾波器,采樣33個圖像塊才能滿足每幀尺度檢測所需;SAMF與其相反,只要一個濾波器就可以,每個尺度只要檢測一次,就能提取特征和FFT,不過,如果圖像塊比較大,其需要比DSST高很多的計算量。一般來說,金字塔尺度估計方法需要包含幾十層塔,尺度估計要在跟蹤前進行。有研究者提出一種新的尺度估計方法,其以快速特征金字塔為基礎(chǔ),第一次實現(xiàn)了利用真正的最小數(shù)量層特征金字塔,同時,還較好地解決了在搜索合適尺度前構(gòu)建金字塔的不足。實證研究結(jié)果顯示,這種尺度估計的通用性也非常佳,不含尺度估計的跟蹤器都可以應(yīng)用。
為解決,還有研究者提出RAJSSC跟蹤器算法,這種算法以JSSC濾波器為基礎(chǔ)來進行尺度估計,同時,旋轉(zhuǎn)估計時,需要將笛卡爾坐標轉(zhuǎn)變?yōu)閷?shù)極坐標。這種算法較好地解決了旋轉(zhuǎn)運動跟蹤問題。sKCF是一種快速可伸縮核相關(guān)濾波器,其以KCF框架為基礎(chǔ),具有獨立性,能集成到任何多項式及線性CF中。
如今,深度CNNs已然來到,利用圖像可以表示網(wǎng)絡(luò)的全連接層,能實現(xiàn)精準和及時的跟蹤,還不需要對目標語義類別進行確定。有研究顯示,深層特征比較性能比較優(yōu)異,來自第一層的激活,提升了其跟蹤性能,強化了跟蹤效果。對CF框架來說,核心之舉是如何將CNNs的多個層進行融合。
綜上所述,在相關(guān)濾波的目標快速跟蹤算法中,對精確性和魯棒性以及通用性有著很高的要求,因此,需要不斷進行相關(guān)的研究,從而提高算法性能。