結(jié)合學(xué)習(xí)速率調(diào)整的尺度自適應(yīng)核相關(guān)濾波跟蹤算法*

吳 滌, 彭 力

(1.江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院,江蘇 無錫 214122;2.江蘇省物聯(lián)網(wǎng)應(yīng)用技術(shù)重點(diǎn)實(shí)驗(yàn)室 無錫太湖學(xué)院,江蘇 無錫 214122)

0 引 言

目標(biāo)跟蹤技術(shù)是計(jì)算機(jī)視覺重要的組成部分,已經(jīng)廣泛的應(yīng)用于人機(jī)交互[1,2]、智能交通[3]、無人駕駛等領(lǐng)域。但目標(biāo)尺度變化、遮擋和光照變化等復(fù)雜環(huán)境導(dǎo)致目標(biāo)跟蹤失敗。為此基于相關(guān)濾波[9～13]的方法由于具有較好的跟蹤性能和計(jì)算效率而備受關(guān)注。

RUI C等人[9]提出了基于循環(huán)結(jié)構(gòu)(circulant structure with kernels,CSK)的核相關(guān)濾波跟蹤算法,并取得了較好的效果。Danelljan M等人[10]設(shè)計(jì)了以CSK為基礎(chǔ)的融入顏色屬性特征(color name,CN)的跟蹤算法,提升了目標(biāo)跟蹤的準(zhǔn)確率。Henriques J F等人[11]設(shè)計(jì)了核相關(guān)濾波(kernelized correlation filtering,KCF)跟蹤算法,擴(kuò)展了特征通道,提升了跟蹤性能。但上述算法[9～11]采用的是固定尺度的訓(xùn)練樣本,當(dāng)目標(biāo)的尺度發(fā)生變化時(shí),容易產(chǎn)生跟蹤漂移。為解決目標(biāo)尺度變化所帶來的問題,Danelljan M等人[12]和Li Y等人[13]分別提出了均以KCF為基礎(chǔ)的融合尺度金字塔的強(qiáng)判別性尺度空間跟蹤(discriminative scale space tracking,DSST)算法和尺度自適應(yīng)與多特征融合跟蹤(scale-adaptive and multi feature integration tracking,SAMF)算法,但采用的都是窮舉尺度的估計(jì)方法,計(jì)算復(fù)雜度較高,跟蹤速度受限。同時(shí),由于現(xiàn)有的大多數(shù)相關(guān)濾波跟蹤算法[9～13]均采用固定的學(xué)習(xí)速率,在目標(biāo)遮擋后會(huì)導(dǎo)致誤差積累,從而引起較大的跟蹤偏差甚至跟蹤失敗。

本文在KCF模型的基礎(chǔ)上,提出了一種結(jié)合學(xué)習(xí)速率調(diào)整的尺度自適應(yīng)相關(guān)濾波跟蹤算法。

1 KCF目標(biāo)跟蹤算法

在KCF跟蹤算法中,以當(dāng)前幀檢測(cè)到的目標(biāo)中心點(diǎn)為中心,選取中心點(diǎn)周圍大小為M×N的矩形區(qū)域圖像塊x來訓(xùn)練線性分類器f(x)=〈ω,φ(x)〉。和傳統(tǒng)的移動(dòng)窗口[4～8]獲取樣本方法不同,KCF跟蹤算法通過循環(huán)移位的方式對(duì)x進(jìn)行密集采樣,并將所有采樣獲得的圖像塊xi(i)∈{0,…,M-1)}×{0,…,N-1}作為分類器的訓(xùn)練樣本,通過對(duì)訓(xùn)練樣本提取特征得到對(duì)應(yīng)的標(biāo)簽數(shù)據(jù)yi,同時(shí)采用高斯函數(shù)來描述yi。首先,建立最小化目標(biāo)函數(shù)模型

(1)

(2)

利用循環(huán)矩陣的性質(zhì),以及離散傅里葉變換,得到分類器權(quán)重ω的系數(shù)α最優(yōu)解[14]

(3)

式中F為離散傅里葉變換,kxx=κ(x,x)為核函數(shù)。KCF采用高斯核函數(shù)進(jìn)行計(jì)算,有

(4)

在新的一幀中,通過獲取候選圖像塊z來檢測(cè)目標(biāo)的位置,分類器的輸出響應(yīng)為[14]

(5)

(6)

2 學(xué)習(xí)速率調(diào)整的尺度自適應(yīng)KCF跟蹤算法

2.1 低復(fù)雜度的尺度估計(jì)方法

通過將第i個(gè)尺度上目標(biāo)的最大核相關(guān)輸出響應(yīng)ri與其對(duì)應(yīng)的權(quán)重δi相乘來估計(jì)目標(biāo)的真實(shí)尺度

近年來，我國原油剩余可采儲(chǔ)量的變化可分為兩個(gè)階段：2006～2014年從200069萬噸上升到251988萬噸，年增率為2.9%。其后緩慢下降，到2017年為246587萬噸，年增率為-0.7%。這使2017年大致與2012年相當(dāng)。筆者著重指出，2014年國際油價(jià)仍達(dá)98美元/桶，油價(jià)下半年開始下跌也未能直接導(dǎo)致該年國內(nèi)勘探開發(fā)投資及相關(guān)政策變化。剩余可采儲(chǔ)量拐點(diǎn)的出現(xiàn)主要原因應(yīng)為新增可采儲(chǔ)量走低而產(chǎn)量卻還處于升勢(shì)致使儲(chǔ)量補(bǔ)充系數(shù)小于1。

Ri=ri×δi,i={1,2,3,4,5}

(7)

式中Ri為第i個(gè)尺度的最終響應(yīng)。具有最大Ri的尺度將被確定為當(dāng)前幀中的真實(shí)尺度。

首先假設(shè)初始目標(biāo)大小為s0=(w,h),在尺度變化的過程中,目標(biāo)可能會(huì)變大、變小或保持不變。為了減少由大量的尺度估計(jì)引起的計(jì)算復(fù)雜度,這里共選取5個(gè)尺度,在放大方向上選擇2個(gè)尺度,在縮小方向上選擇2個(gè)尺度,以及在原始目標(biāo)尺度中選擇一個(gè)尺度s={s-2,s-1,s0,s1,s2},其中,s-2

對(duì)于s中每個(gè)尺度,通過密集采樣獲得大量候選樣本。為便于計(jì)算,將這些候選樣本通過雙線性插值的方法變換到同初始目標(biāo)同樣的大?。蝗缓笸ㄟ^從候選樣本中提取HOG特征[15]來獲得目標(biāo)的表觀模型；最后將這些表觀模型通過核相關(guān)濾波器以獲得輸出響應(yīng),從而可以得到第i個(gè)尺度的最大輸出響應(yīng)Ri。

2.2 在線學(xué)習(xí)速率調(diào)整算法

相關(guān)濾波跟蹤算法的目標(biāo)表觀模型和分類器通過式(6)進(jìn)行更新,其中在線學(xué)習(xí)速率η通常取固定的經(jīng)驗(yàn)值,無法實(shí)時(shí)反映視頻中場(chǎng)景的變化。

在線學(xué)習(xí)速率η表示對(duì)于目標(biāo)外觀變化的學(xué)習(xí)能力,η值越小,說明學(xué)習(xí)速率越慢,對(duì)于由周圍環(huán)境變化引起的目標(biāo)表觀模型變化較小的場(chǎng)景跟蹤效果較好；否則,相反。

本文提出采用相鄰2幀圖像的平均差來分段調(diào)整在線學(xué)習(xí)速率η的方法,具體步驟如下：

1)相鄰2幀圖像平均差的計(jì)算:對(duì)M×N的圖像W,像素值用Wij來表示,第f幀與前一幀的平均差為

(8)

2)在線學(xué)習(xí)速率的調(diào)整:當(dāng)eemax時(shí),表示相鄰2幀圖像的平均差大于設(shè)定的閾值上限,此時(shí)目標(biāo)表觀模型變化較大,在線學(xué)習(xí)速率應(yīng)該設(shè)置較大的數(shù)值。通過實(shí)驗(yàn)測(cè)試,本文中emin和emax的取值分別為emin=2.5,emax=8。采用分段策略來調(diào)整在線學(xué)習(xí)速率

(9)

2.3 結(jié)合學(xué)習(xí)速率調(diào)整的尺度估計(jì)方法

初始化：根據(jù)第一幀視頻選取要跟蹤目標(biāo),確定相關(guān)參數(shù)。

輸出：當(dāng)前幀中目標(biāo)的位置Pf和尺度sf。

3 實(shí)驗(yàn)結(jié)果與分析

選取6組具有代表性的視頻序列(Car4,Basketball,Girl,Jogging,Lemming,Subway)進(jìn)行測(cè)試,這些視頻涵蓋了尺度變化、遮擋、形變、背景干擾、快速移動(dòng)、光照變化和旋轉(zhuǎn)[16]等干擾因素。同時(shí),將本文算法與CSK[9]、CN[10]、KCF[11]、SAMF[12]、DSST[13]等5種經(jīng)典跟蹤算法進(jìn)行對(duì)比。

3.1 實(shí)驗(yàn)環(huán)境與評(píng)價(jià)指標(biāo)

本文實(shí)驗(yàn)均在MATLAB R2013b,Windows 10系統(tǒng),Intel Core i7—4790 CPU,主頻4 GHz,4 GB內(nèi)存配置的電腦上完成。選取的每個(gè)測(cè)試視頻,只能確定初始幀中目標(biāo)的位置和大小,其他信息未知。對(duì)于本文算法,正則化參數(shù)λ=10-4,在位置檢測(cè)中,搜索窗口的大小是ws=2.5ts,ts為目標(biāo)大?。辉诔叨裙烙?jì)中,s={0.92s0,0.96s0,s0,1.04s0,1.08s0},σ={0.92,0.96,1,0.96,0.92}。其他算法均采用相應(yīng)作者所提供的參數(shù)。本文采用了3個(gè)性能評(píng)價(jià)指標(biāo)：中心位置誤差(center location error,CLE),距離精度[17](distance precision,DP)和重疊精度(overlap precision,OP)。其中,CLE表示檢測(cè)到的目標(biāo)中心位置與目標(biāo)真實(shí)中心位置之間的平均歐氏距離；DP為CLE小于某一閾值(實(shí)驗(yàn)中均取20 pixel)的幀數(shù)與視頻總幀數(shù)的比值[17]；OP為跟蹤框的重疊度超過一個(gè)閾值(實(shí)驗(yàn)中均取0.5)的幀數(shù)與視頻總幀數(shù)的比值。測(cè)試結(jié)果如表1,對(duì)最優(yōu)算法結(jié)果加粗。

表1 不同算法的測(cè)試結(jié)果

3.2 算法性能對(duì)比實(shí)驗(yàn)

從表1可以看出,本文算法在6組視頻上得到的平均CLE為7.7像素,平均DP為94.0 %,平均OP為82.7 %。其他5種算法中SAMF表現(xiàn)最優(yōu),本文算法與SAMF相比,平均CLE降低了22.3像素,平均DP增加了14.9 %,平均OP增加了15.1 %。便于直觀比較,畫出DP曲線如圖1。

圖1 6種算法在3個(gè)視頻中的DP曲線

從表2可以看出,本文算法同采用尺度金字塔的DSST和SAMF跟蹤算法相比,跟蹤速度有了較大的提升。

圖2(a)Car4視頻中存在光照變化、目標(biāo)尺度變化和背景干擾等問題,在第238幀中當(dāng)光照和目標(biāo)尺度發(fā)生變化時(shí),其他5種算法均出現(xiàn)了一定的跟蹤偏差,只有本文算法對(duì)整個(gè)視頻列都能進(jìn)行較好的跟蹤。圖2(b)Basketball視頻中存在目標(biāo)尺度變化、形變和快速移動(dòng)等干擾因素,在第54幀中目標(biāo)發(fā)生形變時(shí),和第73幀中目標(biāo)發(fā)生快速移動(dòng)時(shí),其他幾種算法出現(xiàn)了較大的跟蹤偏差甚至跟蹤失敗,只有本文算法能夠準(zhǔn)確地跟蹤整個(gè)視頻序列。圖2(c)Girl視頻中存在目標(biāo)尺度變化、旋轉(zhuǎn)、姿態(tài)變化以及部分遮擋等干擾因素,在第437幀中當(dāng)目標(biāo)發(fā)生部分遮擋時(shí),其他幾種算法均出現(xiàn)了跟蹤失敗的情況,只有本文算法對(duì)整個(gè)視頻列都能進(jìn)行較好的跟蹤。

表2 6種跟蹤算法的速度對(duì)比

圖2 6種算法跟蹤結(jié)果比較

3.3 目標(biāo)發(fā)生嚴(yán)重遮擋時(shí)的跟蹤實(shí)驗(yàn)

圖3所示為3組視頻的DP曲線?？梢钥闯?與另外5種算法相比,本文算法在目標(biāo)發(fā)生嚴(yán)重遮擋的情況下能夠獲得更高精度和更穩(wěn)定的跟蹤結(jié)果。

圖3 3組嚴(yán)重遮擋視頻的DP曲線

圖4所示為3組視頻從遮擋開始到遮擋結(jié)束時(shí)的跟蹤結(jié)果?？梢钥闯?在Jogging視頻和Lemming視頻中當(dāng)目標(biāo)遇到嚴(yán)重遮擋時(shí),只有本文算法依然能夠有效地跟蹤目標(biāo),而其他5種算法均出現(xiàn)了跟蹤失敗的情況；在Subway視頻中第41幀目標(biāo)發(fā)生了嚴(yán)重遮擋,到第51幀遮擋結(jié)束時(shí),本文算法和KCF,SAMF算法依然可以準(zhǔn)確地跟蹤目標(biāo),其他3種算法都出現(xiàn)了目標(biāo)跟蹤失敗的情況,本文算法的CLE,DP,OP均優(yōu)于KCF和SAMF。

圖4 存在嚴(yán)重遮擋時(shí)各種算法跟蹤結(jié)果

4 結(jié) 論

通過和其他5種經(jīng)典的目標(biāo)跟蹤算法進(jìn)行對(duì)比,本文算法在目標(biāo)發(fā)生尺度變化、嚴(yán)重遮擋以及背景干擾等復(fù)雜環(huán)境下具有更強(qiáng)的魯棒性,同時(shí)231幀/s的平均跟蹤速度能夠很好地滿足實(shí)時(shí)性的要求。