特征融合的尺度估計(jì)顏色名跟蹤算法

呂 凱，袁 亮，岳昊恩

(新疆大學(xué) 機(jī)械工程學(xué)院，新疆 烏魯木齊 830047)

0 引 言

近年來，相關(guān)濾波跟蹤算法在目標(biāo)跟蹤方面取得了高精度、高速度的特點(diǎn)[1-4]，從而引起研究人員的廣泛關(guān)注,并且應(yīng)用廣泛[5-7]。早期Bolme等使用對圖像的灰度特征進(jìn)行跟蹤的相關(guān)濾波跟蹤算法，即最小均方誤差和濾波跟蹤器(MOSSE)，但是這種算法單一利用的圖像灰度特征，不適用在復(fù)雜的場景。Henriques等提出了循環(huán)結(jié)構(gòu)跟蹤器(CSK)[8]，之后又提出了核相關(guān)濾波算法(KCF)[9]，雖然跟蹤精度得到了顯著的提高，但是沒有解決目標(biāo)尺寸變化的問題。Danelljan等提出的判別尺度空間跟蹤器算法(DSST)[10]，利用位置濾波器(translation filter)和尺度濾波器(scale filter)對目標(biāo)依次進(jìn)行定位和尺度評估，開創(chuàng)了平移濾波+尺度濾波的方法。Danelljan等提出的顏色名跟蹤算法(CN)[11]，將圖像的RGB顏色信息映射到包含黑、藍(lán)、棕、綠、灰、橙、粉、紫、紅、白和黃11個(gè)顏色通道的CN空間[12],這種方法具有一定的光學(xué)不變性，但是運(yùn)算量大，然而這類算法依然沒有解決目標(biāo)尺寸自適應(yīng)的問題。

目前大多數(shù)傳統(tǒng)相關(guān)濾波跟蹤算法都無法有效解決目標(biāo)的尺度變化、遮擋問題，為此提出一個(gè)在顏色名(color name，CN)跟蹤器框架下融入LBP紋理特征的快速尺度估計(jì)算法。該算法在表達(dá)目標(biāo)信息方面，將CN顏色特征和LBP紋理特征自適應(yīng)融合，提高目標(biāo)跟蹤的精度,并且增加一個(gè)獨(dú)立的一維尺度濾波器對檢測到的目標(biāo)信息做出最優(yōu)尺度估計(jì)。在目標(biāo)模板更新方面，添加了一個(gè)峰值旁瓣比判斷，可以防止目標(biāo)模板錯誤更新從而導(dǎo)致錯誤跟蹤，最后在尺度濾波器的最高響應(yīng)值作為最后的目標(biāo)位置信息。

1 相關(guān)濾波跟蹤器

1.1 CN跟蹤器原理

CN跟蹤器是建立在CSK跟蹤器的基礎(chǔ)上，拓展了顏色屬性，先將RGB空間的圖像映射到CN空間通道，然后用FFT(快速傅里葉變化)、核映射對每一個(gè)通道進(jìn)行處理，最后將處理過的11個(gè)顏色通道的頻域信號線性加權(quán)，繼續(xù)完成CSK的計(jì)算，其中降低運(yùn)算量的關(guān)鍵在于兩個(gè)方面，一方面沿用了CSK的循環(huán)結(jié)構(gòu)進(jìn)行相鄰幀的相關(guān)性檢測；另一方面是通過主成分分析(PCA)自適應(yīng)地降低顏色屬性的維度方法，將11個(gè)顏色通道降為2個(gè)。

1.2 CN跟蹤器相關(guān)計(jì)算

CN跟蹤器是以目標(biāo)為中心，用一個(gè)大小為M×N矩形框選取圖像第一幀的目標(biāo)圖像塊x來訓(xùn)練線性分類器。例如，首先把第一幀到當(dāng)前幀p的目標(biāo)提取出來 {xj∶j=1,…,p}。 然后將用這些幀上的加權(quán)平均二次誤差構(gòu)造代價(jià)函數(shù)，但因?yàn)槠浣鈨H限于包含一組分類器系統(tǒng)α，所以每個(gè)幀j用常量βj≥0加權(quán)。最后代價(jià)函數(shù)被表示為

(1)

可以看出，代價(jià)函數(shù)的最小化為

(2)

(3)

在目標(biāo)跟蹤中，框選大小為M×N的目標(biāo)圖像塊x可以從待處理幀p+1中提取，置信分值計(jì)算公式

(4)

(5)

式中：α1，…，αp是權(quán)重函數(shù)

(6)

式中：M×N表示圖像塊領(lǐng)域大小，(m,n)∈{0,…,M-1}×{0,…,N-1}

(7)

2 改進(jìn)算法

2.1 多特征融合

CN特征對于運(yùn)動模糊具有很好的穩(wěn)定性，LBP特征[13]具有旋轉(zhuǎn)不變性和灰度不變性等顯著的優(yōu)點(diǎn)。由于在復(fù)雜背景下，目標(biāo)跟蹤過程中會出現(xiàn)目標(biāo)丟出的問題，為克服這類問題，提出在CN跟蹤器的框架下增加LBP特征，利用CN+LBP特征融合以達(dá)到增強(qiáng)目標(biāo)的特征模型。

LBP紋理特征定義為

(8)

式中：(xc,yc) 為中心像素；gc為中心像素點(diǎn)；gp為領(lǐng)域像素點(diǎn)。

LBP特征的統(tǒng)計(jì)直方計(jì)算公式為

(9)

(10)

2.2 融入多尺度估計(jì)

針對目標(biāo)跟蹤過程中跟蹤目標(biāo)出現(xiàn)的尺度變化問題，提出了通過建立獨(dú)立的一維尺度濾波器去檢測目標(biāo)尺度的變化并且通過最高響應(yīng)值估計(jì)目標(biāo)的最優(yōu)尺度。尺度估計(jì)步驟：首先CN濾波器作為框架并且融合CN特征和LBP特征進(jìn)行目標(biāo)跟蹤，并且獲取目標(biāo)及其周圍的圖像塊xs,xs=M×N，在圖像塊xs采集一系列不同尺度的圖像塊xsi,xsi=αiM×αiN，其中α=1.02代表尺度因子，i∈{-[(n-1)/2],…,[(n-1)/2]},n=33代表33個(gè)不同尺度。然后在這一系列不同尺度的圖像塊中進(jìn)行多特征融合響應(yīng)，每個(gè)圖像塊對應(yīng)的高斯函數(shù)標(biāo)簽為ysi；并且使用這些圖像塊去訓(xùn)練RLS分類器，在線性空間求解，獲得一個(gè)一維尺度濾波器；最后通過這個(gè)濾波器找出的最大輸出響應(yīng)作為跟蹤目標(biāo)的最優(yōu)尺度。

訓(xùn)練RLS分類器，得到一維尺度濾波器模板Snum,Hden的計(jì)算和更新公式為

(11)

(12)

式中：ηs是固定的參數(shù)。

尺度濾波器的輸出響應(yīng)為

(13)

2.3 目標(biāo)模型自適應(yīng)更新

跟蹤算法要對目標(biāo)模板進(jìn)行更新，但是在更新過程中，由于目標(biāo)在遮擋等復(fù)雜情況下會把目標(biāo)的背景信息更新入目標(biāo)模板中，這樣存在一個(gè)背景信息干擾目標(biāo)信息的情況，從而導(dǎo)致目標(biāo)跟蹤丟失。為了解決這類問題，本文提出了利用峰值旁瓣比(peak to sidelobe ratio，PSR)，設(shè)定閾值，對目標(biāo)模型進(jìn)行自適應(yīng)更新，PSR的計(jì)算公式

(14)

式中：p為響應(yīng)最大峰值；u為旁瓣區(qū)域的均值；σ為旁瓣區(qū)域的標(biāo)準(zhǔn)差。若PSR值越大，則表明跟蹤結(jié)果越準(zhǔn)確。故改進(jìn)算法設(shè)定閾值T=10，當(dāng)PSR>T時(shí)，更新目標(biāo)模板；當(dāng)PSR

2.4 改進(jìn)算法步驟

改進(jìn)算法的框架見表1；改進(jìn)算法流程如圖1所示。

表1 改進(jìn)算法的框架

圖1 改進(jìn)算法流程

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境及設(shè)置

實(shí)驗(yàn)硬件環(huán)境為CPU Intel Core i5-7500，主頻3.40GHz，內(nèi)存8GB配置的計(jì)算機(jī)，算法開發(fā)平臺為MATLAB R2015b。除特殊說明外，實(shí)驗(yàn)中的參數(shù)使用原作者提供代碼的默認(rèn)參數(shù)。

改進(jìn)算法針對跟蹤目標(biāo)的尺度變化和遮擋問題所改進(jìn)的，為了驗(yàn)證算法的性能，采用OTB-2013中51組含有不同屬性的視頻集進(jìn)行評估，并且與CSK[8],KCF[9],DSST[10],CN[11]這4種流行跟蹤算法做對比實(shí)驗(yàn)。

3.2 定性分析

表2 實(shí)驗(yàn)測試的視頻

(1)尺度變化。在跟蹤過程中，由于跟蹤目標(biāo)尺度發(fā)生改變，而跟蹤框大小固定，因此無法提取有效的目標(biāo)信息，最終導(dǎo)致目標(biāo)漂移或丟失。以“Car4”“Carscale”兩組視頻為例，這兩組視頻中的目標(biāo)均出現(xiàn)一定程度的尺度變化。如圖2(a)可看出，以車輛為跟蹤目標(biāo)，在車輛行駛過程中，目標(biāo)變道以及尺度逐漸變小，在第131幀，CN、KCF、CSK等算法均出現(xiàn)了較小的漂移，隨著幀數(shù)的增加漂移現(xiàn)象越來越明顯。如圖2(b)中跟蹤目標(biāo)為行駛的車輛，存在著部分遮擋以及尺度逐漸變大，在第176幀，CN、KCF、CSK等算法同樣出現(xiàn)了漂移，而引起這些漂移的原因是這3種算法目標(biāo)框尺度不變，使得獲取背景信息較多，目標(biāo)特征較小。而改進(jìn)算法和DSST算法能隨著目標(biāo)尺度變化自適應(yīng)的修改跟蹤框大小，和CN、KCF、CSK等算法對比，相對提取少量雜質(zhì)信息，能夠穩(wěn)定地跟蹤目標(biāo)。

(2)目標(biāo)遮擋。在目標(biāo)跟蹤過程中，遮擋問題時(shí)常發(fā)生，在遮擋情況下，若不能有效獲取足夠的目標(biāo)信息，則最終導(dǎo)致跟蹤失敗。文中以“Girl”“Tigerl”“Walking2”3組視頻為例，目標(biāo)在跟蹤過程中被不同程度的遮擋。如圖2(c)在第457幀出現(xiàn)了遮擋，在視頻后續(xù)中CN、DSST、KCF、CSK等算法均丟失跟蹤，而改進(jìn)算法跟蹤成功；如圖2(d)在第128幀之后出現(xiàn)遮擋，在視頻后續(xù)中CN、DSST、KCF、CSK等算法存在著跟蹤漂移或者跟蹤失敗，只有改進(jìn)算法能夠穩(wěn)定跟蹤目標(biāo)；在圖2(e)中，可以看出在第331幀中出現(xiàn)遮擋以及尺度變化，在之后的跟蹤過程中CN算法、CSK算法跟蹤目標(biāo)丟失，KCF算法跟蹤目標(biāo)出現(xiàn)漂移，DSST算法和改進(jìn)算法跟蹤目標(biāo)穩(wěn)定準(zhǔn)確。改進(jìn)算法利用峰值旁瓣比，設(shè)定閾值，當(dāng)峰值旁瓣比小于閾值時(shí)，停止模板更新，維持前一幀模板信息，避免了遮擋情況下更新錯誤的模板信息，因此從這3組視頻中表現(xiàn)出改進(jìn)算法具有較強(qiáng)的抗目標(biāo)遮擋能力，可以穩(wěn)定準(zhǔn)確的跟蹤目標(biāo)。

(3)光照變化。由于光照強(qiáng)度發(fā)生改變，引起跟蹤目標(biāo)與背景的亮度信息發(fā)生改變，因此干擾了目標(biāo)特征準(zhǔn)確選取，最終導(dǎo)致目標(biāo)跟蹤偏差或者丟失。以“fish”“Singer1”“Trellis”3組視頻為例，如圖2(f)～圖2(h)中均出現(xiàn)了背景光照發(fā)生劇烈變化，在目標(biāo)跟蹤過程中，CN、KCF、CSK等算法在跟蹤目標(biāo)時(shí)都出現(xiàn)了目標(biāo)漂移甚至丟失，而DSST算法和改進(jìn)算法能夠穩(wěn)定準(zhǔn)確的跟蹤目標(biāo)。改進(jìn)算法融合了CN特征和LBP特征使得算法對光照具有較強(qiáng)的魯棒性，對光照變化適應(yīng)能力較強(qiáng)，從而可以很好的目標(biāo)跟蹤。

(4)快速運(yùn)動。由于目標(biāo)運(yùn)動較快，圖像分辨率不高，導(dǎo)致圖像模糊，因此目標(biāo)的特征信息很難準(zhǔn)確獲取，最終導(dǎo)致跟蹤目標(biāo)失敗。以“fleetface”“Jumping”兩組視頻為例，如圖2(i)跟蹤目標(biāo)存在著快速運(yùn)動、尺度變化、目標(biāo)形變、旋轉(zhuǎn)等屬性，在第529幀之后,CN、KCF、CSK等算法跟蹤漂移或者失敗，DSST算法和改進(jìn)算法可以準(zhǔn)確跟蹤目標(biāo)；如圖2(j)跟蹤目標(biāo)存在快速運(yùn)動、運(yùn)動模糊等屬性，在第24幀后續(xù)中只有改進(jìn)算法可以穩(wěn)定跟蹤目標(biāo)。改進(jìn)算法采用了尺度估計(jì)和峰值旁瓣比判斷來更新目標(biāo)模板，從而可以繼續(xù)跟蹤目標(biāo)，保證了算法最快速運(yùn)動目標(biāo)具有較好的穩(wěn)健性。

圖2 5種算法在部分序列上的跟蹤結(jié)果顯示

表3、表4為改進(jìn)算法與4種算法在10組測試視頻上的中心位置誤差、重疊率中作比較。從表3可以看出，改進(jìn)算法在10組測試視頻中的中心位置誤差值一直較?。粡谋?可以看出，改進(jìn)算法在10組視測試頻中的覆蓋率值均較大；因此通過表3、表4中的數(shù)據(jù)可以表明改進(jìn)算法更具有跟蹤目標(biāo)的優(yōu)越性。

3.3 定量分析

通過時(shí)間魯棒性評估(TRE)，即51組視頻集的每一組視頻序列分成20個(gè)片段，跟蹤器會在每一個(gè)序列的片段上進(jìn)行評估且整體的統(tǒng)計(jì)數(shù)據(jù)也會被記錄下來。這樣評估方法更能驗(yàn)證改進(jìn)算法的跟蹤性能。

表3 中心位置誤差

表4 重疊精度對比

圖3是51個(gè)視頻集的精度曲線和成功率曲線。由圖可以看出，改進(jìn)算法在TRE評估中，跟蹤精度和成功率均高于其它4種跟蹤算法，并且與CN算法比較，跟蹤精度提高10.1%，成功率提高23.5%。因此驗(yàn)證了改進(jìn)算法具有較高的魯棒性。

圖3 51個(gè)視頻集的精度曲線和成功率曲線

3.4 算法跟蹤速率

在CPU運(yùn)行條件下，5種跟蹤算法在OTB-2013的51組視頻集的平均跟蹤速率見表5。從表5可以看出，改進(jìn)算法在跟蹤速度上要慢于其它算法，這是由于改進(jìn)算法加入了尺度估計(jì)和特征融合。

表5 5種跟蹤算法的平均運(yùn)算速度

4 結(jié)束語

針對傳統(tǒng)CN算法在尺度變化、遮擋等情況下目標(biāo)跟蹤效果不理想，提出了一種快速尺度估計(jì)的多特征融合顏色名算法，該算法在CN跟蹤器框架下融入LBP紋理特征，增強(qiáng)了目標(biāo)特征信息的表達(dá)；然后增加一個(gè)獨(dú)立的尺度濾波器，彌補(bǔ)了傳統(tǒng)CN算法不能自適應(yīng)目標(biāo)的尺度變化；最后結(jié)合響應(yīng)圖的峰值旁瓣比，設(shè)定閾值，對目標(biāo)模型做出更新調(diào)整。實(shí)驗(yàn)結(jié)果表明，改進(jìn)算法相比于傳統(tǒng)的CN算法，在尺度變化、光照變化、遮擋、快速運(yùn)動等復(fù)雜場景下，有較高的成功率和跟蹤精度；并且在整體測試中，具有良好的魯棒性和實(shí)時(shí)性。