自適應(yīng)分塊優(yōu)化的目標(biāo)跟蹤算法

楊 波，王小虎

(1.四川文理學(xué)院 財(cái)經(jīng)管理學(xué)院，四川 達(dá)州 635000；2.華北理工大學(xué) 礦業(yè)工程學(xué)院，河北 唐山 063210)

0 引 言

目標(biāo)跟蹤已經(jīng)在智能監(jiān)控、導(dǎo)航定位等各個(gè)領(lǐng)域有著重要應(yīng)用[1]，但受實(shí)際復(fù)雜環(huán)境的干擾，已有算法難以滿足準(zhǔn)確性與實(shí)時(shí)性的要求，因此，設(shè)計(jì)合理的目標(biāo)跟蹤特征模型，并提高其對(duì)復(fù)雜干擾背景的自適應(yīng)特性，具有重要的意義[2]。

傳統(tǒng)特征模板[3]、局部稀疏表達(dá)[4]、SVM[5]及Baye-sian分類器[6]等跟蹤算法對(duì)光照變化、遮擋等背景干擾的適應(yīng)性較差，且對(duì)樣本質(zhì)量要求高，計(jì)算復(fù)雜度大[7]。Zhang等[8]采用核相關(guān)濾波(kernel correlation filter，KCF)算法，并采用多通道特征來提高跟蹤算法的目標(biāo)跟蹤準(zhǔn)確性和實(shí)時(shí)性；DONG等[9]將顏色的各種屬性信息引入到KCF框架中，并對(duì)計(jì)算得到的高維度顏色特征進(jìn)行降維，從而提高了算法的實(shí)時(shí)性和跟蹤有效性；龔真等[10]將多種特征融合與KCF相結(jié)合進(jìn)行目標(biāo)跟蹤，以緩解單一特征易被干擾的問題；熊昌鎮(zhèn)等[11]基于融合特征和KCF梯度直方圖進(jìn)行目標(biāo)位置估計(jì)，取得較高的跟蹤效率。基于相關(guān)濾波框架的跟蹤算法具有較好的運(yùn)算效率，但其模型中未加入局部背景信息，因而易受背景環(huán)境干擾而產(chǎn)生跟蹤漂移[12]。圖像子塊具有較好的特征不變性，對(duì)遮擋及光照變化等具有較好的抗干擾性能[13]。基于此，Bency等[14]將自適應(yīng)KCF與子塊分割相結(jié)合，通過子塊KCF和預(yù)測加權(quán)進(jìn)行目標(biāo)跟蹤；夏斯維等[15]結(jié)合光流法與分塊思想，在失效判別基礎(chǔ)上，通過塊內(nèi)濾波訓(xùn)練和塊間加權(quán)融合提高跟蹤精度。已有基于圖像分塊的跟蹤算法以固定的矩形分塊為主，不利于目標(biāo)特征的多樣性檢測，而且容易引入背景干擾。

在已有研究基礎(chǔ)上，提出基于自適應(yīng)分塊和子塊異步更新的目標(biāo)跟蹤算法，算法首先構(gòu)建光照不敏感特征和超像素自適應(yīng)分塊，然后基于相對(duì)熵和特征聚類實(shí)現(xiàn)高置信度的子塊的自適應(yīng)提取，從而提高目標(biāo)跟蹤的精確性和跟蹤效率，最后通過異步更新存在變化的子塊來提高算法運(yùn)算效率和環(huán)境適應(yīng)性。實(shí)驗(yàn)結(jié)果驗(yàn)證了文中算法的有效性。

1 光照不敏感特征提取

局部敏感直方圖(local sensitive histogram，LSH)不同于傳統(tǒng)直方圖采用的特定灰度級(jí)統(tǒng)計(jì)，而是對(duì)像素鄰域信息進(jìn)行統(tǒng)計(jì)，以位置為權(quán)重計(jì)算像素點(diǎn)的直方圖，其計(jì)算式為

(1)

式中：p和q為像素位置，bp=1,2,…,B為像素p的灰度級(jí),B為總級(jí)數(shù)，α∈(0,1) 為距離相關(guān)的懲罰因子，Iq為像素q的灰度值，W為鄰域總像素?cái)?shù)。

為解決光照變化影響，由LSH構(gòu)建對(duì)光照不敏感的跟蹤特征(light insensitive feature，LIF)，即

(2)

2 基于自適應(yīng)分塊的目標(biāo)跟蹤

2.1 超像素自適應(yīng)分塊

圖像分塊具有較好的抗局部遮擋特性[5]，且其內(nèi)部特征較為穩(wěn)定，具有模式不變性，因而對(duì)背景的復(fù)雜變化和光照影響等干擾具有較好的抗干擾能力。超像素模型依據(jù)像素的紋理屬性對(duì)圖像進(jìn)行分塊處理，可以將具有相同或相似特征的鄰域像素劃分為一類，并按相同類別標(biāo)簽進(jìn)行處理，因而，其分塊具備一定意義上的語義獨(dú)立性，且基于超像素塊的運(yùn)算可避免逐像素運(yùn)算的復(fù)雜性，大幅提高跟蹤算法的運(yùn)算效率[10]。

文中采用基于梯度的主流紋理感知SLIC算法進(jìn)行圖像的超像素自適應(yīng)分塊[16]。算法首先通過具有方向性的圓窗均值濾波器規(guī)整圖像的顏色信息，以消除旨梯度噪聲對(duì)圖像紋理的影響，提高顏色距離對(duì)紋理的感知能力，其中濾波器采用1/4圓窗；然后梯度幅值上采用由Sobel梯度和區(qū)間梯度組成的聯(lián)合幅值，以實(shí)現(xiàn)抵制無效紋理、保持子圖結(jié)構(gòu)和細(xì)化邊緣的目標(biāo)；最后通過具有結(jié)構(gòu)回避特性的綜合聚類進(jìn)一步限定超像素分塊的邊界，提高子塊的特征一致性和分塊的精確性，流程如圖1所示。

圖1 紋理感知SLIC超像素分塊

基于圖1的文中自適應(yīng)目標(biāo)分塊如圖2所示，圖2(a)中跟蹤框?yàn)槭謩?dòng)預(yù)選的目標(biāo)區(qū)域，圖2(b)為自適應(yīng)分塊得到的結(jié)果子塊，圖2(c)為分塊結(jié)果的局部細(xì)化?？梢钥闯?，紋理感知SLIC超像素分塊盡可能保留了統(tǒng)一的目標(biāo)特征信息。

圖2 超像素模型自適應(yīng)分塊實(shí)驗(yàn)結(jié)果

2.2 目標(biāo)子塊自適應(yīng)選擇

在目標(biāo)跟蹤時(shí)，采用與目標(biāo)特征相關(guān)的子塊同時(shí)剔除背景特征相關(guān)子塊進(jìn)行目標(biāo)跟蹤，跟蹤結(jié)果將更加準(zhǔn)確[17]。定義基于Kullback-Leibler相對(duì)熵的局部差異描述算子dt(r) 來量化背景與目標(biāo)子塊之間的特征差異，其計(jì)算式為

(3)

式中：t為圖像的幀號(hào)，r為分塊后子塊的序號(hào)，hf(i) 與hb(i) 分別為子塊區(qū)域和背景區(qū)域的直方圖。根據(jù)子塊的dt(r) 可以分析各子塊是目標(biāo)或背景的置信度。

(4)

對(duì)于t幀圖像，超像素子塊s(t,r) 為目標(biāo)區(qū)域子塊的概率可以由Pc(i) 表示為

(5)

由式(3)和式(5)計(jì)算的dt(r) 和Pt(r) 可得t幀圖像中子塊s(t,r) 的置信概率Γt(r) 為

Γt(r)=[wd,ws][dt(r),Pt(r)]T

(6)

式中：wd和ws為控制dt(r) 和Pt(r) 對(duì)目標(biāo)子塊置信貢獻(xiàn)度的參數(shù)，其值為

(7)

(8)

實(shí)際應(yīng)用時(shí)對(duì)子塊的Γt(r) 值進(jìn)行排序，選取前K=argmaxi(Γt(r)>θr) 個(gè)子塊用于目標(biāo)跟蹤，θr為閾值，用以剔除置信度較低的目標(biāo)子塊。

2.3 LIF相似度量優(yōu)化的目標(biāo)跟蹤

設(shè)t幀圖像It包含有R個(gè)子塊，其可以表示為

(9)

式中：dr為子塊r和目標(biāo)所覆蓋區(qū)域的中心的距離，w0和h0為寬高初始值，則可以根據(jù)2.2節(jié)提取的具有高置信度的子塊實(shí)現(xiàn)多子塊的目標(biāo)跟蹤。由于每幀圖像僅更新與目標(biāo)相關(guān)的若干子塊，且各子塊的空間關(guān)系相對(duì)固定，因而算法可以快速計(jì)算局部直方圖等特征，實(shí)現(xiàn)實(shí)時(shí)跟蹤。

由子塊可對(duì)圖像中目標(biāo)進(jìn)行狀態(tài)估計(jì)，即

(10)

(11)

式中：q為子塊內(nèi)的像素位置，W為子塊像素?cái)?shù)。將候選目標(biāo)區(qū)域中的所有子塊的dm(q) 進(jìn)行累加，則得到候選區(qū)域與目標(biāo)區(qū)域之間的差異，即目標(biāo)的總相似度

(12)

對(duì)當(dāng)前圖像中的所有候選區(qū)域都可計(jì)算總相似度，則值最小的候選區(qū)域?yàn)楫?dāng)前幀的目標(biāo)跟蹤參考區(qū)域，進(jìn)而估計(jì)目標(biāo)在當(dāng)前圖像中的預(yù)測位置

(13)

式(13)所示預(yù)測位置中，當(dāng)參考區(qū)域根據(jù)目標(biāo)區(qū)域設(shè)定相同的子塊區(qū)域，因而區(qū)域中可能存在背景部分，且并沒有充分利用高置信度的子塊進(jìn)行目標(biāo)跟蹤，為此，采用高斯模型[18]對(duì)式(11)所示子塊差異進(jìn)行改進(jìn)，得到子塊間的似然函數(shù)為

(14)

由式(14)計(jì)算參考區(qū)域中的所有子塊的似然函數(shù)可以得到聯(lián)合似然函數(shù)，再結(jié)合子塊置信度，可得式(13)的目標(biāo)跟蹤優(yōu)化值，即

(15)

由于目標(biāo)在運(yùn)動(dòng)過程中，受圖像采集設(shè)備的影響，在連續(xù)圖像間會(huì)存在一定的尺度變化，為此，文中采用自適應(yīng)閾值分割對(duì)目標(biāo)的尺度進(jìn)行估計(jì)，其過程為，先計(jì)算目標(biāo)區(qū)域與背景區(qū)域的LIF值，即ftar(q) 和fbg(q)， 然后通過LIF值計(jì)算自適應(yīng)分割閾值δ

δ=argmin(2ftar(qδ)-ftar(qδ+1)+fbg(qδ))

(16)

式中：qδ為閾值分割位置的像素位置，以δ對(duì)顏色概率圖進(jìn)行二值化處理，然后根據(jù)目標(biāo)前景變化，估計(jì)尺度狀態(tài)。

2.4 目標(biāo)遮擋處理與子塊異步更新

上述方法未考慮目標(biāo)被遮擋時(shí)的算法更新，根據(jù)通常攝像機(jī)的30幀率，如果目標(biāo)被遮擋1 s以上，算法模板會(huì)被遮擋物取代造成累積漂移，為此，文中基于峰值旁瓣比R1(q) 進(jìn)行遮擋的檢測處理，對(duì)于第t幀采集圖像，其判別式為

(17)

式中：Fmax為最大響應(yīng)，uH和σ為峰值旁瓣的期望和方差。為適應(yīng)目標(biāo)遮擋情況，將目標(biāo)區(qū)域及其參考區(qū)域自適應(yīng)地劃分為K個(gè)區(qū)域，這樣，f1(q) 通過分析響應(yīng)的多峰值來判斷子區(qū)域是否出現(xiàn)遮擋，如果有f1(i)>λ0，λ0為預(yù)設(shè)閾值，則表明該層子區(qū)域存在遮擋情況，文中閾值取值為

(18)

式中：Mk為第k層區(qū)域的子塊數(shù)，這樣算法可根據(jù)子區(qū)域大小自適應(yīng)設(shè)置閾值。

根據(jù)式(17)所示的判斷方法進(jìn)行目標(biāo)的遮擋檢測而得到的遮擋檢測實(shí)驗(yàn)效果如圖3所示，從實(shí)驗(yàn)結(jié)果可以看出，當(dāng)LEG區(qū)域被嚴(yán)重遮擋時(shí)，其對(duì)應(yīng)曲線的幅值達(dá)到最大值，而當(dāng)其遮擋消失后，幅值回到閾值以下；而在整個(gè)過程中，BODY子區(qū)域中不存在遮擋情況，因而其曲線的幅值一直低于閾值，從圖3實(shí)驗(yàn)結(jié)果可以說明式(17)可以有效判別目標(biāo)遮擋而實(shí)現(xiàn)目標(biāo)的自適應(yīng)遮擋檢測。

圖3 遮擋檢測實(shí)驗(yàn)結(jié)果

當(dāng)目標(biāo)的不同區(qū)域出現(xiàn)遮擋時(shí)，基于緩沖池策略不同區(qū)域進(jìn)行異步更新。

(19)

3 實(shí)驗(yàn)驗(yàn)證及分析

為驗(yàn)證算法跟蹤性能，以目標(biāo)跟蹤大型數(shù)據(jù)集OTB50和OTB100[1]作為實(shí)驗(yàn)數(shù)據(jù)，以跟蹤性能較為優(yōu)異的KCF算法[11]、DSST算法[1]、SPT算法[13]、BACF算法[1]作為實(shí)驗(yàn)比較算法，采用mat lab 2016a軟件實(shí)現(xiàn)各算法。

3.1 跟蹤精度比較分析

首先驗(yàn)證算法的跟蹤準(zhǔn)確性，以跟蹤正確率均值faccu和跟蹤重合率均值faor作為實(shí)驗(yàn)性能評(píng)價(jià)指標(biāo)，faccu描述圖像序列中實(shí)現(xiàn)目標(biāo)正確跟蹤的幀數(shù)，因此faccu均值越大，說明實(shí)驗(yàn)過程中目標(biāo)跟蹤的正確率越高，但無法說明跟蹤的精確性情況，而faor則描述了正確跟蹤后的目標(biāo)框與跟蹤框之間的中心距離，faor值越小，則跟蹤精確性越高。多次實(shí)驗(yàn)結(jié)果見表1和表2。從表中實(shí)驗(yàn)結(jié)果可以看出，F(xiàn)aceocc1序列中背景較為干凈，對(duì)跟蹤影響和干擾較小，因而，KCF、DSST和BACF算法與SPT及文中算法取得相近跟蹤結(jié)果，但在其它圖像序列中，存在背景干擾、目標(biāo)遮擋和相似目標(biāo)時(shí)，KCF、DSST和BACF這3種算法的跟蹤正確率迅速降低，跟蹤精度也變壞，而SPT和文中算法仍取得較優(yōu)的跟蹤效果，而文中算法的正確率和跟蹤精度更有優(yōu)勢。

表1 各算法的跟蹤正確率均值

表2 各算法的跟蹤重合率均值

3.2 跟蹤性能實(shí)驗(yàn)分析

在存在目標(biāo)遮擋、復(fù)雜背景及光照變化等嚴(yán)重影響目標(biāo)跟蹤效果的實(shí)驗(yàn)場景中進(jìn)行目標(biāo)跟蹤實(shí)驗(yàn)，并對(duì)結(jié)果進(jìn)行綜合分析，實(shí)驗(yàn)過程中的部分實(shí)驗(yàn)結(jié)果如圖4所示。

圖4 各算法目標(biāo)跟蹤實(shí)驗(yàn)結(jié)果

從圖4中實(shí)驗(yàn)結(jié)果可以看出，在目標(biāo)移動(dòng)較快且存在一定遮擋時(shí)，KCF和BACF逐漸發(fā)生偏移，甚至由于缺少有效的遮擋檢測而完全丟失目標(biāo)，主要因?yàn)镵CF算法經(jīng)歷一次遮擋影響后，其密集采樣相關(guān)濾波的分類器性能極速下降，而BACF算法主要依據(jù)其首幀數(shù)據(jù)進(jìn)行模型的迭代更新，跟蹤過程偏差累積較大。SPT和DSST在模型相關(guān)濾波更新時(shí)采用實(shí)時(shí)的真實(shí)背景作為負(fù)樣本，模型判別和抗遮擋性能更強(qiáng)，跟蹤較為穩(wěn)定。文中算法通過高置信子塊在遮擋前后的變化度量實(shí)時(shí)獲取目標(biāo)變化，并根據(jù)變化結(jié)果通過擴(kuò)展采樣范圍實(shí)現(xiàn)對(duì)目標(biāo)的重新跟蹤和捕捉。

綜合分析上述實(shí)驗(yàn)結(jié)果，可以看出，在遮擋、光照變化及相似目標(biāo)等復(fù)雜場景下，文中算法的綜合目標(biāo)跟蹤表現(xiàn)更加平穩(wěn)，正確率最優(yōu)。

4 結(jié)束語

為適應(yīng)復(fù)雜環(huán)境下存在的光照變化、背景復(fù)雜、目標(biāo)遮擋及相似目標(biāo)干擾等問題，提出了基于自適應(yīng)分塊和異步更新的魯棒目標(biāo)跟蹤算法，算法首先構(gòu)建光照不敏感特征和超像素自適應(yīng)分塊，然后通過相對(duì)熵和特征聚類實(shí)現(xiàn)高置信度子塊的自適應(yīng)提取，以提高跟蹤的精確性；最后算法通過遮擋的自適應(yīng)檢測和子塊緩沖池的異步更新，進(jìn)一步提高算法運(yùn)算性能和跟蹤效率。實(shí)驗(yàn)結(jié)果表明，與KCF、DSST、SPT和BACF等已知文獻(xiàn)中的算法相比，文中算法具有更優(yōu)的跟蹤正確率，以及對(duì)不同復(fù)雜場景干擾的適應(yīng)性和魯棒性，驗(yàn)證了算法的有效性。