對(duì)光照變化魯棒的多特征動(dòng)態(tài)提取跟蹤算法

李 琳，余勝生

(1.武漢理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，湖北 武漢430070;2.華中科技大學(xué) 計(jì)算機(jī)學(xué)院，湖北 武漢430070)

視覺(jué)跟蹤問(wèn)題是計(jì)算機(jī)視覺(jué)領(lǐng)域中的一個(gè)重要問(wèn)題。目前，理想環(huán)境下的視覺(jué)跟蹤算法取得了較好的研究成果［1］。但如何克服實(shí)際跟蹤過(guò)程中各種客觀因素(如光照變化)的影響，如何準(zhǔn)確提取視覺(jué)特征，實(shí)現(xiàn)復(fù)雜環(huán)境下的魯棒視覺(jué)跟蹤已成為現(xiàn)階段研究的難點(diǎn)［2］。針對(duì)視覺(jué)跟蹤算法光照自適應(yīng)能力差的問(wèn)題，文獻(xiàn)［3 -5］采用多特征表征目標(biāo)，或?qū)煞N跟蹤算法結(jié)合，使跟蹤更魯棒。文獻(xiàn)［6］將觀測(cè)模型分解為由SPCA 構(gòu)建的基本特征模型來(lái)提高光照?qǐng)鼍跋碌母櫺阅?。文獻(xiàn)［7］通過(guò)改變顏色子模型的建立空間，保證光照變化下的穩(wěn)定跟蹤。筆者從視覺(jué)特征的提取方法和多特征融合建模兩方面進(jìn)行研究，有效克服了光照變化對(duì)目標(biāo)跟蹤的影響，提出了一種基于多特征動(dòng)態(tài)提取的魯棒視覺(jué)跟蹤算法。

1 觀測(cè)子模型

跟蹤技術(shù)的難點(diǎn)在于如何準(zhǔn)確地描述目標(biāo)特征并適應(yīng)復(fù)雜多變的跟蹤環(huán)境。良好的圖像特征應(yīng)具有以下特點(diǎn)：①好的區(qū)分性;②高可靠性;③強(qiáng)獨(dú)立性;④適度的簡(jiǎn)約性。筆者依據(jù)上述應(yīng)具有的特點(diǎn)，選取顏色、邊緣和運(yùn)動(dòng)3 種特征子模型，彼此獨(dú)立互補(bǔ)。各特征子模型的建立既克服了光照影響，又有效降低了計(jì)算復(fù)雜性。

1.1 顏色子模型

由于顏色信息具有旋轉(zhuǎn)和尺度不變性，是視覺(jué)跟蹤中廣泛采用的一個(gè)重要特征。一般顏色特征子模型采用核密度估計(jì)方法建立，但為了減少光照因素對(duì)顏色特征的影響，筆者采用模糊顏色直方圖方法。將RGB 顏色空間分成m個(gè)域(取m =16)。圖像顏色特征記為Ic ={xi，yi，Ci}，i =1，2，…，N，其中N為目標(biāo)像素總數(shù)，Ci為像素點(diǎn)(x，y)對(duì)應(yīng)的顏色向量。顏色直方圖表示為H(Ic)={}，j =1，，其中，Pi為選擇像素點(diǎn)i的概率，Pj|i為像素點(diǎn)i屬于第j個(gè)顏色域的后驗(yàn)概率，Pj|i∈［0，1］，Cji為像素點(diǎn)i在顏色域j的模糊隸屬度，某個(gè)像素點(diǎn)的隸屬度是根據(jù)其顏色與各顏色區(qū)間的距離來(lái)計(jì)算的。

1.2 邊緣子模型

為使同一對(duì)象在不同光照條件下的差異減小，以便獲取真實(shí)的邊緣信息，提高該特征的穩(wěn)定性，可先使用同態(tài)濾波消除或者減弱光照的影響，再提取邊緣特征。由于光照成分的頻譜主要位于低頻段，而反射成分的頻譜集中在相對(duì)高頻段，可以利用同態(tài)濾波來(lái)消除圖像中的光照不均勻現(xiàn)象［8］。由于在建立邊緣特征子模型之前，增加了預(yù)處理步驟，為減小計(jì)算復(fù)雜度，邊緣檢測(cè)算子采用梯度算子。

1.3 運(yùn)動(dòng)子模型

當(dāng)跟蹤目標(biāo)較小、分辨率較低時(shí)，顏色或紋理不能有效表征目標(biāo)，運(yùn)動(dòng)特征則可作為理想的輔助特征。運(yùn)動(dòng)特征的提取一般采取幀差法，但當(dāng)目標(biāo)運(yùn)動(dòng)過(guò)慢或過(guò)快時(shí)，存在空洞或雙影問(wèn)題，影響提取效果，因此采用改進(jìn)的三幀差分法進(jìn)行運(yùn)動(dòng)特征提取。

因?yàn)槟繕?biāo)的邊緣運(yùn)動(dòng)較劇烈，為了準(zhǔn)確捕捉到運(yùn)動(dòng)信息，在選取運(yùn)動(dòng)特征的時(shí)候?qū)⒛繕?biāo)的高和寬各延伸若干個(gè)像素X=［x，y，α(w+η)，α(h+η)］，筆者將η 設(shè)置為8。

考慮到對(duì)視覺(jué)信號(hào)的處理過(guò)程中人眼有一個(gè)近視對(duì)數(shù)算子的環(huán)節(jié)，首先利用圖像增強(qiáng)技術(shù)對(duì)每幀圖像的灰度進(jìn)行調(diào)整，擴(kuò)大目標(biāo)灰度值，采用G(x，y)=clg(1 +I(x，y))，再采用三幀差分法［9］進(jìn)行特征提取。

1.4 特征子模型的光照魯棒性分析

從公共視頻集中選取存在不同光照變化的視頻作為分析測(cè)試數(shù)據(jù)，用單特征(如顏色，邊緣或者運(yùn)動(dòng)單個(gè)特征)進(jìn)行跟蹤，比較筆者特征模型與其他特征提取方法在復(fù)雜光照環(huán)境下視覺(jué)跟蹤的目標(biāo)特征表征能力。為敘述方便，定義基于顏色的粒子濾波為顏色跟蹤，類(lèi)似定義邊緣跟蹤和運(yùn)動(dòng)跟蹤。圖1(a)是在顏色跟蹤情況下，采用核方法提取顏色特征值與筆者模糊直方圖建立顏色子模型進(jìn)行比較的情況。在相同數(shù)量的相同光照視頻中，僅依賴(lài)顏色特征跟蹤，筆者建立的特征子模型使跟蹤結(jié)果平均準(zhǔn)確率有2%以上的提高，能更好地克服光照的影響。圖1(b)為邊緣跟蹤情況，可以看出筆者加了同態(tài)濾波的邊緣特征特取方法，使不同光照條件下的邊緣特征置信度得到提高，明顯提高了跟蹤準(zhǔn)確度。圖1(c)為運(yùn)動(dòng)跟蹤情況，筆者的運(yùn)動(dòng)子模型在沒(méi)有增加計(jì)算復(fù)雜度的同時(shí)，能使跟蹤準(zhǔn)確率提高近2%。

圖1 各特征子模型光照魯棒性分析

2 融合建模

提取的多個(gè)觀測(cè)子模型雖然能有效表示目標(biāo)模型，但在實(shí)際應(yīng)用中，沒(méi)有一種特征是保持不變的，有的特征在某些情況下還會(huì)失效，需要自適應(yīng)動(dòng)態(tài)融合。在大多數(shù)算法中，假設(shè)各種特征之間獨(dú)立，將多個(gè)特征進(jìn)行乘性融合提高鑒別能力，但這樣會(huì)放大噪聲。加性融合雖然不能提高后驗(yàn)概率的置信度，但對(duì)噪聲不敏感。筆者提出一個(gè)全新的融合模型，將上述兩種融合策略進(jìn)行互補(bǔ)，并將其統(tǒng)一到一個(gè)融合模型中，通過(guò)添加融合指數(shù)εk來(lái)自適應(yīng)地調(diào)整各個(gè)特征的權(quán)重。筆者的算法是基于粒子濾波框架的，第i個(gè)粒子的特征融合可表達(dá)如下：

式中：k為特征索引，當(dāng)k=1 時(shí)，表示顏色特征是顏色特征觀測(cè)似然函數(shù)。當(dāng)k=2 時(shí)，表示紋理特征，依次類(lèi)推；和分別為所有粒子在第k個(gè)特征上相似度的最小值和最大值;α 為隨機(jī)概率，其取值在0.2 ～0.8 之間。

為使觀測(cè)概率值僅集中在少數(shù)優(yōu)秀的粒子上，引入εk來(lái)提高具有較高表現(xiàn)力特征的鑒別能力。通過(guò)實(shí)驗(yàn)證明，某個(gè)特征的均值可以取粒子總數(shù)量的15%來(lái)近似逼近，表示為則多特征總體均值為假設(shè)某個(gè)特征鑒別能力較強(qiáng)，那么該特征的均值應(yīng)該與整體分布的均值較近，εk的值應(yīng)該較大，因此可定義=然后將ε'k進(jìn)行歸一化，得到融合指數(shù)表達(dá)式為：

圖2 將一般加性融合、一般乘性融合與筆者的融合模型進(jìn)行對(duì)比。從圖2 中可以看出乘性融合使概率密度變得更加尖銳，提高了后驗(yàn)概率的鑒別能力，但乘性融合抑制了分布的多峰性;在加性融合中，多峰雖然沒(méi)有被抑制，但概率密度的峰值提高不明顯，沒(méi)有突顯真正置信度高的有效特征。筆者的融合方法既提高了特征鑒別能力，對(duì)噪聲也不太敏感，在乘性融合和加性融合中取得一種有效折衷，使粒子權(quán)值分布更符合實(shí)際情況，融合后的特征更有助于提高復(fù)雜環(huán)境下(如光照變化)的跟蹤效果。

圖2 特征融合模型比較

3 算法實(shí)現(xiàn)

跟蹤算法的步驟如下：

(1)在視頻第一幀中手動(dòng)選取目標(biāo)區(qū)域，建立初始模型X=［x，y，w，h］，提取目標(biāo)模板的初始特征(顏色、邊緣和運(yùn)動(dòng)特征信息)，產(chǎn)生N個(gè)隨機(jī)粒子每個(gè)粒子的初始權(quán)重為ωi=1/N。

(2)根據(jù)二階自回歸系統(tǒng)動(dòng)態(tài)模型預(yù)測(cè)當(dāng)前幀中粒子的新?tīng)顟B(tài)，提取每個(gè)粒子的特征觀測(cè)值，計(jì)算每個(gè)粒子的特征似然(如顏色似然pcolor(zc|xi)等)，同時(shí)計(jì)算每個(gè)特征的均值。

(3)根據(jù)式(3)計(jì)算特征融合指數(shù)εk。

(4)根據(jù)式(1)和式(2)求出每個(gè)粒子的權(quán)重。當(dāng)前幀目標(biāo)狀態(tài)的后驗(yàn)概率可以用粒子的加權(quán)和近似計(jì)算，即最終確定目標(biāo)位置的估計(jì)值。

4 實(shí)驗(yàn)結(jié)果及分析

筆者所有實(shí)驗(yàn)在CPU Intel Celeron 1.6 GHz(雙核)，內(nèi)存1.37 GB 的條件下進(jìn)行，實(shí)驗(yàn)視頻可以從網(wǎng)址http：//www. cs. toronto. edu/ ～dross/ivt 下載。實(shí)驗(yàn)1 的視頻內(nèi)容是一輛轎車(chē)開(kāi)始在陽(yáng)光下行駛，然后從一座橋下經(jīng)過(guò)。視頻中存在一個(gè)顯著的光照突變情況。圖3 選取的是視頻中的第92、95、126 和133 幀。圖中方框表示目標(biāo)，框中淺色和深色的點(diǎn)分別表示預(yù)測(cè)和重采樣的粒子。圖3 第一行是基于顏色的粒子濾波跟蹤算法效果，當(dāng)車(chē)輛進(jìn)入陰影時(shí)，顏色特征可靠性降低，在第126 幀時(shí)直接導(dǎo)致跟蹤目標(biāo)丟失。圖3 第二行是基于顏色+邊緣的跟蹤算法效果，多特征采用乘性融合。在目標(biāo)走出陰影的時(shí)候出現(xiàn)漂移情形，跟蹤總體效果不太理想。圖3 第三行是筆者提出的算法效果，明顯看出筆者的特征融合模型在跟蹤過(guò)程中可根據(jù)外界環(huán)境變化調(diào)整特征鑒別能力，獲得較魯棒的跟蹤結(jié)果。圖4 給出了上述幾種算法的跟蹤誤差比較。由于跟蹤目標(biāo)車(chē)輛的大小為105 ×142，因此跟蹤誤差超過(guò)80 像素，一般跟蹤失敗?；陬伾母櫵惴ㄖ?，出現(xiàn)跟蹤誤差超過(guò)80 像素，目標(biāo)丟失。在基于顏色+邊緣的跟蹤算法中，某些幀跟蹤誤差到達(dá)55 ～65 像素，跟丟目標(biāo)的可能性較大。而筆者提出的算法的跟蹤誤差保持在30 像素以下，在存在光照突變的情況下也能得到穩(wěn)定的跟蹤結(jié)果。

圖3 實(shí)驗(yàn)1 的跟蹤效果

圖4 3 種不同算法跟蹤誤差比較

實(shí)驗(yàn)2 中的視頻場(chǎng)景復(fù)雜，存在持續(xù)的光照變化情況，跟蹤目標(biāo)特征不是很明顯。圖5 第一行是基于顏色+運(yùn)動(dòng)的粒子濾波算法效果圖，第二行為筆者算法的效果圖。對(duì)比效果可以看出筆者的多特征提取方法合理，動(dòng)態(tài)組合后能準(zhǔn)確地表示觀測(cè)模型，并對(duì)光照不敏感，在復(fù)雜的場(chǎng)景下仍然能夠較好地跟蹤到目標(biāo)。

圖5 實(shí)驗(yàn)2 跟蹤效果

5 結(jié)論

筆者采用高效的、能有效克服光照變化的特征提取方法，提出了一種新的特征融合模型，合理量化特征可靠性，提高目標(biāo)特征表征的自適應(yīng)性，給出了一個(gè)基于多特征動(dòng)態(tài)提取的視覺(jué)跟蹤算法。實(shí)驗(yàn)數(shù)據(jù)分析表明，筆者的算法在有光照變化的跟蹤環(huán)境中具有更好的魯棒性。

［1］侯志強(qiáng)，韓崇昭.視覺(jué)跟蹤技術(shù)綜述［J］. 自動(dòng)化學(xué)報(bào)，2006，32(4)：603 -617.

［2］李谷全，陳忠澤. 視覺(jué)跟蹤技術(shù)研究現(xiàn)狀及其展望［J］.計(jì)算機(jī)應(yīng)用研究，2010，27(8)：2815 -2821.

［3］EMILIO M，F(xiàn)ABRIZIO S，ANDREA C. Adaptive multifeature tracking in a particle filtering framework［J］.IEEE Trans on Circuits and System for Video Technology，2007，17(10)：1348-1359.

［4］李鍇，馮瑞.基于粒子濾波的多特征融合視頻行人跟蹤算法［J］.計(jì)算機(jī)工程，2012，38(24)：141-145.

［5］BARDET F，CHATEAU T，RAMADASAN D. Illumination aware MCMC particle filter for long -term outdoor multi -object simultaneous tracking and classification［J］. Computer Vision，2009(6)：1623 -1630.

［6］JUNSEOK K，KYOUNG M L. Visual tracking decomposition［C］∥Computer Vision and Pattern Recognition(CVPR). ［S.l.］：［s.n.］，2010：1269 -1276.

［7］GONCALVE T，COMPORT A I. Real - time direct tracking of color images in the presence of illumination variation［C］∥Robotics and Automation (ICRA).［S.l.］：［s.n.］，2011：4417 -4422.

［8］RAFAEL C G，RICHARD E W. 數(shù)字圖像處理［M］.阮秋琦，譯.北京：電子工業(yè)出版社，2002：65-132.

［9］甘明剛，陳杰，劉勁，等.一種基于三幀差分和邊緣信息的運(yùn)動(dòng)目標(biāo)檢測(cè)方法［J］. 電子與信息學(xué)報(bào)，2010，32(4)：189 -194.