多特征融合的粒子濾波紅外單目標(biāo)跟蹤

程文 齊美彬

摘要：提出了一種融合顏色特、邊緣特征以及紋理特征的粒子濾波紅外單目標(biāo)跟蹤算法。首先，對紅外目標(biāo)進(jìn)行多種特征提取，并根據(jù)不同特征對目標(biāo)的不同特性，采用權(quán)重分配的特征融合策略，在相似似然函數(shù)中對目標(biāo)特征進(jìn)行加權(quán)融合，最后將融合后的特征進(jìn)行粒子濾波處理，預(yù)測粒子運(yùn)動狀態(tài)，得到跟蹤結(jié)果。實(shí)驗(yàn)結(jié)果表明，算法能克服各種噪聲、遮擋等干擾，保證了跟蹤的魯棒性和準(zhǔn)確性。

關(guān)鍵詞：紅外目標(biāo)跟蹤；特征融合；加權(quán)融合；粒子濾波

中圖分類號：TP751 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2018）14-0178-03

Abstract：A particle filter infrared single target tracking algorithm which combines color features， edge features and texture features is proposed. Firstly， a variety of features are extracted from the infrared target. According to the different characteristics of the target， the feature fusion strategy of weight assignment is used to fuse the target features in the similarity likelihood function. Finally， Filter processing， predict particle motion， get the result of tracking. Experimental results show that the proposed algorithm can overcome various noise， occlusion and other interferences， and ensure the robustness and accuracy of tracking.

Key words： Infrared target tracking；Feature fusion；Weighted fusion；Particle filter

紅外目標(biāo)跟蹤一直是計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)，在交通運(yùn)輸、視頻監(jiān)控、軍事偵察等有廣泛的應(yīng)用。相比普通圖像，紅外圖像本身具有特殊性，使紅外目標(biāo)跟蹤的難度增加。

紅外目標(biāo)跟蹤算法研究主要分為以下兩個(gè)方面：跟蹤算法設(shè)計(jì)和紅外特征描述。經(jīng)典的紅外目標(biāo)跟蹤算法有均值漂移法、光流法、卡爾曼濾波、粒子濾波等。文獻(xiàn)[1]采用自適應(yīng)均值漂移法，簡單快速，但是紅外目標(biāo)出現(xiàn)噪聲干擾或者被遮擋時(shí)，跟蹤效果很差。文獻(xiàn)[2]采用權(quán)重系數(shù)的自適應(yīng)光流法，跟蹤效果效果較好，但是受光照影響嚴(yán)重，且算法復(fù)雜度高；文獻(xiàn)[3]采用卡爾曼濾波和改進(jìn)的均值漂移結(jié)合的算法，跟蹤較為快速，但是卡爾曼濾波僅適用于線性、離散和有限系統(tǒng)。文獻(xiàn)[4]采用粒子濾波算法進(jìn)行目標(biāo)跟蹤，魯棒性高，適用性更廣。所以本文也采用粒子濾波作為基本跟蹤框架。

紅外特征提取方面，由于紅外圖像特征信息較少，單一特征表達(dá)缺乏魯棒性，容易引起跟蹤失效，越來越多的研究者傾向于特征融合處理。文獻(xiàn)[5]采用單一特征的粒子濾波得到紅外目標(biāo)圖像的跟蹤效果，但是效果因?yàn)閱我惶卣魅狈︳敯粜允艿接绊?，文獻(xiàn)[6]采用融合灰度特征和三幀差分的運(yùn)動特征的方法進(jìn)行目標(biāo)跟蹤，但是三幀差分法幀間間隔的選取對運(yùn)動目標(biāo)特征的提取影響較大，容易丟失目標(biāo)信息。本文也采用了特征融合的方法，不同的是，我們在顏色、邊緣與紋理三個(gè)方面進(jìn)行特征提取和融合，充分挖掘紅外圖像的表征特性。

另外，特征融合的方式對最終目標(biāo)跟蹤的結(jié)果也起到很大的影響，一般的融合方式?jīng)]有側(cè)重性，而且容易使融合特征過于復(fù)雜，融合特征向量維數(shù)較高。本文提出了一種基于權(quán)重分配的特征融合策略，在相似似然函數(shù)中對目標(biāo)特征進(jìn)行加權(quán)融合。

1 特征提取

紅外目標(biāo)跟蹤研究的一大重點(diǎn)就是特征表達(dá)，由于紅外圖像的特殊性，因此設(shè)計(jì)出魯棒性高，表達(dá)能力強(qiáng)的特征描述子也成為一大難點(diǎn)?；诖?，本文提出了基于多特征融合的紅外目標(biāo)跟蹤算法，與其他融合特征算法[7-10]不同的是我們采用了顏色、邊緣和紋理三種特征進(jìn)行融合處理，下面我們將詳細(xì)介紹三種特征的提取過程。

1.1 顏色特征

由于HSV顏色空間能夠更加直觀的表達(dá)色彩的明暗、色調(diào)、顏色程度，我們拋棄普通圖像常用的RGB顏色空間，采用HSV顏色空間提取顏色特征。首先對HSV空間中三個(gè)顏色分量進(jìn)行非等間隔量化表示成一維矢量，然后將三個(gè)顏色分量進(jìn)行向量相加合成為一維特征向量：

式中，H，S，V是三個(gè)顏色分量，Qs和Qv分別是S和V的量化級數(shù)，L是最后得到一維特征向量。

由于直接使用顏色直方圖模型魯棒性較差，跟蹤效果往往不佳，所以本文采用常用的顏色核函數(shù)直方圖，公式如下：

其中r為像素點(diǎn)距離區(qū)域中心的距離，則位于y出的像素點(diǎn)顏色分布概率密度函數(shù)[py]可由下式表示：

其中n為選中區(qū)域像素?cái)?shù)，[x0]為區(qū)域中心坐標(biāo)，f為歸一化因子，[Hx]和[Hy]分別為區(qū)域?qū)捄透撸琜δhyi-u]為單位沖激，目的是判斷像素[yi]處的顏色值是否屬于直方圖中的第u個(gè)單元，等于為1，不等為0。

1.2 邊緣特征

由于紅外目標(biāo)邊緣特征[11]較為突出，所以第二種特征采用邊緣特征，由于canny邊緣算法不容易受噪聲干擾，能夠檢測到真正的弱邊緣，所以本文選擇canny算子計(jì)算邊緣輪廓，具體特征提取步驟如下：

1）圖像灰度化；

2）將圖像進(jìn)行canny邊緣算子運(yùn)算，得到（x，y）點(diǎn)的dx和dy：

3）計(jì)算各個(gè)像素的梯度值和邊緣方向值：

4）將邊緣方向值進(jìn)行量化。

5）將邊緣方向值[θ]進(jìn)行直方圖統(tǒng)計(jì)并歸一化。

1.3紋理特征

紅外圖像的紋理特征通常不明顯，所以容易被大多數(shù)研究者所忽略，但是紋理特征仍能表達(dá)紅外圖像的有用信息，文獻(xiàn)[12]表明了紋理特征的重要性。本文除顏色和邊緣特征外，也提取了紋理特征。

由于LBP算法計(jì)算簡單，對光照變化等造成的灰度變化魯棒性強(qiáng)，所以本文直接采用LBP算法提取紅外目標(biāo)的紋理特征。將目標(biāo)檢測窗口劃分為16*16小區(qū)域，對于每一個(gè)cell的一個(gè)像素，將相鄰8個(gè)像素的灰度值與其進(jìn)行比較，若周圍像素值大于中心像素值，則該像素點(diǎn)的位置被標(biāo)記為1，否則為0.這樣，3*3鄰域內(nèi)8個(gè)點(diǎn)經(jīng)比較可產(chǎn)生8位二進(jìn)制數(shù)，即得到窗口中心像素值的LBP值，用公式表示如下：

其中（x，y）是中心像素點(diǎn)，p是相鄰像素值個(gè)數(shù)，i是中心像素點(diǎn)像素值，[ip]是相鄰像素點(diǎn)像素值，s是一個(gè)符號函數(shù)。

通過公式（9）計(jì)算每個(gè)cell中的直方圖，然后對直方圖進(jìn)行歸一化處理；最后將歸一化后的直方圖進(jìn)行連接成為一個(gè)特征向量即檢測窗口的LBP紋理特征向量。

2 多特征融合與粒子濾波

粒子濾波中一個(gè)重要過程是求解粒子權(quán)重，本文采用相似似然函數(shù)來得到最終權(quán)重。與一般方法不同的是，我們在求解相似似然函數(shù)時(shí)加入特征融合過程，詳細(xì)過程介紹如下。

2.1特征融合

首先將三個(gè)特征分量進(jìn)行各自的似然函數(shù)求解，本文采用用來表示初始目標(biāo)與跟蹤目標(biāo)相似性的Bhattacharyya系數(shù)，公式如下：

公式說明，ρ即B式系數(shù)，系數(shù)越大，表示兩個(gè)目標(biāo)相似性越高。然后在將系數(shù)ρ代入似然函數(shù)中，如式11：

[H0]表示初始目標(biāo)，即給定的待跟蹤目標(biāo)，[Hi]表示候選目標(biāo)，公式說明。當(dāng)結(jié)果越大時(shí)，目標(biāo)[H0]與候選目標(biāo)[Hi]最相似。則由此得到三種特征的似然函數(shù)如下：

然后我們需要將三個(gè)似然函數(shù)進(jìn)行融合，在融合過程中我們加入權(quán)值[α]，[β]，[χ]分別表示顏色，紋理，邊緣特征所占比重，權(quán)重越大，表示目標(biāo)對某個(gè)特征依賴值大，得到最終目標(biāo)聯(lián)合似然函數(shù)如下式：

采用梯度下降的權(quán)重優(yōu)化方法對[α]，[β]，[χ]進(jìn)行權(quán)重確定，得到最終的權(quán)重值為：[α]=0.5，[β]=0.2，[χ]=0.3。公式（14）最終的結(jié)果作為目標(biāo)跟蹤粒子濾波中的粒子權(quán)重。

2.2粒子濾波

粒子濾波是從帶噪聲的數(shù)據(jù)中估計(jì)運(yùn)動狀態(tài)的技術(shù)，在狀態(tài)空間中通過傳播大量帶權(quán)離散隨機(jī)變量近似概率分布并遞歸。這里的隨機(jī)變量被形象地稱為粒子，當(dāng)粒子個(gè)數(shù)趨于無窮時(shí)可以逼近任何形式的概率分布。通常視頻目標(biāo)運(yùn)動狀態(tài)估計(jì)是非線性、非高斯的，粒子濾波由于其獨(dú)特的優(yōu)越性被廣泛應(yīng)用于目標(biāo)跟蹤領(lǐng)域。

本文粒子濾波與一般粒子濾波不同的是，在粒子濾波更新階段，計(jì)算融合特征后的聯(lián)合似然函數(shù)，具體采用步驟如下：

1） 初始化階段，人工標(biāo)注第一幀圖像中的跟蹤目標(biāo)，以其為中心，初始化粒子集，初始所有粒子等權(quán)重，具有相同屬性；

2） 預(yù)測：利用狀態(tài)轉(zhuǎn)移方程：

轉(zhuǎn)移粒子，得到新的粒子群。其中，A為狀態(tài)轉(zhuǎn)移矩陣，[wt-1]為高斯噪聲。

3） 更新：得到被跟蹤目標(biāo)在當(dāng)前幀的預(yù)測位置，對集合[st]中每一個(gè)粒子利用式（11），（12），（13），（14）計(jì)算特征對應(yīng)的聯(lián)合似然函數(shù)，此似然函數(shù)即每個(gè)粒子對應(yīng)的權(quán)重；

4） 重采樣：采用權(quán)值優(yōu)化的重采樣法從集合中根據(jù)權(quán)重重新挑選N個(gè)樣本；

5） 目標(biāo)位置估計(jì)：由重采樣結(jié)果估計(jì)目標(biāo)位置；

6） 判斷是否結(jié)束，不結(jié)束則k=k+1，返回步驟二。

3 實(shí)驗(yàn)結(jié)果與分析

為了證實(shí)本文方法的準(zhǔn)確性和穩(wěn)健性，對3視頻序列進(jìn)行了測試，測試視頻來自O(shè)TCBVS數(shù)據(jù)庫。算法是基于Matlab的編程，電腦配置是Intel（R） Core（TM）i5-6300HQ CPU 2.30GHz，內(nèi)存8GB。

定義跟蹤誤差為目標(biāo)跟蹤算法中目標(biāo)中心點(diǎn)與人工標(biāo)定中心點(diǎn)之間的距離，即：

其中（x，y）目標(biāo)中心坐標(biāo)，[x0，y0]表示人工標(biāo)定中心點(diǎn)坐標(biāo)，跟蹤誤差d越大，表示跟蹤效果越差。

第一組實(shí)驗(yàn)數(shù)據(jù)是OTCBVS Dataset03中的第4組，序列圖像存在相似干擾。

圖1是采用單一顏色特征的粒子濾波和本文算法的跟蹤效果圖，同一列表示同一個(gè)算法的跟蹤效果，圖2是兩種算法的跟蹤誤差對比，可以看出，單一顏色特征的粒子濾波算法在兩行人相遇時(shí)會跟錯(cuò)目標(biāo)，跟蹤誤差也越來越大，而本文算法不會跟錯(cuò)目標(biāo)，并且跟蹤誤差較小并且穩(wěn)定。

第二組實(shí)驗(yàn)數(shù)據(jù)是OTCBVS Dataset03中的第1組，序列圖像存在相似干擾。

圖3是文獻(xiàn)[6]算法和本文算法跟蹤效果比較，同一列表示同一個(gè)算法的跟蹤效果，圖4是兩種算法的跟蹤誤差曲線比較，可以看出本文算法總體跟蹤誤差比文獻(xiàn)[6]算法小，在跟蹤經(jīng)過一段時(shí)間后，文獻(xiàn)[6]算法跟蹤出現(xiàn)偏差，跟蹤誤差也變大，而本文跟蹤誤差較為穩(wěn)定，跟蹤效果較為準(zhǔn)確。

4 結(jié)語

本文根據(jù)紅外圖像的特點(diǎn)，選取具有軟相關(guān)性、強(qiáng)互補(bǔ)性的顏色特征和邊緣特征以及紋理特征，借助粒子濾波的天然框架，克服了單一特征提供信息量少的缺陷，同時(shí)克服了目標(biāo)在遮擋、相似干擾情況下發(fā)生的跟蹤效果急劇下降缺陷，實(shí)驗(yàn)結(jié)果表明，本文算法能準(zhǔn)確實(shí)現(xiàn)目標(biāo)的跟蹤。

參考文獻(xiàn)：

[1] 王保云，范保杰.基于顏色紋理聯(lián)合特征直方圖的自適應(yīng)Mean shift跟蹤算法[J].南京郵電大學(xué)學(xué)報(bào)：自然科學(xué)版，2013，33（3）：18-25.

[2] 劉洪彬，常發(fā)亮.權(quán)重系數(shù)自適應(yīng)光流法運(yùn)動目標(biāo)檢測[J].光學(xué)精密工程，2016，24（2）：460-468.

[3] 楊海燕，李春光，劉國棟.基于Kalman濾波和改進(jìn)的Mean Shift算法的目標(biāo)跟蹤[J].江南大學(xué)學(xué)報(bào)：自然科學(xué)版，2013，12（6）：693-697.

[4] 高晶， 孫繼銀， 吳昆，等. 基于形狀特征的紅外目標(biāo)檢測方法[J].激光與紅外，2013，43（1）：49-53.

[5] 程建， 周越， 蔡念，等. 基于粒子濾波的紅外目標(biāo)跟蹤[J].紅外與毫米波學(xué)報(bào)，2006，25（2）：113-117.

[6] 楊智雄， 余春超， 嚴(yán)敏，等. 基于特征融合的粒子濾波紅外目標(biāo)跟蹤算法[J].紅外技術(shù)，2016，38（3）：211-217.

[7] 何玉杰， 李敏， 張金利，等. 基于多特征相關(guān)濾波的紅外目標(biāo)跟蹤[J].光電子·激光，2015（8）：1602-1610.

[8] 譚樂婷， 譚濤， 張剛園. 基于特征融合與加權(quán)的紅外目標(biāo)跟蹤研究[J].激光雜志，2016，37（2）：57-60.

[9] 種衍文， 王澤文， 陳蓉，等. 一種多特征自適應(yīng)融合的粒子濾波紅外目標(biāo)跟蹤方法[J].武漢大學(xué)學(xué)報(bào)：信息科學(xué)版， 2016， 41（5）：598-604.

[10] 李蔚， 李輝. 多特征融合的優(yōu)化粒子濾波紅外目標(biāo)跟蹤[J].激光與紅外，2014，44（1）：35-40.

[11] 鄭玉鳳，馬秀榮，趙曉琳，等.基于顏色和邊緣特征的均值遷移目標(biāo)跟蹤算法[J].光電子激光，2011，（8）：1231-1235.

[12] 孫艷麗， 周偉， 李建海. 基于多特征信息融合粒子濾波的紅外目標(biāo)跟蹤[J].現(xiàn)代電子技術(shù)，2017， 40（13）：9-12.