移動目標(biāo)跟蹤的多特征融合算法綜述

寧德師范學(xué)院　楊慧玲

移動目標(biāo)跟蹤的多特征融合算法綜述

寧德師范學(xué)院楊慧玲

對于復(fù)雜情形下的視頻目標(biāo)識別、跟蹤問題，依靠單一特征往往是不充分和不穩(wěn)定的。利用多特征信息融合，可以有效提高跟蹤效果。本文首先簡要介紹了特征信息的分類和提取方法，然后對現(xiàn)有的面向移動目標(biāo)跟蹤領(lǐng)域中多特征融合方法進行分類總結(jié)。最后，討論這些方法所存在的問題，并指出今后研究的發(fā)展方向。

目標(biāo)跟蹤；多特征融合；貝葉斯網(wǎng)絡(luò)；粒子濾波；卡爾曼濾波

1　引言

目標(biāo)跟蹤問題的研究是計算機視覺領(lǐng)域的一個重要研究課題，近幾十年來，隨著卡爾曼濾波算法（KF）、擴展卡爾曼濾波算法（EKF）、粒子濾波（PF）、均值遷移等各種算法的發(fā)展，跟蹤算法也得到了長足的進步。然而，值得注意的是目前很多跟蹤方法都是基于單一特征的跟蹤方法。對于復(fù)雜情形下的視頻目標(biāo)識別、跟蹤問題，例如光照變化、背景復(fù)雜，目標(biāo)與背景色相近，目標(biāo)形狀變化、被遮擋等，很難取得良好的效果。融合多種特征，使特征之間取長補短，是解決這一問題的有效手段。本文主要介紹目標(biāo)跟蹤領(lǐng)域中常見的幾類多特征融合方法，詳細(xì)分析其優(yōu)缺點，最后討論現(xiàn)有融合方法存在的問題和今后研究的方向。

2　特征信息的分類和提取

在實際跟蹤過程中，常使用顏色、邊緣、紋理、運動等特征來表征目標(biāo)。顏色特征最常用的提取方法是顏色矩、顏色直方圖［1］；提取邊緣的方法是對原始圖像按像素的某鄰域構(gòu)造邊緣檢測算子，常見的提取方法有梯度算子，Sobel算子，拉普拉斯算子，Canny算子等；紋理特征可以用來補充描述目標(biāo)的形狀信息，與邊緣特征相比，抗干擾性強且不受全局灰度變化影響，近年來有學(xué)者提出了一種LBP紋理特征來描述目標(biāo)的形狀信息；運動特征的提取一般是對原始圖像采用搜索匹配算法來進行匹配。在目標(biāo)跟蹤中，顏色特征對于旋轉(zhuǎn)、非剛體及部分遮擋的目標(biāo)物體來說具有較高的可分性，因此在大多數(shù)的場合下都是作為首選的特征。但是顏色特征不包含目標(biāo)像素的空間信息，易受光照和背景顏色影響，因此當(dāng)目標(biāo)發(fā)生光線和背景顏色的變化時，可以采用紋理特征、運動特征、邊緣特征來補充目標(biāo)的形狀信息。

3　多特征融合方法及算法

按照融合方法的本質(zhì)和問題空間來分，多特征融合方法大體上可以分為以下三類：基于線性融合的方法、基于分類的方法和基于估計的方法。

3.1基于線性融合的方法

基于線性融合的方法包括線性加權(quán)、乘性融合、投票法、最大最小融合規(guī)則等，其優(yōu)點是簡單、計算量小。加權(quán)和融合是最簡單且應(yīng)用最為廣泛的方法之一，其實質(zhì)是對數(shù)據(jù)源進行加權(quán)處理，利用樣本的相互關(guān)系得到特征的加權(quán)系數(shù)，此系數(shù)反應(yīng)了特征鑒別性的大?。?］。其具體的表達式如下式所示：

其中，m表示跟蹤時融合m種特征，ai表示第i個特征所對應(yīng)的觀測概率的權(quán)值，滿足。這種加權(quán)和融合的結(jié)果在一定程度上抑制了噪聲，但它并不能提高融合跟蹤的可信度，而且在融合過程中，提取的特征數(shù)越多，特征的空間維數(shù)就會相應(yīng)變多，使得概率密度估計變得復(fù)雜。為了解決該問題，Li等［3］提出了一種乘性融合策略，在粒子濾波的框架下，通過融合顏色、結(jié)構(gòu)和邊緣等多種特征，實現(xiàn)對目標(biāo)的跟蹤，用三種特征觀測概率的乘積作為目標(biāo)狀態(tài)的觀測似然概率，其表示式為：

其中zi為第i個特征下的觀測概率且各特征相互獨立，x為待估計目標(biāo)的狀態(tài)。

線性融合方法在目標(biāo)跟蹤領(lǐng)域應(yīng)用最為廣泛，其計算消耗量較少，而且能實時處理動態(tài)數(shù)據(jù)，但這種方法只有在不同特征權(quán)重已經(jīng)分配好的情況下才能取得較好的效果，要調(diào)整和設(shè)定權(quán)重的工作量較大，且具有一定的主觀性。

3.2基于分類的融合方法

基于分類的融合方法包括：支持向量機、貝葉斯推斷、Dempster-Shafer理論（DS）、神經(jīng)網(wǎng)絡(luò)等。這類融合方法是將多特征觀測值分成預(yù)定義的類的分類技術(shù)。需要注意的是，可以進一步劃分為機器生成模型和判別模型。例如，貝葉斯推理和動態(tài)貝葉斯網(wǎng)絡(luò)是生成模型，而支持向量機和神經(jīng)網(wǎng)絡(luò)是判別模型（條件模型）。

3.2.1支持向量機（SVM）

支持向量機的分類方法對解決小樣本、高維空間和不確定條件下的多特征融合問題具有較好的效果，而且不過分依賴樣本的數(shù)量和質(zhì)量。在考慮多分類器融合時，權(quán)值的意義為每一組分類器判決結(jié)果在最終融合結(jié)果中所占的重要性。在分類問題中，分類器的判決準(zhǔn)確性顯然可以作為描述這種重要性的指標(biāo)，文獻［4］提出的融合權(quán)值計算方法：

該權(quán)值可以根據(jù)每組分類器概率輸出情況進行自我調(diào)整，對于每種特征在融合結(jié)果中所占有的重要性具有高度契合性。在確定了所有權(quán)值wj的基礎(chǔ)上，可以通過加權(quán)的方式對m種特征進行融合。

3.2.2貝葉斯推理方法

它常被稱為“經(jīng)典的”傳感器融合方法，多特征信息以概率論的規(guī)則進行組合。該方法將多個特征中獲得的觀察結(jié)果與不同的分類中獲得的決策相結(jié)合，得到觀測值或決策推導(dǎo)聯(lián)合概率的推論值。

貝葉斯推理融合方法被簡要地描述如下：要融合從m種不同的方式獲得的特征向量或決策假定這些方法是獨立的，假設(shè)H是基于所述融合的特征矢量或融合的決策的聯(lián)合概率，那么可以得到：

其中，N是用于歸一化后驗概率的估計：wj是第k個模式的權(quán)重，。貝葉斯推理方法主要基于新的觀察結(jié)果，它可以計算所述假說是真實的概率。但是貝葉斯推理方法需要明確定義先驗和假設(shè)的條件概率，如果沒有適當(dāng)?shù)南闰炛R，該方法不能很好地執(zhí)行。

3.2.3D-S證據(jù)理論

Dempster-謝弗（D-S）證據(jù)理論是不確定推理的一種重要方法，在證據(jù)理論中采用信任函數(shù)而不是概率作為度量，因此可以區(qū)分不確定和未知狀態(tài)的差異，能夠很好地表示未知信息的程度。使用D-S理論融合多特征信息的一般方法如下，先根據(jù)輸入證據(jù)（特征信息）和基本概率分配函數(shù)來對命題分配基本概率值，然后利用證據(jù)理論的組合法則對命題證據(jù)組合，最后根據(jù)組合后命題的基本概率值進行決策判決并得到識別結(jié)果。但是對于Dempster組合規(guī)則，具有“一票否決”的弊端。

3.2.4神經(jīng)網(wǎng)絡(luò)

文獻［5］中提出了將神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機理應(yīng)用到標(biāo)準(zhǔn)卡爾曼濾波中的一種混合目標(biāo)跟蹤器，這種融合算法的基本思想是結(jié)合卡爾曼濾波的估計能力和神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，用神經(jīng)網(wǎng)絡(luò)的輸出來進一步修正卡爾曼估值，進而提高精度。文獻［6］中提出了一種基于神經(jīng)網(wǎng)絡(luò)的信息融合系統(tǒng)，如圖3-1所示。在對單個目標(biāo)進行跟蹤時，算法采用雙濾波器并行結(jié)構(gòu)，BP網(wǎng)絡(luò)基于全狀態(tài)輸入樣本集進行離線訓(xùn)練。根據(jù)特征向量在線自動調(diào)節(jié)網(wǎng)絡(luò)輸出，以適應(yīng)目標(biāo)的各種運動變化。

圖3-1　基于神經(jīng)網(wǎng)絡(luò)的信息融合系統(tǒng)

3.3基于估計的融合方法

估計類別包括卡爾曼濾波器，擴展卡爾曼濾波和粒子濾波融合方法。卡爾曼濾波估計方法允許動態(tài)底層數(shù)據(jù)的實時處理并提供系統(tǒng)的狀態(tài)估計，是一種應(yīng)用廣泛的融合方法，使用僅限于線性系統(tǒng)模型，且不適合非線性特征。Strobel等人［7］側(cè)重于單個目標(biāo)的定位和跟蹤，將標(biāo)準(zhǔn)的卡爾曼濾波用來定位視頻圖像。粒子過濾器可以克服卡爾曼濾波器的缺點，常用于估計狀態(tài)分布的非線性和非高斯?fàn)顟B(tài)空間，文獻［8］提出一種在粒子濾波框架內(nèi)對多種特征觀測進行概率融合的方法。設(shè)各個特征的相似度觀測是相互獨立的， 利用它們的聯(lián)合相似度來構(gòu)建觀測似然，即第i個粒子的聯(lián)合相似度為：

l為特征索引，為所有粒子在第l個特征上相似度的最大和最小值。聯(lián)合概率觀測克服了單一特征觀測不可靠的缺點。但如果其中一個特征觀測非常不準(zhǔn)確。勢必會影響到聯(lián)合觀測的準(zhǔn)確性。

以估計為基礎(chǔ)的融合方法通常用來估計和預(yù)測一段時間內(nèi)的觀測值。這些方法適用于目標(biāo)定位和跟蹤任務(wù)?？柭鼮V波適用于線性模型系統(tǒng)，擴展卡爾曼濾波器更適合于非線性系統(tǒng)。而當(dāng)粒子濾波方法的樣本數(shù)接近貝葉斯最優(yōu)估計值時，對線性模型和非線性模型更加魯棒。

4　結(jié)束語

本文所討論的多特征融合主要是針對目標(biāo)跟蹤領(lǐng)域展開的，但該領(lǐng)域的理論研究和技術(shù)應(yīng)用研究正分別朝著廣度和深度兩方面發(fā)展，要形成一套完整的多特征融合理論框架和通用的融合算法還需要更深入的探索。另外在平衡算法復(fù)雜度和運行速度二者關(guān)系、特征的最佳選擇和自適應(yīng)更新的問題上還需要進行深入研究和探討。

［1］郭運艷.視頻序列中目標(biāo)的多特征融合跟蹤技術(shù)研究［D］.寧波大學(xué)，2013.

［2］郭雷雷.智能環(huán)境下基于視頻多特征融合的單說話人跟蹤方法研究［D］.蘭州理工大學(xué)，2014.

［3］Li P H，Chaumette F.Image cues fusion for object tracking based on particle filter. In： Proceedings of the 3rd Inter-national Workshop on Articulated Motion and Deformable Objects.Palma de Mallorca，Spain：Springer，2004：99-107.

［4］張文博，姬紅兵，王磊.一種自適應(yīng)權(quán)值的多特征融合分類方法［J］.系統(tǒng)工程與電子技術(shù)，2013，35（6）：1133-1137.

［5］Leonard C.Application of neural networks in target tracking data fusion.IEEE Trans.AES，1994，30（6）：281-287.

［6］范凱，陶然，周思永.基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)融合的目標(biāo)跟蹤簡化算法［J］.系統(tǒng)工程與電子技術(shù)，2000，22（8）：82-84.

［7］Strobel，N.，Spors，S.，Rabenstein，R.：Joint audio-video object localization and tracking.IEEE Signal Process.Mag.18（1）：22-31（2001）.

［8］王歡，王江濤，任明武，楊靜宇.一種魯棒的多特征融合目標(biāo)跟蹤新算法［J］.中國圖象圖形學(xué)報，2009，14（3）：489-498.

課題名稱：福建省教育廳科技項目“基于多特征融合的視頻目標(biāo)跟蹤算法研究”（編號：JB13195）。