基于多空間顯著特征的目標跟蹤算法

張 玲，田 鵬，王 溢，饒志宏

(1.中國電子科技網(wǎng)絡信息安全有限公司，四川 成都 610000；2.國家國防科技工業(yè)局信息中心，北京 100191)

0 引 言

目標跟蹤是計算機視覺領域一個重要的研究方向。但由于背景復雜、目標多樣性等特點[1-2]，目標的準確跟蹤仍是一個具有挑戰(zhàn)性的課題。近年來，目標跟蹤算法得到了廣泛研究。其中，基于“匹配-搜索”框架的跟蹤算法成為研究的主流。該框架下，目標跟蹤一般包含兩個階段：目標的表示和運動搜索。

跟蹤中，目標表觀的變化對跟蹤起到了至關重要的作用[2]，很多學者對此進行了研究。例如，文獻[3]提出RGB彩色空間線性融合的方法，區(qū)分目標和背景。該算法通過線性組合R、G、B三個特征通道，并依據(jù)目標和背景的差異性，形成顯著的圖像來表示目標。文獻[4]提出將多通道圖像中的數(shù)據(jù)作為目標和背景的信息數(shù)據(jù)，利用Fisher判別準則將信息數(shù)據(jù)投影到目標和背景區(qū)分度最為明顯的投影軸上，形成一個目標和背景區(qū)分度較高的子空間，但該方法在一定程度上減少了目標特征的表示，具有一定局限性。針對該問題，文獻[5]提出以顏色特征為基礎的自適應目標跟蹤算法，該算法將顏色空間根據(jù)像素值的大小進行分層處理，得到各子層中的目標表示，通過篩選目標的顯著性，形成目標的魯棒表示，實現(xiàn)準確跟蹤。文獻[6]提出在粒子濾波框架下采用多特征融合構建目標模型的算法，以解決單特征對目標描述不足的問題。然而，以上算法[3-6]只是在單空間中討論目標的顯著性表示，缺乏對目標的全面描述。為了解決該問題，文中提出在多維子空間中去討論目標的表示，使目標表示更具魯棒性。

運動搜索也是一個重要方面。Mean-shift[6-7]和粒子濾波算法[8-9]是經(jīng)典的搜索算法。Mean-shift算法常陷于局部最優(yōu)解[10]，而粒子濾波算法是用一些離散的隨機粒子來近似表示狀態(tài)變量的概率密度函數(shù)，當粒子的數(shù)目足夠大時，這些粒子可以很好地逼近后驗概率密度函數(shù)[11-13]。針對跟蹤中常出現(xiàn)的非線性、非高斯等情況，粒子濾波得到了廣泛的應用[13-15]。然而，在搜索階段，粒子的拋撒帶有隨機性，其中有些粒子是冗余的，不能很好地表示后驗概率，有效粒子的篩選成為重要的組成部分。針對這一問題，文獻[13]提出重采樣方法，其核心思想是減少權值較小的粒子數(shù)，增加權值較大的粒子數(shù)。常用的重采樣方法包括自適應蒙特卡羅粒子篩選(the Monte Carlo particle filter)[14]和預測采樣[15]等。然而，對于現(xiàn)有的跟蹤算法，粒子的篩選大多關注特征的相似性[16]，且都僅僅在單特征空間中進行討論，而考慮在多維子空間中將特征和位置信息相結合則相對缺乏。

文中在“匹配-搜索”跟蹤框架下，提出基于顯著性特征和粒子篩選的目標跟蹤算法。通過對目標表示和搜索策略兩方面的改進，提升算法的準確性。首先，在多維顯著子空間篩選的基礎上，通過降維處理去除冗余顏色特征，保留有效顏色特征，形成目標的顯著性特征矩陣表示，有效解決了基于單空間下目標表示的冗余性問題。其次，搜索階段，在目標表示的基礎上，結合粒子的空間相關性，提出基于特征和空間位置相結合的有效粒子篩選方法，有效地對目標位置進行預測和調(diào)整，解決了冗余粒子干擾跟蹤準確性和降低運算效率的問題。

1 多子空間中差別性特征表示

目標跟蹤中，目標的表示是決定性因素，且不同的特征空間中，目標的表示也各異。基于此，文中在多個顯著性子空間下，構建目標的顯著性特征矩陣表示，以解決跟蹤過程中目標表示的魯棒性問題。

1.1 顯著顏色空間篩選

實際場景中，不同的特征子空間，目標的表觀模型通常是不同的，即目標和背景的差異程度在不同的子空間中呈現(xiàn)差異性。文中采用R、G、B空間，以及它們的線性組合，對目標和背景的差異大小進行分析。目標基于各子空間的表示如圖1所示。

圖1 子空間中目標的表示

在眾多的顏色空間中，由于目標在各特征子空間中的各異性，篩選出目標相對于背景差異度最大的顯著性子空間，更有利于目標特征的表示。為了準確評價目標和背景的差異程度，文中采用文獻[3]中的方差比作為對比度來衡量目標和背景的差異性，以差異性大小，篩選出目標與背景最為顯著的10個顯著性子空間。

1.2 顯著性子空間矩陣(discriminative sub-space matrix，DSSM)

文中使用空間顏色直方圖描述目標，該特征不僅反映了目標的全局統(tǒng)計信息，且包含了目標像素間的空間信息，更有利于對目標的差異性分析。目標加權直方圖公式為：

(1)

空間顏色直方圖Qi，反映了目標在不同子空間中區(qū)別于背景的特征表示。將不同子空間中的特征有效表示融合在一起，實現(xiàn)對目標的多層次描述，目標的模型定義為：

Q10*32={Q1Q2…Qi…Q10}

(2)

其中，Qi表示第i個子空間中目標的空間顏色直方圖向量；Q10*32表示基于10個篩選的顯著子空間中，32維空間顏色直方圖組成的特征矩陣。

1.3 顯著性子空間顏色矩陣(discriminative sub-space & color matrix，DSSCM)

目標的特征矩陣Q10*32包含兩類信息，目標的顏色信息和小部分的目標周邊的背景信息。其中，少數(shù)背景信息和次要顏色信息對目標區(qū)別于背景造成了干擾，同時也增加了后續(xù)的計算量?；诖耍闹胁捎弥鞒煞址治龇?principal component analysis，PCA)去除非目標或目標中次要的顏色信息，以突出目標的特征表示。這里采用主成分分析法，提取貢獻度不小于80%的特征向量，組成新的目標矩陣表示。形成10×M的矩陣形式，此時的目標模型Q10*M較準確地描述了目標區(qū)別于背景的特征，且降維處理提高了后續(xù)計算的實時性，表示為：

(3)

在顯著性子空間篩選的基礎上，形成基于多子空間的目標的特征矩陣表示。為了有效地對目標進行表示，通過降維的方式，形成目標的顯著性特征表示，流程如圖2所示。

圖2 顯著性特征的形成過程

1.4 顯著性特征矩陣DSSCM的驗證

(4)

對圖3中的原始圖像，黑色矩形框為目標模板(初始位置)，白色十字為目標框中心，沿x軸和y軸移動軌跡。如圖3所示，相似度變化差異越大，目標的特征表示的魯棒性越好。

2 基于DSSCM與粒子篩選的目標定位

匹配-搜索框架下，搜索策略也是影響跟蹤的重要因素之一。其中，基于粒子濾波的搜索中，有效粒子的篩選成為影響跟蹤的重要因素。本節(jié)在目標顯著性表示的基礎上，對粒子進行有效的特征表示并結合粒子的空間位置相關性，對粒子進行有效篩選，提高跟蹤的準確性。

2.1 粒子的聚集分析

(5)

相似度矩陣C(n,m)由所有子空間的模板Q和樣本Qtemp的相似度得到；n為子空間索引；m是樣本索引，如圖4所示。

圖4 樣本矩陣

2.2 基于特征DSSCM和局部聚集的有效粒子篩選

通過特征相似性和位置的粒子篩選，有效粒子參與后續(xù)的跟蹤。在空間中粒子的位置具有唯一性，即在所有的特征子空間中，目標的位置具有唯一性。針對相似度矩陣C(n,m)中粒子相似度值的分布，抽取相似度最大的前10%的粒子，如果該粒子存在于相似度矩陣中同一列的所有行中，則該粒子為有效粒子，如圖5所示。

以上篩選只是參照了粒子相似度，然而由于相似度測量的誤差，必然存在誤匹配的離散粒子，即相似度較大，但距離目標較遠的離散粒子，如果保留這種粒子，必然對跟蹤造成影響。從空間的角度，對保留的粒子進行進一步篩選，即具有局部聚集特性且相似度值較大的粒子才是真正的目標粒子。反之，粒子呈現(xiàn)離散狀且具有較低的相似度，則對于跟蹤來說為無效粒子，如圖5所示。

圖5 相似度篩選

2.3 基于粒子篩選的目標定位

在相似度篩選的基礎上，以每個粒子為中心形成和模板大小的樣本，提取樣本的特征表示。采用歐氏距離度量相應樣本和模板的特征距離，并對所有粒子的距離進行歸一化處理，作為粒子的權值。以目標大小為移動窗口，對當前幀進行卷積操作，移動窗口中有效性粒子權值之和最多的區(qū)域即為最終的跟蹤位置R，如下所示：

(6)

其中，wi為第i個粒子的權重信息；ri為第i個粒子的位置；n為相關區(qū)域中粒子的總數(shù)。

3 算法流程

以粒子濾波進行運動目標狀態(tài)估計，實現(xiàn)基于顯著特征和空間位置的粒子濾波目標跟蹤算法，步驟及流程如下所示：

初始化：

(1)形成初始模板并基于目標-背景的判別性分析篩選出顯著性子空間。

跟蹤：

(3)在當前幀搜索區(qū)域中散布100個粒子，得到100個候選目標。

(5)在各個子空間中，計算模板和候選目標的顏色直方圖相似度，并形成10×100的相似度矩陣。

(6)基于相似度矩陣和在特征子空間中的位置關系，篩選出相似度高且存在于所有子空間中的有效粒子。

(7)通過模板和相應樣本的距離，確定有效粒子的權重，并進行歸一化。

(8)通過當前幀滑動窗內(nèi)所有粒子的融合操作，確定最終的目標位置。

(9)每n幀更新重新篩選特征子空間并形成目標表示DSSCM。

4 實驗結果

為評估該算法在復雜場景下跟蹤的魯棒性，采用標準測試視頻CAVIAR、David和Highway，與國內(nèi)外其他研究成果進行對比[17]。采用文獻[3]中Collins的跟蹤算法、PFMCF粒子濾波算法[6]和ER算法[13]。對于每個視頻序列，在初始幀時，對目標進行手動標定。驗證的復雜情況包括運動目標發(fā)生形變、目標亮度變化、目標快速移動、縮放變化等。

實驗1：CAVIAR是光照變化較為嚴重的一段視頻序列，隨著目標亮度的變化，運動目標本身表觀特征變化明顯，此外，目標帶有輕微的縮放，明顯的姿態(tài)變化。

圖6 為CAVIAR視頻序列，可以看出，使用PFMCF算法時，光照的變化，目標的顏色發(fā)生變化，特征度量失效，跟蹤表現(xiàn)不穩(wěn)定。ER算法在單一特征空間下進行粒子篩選，因為表觀特征的改變，加大了粒子篩選的誤差，使跟蹤失敗。Collins跟蹤算法，采用方差比評價準則進行特征篩選，當目標存在光照變化、縮放時，需要不斷更新，此時易造成評價準則誤差、最優(yōu)特征的錯選，當誤差累計到一定程度時，便會導致跟蹤目標的失敗。文中算法通過空間顏色的特征融合，有效地挖掘圖像的特征分布，一定程度上克服了亮度變化、縮放等對跟蹤的影響，實現(xiàn)了較好的跟蹤效果。

圖6 CAVIAR視頻序列

實驗2：David通用標準視頻中，目標亮度在視頻序列播放中發(fā)生明顯變化，并存在目標本身旋轉(zhuǎn)與鏡頭之間的角度的變化，目標發(fā)生強烈的形變，此外還有縮放現(xiàn)象。

圖7 David視頻序列

圖7為David視頻序列，可以看出，使用PFMCF算法，當經(jīng)過壁畫區(qū)域時，存在相似物干擾，并且粒子拋撒的均勻性，進一步加劇了特征度量的失效，出現(xiàn)目標丟失現(xiàn)象。對于ER算法，在相似物干擾情況下，粒子的篩選只考慮特征單方面因素，易造成度量的誤差，影響跟蹤效果；Collins跟蹤算法在特征選擇時存在評價誤差，當目標存在劇烈形變，并在伴有光照、縮放變化時，出現(xiàn)跟蹤失??；而文中算法采用多個子空間特征的融合，降低了單個特征的局限性，同時在搜索階段結合各子空間中粒子的位置信息，確定目標位置，在跟蹤過程中保持穩(wěn)定性跟蹤。

實驗3：在Highway這段室外視頻序列中，目標表現(xiàn)出快速的移動及強烈的縮放變化。

圖8 Highway視頻序列

圖8為Highway視頻序列，可以看出，PFMCF跟蹤算法在目標快速移動、強烈縮放的情況下，因模板更新和搜索策略的限制，產(chǎn)生了明顯錯誤。ER算法，在目標劇烈變化時，因粒子拋撒的隨機性和模板更新的限制，導致特征匹配的誤差增大，對跟蹤造成不利影響。Collins跟蹤算法因存在最優(yōu)特征的錯選，當目標存在快速移動及強烈縮放變化時，便會出現(xiàn)目標漂移現(xiàn)象，在漂移過程中誤差累計到一定程度時，導致跟蹤失?。欢闹兴惴ㄔ诹Ｗ訛V波框架下結合各子空間中樣本的位置信息判別，實現(xiàn)了目標的準確定位，在跟蹤過程中保持穩(wěn)定性跟蹤。

實驗4：圖9展示了一個量化的實驗對比。在原始視頻上每5幀手動標注一個真實的目標位置，繪制各個跟蹤算法得到的結果與真實的目標位置之間的位置差異曲線。對任意跟蹤算法，與目標真實位置差異越小，表示跟蹤結果越準確。從圖中可看出，在3段視頻序列中，文中算法所得目標定位結果與實際目標位置的差異較小，目標跟蹤結果準確性較高。

圖9 多種運動目標跟蹤算法結果與實際位置差異曲線

5 結束語

在多個子空間中，文中提出基于特征信息和樣本位置相結合的目標跟蹤算法。通過顯著性子空間中目標與背景的差異性分析，形成目標的顯著性表示；在搜索階段，基于目標的顯著性表示和空間中粒子的位置關系，篩選出有效粒子，一定程度上實現(xiàn)了目標的準確跟蹤。實驗結果表明，在光照變化，旋轉(zhuǎn)、縮放和快速移動等情況下實現(xiàn)了較好效果。文中算法對目標采用整體的描述方式，且特征是基于簡單的空間顏色直方圖特征，在后續(xù)的研究中將嘗試采用局部和全局相結合的方式，且融合多種不同類型的特征對目標進行魯棒性表示，從而使跟蹤算法更加準確。