運動目標跟蹤技術綜述

仝曉龍等

摘 要：運動目標跟蹤是一個頗具挑戰(zhàn)性的問題，文章對當前運動目標跟蹤問題的相關方法進行分析研究。首先從一個嶄新的角度提出了一套分析運動目標跟蹤技術的體系結(jié)構(gòu)方法。然后采用這種體系結(jié)構(gòu)對列舉的每種跟蹤算法方案進行闡述和歸類，指出了每種方案適用范圍及其局限性。最后針對研究過程中所面臨的難題，展望了運動目標跟蹤技術新的發(fā)展趨勢。

關鍵詞：運動目標跟蹤；特征模板提??；跟蹤算法框架；運動目標預測

緒論

運動目標跟蹤是一門多學科交叉的技術，是計算機視覺領域的一個重要課題，它綜合應用了圖像處理、模式識別、自動控制、人工智能等學科的理論知識。運動目標跟蹤，是指給定一段視頻序列，在該視頻序列的每幀圖像中實時地找到感興趣的運動目標，并評估其運動軌跡。一般來說，典型的目標跟蹤系統(tǒng)一般包含的四個過程[1]：目標初始化，特征模版表示，相似性度量和運動估計，進行目標定位。運動目標跟蹤問題的難點如：目標本身特征的多樣性和不穩(wěn)定性、外部環(huán)境的復雜多變性、目標之間的遮擋等。解決跟蹤問題的關鍵點在于：完整地分割目標、有效地表示目標和準確識別目標。

通過對于大量目標跟蹤領域文獻的閱讀，可以分析出之前較多的目標跟蹤綜述文獻[1][2][3]主要是從特征模版表示或不同跟蹤算法等角度對跟蹤進行分類，但是對于讀者對整個跟蹤系統(tǒng)框架把握不清。文章根據(jù)目標跟蹤系統(tǒng)中實現(xiàn)過程，從一種新穎角度總結(jié)出一般的目標跟蹤方法體系結(jié)構(gòu)分為以下三個部分：（1）運動目標的特征選取和表示；（2）運動目標跟蹤常用算法框架；（3）運動目標預測算法。

目標跟蹤算法一般的都不會超出這三個部分。分別從這三個部分進行跟蹤算法的分析研究，第一考慮選取不同的目標特征，如顏色、紋理、形狀等；根據(jù)選擇目標特征，運用合理的目標表示方法，如顏色直方圖，紋理直方圖、輪廓特征模板等；第二，選擇一種或幾種適合的跟蹤算法框架。第三，采用目標跟蹤預測的方法更加合理準確的找到目標。我們結(jié)合目標跟蹤領域提出的許多方法，論述了三個部分如何有機組合實現(xiàn)有效的運動目標跟蹤。此外，文中所列舉的大量跟蹤方法實例都可以從以上三個部分進行歸類，這將有助于相關領域的研究人員清晰的把握目標跟蹤技術脈絡，讓研究人員盡快的從以上三個方面進行深入研究，并提出相應改進和創(chuàng)新方法。

1 運動目標特征提取

1.1 目標特征

特征是一個物體具有可靠性、獨立性、且可區(qū)別于其他物體的屬性，一個運動目標一般具有很多特征，充分的了解這些特征將有助于提高解決運動目標跟蹤問題的效率和準確性。一般來講，常見的運動目標的特征包括：顏色、紋理、邊緣、運動等如何根據(jù)特定的場景選擇合適的目標特征，成為影響跟蹤效果好壞的重要因素。希望通過有效特征選取，來區(qū)分感興趣運動目標和場景中其他運動目標。例如，在足球比賽中，對特定某個運動員跟蹤，而選擇了不恰當?shù)奶卣?，例如形狀，接下來在運動員遮擋的時候，就很難正確跟蹤了。對于特定場景的應用，特征的選擇十分重要，因而作為跟蹤方法結(jié)構(gòu)的第一部分，文章所舉出的是基本的視覺目標特征，研究人員也可以采用或設計一些新的視覺特征來更好實習目標的跟蹤。

1.2 目標特征提取

目標特征提取，是指使用運動目標的某些顯著特征表示目標。也可將其分解為兩個部分視覺表征和統(tǒng)計模型。視覺表征目標是采用各種不同的視覺特征構(gòu)建魯棒的目標描述。統(tǒng)計模型是采用統(tǒng)計學習的方法建立有效的分辨目標的數(shù)學模型。

在運動目標跟蹤過程的開始階段，首先要選擇感興趣的跟蹤目標，通過圖像分割或人為框選得到覆蓋整個目標的區(qū)域（該區(qū)域比目標稍大，可以是矩形或橢圓形），然后采用目標的某些特征來有效地表示該運動目標。實際中的運動目標往往具有很多特征，如果將其所有特征都記錄下來，就需要計算機花大量時間計算，從而滿足不了要求實時性的跟蹤。所以，不需要考慮運動目標的全部特征，而只需要利用一些顯著特征即可，所提取的特征應盡量做到計算簡單，以便快速識別。另外，選用的特征應盡量具有相對穩(wěn)定性，即對圖像的旋轉(zhuǎn)、平移、尺度變化、光照條件變化等不敏感，從而減輕外部環(huán)境對跟蹤效果的影響。

在處理跟蹤問題時，跟蹤系統(tǒng)將要跟蹤的運動目標用其顯著特征表示，計算機處理這個“表示”的過程是將目標的顯著特征數(shù)據(jù)從高維的原始特征空間，通過映射變換到低維空間，形成簡化計算量的可供計算機理解的數(shù)據(jù)，同時計算機認為該特征數(shù)據(jù)即為運動目標的特征模板，即計算機“認識”了要跟蹤的目標。計算機將運動目標用其模板表示的目的是為后續(xù)的跟蹤工作做準備。常用的目標模板包括：顏色直方圖、灰度共生矩陣、紋理直方圖等（圖1a）。在實際應用中，上述這些模板可以進行適當?shù)母倪M以提高跟蹤的魯棒性。

2 跟蹤算法框架

2.1 目標特征模版更新

我們可以比較容易的提取一般圖像的特征，然而是否這些特征可以有效表達要跟蹤的目標，經(jīng)常需要根據(jù)特定的環(huán)境采用不同的特征還可能采用多特征聯(lián)生成有效的目標模板。上一節(jié)在介紹目標特征提取時候，可以將提取特征模板直接作為生成的目標的特征模板直接使用，還可以選用這些特征模板來生成新的目標特征模板，往往這樣做會更有效的表達表達目標。

目標特征模板生成后常常不是唯一不變，在目標運動的過程中由于目標的形變和光照的變化會影響目標的有效表達，因此需要對目標模板運動跟蹤過程中進行更新。目標特征模版更新問題在跟蹤領域關注度越來越高，主流的研究方法是在線特征選擇，需要用特征模版和當前圖像的目標數(shù)據(jù)進行比對來決定是否進模版更新。還有一種模版的更新策略，根據(jù)跟蹤到的目標實時的更新目標的模版而不進行比對。模版更新問題較為困難，首先如果在目標存在遮擋情況下，模版更新較快很容易造成錯誤的模版更新。其次，模版更新較慢不能適用目標快速變化的情況。一般來說，感興趣目標在一段視頻序列中不會發(fā)生特別大的改變，魯棒的模版更新機制也就沒有必要了。當然，在要求嚴格的自動化商業(yè)系統(tǒng)中，一般是需要通過有監(jiān)督的方法輔助進行模版更新。endprint

2.2 模板匹配

跟蹤系統(tǒng)在將運動目標用其特征模板表示之后，跟蹤過程也進入了計算相似性度量階段。在視頻圖像的后續(xù)幀中，采用一定的相似性度量方法，通過計算目標模板與后續(xù)幀中所有候選目標區(qū)域的相似性函數(shù)值，選擇函數(shù)值最大的候選目標區(qū)域（也即與目標特征模板最相似的區(qū)域）作為運動目標在新一幀圖像中的位置。用這樣的方式在每一幀圖像中進行計算相似性度量，就可以實現(xiàn)運動目標的連續(xù)跟蹤。在圖像處理與分析理論中，常用的相似性度量方法有歐式距離、加權距離、Bhattacharyya系數(shù)等。

2.3 分類學習

利用分類器將跟蹤目標從背景中分割出來是以模式分類的方法解決視頻跟蹤問題。我們把跟蹤看作分類問題，通過訓練分類器來區(qū)分背景和目標。通過在參考圖像中提取每一像素的一個特征向量，經(jīng)過訓練得到一個分類器來識別一個像素是屬于目標還是背景。給定新的一幀圖像，我們使用訓練好的分類器測試偵查區(qū)域里的像素并得到置信圖，我們認為圖中的峰值點就是物體移動到的地方。

3 運動預測

運動預測，相當于是一個動態(tài)的狀態(tài)評估的問題，在跟蹤上一幀的運動個目標后，提出目標特征，然后在下一幀圖像中采用特征匹配或訓練分類器分類方法進行目標跟蹤。但是為了減少搜索特征匹配的區(qū)域，提高實時性，我們常常對目標運動軌跡預測選取最可能的目標區(qū)域。狀態(tài)評估公式：xt=f（xt-1，vt-1）和zt=h（xt，wt），其中xt是當前狀態(tài)，f是狀態(tài)方程，vt-1是過程噪聲，zt是當前觀測值，h是測量方程，wt是測量噪聲。

一般常用預測方法有如，固定搜索窗半徑r（r為大于0的實數(shù)），r的大小是根據(jù)跟蹤目標的不同設定的。我們以上一幀目標所在位置為中心r為半徑，產(chǎn)生多個檢測窗口進行當前幀搜索計算找到最大可能的位置作為本幀目標位置。還可以統(tǒng)計之前N（N=2，3，…）幀跟蹤的目標位置信息，計算出目標運動的大致方向和速度，預判下一幀中可能的目標位置，從而減少計算量。比較經(jīng)典的預測方法如：Ellis等2010年提出線性回歸預測算法，、Kalman在1960年提出的Kalman濾波器預測算法、Isard 和Blake等1998年提出的粒子濾波器預測算法，選取最可能的目標區(qū)域。文章主要的任務是讓讀者有一個關于跟蹤目標算法清晰的思路，快速的了解目標跟蹤技術關鍵要點。在這里不再具體的詳述具體預測算法。

4 經(jīng)典跟蹤算法

一般的運動目標跟蹤的實現(xiàn)，必然是采用具體某種跟蹤算法作為依托。首先，文章將介紹的四種經(jīng)典的運動目標跟蹤算法：基于Mean Shift目標跟蹤；基于卡爾曼濾波目標跟蹤；基于粒子濾波目標跟蹤；基于支持向量機SVM分類學習目標跟蹤。人們目前常用的跟蹤方法一般都會采用這四種經(jīng)典的跟蹤算法一種或幾種，去實現(xiàn)運動目標的高效、穩(wěn)定的跟蹤。然后，文章列舉的大量的實例依據(jù)文章所提出的跟蹤算法體系結(jié)構(gòu)的組成部分進行分析分解，這樣做有助于相關領域的研究人員，清晰的把握實例中采用的跟蹤算法結(jié)構(gòu)。最后，介紹了近年來提出一些受到研究人員越來越多關注的新的跟蹤算法。

4.1 基于Mean Shift目標跟蹤

Mean Shift（均值移動）算法由Fukunaga于1975年在一篇關于概率密度梯度函數(shù)的估計的文章中首次提出，其含義為移動的均值向量，該算法計算簡單，實時性強，對目標的形狀變化、尺度變化不敏感，但是對顏色相近的干擾情況，跟蹤效果不夠理想。Mean Shift算法是一個迭代收斂的過程，即計算當前點的偏移均值，移動該點到其偏移均值，然后以此為新的起始點繼續(xù)移動，直到滿足一定閾值條件或迭代次數(shù)限制條件的約束。Comaniciu最早將Mean Shift算法應用于圖像濾波、分割和目標跟蹤領域。Camshift算法是一種基于均值漂移（Mean Shift）的算法，在連續(xù)幀上使用Mean Shift算法就是Camshift跟蹤算法。Camshift同經(jīng)典的均值移動跟蹤算法的基本思想是相同的，所不同的是，Camshift是建立在顏色概率分布圖和矩的基礎之上，Camshift算法對室內(nèi)環(huán)境下的目標跟蹤具有較高的魯棒性。

陳建軍[4]等人提出了一種基于核共生矩陣的均值移動跟蹤算法，使用目標的紋理特征作為跟蹤線索，將灰度共生矩陣改進成核共生矩陣作為特征模板，采用Bhattacharyya系數(shù)度量核共生矩陣的相似度，在Mean Shift跟蹤算法基礎上實現(xiàn)了人臉的跟蹤；田綱[5]等人使用目標的顏色和運動特征，將目標的運動矢量作為特征模板，在Mean Shift跟蹤算法基礎上實現(xiàn)了跟蹤；袁廣林[6]等人使用目標的顏色特征，通過多顏色直方圖自適應組合作為特征模板，利用目標區(qū)域?qū)γ恳活伾狈綀D的概率圖的均值和方差的比值，自適應計算權值，在Mean Shift跟蹤算法基礎上實現(xiàn)穩(wěn)定跟蹤，該方法對目標外觀變化具有較強的魯棒性。

4.2 基于卡爾曼濾波目標跟蹤

卡爾曼濾波算法是一種經(jīng)典的預測估計算法，如果已知目標運動是線性的，且圖像噪聲服從高斯分布，便可應用卡爾曼濾波預測目標下一幀位置，從而實現(xiàn)目標跟蹤?？柭鼮V波器是一個最優(yōu)化自回歸數(shù)據(jù)處理算法，對動態(tài)系統(tǒng)的狀態(tài)序列進行線性最小方差估計，利用狀態(tài)方程和觀測方程描述動態(tài)系統(tǒng)，根據(jù)之前的狀態(tài)序列對下一個狀態(tài)作最優(yōu)估計，預測時具有無偏、穩(wěn)定的特點，在存在部分短暫遮擋的目標跟蹤中有很好的跟蹤效果。其計算量小，實時性強，可以準確預測目標的位置和速度，但是它只適合于線性高斯系統(tǒng)。

徐哈寧[7]等人使用目標的運動特征，提出一種交互多模型作為目標特征模板，交互多模型包括勻速模型、加速度模型、轉(zhuǎn)彎模型以及“當前”統(tǒng)計模型等，并將傳統(tǒng)的卡爾曼濾波跟蹤算法基礎上進行改進，即在去偏轉(zhuǎn)換測量卡爾曼濾波器（CMKF-D）框架下完成了體育視頻中球類目標的跟蹤；齊美彬[8]等人提出一種基于自適應權值的區(qū)域馬爾科夫隨機場（MRF）分割與跟蹤方法，利用相鄰像素的空間相關性，自適應更新系統(tǒng)能量函數(shù)中的參數(shù)，使用目標的灰度直方圖特征，建立分片積分直方圖特征模板，在卡爾曼濾波算法基礎上實現(xiàn)部分遮擋和光線變化時的準確分割與跟蹤。endprint

4.3 基于粒子濾波（Particle Filter）目標跟蹤

粒子濾波是上世紀90年代后期發(fā)展起來的，是一種基于蒙特卡羅和貝葉斯估計理論的最優(yōu)算法，其基本思想是用隨機樣本描述概率分布，以遞歸的方式對測量數(shù)據(jù)進行序貫處理，無須對之前的測量數(shù)據(jù)存儲和處理，根據(jù)測量數(shù)據(jù)調(diào)節(jié)各粒子權值的大小和樣本的位置，適合于非線性非高斯跟蹤系統(tǒng)，有效克服了卡爾曼濾波的缺點，同時可以跟蹤運動速度較快的目標。但粒子濾波算法的計算量會隨著所選取粒子數(shù)目的增加而驟增，因此較難滿足跟蹤的實時性要求。

王歡[9]等人利用目標的顏色、紋理、邊緣、運動的融合特征，并將這四種特征用統(tǒng)一的直方圖模型來表示，在Auxiliary粒子濾波算法基礎上將所有特征觀測進行概率融合，實現(xiàn)了復雜背景干擾和遮擋時的剛體和非剛體目標的跟蹤；夏利民等人使用目標的顏色、Harr小波和LBP紋理特征，利用背景信息和目標信息建立特征分類器，自適應地更新目標的特征模板，在粒子濾波跟蹤算法基礎上實現(xiàn)了穩(wěn)定跟蹤；趙曉林等人提出基于活動基模型的目標跟蹤方法，用一定數(shù)量的粒子表示運動目標的輪廓，以目標的局部邊緣作為特征，以活動基模型（局部邊緣特征模型）作為特征模板，在粒子濾波算法基礎上進行非剛體目標跟蹤，該方法在目標發(fā)生形狀變化以及存在遮擋情況下有很好的跟蹤性能。

4.4 基于支持向量機SVM分類學習目標跟蹤

有效的區(qū)分目標與背景是非常重要的，通過特征評價算法建立對目標和背景具有良好可分性的的視覺特征實現(xiàn)跟蹤。Avidan以支持向量機SVM離線學習得到目標與背景特征，稱為支持向量機跟蹤算法（SVM-Tracking）。

Tian等人利用一組線性支持向量機分類器構(gòu)建了SVM分類模型，這些分類器在跟蹤中不同時期具有自適應加權判別功能，在外觀變化較大時候跟蹤結(jié)果比較魯棒。但是，對于背景和目標相似情況，會產(chǎn)生起凡是和不可靠的訓練樣本選擇。Lu等人 設計SVM分類器采用多內(nèi)核學習（MKL）的視覺目標跟蹤，MKL的目的是學習的最佳線性組合不同的內(nèi)核的基礎上的不同特征，包括顏色信息和視覺詞空間金字塔直方圖，解決了上面文獻的問題。

4.5 跟蹤算法框架融合應用

上面介紹的三種跟蹤算法除了可以單獨作為框架使用，還可以進行多算法框架融合使用，以提高跟蹤的可靠性和準確性。例如：姚紅革等人使用目標的顏色特征，把目標的顏色直方圖改進成顏色概率分布圖，以加權顏色概率分布模型作為目標的特征模板，采用Bhattacharyya度量系數(shù)，在Mean Shift和卡爾曼濾波跟蹤算法基礎上實現(xiàn)了人的部分遮擋時的跟蹤；王相海等人利用目標的顏色特征，以基于重要區(qū)域的目標顏色直方圖統(tǒng)計模型作為特征模板，在Mean Shift、卡爾曼濾波和粒子濾波融合跟蹤算法基礎上實現(xiàn)了車輛的有效跟蹤；王鑫等人融合目標的顏色和運動特征，以顏色直方圖和運動直方圖作為目標的特征模板，使用改進的Camshift算法嵌入到粒子濾波算法中實現(xiàn)了人手和杯子的有效跟蹤。

4.6 目標跟蹤研究最新發(fā)展

除了以上介紹的四種經(jīng)典算法外，近年來發(fā)展起來的一些視頻目標跟蹤算法如，TLD、CT、Struck、MILTrack等，也越來越受到了研究人員的廣泛關注。簡要的介紹前兩種算法：TLD是Zdenek Kalal 等提出的一種新的單目標長時間跟蹤算法。該算法結(jié)合傳統(tǒng)檢測和跟蹤算法來解決被跟蹤目標在被跟蹤過程中發(fā)生的形變、部分遮擋等問題。同時，通過一種改進的在線學習機制不斷更新跟蹤模塊的“顯著特征點”和檢測模塊的目標模型及相關參數(shù)，從而使得跟蹤效果更加穩(wěn)定、魯棒、可靠。壓縮感知跟蹤（CT）算法是Zhang等人通過一定的寬松規(guī)則，生成一個稀疏的投影矩陣，然后直接將壓縮后的數(shù)據(jù)作為特征使用，可以進行快速的運動目標跟蹤。對于目標的旋轉(zhuǎn)和縮放變化的有較好處理，理論上有了較大的突破。

5 結(jié)束語

運動目標跟蹤作為計算機視覺領域研究的一個重要內(nèi)容，融合了多學科知識，具有很好的發(fā)展前景。盡管近年來運動目標跟蹤領域取得了很大進步，性能優(yōu)異的跟蹤算法不斷被提出，但仍存在許多需要解決的問題。研究出一種通用性好、實時性強、準確度高的跟蹤算法是未來的發(fā)展方向。對已有的跟蹤算法進行優(yōu)化可以提升跟蹤的可靠性和精度。根據(jù)文章提出的運動目標跟蹤方法分析流程體系結(jié)構(gòu)圖，可以在特征的選擇、跟蹤算法框架、運動預測算法這三方面做出創(chuàng)新，充分利用上下情景信息、背景和輔助目標信息，在一些特定的場合，適當增加機位擴展視頻的拍攝角度，更多的獲取目標特征信息，再對這些特征信息進行融合來降低跟蹤的難度，有效解決遮擋的跟蹤問題。

參考文獻

[1]X. Li，W. Hu，C. Shen，Z.Zhang，A. Dick，and A. Hengel.“A Survey of Appearance Models in Visual Object Tracking” TIST，2013.

[2]張娟，毛曉波，陳鐵軍.運動目標蹤算法研究綜述[J].計算機應用研究，2009，26（12）.

[3]薛陳，朱明，劉春香.遮擋情況下目標跟蹤算法綜述[J].中國光學與應用光學，2009，2（5）.

[4]陳建軍，安國成，張索非，等.基于核共生矩陣的均值移動跟蹤算法[J].中國圖像圖形學報，2010，15（10）：1499-1506.

[5]田綱，胡瑞敏，王中元.一種基于運動矢量分析的MeanShift目標跟蹤算法[J].中國圖像圖形學報，2010，15（1）：85-90.

[6]袁廣林，薛模根，謝愷，等.多顏色直方圖自適應組合MeanShift跟蹤[J].中國圖像圖形學報，2011，16（10）：1832-1840.

[7]徐哈寧，肖慧，侯宏錄.體育視頻序列中基于IMM的運動目標跟蹤算法[J].中國圖像圖形學報，2009，14（5）：920-924.

[8]齊美彬，楊立賓，蔣建國.自適應權值的MRF分割與跟蹤方法[J].中國圖像圖形學報，2011，16（4）：572-578.

[9]王歡，王江濤，任明武，等.一種魯棒的多特征融合目標跟蹤新算法[J].中國圖像圖形學報，2009，14（3）：489-498.endprint