運(yùn)動(dòng)目標(biāo)跟蹤綜述

曾巧玲，文貢堅(jiān)

(國(guó)防科學(xué)技術(shù)大學(xué) 電子科學(xué)與工程學(xué)院, 長(zhǎng)沙　410073)

?

運(yùn)動(dòng)目標(biāo)跟蹤綜述

曾巧玲，文貢堅(jiān)

(國(guó)防科學(xué)技術(shù)大學(xué) 電子科學(xué)與工程學(xué)院, 長(zhǎng)沙410073)

摘要：運(yùn)動(dòng)目標(biāo)跟蹤的任務(wù)是準(zhǔn)確、魯棒和實(shí)時(shí)地獲取序列圖像中的感興趣目標(biāo)，然而目標(biāo)跟蹤系統(tǒng)中存在許多固有限制因素。針對(duì)運(yùn)動(dòng)目標(biāo)跟蹤的研究任務(wù)和復(fù)雜性，討論分析了傳統(tǒng)運(yùn)動(dòng)目標(biāo)跟蹤方法的優(yōu)劣，闡述了各方法的最新發(fā)展。研究了當(dāng)前目標(biāo)跟蹤領(lǐng)域的2個(gè)熱點(diǎn)方向，并提出了基于多條件約束的目標(biāo)跟蹤技術(shù)方案。對(duì)基于序列圖像的運(yùn)動(dòng)目標(biāo)跟蹤技術(shù)的發(fā)展趨勢(shì)進(jìn)行了展望。

關(guān)鍵詞：運(yùn)動(dòng)目標(biāo)跟蹤；序列圖像

隨著數(shù)字化技術(shù)的不斷發(fā)展和推廣，視頻序列數(shù)據(jù)的應(yīng)用越來(lái)越廣泛。運(yùn)動(dòng)目標(biāo)跟蹤作為視頻數(shù)據(jù)分析的一大分支，對(duì)序列圖像中的運(yùn)動(dòng)目標(biāo)進(jìn)行提取和追蹤,為高層次的視頻理解和場(chǎng)景解釋提供依據(jù),在交通管制、視覺(jué)導(dǎo)航以及軍事偵察、戰(zhàn)場(chǎng)監(jiān)視等諸多領(lǐng)域有著廣闊的應(yīng)用前景。各國(guó)對(duì)運(yùn)動(dòng)目標(biāo)跟蹤技術(shù)在民用及軍事上的應(yīng)用給予了高度重視?；谛蛄袌D像的運(yùn)動(dòng)目標(biāo)跟蹤技術(shù)已經(jīng)成為一個(gè)重要的研究方向。

1　運(yùn)動(dòng)目標(biāo)跟蹤復(fù)雜性

基于視頻圖像的目標(biāo)跟蹤問(wèn)題存在許多方面的限制因素，使得序列圖像中動(dòng)目標(biāo)跟蹤技術(shù)的研究在理論和方法上都面臨著巨大的挑戰(zhàn)。

1) 跟蹤目標(biāo)的多樣性

首先，序列圖像中待跟蹤的對(duì)象往往是多個(gè)運(yùn)動(dòng)目標(biāo)，這些目標(biāo)具有不同的形狀、顏色等特征，難以利用統(tǒng)一的外觀特征模型來(lái)描述；其次，通常待跟蹤的機(jī)動(dòng)目標(biāo)的運(yùn)動(dòng)規(guī)律十分復(fù)雜，簡(jiǎn)單的運(yùn)動(dòng)模型往往不能精確描述目標(biāo)的運(yùn)動(dòng)特性；第三，在序列圖像獲取過(guò)程中，待跟蹤對(duì)象的運(yùn)動(dòng)也會(huì)導(dǎo)致其外觀特征的變化；此外，多個(gè)運(yùn)動(dòng)目標(biāo)之間可能發(fā)生相互遮擋，運(yùn)動(dòng)目標(biāo)本身也會(huì)出現(xiàn)變形。

2) 跟蹤場(chǎng)景的復(fù)雜性

首先，場(chǎng)景中光照的變化、大氣狀況的變化以及天氣等的影響會(huì)對(duì)跟蹤目標(biāo)造成嚴(yán)重干擾；其次，當(dāng)場(chǎng)景中存在與目標(biāo)外觀特征相似的地物時(shí)，運(yùn)動(dòng)目標(biāo)的跟蹤位置可能發(fā)生偏移，將增加運(yùn)動(dòng)目標(biāo)跟蹤的難度；另外，跟蹤目標(biāo)在運(yùn)動(dòng)過(guò)程中可能被場(chǎng)景中的物體遮擋，造成目標(biāo)運(yùn)動(dòng)軌跡中斷等問(wèn)題。

3) 應(yīng)用需求的多樣性

機(jī)動(dòng)目標(biāo)跟蹤算法的主要指標(biāo)包括跟蹤的準(zhǔn)確性、穩(wěn)定性、抗干擾性以及計(jì)算的實(shí)時(shí)性。然而，不同的應(yīng)用背景對(duì)序列圖像中運(yùn)動(dòng)目標(biāo)跟蹤算法的性能指標(biāo)不盡相同?，F(xiàn)有的許多跟蹤算法計(jì)算復(fù)雜度高，跟蹤精度受參數(shù)設(shè)置的影響嚴(yán)重，并且抗干擾性不高。

4) 目標(biāo)檢測(cè)存在誤差

目標(biāo)檢測(cè)過(guò)程中不可避免存在的誤檢、漏檢等現(xiàn)象，將會(huì)在目標(biāo)跟蹤時(shí)產(chǎn)生漂移，進(jìn)而影響目標(biāo)跟蹤的精度。

2　傳統(tǒng)目標(biāo)跟蹤方法分類(lèi)與發(fā)展

本文對(duì)傳統(tǒng)的序列圖像中運(yùn)動(dòng)目標(biāo)跟蹤方法進(jìn)行歸納總結(jié)，并針對(duì)運(yùn)動(dòng)目標(biāo)跟蹤的復(fù)雜性，對(duì)比分析各方法的優(yōu)缺點(diǎn)以及跟蹤性能，闡述各方法的最新發(fā)展。

2.1目標(biāo)跟蹤方法分類(lèi)及性能分析

2.1.1基于實(shí)時(shí)檢測(cè)的運(yùn)動(dòng)目標(biāo)跟蹤

基于實(shí)時(shí)檢測(cè)的跟蹤方法的基本思路是：利用正負(fù)樣本訓(xùn)練分類(lèi)器，并用該分類(lèi)器對(duì)目標(biāo)和背景進(jìn)行分類(lèi)，實(shí)現(xiàn)目標(biāo)檢測(cè)的同時(shí)以置信度最高的圖像塊作為目標(biāo)位置[1]。該類(lèi)方法的典型代表有Tracking Learning Detection(TLD)方法[2-4]、Online Boosting方法等[5-8]。

通?；趯?shí)時(shí)檢測(cè)的跟蹤方法是在線方法。該方法的優(yōu)點(diǎn)是利用當(dāng)前圖像幀的采樣數(shù)據(jù)更新分類(lèi)器，因此對(duì)目標(biāo)的變化具有一定的自適應(yīng)能力。

然而，分類(lèi)器的分類(lèi)精度常依賴(lài)于目標(biāo)特征的表達(dá)能力，因此當(dāng)場(chǎng)景中出現(xiàn)較嚴(yán)重的目標(biāo)遮擋時(shí)該方法性能較差。同樣，該方法區(qū)分場(chǎng)景中相似目標(biāo)的能力也很有限。

2.1.2基于模板匹配的運(yùn)動(dòng)目標(biāo)跟蹤

基于模板匹配的目標(biāo)跟蹤方法主要包含3個(gè)方面：一是正確地表達(dá)運(yùn)動(dòng)目標(biāo)；二是對(duì)運(yùn)動(dòng)目標(biāo)與現(xiàn)有模板的相似性進(jìn)行度量；三是從眾多匹配結(jié)果中尋找運(yùn)動(dòng)目標(biāo)的最優(yōu)匹配。根據(jù)這3方面的差異，基于模板匹配的目標(biāo)跟蹤方法又可分為基于全局模型的跟蹤方法、基于區(qū)域模型的跟蹤方法、基于特征的跟蹤方法以及基于變形模型的跟蹤方法。

1) 基于全局模型的運(yùn)動(dòng)目標(biāo)跟蹤方法

基于全局模型的跟蹤方法針對(duì)運(yùn)動(dòng)目標(biāo)的外形特征建立模型，通過(guò)運(yùn)動(dòng)目標(biāo)與該模型的匹配實(shí)現(xiàn)目標(biāo)跟蹤，并不斷更新目標(biāo)模型。對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行外形建模時(shí)，通常采用線圖模型、2D模型、3D模型[9-10]以及稀疏編碼模型[11]。

基于全局模型的跟蹤方法具有較好的魯棒性，不易受觀測(cè)角度、遮擋物等的干擾，對(duì)于剛體目標(biāo)的運(yùn)動(dòng)變化捕捉能力強(qiáng)，相應(yīng)的模型匹配的精度高。

該方法的缺點(diǎn)在于其性能主要取決于建立的模型是否準(zhǔn)確，對(duì)運(yùn)動(dòng)過(guò)程中形狀隨機(jī)變化的目標(biāo)而言，獲取精確的幾何模型難度高，難以采用該類(lèi)方法進(jìn)行有效跟蹤。

2) 基于區(qū)域模型的運(yùn)動(dòng)目標(biāo)跟蹤方法

基于區(qū)域模型的運(yùn)動(dòng)目標(biāo)跟蹤方法將運(yùn)動(dòng)目標(biāo)劃分為不同的部件，并對(duì)各部件分別建立模型；通過(guò)部件模型與目標(biāo)模型之間的匹配以及各部件之間的時(shí)空關(guān)聯(lián)實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)跟蹤。WREN CR等[12]將人體運(yùn)動(dòng)目標(biāo)劃分為頭部、四肢、軀體等10個(gè)部分，并利用各個(gè)區(qū)域塊的時(shí)空關(guān)聯(lián)實(shí)現(xiàn)人體目標(biāo)的跟蹤。

基于區(qū)域模型的跟蹤方法的優(yōu)點(diǎn)是：在運(yùn)動(dòng)目標(biāo)不被遮擋或目標(biāo)形變不大時(shí)，不僅跟蹤穩(wěn)定，而且能夠保證較高的跟蹤精度。

然而，當(dāng)運(yùn)動(dòng)目標(biāo)出現(xiàn)較嚴(yán)重遮擋或者尺寸的劇烈變化時(shí)，部件之間的關(guān)聯(lián)匹配難度很大，這將大大影響模型匹配的精度，甚至造成運(yùn)動(dòng)目標(biāo)的跟蹤丟失。此外，全圖搜索匹配區(qū)域非常耗時(shí)，影響系統(tǒng)的實(shí)時(shí)性。

3) 基于變形模型的運(yùn)動(dòng)目標(biāo)跟蹤方法

基于變形模型的跟蹤方法實(shí)質(zhì)上是一種基于目標(biāo)邊緣信息的方法，該類(lèi)方法的典型代表是基于Snake模型的跟蹤方法。其主要思想是構(gòu)成一定形狀的輪廓線，在內(nèi)部力、外部力和約束力的作用下，反復(fù)對(duì)曲線的能量函數(shù)進(jìn)行迭代，使曲線上的輪廓點(diǎn)向使能量函數(shù)極小化的方向移動(dòng)，從而實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)跟蹤[13-15]。

基于變形模型的跟蹤方法不需要利用目標(biāo)的任何先驗(yàn)信息，且在跟蹤過(guò)程中充分運(yùn)用了目標(biāo)輪廓的全局信息、幾何信息，跟蹤效果比較可靠。

然而，該類(lèi)方法逐步迭代尋找最優(yōu)輪廓線，因此計(jì)算量大，算法實(shí)時(shí)性較差。另外，目標(biāo)在運(yùn)動(dòng)過(guò)程中發(fā)生劇烈形變時(shí)，Snake模型的跟蹤精度將受到影響。

4) 基于特征的運(yùn)動(dòng)目標(biāo)跟蹤方法

基于特征的跟蹤方法主要包括特征提取和特征匹配2個(gè)步驟。特征提取時(shí)一般選擇具有平移、旋轉(zhuǎn)、縮放不變性的全局特征譬如質(zhì)心、顏色、角點(diǎn)、Hu矩等[16]。首先，以運(yùn)動(dòng)目標(biāo)區(qū)域的特征信息作為目標(biāo)描述模型，然后利用特征匹配計(jì)算當(dāng)前幀提取的特征與目標(biāo)描述模型的相似程度，并選擇最可靠匹配作為跟蹤結(jié)果。該類(lèi)方法應(yīng)用范圍廣泛，典型代表是MeanShift均值漂移算法[17-19]。

基于特征的跟蹤方法對(duì)目標(biāo)的形狀、尺度等變化不敏感，跟蹤的穩(wěn)定性好，甚至在目標(biāo)被部分遮擋的情況下，僅僅依賴(lài)能夠提取到的特征也能實(shí)現(xiàn)良好的跟蹤效果。

然而，大多數(shù)圖像特征對(duì)周?chē)h(huán)境譬如光照變化等敏感，增加了特征提取的難度。此外，當(dāng)背景特征與目標(biāo)特征相似或者跟蹤對(duì)象遮擋嚴(yán)重時(shí)，難以獲得準(zhǔn)確的特征匹配結(jié)果，將會(huì)導(dǎo)致跟蹤目標(biāo)錯(cuò)誤甚至丟失。

2.1.3基于貝葉斯濾波的運(yùn)動(dòng)目標(biāo)跟蹤

貝葉斯方法是協(xié)調(diào)先驗(yàn)信息和當(dāng)前信息的統(tǒng)一方法，基于貝葉斯濾波的跟蹤方法的實(shí)質(zhì)是利用當(dāng)前幀之前的先驗(yàn)信息對(duì)目標(biāo)在當(dāng)前幀圖像的狀態(tài)進(jìn)行最優(yōu)估計(jì)[20]。該類(lèi)方法的典型算法有卡爾曼濾波算法[21-27]、粒子濾波算法等[20，28-32]。

傳統(tǒng)的卡爾曼濾波是一種利用線性系統(tǒng)狀態(tài)方程，通過(guò)系統(tǒng)輸入輸出觀測(cè)數(shù)據(jù)，對(duì)系統(tǒng)狀態(tài)進(jìn)行最優(yōu)估計(jì)的算法。該算法能夠?qū)ΜF(xiàn)場(chǎng)采集的數(shù)據(jù)進(jìn)行實(shí)時(shí)的更新和處理，是目前應(yīng)用最為廣泛的濾波方法，但其致命缺陷在于使用范圍的局限——卡爾曼濾波只適用于線性高斯系統(tǒng)。

相比卡爾曼濾波算法，粒子濾波算法的思想基于蒙特卡洛方法，用隨機(jī)樣本來(lái)描述概率分布，然后在測(cè)量的基礎(chǔ)上調(diào)節(jié)各粒子的權(quán)重和樣本的位置，不斷逼近真實(shí)的概率分布。由于非參數(shù)化的特點(diǎn)，粒子濾波算法在處理非線性非高斯問(wèn)題時(shí)效果顯著，應(yīng)用范圍相當(dāng)廣泛。

然而，粒子濾波算法常常由于要保證濾波精度而產(chǎn)生大量粒子，而所需粒子數(shù)越多，算法的復(fù)雜度就越高。此外，重采樣技術(shù)的應(yīng)用帶來(lái)了粒子退化的問(wèn)題，制約了粒子濾波跟蹤運(yùn)動(dòng)目標(biāo)的性能。 針對(duì)傳統(tǒng)貝葉斯跟蹤方法的缺陷，新近提出了無(wú)跡粒子濾波算法(UPF)[33]、Rao-Blackwellized粒子濾波算法(RBPF)[34]等。另外，隨著生物智能的不斷發(fā)展，遺傳算法與粒子濾波的結(jié)合開(kāi)始受到關(guān)注。有實(shí)驗(yàn)表明：將改進(jìn)的遺傳算法應(yīng)用于粒子重采樣中，改善了樣本的多樣性，改進(jìn)后的基于遺傳算法的粒子濾波跟蹤算法不僅保持了較高的運(yùn)算效率，而且較好地提高了跟蹤穩(wěn)定性和準(zhǔn)確性[35-38]。

2.2傳統(tǒng)目標(biāo)跟蹤方法的發(fā)展

傳統(tǒng)的目標(biāo)跟蹤方法由于其邏輯思路的不同而各有優(yōu)劣。各方法的發(fā)展與改進(jìn)不僅要考慮實(shí)際目標(biāo)跟蹤問(wèn)題的復(fù)雜性，還要相互補(bǔ)充和借鑒。

1) 提高運(yùn)動(dòng)目標(biāo)特征描述能力

對(duì)被跟蹤目標(biāo)進(jìn)行高效、動(dòng)態(tài)的特征描述，能夠保證目標(biāo)跟蹤算法在目標(biāo)外觀改變等復(fù)雜情況下，保持良好的準(zhǔn)確性和穩(wěn)定性。

由于顏色特征對(duì)平移、旋轉(zhuǎn)、尺度變換以及目標(biāo)遮擋等都具有比較強(qiáng)的魯棒性，因此常采用顏色特征來(lái)表征跟蹤目標(biāo)的外觀，目前顏色直方圖是最常用的顏色似然模型。但是，顏色直方圖忽略了像素的空間位置分布信息，當(dāng)跟蹤目標(biāo)周?chē)霈F(xiàn)具有相似顏色分布的干擾目標(biāo)或背景時(shí)，跟蹤算法就有可能出現(xiàn)跟蹤偏差[39]。

針對(duì)復(fù)雜背景序列圖像中出現(xiàn)的顏色干擾、紋理干擾、形狀干擾等，基于多特征融合的外觀判別模型能夠更加精確地區(qū)分跟蹤對(duì)象與其他目標(biāo)、背景[39-42]。譬如基于傳統(tǒng)Snake模型最新提出的Velocity Snake模型[43]，就是將時(shí)間約束加入能量函數(shù)中，一定程度提高了跟蹤算法的穩(wěn)定性?；诙嗵卣魅诤系腗eanShift算法[1-3]避免了單一特征發(fā)生變化時(shí)對(duì)特征提取和匹配造成的不良影響，增強(qiáng)了算法的抗干擾能力。

另外，基于在線學(xué)習(xí)的外觀判別模型具有較高的自適應(yīng)能力[44]，能夠在目標(biāo)外觀變化時(shí)依然準(zhǔn)確地描述目標(biāo)特征，進(jìn)而提高模型匹配的精度。

2) 提高系統(tǒng)實(shí)時(shí)性

在實(shí)際應(yīng)用中機(jī)動(dòng)目標(biāo)常常以成組的方式分布在相機(jī)或傳感器的視場(chǎng)范圍內(nèi)。因此，同時(shí)對(duì)這些分布式的目標(biāo)進(jìn)行跟蹤，提高實(shí)時(shí)追蹤運(yùn)動(dòng)目標(biāo)的能力是運(yùn)動(dòng)目標(biāo)跟蹤的一個(gè)關(guān)鍵問(wèn)題。

傳統(tǒng)的目標(biāo)跟蹤方法往往對(duì)場(chǎng)景范圍內(nèi)所有區(qū)域進(jìn)行匹配搜索，尋找目標(biāo)的最優(yōu)匹配。這種搜索策略需要遍歷很多冗余區(qū)域，大大影響到跟蹤算法的實(shí)時(shí)性。

為此，常常需要多種方法相結(jié)合來(lái)縮小目標(biāo)搜索范圍。為達(dá)到該目的，可以采用基于貝葉斯理論的濾波算法對(duì)運(yùn)動(dòng)目標(biāo)在下一幀的狀態(tài)進(jìn)行預(yù)測(cè)，并在預(yù)測(cè)區(qū)域附近確定適當(dāng)?shù)乃阉鞣秶?。李敏敏等[45]、周鑫等[46]分別在TLD檢測(cè)器中引入Kalman濾波器和基于馬爾科夫模型的方向預(yù)測(cè)器，在降低計(jì)算量的同時(shí)增強(qiáng)了分類(lèi)器對(duì)相似目標(biāo)的辨識(shí)能力。近年來(lái)提出的基于Kalman濾波的Snake模型[43，47-48]算法有效減少了傳統(tǒng)Snake跟蹤算法的計(jì)算量，提高了跟蹤效率。同樣地，MeanShift方法與Kalman濾波的結(jié)合縮小了模型匹配時(shí)的搜索范圍，成為當(dāng)前基于特征的目標(biāo)跟蹤方法發(fā)展的新趨勢(shì)[49-51]。

3) 提高算法通用性

目前的跟蹤算法大多基于特定的數(shù)據(jù)集和應(yīng)用場(chǎng)景，然而序列圖像的目標(biāo)跟蹤中具有的一些典型共性問(wèn)題，譬如如何準(zhǔn)確跟蹤被遮擋的目標(biāo)，亟待提出更好的解決方案。

對(duì)于處于遮擋狀態(tài)的運(yùn)動(dòng)目標(biāo)來(lái)說(shuō)，它在序列圖像上的外觀等信息不能正確表征該目標(biāo)。因此，處理運(yùn)動(dòng)目標(biāo)遮擋可從以下兩方面著手：一是對(duì)目標(biāo)所處的遮擋狀態(tài)進(jìn)行分析，再根據(jù)序列圖像的上下文知識(shí)以及目標(biāo)的運(yùn)動(dòng)規(guī)律，在一定范圍內(nèi)對(duì)遮擋目標(biāo)進(jìn)行軌跡預(yù)測(cè)；二是將基于區(qū)域的跟蹤方法的思想考慮進(jìn)來(lái)，對(duì)被跟蹤目標(biāo)的部件或者局部進(jìn)行跟蹤，進(jìn)而獲得目標(biāo)整體的跟蹤結(jié)果，如SHU G等提出的基于運(yùn)動(dòng)目標(biāo)分割的跟蹤方法，構(gòu)造多個(gè)目標(biāo)局部分類(lèi)器，提高了遮擋情形下的目標(biāo)跟蹤精度[52]。

3　運(yùn)動(dòng)目標(biāo)跟蹤突破方向

傳統(tǒng)的目標(biāo)跟蹤方法依然處于蓬勃發(fā)展的階段，針對(duì)目標(biāo)跟蹤問(wèn)題的種種復(fù)雜性，不斷涌現(xiàn)出新的、更全面的解決方案。然而，由于問(wèn)題的復(fù)雜性和各傳統(tǒng)方法本身的缺陷，目前在目標(biāo)跟蹤領(lǐng)域仍有許多共性問(wèn)題亟待解決。本文就該領(lǐng)域的2個(gè)最新的熱點(diǎn)方向展開(kāi)深入研究，并提出基于多條件約束的運(yùn)動(dòng)目標(biāo)跟蹤技術(shù)方案。

3.1基于數(shù)據(jù)關(guān)聯(lián)的運(yùn)動(dòng)目標(biāo)跟蹤

實(shí)際應(yīng)用的跟蹤場(chǎng)景中多個(gè)目標(biāo)同時(shí)存在，并具有不同的運(yùn)動(dòng)規(guī)律。多目標(biāo)跟蹤算法的研究?jī)?nèi)容就是如何在保持多個(gè)運(yùn)動(dòng)目標(biāo)屬性的同時(shí)獲得相應(yīng)的運(yùn)動(dòng)軌跡。

數(shù)據(jù)關(guān)聯(lián)作為多目標(biāo)跟蹤中最為核心的技術(shù)，受到了廣泛關(guān)注。數(shù)據(jù)關(guān)聯(lián)方法的主要思想是：以運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果作為輸入，對(duì)多幀圖像數(shù)據(jù)中所有可能的軌跡同時(shí)計(jì)算關(guān)聯(lián)概率，采用特定的準(zhǔn)則對(duì)每條軌跡的真實(shí)性作出判斷，不斷剔除虛假軌跡，進(jìn)而獲得目標(biāo)真實(shí)軌跡及當(dāng)前位置。典型的基于數(shù)據(jù)關(guān)聯(lián)的跟蹤方法有聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)算法[53-56]、多假設(shè)檢驗(yàn)方法[57-59]以及動(dòng)態(tài)規(guī)劃方法[60-62]等。近年來(lái)，HUANG C等針對(duì)復(fù)雜場(chǎng)景中的多目標(biāo)跟蹤，提出了多層次數(shù)據(jù)關(guān)聯(lián)目標(biāo)跟蹤框架，將目標(biāo)軌跡的關(guān)聯(lián)問(wèn)題轉(zhuǎn)化為求解目標(biāo)最大后驗(yàn)概率問(wèn)題，取得了較好的跟蹤精度[63-67]。XIANG J等[68]也在這個(gè)開(kāi)放的跟蹤框架中引入了基于在線學(xué)習(xí)的霍夫森林模型，對(duì)目標(biāo)進(jìn)行了更有效的表達(dá)，實(shí)現(xiàn)了更準(zhǔn)確的多目標(biāo)跟蹤。

數(shù)據(jù)關(guān)聯(lián)方法的顯著優(yōu)點(diǎn)在于采用多幀檢測(cè)信息用于跟蹤，有效降低了單幀錯(cuò)誤檢測(cè)帶來(lái)的誤差漂移，因此方法的抗干擾能力優(yōu)越。但是該方法的計(jì)算量隨著目標(biāo)數(shù)量增加而迅速增長(zhǎng)，對(duì)硬件計(jì)算能力和存儲(chǔ)性能要求高，算法實(shí)時(shí)性受到限制。

3.2基于能量最小化的運(yùn)動(dòng)目標(biāo)跟蹤

人類(lèi)視覺(jué)在目標(biāo)跟蹤方面具有先天優(yōu)勢(shì)，基于能量最小化的目標(biāo)跟蹤方法就是充分模擬人類(lèi)認(rèn)知，根據(jù)同一目標(biāo)在運(yùn)動(dòng)過(guò)程中呈現(xiàn)出的外觀一致性、運(yùn)動(dòng)參數(shù)連續(xù)性、運(yùn)動(dòng)范圍有限性以及目標(biāo)遮擋等，建立合理的能量函數(shù)，并對(duì)該函數(shù)進(jìn)行迭代求解以獲得目標(biāo)在整個(gè)時(shí)間范圍內(nèi)的運(yùn)動(dòng)軌跡[69-71]。

基于能量函數(shù)最小化的跟蹤方法在關(guān)注運(yùn)動(dòng)目標(biāo)與背景間差異的同時(shí)，充分考慮場(chǎng)景中外觀相似、距離相近的目標(biāo)，因此該方法的跟蹤結(jié)果和邏輯思路具有一定的可靠性和借鑒意義。然而在實(shí)際應(yīng)用中，為了更加可信地表示多個(gè)目標(biāo)狀態(tài)信息，能量函數(shù)的建立需要綜合考慮跟蹤對(duì)象的外觀特征、運(yùn)動(dòng)規(guī)律以及物理約束等。因此，過(guò)于簡(jiǎn)單的能量函數(shù)不能準(zhǔn)確反映目標(biāo)的運(yùn)動(dòng)過(guò)程，而過(guò)于復(fù)雜的目標(biāo)能量函數(shù)往往不能獲得最優(yōu)解。

針對(duì)能量函數(shù)建立與求解的矛盾，本文認(rèn)為有3種解決思路：一是對(duì)目標(biāo)檢測(cè)結(jié)果進(jìn)行采樣，得到有限的初始化解空間，加快能量函數(shù)的收斂速度[72-73]；二是尋找更加合理的模型或者函數(shù)表述跟蹤問(wèn)題，譬如王長(zhǎng)輝等采用在線學(xué)習(xí)條件隨機(jī)場(chǎng)模型對(duì)跟蹤問(wèn)題進(jìn)行建模[74]；三是采用新的優(yōu)化方法求解能量函數(shù)的最小值，譬如MILAN A 等建立連續(xù)的能量函數(shù)，采用共軛梯度下降法獲得能量函數(shù)的局部極小值，并結(jié)合周期跨維躍遷方法，在多維空間中跳過(guò)弱局部極小值，不斷逼近全局最優(yōu)化解，最終得到可靠的軌跡組合[75-76]。

3.3基于多條件約束的運(yùn)動(dòng)目標(biāo)跟蹤

由于基于數(shù)據(jù)關(guān)聯(lián)的目標(biāo)跟蹤方法處理場(chǎng)景中相似目標(biāo)的能力不足，而基于能量最小化的目標(biāo)跟蹤方法又難以得到能量函數(shù)的全局最優(yōu)解。本文在傳統(tǒng)目標(biāo)跟蹤方法的基礎(chǔ)上以這2個(gè)研究方向作為突破口，提出基于多條件約束的動(dòng)目標(biāo)跟蹤方法技術(shù)方案。

該方法以多幀目標(biāo)檢測(cè)結(jié)果為輸入，首先，利用相鄰幀上目標(biāo)屬性特征的一致性，通過(guò)在線學(xué)習(xí)方法建立外觀判別模型，以此保證該判別模型能夠隨目標(biāo)的外觀變化自適應(yīng)更新，由此形成一階屬性約束。其次，考慮相鄰幀上目標(biāo)運(yùn)動(dòng)距離的合理性，建立各個(gè)運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)范圍圖，形成一階運(yùn)動(dòng)約束。第三，利用多幀序列圖像上目標(biāo)運(yùn)動(dòng)的連續(xù)性，建立基于速度、加速度自適應(yīng)變化的目標(biāo)機(jī)動(dòng)模型，形成高階運(yùn)動(dòng)約束。另外，受傳統(tǒng)方法單幀檢測(cè)-跟蹤的啟發(fā)，根據(jù)相鄰幀間的目標(biāo)匹配關(guān)系來(lái)確定目標(biāo)是否被漏檢或被嚴(yán)重遮擋，進(jìn)而對(duì)漏檢或遮擋目標(biāo)進(jìn)行位置更新甚至補(bǔ)充。

由于同時(shí)考慮了目標(biāo)運(yùn)動(dòng)過(guò)程中的一階約束和高階約束，基于多條件約束的運(yùn)動(dòng)目標(biāo)跟蹤算法將對(duì)每一幀上的目標(biāo)形成多層次軌跡，并對(duì)多層次軌跡進(jìn)行逐步優(yōu)化求解，最終得到目標(biāo)物體在整個(gè)序列長(zhǎng)度內(nèi)的真實(shí)軌跡，并獲得動(dòng)目標(biāo)在每一幀中所在的位置。

4　結(jié)束語(yǔ)

基于序列圖像的運(yùn)動(dòng)目標(biāo)跟蹤融合了視頻圖像處理、計(jì)算機(jī)視覺(jué)、模式識(shí)別和人工智能等領(lǐng)域的知識(shí)，是當(dāng)今國(guó)際上的研究熱點(diǎn)。本文對(duì)基于序列圖像的運(yùn)動(dòng)目標(biāo)跟蹤技術(shù)展開(kāi)了深入研究，對(duì)運(yùn)動(dòng)目標(biāo)跟蹤的復(fù)雜性、關(guān)鍵問(wèn)題和主要方法進(jìn)行了綜述，對(duì)比分析了不同方法的優(yōu)劣，概括總結(jié)了各方法的前沿發(fā)展，提出了基于多條件約束的運(yùn)動(dòng)目標(biāo)跟蹤算法。隨著運(yùn)動(dòng)目標(biāo)跟蹤技術(shù)在理論研究方面的蓬勃發(fā)展，目前已經(jīng)有部分成果進(jìn)入實(shí)用化階段，但是當(dāng)前仍面臨著巨大挑戰(zhàn)，基于序列圖像的運(yùn)動(dòng)目標(biāo)跟蹤技術(shù)仍有廣闊的發(fā)展空間：

1) 正確、合理地將目標(biāo)先驗(yàn)知識(shí)運(yùn)用到運(yùn)動(dòng)目標(biāo)跟蹤算法中，提高算法的準(zhǔn)確性；

2) 建立高效、動(dòng)態(tài)的目標(biāo)特征描述模型，提高算法抗干擾能力；

3) 對(duì)目標(biāo)的運(yùn)動(dòng)狀態(tài)變化進(jìn)行更復(fù)雜的建模，精確地刻畫(huà)目標(biāo)運(yùn)動(dòng)規(guī)律；

4) 多種跟蹤技術(shù)聯(lián)合應(yīng)用，克服單一技術(shù)的局限性；

5) 編寫(xiě)并行化目標(biāo)跟蹤程序，提高系統(tǒng)實(shí)時(shí)跟蹤不同目標(biāo)的能力。

參考文獻(xiàn)：

[1]WANG W.Method for moving target detection and recognition in intelligent visual surveillance[D].Doctoral Dissertation.Xi’an:Xi’an Electronic and Science University,2013.[2]KALAL Z,MIKOLAJCZYK K,MATAS J.Tracking-Learning-Detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2012,34(7):1409-1422.[3]KALALZ Z,MIKOLAJCZYK K,MATAS J.Face-TLD:Tracking-Learning-Detection applied to faces[C]//International Conference on Image Processing.USA:[s.n.],2010:3789-3792.

[4]WANG R,SANG N,WANG R.Detection and tracking strategy for license plate detection in video[J].Optik-International Journal for Light and Electron Optics,2014,125(10):2283-2288.

[5]GRABNER H,BISCHOF H.On-Line boosting and vision[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE,2006:260-2267.

[6]GRABNER H,GRABNER M,BISCHOF H.Real-time tracking via on-line boosting[C]//Proceedings of British Machine Vision Conference.USA:[s.n.],2006:47-56.[7]FANG X.Online boosting for car detection[D].Beijing:Beijing University of Posts and Telecommunications,2009.[8]BABEKO B,YANG M H,BELONGIE S.Robust object tracking with online multiple instance learning[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2011,33(8):1619-1632.

[9]LEUNG MK,YANG Y H.First Sight:A human body outline labeling system[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1995,17(4):359-377.

[10]LIANG J.Research on Motive target tracking arithmetic in video[D].Shanghai:Shanghai Jiao Tong University,2008.

[11]JIA X,LU H,YANG Y H.Visual tracking via adaptive structural local sparse appearance model[C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Providence,R1,USA：[s.n.]，2012:1822-1829.

[12]WREN C R,AZARBAYEJANI A,DARRELL T.Pfinder:Real-time tracking of the human body[J].IEEE Transactions on Pattern Analysis and Machine Intelligence， 1997,19(7):780-785.

[13]KASS ML,WITKIN A,TERZOPOULOS D.Snakes:active contour models[J].International Journal of Computer Vision， 1988,1(4):321-331.

[14]LI T,ZHANG Y,LIU Z,et al.An overview on Snakes models[J].Computer Engineering.2005,31(9):1-3.

[15]ROH M C,KIM T Y,PARK J H.Accurate object contour tracking based on boundary edge selection[J].Pattern Recognition，2007,40(3):931-943.

[16]YAN J.Intelligent monitoring of moving target in complex traffic scene[D].Beijing:University of Science and Technology of China,2014.

[17]FUKUNAGA K,LARY D HOSTETLER.The estimation of the gradient of a density function,with applications in pattern recognition[J].IEEE Transactions on Information Theory，1975,21(1):32-40.

[18]CHENG Y.MeanShift,mode seeking and clustering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1995,17(8):790-799.

[19]COMANICIU D,MEER P.Robust analysis of feature space:color image segmentation[M].USA:IEEE Los Alamitos，1997:750-755.

[20]GUO X,LI Y,GUO J.Research on Bayesian target tracking method[J].Computer Engineering，2009,35(12):137-142.

[21]WELCH G,BISHOP G.An Introduction to the Kalman Filter[R].USA：University of North Carolina at Chapel Hill,1995.

[22]JANG D S,KIM G Y,CHOI H K.Filter incorporated model updating for real-time tracking[C]//IEEE TENCON-Digital Signal Proceeding Application.USA:IEEE,1996:878-882.

[23]EFE M,ATHERTON D P.Maneuvering target tracking with an adaptive Kalman Filter[C]//Proceedings of the 37th IEEE Conference on Decision and Control Tampa.USA:IEEE,1998:737-742.

[24]JANG D S,CHOI H.Active models for tracking moving objects[J].Pattern Recognition,2000,33(7)：1135-1146.

[25]KUMAR P,SENGUPTA K,HUANG W.Cooperative multi-target tracking with efficient split and merge handling[J].IEEE Transactions on Circuits and Systems For Video Technology,2006,16(12):1477-1490.[26]HOU J.Research on fire detection of large space building based on video image[D].Beijing:Tsinghua University,2010.[27]LIU F,LUO P.Statistical signal processing[M].Changsha:National University of Defense Technology Press，1999.

[28]GORDON N,SALMOND D.Novel approach to nonlinear and non-Gaussian Bayesian state estimation[J].Proceedings of Institute Electric Engineering,1993,140(2):107-113.

[29]王紹玨.基于粒子濾波器的運(yùn)動(dòng)目標(biāo)跟蹤方法研究[D].長(zhǎng)沙：中南大學(xué).2008.

[30]CHANG C I.An information-theoretic approach to spectral variability,similarity,and discrimination for hyperspectral image analysis[J].IEEE Transactions on Information Theory,2000,46(5):1927-1932.

[31]YOON CH,CHEON M,PARK M.Object tracking from image sequences using adaptive models in fuzzy particle filter[J].Information Sciences,2013:74-99.

[32]VERMAAK J,PEREZ P.Monte Carlo filtering for multi-target tracking and data association[J].IEEE Transactions on Aerospace and Electronic Systems,2005,41(1):309-331.

[33]RUI Y,CHEN Y.Better proposal distributions:objects tracking using unscented particle filter[C]//IEEE Conference on Computer Vision and Pattern Recognition.USA:IEEE,2001:786-793.

[34]VIHOLA M.Rao-Blackwellised Particle filtering in random set multi-target tracking[J].IEEE Transactions on Aerospace and Electronics Systems，2007,43(2):689.

[35]OSHMAN Y,CARMI A.Attitude estimation from vector observations using genetic-algorithm-embedded quaternion particle filter[J].Journal of Guidance Control and Dynamics,2006,29(4):879.

[36]YE Z,LIU Z.Tracking human hand motion using genetic particle filter[C]//IEEE International Conference on Systems,Man and Cybernetics.USA:[s.n.],2006:4942-4947.

[37]HO M,CHIANG C,CHEN Y.A genetic particle filter for moving object tracking[C]//The 4th International Conference on Image and Graphics，USA:[s.n.],2007:524.

[38]陳善靜,楊華,曾凱,等.基于遺傳算法的粒子濾波跟蹤算法[J].光電工程,2010,37(10):16-22.

[39]馬加慶.視頻運(yùn)動(dòng)目標(biāo)的跟蹤方法[M].北京：電子工業(yè)出版社,2013.

[40]孫學(xué)彬.基于多對(duì)象特征獲取的多目標(biāo)跟蹤算法研究[D].南寧：廣西大學(xué).2014.

[41]YANG X,FEI S,LI G,et al.Improved mean shift tracking algorithm based on complicated feature fusion[J].Control and decision making,2014,7(29):1297-1300.

[42]賈旭.基于局部外觀模型的目標(biāo)跟蹤方法研究[D].大連：大連理工大學(xué).2013.

[43]PETERFREUND N.Robust tracking of position and velocity with Kalman Snakes[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1999,21(6):564-569.

[44]LI F,PAN P.The research and progress of dynamic models for maneuvering target tracking[J].Fire Control and Command Control，2007,32(10):1163-1167.

[45]LI M.Object tracking based on TLD[D].Xi’an:Xi’an Electronic and Science University,2013.

[46]周鑫,錢(qián)秋朦,葉永強(qiáng),等.改進(jìn)后的TLD視頻目標(biāo)跟蹤方法[J].中國(guó)圖象圖形學(xué)報(bào),2013,18(9)：1115-1123.

[47]岑峰,戚飛虎.短程線主動(dòng)輪廓跟蹤算法的研究-在復(fù)雜背景和非剛性運(yùn)動(dòng)目標(biāo)跟蹤的應(yīng)用[J].計(jì)算機(jī)研究與發(fā)展,2003,40(2):283-288.

[48]王愛(ài)平.視頻目標(biāo)跟蹤技術(shù)研究[D].長(zhǎng)沙：國(guó)防科學(xué)技術(shù)大學(xué),2011.

[49]COMANICIU D,RAMESH V.MeanShift and optimal prediction for efficient object tracking[C]//IEEE International Conference on Image Processing.USA:IEEE,2000:70-73.

[50]COMANICIU D,MEER P.MeanShift:A robust approach toward feature space analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(5):603-619.

[51]金鵬，劉惠義，楊戰(zhàn)軍.一種改進(jìn)的視頻圖像檢測(cè)跟蹤算法[J].計(jì)算機(jī)與數(shù)字工程,2015,4(43):576-590.

[52]SHU G,DEHGHAN A,OREIFEJ O.Part-based multiple person tracking with partial occlusion handling[C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.USA:IEEE,2012:1815-1821.

[53]BARS Y,BIRMIWAL K.Consistency and robustness of PDAF for target tracking in cluttered environments[J].Automatica,1983,19(4):431-437.

[54]MESSAOUDI Z,OULDALI A,OUSSALAH M.Joint multiple target tracking and classification using controlled based cheap JPDA-multiple model particle filter in cluttered environment[C]//International Conference on Image and Signal Processing.USA:[s.n.],2008:562-569.

[55]LEE H,KO H.Predictive estimation method to track occluded multiple objects using joint probabilistic data association filter[C]//International Conference on Image Analysis and Processing.USA:[s.n.],2005:852-860.

[56]SHAFIQUE K,LEE M,HAERING N.A rank constrained continuous formulation of multi-frame multi-target tracking problem[C] //IEEE Conference on Computer Vision and Pattern Recognition.USA:IEEE,2008:1-8.

[57]BLOSTEIN S,HUANG T.Detecting small moving objects in image sequences using sequential hypothesis testing[J].IEEE Transactions on Signal Processing,1991,39(7):1611-1629.

[58]CHIA A Y S,HUANG W.Multiple objects tracking with multiple hypotheses dynamic updating[C]//International Conference on Image Processing.USA:[s.n.],2006:569-572.

[59]CHIA AYS,HUANG W,LI L.Multiple objects tracking with multiple hypotheses graph representation[C]// International Conference on Pattern Recognition.USA:[s.n.],2006:638-641.

[60]BARNIV Y.Dynamic programming solution for detecting dim moving targets[J].IEEE Transactions on Aerospace and Electronics Systems,1985,21(1):144-156.

[61]BARNIV Y,KELLA O.Dynamic programming solution for detecting dim moving targets Part Ⅱ:Analysis[J].IEEE Transactions on Aerospace and Electronics Systems,1987,23(6):776-788.

[62]曲長(zhǎng)文,黃勇,蘇峰.基于動(dòng)態(tài)規(guī)劃的多目標(biāo)檢測(cè)前跟蹤算法[J].電子學(xué)報(bào),2006,34(12):2138-2141.

[63]HUANG C,WU B,NEVATIA R.Robust object tracking by hierarchical association of detection responses[C].European Conference on Computer Vision.USA:[s.n.],2008:788-801..

[64]WU B,NEVATIA R.Detection and tracking of multiple,partially occluded humans by Bayesian combination of edgelet based part detectors[J].International Journal of Computer Vision,2007(6):247-266.

[65]BABENKO B,YANG M,BELONGIE S.Visual tracking with online multiple instance learning[C]//IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE,2009:983-990.

[66]KUO C,HUANG C,NEVATIA R.Multi-target tracking by on-line learned discriminative appearance models[C]// IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE,2010:685-692.

[67]YANG B,NEVATIA R.An online learned CRF model for multi-target tracking[C]//IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE,2012:2034-2041.

[68]XIANG J,SANG N,HOU J.An on-lined learned Hough forest model for multi-target tracking[C]//IEEE International Conference on Image Processing.USA:[s.n.],2014:2398-2402.

[69]韓崇昭，朱洪艷，段戰(zhàn)勝.多源信息融合[M].北京：清華大學(xué)出版社,2006.

[70]BERCLAZ J,FLEURET F,FUA P.Robust people tracking with global trajectory optimization[C]//IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE,2006:744-750.

[71]LEIBE B,SCHINDLER K,GOOL LV.Coupled detection and trajectory estimation for multi-object tracking[C]// International Conference on Computer Vision.USA:[s.n.],2007:1-8.

[72]HENRIQUES J,CASEIRO R,BATISTIA J.Globally optimal solution to multi-object tracking with merged measurements[C]//IEEE International Conference on Computer Vision.[S.l.]:IEEE,2011:2470-2477.

[73]PIRSIAVASH H,RAMANAN D,FOWLKES C.Globally-optimal greedy algorithms for tracking a variable number of objects[C]//IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE,2011:1201-1208.

[74]王長(zhǎng)輝,羅晴.基于能量最小化的多目標(biāo)跟蹤算法研究[J].科學(xué)技術(shù)與工程,2014,14(17):253-259.

[75]ANDRIYENKO A,SCHINDLER K.Multi-target tracking by continuous energy minimization[C]//IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE,2011:1265-1272.

[76]MILAN A,SCHINDLER K.Continuous energy minimization for multi-target tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence.2014,36:58-72.

(責(zé)任編輯楊黎麗)

收稿日期：2016-01-12

作者簡(jiǎn)介：曾巧玲(1994—)，女，碩士研究生，主要從事空間信息獲取與處理、計(jì)算機(jī)視覺(jué)研究；文貢堅(jiān)(1972—)，教授，博士生導(dǎo)師，973首席科學(xué)家，主要從事攝影測(cè)量與遙感、空間信息獲取與處理研究。

doi:10.3969/j.issn.1674-8425(z).2016.07.018

中圖分類(lèi)號(hào)：TP3.9

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1674-8425(2016)07-0103-09

Review of Moving Target Tracking

ZENG Qiao-ling，WEN Gong-jian

(School of Electronic Science and Engineering,National University of Defense Technology, Changsha 410073, China)

Abstract:The top priority of moving targets tracking is extracting the objects interested accurately, robustly and in real-time. However, caused by the variety of targets, the complexity of scene and universality of application requirements, target tracking systems are suffering restriction for further development. Aiming at the tasks and difficulties in target tracking, this review was carried out to discuss the advantages and disadvantages of mainstream methods proposed currently and to summary about pros and cons of each method were given as well. On this basis, the review generalized several key issues in the future development of target tracking. To better solve these issues, we delved into two hot topics in the targets tracking research and raised a technical proposal of multi-targets tracking based on multiple constraints. Furthermore, the trends and promising prospects in moving targets tracking were presented.

Key words:moving targets tracking; sequence image

引用格式：曾巧玲，文貢堅(jiān).運(yùn)動(dòng)目標(biāo)跟蹤綜述[J].重慶理工大學(xué)學(xué)報(bào)(自然科學(xué))，2016(7):103-111.

Citation format：ZENG Qiao-ling，WEN Gong-jian.Review of Moving Target Tracking[J].Journal of Chongqing University of Technology(Natural Science)，2016(7):103-111.