一種基于多特征融合的視頻目標(biāo)跟蹤方法

柳培忠，阮曉虎，田震，李衛(wèi)軍，覃鴻

(1.華僑大學(xué)工學(xué)院，福建 泉州362000;2.中國(guó)科學(xué)院半導(dǎo)體研究所高速電路與神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)室，北京100083)

視頻跟蹤是計(jì)算機(jī)視覺(jué)中一個(gè)重要研究分支，十幾年來(lái)，一直是最熱門(mén)的研究課題之一。視頻跟蹤的主要任務(wù)是檢測(cè)視頻場(chǎng)景中出現(xiàn)的目標(biāo)，并對(duì)其運(yùn)動(dòng)狀態(tài)(該狀態(tài)包括物體的尺度、位置、速度、物體特征等信息)進(jìn)行記錄、理解和預(yù)測(cè)。目前，視頻跟蹤作為一項(xiàng)關(guān)鍵技術(shù)主要應(yīng)用在導(dǎo)航制導(dǎo)、自動(dòng)駕駛、監(jiān)控視頻分析、醫(yī)學(xué)影像分析等領(lǐng)域?，F(xiàn)階段視頻跟蹤的研究面臨的主要問(wèn)題是:視頻場(chǎng)景的光照變化，攝像頭運(yùn)動(dòng)目標(biāo)形狀、外觀、姿態(tài)和尺度的變化，同時(shí)目標(biāo)的遮擋、背景雜亂、攝像頭抖動(dòng)、傳感器噪聲、相似物體的干擾也給目標(biāo)檢測(cè)和識(shí)別帶來(lái)了困難，導(dǎo)致目標(biāo)運(yùn)動(dòng)狀態(tài)的獲取存在誤差，跟蹤漂移后難以再獲取目標(biāo)恢復(fù)跟蹤。

近些年，國(guó)內(nèi)外學(xué)者們對(duì)多目標(biāo)的視頻跟蹤做了很多研究。與傳統(tǒng)的只采用已知運(yùn)動(dòng)狀態(tài)預(yù)測(cè)未知運(yùn)動(dòng)狀態(tài)[1-2]的跟蹤模式不同，多方法或多特征融合的方法得到了學(xué)者們的普遍認(rèn)可。文獻(xiàn)[3]和[4]雖很好地證明了特征和運(yùn)動(dòng)預(yù)測(cè)跟蹤融合的方法要比傳統(tǒng)僅采用特征或者運(yùn)動(dòng)狀態(tài)預(yù)測(cè)的跟蹤效果好，但需手動(dòng)標(biāo)定跟蹤目標(biāo)。文獻(xiàn)[5-6]采用了運(yùn)動(dòng)目標(biāo)檢測(cè)和運(yùn)動(dòng)狀態(tài)預(yù)測(cè)結(jié)合的方法獲得了不錯(cuò)的效果，但無(wú)法應(yīng)對(duì)光照和目標(biāo)遮擋帶來(lái)的影響，同時(shí)其計(jì)算量偏大，無(wú)法保證實(shí)時(shí)處理。文獻(xiàn)[7]提出了一種基于目標(biāo)檢測(cè)與SIFT特征融合的方法，該方法可以自動(dòng)地進(jìn)行目標(biāo)匹配和跟蹤，但對(duì)每一幀的SIFT特征匹配需要消耗大量的計(jì)算時(shí)間。本文方法是在文獻(xiàn)[7]的基礎(chǔ)上提出的基于多特征融合的視頻目標(biāo)跟蹤方法，主要著眼于運(yùn)動(dòng)目標(biāo)的自動(dòng)檢測(cè)和匹配跟蹤，由于無(wú)需每幀都采用SIFT特征完成目標(biāo)匹配，因此可以節(jié)省部分計(jì)算時(shí)間。首先，應(yīng)用碼本的背景建模方法檢測(cè)運(yùn)動(dòng)目標(biāo)，獲得目標(biāo)圖像。其次，對(duì)目標(biāo)的跟蹤采取的是連續(xù)幀間的位置關(guān)系，對(duì)于幀間位移判斷失效的情況下采用圖像的SIFT特征和彩色直方圖特征庫(kù)完成對(duì)目標(biāo)的匹配。最后，記錄同一目標(biāo)出現(xiàn)、消失或重現(xiàn)時(shí)間及位置等運(yùn)動(dòng)狀態(tài)信息，實(shí)現(xiàn)目標(biāo)的跟蹤。實(shí)驗(yàn)結(jié)果表明，算法很好地實(shí)現(xiàn)了監(jiān)控視頻的跟蹤任務(wù)。

1 背景建模與運(yùn)動(dòng)目標(biāo)檢測(cè)

運(yùn)動(dòng)目標(biāo)的檢測(cè)是視頻跟蹤的關(guān)鍵步驟，本文采用背景剪除的方式檢測(cè)視頻前景目標(biāo)。文獻(xiàn)[3-4]討論了視頻背景建模的方法，其中高斯混合模型[5]和基于碼本的背景模型[6]在運(yùn)用中取得了比較好的效果。本文采用的背景建模方法為實(shí)時(shí)更新的雙層碼本建模方法[7]，雙層碼本分為主碼本模型和緩存碼本模型，主碼本模型用于對(duì)不變背景的建模，而緩存碼本模型用于應(yīng)對(duì)臨時(shí)背景的出現(xiàn)，并且雙層碼本可以根據(jù)背景場(chǎng)景的變化進(jìn)行實(shí)時(shí)的更新，真實(shí)而快速地反應(yīng)出背景的變化。運(yùn)動(dòng)目標(biāo)的檢測(cè)采用的是背景差分法，是將當(dāng)前幀與背景模型相減，根據(jù)像素采樣值與其碼本是否匹配來(lái)判斷，如果新輸入的像素值與背景碼本匹配，則判斷為背景，否則判斷為目標(biāo)?；诖a本的背景建模方法，輸出是二進(jìn)制掩碼，這正好適用于對(duì)運(yùn)動(dòng)目標(biāo)的提取。該過(guò)程不像混合高斯模型方法或非參核密度估計(jì)方法[8]，無(wú)需計(jì)算概率，檢測(cè)速度快，并且可以應(yīng)對(duì)多種背景的變化，對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)簡(jiǎn)便靈活，能達(dá)到實(shí)時(shí)分析視頻內(nèi)容的目的。

2 建立特征庫(kù)

為了應(yīng)對(duì)復(fù)雜多變的情況，需要一種穩(wěn)定的方式表示運(yùn)動(dòng)目標(biāo)，本文采取的方法是對(duì)每個(gè)運(yùn)動(dòng)目標(biāo)建立一個(gè)獨(dú)有的特征庫(kù)。在運(yùn)動(dòng)目標(biāo)第1次被檢測(cè)到時(shí)，則利用目標(biāo)出現(xiàn)的前幾幀建立此運(yùn)動(dòng)目標(biāo)的特征庫(kù);當(dāng)多目標(biāo)距離相近或者重合時(shí)，則需要利用建立好的特征庫(kù)實(shí)現(xiàn)實(shí)時(shí)的匹配運(yùn)動(dòng)目標(biāo)，對(duì)匹配成功后的運(yùn)動(dòng)目標(biāo)，同時(shí)需要更新其特征庫(kù)的信息。因此，特征的選擇將變得非常重要，本文采取的特征為彩色顏色直方圖和SIFT(scale invariant feature transform)特征。

2.1 彩色顏色直方圖

根據(jù)文獻(xiàn)[9]，圖像的彩色直方圖是對(duì)各顏色級(jí)在圖像中出現(xiàn)頻率和次數(shù)的統(tǒng)計(jì)，在一定程度上反映了目標(biāo)的特征和表象，對(duì)于目標(biāo)在顏色上的突出特征有較好的識(shí)別效果。因此，將目標(biāo)的彩色直方圖信息作為目標(biāo)特征庫(kù)中的一個(gè)特征。

首先利用目標(biāo)檢測(cè)方法，在視頻中分離出運(yùn)動(dòng)目標(biāo)，然后對(duì)分離出的運(yùn)動(dòng)目標(biāo)圖像進(jìn)行彩色圖像的直方圖統(tǒng)計(jì)，分別為RGB 3個(gè)通道做直方圖統(tǒng)計(jì)。在需要特征庫(kù)進(jìn)行目標(biāo)匹配時(shí)，采用的是三通道的顏色直方圖Bhattacharyya距離進(jìn)行判斷。

2.2 SIFT特征

SIFT 算子是 Lowe于 1999 年提出[10-11]，又在2004年[12]完善的一種提取局部特征的算法，在尺度空間尋找極值點(diǎn)，提取位置、尺度、旋轉(zhuǎn)不變量。算法的主要特點(diǎn)為:1)穩(wěn)定性:對(duì)旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對(duì)視角變化、仿射變換、噪聲也保持一定程度的魯棒性;2)獨(dú)特性:信息量豐富，適用于在海量特征數(shù)據(jù)庫(kù)中進(jìn)行快速、準(zhǔn)確地匹配;3)多量性:即使少數(shù)的幾個(gè)物體也可以產(chǎn)生大量SIFT特征向量;4)高速性:經(jīng)優(yōu)化的SIFT匹配算法甚至可以達(dá)到實(shí)時(shí)的要求;5)可擴(kuò)展性:可以很方便地與其他形式的特征向量進(jìn)行聯(lián)合。因此，算法將SIFT特征作為目標(biāo)特征庫(kù)的另一個(gè)特征。

SIFT特征的本質(zhì)是在高斯差分金字塔各層圖像中尋找局部極值點(diǎn)目標(biāo)，然后通過(guò)窗口的方式進(jìn)行向量化表示。在高斯差分金字塔中，檢測(cè)出的一個(gè)極值點(diǎn)又被稱(chēng)為特征點(diǎn)，是由128維特征向量表示的。在剪切出目標(biāo)區(qū)域后對(duì)目標(biāo)圖像提取SIFT特征用做后續(xù)目標(biāo)匹配的特征。

3 目標(biāo)跟蹤

在完成對(duì)目標(biāo)的檢測(cè)，建立好多目標(biāo)的特征庫(kù)后，需要完成對(duì)多目標(biāo)的跟蹤。首先，當(dāng)運(yùn)動(dòng)目標(biāo)被檢測(cè)出現(xiàn)在視頻中的第1幀時(shí)，算法需要判斷此目標(biāo)是否為重出現(xiàn)目標(biāo)，在檢測(cè)到運(yùn)動(dòng)目標(biāo)后，提取其顏色直方圖特征和SIFT特征與特征庫(kù)中的目標(biāo)信息進(jìn)行判斷，如是重出現(xiàn)目標(biāo)，則更新其特征庫(kù)和出現(xiàn)時(shí)間，如是新加入目標(biāo)則建立新目標(biāo)的特征庫(kù)和出現(xiàn)時(shí)間。

在后續(xù)運(yùn)動(dòng)目標(biāo)出現(xiàn)的幀中，無(wú)論目標(biāo)是否為重出現(xiàn)目標(biāo)，均采用幀間位移信息進(jìn)行跟蹤，由目標(biāo)的運(yùn)動(dòng)速度自動(dòng)確定幀間位移閾值，從而完成目標(biāo)的匹配跟蹤。其次，如果幀間移動(dòng)距離匹配跟蹤失敗，則通過(guò)多目標(biāo)的特征庫(kù)來(lái)尋找相應(yīng)的匹配目標(biāo)，具體流程如圖1所示。從流程圖中可以看出，本算法在文獻(xiàn)[7]的基礎(chǔ)上，引入了幀間位移距離跟蹤和多特征匹配跟蹤。以幀間位移距離判斷跟蹤為主，以多特征融合的匹配方法為輔，采用更多更豐富的方法完成對(duì)目標(biāo)的匹配。

圖1 目標(biāo)跟蹤算法流程圖Fig.1 Video tracking flow chart

3.1 幀間位移判斷

目標(biāo)在視頻中的移動(dòng)在連續(xù)幀間表現(xiàn)為目標(biāo)位置的變化，通過(guò)目標(biāo)在畫(huà)面中的位置和目標(biāo)的移動(dòng)速度即可判斷目標(biāo)可能的運(yùn)動(dòng)范圍。對(duì)每一幀圖像，檢測(cè)出目標(biāo)位置后，用該位置坐標(biāo)與前一幀出現(xiàn)過(guò)的所有目標(biāo)求相對(duì)距離，如果該距離小于閾值則判斷為可能匹配的目標(biāo)。此處的閾值通過(guò)被測(cè)試目標(biāo)的速度動(dòng)態(tài)確定。首先，應(yīng)考慮到目標(biāo)會(huì)突然加速的情況，在確定閾值時(shí)，目標(biāo)可能的移動(dòng)范圍應(yīng)該為平均位移加上加速距離，平均位移信息可以通過(guò)多幀的位移距離平均值得到，每幀的位移為當(dāng)前幀與前一幀的位置差值來(lái)確定，加速距離表示目標(biāo)加速產(chǎn)生的距離，計(jì)算時(shí)選取為0.3倍的平均位移。如圖2所示，R為目標(biāo)可能的運(yùn)動(dòng)范圍，R=r+a，r為目標(biāo)的平均位移距離，a為目標(biāo)的加速距離。如果可能匹配的目標(biāo)有且僅有一個(gè)，則認(rèn)為該目標(biāo)即為匹配目標(biāo);如果沒(méi)有發(fā)現(xiàn)匹配目標(biāo)或者產(chǎn)生多個(gè)匹配目標(biāo)，則判斷幀間位移跟蹤失敗，需要使用特征庫(kù)完成對(duì)待檢測(cè)目標(biāo)的匹配跟蹤。

圖2 目標(biāo)移動(dòng)范圍圖示Fig.2 Range of target movement

在目標(biāo)的具體跟蹤過(guò)程中，需要確定目標(biāo)的具體位置，對(duì)于檢測(cè)出的運(yùn)動(dòng)目標(biāo)，本文采用運(yùn)動(dòng)目標(biāo)的外接矩形幾何中心點(diǎn)和4個(gè)角點(diǎn)來(lái)代表運(yùn)動(dòng)目標(biāo)的位置信息，并且作為跟蹤對(duì)象進(jìn)行判斷。在匹配跟蹤過(guò)程中，也采用了雙層匹配模式，運(yùn)動(dòng)目標(biāo)幾何中心點(diǎn)為第1層匹配對(duì)象，外接矩陣的4個(gè)角點(diǎn)作為第2層匹配的對(duì)象。首先，判斷第1層的幾何中心點(diǎn)是否滿(mǎn)足以上幀間的位移閾值，如果在閾值范圍內(nèi)則可鎖定目標(biāo)，完成跟蹤;如果幾何中心點(diǎn)不滿(mǎn)足閾值范圍，則需對(duì)2層的外接矩形四角點(diǎn)信息進(jìn)行判斷，如2個(gè)相鄰角點(diǎn)或者3個(gè)角點(diǎn)滿(mǎn)足陣間位移閾值則可鎖定目標(biāo)，完成跟蹤。相鄰角點(diǎn)是指在外接矩形組成邊框的2個(gè)角點(diǎn)。角點(diǎn)的合理選擇有利用解決對(duì)運(yùn)動(dòng)目標(biāo)遮擋問(wèn)題，3個(gè)角點(diǎn)的判斷避免了目標(biāo)的小部分遮擋造成的運(yùn)動(dòng)目標(biāo)不匹配，而兩相鄰角點(diǎn)的判斷則解決了大面積遮擋造成的不匹配問(wèn)題。此幀間位移判斷匹配方法，計(jì)算復(fù)雜度低，條件判斷簡(jiǎn)易，不僅可以快速的完成對(duì)運(yùn)動(dòng)目標(biāo)的匹配跟蹤而且可以解決運(yùn)動(dòng)目標(biāo)在遮擋情況下的匹配問(wèn)題。在匹配跟蹤完成之后，每一幀都實(shí)時(shí)更新運(yùn)動(dòng)目標(biāo)當(dāng)前的位置信息，主要包括運(yùn)動(dòng)目標(biāo)的中心點(diǎn)和多角點(diǎn)信息，以便后續(xù)完成對(duì)運(yùn)動(dòng)目標(biāo)軌跡的記錄和排查。

3.2 特征跟蹤目標(biāo)

當(dāng)幀間距離跟蹤判斷未找到匹配目標(biāo)或者找到多個(gè)匹配目標(biāo)時(shí)，就會(huì)造成幀間距離跟蹤失效，而此時(shí)就需要啟用各目標(biāo)特征庫(kù)信息完成對(duì)目標(biāo)的匹配跟蹤。本文采用的是目標(biāo)圖像的SIFT特征(表示為T(mén))和目標(biāo)圖像的彩色直方圖特征(R、G、B三通道的顏色直方圖分別表示為HR、HG、HB)。在判斷目標(biāo)1與目標(biāo)2是否匹配時(shí)，進(jìn)行以下過(guò)程操作:

首先，分別計(jì)算兩個(gè)目標(biāo)彩色直方圖在各顏色分量上的Bhattacharyya距離:

其次，在特征匹配過(guò)程中，首先，判斷目標(biāo)的彩色直方圖各分量上的Bhattacharyya距離是否小于某一給定閾值D，即判斷以下各式是否成立:

式中:DR、DG、DB分別為R、G、B顏色通道直方圖的Bhattacharyya距離閾值，實(shí)驗(yàn)中均取值為0.5，D為三通道之和的總閾值，實(shí)驗(yàn)取值為1.0。

然后，對(duì)于滿(mǎn)足上述條件的被測(cè)目標(biāo)進(jìn)行SIFT特征相似度判斷，不滿(mǎn)足條件的目標(biāo)判斷為新出現(xiàn)目標(biāo)。

運(yùn)用SIFT特征對(duì)目標(biāo)圖像匹配，首先在目標(biāo)特征庫(kù)中選定某個(gè)關(guān)鍵點(diǎn)，并找出其與分割出的目標(biāo)圖像中歐式距離最近的前兩個(gè)關(guān)鍵點(diǎn)，如果最近的距離與次近的距離的比值小于某個(gè)閾值，則認(rèn)為兩者是一對(duì)匹配點(diǎn)，試驗(yàn)中，一般閾值取值為0.8。在特征庫(kù)中搜索待匹配目標(biāo)，如果當(dāng)前目標(biāo)與特征庫(kù)中目標(biāo)匹配點(diǎn)個(gè)數(shù)超過(guò)所有SIFT關(guān)鍵點(diǎn)的60%，則當(dāng)前目標(biāo)識(shí)別為滿(mǎn)足該條件的匹配點(diǎn)對(duì)數(shù)最多的目標(biāo)。

在跟蹤過(guò)程中，目標(biāo)的特征更新可以使算法及時(shí)且更完整地描述目標(biāo)。因此，對(duì)于特征庫(kù)中的每一個(gè)被匹配的目標(biāo)，在匹配跟蹤完成后需要對(duì)其特征庫(kù)信息進(jìn)行更新，對(duì)運(yùn)動(dòng)目標(biāo)特征庫(kù)內(nèi)的彩色顏色直方圖進(jìn)行替換，對(duì)匹配成功的SIFT特征點(diǎn)進(jìn)行保留，新出現(xiàn)的特征點(diǎn)進(jìn)行添加。而文獻(xiàn)[7]中并未體現(xiàn)出對(duì)跟蹤目標(biāo)的特征更新。

4 目標(biāo)軌跡計(jì)算

為了得到一個(gè)目標(biāo)的連續(xù)軌跡和其在視頻中出現(xiàn)的時(shí)間信息，需要在檢測(cè)出視頻前景運(yùn)動(dòng)目標(biāo)后，記錄每幀中目標(biāo)出現(xiàn)的時(shí)間和其運(yùn)動(dòng)的軌跡。由于采用了雙層碼本的背景建模技術(shù)，每一個(gè)出現(xiàn)在視頻中的運(yùn)動(dòng)目標(biāo)可直接被檢測(cè)。對(duì)于檢測(cè)出的運(yùn)動(dòng)目標(biāo)，首先判斷目標(biāo)是否為連續(xù)出現(xiàn)目標(biāo)，如是連續(xù)出現(xiàn)目標(biāo)，則需要將此目標(biāo)的位置信息加入軌跡序列，并更新其最近一次出現(xiàn)的時(shí)間;對(duì)于未找到匹配的目標(biāo)，則認(rèn)為是新出現(xiàn)目標(biāo)，標(biāo)記當(dāng)前時(shí)間為該目標(biāo)的出現(xiàn)時(shí)間，并記錄其起始運(yùn)動(dòng)位置。相比傳統(tǒng)算法[13]，本軌跡計(jì)算方法計(jì)算簡(jiǎn)單，執(zhí)行效率高。

5 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)所用測(cè)試視頻均是用固定攝像頭拍攝的室內(nèi)場(chǎng)景，2個(gè)測(cè)試視頻為IntelligentRoom.avi和Two-Cars.avi，分別用來(lái)測(cè)試單目標(biāo)的檢測(cè)跟蹤和多目標(biāo)的匹配跟蹤。實(shí)驗(yàn)的環(huán)境為Windows 7操作系統(tǒng)下的Microsoft Visual Stuidio，并配置有OpenCV計(jì)算機(jī)視覺(jué)數(shù)據(jù)庫(kù)。在測(cè)試實(shí)驗(yàn)中，首先，對(duì)測(cè)試視頻IntelligentRoom.avi背景場(chǎng)景進(jìn)行建模，利用背景差分法實(shí)現(xiàn)視頻運(yùn)動(dòng)目標(biāo)的檢測(cè)，用二值圖像表示，目標(biāo)區(qū)域用高像素值，背景區(qū)域用低像素值，目標(biāo)檢測(cè)結(jié)果如圖3所示，圖3(a)為原始視頻加上跟蹤標(biāo)記后的畫(huà)面，圖3(b)畫(huà)面白色區(qū)域?yàn)閷?duì)應(yīng)幀的目標(biāo)檢測(cè)的目標(biāo)區(qū)域。從圖3(b)目標(biāo)的檢測(cè)中可以明顯看出，雙層碼本模型可以較完整的檢測(cè)出運(yùn)動(dòng)目標(biāo)，并且對(duì)噪聲有一定的魯棒性。

圖3 目標(biāo)檢測(cè)結(jié)果Fig.3 Target detection result

其次，需要記錄其相應(yīng)運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)軌跡，所用測(cè)試視頻的運(yùn)動(dòng)目標(biāo)軌跡如圖4所示。從圖4可以看出，此軌跡較好地反應(yīng)了目標(biāo)的行走路線并且沒(méi)有出現(xiàn)斷點(diǎn)，證明了算法可以有效地跟蹤運(yùn)動(dòng)目標(biāo)，并且完成對(duì)目標(biāo)軌跡的記錄。

圖4 目標(biāo)運(yùn)動(dòng)軌跡Fig.4 Target trajectory

為了驗(yàn)證算法可應(yīng)對(duì)多目標(biāo)的檢測(cè)和跟蹤，采用測(cè)試視頻TwoCars.avi，視頻中2輛小車(chē)從不同方向行駛進(jìn)入視頻畫(huà)面，在圖中央位置經(jīng)過(guò)交叉后，分別駛出視頻畫(huà)面。實(shí)驗(yàn)結(jié)果如圖5所示，算法可以準(zhǔn)確地定位運(yùn)動(dòng)目標(biāo)并完成對(duì)多目標(biāo)的匹配。

圖5 多運(yùn)動(dòng)目標(biāo)的跟蹤結(jié)果Fig.5 Multi-target tracking result

從圖6可以看出，本文算法可以很好地實(shí)現(xiàn)目標(biāo)跟蹤，對(duì)于動(dòng)態(tài)目標(biāo)在視頻中發(fā)生自身轉(zhuǎn)動(dòng)、尺度變化、部分遮擋等情況，也具有很好的識(shí)別效果。目標(biāo)跟蹤過(guò)程很好地實(shí)現(xiàn)了目標(biāo)運(yùn)動(dòng)狀態(tài)的記錄，完整地記錄了目標(biāo)的運(yùn)動(dòng)軌跡。另外，可以對(duì)目標(biāo)運(yùn)動(dòng)狀態(tài)建立數(shù)據(jù)庫(kù)，用以查詢(xún)不同目標(biāo)的運(yùn)動(dòng)狀態(tài)，其中包含目標(biāo)的軌跡、出現(xiàn)時(shí)間、目標(biāo)的圖像等信息。由此，可以滿(mǎn)足一般監(jiān)控視頻針對(duì)車(chē)、人等目標(biāo)活動(dòng)情況的跟蹤和記錄。

6 結(jié)束語(yǔ)

一般監(jiān)控視頻的跟蹤任務(wù)只要求記錄視頻中目標(biāo)的客觀運(yùn)動(dòng)狀態(tài)，包括目標(biāo)出現(xiàn)時(shí)間、活動(dòng)路徑，目標(biāo)圖像等信息，因此，不需要考慮復(fù)雜的目標(biāo)運(yùn)動(dòng)狀態(tài)的預(yù)測(cè)。不同于傳統(tǒng)由目標(biāo)檢測(cè)、預(yù)測(cè)、識(shí)別所構(gòu)成的視頻跟蹤方法，本文的視頻跟蹤處理僅由目標(biāo)檢測(cè)和目標(biāo)匹配識(shí)別構(gòu)成，省去了預(yù)測(cè)的計(jì)算復(fù)雜度，用以處理一般監(jiān)控視頻。實(shí)驗(yàn)證明，本文方法可以很好地完成一般監(jiān)控視頻的目標(biāo)運(yùn)動(dòng)狀態(tài)的跟蹤與記錄，并可以克服目標(biāo)遮擋和光照問(wèn)題所帶來(lái)的匹配跟蹤問(wèn)題。

由于不用建立復(fù)雜的預(yù)測(cè)模型，本文方法計(jì)算復(fù)雜度較低，由于動(dòng)態(tài)目標(biāo)是從原視頻畫(huà)面分割而來(lái)，目標(biāo)圖像尺寸較小，一個(gè)目標(biāo)的SIFT特征點(diǎn)一般不會(huì)很多，因而，特征匹配速度較為理想，整個(gè)流程可以完成低幀率視頻的實(shí)時(shí)處理。

由于采用了背景減除法自動(dòng)得到運(yùn)動(dòng)目標(biāo)，所以本算法不能應(yīng)對(duì)移動(dòng)攝像頭的情景，只能局限在固定攝像頭的目標(biāo)跟蹤。并且，由于引入了Code-Book的背景建模方法，在具體情況下還需要SIFT特征完成匹配，需要占用大量計(jì)算時(shí)間，實(shí)時(shí)性不高，無(wú)法處理30幀以上的視頻。因此，本算法目前還只能適用于固定場(chǎng)景多目標(biāo)緩慢變化的監(jiān)控視頻，在應(yīng)用場(chǎng)景上有一定的局限性。未來(lái)的工作主要集中在對(duì)于視頻中運(yùn)動(dòng)目標(biāo)的旋轉(zhuǎn)、尺度變化等問(wèn)題，可以在運(yùn)動(dòng)目標(biāo)的匹配方面深入探索新的特征表達(dá)和匹配方法。對(duì)運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)狀態(tài)可以單獨(dú)建立數(shù)據(jù)庫(kù)，記錄和查詢(xún)目標(biāo)的運(yùn)動(dòng)信息。另外，可以引入像ViBe一樣的背景建模方法，不僅可以提高監(jiān)控視頻算法的魯棒性，而且可以大幅度提高算法實(shí)時(shí)性。

[1]李鍇.基于粒子濾波與半監(jiān)督多分類(lèi)器的視頻跟蹤[D].上海:復(fù)旦大學(xué)，2012:6-8.LI Kai.Video tracking based on particle filter and semi-supervised multiple classifiers[D].Shanghai:Fudan University，2012:6-8.

[2]楊戈，劉宏.視覺(jué)跟蹤算法綜述[J].智能系統(tǒng)學(xué)報(bào)，2010，5(2):95-105.YANG Ge，LIU Hong.Survey of visual tracking algorithms[J].CAAI Transactions on Intelligent Systems，2010，5(2):95-105.

[3]FAZLI S，POUR H M，BOUZARI H.Particle filter based object tracking with SIFT and color feature[C]//Second International Conference on Machine Vision.Dubai，UAE，2009:89-93.

[4]ZHOU H，YUAN Y，SHI C.Object tracking using SIFT features and mean shift[J].Computer Vision and Image Understanding，2009，113(3):345-352.

[5]BEYAN C，TEMIZEL A.Adaptive mean-shift for automated multi object tracking[J].Computer Vision，2012，6(1):1-12.

[6]JIANG M，LI M，WANG H.A robust combined algorithm of object tracking based on moving object detection[C]//Intelligent Control and Information Processing.Dalian，China，2010:619-622.

[7]RAHMAN M S，SAHA A，KHANUM S.Multi-object tracking in video sequences based on background subtraction and SIFT feature matching[C]//Fourth International Conference of Computer Sciences and Convergence Information Technology.Seoul，Korea，2009:457-462.

[8]WREN C R，AZARBAYEJANI A，DARRELL T.Real-time tracking of the human body[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19(7):780-785.

[9]PAKORN K，BOWDEN R.An improved adaptive background mixture model for real-time tracking with shadow detection[M].New Youk:Springer，2002:135-144.

[10]ZIVKOVIC Z.Improved adaptive Gaussian mixture model for background subtraction[C]//Proceedings of the 17th International Conference of Pattern Recognition.Cambridge，UK，2004，2:28-31.

[11]KIM K，CHALIDABHONGSE T H.Real-time foreground-background segmentation using codebook model[J].Realtime Imaging，2005，11(3):172-185.

[12]SIGARI M H，F(xiàn)ATHY M.Real-time background modeling/subtraction using two-layer codebook model[C]//Proceedings of the International Multi-Conference of Engineers and Computer Scientists.Hong Kong，China，2008:19-21.

[13]ZHU Y，LIANG Y，ZHU Y.The improved Gaussian mixture model based on motion estimation[C]//Proceedings of Third International Conference on Multimedia Information Networking and Security.Shanghai，China，2011:46-50.

[14]鄒煜.基于輪廓提取和顏色直方圖的圖像檢索[D].重慶:西南大學(xué)，2011:28-29.ZOU Yu.Image retrieval method based on color histogram and contour extraction[D].Chongqing:Southwest University，2011:28-29.

[15]LINDEBERG T.Scale-space theory:a basic tool for analyzing structures at different scales[J].Journal of Applied Statistics，1994，21(1/2):225-270.

[16]LOWE D G.Object recognition from local scale-invariant features[C]//The Proceedings of the Seventh IEEE International Conference of Computer Vision.Kerkyra，Greece，1999，2:1150-1157.

[17]LOWE D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision，2004，60(2):91-110.

[18]趙雷，陳萬(wàn)忠，韓雙雙.一種改進(jìn)的運(yùn)動(dòng)目標(biāo)跟蹤與軌跡記錄算法[J].智能系統(tǒng)學(xué)報(bào)，2008，3(2):145-149.ZHAO Lei，CHEN Wanzhong，HAN Shuangshuang.An improved algorithm for tracking and recording moving targets[J].CAAI Transactions on Intelligent Systems，2008，3(2):145-149.