多特征融合匹配的多目標(biāo)跟蹤

閆 輝，許廷發(fā)，吳青青，徐磊，吳 威

（北京理工大學(xué)光電學(xué)院光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室，北京100081）

多特征融合匹配的多目標(biāo)跟蹤

閆 輝，許廷發(fā)*，吳青青，徐磊，吳 威

（北京理工大學(xué)光電學(xué)院光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室，北京100081）

針對(duì)復(fù)雜背景的視頻圖像多目標(biāo)跟蹤遮擋問題，提出了一種多特征融合匹配的多目標(biāo)跟蹤方法?；谧赃m應(yīng)高斯混合背景模型重構(gòu)和更新背景策略，實(shí)現(xiàn)當(dāng)前幀背景減除和多目標(biāo)檢測(cè)；采用目標(biāo)的顏色特征、質(zhì)心位置、運(yùn)動(dòng)速度等特征進(jìn)行融合匹配跟蹤；最后，通過區(qū)域輔助判定策略將場(chǎng)景下的目標(biāo)狀態(tài)分為目標(biāo)進(jìn)入場(chǎng)景、目標(biāo)退出場(chǎng)景、目標(biāo)暫消、目標(biāo)重現(xiàn)、目標(biāo)融合和分裂5種狀態(tài)，用質(zhì)心預(yù)測(cè)方法和遮擋因子輔助匹配來提高匹配正確率。仿真實(shí)驗(yàn)結(jié)果表明：采用該方法跟蹤同一目標(biāo)和不同目標(biāo)的相似度平均值分別為0.949 71和0.505 73，優(yōu)于單一顏色特征信息匹配；目標(biāo)遮擋結(jié)束后重新匹配相似度為0.972 83，實(shí)現(xiàn)了復(fù)雜背景下具有表面相似性的多目標(biāo)實(shí)時(shí)跟蹤。

多目標(biāo)跟蹤；高斯模型；多特征融合；質(zhì)心預(yù)測(cè)；遮擋因子

1 引 言

視頻圖像多目標(biāo)跟蹤在計(jì)算機(jī)視覺領(lǐng)域應(yīng)用廣泛，如視頻監(jiān)控、交通監(jiān)控、客流量統(tǒng)計(jì)等[1-3]，目前對(duì)其展開的相應(yīng)研究也較多。當(dāng)背景較為簡(jiǎn)單，目標(biāo)之間不存在嚴(yán)重遮擋等情況下，多目標(biāo)跟蹤可以取得較為理想的效果。但是在一些較為復(fù)雜和擁擠的環(huán)境下，目標(biāo)表面的相似性、目標(biāo)間的相互遮擋、目標(biāo)的頻繁消失和重現(xiàn)等都給視頻多目標(biāo)跟蹤帶來了很大困難?；谔卣鞯母櫵惴ㄔ谔幚砟繕?biāo)遮擋和多目標(biāo)跟蹤問題時(shí)具有良好的跟蹤效果[4-5]，將多運(yùn)動(dòng)目標(biāo)檢測(cè)的思想引入多目標(biāo)跟蹤，結(jié)合多目標(biāo)檢測(cè)結(jié)果和目標(biāo)的特征信息進(jìn)行多目標(biāo)的特征匹配跟蹤不失為一種較好的思路，但是，單一特征對(duì)環(huán)境適應(yīng)性較弱，受環(huán)境變化影響較大，不利于進(jìn)行魯棒跟蹤，因此可以考慮采用多個(gè)特征進(jìn)行匹配跟蹤[6-8]。

本文對(duì)視頻圖像進(jìn)行多個(gè)運(yùn)動(dòng)目標(biāo)的檢測(cè)，采用目標(biāo)的顏色特征、質(zhì)心位置、運(yùn)動(dòng)速度進(jìn)行融合匹配。對(duì)場(chǎng)景下的目標(biāo)狀態(tài)采用區(qū)域輔助判定方法，分為目標(biāo)進(jìn)入場(chǎng)景、目標(biāo)退出場(chǎng)景、目標(biāo)暫消、目標(biāo)重新出現(xiàn)、目標(biāo)融合和分裂5種狀態(tài)，針對(duì)目標(biāo)的暫消和重現(xiàn)以及目標(biāo)的融合和分裂問題，采用質(zhì)心預(yù)測(cè)和遮擋因子輔助匹配方法來提高匹配正確率。

2 自適應(yīng)高斯模型的多目標(biāo)檢測(cè)

自適應(yīng)背景混合模型的方法具有較好的魯棒性和較小的計(jì)算量，本文采用自適應(yīng)高斯混合背景模型來重構(gòu)和更新背景[9]。

利用建立的背景模型對(duì)每幀圖像進(jìn)行處理，得到包含多個(gè)前景目標(biāo)的二值圖像，對(duì)其采用金字塔方法進(jìn)行圖像分割，得到多個(gè)前景目標(biāo)，即分割出的運(yùn)動(dòng)目標(biāo)。

經(jīng)過分割之后，獲得的二值圖像包含多個(gè)運(yùn)動(dòng)目標(biāo)，反映在圖像中就是圖像中含有多個(gè)不連通的子區(qū)域，在此基礎(chǔ)上，進(jìn)行一系列的圖像預(yù)處理，對(duì)圖像進(jìn)行平滑、膨脹、腐蝕等形態(tài)學(xué)處理以及聯(lián)通區(qū)域分析，得到預(yù)處理后的運(yùn)動(dòng)目標(biāo)。

在預(yù)處理的工程中，一些較大的圖像噪聲會(huì)被作為目標(biāo)統(tǒng)計(jì)進(jìn)來，為了得到更為準(zhǔn)確的結(jié)果，要進(jìn)行篩選判定，根據(jù)實(shí)際需要為目標(biāo)區(qū)域面積設(shè)定一個(gè)閾值T，計(jì)算每個(gè)被視為目標(biāo)區(qū)域的面積S1，S2，S3……Sn，并規(guī)定：

將面積較小的區(qū)域當(dāng)作噪聲予以剔除，剩下的區(qū)域作為目標(biāo)按照自上而下、從左到右進(jìn)行標(biāo)記識(shí)別并保存。

3 多特征匹配的多目標(biāo)跟蹤

3.1 跟蹤過程中事件類型判定

在多目標(biāo)跟蹤過程中，固定遮擋物或者目標(biāo)間的遮擋會(huì)使目標(biāo)暫時(shí)消失和重新出現(xiàn)，目標(biāo)數(shù)目的變化給穩(wěn)定跟蹤帶來了很多困難。為了解決這一問題，本文采用區(qū)域輔助判定法確立跟蹤過程中的事件判定原則。

圖1 跟蹤場(chǎng)景區(qū)域劃分Fig.1 Zoning in the tracking scene

如圖1所示，對(duì)跟蹤場(chǎng)景劃分區(qū)域，絕大部分目標(biāo)會(huì)從A、B、C、D 4個(gè)區(qū)域進(jìn)入或者退出場(chǎng)景，因此將這4個(gè)區(qū)域定義為緩沖區(qū)，將中間區(qū)域E定義為跟蹤區(qū)（緩沖區(qū)和跟蹤區(qū)大小可以根據(jù)實(shí)際情況自己劃定）。將跟蹤過程中事件判定原則定義如下：

（1）目標(biāo)出現(xiàn)：第i幀圖像中，在緩沖區(qū)出現(xiàn)的目標(biāo)，認(rèn)為目標(biāo)進(jìn)入場(chǎng)景。

（2）目標(biāo)消失：第i幀圖像中，在緩沖區(qū)消失的目標(biāo)，認(rèn)為目標(biāo)退出場(chǎng)景。

（3）目標(biāo)重現(xiàn)：在跟蹤區(qū)域檢測(cè)到的新目標(biāo)，認(rèn)為舊目標(biāo)重現(xiàn)。

（4）目標(biāo)暫消：在第i幀圖像中，在跟蹤區(qū)消失的目標(biāo)，由于失檢測(cè)或者遮擋暫時(shí)失去跟蹤，并沒有退出場(chǎng)景，認(rèn)為目標(biāo)的暫消。

（5）目標(biāo)融合和分裂：多個(gè)目標(biāo)間開始出現(xiàn)遮擋，在檢測(cè)結(jié)果中會(huì)出現(xiàn)包含多個(gè)目標(biāo)的目標(biāo)團(tuán)塊，將這個(gè)過程認(rèn)為是多個(gè)目標(biāo)的融合；當(dāng)遮擋結(jié)束，目標(biāo)團(tuán)塊重新分為多個(gè)目標(biāo)時(shí)，認(rèn)為是目標(biāo)的分裂。

3.2 目標(biāo)跟蹤中的多特征匹配

在目標(biāo)跟蹤中，常用的特征信息有顏色特征、形狀特征、運(yùn)動(dòng)特征、紋理特征等，例如Nummiafo等[10]人利用目標(biāo)的顏色信息對(duì)目標(biāo)進(jìn)行跟蹤，Vignon等[11]人利用目標(biāo)的形狀信息來跟蹤目標(biāo)。由于多個(gè)目標(biāo)之間具有相似性、跟蹤場(chǎng)景較為復(fù)雜、目標(biāo)的頻繁暫消和重現(xiàn)等原因，單一的使用目標(biāo)特征進(jìn)行匹配跟蹤會(huì)有很大的不穩(wěn)定性，所以本文提出基于目標(biāo)的顏色信息、位置信息和運(yùn)動(dòng)信息進(jìn)行多特征融合聯(lián)合匹配跟蹤。

（1）顏色特征相似度計(jì)算

采用目標(biāo)的顏色直方圖信息作為顏色模型，假設(shè)第m幀目標(biāo)i區(qū)域共有A個(gè)點(diǎn)，hm（mi）統(tǒng)計(jì)了此目標(biāo)在RGB空間下的顏色分布。則對(duì)其歸一化如下：

這里將Hm（mi）作為m幀目標(biāo)i的顏色信息模板。計(jì)算兩個(gè)目標(biāo)直方圖分布的歐氏距離Dist（Hmi，Hnj）并進(jìn)行歸一化如下：

這里將Sco1（mi|nj）作為兩個(gè)目標(biāo)模板間的顏色相似度，用以表示第m幀中目標(biāo)i和第n幀中目標(biāo)j顏色模型的匹配程度，當(dāng)顏色相似度越大則表示兩個(gè)目標(biāo)越相近。

（2）位置特征相似度計(jì)算

采用目標(biāo)的質(zhì)心位置為目標(biāo)位置信息，即檢測(cè)出的目標(biāo)外接矩形的中心位置。定義質(zhì)心相似度計(jì)算如下：

Scen（m|n）反映了第m幀的第i個(gè)目標(biāo)質(zhì)心位置（，）和n幀第j個(gè)目標(biāo)質(zhì)心位置（，）的相似程度。這兩個(gè)目標(biāo)質(zhì)心點(diǎn)越靠近，相似度Scen（m|n）越趨近于1越大；這兩個(gè)目標(biāo)質(zhì)心點(diǎn)位置為m幀目標(biāo)和n幀目標(biāo)中距離最遠(yuǎn)的時(shí)，相似度Scen（m|n）為0。

（3）運(yùn)動(dòng)特征相似度計(jì)算

采用目標(biāo)的速度作為目標(biāo)的運(yùn)動(dòng)信息，定義運(yùn)動(dòng)特征相似度計(jì)算如下：

Sv（m|n）反映了第m幀的第i個(gè)目標(biāo)運(yùn)動(dòng)速度，和第n幀第j個(gè)目標(biāo)運(yùn)動(dòng)速度，的差異。相似度越大，則表示兩個(gè)目標(biāo)越相近。在速度的計(jì)算上，規(guī)定以視頻幀中自左至右和自下至上的運(yùn)動(dòng)為正，因此在計(jì)算中速度的正負(fù)代表著運(yùn)動(dòng)方向的不同，這樣有利于更好地區(qū)分相對(duì)運(yùn)動(dòng)的兩個(gè)人。

目標(biāo)匹配相似度公式如下：

S（mi|nj）即在跟蹤中目標(biāo)的匹配相似度，它的值越大說明目標(biāo)為同一目標(biāo)的可能性越大。在實(shí)際跟蹤過程中，可以根據(jù)場(chǎng)景的不同和特征穩(wěn)定性的不同對(duì)權(quán)值α，β進(jìn)行調(diào)整，提高跟蹤穩(wěn)定性。

3.3 目標(biāo)遮擋問題

目標(biāo)的遮擋按照遮擋物的不同可以分為固定遮擋物的遮擋和目標(biāo)間的遮擋；按照遮擋程度可以分為部分遮擋和完全遮擋，傳統(tǒng)的算法不能很好地解決遮擋問題[12]。本文對(duì)于目標(biāo)間的遮擋，采用目標(biāo)的融合和分裂思想，遮擋期間將相互遮擋的目標(biāo)視為合并跟蹤，分裂后重新匹配跟蹤；目標(biāo)被固定物遮擋時(shí)，如完全遮擋則采用最小二乘法預(yù)測(cè)目標(biāo)位置保持跟蹤；未完全遮擋則利用剩余信息繼續(xù)跟蹤。

（1）目標(biāo)暫消

目標(biāo)被完全遮擋時(shí)，無法通過檢測(cè)算法檢測(cè)出目標(biāo)，也就丟失了目標(biāo)信息，無法通過特征信息匹配進(jìn)行跟蹤。由于視頻中的同一個(gè)目標(biāo)在整個(gè)視頻幀的運(yùn)動(dòng)趨勢(shì)一般是不變的，可以根據(jù)目標(biāo)的運(yùn)動(dòng)趨勢(shì)預(yù)測(cè)目標(biāo)新的位置[13]，維持跟蹤軌跡，并對(duì)目標(biāo)重新出現(xiàn)后的目標(biāo)匹配跟蹤進(jìn)行輔助判定。本文采用最小二乘法擬合預(yù)測(cè)目標(biāo)質(zhì)心位置。

通過最小二乘法擬合可以得到質(zhì)心運(yùn)動(dòng)趨勢(shì)函數(shù)的系數(shù)a0，a1，b0，b1，根據(jù)式（7）和（8），可以求出t時(shí)刻i目標(biāo)質(zhì)心的預(yù)測(cè)位置（，）。目標(biāo)完全被遮擋時(shí)，可以采用此方法預(yù)測(cè)目標(biāo)質(zhì)心位置，并不斷利用新預(yù)測(cè)到的目標(biāo)位置更新運(yùn)動(dòng)趨勢(shì)函數(shù)的參數(shù)a0，a1，b0，b1，以保持持續(xù)預(yù)測(cè)跟蹤。當(dāng)遮擋過程結(jié)束目標(biāo)重新出現(xiàn)時(shí)，將前一幀的目標(biāo)預(yù)測(cè)質(zhì)心位置輔助進(jìn)行目標(biāo)匹配，能夠提高匹配精度。

（2）目標(biāo)重現(xiàn)

當(dāng)多個(gè)目標(biāo)出現(xiàn)遮擋時(shí)，將會(huì)被作為一個(gè)目標(biāo)團(tuán)塊檢測(cè)出來，即目標(biāo)融合，目標(biāo)的融合期間可以進(jìn)行合并跟蹤，當(dāng)目標(biāo)重新分裂為多個(gè)單一目標(biāo)時(shí)分別與暫消前目標(biāo)進(jìn)行重新匹配。

目標(biāo)重新出現(xiàn)進(jìn)行特征匹配時(shí)，由于信息的不完整會(huì)造成匹配相似度降低，從而導(dǎo)致跟蹤錯(cuò)誤。為此，引入遮擋因子Rt來實(shí)現(xiàn)匹配閾值的自適應(yīng)調(diào)節(jié)，提高目標(biāo)的跟蹤精度。

τ作為遮擋程度的描述，由代表目標(biāo)的外接矩形方框和兩目標(biāo)間的質(zhì)心位置計(jì)算可得，無遮擋出現(xiàn)時(shí)τ=0，完全遮擋時(shí)τ=1。定義：

α作為一個(gè)固定常數(shù)，根據(jù)實(shí)際情況自己設(shè)定。遮擋后目標(biāo)情況中目標(biāo)跟蹤過程中的匹配過程如下：

式中，mc，nz分別為m幀暫消的目標(biāo)和n幀重新出現(xiàn)的目標(biāo)，經(jīng)過遮擋因子的調(diào)整，相當(dāng)于變相地降低了兩者的匹配閾值，對(duì)于重新出現(xiàn)目標(biāo)的和暫消目標(biāo)的匹配成功率有一定程度的提高，能夠在目標(biāo)重新出現(xiàn)后以盡可能短的時(shí)間重新穩(wěn)定跟蹤。

3.4 目標(biāo)跟蹤算法流程

本文采用基于檢測(cè)的跟蹤，邊檢測(cè)邊跟蹤，算法流程如下：

步驟1：采用自適應(yīng)高斯混合背景模型來重構(gòu)背景。

步驟2：利用當(dāng)前視頻幀對(duì)背景幀進(jìn)行相減，然后進(jìn)行二值化操作，并進(jìn)行圖像平滑、形態(tài)學(xué)處理、聯(lián)通區(qū)域分析等處理，得到當(dāng)前幀檢測(cè)出的M個(gè)目標(biāo)。

步驟2：對(duì)檢測(cè)出的M個(gè)目標(biāo)建立目標(biāo)模板，提取位置信息、運(yùn)動(dòng)信息和顏色特征。

步驟3：對(duì)比上一幀的目標(biāo)個(gè)數(shù)，如果目標(biāo)數(shù)發(fā)生變化，則按照上一節(jié)提出的跟蹤過程中區(qū)域輔助判定法的判定原則，判定目標(biāo)數(shù)目的增加或者減少在跟蹤過程中的事件歸屬（新目標(biāo)出現(xiàn)、目標(biāo)消失、目標(biāo)暫消、目標(biāo)重新出現(xiàn)、目標(biāo)的融合和分裂）。

步驟3.1：若出現(xiàn)新目標(biāo)，則為之建立新的跟蹤軌跡；若目標(biāo)消失，將其對(duì)應(yīng)的目標(biāo)模板置空，刪除跟蹤軌跡。

步驟3.2：若目標(biāo)暫消，保留對(duì)應(yīng)的目標(biāo)模板，采用質(zhì)心預(yù)測(cè)公式推算目標(biāo)質(zhì)心位置，保持跟蹤軌跡。

步驟3.3：若目標(biāo)重現(xiàn)，與暫消目標(biāo)進(jìn)行匹配，采用遮擋因子輔助匹配。

步驟3.4：若目標(biāo)融合，將其作為一個(gè)目標(biāo)進(jìn)行跟蹤，分裂后分別匹配跟蹤。

步驟4：進(jìn)入下一幀，重新執(zhí)行步驟2、3。

4 仿真實(shí)驗(yàn)和結(jié)果分析

本文實(shí)驗(yàn)數(shù)據(jù)來源于IBM人類視覺研究中心監(jiān)視系統(tǒng)性能評(píng)價(jià)提供的戶外視頻序列，像素為384 pixe1×288 pixe1。

4.1 自適應(yīng)高斯混合背景模型的多目標(biāo)檢測(cè)

實(shí)驗(yàn)采用的視頻中含有多個(gè)行人和車輛，建立自適應(yīng)高斯背景模型，通過背景減除法提取運(yùn)動(dòng)目標(biāo)。圖2為背景減除后包含前景目標(biāo)的二值圖像，從實(shí)驗(yàn)結(jié)果可以看出，除了前景目標(biāo)，很多噪聲點(diǎn)也被統(tǒng)計(jì)進(jìn)來。在二值圖像幀上進(jìn)行閾值篩選，在試驗(yàn)中取閾值T=140，實(shí)驗(yàn)結(jié)果表明：視頻幀中的運(yùn)動(dòng)車輛和行人均能被準(zhǔn)確檢測(cè)出來，圖3給出了部分幀的檢測(cè)結(jié)果，第229幀被樹木遮擋住的車輛、第402幀剛剛進(jìn)入畫面的行人和從遮擋中出現(xiàn)一半的車輛、第447幀和779幀中大小不一的行人，均能準(zhǔn)確檢測(cè)出來，沒有漏檢測(cè)和錯(cuò)誤檢測(cè)。

圖2 包含前景目標(biāo)的二值圖像Fig.2 Binary images containing foreground objects

圖3 利用閾值T=140進(jìn)行目標(biāo)檢測(cè)的結(jié)果Fig.3 Resu1ts ofmu1ti-object detection with T=140

4.2 多特征融合匹配跟蹤

視頻中先后出現(xiàn)3個(gè)目標(biāo)，包括目標(biāo)進(jìn)入場(chǎng)景、目標(biāo)的暫消和重現(xiàn)等情況的發(fā)生，在跟蹤中采用顏色直方圖、質(zhì)心信息、運(yùn)動(dòng)信息3個(gè)特征融合匹配，權(quán)重分別設(shè)為0.6、0.3和0.1；圖4為多特征融合匹配跟蹤實(shí)際效果圖，第19幀目標(biāo)2進(jìn)入跟蹤區(qū)，在第33幀因?yàn)闃淠镜恼趽醢l(fā)生了暫消，在第56幀重新出現(xiàn)，實(shí)驗(yàn)結(jié)果表明，多特征融合匹配跟蹤方法能夠?qū)崿F(xiàn)目標(biāo)的穩(wěn)定跟蹤。

為了對(duì)多特征融合匹配跟蹤效果進(jìn)行評(píng)價(jià)，將跟蹤過程中多特征融合匹配相似度和較為常見的顏色直方圖匹配相似度進(jìn)行比較。圖5（a）為目標(biāo)01在第57幀和第102幀期間分別采用單一顏色信息和顏色、質(zhì)心、速度多特征信息融合計(jì)算的相鄰幀自身匹配相似度，兩者平均值分別為0.968 47和0.949 71；圖5（b）為在第57幀和第102幀期間分別采用單一顏色信息和顏色、質(zhì)心、速度多特征信息融合計(jì)算的相鄰幀目標(biāo)01和目標(biāo)02的匹配相似度，兩者平均值分別為0.80461和0.505 73。實(shí)驗(yàn)結(jié)果表明，多特征融合匹配跟蹤算法在計(jì)算自身相似度時(shí)差別不大，但是在區(qū)分不同目標(biāo)時(shí)具有較好的效果，明顯優(yōu)于單一顏色特征信息匹配，特別適合于目標(biāo)具有表面相似性的多目標(biāo)跟蹤。

圖4 多特征融合匹配跟蹤效果圖Fig.4 Examp1es of tracking resu1tswithmu1ti-feature jointmatching

圖5 多特征融合匹配跟蹤和單一特征匹配跟蹤相似度比較Fig.5 Simi1arity comparison ofmu1ti-featurematching track and sing1e featurematching track

圖6 遮擋期間跟蹤效果圖Fig.6 Examp1es of tracking resu1ts with occ1usion

4.3 目標(biāo)遮擋實(shí)驗(yàn)

圖6（a）為目標(biāo)間的遮擋跟蹤效果，采用目標(biāo)融合和分裂思想，遮擋期間將相互遮擋的目標(biāo)01和目標(biāo)02進(jìn)行合并跟蹤，分裂后重新匹配跟蹤；圖6（b）中，目標(biāo)02在第33幀被固定物完全遮擋發(fā)生了暫消，在第56幀重新出現(xiàn)，在目標(biāo)02暫消期間采用最小二乘法預(yù)測(cè)目標(biāo)02質(zhì)心位置，保持跟蹤，圖6（b）給出了采用最小二乘法預(yù)測(cè)法在第48幀的跟蹤結(jié)果。

遮擋結(jié)束后目標(biāo)的重新匹配跟蹤精度尤為重要，在圖6（b）所屬視頻序列中，目標(biāo)在第56幀重新出現(xiàn)后，由于目標(biāo)依然有部分被遮擋，信息不完整，且由于目標(biāo)模板依然是完全遮擋前的目標(biāo)，導(dǎo)致目標(biāo)匹配相似度降低，容易出現(xiàn)目標(biāo)的誤判。試驗(yàn)中采用文中所述的遮擋因子輔助匹配跟蹤調(diào)節(jié)匹配精度，在遮擋因子的計(jì)算中，取ε為1.5，表1給出了在視頻中目標(biāo)02重新出現(xiàn)的第56幀未引入和引入遮擋因子的匹配相似度對(duì)比結(jié)果?？梢钥闯觯?jīng)過遮擋因子輔助匹配的相似度要高于未引入遮擋因子匹配前，對(duì)于目標(biāo)重現(xiàn)后的跟蹤匹配具有明顯效果。

表1 引入遮擋因子前后的匹配相似度Tab.1 Sim ilarity com parison of tracking w ith occlusion factors

5 結(jié) 論

針對(duì)多目標(biāo)跟蹤中目標(biāo)表面的相似性、目標(biāo)間的相互遮擋、目標(biāo)的頻繁消失和重現(xiàn)等問題，采用基于檢測(cè)的多特征融合匹配算法，將目標(biāo)的顏色特征、質(zhì)心特征、運(yùn)動(dòng)特征進(jìn)行融合后進(jìn)行匹配跟蹤；將跟蹤場(chǎng)景劃分為緩沖區(qū)域和跟蹤區(qū)域，對(duì)場(chǎng)景中目標(biāo)狀態(tài)進(jìn)行區(qū)分歸類，避免因?yàn)槟繕?biāo)的頻繁消失和重現(xiàn)出現(xiàn)的跟蹤錯(cuò)誤概率；對(duì)于完全遮擋問題，采用了最小二乘法質(zhì)心預(yù)測(cè)策略；對(duì)于遮擋后的目標(biāo)重新匹配問題，一是采用質(zhì)心預(yù)測(cè)提供質(zhì)心位置，二是提出遮擋因子進(jìn)行輔助匹配來提高匹配精度。采用IBM人類視覺研究中心監(jiān)視系統(tǒng)性能評(píng)價(jià)提供的戶外視頻序列對(duì)以上算法性能進(jìn)行評(píng)估，實(shí)驗(yàn)結(jié)果證明了算法的有效性。

[1] 顧鑫，王海濤，汪凌峰，等.基于不確定性度量的多特征融合跟蹤[J].自動(dòng)化學(xué)報(bào)，2011，37（5）：550-559. GU X，WANGH T，WANG L F，etal..Fusingmu1tip1e features for object tracking based on uncertaintymeasurement[J]. Acta Automatica Sinica，2011，37（5）：550-559.（in Chinese）

[2] 李安平.復(fù)雜環(huán)境下的視頻目標(biāo)跟蹤算法研究[D].上海：上海交通大學(xué)，2006. LIA P.Research oi1tracking a1gorithm for visua1targetunder comp1ex environments[D].Shanghai：Shanghai Jiaotong U-niversity，2006.（in Chinese）

[3] 郝志成，高文.多模跟蹤技術(shù)在輪式偵察車圖像處理器的應(yīng)用[J].中國(guó)光學(xué)，2011，4（5）：480-488. HAO ZH CH，GAOW.App1ication ofmu1ti-pattarn tracking technique in image processor of whee1 type scout car[J]. Chinese Optics，2011，4（5）：480-488.（in Chinese）

[4] HARINIV，PAUL S，NIKOS P.Robust target detection and tracking through integration ofmotion，co1or，and geometry [J].Computer Vision and Image Understanding，2006，103（2006）：121-138.

[5] 顏佳，吳敏淵.遮擋環(huán)境下采用在線Boosting的目標(biāo)跟蹤[J].光學(xué)精密工程，2012，20（2）：439-446. YAN J，WU M Y.On-1ine boosting based target tracking under occ1usion[J].Opt.Precision Eng.，2012，20（2）：439-446.（in Chinese）

[6] 胡江龍，方景龍，王大全.多目標(biāo)跟蹤算法在水質(zhì)監(jiān)測(cè)中的應(yīng)用[J].機(jī)電工程，2012，39（5）：613-615. HU JL，F(xiàn)ANG JL，WANG D Q.Water qua1itymonitoring usingmu1ti-object tracking a1gorithm[J].J.Mechanical Elec-trical Eng.，2012，39（5）：613-615.（in Chinese）

[7] 王坤峰，李鎮(zhèn)江，湯淑明.基于多特征融合的視頻交通數(shù)據(jù)采集方法[J].自動(dòng)化學(xué)報(bào)，2011，37（3）：322-330. WANG K F，LIZH J，TANG SH M.Visua1 traffic data co11ection approach based on mu1ti-features fusion[J].Acta Automatica Sinica，2011，37（3）：322-330.（in Chinese）

[8] 丘文濤，趙建，劉杰.結(jié)合區(qū)域分割的SIFT圖像匹配方法[J].液晶與顯示，2012，20（2）：439-446. QIUW T，ZHAO J，LIU J.Image matching a1gorithm combining SIFT with region segmentation[J].Chinese J.Liquid Crystals and Displays，2012，20（2）：439-446.（in Chinese）

[9] STAUFFER C，GRIMSONW.Learning patterns of activity using rea1-time tracking[J].IEEE Transactions on Pattern A-nalysis and Machine Intelligence，2000，22（8）：747-757.

[10] NUMMIAFO K，KOLLER-MEIER E，GOOL L V.Co1or features for tracking non-rigid objects[J].Acta Automatics Sinica，2003，29（3）：345-355.

[11] VIGNON D，LOVELL B C，ANDREWSR J.Genera1purpose rea1-time object tracking using Hausdorff transforms[C]// 9th Internationa1Conference on Information Processing and Managementof Uncertainty in Know1edge-Based Systems，Annency，F(xiàn)rance，Ju1y 1-6，2002：1-6.

[12] GARQIP.Robustmu1tip1e target tracking under occ1usion using fragmented mean shift and Ka1man fi1ter[C]//2011 Internation Conference on Communications and Signa1Processing（ICCSP），Kera1a，India，F(xiàn)eb 10-12，2011：5171521.

[13] PAPADAKISN，BYGEAU A.Tracking with occ1usions via graph cuts[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（1）：144-157.

Multi-object tracking based on multi-feature jointmatching

YAN Hui，XU Ting-fa*，WU Qing-qing，XU Lei，WUWei
（Key Laboratory of Photoelectronic Imaging Technology and System of the Ministry of Education，School of Optoelectronics，Beijing Institute of Technology，Beijing 100081，China）
*Corresponding author，E-mail：ciom_xtf1@bit.edu.cn

In order to so1ve the occ1usion prob1em in mu1ti-object tracking for the comp1ex background of a video image，an approach for the mu1ti-object tracking based on mu1ti-feature jointmatching is presented. First，the adaptive Gaussian mixture background mode1is used for reconstructing and updating the background to achieve the background subtraction of current frame and mu1ti-object detection.Then，the jointmatching tracking is deve1oped based onmatching co1or characteristics，positions and objects ve1ocities.Fina11y，the objects in the scene are divided into entering，exiting，temporari1y disappear of the object，the re-emergence of the object and themerge and sp1it of the object，and the predicted position and the occ1usion factor of the object are used to improve the accuracy ofmu1ti-feature jointmatching.Experimenta1 resu1ts indicate that the simi1arities of the same object and the different objects are 0.949 71 and 0.505 73 respective1y in the tracking with the proposed approach，which is better than that ofmatching with the co1or characteristics.Furthermore，the simi1arity of object is0.972 83 after occ1usion.The approach is satisfactory for rea1-time tracking ofmu1tiobjectwith appearance simi1arity in a comp1ex environment.

mu1ti-sobject tracking；Gaussian background mode1；mu1ti-feature jointmatching；predicted position；occ1usion factor

TP391.41

A

10.3788/CO.20130602.0163

閆 輝（1986-），男，山東菏澤人，碩士研究生，2008年于北京航空航天大學(xué)獲得學(xué)士學(xué)位，主要從事圖像處理、目標(biāo)跟蹤等方面的研究。E-mai1：yanhui17 @sina.com

許廷發(fā)（1968—），男，黑龍江肇東人，博士，教授，博士生導(dǎo)師，1992年、2000年于東北師范大學(xué)獲得學(xué)士、碩士學(xué)位，2004年于中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所獲得博士學(xué)位，2006于華南理工大學(xué)電子與信息學(xué)院完成博士后工作，主要從事光電成像探測(cè)與識(shí)別等方面的研究。E-mai1：ciom_xtf1@bit.edu.cn

吳青青（1986—），男，陜西安康人，碩士研究生，2009年于北京理工大學(xué)獲得學(xué)士學(xué)位，主要從事目標(biāo)檢測(cè)與跟蹤方面的研究。E-mai1：wuqing3511380 @163.com

徐 磊（1989—），男，山西忻州人，碩士研究生，2010年于長(zhǎng)春理工大學(xué)獲得學(xué)士學(xué)位，主要從事FPGA開發(fā)和圖像融合方面的研究。E-mia1：xu1ei2114 @163.com

吳 威（1988—），男，安徽六安人，碩士研究生，2010年于中北大學(xué)獲得學(xué)士學(xué)位，主要從事電子穩(wěn)像算法及硬件實(shí)現(xiàn)的研究。E-mai1：wu3944387@ 163.com

1674-2915（2013）02-0163-08

2012-11-17；

2013-01-13

國(guó)家自然科學(xué)基金重點(diǎn)資助項(xiàng)目（科學(xué)儀器專項(xiàng)）（No.61027002）；國(guó)家973重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃資助項(xiàng)目（No.2009CB72400603）；國(guó)家自然科學(xué)基金資助項(xiàng)目（No.60972100）