基于核函數(shù)和方向估計(jì)的多目標(biāo)跟蹤方法*

謝志鵬，盧一相，高清維，孫 冬，鮑 華

(安徽大學(xué) 電氣工程與自動(dòng)化學(xué)院，安徽 合肥 230601)

0 引 言

多目標(biāo)跟蹤(multi-object tracking,MOT)實(shí)現(xiàn)了可視化監(jiān)控、智能交通導(dǎo)航、人機(jī)界面等許多高水平的計(jì)算機(jī)視覺(jué)任務(wù)。多目標(biāo)跟蹤需要處理存在的問(wèn)題(如外觀的變化[1],動(dòng)態(tài)燈光和場(chǎng)景[2]),目標(biāo)間的相互遮擋[3,4],同時(shí)定位目標(biāo),等等?？偟膩?lái)說(shuō)，多目標(biāo)跟蹤方法大致可以分為兩類:基于判別模型的跟蹤方法和基于生成模型的跟蹤方法。對(duì)于基于判別模型[2～5]的方法，通常采用目標(biāo)檢測(cè)算法來(lái)實(shí)現(xiàn)定位。同時(shí)，許多方法也采用了跨多幀的數(shù)據(jù)關(guān)聯(lián)技術(shù)來(lái)識(shí)別所有目標(biāo)，避免了混淆。例如，Vasuhi S等人[5]提出通過(guò)尋找具有最大邊界的最優(yōu)分類超平面來(lái)定位所有目標(biāo)的位置。采用反向掃描多假設(shè)跟蹤(1BMHT)策略，實(shí)現(xiàn)了數(shù)據(jù)關(guān)聯(lián)操作。相比之下，基于生成模型的方法[6，7]通常利用搜索區(qū)域中的匹配算法來(lái)確定目標(biāo)的位置。例如：Chang C等人[7]提出的一種用于視頻中多目標(biāo)跟蹤的核化粒子濾波器，利用核函數(shù)對(duì)后驗(yàn)概率密度函數(shù)進(jìn)行連續(xù)估計(jì)，并根據(jù)估計(jì)核密度的梯度對(duì)粒子進(jìn)行分配，得到最優(yōu)定位。除了定位外，為了避免遮擋導(dǎo)致跟蹤性能的下降，常利用濾波器來(lái)預(yù)測(cè)被遮擋目標(biāo)在遮擋過(guò)程中的運(yùn)動(dòng)軌跡。

本文提出了一種基于核函數(shù)和方向估計(jì)的多目標(biāo)跟蹤算法。利用顏色直方圖結(jié)合核函數(shù)建立目標(biāo)模型。最后，通過(guò)計(jì)算預(yù)構(gòu)建模型與搜索目標(biāo)模型之間的海林格距離確定目標(biāo)位置。

1 目標(biāo)表示與相似度計(jì)算

將目標(biāo)建模為一個(gè)在某個(gè)特征空間中的具有m個(gè)直條的核密度估計(jì)直方圖，那么N個(gè)對(duì)象可以表示為

(1)

在隨后的幀中，位于yj位置的候選目標(biāo)被表示為

(2)

(3)

設(shè){xj,i}i=1…nh為當(dāng)前幀中第j個(gè)目標(biāo)的像素位置，nh為像素個(gè)數(shù)，第i個(gè)候選目標(biāo)的中心坐標(biāo)位置為yj。通過(guò)使用相同的核函數(shù)k(x)，每個(gè)候選目標(biāo)位置的概率為

(4)

核函數(shù)k的定義為

(5)

式中r為像素點(diǎn)到區(qū)域中心的距離。

引入具有度量結(jié)構(gòu)的相似度函數(shù)海林格距離來(lái)評(píng)價(jià)目標(biāo)模型與候選目標(biāo)之間的相似度。利用兩個(gè)離散分布可以計(jì)算出海林格距離

H((yj),j)=1-ρ((yj),j)

(6)

其中

ρ((yj),j)=∑mu=1u(yj)j,u

(7)

式中ρ為和之間的Bhattacharyya系數(shù)。現(xiàn)在查找目標(biāo)位置的任務(wù)轉(zhuǎn)換為最小化式(6)中定義的距離的問(wèn)題，這等價(jià)于最大化式(7)中的Bhattacharyya系數(shù)。

2 目標(biāo)定位方法與遮擋處理

2.1 定位方法

通過(guò)研究目標(biāo)在相鄰幀中的位置，可以得到目標(biāo)在前一幀中的運(yùn)動(dòng)方向，如圖1(a)所示。進(jìn)而確定當(dāng)前幀的近似方向和目標(biāo)在下一幀中的位置范圍(圖1(b))，這極大地減小了目標(biāo)搜索的范圍。

圖1 跟蹤目標(biāo)的方向獲取和估計(jì)示意

在視頻中，目標(biāo)的運(yùn)動(dòng)方向可以由一個(gè)角度來(lái)表示，這個(gè)角度可以通過(guò)目標(biāo)在相鄰幀中的位置來(lái)計(jì)算。定義(xj,k,yj,k)和(xj,k+1,yj,k+1)分別為目標(biāo)j在前一幀和當(dāng)前幀的中心坐標(biāo)，那么這個(gè)角度為

(8)

可知，下一幀目標(biāo)位置的區(qū)域應(yīng)受當(dāng)前幀中角度∠α的限制。在不失一般性的前提下，假設(shè)角度的偏差為ε，則實(shí)際角度范圍為

∠αj,k-ε≤∠αj,k+1≤∠αj,k+ε

(9)

為了確定偏差ε，本文提出了一種類似于下降法中的線性搜索策略，在新一幀中尋找合適的ε。首先，為每一幀分配固定偏差εf和Δε步長(zhǎng) 。然后求解以下優(yōu)化問(wèn)題，求出實(shí)際偏差

(10)

2.2 遮擋處理

本文提出了一種在跟蹤過(guò)程中通過(guò)改變被遮擋像素的權(quán)重來(lái)降低遮擋對(duì)跟蹤的影響的方法。通過(guò)分析兩個(gè)目標(biāo)的位置(圖2)，得到屬于互遮擋塊的像素點(diǎn)的位置。然后，對(duì)遮擋目標(biāo)建立臨時(shí)的外觀模型，其中遮擋像素的權(quán)重設(shè)置為0，即

圖2 兩個(gè)目標(biāo)之間局部遮擋的整個(gè)過(guò)程示意

(11)

2.3 跟蹤算法

基于方向估計(jì)和核函數(shù)的多目標(biāo)跟蹤算法流程

初始化階段：

跟蹤階段：

在后續(xù)幀中執(zhí)行：

1)根據(jù)式(9)計(jì)算當(dāng)前幀中每個(gè)目標(biāo)的運(yùn)動(dòng)角度范圍；

3)通過(guò)式(10)獲得最大參數(shù)ρ(k+1(yj),j);

5)根據(jù)式(8)計(jì)算∠αj,k+1；

6)k=k=1，切換到下一幀，返回步驟1。

輸出：目標(biāo)的位置yj,j=1…N。

3 實(shí)驗(yàn)與分析

在實(shí)驗(yàn)中，選擇RGB顏色空間作為特征空間，量化為16×16×16直條。設(shè)置參數(shù)εf=20,Δε=2。

在第一個(gè)實(shí)驗(yàn)中(圖3)，將球員75、球員97和足球初始化為要跟蹤的目標(biāo)。目標(biāo)的初始位置和特征信息被標(biāo)記為三個(gè)矩形區(qū)域，它們的大小分別為56×63,60×63,49×34。實(shí)驗(yàn)結(jié)果表明本文提出的算法跟蹤性能良好。從圖3(c)～(e)看出，當(dāng)足球被球員的手阻擋時(shí)，足球的跟蹤沒(méi)有丟失，這表明該算法在抗遮擋方面具有很好的性能。

圖3 第一次實(shí)驗(yàn)的跟蹤結(jié)果

為了比較本文提出的方法與一些優(yōu)越的跟蹤算法。分別將基于粒子濾波[9]的多目標(biāo)跟蹤算法、基于均值漂移[6]的多目標(biāo)跟蹤算法和本文提出的算法應(yīng)用到同一視頻序列中?；诹Ｗ訛V波的跟蹤器需要在目標(biāo)周圍采集樣本，然后通過(guò)計(jì)算樣本分布的平均值來(lái)估計(jì)目標(biāo)位置。也就是說(shuō)，樣本的數(shù)量對(duì)跟蹤器的精度有很大的影響。如果樣本數(shù)量不足，跟蹤精度會(huì)下降。如圖4(a)～(d)，女士并沒(méi)有完全被框包圍，這是因?yàn)闃颖静蛔銓?dǎo)致對(duì)目標(biāo)位置的估計(jì)不準(zhǔn)確。如果用太多的樣本來(lái)計(jì)算位置來(lái)提高精度，計(jì)算速度則會(huì)有所下降?；诰灯频母櫰髟诔跏紟@取目標(biāo)模型后，通過(guò)均值漂移的方法獲取下一幀的目標(biāo)位置。該方法的跟蹤性能同樣容易受到目標(biāo)周圍環(huán)境變化的影響。如圖4(e)～(h)，在第125幀中，由于兩個(gè)目標(biāo)的接近，三個(gè)目標(biāo)中的兩個(gè)目標(biāo)的跟蹤狀態(tài)下降。觀察圖4(i)～(l)，可以發(fā)現(xiàn)本文提出的算法在位置估計(jì)方面比粒子濾波跟蹤器和均值漂移跟蹤器具有更高的精度。

圖4 多個(gè)行人測(cè)試序列跟蹤效果

基于粒子濾波、均值漂移和所提出算法的跟蹤器得到的海林格距離值如圖5所示。從圖中可以看出，提出的方法獲得的目標(biāo)位置的海林格距離比粒子濾波跟蹤器和均值漂移跟蹤器的海林格距離值小，即本文作者所提出的方法的精度更高。

此外，圖5也證明了本文算法也很好地解決了遮擋問(wèn)題，即在相同遮擋程度下，得到的海林格距離值也小得多。當(dāng)兩個(gè)目標(biāo)非常接近時(shí)，基于均值漂移的跟蹤器會(huì)受到較大的影響。這種情況從圖4(d)中可以清楚地看到，視頻幀右側(cè)的兩個(gè)人的跟蹤被混淆了。同樣，屬于這兩個(gè)目標(biāo)的樣本的質(zhì)量會(huì)降低，從而影響基于粒子濾波的多目標(biāo)跟蹤器的跟蹤精度。然而，在相同的情況下，本文提出的方向估計(jì)結(jié)合遮擋處理機(jī)制產(chǎn)生了很好的效果(圖4(a))。

圖5 第二次實(shí)驗(yàn)中海林格距離值的變化

本文實(shí)驗(yàn)還對(duì)所提出的跟蹤器的穩(wěn)定性進(jìn)行了測(cè)試，三種跟蹤器對(duì)包含不同類型目標(biāo)的30多個(gè)視頻進(jìn)行了測(cè)試，平均跟蹤成功率見(jiàn)表1。

表1 三種算法在目標(biāo)跟蹤中的精度 %

4 結(jié)束語(yǔ)

本文在顏色特征的基礎(chǔ)上，利用核函數(shù)構(gòu)造目標(biāo)的特征模型并利用目標(biāo)的運(yùn)動(dòng)方向來(lái)估計(jì)目標(biāo)位置的范圍，進(jìn)而確定目標(biāo)位置。為了提高跟蹤精度，本文提出了一種權(quán)值策略來(lái)解決遮擋問(wèn)題。將該算法與相關(guān)文獻(xiàn)的算法比較實(shí)驗(yàn)表明，該方法在多目標(biāo)跟蹤方面取得了更加優(yōu)異的跟蹤性能。