結(jié)合Kalman濾波的時(shí)空上下文目標(biāo)跟蹤算法

張新堃， 黃 山

(四川大學(xué)，成都 610065)

0 引言

目標(biāo)跟蹤是目前計(jì)算機(jī)視覺領(lǐng)域研究的一個(gè)熱點(diǎn)，包括了諸如目標(biāo)定位、智能交通、人工智能、人體跟蹤等許多領(lǐng)域，也取得了不少的研究成果[1-2]。時(shí)空上下文(Spatio-Temporal Context，STC)[3]目標(biāo)跟蹤算法是一個(gè)建立在貝葉斯框架下快速簡(jiǎn)單且魯棒性好的目標(biāo)跟蹤算法。

STC目標(biāo)跟蹤算法受到了生物視覺系統(tǒng)的關(guān)注焦點(diǎn)機(jī)制的啟發(fā)，在目標(biāo)跟蹤中加入了對(duì)時(shí)空上下文信息的利用。由于STC目標(biāo)跟蹤算法是一個(gè)基于線性貝葉斯框架下的算法，不可避免地會(huì)有跟蹤目標(biāo)漂移問(wèn)題。當(dāng)目標(biāo)受到強(qiáng)干擾，比如嚴(yán)重遮擋或者嚴(yán)重形變時(shí)局部上下文區(qū)域的像素強(qiáng)度和相對(duì)位置很大的改變，會(huì)導(dǎo)致計(jì)算得到的先驗(yàn)概率模型不準(zhǔn)確，最后通過(guò)計(jì)算得到的目標(biāo)坐標(biāo)也會(huì)與目標(biāo)實(shí)際位置有較大的偏差。文獻(xiàn)[4-6]對(duì)STC目標(biāo)跟蹤算法進(jìn)行了改進(jìn)，有效提升了STC目標(biāo)跟蹤算法的精度，克服了容易漂移等缺點(diǎn)，有了更好的抗干擾性，但是也存在實(shí)時(shí)性不佳等問(wèn)題。

針對(duì)跟蹤過(guò)程中出現(xiàn)的嚴(yán)重遮擋和高速高機(jī)動(dòng)等問(wèn)題，結(jié)合Kalman濾波改進(jìn)了STC目標(biāo)跟蹤算法，在目標(biāo)快速移動(dòng)和被遮擋的情況下，仍能有效、穩(wěn)定地跟蹤目標(biāo)。

1 Kalman濾波算法簡(jiǎn)介

Kalman濾波算法[7-8]是一種對(duì)動(dòng)態(tài)系統(tǒng)的狀態(tài)序列進(jìn)行線性最小方差估計(jì)的算法，可以通過(guò)狀態(tài)方程和觀測(cè)方程描述離散的動(dòng)態(tài)系統(tǒng)，即

x(n)=Ax(n-1)+Bu(n)+w(n)

(1)

z(n)=Hx(n)+v(n)

(2)

式中：A是系統(tǒng)狀態(tài)轉(zhuǎn)移矩陣；H是系統(tǒng)觀測(cè)矩陣;x(n)為系統(tǒng)狀態(tài)向量；u(n)是輸入向量；w(n)是估計(jì)噪聲;v(n)是觀測(cè)噪聲。Kalman濾波算法中估計(jì)噪聲w(n)和觀測(cè)噪聲v(n)必須是滿足高斯分布的白噪聲。

Kalman濾波的5個(gè)主要公式如下。

(3)

P(n|n-1)=AP(n-1|n-1)AT+Q

(4)

(5)

(6)

P(n|n)=[I-K(n)H(n)]P(n|n-1)

(7)

Kalman濾波原理簡(jiǎn)單模型如圖1 所示。

圖1 Kalman濾波原理簡(jiǎn)單模型Fig.1 Simple model of Kalman filter principle

2 結(jié)合Kalman濾波的STC目標(biāo)跟蹤算法

2.1 STC目標(biāo)跟蹤算法

STC目標(biāo)跟蹤算法[9]可以描述為計(jì)算一個(gè)估計(jì)目標(biāo)位置x似然的置信圖，置信圖中最大值的坐標(biāo)即為目標(biāo)坐標(biāo)。

m(x)=P(x|o) = ∑c(z)∈XcP(x,c(z)|o)=
∑c(z)∈XcP(x|c(z),o)P(c(z)|o)

(8)

式中：c(z)表示z點(diǎn)處的上下文特征即c(z)=(I(z),z)，它包括了圖像點(diǎn)的像素強(qiáng)度I(z)和坐標(biāo)信息z;Xc是當(dāng)前幀上下文特征集合即Xc={c(z)=(I(z),z)|z∈Ωc(x*)}，其中,Ωc(x*)表示以x*為中心的局部上下文區(qū)域。

式(8)中條件概率函數(shù)P(x|c(z),o)被定義為

P(x|c(z),o)=hsc(x-z)

(9)

式中,hsc(x-z)對(duì)x和上下文區(qū)域坐標(biāo)z之間的相對(duì)距離和相對(duì)方向進(jìn)行編碼，反映了目標(biāo)中心坐標(biāo)x與周圍區(qū)域的空間關(guān)系。

式(8)中上下文先驗(yàn)概率模型P(c(z)|o)可以建模為

P(c(z)|o)=I(z)ωσ(z-x*)

(10)

式(8)中置信圖m(x)定義為

(11)

式中:b是規(guī)范化常數(shù);α是尺度參數(shù);β是形狀參數(shù)。

將式(9)、式(10)、式(11)代入式(8)中得到

m(x)=hsc(x)?(I(x)ωσ(x-x*))

(12)

式中，?表示卷積。為了加快計(jì)算速度，通過(guò)快速傅里葉變換(FFT)進(jìn)行加速，變換后式(12)變?yōu)?/p>

(13)

然后使用此模型更新時(shí)空上下文模型,即

(14)

式中,ρ表示學(xué)習(xí)率。

式(14)等同于對(duì)目標(biāo)模型進(jìn)行了低通濾波處理。得到目標(biāo)的時(shí)空上下文模型后，在新的一幀使用式(15)計(jì)算當(dāng)前幀目標(biāo)的置信圖為

(15)

2.2 改進(jìn)的STC目標(biāo)跟蹤算法

當(dāng)目標(biāo)受到強(qiáng)烈干擾，如嚴(yán)重遮擋、快速運(yùn)動(dòng)等情況時(shí)，上下文區(qū)域中像素的強(qiáng)度發(fā)生了劇烈變化或者目標(biāo)超出上下文區(qū)域，此時(shí)通過(guò)STC目標(biāo)跟蹤算法計(jì)算得到的先驗(yàn)概率模型P(c(z)|o)不夠準(zhǔn)確，導(dǎo)致最終計(jì)算得到的目標(biāo)坐標(biāo)位置和實(shí)際目標(biāo)坐標(biāo)位置出現(xiàn)較大的偏差。因此引入Kalman濾波算法，對(duì)目標(biāo)的運(yùn)動(dòng)趨勢(shì)做出預(yù)測(cè)，以此校正STC目標(biāo)跟蹤算法的跟蹤結(jié)果。

改進(jìn)算法過(guò)程如下。

1) 初始化。

在初始幀中，使用鼠標(biāo)手工選定目標(biāo)區(qū)域，利用式(10)、式(11)計(jì)算目標(biāo)的時(shí)空上下文區(qū)域置信圖m(x)和先驗(yàn)概率模型P(c(z)|o)；同時(shí)得到目標(biāo)跟蹤框的幾何中心位置x(0),y(0)，將其作為Kalman濾波算法的初始狀態(tài)，將誤差噪聲協(xié)方差矩陣P設(shè)為0。

2) 跟蹤目標(biāo)。

算法流程如圖2所示。

圖2 結(jié)合Kalman濾波的STC目標(biāo)跟蹤算法Fig.2 STC algorithm combined with Kalman filter

同時(shí),為加快算法運(yùn)行速度，將STC目標(biāo)跟蹤算法目標(biāo)上下文區(qū)域由原來(lái)的目標(biāo)區(qū)域2倍縮小為1.8倍。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)條件

跟蹤結(jié)果如圖3、圖4所示。

圖4 視頻2跟蹤結(jié)果Fig.4 Tracking results of Video 2

3.2 實(shí)驗(yàn)結(jié)果分析

使用矩形跟蹤框的幾何中心橫縱坐標(biāo)與目標(biāo)實(shí)際位置中心橫縱坐標(biāo)的差值衡量跟蹤的準(zhǔn)確性。對(duì)視頻1從第35幀到第110幀的跟蹤結(jié)果以及視頻2的第20幀到第90幀的跟蹤結(jié)果進(jìn)行分析。具體情況如圖5、圖6所示。

圖5 視頻1跟蹤位置曲線圖Fig.5 Tracking position curve of Video 1

圖6 視頻2跟蹤位置曲線圖Fig.6 Tracking position curve of Video 2

從圖5和圖6中可以看出,雖然縮小了時(shí)空上下文區(qū)域的大小，但是由于Kalman濾波的校正,改進(jìn)算法在視頻1和視頻2的目標(biāo)跟蹤中跟蹤精度高于STC目標(biāo)跟蹤算法。在視頻1中，本文算法結(jié)果和目標(biāo)之間平均偏差像素為(3.26，3.52)，STC目標(biāo)跟蹤算法結(jié)果和目標(biāo)之間平均偏差像素為(20.01，5.59)。在視頻2中,本文算法結(jié)果和目標(biāo)之間平均偏差像素為(1.73，3.92)，STC目標(biāo)跟蹤算法結(jié)果和目標(biāo)之間平均偏差像素為(17.92，20.55)。

算法對(duì)視頻1和視頻2進(jìn)行目標(biāo)跟蹤耗時(shí)情況分別如圖7、圖8所示。

圖7 視頻1跟蹤速度曲線圖Fig.7 Tracking speed curve of Video 1

圖8 視頻2跟蹤速度曲線圖Fig.8 Tracking speed curve of Video 2

從圖7和圖8中可以看出,改進(jìn)的STC目標(biāo)跟蹤算法由于縮小了上下文區(qū)域面積，運(yùn)算速度較原始STC目標(biāo)跟蹤算法有了一定的提高，可以滿足實(shí)時(shí)性要求。

4 結(jié)束語(yǔ)

本文在原本的STC目標(biāo)跟蹤算法中加入了Kalman濾波算法，使目標(biāo)在被遮擋時(shí)可以使用Kalman濾波器對(duì)STC目標(biāo)跟蹤算法的輸出進(jìn)行校正，有效增加了算法的魯棒性。本文算法的不足是目標(biāo)跟蹤框尺度不能變化,丟失目標(biāo)后不能尋回目標(biāo),沒有考慮多目標(biāo)等。后續(xù)工作將針對(duì)這些不足做進(jìn)一步改進(jìn)。