基于特征融合的均值偏移目標(biāo)跟蹤算法

高瑞華，楊 欣

(南京航空航天大學(xué) 自動(dòng)化學(xué)院，江蘇 南京 210016)

運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤是智能監(jiān)視系統(tǒng)的基礎(chǔ)，是各種后續(xù)處理的前提，如目標(biāo)分類、行為理解等.運(yùn)動(dòng)目標(biāo)檢測(cè)是指從視頻流中實(shí)時(shí)提取目標(biāo)，一般是確定目標(biāo)所在區(qū)域等.運(yùn)動(dòng)目標(biāo)的跟蹤主要由目標(biāo)識(shí)別與目標(biāo)匹配兩部分組成，在識(shí)別的過(guò)程中，利用目標(biāo)檢測(cè)的關(guān)鍵技術(shù)確定每一幀圖像的目標(biāo)位置，匹配的過(guò)程更為關(guān)鍵，需要考慮前景目標(biāo)的固有屬性及匹配是否適應(yīng)的匹配算法.本文基于圖像匹配來(lái)實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的跟蹤，而此類方法大致分為5類：基于特征的運(yùn)動(dòng)目標(biāo)跟蹤算法、基于區(qū)域的運(yùn)動(dòng)目標(biāo)跟蹤算法、基于模型的運(yùn)動(dòng)目標(biāo)跟蹤算法、基于運(yùn)動(dòng)估計(jì)的目標(biāo)跟蹤算法及基于頻域的運(yùn)動(dòng)目標(biāo)跟蹤算法[1].

20世紀(jì)70年代, Fukunaga和Hosteler[2]提出了均值偏移(Meanshift)算法，它是一種無(wú)參密度估計(jì)法.均值偏移算法的含義是均值偏移向量，它使每一個(gè)點(diǎn)“漂移”到密度函數(shù)的局部極大值點(diǎn).但是均值偏移算法在當(dāng)時(shí)并沒(méi)有得到廣泛的重視，直到1995年，Cheng Yi-zong[3]對(duì)該算法做了2方面的改進(jìn)，首先定義了一族核函數(shù)；其次設(shè)置了一族權(quán)重系數(shù)，通過(guò)定義的核函數(shù),可以看出偏移量對(duì)均值轉(zhuǎn)移量的貢獻(xiàn)，然后基于權(quán)重系數(shù)大小，使得不同的樣本點(diǎn)的重要性不同.通過(guò)改進(jìn)，該算法得到了重視和廣泛應(yīng)用.但均值偏移算法中顏色直方圖是對(duì)目標(biāo)特征一種比較弱的描述，當(dāng)有遮擋等干擾時(shí)，算法效果欠佳.基于此，本文提出了將顏色特征中融入像素點(diǎn)的位置信息的算法來(lái)實(shí)現(xiàn)目標(biāo)跟蹤，通過(guò)實(shí)驗(yàn)可以發(fā)現(xiàn)，該法能較好地適應(yīng)復(fù)雜背景視頻序列，并且在跟蹤準(zhǔn)確性上有所提高.改進(jìn)了經(jīng)典均值偏移算法的不足，提高了算法的魯棒性和可靠性.

1 均值偏移算法

1.1 均值偏移算法原理

均值偏移算法的核心就是顏色特征[4-5].其采用顏色直方圖對(duì)目標(biāo)區(qū)域建模.通過(guò)計(jì)算特征空間中每個(gè)特征值的概率建立目標(biāo)模型.其中目標(biāo)模型顏色空間特征值為μ，且μ=1,2,…，m.采用核密度估計(jì)的方法，則目標(biāo)模型概率密度如下：

(1)

候選模型概率密度如下：

(2)

1.2 相似性度量函數(shù)

相似性度量函數(shù)描述了目標(biāo)模型和候選模型之間的距離或相似程度.目標(biāo)模型與候選模型匹配過(guò)程實(shí)質(zhì)上是尋找最優(yōu)的y，使得相似函數(shù)值最大的過(guò)程，巴氏系數(shù)具有一定的優(yōu)越性，使用效果很好，得到了廣泛的應(yīng)用，是最常用的均值偏移算法的相似性度量函數(shù)，本文選取巴氏系數(shù)作為相似性度量，定義2個(gè)概率密度分布的距離為[6]：

(3)

(4)

1.3 目標(biāo)定位

(5)

式(5)中的權(quán)重系數(shù)ωi如下:

(6)

為了獲取最高相似度或者最大巴氏系數(shù)，對(duì)當(dāng)前幀的目標(biāo)位置進(jìn)行更新處理，然后將目標(biāo)中心y0偏移至目標(biāo)的下一個(gè)候選位置y1,

(7)

式中，g(x)=-k′(x)=1，則式(7)簡(jiǎn)化為

(8)

2 融入位置特征的均值偏移算法

均值偏移算法在進(jìn)行目標(biāo)跟蹤過(guò)程中一般只關(guān)心候選目標(biāo)和目標(biāo)模板在顏色分布上的相似性, 而不關(guān)心目標(biāo)在實(shí)際空間上的運(yùn)動(dòng)情況, 即沒(méi)有利用目標(biāo)的空間運(yùn)動(dòng)位置、速度及加速度信息.由此，我們便想出若同時(shí)融入目標(biāo)區(qū)域像素點(diǎn)的空間位置特征，對(duì)運(yùn)動(dòng)目標(biāo)在下一幀中的位置進(jìn)行預(yù)測(cè)，運(yùn)動(dòng)目標(biāo)的位置由均值偏移算法得出的目標(biāo)中心位置和根據(jù)運(yùn)動(dòng)目標(biāo)在任一時(shí)刻的物理運(yùn)動(dòng)特征預(yù)測(cè)得出的目標(biāo)中心位置進(jìn)行加權(quán)綜合考慮，這樣目標(biāo)匹配精度將有所提高，相應(yīng)的跟蹤精度也會(huì)提高.

2.1 空間位置特征

我們引入目標(biāo)運(yùn)動(dòng)的狀態(tài)向量[8].根據(jù)物體運(yùn)動(dòng)的物理意義，存在狀態(tài)向量s(k)、v(k)、a(k)(k=1,2,…,n)，分別表示k時(shí)刻目標(biāo)所在的位置、速度及加速度,其中vx(k)、vy(k)、ax(k)、ay(k)分別表示運(yùn)動(dòng)目標(biāo)在x、y方向上的速度與加速度，則運(yùn)動(dòng)目標(biāo)的位置s(k)=(sx(k),sy(k)),其中sx(k)、sy(k)分別為運(yùn)動(dòng)目標(biāo)在x、y方向上的位置向量.根據(jù)運(yùn)動(dòng)的公式可知：

(9)

(10)

通過(guò)上式，我們便可以得出運(yùn)動(dòng)目標(biāo)的空間位置信息，并對(duì)運(yùn)動(dòng)目標(biāo)在下一時(shí)刻的位置進(jìn)行預(yù)測(cè).式中Δt為第k時(shí)刻與第k-1時(shí)刻的時(shí)間間隔，由于采集的視頻圖像每秒鐘都有固定的幀數(shù),所以Δt的選取是固定不變的，本文中取為50 ms，則視頻幀的采集速率為20幀/s.

2.2 引入空間位置信息后的目標(biāo)定位

確定運(yùn)動(dòng)目標(biāo)的位置應(yīng)綜合考慮均值偏移目標(biāo)跟蹤算法得到的目標(biāo)中心位置與運(yùn)動(dòng)估計(jì)得到的目標(biāo)位置的關(guān)系[9-10]，在兩者之間設(shè)置一個(gè)調(diào)節(jié)比例因子λ∈(0,1)，表示如下：

sy1(k)=λs(k)+(1-λ)y1.

(11)

由上式可以看出，引入空間位置信息后，運(yùn)動(dòng)目標(biāo)的位置將由均值偏移得到的位置和運(yùn)動(dòng)預(yù)測(cè)位置共同決定.調(diào)節(jié)比例因子λ可根據(jù)經(jīng)驗(yàn)判斷及實(shí)驗(yàn)效果反復(fù)調(diào)節(jié)決定，當(dāng)λ=0時(shí)，則目標(biāo)位置為均值偏移算法得到的位置，當(dāng)λ=1時(shí)，目標(biāo)位置則為運(yùn)動(dòng)預(yù)測(cè)所得到位置.

在已知運(yùn)動(dòng)目標(biāo)在k時(shí)刻及k-1時(shí)刻的位置sy1(k)、sy1(k-1)后，便可以對(duì)運(yùn)動(dòng)目標(biāo)的速度和加速度參數(shù)進(jìn)行更新.

(12)

(13)

(14)

(15)

式中，sy1x(k)=cos(sy1(k)),sy1y(k)=sin(sy1(k)).將運(yùn)動(dòng)目標(biāo)的速度和加速度參數(shù)進(jìn)行更新后，重新帶入式(9)、(10)中計(jì)算出運(yùn)動(dòng)目標(biāo)下一時(shí)刻新的位置信息.如此反復(fù)循環(huán)，就可對(duì)運(yùn)動(dòng)目標(biāo)在各幀中的在下一時(shí)刻較為精確的位置作出判斷.

2.3 算法流程步驟

初始化運(yùn)動(dòng)目標(biāo)的位置、速度、加速度和調(diào)節(jié)比例因子λ.

Step3 依據(jù)公式(6)計(jì)算權(quán)重ωi；

Step4 根據(jù)公式(8)計(jì)算出新的位置y1；

Step5 由公式(9)、(10)計(jì)算運(yùn)動(dòng)估計(jì)的目標(biāo)位置s(k);

Step7 根據(jù)公式(12)～(15)更新運(yùn)動(dòng)估計(jì)參數(shù)v(k)、a(k)，更新s(k)；

Step8 最終根據(jù)均值偏移算法得出的目標(biāo)位置y1和運(yùn)動(dòng)估計(jì)得出的位置s(k)調(diào)節(jié)權(quán)值計(jì)算出運(yùn)動(dòng)目標(biāo)的最終位置sy1(k).

3 實(shí)驗(yàn)結(jié)果

為了直觀檢驗(yàn)出算法的效果，基于Matlab環(huán)境，本文對(duì)一些視頻序列進(jìn)行了實(shí)驗(yàn)，選用一組視頻圖像分別用傳統(tǒng)均值偏移算法和融入運(yùn)動(dòng)目標(biāo)空間位置特征的算法進(jìn)行跟蹤實(shí)驗(yàn)，通過(guò)實(shí)驗(yàn)，可以發(fā)現(xiàn)傳統(tǒng)的均值偏移算法在目標(biāo)發(fā)生遮擋后容易跟丟目標(biāo)，而本文算法在傳統(tǒng)均值偏移算法基礎(chǔ)上增加了像素點(diǎn)空間位置信息后，在運(yùn)動(dòng)目標(biāo)發(fā)生遮擋的情況下仍然可以準(zhǔn)確跟蹤目標(biāo).

經(jīng)過(guò)分析，原因是由于均值偏移跟蹤算法只是尋找目標(biāo)一定范圍內(nèi)與之最匹配的候選目標(biāo),而沒(méi)有考慮到目標(biāo)在空間運(yùn)動(dòng)過(guò)程中的一致性和連貫性; 而本文改進(jìn)的均值偏移算法由于加入了對(duì)目標(biāo)空間運(yùn)動(dòng)位置的預(yù)測(cè), 保證了目標(biāo)空間運(yùn)動(dòng)過(guò)程中的一致性和連貫性, 改善了對(duì)運(yùn)動(dòng)目標(biāo)的跟蹤效果, 在目標(biāo)發(fā)生遮擋的情況下, 仍能實(shí)現(xiàn)有效的跟蹤,提高了系統(tǒng)的魯棒性.

針對(duì)改進(jìn)算法前后的巴氏系數(shù)匹配程度進(jìn)行了對(duì)比，結(jié)果見(jiàn)表1.從表1可以看出, 與原算法比較，改進(jìn)后的均值偏移跟蹤算法在匹配程度上有了較大的提高, 匹配程度方差改善了 0.020 6，從而使系統(tǒng)目標(biāo)跟蹤的魯棒性得以提高.

表1 巴氏系數(shù)匹配程度對(duì)比

4 結(jié)語(yǔ)

把運(yùn)動(dòng)目標(biāo)的空間位置信息融入到傳統(tǒng)均值偏移算法當(dāng)中，由于加入了對(duì)目標(biāo)空間運(yùn)動(dòng)位置的預(yù)測(cè), 保證了目標(biāo)空間運(yùn)動(dòng)過(guò)程中的一致性和連貫性, 改善了對(duì)運(yùn)動(dòng)目標(biāo)的跟蹤效果, 在目標(biāo)發(fā)生沖突、部分遮擋的情況下, 仍能實(shí)現(xiàn)有效的跟蹤,使得跟蹤的準(zhǔn)確性提高，對(duì)傳統(tǒng)均值偏移算法中存在的不足有了較明顯的改進(jìn).從實(shí)驗(yàn)結(jié)果也可以看出，本文算法能夠準(zhǔn)確、有效、實(shí)時(shí)地跟蹤目標(biāo)，增強(qiáng)了跟蹤算法魯棒性.但是空間位置信息的引入，使得本文在增加算法魯棒性的同時(shí)，也帶來(lái)了計(jì)算復(fù)雜度大的問(wèn)題，計(jì)算量有所增加，實(shí)時(shí)性降低，但能夠滿足一般的工程項(xiàng)目實(shí)時(shí)性要求.

參考文獻(xiàn):

[1] 候志強(qiáng)，韓崇昭.視覺(jué)跟蹤技術(shù)綜述[J].自動(dòng)化學(xué)報(bào)，2006,32(4)：603-617.

[2] HOSTELER L D.The estiamtion of the gradient of a density function, with applications in pattern recognition[J].IEEE Ttansactions on Information Theory, 1975,21(1):32-40.

[3] CHENG Y Z.Meanshift.mode seeking and clustering[J].IEEE Transactions Analysis and Machine Intelligence，1995,17(8):790-799.

[4] 徐琨，賀昱曜，王衛(wèi)亞.基于CAMSHIFT的自適應(yīng)顏色空間目標(biāo)跟蹤算法[J].計(jì)算機(jī)應(yīng)用，2009,29(3):757-760.

[5] DORIN C.Kernel-based object tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(5): 564-577.

[6] 曹榮, 一種基于尺度不變特征變換Shift的圖像水印算法[J].云南民族大學(xué)學(xué)報(bào):自然科學(xué)版，2012，21(5)：361-364.

[7] DORIN C, MEER P.Mean shift: A robust approach toward feature space analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence , 2002,24 (5):603-619.

[8] 王賓.基于多特征融合的均值漂移視頻目標(biāo)跟蹤算法[J].小型微型計(jì)算機(jī)系統(tǒng)，2006,27(9)：1476-1479.

[9] 張志佳，黃莎白，史澤林，新的基于邊緣特征的圖像相關(guān)匹配方法 [J].紅外與激光工程, 2003, 32(6): 635-638.

[10] 趙欣，陳鋒，吳立知.一種改進(jìn)的mean-shift運(yùn)動(dòng)目標(biāo)跟蹤算法[J].通信技術(shù), 2011, 11(44): 76-79.