交通場景中的實時多目標自動跟蹤算法*

隋修武，田　松，余保付，葛　輝

（天津工業(yè)大學(xué) 機械工程學(xué)院 天津市現(xiàn)代機電裝備技術(shù)重點實驗室，天津 300387）

交通場景中的實時多目標自動跟蹤算法*

隋修武，田松，余保付，葛輝

（天津工業(yè)大學(xué) 機械工程學(xué)院 天津市現(xiàn)代機電裝備技術(shù)重點實驗室，天津 300387）

針對交通場景中多目標跟蹤過程中實時性和魯棒性的問題，提出一種基于混合高斯和稀疏光流的多目標自動跟蹤算法。該算法利用自適應(yīng)背景差分法提取前景目標，用特征點對目標進行表達，通過稀疏光流算法建立起前后幀間的數(shù)據(jù)關(guān)聯(lián)，并通過模版更新機制來降低可能的較大形變帶來的干擾。實驗結(jié)果表明，該算法適用于多數(shù)交通場景，實時性較好，對光照和噪聲都具有很強的魯棒性，可以實現(xiàn)對多目標的準確而又穩(wěn)定的跟蹤。

多目標跟蹤；混合高斯；稀疏光流；模版更新

0　引言

隨著城市化進程的加快，交通狀況日益惡化，基于視頻的檢測和跟蹤逐漸成為受到關(guān)注的研究領(lǐng)域。目前目標跟蹤技術(shù)的難點有數(shù)據(jù)的關(guān)聯(lián)問題、顏色的相似性、背景的穩(wěn)定性和復(fù)雜性、目標尺寸的變化和實時性等[1-2]。目標跟蹤常用的方法有：基于顏色特征的 Meanshift和 Camshift[3-4]，基于貝葉斯估計的卡爾曼濾波[5]，基于蒙特卡洛方法的粒子濾波[6-7]，還有基于光流計算的光流跟蹤[8-9]。然而在跟蹤的過程中，如果目標與背景顏色相近或目標之間顏色相近，則基于顏色特征的跟蹤方法會失效；實際場景中目標的運動比較復(fù)雜，而卡爾曼濾波器要求目標具有線性高斯運動的特性，因此跟蹤效果不理想；粒子濾波在跟蹤多目標時，實時性是一個突出的問題，時間開銷會隨著目標數(shù)的增多而呈指數(shù)性增長；光流分為稠密光流和稀疏光流，而稠密光流需要計算圖像中的所有像素點，效率低。

針對以上問題，提出一種結(jié)合混合高斯模型和稀疏光流的多目標跟蹤算法。

1　算法基本思想

本文算法框架如圖1所示，首先通過混合高斯模型進行背景建模，背景差分獲得前景區(qū)域，形態(tài)學(xué)處理和濾波得到前景目標，同時在車輛進入場景的入口處設(shè)定車輛檢測區(qū)域，進行新目標的進入檢測，從而確定進入場景中目標的個數(shù)，這樣可以通過先驗知識提前避免對整個場景進行目標的檢測，提高效率的同時又能在后續(xù)非檢測區(qū)域進行跟蹤時一定程度上規(guī)避目標的合并與分離的問題；然后對檢測到的車輛目標進行 Harris特征點的提取，用提取的特征點對目標進行標識，這樣不僅對噪聲不敏感，還可以抵抗光照變換帶來的影響；接著對提取的特征點進行光流運動估計，預(yù)測特征點的運動位置，然后在跟蹤的過程中適時地對目標跟蹤模版進行更新，從而保證了目標跟蹤的準確性和穩(wěn)定性；而且本算法采用無監(jiān)督的運動目標檢測、提取和跟蹤，實現(xiàn)在視頻序列中自動檢測并跟蹤多目標。

圖1　算法框架流程圖

2　新目標檢測與提取

2.1前景分割

利用混合高斯模型建立起背景圖像，通過當前幀圖像與背景圖像的差分獲得包含運動目標的前景圖像。由于背景建模的精確性，會有一些前景的像素沒有檢測出來，形成空洞，還有一些背景的像素由于誤檢測而被判定為前景，成為一些零星的噪聲點。所以需要對前景圖像進行進一步的處理，在對前景圖像進行二值化操作之后，利用高斯濾波和中值濾波進行平滑處理和去噪處理，這時得到的圖像再利用形態(tài)學(xué)處理使得前景區(qū)域更加完整。

2.2新目標的檢測

在視頻圖像上設(shè)定新目標的進入檢測區(qū)域，來捕捉新目標的出現(xiàn)。在這過程中建立潛在目標列表(potential_list)，通過測量目標的中心位置(xc，yc)記錄目標的狀態(tài)，用這個測量和新目標建立關(guān)聯(lián)來定義新目標的出現(xiàn)，根據(jù)車輛相對場景的位置大小設(shè)立閾值(xT，yT)，若|xc－xT|≤T或|yc－yT|≤T（T為常數(shù)）則判定為新目標出現(xiàn)，然后用矩形框來擬合目標輪廓，把擬合的矩形框加入到待跟蹤目標列表(temp_list)當中，得出運動目標描述的矩形。

2.3目標提取與標識

在捕捉到新目標之后，就需要對新目標建立跟蹤關(guān)系。由于車輛目標為剛體且紋理豐富，可以提取出一定數(shù)量而且可以精確定位穩(wěn)定的特征點，因此本文采用基于Harris特征點的數(shù)據(jù)關(guān)聯(lián)跟蹤，利用 Harris特征點來標識目標。Harris特征檢測器是一種經(jīng)典的角點檢測方法，在紋理信息豐富的區(qū)域，Harris可以提取出大量有用的特征點，而且 Harris的計算公式中只涉及到一階導(dǎo)數(shù)，因此對圖像旋轉(zhuǎn)、灰度變化、噪聲影響和視點變換不敏感。

3　多目標的跟蹤

3.1Lucas-Kanade(LK)光流

LK光流算法是一種應(yīng)用最廣泛的求稀疏光流的方法，LK光流算法基于以下三點假設(shè)：

(1)亮度恒定，即像素在幀間運動時，像素值保持不變；

(2)圖像的變化相對于時間的變化微小；

(3)在一個小的局部區(qū)域(n×n)內(nèi)像素運動一致，亮度恒定。

由假設(shè)(1)可得：

由假設(shè)(2)通過泰勒級數(shù)展開得：

根據(jù)式(1)和式(2)得：

其中，Ix、Iy是二維圖像的偏導(dǎo)數(shù)，It是圖像隨時間的導(dǎo)數(shù)，u和v是所要求的速度在x、y方向分量，但目前對于單個像素?zé)o解，于是根據(jù)第三個假設(shè)得：

3.2特征點聚類成目標

通過光流運動估計，在當前幀中找到上一幀目標框中的特征點在這一幀中的對應(yīng)位置，然后將這若干個特征點在相鄰兩幀之間的位移變化進行排序，得到位移變化的中值(um，vm)，把(um，vm)作為目標中心點的位移變化，即目標中心 xci＝xci-1+um，yci＝y(tǒng)ci-1+vm，計算特征點之間x向的最大距離 Xmax和 y向的最大距離 Ymax，則令目標框的長 L＝αXmax和寬 W＝αYmax，這里 α＝1.2。

3.3模版更新策略

為了使跟蹤算法能夠適應(yīng)目標自身的旋轉(zhuǎn)與尺度變化，需要在跟蹤過程中對目標跟蹤模板進行更新。令n0為目標初始特征點個數(shù)，ni為第i幀圖像中光流估計目標區(qū)域內(nèi)的特征點個數(shù)。當＜ε時初步判斷需要更新模板。然后提取當前幀目標所在位置的前景區(qū)域，并用矩形框進行擬合，矩形框面積用 Si表示，Si－1表示上一幀目標框的面積。若＞k則說明目標發(fā)生了遮擋，則暫時不進行模版更新，否則會出現(xiàn)“漂移”現(xiàn)象，從而可能導(dǎo)致跟蹤目標丟失，直到檢測到遮擋結(jié)束則繼續(xù)進行模版更新，若＜k則更新目標區(qū)域，提取目標特征點，然后更新模版。模版更新流程如圖2所示。

圖2　模版更新流程圖

4　實驗結(jié)果與分析

為了驗證本算法的有效性，分別對智能卡口、城市道路、高速公路3種不同的場景以及不同的視角進行了多個運動目標的實時自動跟蹤。

3種場景下的車輛跟蹤結(jié)果如圖3所示，可以看到本算法整體的跟蹤效果。如圖3(a)、3(c)所示，在跟蹤車輛的過程中生成目標的運動軌跡；如圖3(c)所示，在車輛跟蹤的同時，對車流量進行了一個統(tǒng)計。如圖4(a)所示，被跟蹤車輛在發(fā)生轉(zhuǎn)彎時車輛發(fā)生較大形變導(dǎo)致原先的一部分特征點失效，直至跟蹤丟失。而在圖4(b)中，本文提出的跟蹤算法具備自檢能力則很好地解決了目標發(fā)生形變時跟蹤失敗的問題。

圖3　本文算法的整體跟蹤結(jié)果

表1記錄了不同視頻段的跟蹤情況，以及處理不同視頻段時的處理速度。圖5分別展示了3段視頻每幀的處理時間，可以看出處理時間呈階梯狀分布，階梯的高低表示處理目標個數(shù)的不同，如表2所示。

圖4　本文算法的跟蹤結(jié)果

表1　視頻處理速度

圖5　視頻每幀的處理時間

表2　目標個數(shù)對應(yīng)每幀處理時間(ms)

5　結(jié)論

針對車輛的多目標跟蹤中出現(xiàn)的難點，本文提出一種車輛的實時自動跟蹤算法，該算法利用GMM進行背景建模，結(jié)合形態(tài)學(xué)濾波處理分割提取出前景目標，利用Harris特征點對目標進行標識，然后運用特征光流運動估計進行基于角點動態(tài)特征的跟蹤，并在跟蹤的過程中適時進行模版的自動更新。實驗結(jié)果表明，該方法也能很好地適應(yīng)目標尺度的變化，通過設(shè)置車輛的存在和消失參數(shù)，實現(xiàn)車輛運動目標的自動跟蹤，并具有較好的實時性。本文算法存在的一個局限是當目標個數(shù)過多或跟蹤目標被嚴重遮擋時，跟蹤效果則不是很理想。因此，在今后還需要對目標遮擋跟蹤作進一步的研究。

[1]YANG H，SHAO L，ZHENG F，et al.Recent advances and trends in visual tracking:a review[J].Neurocomputing，2011，74(18)：3823-3831.

[2]侯志強，韓崇昭.視覺跟蹤技術(shù)綜述[J].自動化學(xué)報，2006，32(4)：603-617.

[3]LI Z，TANG Q L，SANG N.Improved mean shift algorithm for occlusion pedestrian tracking[J].Electronics Letters，2008，44(10)：622-623.

[4]夏瑜，吳小俊，馮振華.基于特征貢獻度的Mean Shift視頻跟蹤算法[J].控制與決策，2012，27(7)：1021-1026.

[5]戴洪德，陳明，周紹磊，等.基于支持向量機的自適應(yīng)卡爾曼濾波技術(shù)研究[J].控制與決策，2008，23(8)：949-952.

[6]陳金廣，馬麗麗，陳亮.基于邊緣粒子濾波的目標跟蹤算法研究[J].計算機工程與應(yīng)用，2010，46(28)：128-131.

[7]李培華.一種新穎的基于顏色信息的粒子濾波器跟蹤算法[J].計算機學(xué)報，2009，32(12)：2454-2463.

[8]BRUHN A，WEICKERT J.Combining local and global optic flow methods[J].International Journal of Computer Vision，2005，61(3)：211－231.

[9]TU D W，JIANG J L.Improved algorithm for motion image analysis based on optical flow and its application[J].Optics and Precision Engineering，2011，19(5)：1159－1164.

Real time multi-objects automatic tracking algorithm in traffic scene

Sui Xiuwu，Tian Song，Yu Baofu，Ge Hui
(Tianjin Key Laboratory of Advanced Mechatronics Equipment Technology，School of Mechanical Engineering，Tianjin Polytechnic University，Tianjin 300387，China)

To address the issue of real-time and robustness to the multi-objects detection and tracking technology in traffic scene, this paper presentes a real time multi-objects automatic tracking algorithm base on Gaussian mixture and sparse optical flow.Moving targets were extracted by adaptive background subtraction algorithm and feature points were used to express targets.Then it established the data association between correlating frames by sparse optical flow algorithm.And it used the template update mechanism to deal with the problem of the big deformation.Experimental results show that the proposed method can be applied to most traffic scenes.It is robust to light and noise and can realize accurate and stable tracking of multi targets.

multi-objects tracking；Gaussian mixture；sparse optical flow；template update

TP391.4

A

10.16157/j.issn.0258-7998.2015.10.038

天津市應(yīng)用基礎(chǔ)與前沿技術(shù)研究計劃（15JCYBJC19700）

2015－06－24)

隋修武（1977－），男，博士，副教授，高級工程師，主要研究方向：機器視覺、現(xiàn)代測控技術(shù)與智能化儀器、機電一體化技術(shù)與裝備。

田松（1988－），男，碩士研究生，主要研究方向：機器視覺、視頻圖像處理。

中文引用格式：隋修武，田松，余保付，等.交通場景中的實時多目標自動跟蹤算法[J].電子技術(shù)應(yīng)用，2015，41 (10)：139-142，146.

英文引用格式：Sui Xiuwu，Tian Song，Yu Baofu，et al.Real time multi-objects automatic tracking algorithm in traffic scene[J]. Application of Electronic Technique，2015，41(10)：139-142，146.