基于異步時(shí)域事件的高速運(yùn)動(dòng)目標(biāo)的跟蹤算法

楊帥　薛永江　王瑞昆

摘 要： 異步時(shí)域事件是由異步時(shí)域視覺(jué)傳感器獲得，其數(shù)據(jù)具有低冗余特點(diǎn)，適宜于高速運(yùn)動(dòng)目標(biāo)的跟蹤?；诋惒綍r(shí)域事件的跟蹤算法從數(shù)據(jù)源上降低了數(shù)據(jù)冗余，克服了基于“幀”數(shù)據(jù)的傳統(tǒng)跟蹤算法需要處理大量無(wú)用信息的缺點(diǎn)，極大地提高了跟蹤速度。文章提出的算法充分考慮了異步時(shí)域事件的數(shù)據(jù)集中性，在目標(biāo)跟蹤中使用按周期更新的策略，降低了算法的時(shí)間復(fù)雜度，提高了跟蹤速度，并且跟蹤軌跡更加平滑。

關(guān)鍵詞： 異步時(shí)域事件； 目標(biāo)跟蹤； 高速； 時(shí)間復(fù)雜度； 更新策略

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1006-8228（2016）06-72-03

Abstract： Asynchronous transient event is obtained by asynchronous time-domain visual sensor， which has a low data redundancy feature， and is suitable for tracking high-speed moving targets. Tracking algorithm based on asynchronous transient event reduces data redundancy from the data source， and overcomes the shortcomings of traditional tracking algorithm based on the "frame" data which has large volume of useless information， and greatly improves the tracking speed. The proposed algorithm fully considers the concentration of asynchronous transient event， so use the periodically updated in target tracking， and greatly reduce the time complexity of the algorithm， so that the tracking speed is improved and the tracking trajectory is smoother.

Key words： asynchronous transient event； target tracking； high-speed； time complexity； periodically updated

0 引言

傳統(tǒng)目標(biāo)跟蹤算法的基本思路是從包含有運(yùn)動(dòng)目標(biāo)的視頻中檢測(cè)、提取、識(shí)別和跟蹤運(yùn)動(dòng)目標(biāo)。傳統(tǒng)的目標(biāo)跟蹤算法有卡爾曼濾波[9]、粒子濾波器[9]、Meanshift算法[8]、condensation算法[10]及動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)[11]等。這些算法的數(shù)據(jù)源都是視頻幀。由于視頻幀的高數(shù)據(jù)冗余性，傳統(tǒng)的目標(biāo)跟蹤算法需要處理大量的冗余信息，所以算法的時(shí)間和空間復(fù)雜度較高。文獻(xiàn)[6]提出了一種基于異步時(shí)域事件的目標(biāo)跟蹤算法，但該算法在處理異步時(shí)域事件時(shí)采用按事件更新的策略，存在大量的無(wú)用計(jì)算，效率較低。

本文提出了一種新的基于周期更新的策略，較之前的方法從兩方面進(jìn)行了改進(jìn)：①充分考慮了異步時(shí)域事件產(chǎn)生的時(shí)間集中性；②處理異步時(shí)域事件時(shí)采用了按周期更新的策略。該算法較傳統(tǒng)的目標(biāo)跟蹤算法有更快的速度，比文獻(xiàn)[6]算法的時(shí)間復(fù)雜度低。本研究通過(guò)數(shù)學(xué)建模，使用軟件產(chǎn)生的異步時(shí)域事件，在PC平臺(tái)使用Matlab和C++編程進(jìn)行算法測(cè)試。

1 異步時(shí)域事件產(chǎn)生模型的建立

1.1 異步時(shí)域事件

異步時(shí)域事件是由異步時(shí)域視覺(jué)傳感器產(chǎn)生，以串行方式輸出。異步時(shí)域事件僅包含光強(qiáng)發(fā)生變化像素，這種方式消除了冗余數(shù)據(jù)。一般物體的邊緣與背景的對(duì)比度最高，通過(guò)設(shè)置合理的參數(shù)可以使異步時(shí)域事件僅包含運(yùn)動(dòng)物體的邊緣信息。

異步時(shí)域事件包含三部分信息：時(shí)間戳、位置、變化量。其中時(shí)間戳表示該事件發(fā)生的時(shí)間；事件的位置可以映射為圖像的（x，y）坐標(biāo)；變化量表示該時(shí)刻相對(duì)于上一時(shí)刻該點(diǎn)的光強(qiáng)變化量，這個(gè)變化量由異步時(shí)域視覺(jué)傳感器量化。

異步時(shí)域事件異步產(chǎn)生，并且產(chǎn)生頻率不固定，無(wú)法預(yù)測(cè)。若多個(gè)異步時(shí)域事件同時(shí)產(chǎn)生，輸出時(shí)就會(huì)發(fā)生競(jìng)爭(zhēng)，則需要進(jìn)行仲裁處理[7]。根據(jù)應(yīng)用場(chǎng)景的不同，可以使用以下三種仲裁方式：輪權(quán)仲裁、中間區(qū)域優(yōu)先、事件集中優(yōu)先。輪權(quán)仲裁按照第一行至最后一行的順序決定優(yōu)先權(quán)，適用于需要對(duì)全景信息采集，但對(duì)幀頻要求較低的視覺(jué)圖像采集領(lǐng)域。中間區(qū)域優(yōu)先將優(yōu)先輸出中間N行，上下邊緣各行輸出優(yōu)先權(quán)較低，適用于僅關(guān)注場(chǎng)景中間區(qū)域的應(yīng)用領(lǐng)域。事件集中優(yōu)先則根據(jù)每行需輸出變化像素的個(gè)數(shù)決定輸出優(yōu)先權(quán)，可以迅速反映場(chǎng)景的關(guān)鍵變化信息，適用于高速目標(biāo)跟蹤領(lǐng)域。

1.2 從視頻文件產(chǎn)生異步時(shí)域事件的模型

由視頻文件的當(dāng)前幀減去前一幀獲得異步時(shí)域事件。異步時(shí)域事件的位置信息使用幀圖像像素的行列信息表示。異步時(shí)域事件的變化量為當(dāng)前幀與前一幀對(duì)應(yīng)像素點(diǎn)的灰度值之差，該變化量是一個(gè)有符號(hào)數(shù)，正數(shù)代表該點(diǎn)亮度增大，負(fù)數(shù)代表該點(diǎn)亮度減小。

由于異步時(shí)域視覺(jué)傳感器在采樣和量化的過(guò)程中存在噪聲，所以該模型為得到的視頻幀添加噪聲，噪聲模型為高斯噪聲。根據(jù)異步時(shí)域視覺(jué)傳感器工作原理，該模型有一個(gè)閾值，當(dāng)像素點(diǎn)的變化量的絕對(duì)值超過(guò)該閾值時(shí)，則輸出該事件，該變化量設(shè)置為該事件的變化量，該像素的行列信息映射為事件的位置信息。大于閾值的數(shù)據(jù)送入仲裁器，仲裁器根據(jù)選擇的仲裁方式為數(shù)據(jù)編號(hào)，該編號(hào)為該異步時(shí)域事件的時(shí)間戳。以當(dāng)前幀的幀號(hào)和幀頻信息獲得仲裁器輸出的該幀中第一個(gè)事件的時(shí)間戳tst，該幀中其他事件的時(shí)間戳按照輸出順序依次編號(hào)，如公式⑴。

⑴

該異步時(shí)域事件的產(chǎn)生模型如圖1所示。

2 基于異步時(shí)域事件的高速目標(biāo)跟蹤算法

該算法從異步時(shí)域事件產(chǎn)生模塊獲得一個(gè)周期的時(shí)域事件，并實(shí)時(shí)地處理這些事件。該算法需要緩存一個(gè)周期的時(shí)域事件，僅占用的很少的內(nèi)存。根據(jù)事件與簇中心的距離可以將這些事件分配到不同的簇中，然后按周期更新簇的中心和簇的權(quán)重等相關(guān)屬性。以下簡(jiǎn)要地描述該算法。

① 計(jì)算一個(gè)周期內(nèi)所有的事件距離各簇中心的距離，如果事件xE=（i，j） 在以RK為搜索半徑的簇內(nèi)，則把該事件分配到這個(gè)簇中，如式⑵，其中O為簇的中心。所有的簇將組成一個(gè)簇列表。

⑵

② 如果沒(méi)有合適的簇，那么就以該事件xE為中心創(chuàng)建一個(gè)簇，簇的權(quán)重、半徑速度屬性設(shè)為默認(rèn)值，并將該簇加入簇列表；并為該簇分配一個(gè)惟一的ID。

③ 當(dāng)該周期內(nèi)的所有事件都加入到相應(yīng)的簇中，就更新這些簇的所有屬性，更新方法后文將詳細(xì)描述。

④ 重復(fù)以上步驟就實(shí)現(xiàn)了目標(biāo)的跟蹤，簇的中心代表目標(biāo)的中心，簇中心的軌跡就是目標(biāo)的運(yùn)動(dòng)軌跡，簇的速度代表目標(biāo)的運(yùn)動(dòng)速度。

當(dāng)兩個(gè)目標(biāo)相互接近發(fā)生遮擋時(shí)，這兩個(gè)目標(biāo)邊緣所產(chǎn)生的事件將根據(jù)公式⑵都被分配到較活躍的簇中，由公式⑹可知另一個(gè)簇的權(quán)重將會(huì)逐漸降低，因此一段時(shí)間過(guò)后該簇就被刪除了，有效地解決了目標(biāo)遮擋問(wèn)題。當(dāng)這兩個(gè)目標(biāo)又逐漸分離時(shí)，由于簇的搜素半徑在一定的范圍內(nèi)，所以一些事件將找不到合適的簇，由算法步驟②可知這時(shí)將新建一個(gè)簇，從而解決了目標(biāo)遮擋后又分離的問(wèn)題。

3 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本算法的效果，使用一個(gè)80m/s運(yùn)動(dòng)的子彈的高速視頻作為視覺(jué)激勵(lì)，該視頻時(shí)長(zhǎng)1.7s。使用本文異步時(shí)域事件產(chǎn)生模型生成異步時(shí)域事件。異步時(shí)域事件共有16745個(gè)。分別用本文算法和文獻(xiàn)[6]算法進(jìn)行測(cè)試，得到的跟蹤軌跡如圖2所示。

由圖2可見(jiàn)，本算法跟蹤得到的軌跡更平滑，更符合目標(biāo)的運(yùn)動(dòng)軌跡。而文獻(xiàn)[6]的算法由于在跟蹤時(shí)使用按事件更新簇屬性的方法，使得簇中心跟隨事件頻繁移動(dòng)，導(dǎo)致最終的跟蹤軌跡是以真實(shí)軌跡為中心的震動(dòng)曲線。本算法使用按周期更新的策略，以40ms為周期的一段時(shí)間中的所有事件來(lái)計(jì)算目標(biāo)的中心，這樣就有效地避免了簇中心的震動(dòng)問(wèn)題。

本文算法與文獻(xiàn)[6]算法在子彈跟蹤測(cè)試中耗時(shí)情況如表1所示。由表1可知，本文算法跟蹤速度更快。本文算法周期性地更新簇屬性，從而減少了計(jì)算量。本文算法不僅提高了跟蹤效果，并且加快了跟蹤速度。

4 結(jié)束語(yǔ)

本文提出一種從視頻文件產(chǎn)生異步時(shí)域事件的模型，并使用該模型產(chǎn)生的數(shù)據(jù)進(jìn)行目標(biāo)跟蹤，驗(yàn)證了該模型的正確性，為研究基于異步時(shí)域事件的算法提供了數(shù)據(jù)源。本文提出一種基于異步時(shí)域事件的按周期更新的高速運(yùn)動(dòng)目標(biāo)跟蹤算法，其優(yōu)點(diǎn)是跟蹤軌跡與目標(biāo)的運(yùn)動(dòng)軌跡更加吻合，并且時(shí)間復(fù)雜度更低，跟蹤速度更快。進(jìn)一步的研究包括跟蹤誤差估計(jì)方法和在專有的硬件平臺(tái)上實(shí)現(xiàn)該算法。

參考文獻(xiàn)（References）：

[1] Tomoyuki Suzuki. Challenges of Image-Sensor Develop-

ment[C]. IEEE International Solid-State Circuits Conference， San Francisco， February，2010：27-30

[2] H. X. Yang， L. Shao， F. Zheng. Recent advances and

trends in visual tracking： A review[J]. Neurocomputing，2011.74（6）：3823-383

[3] R.J Vogelstein， U. Mallik， G. Cauwenberghs. Beyond

address-event communication： dynamically reconfigurable spiking neural systems[J].The Neuromorphic Engineering，2004.1（1）：1-12

[4] S. D. Liu， T. Delbruck. Neuromorphic sensory systems[J].

Current Opinion in Neurobiology，2010.20（3）：288-295

[5] Ahmed Nabil Belbachir， Michael Hofst?tter， Martin

Litzenberger， Peter Sch?n. High-Speed Embedded-Object Analysis Using a Dual-Line Timed-Address-Event Temporal-Contrast Vision Sensor[J]. IEEE Transactions On Industrial Electronics，2011.58（3）：770-782

[6] M. Litzenberger， C. Posch， D. Bauer ，et al. Embedded

Vision System for Real-Time Object Tracking using an Asynchronous Transient Vision Sensor[C]. Digital Signal Processing Workshop， 12th -Signal Processing Education Workshop， 4th， Sept，2006：173-178

[7] 于璐，姚素英，徐江濤.一種基于地址-事件表達(dá)的實(shí)時(shí)視覺(jué)

傳感器實(shí)現(xiàn)方法[J].光學(xué)學(xué)報(bào)，2013.33（1）.

[8] 顧幸方，茅耀斌，李秋潔.基于Mean Shift的視覺(jué)目標(biāo)跟蹤算

法綜述[J].計(jì)算機(jī)科學(xué)，2012.12：16-24

[9] 徐林忠.基于粒子濾波和卡爾曼濾波的復(fù)雜場(chǎng)景下視覺(jué)跟蹤[D].

浙江大學(xué)碩士學(xué)位論文，2008.

[10] 徐巖柏.一種改進(jìn)的Condensation人臉特征點(diǎn)跟蹤算法[J].

計(jì)算機(jī)應(yīng)用與軟件，2015.12：154-159，213

[11] 吳孟俊，付鈿，劉建平，牛玉剛.基于動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)的多特

征目標(biāo)跟蹤[J].計(jì)算機(jī)工程與應(yīng)用，2011.30：183-187