AER時域視覺傳感器總線仲裁建模與仿真分析

楊 帥，胡燕翔，徐江濤

（1.天津工業(yè)大學(xué)計算機科學(xué)與軟件學(xué)院，天津 300387；2.天津師范大學(xué)計算機與信息工程學(xué)院，天津 300387；3.天津大學(xué)電子信息工程學(xué)院，天津 300072）

AER時域視覺傳感器總線仲裁建模與仿真分析

楊 帥1，胡燕翔2，徐江濤3

（1.天津工業(yè)大學(xué)計算機科學(xué)與軟件學(xué)院，天津 300387；2.天津師范大學(xué)計算機與信息工程學(xué)院，天津 300387；3.天津大學(xué)電子信息工程學(xué)院，天津 300072）

以視覺傳感器設(shè)計為背景，對AER時域視覺傳感器的總線仲裁進行建模，并對事件取樣、AER仲裁和目標跟蹤進行仿真分析.實驗結(jié)果表明：AE事件數(shù)量僅占全部像素數(shù)目的5%～10%，事件集中優(yōu)先仲裁方式比特定區(qū)域優(yōu)先仲裁方式和輪權(quán)仲裁方式在高速目標跟蹤應(yīng)用上準確率高10%～20%.因此可知：基于AE數(shù)據(jù)的目標跟蹤更加高效，并且事件集中優(yōu)先仲裁方式更適合于高速目標跟蹤應(yīng)用.

地址-事件表示（AER）；視覺傳感器；模擬器；仲裁；目標跟蹤

圖像是人類獲取信息的最主要來源，機器視覺技術(shù)已在各類智能分析、識別和控制系統(tǒng)獲得廣泛應(yīng)用[1].隨著圖像空間與時間分辨率的提高，目前“幀采樣”成像和處理方式不但對圖像傳輸、存儲帶來巨大壓力，也給高實時性視覺應(yīng)用帶來巨大的處理速度要求[2].

根據(jù)神經(jīng)形態(tài)工程學(xué)的研究成果，生物視覺系統(tǒng)的感知和傳導(dǎo)具有大規(guī)模并行、超稀疏表示、事件驅(qū)動、異步傳輸?shù)奶攸c[3-4].基于地址-事件表示的時域視覺傳感器（address-event representation vision sensor，AER VS）[5]模仿生物視覺系統(tǒng)原理，每個像素自主監(jiān)測所感知的光強變化，光強變化達到設(shè)定閾值的像素主動產(chǎn)生事件輸出[6-7].這些異步變化事件通過具有仲裁功能的AER控制器串行輸出.變化采樣與輸出相對于傳統(tǒng)“幀采樣”圖像傳感器的全部采樣與輸出，從源頭上消除了冗余數(shù)據(jù)，同時具有實時動態(tài)響應(yīng)等特點，適合于高速目標跟蹤、工業(yè)自動化和機器人視覺等應(yīng)用[8-10].

1992年Mahowald[11]首次提出仿生視覺傳感器的概念.2005年以后AER VS成為研究熱點，在電路與芯片設(shè)計、信號處理方面取得了諸多成果.美國約翰霍普金斯大學(xué)Mallik等[12]提出幀差探測電路結(jié)構(gòu)，首次使用CMOS有源像素來檢測入射光強度的絕對變化.第一個AER VS由Kramer[13]提出，組合了Delbuck等[14]的自適應(yīng)光電探測器和校正/閾值保持差分單元.Lichsteiner等[15]實現(xiàn)了128×128像素陣列的異步AER VS，動態(tài)范圍達到120 dB，延遲響應(yīng)15 μs.Posch等[16]采用時間自適應(yīng)ON/OFF電路，像素采集和復(fù)位自動完成. Juan等[17]在像素中加入前置放大器，使延時減小到3.6μs.Olsson等[18]和Berner等[19]提出在像素不同結(jié)深處集成感知紅光和藍光的雙結(jié)，通過2個PFM讀出電路實現(xiàn)雙色AER VS.在AER視覺信息處理方面，Litzenberger等[8-9]研究了AER實時多車道車輛跟蹤技術(shù)，Drazen等[10]研究了AER粒子跟蹤速度計，Kogler等[20]開展了AER立體視覺研究.

雖然近年來AER VS研究在國際上獲得了大量的關(guān)注，但國內(nèi)尚處于起步階段[21]，同時國際上關(guān)于AER VS的系統(tǒng)建模和仿真研究尚未見發(fā)表.本文以設(shè)計AER VS芯片為目標，通過AER VS行為建模為電路和AER事件處理算法設(shè)計提供理論分析和測試基礎(chǔ).

1 AER傳輸方式原理

AER傳輸方式以仿生神經(jīng)工程學(xué)為理論原型，將生物由刺激產(chǎn)生神經(jīng)激勵并通過神經(jīng)突觸并行輸出的傳導(dǎo)方式，模擬為通過電子系統(tǒng)的串行總線輸出變化事件的位置、時間及屬性[22].在AER VS中，感知到光強變化的像素主動向仲裁器發(fā)出申請，經(jīng)仲裁許可后以串行脈沖方式輸出，內(nèi)容包括事件地址、時間以及屬性.AER原理如圖1所示，一維單一事件以脈沖形式異步串行輸出，觸發(fā)其所在行的地址編碼器實時輸出行地址.接收電路根據(jù)接收到的行地址和接收編碼的時間還原事件的屬性和行地址信息.

圖1 一維事件AER方式原理Fig.1 One-dimensional event AER theory

AER VS中所有像素共用AER串行總線，同時發(fā)生的傳輸請求將產(chǎn)生沖突，因此需要進行仲裁.在事件量較小的情況下，AER可以實現(xiàn)實時輸出；但在像素陣列較大、運動目標或噪聲較多的情況下，同時發(fā)生的事件會存在較大的輸出時差，會對后端的目標形狀識別準確率造成較大影響.因此片上仲裁電路設(shè)計對于AER VS的性能具有關(guān)鍵作用.

2 AER視覺傳感器模擬器

2.1 AER視覺傳感器系統(tǒng)總體結(jié)構(gòu)

AER視覺傳感器的總體結(jié)構(gòu)如圖2所示.像素電路包括光強變化檢測、測量比較以及傳輸控制電路三部分：光強變化探測電路連續(xù)監(jiān)測該位置光電流的變化，在光電流發(fā)生變化的情況下，啟動測量比較電路；測量比較電路將設(shè)定時間內(nèi)的變化光電壓ΔV與設(shè)定閾值電壓VH、VL進行比較，當(dāng)ΔV大于VH或小于VL時則啟動輸出控制電路；輸出控制電路向仲裁模塊提出輸出請求，獲得許可后將地址及事件屬性寫入AER總線；I/O控制電路同時將當(dāng)前時間戳添加入該事件，并發(fā)出事件輸出信號.

圖2 AER視覺傳感器總體結(jié)構(gòu)圖Fig.2 AER vision sensor overall structure

仲裁模塊分為行仲裁和片上仲裁兩級，各行中的申請信號進行“或”運算后送往片上仲裁；片上仲裁按照優(yōu)先規(guī)則確定獲得AER使用權(quán)的行；獲得允許的行仲裁器按照優(yōu)先規(guī)則確定行內(nèi)像素的輸出順序；此外行仲裁器向被允許輸出像素發(fā)出復(fù)位信號，使其開始下一輪探測與采樣.

控制與時間標記單元負責(zé)芯片內(nèi)部時序與控制、接受外部控制參數(shù)寫入相應(yīng)寄存器等；當(dāng)有事件輸出時，負責(zé)將當(dāng)前時間戳寫入事件，因此事件攜帶的時間戳與其事件發(fā)生時間之間存在誤差.

2.2 行為級模擬器結(jié)構(gòu)

本文實現(xiàn)的行為級模擬器結(jié)構(gòu)如圖3所示.使用高速相機或高速視頻作為數(shù)據(jù)源，將每個像素的光強變化擬合為一維連續(xù)時間函數(shù)，在添加模擬噪聲后異步產(chǎn)生指定時間精度的AER事件.當(dāng)前時間所有發(fā)生事件的像素向仲裁模塊提出輸出申請，獲得輸出許可的像素向輸出事件隊列的當(dāng)前時刻添加本事件，然后該像素復(fù)位開始下一次的變化檢測.

圖3 AER VS模擬器結(jié)構(gòu)圖Fig.3 AER VS simulator structure

仲裁器接受來自像素陣列的輸出申請，根據(jù)仲裁規(guī)則對同一時刻產(chǎn)生的多個變化事件進行判斷選擇.仲裁器性能對于后端跟蹤識別算法的實時性和準確率具有很大影響.本文實現(xiàn)輪權(quán)仲裁、特定區(qū)域優(yōu)先、事件集中優(yōu)先3種仲裁方式.

圖4給出3種仲裁模式的比較性示意圖，圖中深色單元表示同一時刻發(fā)生變化事件并發(fā)出AER輸出申請的像素.圖4（a）、（b）、（c）分別給出輪權(quán)仲裁、特定區(qū)域優(yōu)先及事件集中優(yōu)先3種仲裁方式的示意圖，左側(cè)所標數(shù)字為該行的優(yōu)先級.行內(nèi)按中間最高、兩邊最低的優(yōu)先級仲裁.

圖4 3種仲裁方式的比較Fig.4 Comparison of three arbitration modes

（1）進輪權(quán)仲裁：按照行序輪轉(zhuǎn)分配優(yōu)先權(quán)（無AE產(chǎn)生的行優(yōu)先級最低），如圖4（a）所示.這種仲裁方式使每行的優(yōu)先權(quán)相對平均，整體上各行的AER輸出優(yōu)先級相同.該方式輪流輸出全部變化信息，但當(dāng)電路存在較多噪聲或干擾事件時，主要目標的事件輸出時間間隔會較長，不利于主要目標的跟蹤識別.

（2）特定區(qū)域優(yōu)先：將優(yōu)先輸出指定的N行，其他行按照由內(nèi)及外的次序設(shè)定.該區(qū)域通過SPI總線寫入控制寄存器設(shè)定.優(yōu)先輸出指定區(qū)域的事件，會使得主要目標的所有事件輸出間隔縮短.但由于外圍系統(tǒng)接收、統(tǒng)計事件的集中區(qū)域可能需要較長時間，因此實時性差.如圖4（b）指定3～7行具有較高優(yōu)先級，能夠更快輸出.但如果關(guān)注目標較快移動到4～8行而特定區(qū)域坐標未被重寫，則關(guān)鍵事件輸出被延后.該方式的優(yōu)點是電路設(shè)計較為簡單.

（3）事件集中優(yōu)先：由片上控制電路周期統(tǒng)計并確定事件高發(fā)區(qū)域的優(yōu)先權(quán)，如圖4（c）所示.根據(jù)上一周期的統(tǒng)計，事件較多的行將具有較高的優(yōu)先權(quán).此方式能夠自適應(yīng)提高獲取場景關(guān)鍵信息的速度，當(dāng)關(guān)注目標在視場中的位置發(fā)生移動時，能夠快速改變優(yōu)先輸出區(qū)域的位置，實時輸出主要關(guān)注目標的AE數(shù)據(jù).缺點是電路實現(xiàn)代價較高，增加芯片面積.

經(jīng)仲裁處理后的AE事件按照時間順序?qū)⑿纬扇鐖D5所示的事件隊列，此事件流由后端處理系統(tǒng)接收處理.

事件所含時間戳并非事件發(fā)生的準確時間，而是該事件的AER輸出時間.因此事件集中優(yōu)先仲裁可使主要目標的識別更為準確.

圖5 AER模擬器輸出事件隊列Fig.5 Event queue for AER simulator output

3 實驗結(jié)果及分析

為比較不同仲裁方式對于目標跟蹤算法的影響，使用一段高速公路監(jiān)控視頻作為輸入進行測試，該視頻來自于www.youku.com，視頻分辨率為320×240，幀頻30幀/s，幀數(shù)1 329，其間共72輛車駛過.該視頻中目標運動的速度較快（約100km/h），且視頻中有明顯的光照變化和干擾信息，比較適合作為測試數(shù)據(jù).該視頻中車輛是主要的運動目標，因此選擇其作為跟蹤目標進行實驗.3種仲裁方式下的輸出事件如圖6所示.

圖6 3種仲裁模式下的輸出事件Fig.6 Output events in three arbitration modes

圖6（a）為截取的相鄰兩幀，圖6（b）—圖6（d）為3種仲裁方式下（a）與其前一幀和（b）與（a）間的變化事件，背景設(shè)為灰度值128，白色表示“光強增加”事件，黑色表色表示“光強減小”事件.圖中變化事件主要由右側(cè)運動車輛尾部產(chǎn)生，在中部和右上存在燈光干擾.

3.1 輸出事件量比較

圖6（b）為在輪權(quán)仲裁方式下獲得的“事件圖像”，完整包含了全部變化，輸出的事件量分別是4 854和4 645，占到全部像素數(shù)目的6.32%和6.05%.

圖6（c）為特定區(qū)域優(yōu)先方式下獲得的“事件圖像”，優(yōu)先輸出上200行的事件.同時為了減少干擾事件，忽略優(yōu)先級最低的10行事件，實際輸出事件量為4 013和3 902，占到全部像素數(shù)目的4.65%和4.52%.

圖6（d）為事件集中優(yōu)先方式獲得的“事件圖像”，忽略優(yōu)先級最低的10行事件，優(yōu)先輸出以大型卡車為中心的事件（優(yōu)先下200行），實際輸出事件量為4 087和3 965，占到全部像素數(shù)目的4.73%和4.59%.表1為上述AE數(shù)據(jù)量的對比.

表1 不同仲裁方式下AE事件量比較Tab.1 Comparison of events number under different arbitrations

由表1可見，該例中變化事件量不足全部像素的7%，說明圖像中存在很大冗余，背景重復(fù)采樣并不必要.按照‘幀采樣’模式估計，等效幀頻可以提升至600幀以上（不考慮光強限制）.此外由于丟棄了10行最低優(yōu)先級事件，因此不同仲裁模式輸出事件量略有差異.

3.2 使用全部事件的跟蹤準確率比較

為評價不同仲裁方式對基于事件的目標跟蹤算法的影響，使用文獻[23]提出的目標跟蹤算法對上述3種輸出事件流進行處理.算法原理是將AE事件按位置分簇后形成簇列表，根據(jù)AE事件動態(tài)更新簇中心、半徑等屬性，根據(jù)中心位移估算速度、方向等信息.

將3種事件流的全部事件作為事件源進行跟蹤準確率測試，結(jié)果如表2所示（1 329幀，72個經(jīng)過目標；雙核2.2 G CPU，3.6 G內(nèi)存）.

分析表2中不同仲裁方式對跟蹤準確率的影響可見：由于包括全部存在干擾事件，輪權(quán)仲裁方式的跟蹤時間最長，跟蹤準確率最低；由于濾除部分干擾事件，特定區(qū)域優(yōu)先方式的跟蹤時間小于輪權(quán)仲裁，與事件集中優(yōu)先近似；由于特定區(qū)域未包含主要目標，因此跟蹤準確率較低；事件集中優(yōu)先方式耗時與特定區(qū)域優(yōu)先近似，準確率最高.

表2 不同仲裁方式下跟蹤準確率比較Tab.2 Comparison of tracking accuracy under different arbitrations

3.3 使用部分事件的跟蹤準確率比較

由于變化事件中包含了噪聲以及光照等影響因素，并且這些噪聲事件以隨機順序輸出，而且跟蹤算法使用“事件簇”的方式來記錄分析目標的運動屬性，因此在多目標、高速的情況下并不需要使用全部事件來進行處理.表3給出3種仲裁方式下使用部分事件的跟蹤準確率.

表3 不同仲裁方式下部分事件跟蹤準確率比較Tab.3 Comparison of tracking accuracy using partial events under different arbitrations %

由表3可見：3種仲裁方式跟蹤準確率隨事件量的變化關(guān)系一致，跟蹤準確率隨使用事件量增加而上升，約在70%時達到最大，然后逐漸下降，原因是隨事件量增加，位于主要‘事件區(qū)’之外的干擾事件被輸出，導(dǎo)致跟蹤準確率下降；與表2的結(jié)論相同，3種仲裁方式中事件集中優(yōu)先在相同事件量下具有最高的跟蹤準確率；基于‘事件簇’的跟蹤算法通過事件聚集的特點進行目標跟蹤，并不考慮事件的位置分布，因此可以使用較少的事件量提高準確率.

4 結(jié)束語

本文以仿生AER VS設(shè)計研究為基礎(chǔ)，進行了AER VS總線仲裁建模和仿真.通過對高速運動場景進行測試，為芯片及后端處理系統(tǒng)設(shè)計提供了理論數(shù)據(jù)和指導(dǎo).大量實驗表明，通常情況下變化事件數(shù)量僅占全部像素數(shù)目的5%～10%，因此AER VS從源頭上消除冗余信息，顯著提高采樣以及跟蹤處理速度.在使用的3種總線仲裁方式中，事件集中優(yōu)先較其他方式具有更高的跟蹤準確率，并且跟蹤效率更高.因此事件集中優(yōu)先的仲裁方式更適宜于目標跟蹤應(yīng)用.本文進一步的工作包括有效的時間戳誤差標定方法以及高性能AER事件跟蹤算法.

[1]SUZUKI T.Challenges of image-sensor development[C]//Solid-State Circuits Conference Digest of Technical Papers.2010：27-30.

[2]YANG H X，SHAO L，ZHENG F.Recent advances and trends invisualtracking：Areview[J].Neurocomputing，2011，74（6）：3823-383.

[3]VOGELSTEIN R J，MALLIK U，CAUWENBERGHS G.Beyond address-event communication：Dynamically reconfigurable spiking neural systems[J].The Neuromorphic Engineering，2004，1（1）：1-12.

[4]LIU S D，DELBRUCK T.Neuromorphic sensory systems[J]. Current Opinion in Neurobiology，2010，20（3）：288-295.

[5]DELBRUCK T，LINARES-BARRANCO B，CULURCIELLO E，et al.Activity-driven，event-based vision sensors[C]//Proceedings-IEEE International Symposium on Circuits and Systems.2010：2426-2429.

[6]POSCH C，MATOLIN D.Sensitivity and uniformity of a 0.18 m CMOStemporalcontrastpixelarray[C]//IEEEInternationalSymposium on Circuits&Systems.2011：1572-1575.

[7]LENERO-BARDALLO J A，SERRANO-GOTARREDONA T，LINARES-BARRANCO B.A 3.6 μs latency asynchronous frame-free event-driven dynamic-vision-sensor[J].IEEE Journal of Solid-State Circuits，2011，46（6）：1443-1455.

[8]LITZENBERGER M，BELBACHIR A N，DONATH N，et al. Estimation of vehicle speed based on asynchronous data from a silicon retina optical sensor[C]//Intelligent Transportation Systems Conference.2006：653-658.

[9]LITZENBERGER M，KOHN B，GRITSCH G，et al.Vehicle counting with an embedded traffic data system using an optical transient sensor[C]//Intelligent Transportation Systems Conference.2007：36-40.

[10]DRAZEN D，LICHTSTEINER P，F(xiàn)LIGER P，et al.Toward real-time particle tracking using an event-based dynamic vision sensor[J].Experiments in Fluids，2011，51（5）：1465-1469.

[11]MAHOWALD M.VLSI snalogs of neuronal visual processing：A synthesis of form and function[D].California：California Institute of Technology，1992.

[12]YU C M，MALLIK U，CLAPP M A，et al.CMOS camera with in-pixel temporal change detection and ADC[J].IEEE Journal of Solid-State Circuits，2007，42（10）：2187-2196.

[13]KRAMER J.An integrated optical transient sensor[J].IEEE Transactions on Circuits and Systems II，2002，49（9）：612-628.

[14]DELBRUCK T，MEAD C A.Adaptive photoreceptor with wide dynamic range[C]//IEEE International Symposium on Circuits and Systems.1994：339-342.

[15]LICHTSTEINER P，POSCH C，DELBRUCK T.A 128×128 120 dB 30 mW asynchronous vision sensor that responds to relativeintensitychange[C]//Solid-StateCircuitsConference.2006：2060-2069.

[16]POSCH C，MATOLIN D，WOHLGENANNT R.An asynchronous time-based image sensor[C]//IEEE International Symposium on Circuits and Systems.2008：2130-2133.

[17]JUAN Antonic L B，TERASA S G，BERNABE L B.A 3.6 μs latency asynchronous frame-free event-driven dynamic-vision-senser[J].IEEE Journal of Solid-State Circuits，2011，46（6）：1443-1445.

[18]OLSSON J A M，HAFLIGER P.Two color asynchronous event photo pixel[C]//IEEE International Symposium on Circuits and Systems.2008：2146-2149.

[19]BERNER R，DELBRUCK T.Event-based color change pixel in standard CMOS[C]//IEEE International Symposium on Circuits and Systems.IEEE，2010：349-352.

[20]KOGLER J，SULZBACHNER C.Bio-inspired stereo vision system with silicon retina imagers[C]//International Conference on Computer Vision System.2009：174-183.

[21]于璐，姚素英，徐江濤.一種基于地址－事件表達的實時視覺傳感器實現(xiàn)方法[J].光學(xué)學(xué)報，2013，33（1）：251-257. YU L，YAO S Y，XU J T.An implementation method of realtime vision sensor based on address event representation[J]. Acta Optica Sinica，2013，33（1）：251-257（in Chinese）.

[22]BOAHEN K A.Point-Point connectivity between neuromorphic chips using address events[J]．IEEE Transactions on Circuits and Systems，2000，47（5）：416-434.

[23]LITZENBERGER M，POSCH C，BAUER D，et al.Embedded vision system for real-time object tracking using an asynchronous transient vision sensor[C]//Digital Signal Processing Workshop.2006：173-178.

Modeling and emulation of address-event representation vision sensor bus arbitration

YANG Shuai1，HU Yan-xiang2，XU Jiang-tao3
（1.School of Computer Science&Software Engineering，Tianjin Polytechnic University，Tianjin 300387，China；2.College of Computer and Information Engineering，Tianjin Normal University，Tianjin 300387，China；3.School of Electronic Information Engineering，Tianjin University，Tianjin 300072，China）

An emulator of AER vision sensor bus arbitration is implemented and is used to emulate the process of event sampling，AER artribution and object tracking.Experimental result indicates that the visual information generated by AER vision sensor is only 5%-10%of the total number of image sensor pixels，and the object tracking accuracy of event-aggregation arbitration is higher than that of specific region arbitration and round-robin arbitration in high-speed object tracking applications by 10%-20%.So object tracking based on AE data is more efficient，and event-aggregation artribution has more efficiency for the applications of high speed object tracking.

address-event representation（AER）；vision sensor；emulator；arbitration；object tracking

TP212

A

1671-024X（2016）06-0084-05

10.3969/j.issn.1671-024x.2016.06.015

2016-03-14

國家自然科學(xué)基金資助項目（61274021）；天津市科技重大專項與工程計劃資助項目（15ZXHLGX00300）

楊 帥（1988—），男，碩士，助教，主要研究方向為數(shù)字信息處理，E-mail：yangshuaimail@139.com