基于聲納與圖像雙傳感融合系統(tǒng)的設(shè)計(jì)?

王茂森，朱兆亮，戴勁松

（南京理工大學(xué) 機(jī)械工程學(xué)院，江蘇 南京 210094）

0 引言

現(xiàn)如今傳感融合技術(shù)以其更全面的信息獲取能力，得到對被感知對象更精確的描述，成為國內(nèi)外研究的熱點(diǎn)，得到廣泛的重視與應(yīng)用［1-2］。

目前市場上基于單一的圖像或者聲納技術(shù)的產(chǎn)品很多，但是總存在著一些單一技術(shù)的通病，不能很好地實(shí)現(xiàn)對物體信息的識別。基于聲納和圖像的雙傳感融合系統(tǒng)，是一次大膽的嘗試，將圖像與聲納成功融合，將大大降低目標(biāo)識別技術(shù)的錯(cuò)誤率，這對于目標(biāo)識別技術(shù)的擴(kuò)展有著重要的科學(xué)意義和實(shí)用價(jià)值。

1 聲納與圖像雙傳感融合系統(tǒng)整體結(jié)構(gòu)

聲納與圖像雙傳感融合系統(tǒng)的設(shè)計(jì)理念是從仿生學(xué)中蝙蝠眼睛的角度出發(fā)，如果蝙蝠眼睛和它的耳朵一樣靈敏，那么它可以更好地感知外界事物。系統(tǒng)采用“FPGA+DSP”的實(shí)時(shí)數(shù)據(jù)采集與處理的方案。其中，F(xiàn)PGA選用Altera公司的EP2C5Q208芯片（以下簡稱FPGA），主要負(fù)責(zé)聲納信號，包括超聲波源的發(fā)射以及回波信息的采集與預(yù)處理，并將預(yù)處理的數(shù)據(jù)發(fā)給DSP作進(jìn)一步的算法處理；DSP采用TI公司的TMS320DM642芯片（以下簡稱DSP），主要負(fù)責(zé)圖像信號的連續(xù)采集以及對采集到的圖像信息和FPGA傳遞來的聲納信息進(jìn)行特征值提取與算法融合；最終的處理結(jié)果再通過DSP傳遞給FPGA，并以盲人能夠識別的模擬音頻信號形式輸出，通過人類大腦完成對特征的判斷。聲納與圖像雙傳感融合系統(tǒng)的結(jié)構(gòu)與軟件流程如圖1、圖2所示。

1.1 聲納信號與圖像信號的采集

聲納收發(fā)模塊包括波源的產(chǎn)生與回波的接收，采用仿生物一嘴兩耳的經(jīng)典結(jié)構(gòu)布局。

圖1 聲納與圖像雙傳感融合系統(tǒng)結(jié)構(gòu)

圖2 聲納與圖像雙傳感融合系統(tǒng)軟件流程圖

波源的產(chǎn)生采用直接數(shù)字式（DDS），是一種從相位概念出發(fā)，把一系列數(shù)字形式的信號通過DAC轉(zhuǎn)換成模擬形式的信號的合成技術(shù)［3-4］。對波形進(jìn)行采樣，并將采樣量化的數(shù)據(jù)點(diǎn)存入FPGA內(nèi)部的軟ROM存儲器，通過存儲不同量化的數(shù)據(jù)值，并經(jīng)DAC器件轉(zhuǎn)換輸出不同的波形。在此我們采用的波形是仿蝙蝠超聲波形設(shè)計(jì)的CTFM（Continuous Transmis-sion Frequency Modulated）［5］，采集的兩路回波信號由傳感器接收后，經(jīng)過調(diào)理電路的處理，分別通過雙路A／D傳給FPGA，其中A／D的采樣頻率fmax=6MHz。

圖像采集模塊包括CCD攝像頭、視頻解碼芯片、SDRAM和DSP。CCD模擬攝像頭采集模擬的圖像信號，通過解碼芯片解碼之后，經(jīng)DSP的EDMA通道將數(shù)據(jù)存儲在DSP外部SDRAM中，等待進(jìn)一步處理［6］。

1.2 FPGA與DSP的數(shù)據(jù)傳輸

FPGA與DSP通信是通過DSP的EMIFA接口來實(shí)現(xiàn)的。C6000的EMIF支持各種外部器件的無縫接口，包括同步器件SDRAM和SBRAM、異步器件（SRAM、ROM 和FIFO等）以及外部共享存儲器件［7］?？紤]到不影響DSP正常的數(shù)據(jù)運(yùn)算，采用DSP的EDMA通道進(jìn)行數(shù)據(jù)的搬運(yùn)。由于EDMA傳輸數(shù)據(jù)時(shí)傳輸頻率（100MHz）遠(yuǎn)遠(yuǎn)高于聲納信號的采樣頻率（6MHz），因此要考慮到一個(gè)由低時(shí)鐘域向高時(shí)鐘域高速傳輸數(shù)據(jù)的問題。本系統(tǒng)采用FPGA內(nèi)部建立異步FIFO實(shí)現(xiàn)FPGA與DSP的數(shù)據(jù)通信，異步FIFO還有利于解決系統(tǒng)跨時(shí)鐘域數(shù)據(jù)傳輸引起的亞穩(wěn)態(tài)問題［8-9］。FIFO本身具有“先進(jìn)先出”的特性，還有讀寫指針，所以它不需要地址總線，這也為FPGA與DSP通信節(jié)省了不少I／O口，給后期二次開發(fā)提供了便利。

圖3為FPGA與DSP的數(shù)據(jù)通信接口。其中，F(xiàn)IFO1與FIFO2是由FPGA向DSP傳輸?shù)幕夭〝?shù)據(jù)緩存器，寫時(shí)鐘、寫請求由FPGA提供，讀時(shí)鐘、讀請求由DSP提供。這里我們采用ping-pong操作技術(shù)［10］完成數(shù)據(jù)的無縫緩沖與處理，F(xiàn)IFO1和FIFO2共用數(shù)據(jù)總線，采集到的回波數(shù)據(jù)經(jīng)過A／D寫入，當(dāng)FIFO1寫滿時(shí)，F(xiàn)IFO1發(fā)出滿標(biāo)志wrfull給DSP一個(gè)中斷，促發(fā)DSP的EDMA通道進(jìn)行數(shù)據(jù)傳輸，同時(shí)控制A／D對FIFO2進(jìn)行寫操作。

為了能夠清楚地表達(dá)FIFO1和FIFO2之間的關(guān)系，調(diào)用QuartusⅡ下的SignalTapⅡ?qū)ing-pong操作進(jìn)行仿真，其仿真波形如圖4所示。

圖3 FPGA與DSP數(shù)據(jù)通信接口

由圖4可知，一個(gè)FIFO在執(zhí)行寫操作時(shí)，另外一個(gè)FIFO執(zhí)行讀操作，通過標(biāo)志位flag＿q區(qū)分FIFO1和FIFO2，如此依次循環(huán)完成對回波數(shù)據(jù)的傳輸。

1.3 聲納與圖像信息處理與結(jié)果輸出

當(dāng)聲納數(shù)據(jù)與圖像數(shù)據(jù)采集到之后，需要先分別對其進(jìn)行數(shù)據(jù)分析與特征值的提取，其中聲納數(shù)據(jù)提取距離、物體的表面特征（包括軟硬程度、粗糙度）等信息，而圖像數(shù)據(jù)則提取物體的外部輪廓等，特征值提取之后通過算法處理得到人耳能識別的數(shù)據(jù)信號，并將數(shù)據(jù)通過FIFO3傳送給FPGA，通過DAC輸出人耳能夠識別的音頻信號。

圖4 FIFO1和FIFO2仿真波形

為了節(jié)省管腳，F(xiàn)IFO3與FIFO1、FIFO2共用一個(gè)數(shù)據(jù)總線，在FPGA中將該數(shù)據(jù)總線設(shè)定為inout（輸入輸出）類型，assign data= （flag）？q：16’bz，通過設(shè)定標(biāo)志位來決定該端口是input還是output。即當(dāng)回波數(shù)據(jù)完成之后，flag為0，數(shù)據(jù)總線端口設(shè)為input端口；當(dāng)從DSP傳給FPGA的數(shù)據(jù)完成之后，flag置1，數(shù)據(jù)總線端口設(shè)為output端口，依次循環(huán)就可以實(shí)現(xiàn)FPGA與DSP之間的數(shù)據(jù)實(shí)時(shí)讀取。

2 實(shí)驗(yàn)與分析

本實(shí)驗(yàn)以教研室一盆景作為對象，采集到的實(shí)物聲納數(shù)據(jù)和圖像信息如圖5所示。

為了能夠直觀地比較實(shí)驗(yàn)數(shù)據(jù)，現(xiàn)將采集到的圖像原始數(shù)據(jù)通過CCS導(dǎo)出在顯示屏上顯示，將聲納頭和CCD攝像頭面向顯示器盆景圖像，進(jìn)行數(shù)據(jù)采集，采集到的數(shù)據(jù)如圖6所示。

比較圖5與圖6兩組數(shù)據(jù)，我們不難發(fā)現(xiàn)，圖5（c）和圖5（d）與圖6（c）和圖6（d）之間的差別很難分辨，除了分辨率以及圖片亮度以外，其他外邊輪廓特征基本沒有什么區(qū)別，即單一的圖像傳感器對于實(shí)物與圖像的區(qū)分度很低，在特定的環(huán)境下，完全可以以假亂真。如果我們在系統(tǒng)中加入了聲納傳感器部分，通過圖5（a）和圖5（b）與圖6（a）和圖6（b）的比較可以發(fā)現(xiàn)，經(jīng)過實(shí)物反射回來的聲納波形與經(jīng)過顯示屏照片反射回來的聲納波形的區(qū)別很容易分辨，無論是信號的電壓幅值還是有效信號的寬度都有極大的差別，并且相比較于多圖像傳感器系統(tǒng)，聲納與圖像傳感器所包含的信息更多，特征更明顯。單一的聲納傳感器系統(tǒng)在某些方面依舊存在著不足，以同樣大小的不同封面的書本為例，單一的聲納傳感器對其探測的回波信號基本沒有差距，而如果使用圖像傳感器，卻可以輕易地將兩本書的封面區(qū)分開來。綜合聲納與圖像信息就像我們?nèi)祟惱梦覀儾煌母泄偃ジ惺苓@個(gè)世界一樣，我們可以對所需要探測的事物有更全面的認(rèn)識。

圖5 采集到的實(shí)物聲納數(shù)據(jù)和圖像信息

考慮到我們的系統(tǒng)應(yīng)用于導(dǎo)盲，經(jīng)DSP算法處理后的結(jié)果最終將以音頻的形式輸出，處理后的信號既保留了反射目標(biāo)的物理特征信息，又適合于人耳接收，隨著被探測物體的距離遠(yuǎn)近，以及物體表面特性以及輪廓的改變，反映在耳機(jī)里面聲音的強(qiáng)度和頻率也會不同，以此來告知盲人前方的具體信息。

3 結(jié)束語

本系統(tǒng)基于聲納與圖像傳感融合系統(tǒng)，采用FPGA與DSP配合完成了對前方物體的探測和識別，具有較快的采樣速率與數(shù)據(jù)處理能力，可以使盲人快速準(zhǔn)確地完成對前方障礙物特征的判斷。將圖像與聲納結(jié)合起來，依據(jù)某種準(zhǔn)則來進(jìn)行組合，兩者之間相輔相成，將大大降低目標(biāo)探測與識別技術(shù)的錯(cuò)誤率，通過對相關(guān)算法的更改，提取不同的特征值融合處理，該技術(shù)可以用于多種場合，如民用預(yù)警、軍用無人機(jī)目標(biāo)探測等。

圖6 采集到的圖片聲納數(shù)據(jù)和圖像信息

［1］ Pohl C，Van Genderen J L.Multisensor image fusion in remote sensing：concepts，methods and applications［J］.International Journal of Remote Sensing，1998，19 （5）：823-854.

［2］ 夏明革，何友，黃曉冬.多傳感器圖像融合應(yīng)用評述［J］.艦船電子對抗，2002，25（5）：38-44.

［3］ 白居憲.直接數(shù)字頻率合成［M］.西安：西安交通大學(xué)出版社.2007.

［4］ 萬天才.頻率合成技術(shù)和發(fā)展［J］.電子產(chǎn)品世界，1999（9）：51-52.

［5］ Politis Z，Probert P J.Modeling and classification of rough surfaces using CTFM sonar imaging［C］／／International Conference on Robotics &Automation Detroit，Michigan：［s.n.］，1999：2988-2993.

［6］ 張永光，張曉蕾，徐健健.DM642圖像數(shù)據(jù)傳輸?shù)膶?shí)現(xiàn)和優(yōu)化［J］.科學(xué)技術(shù)與工程，2007，7（17）：4484-4486.

［7］ 許永輝，楊京禮，林連雷.TMS320DM642DSP原理與應(yīng)用實(shí)踐［M］.北京：電子工業(yè)出版社，2012.

［8］ Clifford E Cummings.Simulation and synthesis techniques for asynchronous FIFO design［D］.USA Sunburst Design，Inc，2002：3-15.

［9］ 胡波，李鵬.異步FIFO在FPGA與DSP通信中的運(yùn)用［J］.電子科技，2011，24（3）：53-55.

［10］姚遠(yuǎn)，李辰.FPGA應(yīng)用開發(fā)入門與典型實(shí)例［M］.北京：人民郵電出版社，2010.