基于STM32和FPGA的聲源成像系統(tǒng)設(shè)計(jì)

岳 蒂， 欒 峰， 佘黎煌， 丁 山， 張立立

(東北大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，沈陽 110169)

0 引 言

近年來，隨著科學(xué)技術(shù)和生活水平的提高，人們越來越注重對聲音進(jìn)行控制和處理。而正確的確定聲音位置是實(shí)現(xiàn)聲音控制的前提，因此聲源定位技術(shù)應(yīng)運(yùn)而生[1]。多年來聲源定位是國內(nèi)外研究的重點(diǎn)課題，初期的研究主要應(yīng)用于雷達(dá)、聲吶等軍事系統(tǒng)[1]。隨著時(shí)代的發(fā)展，聲源定位技術(shù)也逐漸地應(yīng)用到民用和工業(yè)系統(tǒng)中，比如：視頻電話會議、智能機(jī)器人聽覺[2]、機(jī)器故障診斷、降噪等。隨著嵌入式技術(shù)的迅速發(fā)展，當(dāng)前市場上的聲源定位類產(chǎn)品，在設(shè)計(jì)實(shí)現(xiàn)上仍存在一些問題[3]，例如，如何降低成本，如何縮小體積以提高可移動與便攜性等[4-5]。因此，聲源定位的研究與開發(fā)具有較強(qiáng)的實(shí)際價(jià)值和理論意義。本文以聲源定位算法為核心，設(shè)計(jì)了一個(gè)基于嵌入式平臺的聲源定位及成像系統(tǒng)。

1 系統(tǒng)的硬件設(shè)計(jì)

系統(tǒng)的主控制器使用同類產(chǎn)品中性能較高的增強(qiáng)型STM32單片機(jī)，其時(shí)鐘頻率達(dá)到168 MHz、功耗低、具有更快的模數(shù)轉(zhuǎn)換速度、更強(qiáng)大的輸入/輸出端口 (input/output, I/O)復(fù)用功能以及更快的通用同步/異步串行接收/發(fā)送器(Universal Synchronous / Asynchronous Receiver / Transmitter, USART)和串行外設(shè)接口(Serial Peripheral Interface, SPI)通信速度[6]。系統(tǒng)主要包括FPGA模塊、TF卡模塊、FSMC接口、USB模塊和Qt上位機(jī)等模塊。

整體框架如圖1所示。TF卡模塊負(fù)責(zé)存儲數(shù)據(jù)、USB模塊負(fù)責(zé)下位機(jī)與Qt上位機(jī)之間的數(shù)據(jù)通信、Qt上位機(jī)負(fù)責(zé)將系統(tǒng)得到的聲源信息通過圖形用戶界面顯示出來。綜合設(shè)計(jì)實(shí)現(xiàn)了對空間區(qū)域內(nèi)進(jìn)行聲源定位并通過上位機(jī)進(jìn)行聲源成像顯示的功能。

圖1 系統(tǒng)的整體框架圖

1.1 TF卡模塊

由于系統(tǒng)所需數(shù)據(jù)量大、占用空間多，而STM32自身的內(nèi)存空間有限，大多數(shù)情況下需要從外部設(shè)備讀取數(shù)據(jù)再做處理，因此系統(tǒng)需要引入數(shù)據(jù)存儲單元。針對小型嵌入式系統(tǒng)，大多都使用SD卡或TF卡。開發(fā)板板載的是TF卡接口，STM32系列芯片上帶有SDIO 控制器[7]，iCore3 核心板上將SDIO 連接到TF卡座上，硬件連接如圖2所示。

圖2 TF卡模塊

1.2 FPGA模塊

雖然STM32已經(jīng)有一定的運(yùn)算速度，但是由于該系統(tǒng)工程計(jì)算量和數(shù)據(jù)量較大，如果運(yùn)算速度低，實(shí)時(shí)性和工程實(shí)現(xiàn)效果將不能得到保證。FPGA擁有時(shí)鐘頻率高、內(nèi)部延遲小、工作效率高、并行運(yùn)行、存儲方式多樣、設(shè)計(jì)靈活通用和全部的控制邏輯由硬件完成等優(yōu)點(diǎn)[8-9]。因此系統(tǒng)采用FPGA模塊實(shí)現(xiàn)系統(tǒng)中運(yùn)算量比較大的矩陣自相關(guān)計(jì)算。

綜合使用鎖相環(huán)(Phase Locked Loop, PLL)倍頻、雙口隨機(jī)存取存儲器(Random Access Memory, RAM)、乘法器等模塊，并通過Verilog HDL語言編程實(shí)現(xiàn)此功能。FPGA模塊中的整體電路架構(gòu)如圖3所示。

圖3 FPGA模塊的整體電路架構(gòu)圖

1.3 USB 模塊

iCore3開發(fā)板的USB接口通過調(diào)用STM32的庫來實(shí)現(xiàn)STM32的USB設(shè)備通信，由于STM32 芯片不帶高速物理層(Physical Layer,PHY)，這里用STM32和USB330連接的方式來實(shí)現(xiàn)數(shù)據(jù)的高速傳輸，硬件連接示意圖如圖4所示。

圖4 USB模塊

1.4 FSMC高速并行傳輸模塊

可變靜態(tài)存儲控制器FSMC是STM32系列采用一種新型的存儲器擴(kuò)展技術(shù)，在外部存儲器擴(kuò)展方面具有獨(dú)特的優(yōu)勢，可根據(jù)系統(tǒng)的應(yīng)用需要，方便地進(jìn)行不同類型大容量靜態(tài)存儲器的擴(kuò)展[10]。本系統(tǒng)主要用FSMC來實(shí)現(xiàn)STM32與FPGA 間高速并行的數(shù)據(jù)傳輸。STM32自帶FSMC 控制器，本系統(tǒng)為實(shí)現(xiàn)FSMC 與FPGA 之間的通信，在FPGA 內(nèi)部建立一個(gè)RAM塊，F(xiàn)PGA橋接STM32和RAM塊，通過FSMC總線從STM32向RAM塊中寫入數(shù)據(jù)，然后FPGA讀取RAM 中的數(shù)據(jù)進(jìn)行運(yùn)算。FSMC總線連接的原理圖如圖5所示。

圖5 FSMC接口原理圖

1.5 Qt上位機(jī)

本文利用基于STM32與FPGA搭建的系統(tǒng)來實(shí)現(xiàn)聲源定位成像，數(shù)據(jù)包含聲音和圖像。上位機(jī)主要是將計(jì)算得到的聲源位置信息通過圖形用戶界面顯示出來。本系統(tǒng)采用Qt圖形界面框架作為上位機(jī)顯示軟件，設(shè)計(jì)如圖6所示的界面，實(shí)現(xiàn)如下功能：上位機(jī)點(diǎn)擊連接按鈕向下位機(jī)發(fā)送連接請求，下位機(jī)進(jìn)行連接，連接成功后，上位機(jī)通過向下位機(jī)發(fā)送命令完成數(shù)據(jù)傳輸，上位機(jī)接收數(shù)據(jù)并進(jìn)行處理和顯示。

圖6 Qt上位機(jī)圖形界面

本系統(tǒng)中，上位機(jī)接收兩個(gè)類型數(shù)據(jù)：一是當(dāng)前的圖片數(shù)據(jù)，二是經(jīng)系統(tǒng)運(yùn)算得到的聲音強(qiáng)度數(shù)據(jù)。圖片數(shù)據(jù)不做任何處理，在聲音強(qiáng)度數(shù)據(jù)經(jīng)過均值濾波后，使用RGB888類型的調(diào)用函數(shù)將聲音強(qiáng)度數(shù)據(jù)與圖像數(shù)據(jù)的紅(Red,R)、綠(Green,G)、藍(lán)(Blue,B)3個(gè)分量按照顯色原理進(jìn)行疊加，最后將合成后的圖像進(jìn)行顯示。

2 系統(tǒng)的軟件設(shè)計(jì)

本系統(tǒng)的主程序流程圖如圖7所示，主要由初始化程序、數(shù)據(jù)調(diào)用程序、聲源定位算法、數(shù)據(jù)傳輸程序、均值濾波算法、數(shù)據(jù)成像程序等幾部分組成。系統(tǒng)上位機(jī)為Qt，下位機(jī)主要為STM32，F(xiàn)PGA歸STM32控制。系統(tǒng)啟動后，首先進(jìn)行初始化。然后由Qt發(fā)起信號建立連接，STM32處于連接檢測狀態(tài)，直至連接成功。成功后STM32將TF卡內(nèi)的聲音原始數(shù)據(jù)按照要求提取，并將數(shù)據(jù)做簡單處理后送入FPGA進(jìn)行自相關(guān)運(yùn)算，再經(jīng)過算法處理后， STM32將得到的數(shù)據(jù)做索引排序后將有用數(shù)據(jù)保留并寫入TF卡中。接下來STM32將處理完后的結(jié)果和圖像數(shù)據(jù)送入上位機(jī)。上位機(jī)接收到聲音強(qiáng)度數(shù)據(jù)和圖像數(shù)據(jù)后，先進(jìn)行均值濾波再進(jìn)行成像顯示，至此，系統(tǒng)實(shí)現(xiàn)了聲源定位及成像顯示的全過程。

圖7 系統(tǒng)的主程序流程圖

2.1 聲源定位算法

在麥克風(fēng)陣列聲源定位方法中，基于到達(dá)時(shí)間差(Time Difference of Arrival,TDOA)的聲源定位算法有著運(yùn)算原理易于理解、定位精度較高等特點(diǎn)，因此適用于在嵌入式設(shè)備上實(shí)現(xiàn)?；赥DOA的聲源定位算法實(shí)現(xiàn)過程，一般分為延時(shí)估計(jì)和聲源定位兩個(gè)部分，時(shí)延估計(jì)的精確度直接決定了聲源定位的精度，所以是算法的核心部分[11-12]。時(shí)延估計(jì)方法有很多，應(yīng)用較為廣泛的是基于相關(guān)分析的估計(jì)方法[13]。

(1) TDOA時(shí)延估計(jì)算法原理。聲波在空氣中以一定的速度傳播，不同位置的麥克風(fēng)接收到的聲音信號有不同的相位，利用彼此間的相位差可獲取同一個(gè)聲源信號到達(dá)每個(gè)麥克風(fēng)的時(shí)間延遲。在近場模型中，聲源的時(shí)延如圖8所示。Mi、Mj為兩個(gè)麥克風(fēng)，M0為參考麥克風(fēng)，Xi(n)、Xj(n)為兩個(gè)麥克風(fēng)接收到的聲音信號，d為兩個(gè)麥克風(fēng)之間的距離，t為信號到達(dá)兩麥克風(fēng)之間的時(shí)間延遲，c為聲音在空氣中的傳播速度，c·t為聲程差，為任意點(diǎn)聲源到達(dá)各個(gè)麥克風(fēng)的距離，為任意點(diǎn)聲源到達(dá)參考麥克風(fēng)的距離。

圖8 聲源的時(shí)延原理圖

(2) TDOA 時(shí)延估計(jì)算法中的自相關(guān)。已知聲源所在平面與麥克風(fēng)所在平面平行，且距離、麥克風(fēng)的坐標(biāo)已知，假設(shè)聲源處在圖像的某一塊區(qū)域內(nèi)，則可計(jì)算出任意點(diǎn)聲源到達(dá)各個(gè)麥克風(fēng)的距離L和參考原點(diǎn)的距離L0：

從而計(jì)算出聲源到達(dá)每個(gè)麥克風(fēng)與參考原點(diǎn)的相對距離差[14]：

ΔL=L-L0

(3)

在已知聲音在空氣中的傳播速度v和采樣頻率f就可以得出每個(gè)麥克風(fēng)相對于參考原點(diǎn)的相對時(shí)延：

(4)

將實(shí)際的聲音數(shù)據(jù)按照每一區(qū)域內(nèi)相對于參考原點(diǎn)的相對時(shí)延做延遲后取出每一區(qū)域的多通道數(shù)據(jù)分別構(gòu)成矩陣A，將這些矩陣分別自相關(guān)，歸一化后構(gòu)成聲音強(qiáng)度矩陣SP，聲音強(qiáng)度矩陣中的值越大則對應(yīng)的區(qū)域是聲源位置的可能性就越大[15]。

SP=ATA

(5)

2.2 基于FPGA的自相關(guān)運(yùn)算

通常情況下，矩陣自相關(guān)按照定義的方法編碼即可，但是在FPGA中需要一次性用矩陣兩列對應(yīng)位置上的元素同時(shí)相乘，而如果矩陣每一列的元素?cái)?shù)量比較大，一般的 FPGA 芯片的資源有限，難以滿足要求。因此將的自相關(guān)運(yùn)算簡化為的任意一行數(shù)據(jù)和的每一列數(shù)據(jù)的相關(guān)運(yùn)算，經(jīng)實(shí)驗(yàn)驗(yàn)證此方法歸一化后與完整的自相關(guān)歸一化后定位效果一致。

TF卡中存儲的數(shù)據(jù)類型是浮點(diǎn)型，在Quartus II中，兩個(gè)浮點(diǎn)數(shù)相乘至少需要5個(gè)時(shí)鐘周期，這樣對程序運(yùn)行速度、時(shí)間以及設(shè)計(jì)難度產(chǎn)生了負(fù)面影響。為了加快運(yùn)行速度，又由于FSMC是16位的數(shù)據(jù)線，因此將浮點(diǎn)數(shù)處理為16位整型數(shù)據(jù)進(jìn)行運(yùn)算。為了節(jié)省FPGA內(nèi)的資源，最終選擇用乘累加的方法來實(shí)現(xiàn)該運(yùn)算，基本流程如圖9所示。I1和I2是乘法器的兩個(gè)輸入，矩陣的元素按照行的順序依次流入通道，每一行的第一個(gè)元素賦給I1，剩下的幾個(gè)元素依次賦給I2，逐次依此進(jìn)行乘累加和運(yùn)算，即可得到自相關(guān)結(jié)果。

圖9 自相關(guān)數(shù)據(jù)流動圖

3 系統(tǒng)功能測試

為了驗(yàn)證此套設(shè)計(jì)方案的合理性，先對設(shè)計(jì)聲源成像系統(tǒng)進(jìn)行分模塊的功能測試，再對整體進(jìn)行性能測試。

3.1 FSMC總線與FPGA通信測試

在FPGA內(nèi)部建立RAM塊，通過FSMC總線從STM32向RAM塊中寫入0～511的字符型數(shù)據(jù)，然后將RAM內(nèi)數(shù)據(jù)讀取后并進(jìn)行取反顯示。結(jié)果如圖10所示。

圖10 FSMC總線測試結(jié)果

3.2 USB傳輸功能測試

STM32通過USB上傳一幅圖片到上位機(jī)，顯示圖片并測試傳輸速度。結(jié)果如圖11所示，并得到傳輸速度為32.7 m/s。圖片選用系統(tǒng)測試時(shí)使用攝像頭從聲源場采集到的圖片，圖中實(shí)驗(yàn)人員通過手機(jī)播放聲音設(shè)置聲源點(diǎn)，手機(jī)下方即為聲源處，系統(tǒng)通過多通道麥克風(fēng)陣列采集聲音數(shù)據(jù)。

圖11 USB傳輸測試結(jié)果

3.3 系統(tǒng)性能測試

系統(tǒng)的最終運(yùn)行結(jié)果如圖12和13所示，圖中紅色矩形為麥克風(fēng)采集的聲音數(shù)據(jù)經(jīng)過系統(tǒng)運(yùn)算處理得到的聲源圖像。通過將聲源圖像疊加到攝像頭采集的圖片上，可以驗(yàn)證系統(tǒng)的定位成像結(jié)果準(zhǔn)確。

圖12 自相關(guān)運(yùn)算由STM32中完成

對比聲源成像效果可得，矩陣自相關(guān)運(yùn)算由FPGA和STM32的處理結(jié)果基本一致。在FPGA晶振為25 MHz的前提下，進(jìn)一步的實(shí)際測試表明，由STM32和FPGA完成成像計(jì)算耗時(shí)分別為0.8 s和0.6 s。因此，本套系統(tǒng)的設(shè)計(jì)方案在完成聲源定位和成像功能的基礎(chǔ)上，通過合理的使用FPGA，縮短了算法的計(jì)算時(shí)間、提高了系統(tǒng)的成像效率，達(dá)到了由STM32和FPGA 協(xié)同完成聲源定位及成像的預(yù)期設(shè)計(jì)目標(biāo)。

4 結(jié) 語

本文根據(jù)聲源定位研究現(xiàn)狀以及現(xiàn)有聲源定位產(chǎn)品存在的不足，結(jié)合嵌入式技術(shù)的發(fā)展成果，通過分析現(xiàn)有的定位方法，研究并設(shè)計(jì)了基于STM32和FPGA的聲源定位和成像系統(tǒng)。利用STM32外設(shè)豐富、易于實(shí)現(xiàn)，F(xiàn)PGA并行運(yùn)行、運(yùn)行速度快的優(yōu)勢，采用STM32作為主控制器，利用FPGA實(shí)現(xiàn)復(fù)雜的矩陣自相關(guān)運(yùn)算，并在此基礎(chǔ)上將聲源可視化，完成成像顯示。本文的意義在于應(yīng)用嵌入式技術(shù)，通過STM32與FPGA的協(xié)同設(shè)計(jì)，在硬件平臺上實(shí)現(xiàn)了聲源定位與成像系統(tǒng)。此嵌入式聲源成像系統(tǒng)有效地提高了系統(tǒng)的運(yùn)行速度，增加了聲源定位的效率，而且其硬件集成度高、功耗低，這些都為聲源定位系統(tǒng)的小型化和便攜化的開發(fā)與設(shè)計(jì)提供了參考。