成像聲納中基于SOPC的以太網(wǎng)高速數(shù)據(jù)傳輸設(shè)計(jì)※＊

王靜嬌，周建江，何航峰，黃慧，楊成

（南京航空航天大學(xué) 電子信息工程學(xué)院，南京 210016）

引 言

成像聲納具有作用距離遠(yuǎn)、圖像直觀顯示觀測(cè)區(qū)域狀況和識(shí)別目標(biāo)[1]等特點(diǎn)，提高分辨率是提高水下聲納成像質(zhì)量的關(guān)鍵，而高分辨率也帶來(lái)了數(shù)據(jù)傳輸量大、傳輸速率要求高的問(wèn)題。

傳統(tǒng)聲納數(shù)據(jù)傳輸模塊通常采用百兆網(wǎng)卡，實(shí)現(xiàn)百兆以太網(wǎng)傳輸[2－4]，面對(duì)日益趨大的數(shù)據(jù)量，該方法已經(jīng)無(wú)法滿足需求。為了適應(yīng)更高的成像分辨率，滿足大數(shù)據(jù)量的高速傳輸，本文基于Xilinx公司的SOPC架構(gòu)，片上集成了千兆以太網(wǎng)控制器，無(wú)須外加專(zhuān)用的以太網(wǎng)控制芯片；移植VxWorks操作系統(tǒng)，采用TCP／IP協(xié)議與顯示控制端通信。設(shè)計(jì)的數(shù)據(jù)傳輸系統(tǒng)，經(jīng)測(cè)試得到了247Mbps的數(shù)據(jù)傳輸速率。

1 成像聲納數(shù)據(jù)傳輸系統(tǒng)總體設(shè)計(jì)

本文成像聲納指標(biāo)：量程4～100m，波束數(shù)512，量程分辨率5cm，最高幀率15Hz，通信接口為以太網(wǎng)接口。

成像聲納中整個(gè)工作流程如圖1所示，本文主要研究數(shù)據(jù)傳輸模塊。數(shù)據(jù)傳輸?shù)哪康氖菍?shí)現(xiàn)從水下設(shè)備把大量的聲納成像數(shù)據(jù)通過(guò)以太網(wǎng)發(fā)送到干端計(jì)算機(jī)進(jìn)行成像顯示。當(dāng)探測(cè)量程為100m時(shí)，幀率為7.5Hz，數(shù)據(jù)輸入速率為7.68MB／s，所以要求網(wǎng)絡(luò)傳輸速度能達(dá)到61.44Mbps。為了保證網(wǎng)絡(luò)速度盡可能高，確保每幀接收到的圖像都能傳送出去，本文以2倍網(wǎng)速120Mbps為開(kāi)發(fā)目標(biāo)。

圖1 成像聲納數(shù)據(jù)流向圖

系統(tǒng)中的FPGA選用Xilinx公司Virtex－5系列XC5VFX70T，該FPGA內(nèi)嵌PowerPC440處理器，最高主頻可達(dá)550MHz。系統(tǒng)數(shù)據(jù)傳輸模塊的總體方案如圖2所示，以Virtex－5FPGA為核心，基于SOPC架構(gòu)，以PLB為總線，在PowerPC440處理器上移植VxWorks操作系統(tǒng)。通過(guò)操作系統(tǒng)來(lái)管理網(wǎng)絡(luò)、串口等外圍接口，利用FPGA強(qiáng)大的邏輯資源和功能豐富的IP核，配合相應(yīng)的外圍芯片，在VxWorks操作系統(tǒng)上實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的傳輸。

圖2 系統(tǒng)總體設(shè)計(jì)框圖

2 FPGA硬件邏輯設(shè)計(jì)

2.1 可編程片上系統(tǒng)構(gòu)建

本文片上系統(tǒng)的設(shè)計(jì)框圖如圖3所示。由于系統(tǒng)調(diào)試需要，系統(tǒng)中加入了RS232串口；FLASH作為系統(tǒng)ROM，固化操作系統(tǒng)鏡像、存儲(chǔ)TVG曲線等參數(shù)；DDR2作為系統(tǒng)RAM，用于緩存數(shù)據(jù)，DDR2采用MPMC存儲(chǔ)器控制器IP核；以太網(wǎng)MAC核采用Xilinx公司的xps＿ll＿temac三態(tài)以太網(wǎng)MAC IP核。在系統(tǒng)中，要傳輸?shù)臄?shù)據(jù)從自定義IP核中產(chǎn)生或者從外部輸入，通過(guò)NPI接口暫存入DDR2中；數(shù)據(jù)達(dá)到一定數(shù)量后，通過(guò)DMA通道從千兆以太網(wǎng)發(fā)送出去。根據(jù)該設(shè)計(jì)框圖在XPS中進(jìn)行具體配置。

圖3 基于Virtex－5的片上系統(tǒng)設(shè)計(jì)框圖

2.2 千兆以太網(wǎng)硬件配置

以太網(wǎng)接口的通信速度由網(wǎng)卡決定，本系統(tǒng)在干端PC機(jī)采用高速率千兆以太網(wǎng)卡，千兆以太網(wǎng)技術(shù)具有傳輸速度快、距離遠(yuǎn)、向下兼容10／100Mbps以太網(wǎng)特性[4]，可以滿足系統(tǒng)需求。

在濕端數(shù)據(jù)發(fā)送端的FPGA中添加用于千兆以太網(wǎng)通信的 MAC核xps＿ll＿temac，它基于PLB總線控制，通過(guò)Xilinx LocalLink總線完成高效的數(shù)據(jù)傳輸與接收，無(wú)需通過(guò)verilog代碼編寫(xiě)MAC協(xié)議等。為了達(dá)到千兆網(wǎng)速，本系統(tǒng)配置MAC核使用GMII接口運(yùn)行頻率125 MHz，工作在1Gbps的模式。外圍以太網(wǎng)PHY物理層芯片配合選用美國(guó)Marvell公司的88E1111芯片，通過(guò)引腳配置芯片為千兆工作模式，從而進(jìn)行引腳連接，保證硬件工作千兆狀態(tài)。

2.3 自定義IP核設(shè)計(jì)

成像聲納中，前端波束形成后的數(shù)據(jù)輸入，輸入時(shí)鐘頻率為7.68MHz，每次輸入8位數(shù)據(jù)。輸入的數(shù)據(jù)要通過(guò)操作系統(tǒng)的TCP協(xié)議發(fā)送到上層軟件，而VxWorks操作的數(shù)據(jù)是在DDR2中，這就需要將外部輸入的數(shù)據(jù)寫(xiě)入DDR2，自定義IP核就主要完成這個(gè)工作，保證所有數(shù)據(jù)盡可能快地寫(xiě)入DDR2并發(fā)送給干端顯控軟件。

2.3.1 兩種數(shù)據(jù)存儲(chǔ)方法

①FIFO緩存。自定義IP核通過(guò)PLB總線連接PowerPC440處理器，處理器可以通過(guò)寄存器和底層通信，控制數(shù)據(jù)的傳輸。自定義IP核內(nèi)部提供FIFO服務(wù)，外部數(shù)據(jù)可以先存入FIFO，然后操作系統(tǒng)端從FIFO中讀出數(shù)據(jù)并存入DDR2。FIFO接口基于PLB總線控制，數(shù)據(jù)輸入／輸出工作時(shí)鐘頻率都為100MHz，F(xiàn)IFO寬度32位，則理論數(shù)據(jù)傳輸速率為3.2Gbps。

②NPI接口。MPMC是支持雙數(shù)據(jù)傳輸模式（DDR和DDR2）和單數(shù)據(jù)傳輸模式（SDRAM）的參數(shù)化內(nèi)存控制器，提供了8個(gè)相互獨(dú)立的端口來(lái)存取內(nèi)存[7]。NPI接口是讓用戶在自己的設(shè)計(jì)中利用MPMC特性的接口。選用MPMC作為DDR2的控制器，并將其配置為兩端口模式，一個(gè)端口配置為PPC440MC，和PowerPC440處理器相連；另一個(gè)端口配置為NPI接口，和用戶IP核相連，NPI接口可以直接把數(shù)據(jù)寫(xiě)入DDR2。DDR2和NPI接口的工作頻率都為200MHz，數(shù)據(jù)寬度支持64位、32位[7]，則理論數(shù)據(jù)傳輸速率最高可達(dá)12.8Gbps，完全可以滿足系統(tǒng)需求。

2.3.2 本系統(tǒng)數(shù)據(jù)存儲(chǔ)方法

由于數(shù)據(jù)輸入時(shí)鐘頻率為7.68Hz，所以無(wú)論采用FIFO或者NPI接口，都需要先經(jīng)過(guò)RAM調(diào)整時(shí)鐘域。在自定義IP核設(shè)計(jì)中，先采用兩個(gè)雙口RAM進(jìn)行乒乓緩存，然后采用NPI接口，直接把數(shù)據(jù)按幀寫(xiě)入DDR2中，圖4為自定義IP核內(nèi)部邏輯。clk 7.68MHz為數(shù)據(jù)輸入時(shí)鐘，en為幀使能信號(hào)，data 8位為輸入數(shù)據(jù)。雙口RAM寫(xiě)時(shí)鐘即clk 7.68MHz，每次寫(xiě)入8位；讀時(shí)鐘為200MHz，每次讀取32位，并寫(xiě)入NPI接口中，寫(xiě)NPI接口采用8字長(zhǎng)帶緩沖行寫(xiě)操作時(shí)序，在地址請(qǐng)求的同一周期給出地址確認(rèn)信號(hào)。

圖4 自定義IP核內(nèi)部邏輯圖

3 VxWorks傳輸軟件優(yōu)化設(shè)計(jì)

3.1 VxWorks操作系統(tǒng)移植

VxWorks操作系統(tǒng)在Virtex－5FX70T上的移植主要包括板級(jí)支持包（BSP）的開(kāi)發(fā)、BSP和VxWorks映像的編譯和下載。BSP是介于主板硬件和操作系統(tǒng)之間的一層，主要目的是為了支持操作系統(tǒng)，使之能夠更好地運(yùn)行于硬件主板。BSP的開(kāi)發(fā)主要通過(guò)修改Xilinx公司EDK套件中BSP生成器產(chǎn)生的BSP包完成。

①config.h文件修改：config.h文件主要設(shè)置啟動(dòng)行、內(nèi)存地址和大小、屏蔽一些組件、自定義宏等，涉及的主要修改略——編者注。

②Makefile文件修改：Makefile文件是構(gòu)造Vx－Works映像的批處理文件，本方案在生成SOPC架構(gòu)時(shí)選擇了硬件浮點(diǎn)單元，所以選用gnu為編譯工具，并且ROM和RAM的宏定義和config.h中一致。代碼略——編者注。

3.2 千兆網(wǎng)卡驅(qū)動(dòng)文件優(yōu)化

本方案采用 MAC（xps＿ll＿temac）＋PHY（88E1111）方案，底層驅(qū)動(dòng)程序在BSP包的ppc440＿drv＿csp＼xsrc文件夾中。在xlltemac＿end＿adapter.c中選擇使用DMA方式，并在xlltemac＿end＿adapter.h修改一些常量定義，如緩沖區(qū)、緩沖池的大小，產(chǎn)生中斷的門(mén)限值等。由于本方案主要用于發(fā)送，所以增加發(fā)送默認(rèn)BD值為2 048，這樣在發(fā)送大數(shù)據(jù)包時(shí)可以一次性發(fā)送，而不需要分多次發(fā)送，從而減小延時(shí)。其他參數(shù)的修改略——編者注。

3.3 TCP網(wǎng)絡(luò)數(shù)據(jù)發(fā)送設(shè)計(jì)

根據(jù)修改的BSP包建立VxWorks工程后，在userA－ppInit.c中編寫(xiě)網(wǎng)絡(luò)通信程序，從而實(shí)現(xiàn)波束數(shù)據(jù)發(fā)送。網(wǎng)絡(luò)通信一般可以通過(guò)套接字（socket）實(shí)現(xiàn)，一個(gè)套接口是通信的一端，VxWorks提供了標(biāo)準(zhǔn)的BSD套接字[10]。BSD套接字主要有流套接口和數(shù)據(jù)報(bào)套接口兩種。數(shù)據(jù)報(bào)套接字使用UDP協(xié)議捆綁某一端口，而流套接字使用TCP協(xié)議捆綁某一端口。與TCP相比，UDP提供了一個(gè)相對(duì)簡(jiǎn)單但適應(yīng)性很強(qiáng)的通信方式，兩者都支持雙向數(shù)據(jù)流，但是UDP協(xié)議并不保證數(shù)據(jù)的可靠、有序、無(wú)重復(fù)性，而TCP協(xié)議通過(guò)三次握手提供雙向、有序、無(wú)重復(fù)的數(shù)據(jù)流服務(wù)，通信可靠，對(duì)數(shù)據(jù)有重發(fā)和校驗(yàn)機(jī)制[10]。

本設(shè)計(jì)中為了確保數(shù)據(jù)的正確傳輸，沒(méi)有丟失，采用了TCP協(xié)議。圖5為VxWorks中網(wǎng)絡(luò)數(shù)據(jù)發(fā)送流程圖，采用VxWorks多任務(wù)編程模式。SendProc負(fù)責(zé)發(fā)送數(shù)據(jù)，每次發(fā)送2 048個(gè)char類(lèi)型的數(shù)據(jù)；StopProc任務(wù)實(shí)時(shí)接收停止命令。

圖5 VxWorks網(wǎng)絡(luò)數(shù)據(jù)發(fā)送

3.4 網(wǎng)絡(luò)性能優(yōu)化

通信系統(tǒng)的數(shù)據(jù)傳輸要經(jīng)過(guò)OS內(nèi)存處理、TCP／IP協(xié)議棧和網(wǎng)絡(luò)設(shè)備及其驅(qū)動(dòng)等，通信過(guò)程中的系統(tǒng)開(kāi)銷(xiāo)包括字節(jié)開(kāi)銷(xiāo)和分組開(kāi)銷(xiāo)[11]。為了提高數(shù)據(jù)傳輸性能，需要減少系統(tǒng)開(kāi)銷(xiāo)。

3.4.1 減少字節(jié)開(kāi)銷(xiāo)

字節(jié)開(kāi)銷(xiāo)主要來(lái)自系統(tǒng)中傳送、拷貝數(shù)據(jù)和計(jì)算校驗(yàn)和。所謂計(jì)算校驗(yàn)和，即網(wǎng)絡(luò)傳輸中由于各種干擾，會(huì)發(fā)生數(shù)據(jù)傳輸錯(cuò)誤，為了檢測(cè)這種錯(cuò)誤，通常采用因特網(wǎng)校驗(yàn)和算法，從而增加了系統(tǒng)開(kāi)銷(xiāo)[11]。

通常在接收端和發(fā)送端的校驗(yàn)和都是由CPU計(jì)算，須有CPU從內(nèi)存系統(tǒng)載入所有數(shù)據(jù)，再進(jìn)行一系列加法操作，必然占用較多的系統(tǒng)資源。本設(shè)計(jì)通過(guò)采用硬件執(zhí)行校驗(yàn)和算法，在PC機(jī)端和xps＿ll＿temac核中開(kāi)啟硬件校驗(yàn)和，由DMA接口的硬件來(lái)計(jì)算校驗(yàn)和，即校驗(yàn)和卸載，這樣避免占用CPU資源，降低字節(jié)開(kāi)銷(xiāo)。

3.4.2 減少分組開(kāi)銷(xiāo)

分組開(kāi)銷(xiāo)包括分配和釋放系統(tǒng)緩沖區(qū)、執(zhí)行TCP／IP協(xié)議代碼，以及處理設(shè)備中斷帶來(lái)的開(kāi)銷(xiāo)。在發(fā)送端，應(yīng)用程序向接收端發(fā)送數(shù)據(jù)時(shí)，操作系統(tǒng)首先分配系統(tǒng)緩沖區(qū)，存放傳輸數(shù)據(jù)，執(zhí)行TCP／IP協(xié)議代碼，將數(shù)據(jù)分段處理為T(mén)CP／IP分組。當(dāng)發(fā)送完一個(gè)分組后，就向操作系統(tǒng)發(fā)送設(shè)備中斷，操作系統(tǒng)就要處理設(shè)備中斷，釋放系統(tǒng)緩沖區(qū)。TCP／IP段大小一般取 MTU尺寸，MTU即最大網(wǎng)絡(luò)傳輸單元。所以，如果增大TCP／IP分組數(shù)據(jù)包大小，就可以減少分包的次數(shù)，從而減少開(kāi)銷(xiāo)。本設(shè)計(jì)在配置xps＿ll＿temac核時(shí)，增加接收與發(fā)送FIFO容量，并在VxWork網(wǎng)卡驅(qū)動(dòng)中增加MTU的大小。在socket編程時(shí)，修改默認(rèn)的接收發(fā)送緩沖區(qū)值，從而減少數(shù)據(jù)的傳輸阻塞，減少分組開(kāi)銷(xiāo)。

另外，在沒(méi)有中斷調(diào)節(jié)的情況下，系統(tǒng)要處理大量的中斷，CPU的使用量以更高的數(shù)據(jù)速率增加，所以本設(shè)計(jì)中開(kāi)啟中斷調(diào)節(jié)功能，設(shè)置中斷節(jié)流率為中，根據(jù)網(wǎng)絡(luò)的流量情況，動(dòng)態(tài)調(diào)整發(fā)起處理器中斷的頻率。

4 測(cè)試結(jié)果與分析

在測(cè)試數(shù)據(jù)傳輸性能時(shí)采用的PC機(jī)的硬件平臺(tái)為Intel奔騰，3.19GHz CPU，1.86GB內(nèi)存，網(wǎng)卡為Intel 82578DM Gigabit Network網(wǎng)卡。

4.1 網(wǎng)速測(cè)試

測(cè)試網(wǎng)速時(shí)，采用while循環(huán)不停地向顯控軟件發(fā)送數(shù)據(jù)，測(cè)試網(wǎng)絡(luò)接口所能達(dá)到的最大網(wǎng)絡(luò)傳輸速度。網(wǎng)絡(luò)傳輸速度測(cè)試結(jié)果如表1所列，和其他成像聲納數(shù)據(jù)傳輸方案的對(duì)比如表2所列，網(wǎng)速測(cè)試圖略——編者注。

表1 網(wǎng)絡(luò)傳輸速度測(cè)試

表2 和其他成像聲納數(shù)據(jù)傳輸方案對(duì)比

通過(guò)測(cè)試可以看出，基于Virtex－5FPGA和VxWorks的SOPC架構(gòu)下網(wǎng)絡(luò)數(shù)據(jù)傳輸方案實(shí)際可以達(dá)到的網(wǎng)絡(luò)傳輸速度平均為245Mbps，達(dá)到千兆網(wǎng)性能的25%，并且性能明顯優(yōu)于參考文獻(xiàn)[2][3]的數(shù)據(jù)傳輸方案。

4.2 IP核數(shù)據(jù)傳輸測(cè)試

實(shí)際測(cè)量，對(duì)比自定義IP核把外部數(shù)據(jù)寫(xiě)入DDR2的兩種方案。通過(guò)對(duì)比測(cè)試可以看出，采用MPMC存儲(chǔ)器中的NPI接口寫(xiě)DDR2，然后進(jìn)行網(wǎng)絡(luò)傳輸數(shù)據(jù)，速度明顯優(yōu)于FIFO讀寫(xiě)，并超過(guò)了120Mbps的設(shè)計(jì)目標(biāo)。兩種傳輸方案對(duì)比如表3所列。

表3 兩種傳輸方案對(duì)比

結(jié) 語(yǔ)

本文在Xilinx Virtex－5FX70T上基于SOPC嵌入式架構(gòu)，移植VxWorks操作系統(tǒng)進(jìn)行數(shù)據(jù)傳輸時(shí)，網(wǎng)絡(luò)利用率達(dá)到25%，明顯優(yōu)于參考文獻(xiàn)[2][3]的數(shù)據(jù)傳輸方案。并且，采用MPMC存儲(chǔ)器控制器的NPI接口，將聲納成像數(shù)據(jù)寫(xiě)入DDR2并進(jìn)行網(wǎng)絡(luò)傳輸，網(wǎng)絡(luò)利用率仍能達(dá)到18%。該設(shè)計(jì)方式已經(jīng)成功應(yīng)用于項(xiàng)目，并取得了良好的效果。此外，根據(jù)成像聲納的實(shí)際工作性能需求，該方案不僅能滿足當(dāng)前的成像聲納數(shù)據(jù)傳輸61.44Mbps的需求，還可以適應(yīng)以后更高分辨率的聲納圖像傳輸，甚至將接口稍作改變，可以應(yīng)用于其他需要高速率網(wǎng)絡(luò)數(shù)據(jù)傳輸?shù)念I(lǐng)域。

編者注：本文為期刊縮略版，全文見(jiàn)本刊網(wǎng)站www.mesnet.com.cn。

[1] 王曉峰.成像聲納波束形成新技術(shù)研究[D].哈爾濱：哈爾濱工程大學(xué)，2011：3－8.

[2] 巫琴.成像聲納數(shù)據(jù)傳輸和顯控軟件的設(shè)計(jì)與實(shí)現(xiàn)[D].哈爾濱：哈爾濱工程大學(xué)，2011.

[3] 張曉蕾.基于SOPC的成像聲納數(shù)字系統(tǒng)設(shè)計(jì)[D].哈爾濱：哈爾濱工程大學(xué)，2011：2－4.

[4] IEEE.IEEE 802.3－2005：1－5.Carrier Sense Multiple Access With Collision Detection（CSMA／CD）Access Method and Physical：Layer Specifications[S].

[5] 張文沛，彭先蓉，徐勇.基于SOPC的千兆以太網(wǎng)數(shù)據(jù)傳輸設(shè)計(jì)[J].儀器儀表用戶，2010，17（3）：66－68.

[6] 溫小勇.基于FPGA和SOPC技術(shù)的視頻圖像處理系統(tǒng)的研究[D].天津：天津師范大學(xué)，2008.

[7] 葉肇晉，張稀楠，馬磊.基于XILINX FPGA片上嵌入式系統(tǒng)的用戶IP開(kāi)發(fā)[M].西安：西安電子科技大學(xué)出版社，2008.

[8] A Barbalace，A Luchetta，G Manduchi，et al.Performance Comparision of VxWorks，Linux，RTAI，and Xenomai in a Hard Real－Time Application[J].IEEE Transactions on nuclear science，2008，55（1）：435－439.

[9] 張峰，任國(guó)強(qiáng)，申會(huì)民.片上PowerPC在 VxWorks下的UDP千兆網(wǎng)通信[J].應(yīng)用天地，2008（2）：52－54.

[10] 孫祥營(yíng)，柏桂枝.嵌入式實(shí)時(shí)操作系統(tǒng)VxWorks及其開(kāi)發(fā)環(huán)境Tornado[M].北京：中國(guó)電力出版社，2002：15－45.

[11] 周敬利，楊芳，汪雪磊.千兆以太網(wǎng)中通信系統(tǒng)優(yōu)化策略的研究[J].計(jì)算機(jī)工程與應(yīng)用，2004（4）：149－150.

[12] Chase J S，Gallatin A J，Yocum KG.End－System optimizations for high－speed TCP[J].IEEE Communications Magazine，2001，39（4）：68－74.