基于FPGA的PCIe轉(zhuǎn)光纖數(shù)據(jù)注入式仿真裝置

吳亞軍

(海軍裝備部，陜西 西安 710000)

實(shí)時(shí)信號(hào)處理設(shè)備通常運(yùn)用在雷達(dá)、聲吶等含有特殊傳感器的裝備上，這些裝備制造成本高昂，在信號(hào)處理設(shè)備的處理算法研制過(guò)程中不可能每次都搭載傳感器進(jìn)行處理驗(yàn)證。如在魚(yú)雷上裝備信號(hào)處理設(shè)備，只有在整條雷下水航行時(shí)才能采集到實(shí)際的航行數(shù)據(jù)，實(shí)驗(yàn)成本極其高昂。為了解決這些問(wèn)題，通常采用仿真方式模擬某些場(chǎng)景，但是仿真場(chǎng)景與實(shí)際航行的情況仍存在很大差別，無(wú)法全面驗(yàn)證算法的有效性，并且場(chǎng)景模擬仿真的成本仍較高，無(wú)法滿足復(fù)雜算法調(diào)試過(guò)程中需要頻繁運(yùn)用實(shí)際數(shù)據(jù)的要求。數(shù)字信號(hào)的注入式仿真則是一種有效的解決方案。該方案將某次實(shí)際運(yùn)行的數(shù)據(jù)通過(guò)特殊方式注入信號(hào)處理設(shè)備，信號(hào)處理設(shè)備就能在實(shí)驗(yàn)室環(huán)境下實(shí)時(shí)處理實(shí)際工作的數(shù)據(jù)，并且可以反復(fù)處理，如數(shù)據(jù)量足夠大，則能夠?qū)λ惴ǖ男阅苓M(jìn)行較為充分的驗(yàn)證。

隨著處理器技術(shù)的不斷發(fā)展，在互聯(lián)領(lǐng)域，高速差分總線技術(shù)代替并行總線技術(shù)是大勢(shì)所趨。PCIe于2001年正式發(fā)布，是Intel公司開(kāi)發(fā)的第三代IO總線標(biāo)準(zhǔn)。PCIe總線是串行技術(shù)，可以在很高的頻率上傳輸數(shù)據(jù)，所以在保證數(shù)據(jù)完整性的同時(shí)有很高的帶寬。其中，PCIe Gen1標(biāo)準(zhǔn)X1通道單向傳輸速率為2.5 GB/s，PCIe Gen2標(biāo)準(zhǔn)X1通道傳輸速率為5 GB/s，PCie Gen3在傳輸通道速率為8 GB/s。光纖也常用于高速差分總線數(shù)據(jù)的傳輸，在FPGA中通過(guò)光纖傳輸數(shù)據(jù)傳輸速率可超達(dá)10 GB/s，并且光纖傳輸數(shù)據(jù)具有傳輸速率高、傳輸距離遠(yuǎn)以及傳輸安全性高等特點(diǎn)，在各個(gè)領(lǐng)域應(yīng)用已越來(lái)越廣泛。

本文設(shè)計(jì)的基于FPGA的PCIe光纖數(shù)字信號(hào)處理設(shè)備注入式仿真裝置利用FPGA將上位機(jī)通過(guò)PCIe發(fā)送到板卡DDR3的數(shù)據(jù)輸出到高速收發(fā)接口GTP經(jīng)光纖發(fā)送到數(shù)字信號(hào)處理設(shè)備，GTP設(shè)置傳輸速率為4 GB/s，因而整個(gè)系統(tǒng)有效數(shù)據(jù)傳輸帶寬可達(dá)400 MB/s，滿足數(shù)字信號(hào)處理系統(tǒng)對(duì)實(shí)時(shí)仿真數(shù)據(jù)輸入帶寬的要求。

1 系統(tǒng)設(shè)計(jì)

實(shí)現(xiàn)PCIe接口系統(tǒng)設(shè)計(jì)主要有兩種方式：一種為橋接芯片，將PCIe總線轉(zhuǎn)接到本地總線，如很多商用計(jì)算機(jī)的PCIe設(shè)備的連接方式，該方式由于受到本地總線傳輸速度和總線轉(zhuǎn)換的影響，數(shù)據(jù)傳輸帶寬不會(huì)很高；另一種為基于FPGA的實(shí)現(xiàn)，目前主流FPGA廠商都將PCIe核集成到FPGA產(chǎn)品中，可以快速開(kāi)發(fā)基于PCIe的設(shè)備。

本系統(tǒng)設(shè)計(jì)了基于FPGA的信號(hào)處理設(shè)備注入式仿真裝置，主要由FPGA處理核心、DDR3數(shù)據(jù)緩存單元、光纖模塊、PCIe接口、數(shù)據(jù)發(fā)送計(jì)算機(jī)以及信號(hào)處理單元接端FPGA組成。系統(tǒng)組成框圖如圖1所示。

圖1 系統(tǒng)組成框圖

核心處理FPGA采用Xilinx公司的ZYNQ7000系列中的XC7Z015-CLG485芯片，該芯片采用ARM+FPGA SOC技術(shù)，芯片將雙核ARM Cortex-A9和FPGA集成在一顆芯片上，同時(shí)芯片內(nèi)部集成了AMBA、內(nèi)部存儲(chǔ)器、外部存儲(chǔ)器接口和外設(shè)。PS端采用雙核ARMCortex-A9處理器，采用ARM-v7架構(gòu)主頻最高可達(dá)766 MHz；每個(gè)CPU有32 KB一級(jí)指令和數(shù)據(jù)緩存，512 KB二級(jí)緩存2個(gè)CPU共享；集成片上boot ROM和256 KB片內(nèi)RAM；在外部存儲(chǔ)接口方面，支持16/32 bit DDR2、DDR3接口。PL端邏輯資源豐富，含有4路高速GTP收發(fā)器，最高支持PCIe Gen2 X4，由于本設(shè)計(jì)用到了PCIe和SFP光纖接口，因而，PCIe占用2路GTP高速收發(fā)器實(shí)現(xiàn)PCIe Gen2 X2模式，光纖占用1路GTP高速收發(fā)器。

本文設(shè)計(jì)的數(shù)據(jù)轉(zhuǎn)換裝置DDR3存儲(chǔ)芯片直接掛載在ZYNQ芯片的PS端，由ARM核心操作訪問(wèn)，在本系統(tǒng)中，上位機(jī)將待注入數(shù)據(jù)直接通過(guò)PCIe接口寫(xiě)入到DDR3緩存中，ARM從DDR3緩存中將數(shù)據(jù)讀出，通過(guò)DMA發(fā)送到PL端。PS端掛載2片DDR3芯片，位寬32，內(nèi)存讀寫(xiě)時(shí)鐘533.33 MHz，數(shù)據(jù)讀寫(xiě)速度可達(dá)1 066 MHz，這里設(shè)讀寫(xiě)效率DDR3為70%，那么，系統(tǒng)的外部數(shù)據(jù)存儲(chǔ)帶寬可達(dá)2.9 GB/s，完全滿足常用數(shù)字信號(hào)處理系統(tǒng)的注入式仿真數(shù)據(jù)要求。

由于采用的ZYNQ7000芯片只有一個(gè)GTP Bank，含有2組4路GTP高速收發(fā)器。本設(shè)計(jì)中，由于要采用PCIe接口和SFP光纖接口，二者只能共同連接到同一個(gè)GTP Bank上，該Bank上包含兩組差分輸入時(shí)鐘，分別分配給PCIe的100MHz輸入時(shí)鐘和SFP光纖的125 MHz輸入時(shí)鐘。通常在設(shè)計(jì)硬件程序時(shí)，通過(guò)高速收發(fā)模塊gtwizard核和PCIe核同時(shí)配置各自的輸入時(shí)鐘即可，但是由于每配置一次高速收發(fā)模塊的時(shí)鐘，均需要一個(gè)共用邏輯GT_COMMON模塊，在該款ZYNQ芯片中只包含一個(gè)共用邏輯GT_COMMON模塊，但是一個(gè)GT_COMMON有2個(gè)QPLL輸入輸出，因而需要將兩組高速收發(fā)模塊的時(shí)鐘在同一個(gè)GT_COMMON中進(jìn)行獨(dú)立區(qū)分，GT_COMMON的PLL0OUT必須連接到GT_CHANNEL的PLL0上，PLL1OUT必須連接到GT_CHANNEL的PLL1上，如此可滿足在同一個(gè)GTP Bank實(shí)現(xiàn)PCIe和SFP光纖。

ZYNQ作為系統(tǒng)的核心處理單元承擔(dān)了所有的數(shù)據(jù)處理部分。上位機(jī)由板卡的PCIe接口直接通過(guò)PCIe DMA操作訪問(wèn)PS內(nèi)存區(qū)域，將需注入信號(hào)處理設(shè)備的數(shù)據(jù)寫(xiě)入DDR3中。PCIe核采用Vivado中的XDMA核，該核包含PCIe核和DMA模塊兩部分，主要用來(lái)發(fā)送、接收數(shù)據(jù)，發(fā)送引擎主要負(fù)責(zé)將待發(fā)送的數(shù)據(jù)按照PCIe協(xié)議組成不同類型的TLP數(shù)據(jù)包，并發(fā)送給PCIe IP核；發(fā)送DMA控制模塊主要負(fù)責(zé)把DDR3中讀取的數(shù)據(jù)轉(zhuǎn)換成TLP格式，并傳送給發(fā)送引擎；接收引擎用于從PCIe IP核接收不同類型的TLP數(shù)據(jù)，接收DMA控制模塊用于實(shí)現(xiàn)存儲(chǔ)器讀請(qǐng)求包的發(fā)送流量控制及接收數(shù)據(jù)位寬的轉(zhuǎn)換；DMA狀態(tài)控制寄存器模塊主要用來(lái)解析PC對(duì)模塊內(nèi)部寄存器的命令和配置，并通知發(fā)送引擎模塊、接收引擎模塊及其他模塊做出相應(yīng)執(zhí)行。

PS端通過(guò)AXI_DMA模塊將數(shù)據(jù)從DDR3中讀取輸出到PL端。上位機(jī)將數(shù)據(jù)寫(xiě)入DDR3的特定地址。當(dāng)PL端向PS端產(chǎn)生請(qǐng)求數(shù)據(jù)中斷時(shí)，PS端啟動(dòng)DMA數(shù)據(jù)傳輸，AXI_DMA核從DDR3中讀取數(shù)據(jù)并輸出到PL端。在PL端，按照AXI協(xié)議將數(shù)據(jù)接收到FIFO緩存等待寫(xiě)入下一級(jí)數(shù)據(jù)發(fā)送緩存。當(dāng)AXI_DMA傳輸完成一批數(shù)據(jù)后，該IP核向PS端發(fā)起中斷，通知PS端本批次數(shù)據(jù)傳輸完成。

AXI_GPIO核用于PS端到PL端狀態(tài)的傳輸。當(dāng)上位機(jī)向DDR3中寫(xiě)入板卡復(fù)位或者PS端向PL端DMA數(shù)據(jù)發(fā)送完成時(shí)，PS端通過(guò)GPIO核將復(fù)位狀態(tài)發(fā)送完成狀態(tài)輸出到PL端，從而PL端可以做出相應(yīng)的操作。另外，PL端還可以通過(guò)GPIO將狀態(tài)輸出到PS端。

PS端使能了兩組從AXI高性能數(shù)據(jù)傳輸通道，數(shù)據(jù)位寬64位，分別用于AXI_DMA模塊和XDMA模塊的數(shù)據(jù)傳輸。本設(shè)計(jì)中，數(shù)據(jù)時(shí)鐘為200 MHz，該接口可提供1 600 MB/s的數(shù)據(jù)傳輸帶寬。該通道為包含高帶寬數(shù)據(jù)通路的PL總線設(shè)備提供了到DDR3和片上內(nèi)存(OCM)的存儲(chǔ)器通道，每個(gè)接口內(nèi)部包含兩個(gè)FIFO緩沖區(qū)，分別用于讀和寫(xiě)流量。同時(shí)使能了一個(gè)通用目的AXI主接口，將IP核的配置信息通過(guò)PS狀態(tài)寫(xiě)入AXI_GPIO、AXI_DMA及其他AXI核，用于各個(gè)IP核工作模式的配置及核的啟停。同時(shí)，PS端使用3路外部中斷輸入：一路接入AXI_DMA數(shù)據(jù)傳輸中斷，另外2路接入PL端的其他輸入，分別用于傳輸啟動(dòng)和請(qǐng)求數(shù)據(jù)，該兩組信號(hào)在上升沿分別向PS端發(fā)起中斷，PS端接收到中斷后立刻啟動(dòng)相應(yīng)的數(shù)據(jù)傳輸工作。各個(gè)AXI模塊傳輸時(shí)鐘由PS端產(chǎn)生一個(gè)200 MHz的時(shí)鐘，所有AXI模塊均在該時(shí)鐘下工作。

在PL端，SFP數(shù)據(jù)發(fā)送模塊采用雙緩存乒乓操作實(shí)現(xiàn)數(shù)據(jù)連續(xù)發(fā)送。在本系統(tǒng)中，每次發(fā)送的數(shù)據(jù)量為104 KB/5.12 ms，在邏輯中例化了2個(gè)128 KB的雙口RAM，雙口RAM輸入端連接到從AXI數(shù)據(jù)接收到的數(shù)據(jù)緩存FIFO輸出端，每104 KB數(shù)據(jù)通過(guò)200 MHz時(shí)鐘分別寫(xiě)入兩個(gè)雙口RAM進(jìn)行緩存。在數(shù)據(jù)發(fā)送端，按照數(shù)據(jù)發(fā)送節(jié)奏將數(shù)據(jù)從雙口RAM輸出端讀出，通過(guò)GTP高速收發(fā)器發(fā)送到信號(hào)處理設(shè)備的SFP接收單元。數(shù)據(jù)發(fā)送模塊與信號(hào)處理設(shè)備通過(guò)光纖存在數(shù)據(jù)交互，當(dāng)數(shù)字信號(hào)處理設(shè)備需要數(shù)據(jù)時(shí)，向本系統(tǒng)發(fā)送使能請(qǐng)求，本系統(tǒng)立即啟動(dòng)數(shù)據(jù)發(fā)送狀態(tài)機(jī)開(kāi)始發(fā)送，每發(fā)送一次數(shù)據(jù)均在頭部添加包頭，用于信號(hào)處理設(shè)備解析并排列數(shù)據(jù)。數(shù)據(jù)發(fā)送狀態(tài)機(jī)如圖2所示。

圖2 數(shù)據(jù)發(fā)送狀態(tài)機(jī)

2 軟件設(shè)計(jì)

本文設(shè)計(jì)的信號(hào)處理注入式仿真設(shè)備的核心芯片ZYNQ包括硬件邏輯設(shè)計(jì)和ARM軟件設(shè)計(jì)兩部分。系統(tǒng)硬件邏輯上面已經(jīng)進(jìn)行了介紹。系統(tǒng)的核心控制和數(shù)據(jù)交互工作由ARM核心來(lái)完成，該芯片的ARM為雙核Cortex-A9處理器，運(yùn)行主頻為667 MHz。本系統(tǒng)只運(yùn)行了一個(gè)Cortex-A9處理器核心。該處理器控制整個(gè)軟件系統(tǒng)的初始化、數(shù)據(jù)由DDR3向PL端的DMA傳輸以及各個(gè)中斷的初始化及響應(yīng)。程序初始化后，首先是初始化PL端產(chǎn)生的中斷，本軟件設(shè)計(jì)了2個(gè)PL端中斷。第一個(gè)是發(fā)送使能中斷，仿真系統(tǒng)啟動(dòng)后，當(dāng)PL端接收到信號(hào)處理設(shè)備發(fā)送過(guò)來(lái)的發(fā)送啟動(dòng)信號(hào)后，PL端向PS端產(chǎn)生一個(gè)上升沿中斷，PS端立即開(kāi)始向PL端發(fā)送一批次的數(shù)據(jù)；第二個(gè)中斷是PL端每發(fā)送完一批數(shù)據(jù)到信號(hào)處理設(shè)備后，產(chǎn)生下一批數(shù)據(jù)的要數(shù)中斷，PS端接收到要數(shù)中斷后，將程序中的對(duì)應(yīng)標(biāo)記置位。初始化中斷后，程序開(kāi)始初始化AXI_DMA模塊，首先初始化DMA傳輸完成中斷，使DMA每發(fā)送完成一批數(shù)據(jù)都由DMA模塊產(chǎn)生一個(gè)中斷信號(hào)到PS端；然后初始化AXI數(shù)據(jù)解析模塊，使設(shè)計(jì)的AXI數(shù)據(jù)解析模塊開(kāi)始工作，等待DMA通過(guò)AXI總線傳輸過(guò)來(lái)的數(shù)據(jù)；然后創(chuàng)建多描述子數(shù)據(jù)連續(xù)傳輸機(jī)制，每個(gè)描述子對(duì)應(yīng)的緩存空間最大可支持8 233 607字節(jié)，由于本系統(tǒng)使用的芯片PL端邏輯資源有限，AXI數(shù)據(jù)解析模塊中的緩存FIFO設(shè)計(jì)為4 KB，這樣也有利于AXI解析模塊接收數(shù)據(jù)的緩存，本設(shè)計(jì)中每次傳輸數(shù)據(jù)大小為104 KB，這里將104 KB數(shù)據(jù)分成52次，每次傳輸2 KB，如此后端的緩沖單元不會(huì)溢出，同時(shí)也滿足仿真系統(tǒng)對(duì)數(shù)據(jù)傳輸帶寬的要求。

程序初始化完成后，就開(kāi)始等待上位機(jī)的操作指令及PL端的中斷信號(hào)。當(dāng)上位機(jī)按下初始化按鈕后，上位機(jī)通過(guò)PCIe將DDR3中的標(biāo)記位置為特定值；然后上位機(jī)選擇要發(fā)送的數(shù)據(jù)文件，文件選擇完成后系統(tǒng)即啟動(dòng)一次DMA傳輸，將數(shù)據(jù)緩存在PL端的一個(gè)雙口RAM中，等待信號(hào)處理設(shè)備的啟動(dòng)信號(hào)；上位機(jī)按下開(kāi)始按鈕后，就開(kāi)始等待板卡DDR3的對(duì)應(yīng)位置是否被PS端設(shè)置成特定值，同時(shí)等待上一次DMA操作是否完成，是否由要數(shù)中斷產(chǎn)生，如都是，則上位機(jī)再將一批數(shù)據(jù)寫(xiě)入板卡的DDR3。軟件流程圖如圖3所示。

圖3 軟件流程圖

3 實(shí)驗(yàn)及討論

這里設(shè)計(jì)的基于FPGA的信號(hào)處理設(shè)備注入式仿真裝置對(duì)外接口只有光纖和PCIe接口，主要功能均在FPGA內(nèi)部實(shí)現(xiàn)，因而設(shè)計(jì)過(guò)程中的結(jié)果驗(yàn)證能夠影響系統(tǒng)設(shè)計(jì)的效率。Xilinx的Vivado對(duì)于硬件邏輯的設(shè)計(jì)過(guò)程提供了良好的解決方案，Vivado的集成邏輯分析儀(ILA)IP核能夠?qū)崟r(shí)監(jiān)測(cè)硬件邏輯程序中的任意信號(hào)的波形，可根據(jù)實(shí)際需求設(shè)定波形采集的深度，是硬件邏輯設(shè)計(jì)過(guò)程中驗(yàn)證各個(gè)功能模塊邏輯功能的有力工具。

在本系統(tǒng)設(shè)計(jì)過(guò)程中，從PS端將數(shù)據(jù)從DDR3讀出，通過(guò)DMA寫(xiě)入PL端和PL端通過(guò)光纖接口與信號(hào)處理設(shè)備的數(shù)據(jù)收發(fā)交換是調(diào)試過(guò)程中需要監(jiān)測(cè)的關(guān)鍵數(shù)據(jù)。圖4為PS端通過(guò)DMA向PL端寫(xiě)入雙口RAM的時(shí)序圖。當(dāng)數(shù)據(jù)寫(xiě)入有效時(shí)，開(kāi)始向兩個(gè)雙口RAM中的一個(gè)寫(xiě)入數(shù)據(jù)。本設(shè)計(jì)采用兩個(gè)雙口RAM做乒乓操作實(shí)現(xiàn)數(shù)據(jù)的連續(xù)傳輸。DMA模塊將數(shù)據(jù)寫(xiě)入AXI數(shù)據(jù)接收模塊，寫(xiě)入時(shí)鐘為200 MHz，該模塊將有效數(shù)據(jù)緩存到FIFO中，同時(shí)PL端將數(shù)據(jù)從FIFO中讀出，寫(xiě)入雙口RAM中進(jìn)行乒乓操作。當(dāng)一批數(shù)據(jù)寫(xiě)入完成后，等待一批數(shù)據(jù)完成后，程序中的乒乓標(biāo)記翻轉(zhuǎn)，同時(shí)向PS端發(fā)送請(qǐng)求中斷，數(shù)據(jù)發(fā)送到PL端后，寫(xiě)入另外一個(gè)雙口RAM中。

圖4 PS端向PL端的RAM寫(xiě)入數(shù)據(jù)時(shí)序圖

圖5為光纖模塊的數(shù)據(jù)收發(fā)時(shí)序圖，圖中接收到信號(hào)處理設(shè)備發(fā)送過(guò)來(lái)的數(shù)據(jù)發(fā)送使能信號(hào)，將data_request_i置高，當(dāng)PS端向PL端發(fā)送完成一批數(shù)據(jù)后，PS端向PL端寫(xiě)一個(gè)GPIO變化信號(hào)，這里為Start_Tx信號(hào)，當(dāng)GPIO發(fā)生翻轉(zhuǎn)后該信號(hào)即被拉高，信號(hào)被拉高后即可觸發(fā)數(shù)據(jù)發(fā)送狀態(tài)機(jī)向信號(hào)處理設(shè)備發(fā)送雙口RAM中的數(shù)據(jù)。

圖5 PL端與信號(hào)處理設(shè)備數(shù)據(jù)收發(fā)時(shí)序圖

4 結(jié)束語(yǔ)

本文設(shè)計(jì)了一種基于FPGA的PCIe光纖信號(hào)處理設(shè)備注入式仿真裝置。系統(tǒng)采用了ZYNQ 7000 FPGA為核心處理芯片，上位機(jī)通過(guò)PCIe將數(shù)據(jù)寫(xiě)入FPGA的DDR3緩存，F(xiàn)PGA的PS將數(shù)據(jù)通過(guò)DMA寫(xiě)入PL端，PL端用兩個(gè)雙口RAM對(duì)數(shù)據(jù)進(jìn)行乒乓操作，通過(guò)光纖與信號(hào)處理設(shè)備進(jìn)行數(shù)據(jù)交互，按信號(hào)處理設(shè)備的實(shí)際節(jié)奏需求將數(shù)據(jù)發(fā)送給信號(hào)處理設(shè)備，使信號(hào)處理設(shè)備可以通過(guò)光纖接收到的數(shù)據(jù)進(jìn)行原始信號(hào)處理實(shí)時(shí)仿真，使信號(hào)處理設(shè)備能夠完美復(fù)現(xiàn)實(shí)際工作時(shí)的數(shù)據(jù)狀態(tài)，對(duì)信號(hào)處理設(shè)備中算法的調(diào)試開(kāi)發(fā)具有重要意義，可在實(shí)驗(yàn)室環(huán)境下對(duì)信號(hào)處理設(shè)備的算法性能進(jìn)行充分驗(yàn)證，降低實(shí)驗(yàn)成本和裝備開(kāi)發(fā)周期。