基于RapidIO協(xié)議的高速數(shù)據(jù)互聯(lián)模塊設(shè)計(jì)

上官珠+范國(guó)忠+高文昀

摘 要： RapidIO技術(shù)是目前世界上第一個(gè)、也是惟一的嵌入式系統(tǒng)互連國(guó)際標(biāo)準(zhǔn)，可以簡(jiǎn)單、高效、可靠地實(shí)現(xiàn)從單板到全系統(tǒng)的互連，在高性能數(shù)字信號(hào)處理系統(tǒng)中得到廣泛的應(yīng)用。介紹了基于RapidIO協(xié)議的高速數(shù)據(jù)互聯(lián)模塊的設(shè)計(jì)方案、高速數(shù)據(jù)傳輸設(shè)計(jì)中的難點(diǎn)、以及模塊的信號(hào)完整性分析。該模塊現(xiàn)已在雷達(dá)信號(hào)處理系統(tǒng)中得到應(yīng)用驗(yàn)證，各項(xiàng)性能指標(biāo)均能夠滿足應(yīng)用需求，實(shí)現(xiàn)了可靠穩(wěn)定的高速數(shù)據(jù)傳輸。

關(guān)鍵詞： RapidIO； EDK； RocketIO； LWIP； 信號(hào)完整性分析

中圖分類號(hào)： TN911.7?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2014）15?0028?04

High speed data interconnection module base on RapidIO protocol

SHANGGUAN Zhu， FAN Guo?zhong， GAO Wen?yun

（Nanjing Research Institute of Electronics Technology， Nanjing 210039， China）

Abstract： RapidIO technology is the world′s first and only one international standard of embedded system interconnection， which can simply and efficiently implement the interconnection from the single board to entire system， and is widely used in digital signal processing system. The design scheme of high?speed data interconnection module based on RapidIO protocal， the difficulties in the design of high?speed data transmission， and signal integrity analysis of module are introduced in this paper. This module has been used and verified in the radar signal processing system. The results indicate that each performance index of the module can meet the application requirements， and the module can achieve reliable and stable high?speed data transmission.

Keywords： RapidIO； EDK； RocketIO； LWIP； signal integrality analysis

0 引 言

隨著軍事電子技術(shù)的迅猛發(fā)展，現(xiàn)代雷達(dá)技術(shù)日新月異，電子設(shè)備之間的數(shù)據(jù)傳輸率越來越高，尤其在現(xiàn)代雷達(dá)系統(tǒng)中，需要高速的數(shù)據(jù)傳輸、采集和大吞吐量的數(shù)據(jù)傳輸，來實(shí)現(xiàn)數(shù)據(jù)高速實(shí)時(shí)處理，傳統(tǒng)用于數(shù)據(jù)傳輸所采用的低速并行總線已經(jīng)無(wú)法滿足系統(tǒng)的要求。文中介紹的基于RapidIO協(xié)議的高速數(shù)據(jù)互聯(lián)模塊，采用了高速串行數(shù)據(jù)傳輸技術(shù)，實(shí)現(xiàn)了基于RapidIO協(xié)議的高速數(shù)據(jù)互聯(lián)以及千兆以太網(wǎng)數(shù)據(jù)通信，很好地滿足了現(xiàn)代雷達(dá)應(yīng)用實(shí)時(shí)性的要求，廣泛適用于雷達(dá)、聲納等領(lǐng)域。

1 模塊組成及功能框圖

基于RapidIO協(xié)議的高速數(shù)據(jù)互聯(lián)模塊采用接口符合VPX總線規(guī)范，支持RapidIO傳輸協(xié)議。其核心部分是一片高性能FPGA（XC5VFX100T?2FFG1136I），F(xiàn)PGA內(nèi)嵌一片PowerPC440處理器，F(xiàn)PGA提供2×4 RapidIO 數(shù)據(jù)通路，4路RocketIO數(shù)據(jù)通路，3路千兆以太網(wǎng)口，其中4路RocketIO連接到前面板的4個(gè)光口，2×4 RapidIO連接到VPX插座，3路千兆以太網(wǎng)口連到前面板，模塊原理框圖如圖1所示。

圖1 基于RapdiIO協(xié)議的高速數(shù)據(jù)互聯(lián)模塊原理框圖

2 關(guān)鍵技術(shù)及設(shè)計(jì)實(shí)現(xiàn)

2.1 復(fù)位電路設(shè)計(jì)

高速數(shù)據(jù)互聯(lián)模塊的復(fù)位電路，采用復(fù)位芯片MAX706，以及2片74LV125，1片3384構(gòu)建復(fù)位電路，巧妙實(shí)現(xiàn)了對(duì)整個(gè)模塊以及系統(tǒng)的全方位有效復(fù)位。

SYSRST#系統(tǒng)復(fù)位信號(hào)是VITA46規(guī)范定義在RP0連接器B13管腳上的標(biāo)準(zhǔn)復(fù)位信號(hào)。采用以下電路設(shè)計(jì)，模塊也可作為系統(tǒng)控制器，產(chǎn)生SYSRST#系統(tǒng)復(fù)位信號(hào)。Reset_button為前面板復(fù)位按鈕，用于模塊復(fù)位。系統(tǒng)上電后，SYSRST#系統(tǒng)復(fù)位信號(hào)為高，F(xiàn)PGA加載并工作，CONF_DONE為高電平，F(xiàn)PGA產(chǎn)生MAX706的Dog_in脈沖信號(hào)，74LV125產(chǎn)生模塊板級(jí)主復(fù)位信號(hào)MASTER_RST控制FPGA中的所有邏輯及各個(gè)接口。如果實(shí)際應(yīng)用中需要對(duì)系統(tǒng)進(jìn)行復(fù)位，只需將O_SYSRST信號(hào)置為低，模塊即可復(fù)位整個(gè)系統(tǒng)。復(fù)位信號(hào)產(chǎn)生原理如圖2所示。

圖2 復(fù)位信號(hào)設(shè)計(jì)原理

2.2 高速數(shù)據(jù)傳輸通道設(shè)計(jì)

高速數(shù)據(jù)互聯(lián)模塊以一片用戶可編程的Xilinx Virtex?5 Pro 系列的FPGA（XC5VFX100T）為核心芯片，采用目前廣泛應(yīng)用于通信系統(tǒng)的RapidIO協(xié)議實(shí)現(xiàn)高速數(shù)據(jù)傳輸通道。高速數(shù)據(jù)通道的設(shè)計(jì)是本模塊的重點(diǎn)和難點(diǎn)之一。

RapidIO協(xié)議是由Motorola 和Mercury 等公司率先倡導(dǎo)的一種高性能、低引腳數(shù)，基于數(shù)據(jù)包轉(zhuǎn)換的互聯(lián)體系，是為滿足現(xiàn)在和未來高性能嵌入式系統(tǒng)需求而設(shè)計(jì)的一種開放式互聯(lián)技術(shù)標(biāo)準(zhǔn)。主要應(yīng)用于嵌入式系統(tǒng)內(nèi)部，支持芯片到芯片，板到板件的通信，目前已經(jīng)廣泛應(yīng)用于無(wú)線基站、成像、視頻、工業(yè)控制等領(lǐng)域。

RapidIO協(xié)議采用三層分級(jí)體系架構(gòu)，分別為邏輯層、傳輸層和物理層。邏輯層位于最高層，定義全部協(xié)議和包的格式，它們?yōu)槎它c(diǎn)器件發(fā)起和完成事務(wù)提供必要的信息。傳輸層定義了RapidIO地址空間和在端點(diǎn)器件間傳輸包所需的路由信息。物理層規(guī)范在整個(gè)分級(jí)結(jié)構(gòu)的底部，包括器件級(jí)接口的細(xì)節(jié)，如包傳輸機(jī)制、流量控制、電氣性能和低級(jí)錯(cuò)誤管理。

本模塊中采用的是基于RapidIO協(xié)議中的NWRITE事務(wù)和DOORBELL事務(wù)實(shí)現(xiàn)系統(tǒng)間的高速數(shù)據(jù)傳輸，工作流程如圖3所示。

高速串行收發(fā)系統(tǒng)主要由RapidIO接口邏輯、數(shù)據(jù)收發(fā)緩存、收發(fā)傳輸控制幾大部分組成。數(shù)據(jù)的收發(fā)可分為數(shù)據(jù)發(fā)送傳輸控制通道和數(shù)據(jù)接收傳輸控制通道，發(fā)送通道和接收通道相互獨(dú)立。

2.2.1 接收傳輸控制設(shè)計(jì)

數(shù)據(jù)由RapidIO用戶接口進(jìn)入FPGA后，首先對(duì)數(shù)據(jù)包進(jìn)行類別鑒定，分析其事務(wù)類型，如果事務(wù)類型為NWRITE模式，同時(shí)數(shù)據(jù)有效，就將數(shù)據(jù)存入接收FIFO中，如果事務(wù)類型為DOORBELL模式，就將數(shù)據(jù)存入門鈴隊(duì)列。然后查詢FIFO狀態(tài)，若FIFO非空且RAM_A為空，就將數(shù)據(jù)依次寫入RAM_A，RAM_B，狀態(tài)機(jī)設(shè)計(jì)如圖4所示，一旦對(duì)外的光口鏈路建立，就將RAM_A和RAM_B中的數(shù)據(jù)依次打包通過光口送到外部系統(tǒng)。

圖4 接收控制狀態(tài)機(jī)

2.2.2 發(fā)送傳輸控制設(shè)計(jì)

在發(fā)送傳輸通道的設(shè)計(jì)中，高速數(shù)據(jù)從光口進(jìn)入模塊，首先對(duì)數(shù)據(jù)包進(jìn)行解析，如果接收到的數(shù)據(jù)為特殊控制字符如：0xFFFFAAAA，則將此字符存入門鈴隊(duì)列，同時(shí)發(fā)起相應(yīng)的中斷，如果是有效數(shù)據(jù)，且RAM_C為空，則將數(shù)據(jù)寫入雙口RAM，同時(shí)經(jīng)過一級(jí)FIFO緩存，用于同步系統(tǒng)內(nèi)外的用戶時(shí)鐘，然后進(jìn)入數(shù)據(jù)發(fā)送等待狀態(tài)，一旦系統(tǒng)對(duì)外的RapidIO接口鏈路建立，就將數(shù)據(jù)從RapidIO接口發(fā)送至其他系統(tǒng)。

由于在RapidIO協(xié)議中，數(shù)據(jù)是以有效載荷為8～256 B的小包進(jìn)行數(shù)據(jù)傳輸?shù)?，因此在NWRITE模式下，沒有定義硬件的數(shù)據(jù)流起始和結(jié)束標(biāo)志，所以在本系統(tǒng)中收發(fā)雙方約定在一幀數(shù)據(jù)收發(fā)結(jié)束后，數(shù)據(jù)發(fā)起者發(fā)送中斷（門鈴事務(wù)），表示一幀數(shù)據(jù)發(fā)送結(jié)束，接收方接收到此中斷后即可停止接收數(shù)據(jù)，進(jìn)入偵聽狀態(tài)，等待發(fā)起者啟動(dòng)下一次事務(wù)。

2.3 千兆以太網(wǎng)通信設(shè)計(jì)

利用FPGA（XC5VFX100T）內(nèi)嵌的一片PowerPC440處理器以及PHY芯片實(shí)現(xiàn)千兆以太網(wǎng)通信是本模塊設(shè)計(jì)的又一難點(diǎn)。設(shè)計(jì)共分為兩個(gè)部分，硬件平臺(tái)的搭建和軟件設(shè)計(jì)。

2.3.1 硬件平臺(tái)設(shè)計(jì)

PowerPC440處理器核是IBM專門為XILINX公司的FPGA開發(fā)的處理器產(chǎn)品，它在FPGA芯片出廠之前就已經(jīng)事先植入到芯片中。PowerPC440處理器硬核是一種32位哈佛結(jié)構(gòu)的RISC核，它的最高工作頻率目前可達(dá)到450 MHz，具有700D MIPS的運(yùn)行速度，是目前為內(nèi)置到FPGA所開發(fā)的處理器核當(dāng)中速度最快、性能最高的處理器IP核。

千兆以太網(wǎng)通信設(shè)計(jì)過程中，使用EDK 工具在FPGA芯片中進(jìn)行軟硬件協(xié)同設(shè)計(jì)，利用EDK自身攜帶的標(biāo)準(zhǔn)外設(shè)IP，如TEMAC，UART，GPIO，TIMER、中斷控制、DDR設(shè)備以及接口控制器來搭建硬件平臺(tái)。其中UART接口，采用的是RS 232協(xié)議，主要參數(shù)如下：波特率為9 600 b/s，8位有效位，無(wú)奇偶校驗(yàn)，1位停止位。硬件平臺(tái)設(shè)計(jì)如圖5所示。

圖5 硬件平臺(tái)框圖

硬件平臺(tái)中定義了PPC440處理器、系統(tǒng)總線、外設(shè)、以及存儲(chǔ)器等的鏈接關(guān)系。平臺(tái)中采用PLB高速總線將處理器和各個(gè)外設(shè)接口互聯(lián)，有效帶寬可達(dá)到2.1 Gb/s，同時(shí)提供32位的地址線和64位的數(shù)據(jù)線。

在構(gòu)建好的硬件平臺(tái)基礎(chǔ)上，對(duì)千兆以太網(wǎng)接口進(jìn)行設(shè)置，如圖6所示。

同時(shí)還需對(duì)所有設(shè)備接口的地址空間進(jìn)行配置，如圖7所示。

圖6 千兆以太網(wǎng)接口配置

圖7 接口地址配置

2.3.2 軟件設(shè)計(jì)

硬件平臺(tái)設(shè)計(jì)完成后，下一步就是進(jìn)行軟件設(shè)計(jì)。由于FPGA內(nèi)資源有限，因此本系統(tǒng)中采用LWIP協(xié)議棧來實(shí)現(xiàn)千兆以太網(wǎng)的通信。

LWIP是由瑞士計(jì)算機(jī)科學(xué)院開發(fā)的一套用于嵌入式系統(tǒng)的TCP/IP協(xié)議棧，既可以移植到操作系統(tǒng)上，又可以獨(dú)立運(yùn)行的輕型嵌入式TCP/IP協(xié)議棧。其主要特點(diǎn)是保持TCP/IP協(xié)議主要功能的基礎(chǔ)上減少對(duì)RAM的占用，可以大大減少內(nèi)存使用和代碼大小。

千兆以太網(wǎng)絡(luò)通信的實(shí)現(xiàn)除了TCP/IP協(xié)議的實(shí)現(xiàn)（IP/ICMP/UDP/TCP），還有包括許多相關(guān)支持模塊。包括操作系統(tǒng)模擬層、緩沖與內(nèi)存管理子系統(tǒng)、網(wǎng)絡(luò)接口函數(shù)等，部分代碼如圖8所示。

圖8 軟件代碼

最后使用EDK集成軟件，進(jìn)行軟硬件位流的合并，生成dowmload.bit文件，使用JTAG模式下載到FPGA芯片。經(jīng)測(cè)試，系統(tǒng)間通過網(wǎng)絡(luò)設(shè)備實(shí)現(xiàn)了可靠穩(wěn)定的數(shù)據(jù)傳輸。

3 信號(hào)完整性仿真

基于RapidIO協(xié)議的高速數(shù)據(jù)互聯(lián)模塊的傳輸速率達(dá)到了3.125 Gb/s，為了保障信號(hào)高速傳輸，因此對(duì)高速信號(hào)必須進(jìn)行信號(hào)完整性仿真。

選擇模塊中PCB走線情況最不理想的一對(duì)差分線：FX_MGTRX0_9_P，F(xiàn)X_MGTRX0_9_N，利用仿真軟件對(duì)該差分對(duì)的走線進(jìn)行仿真，分別提取過孔和傳輸線參數(shù)，得到整個(gè)鏈路的[S]參數(shù)如圖9所示。

圖9 FX_MGTRX0_9_P/N差分對(duì)的[S]參數(shù)

將抽取的通道參數(shù)添加至系統(tǒng)Hspice仿真網(wǎng)標(biāo)文件，得到發(fā)送端、接收端的仿真眼圖波形如圖10，圖11所示。

圖10 發(fā)送端仿真眼圖

經(jīng)過時(shí)域和頻域的仿真，模塊中的高速傳輸線可以滿足3.125 Gb/s的數(shù)據(jù)傳輸?shù)囊蟆?/p>

圖11 接收端仿真眼圖

4 結(jié) 語(yǔ)

基于RapidIO協(xié)議的高速數(shù)據(jù)互聯(lián)模塊采用高性能FPGA，實(shí)現(xiàn)了基于RapidIO的高速數(shù)據(jù)互聯(lián)以及千兆以太網(wǎng)通信，經(jīng)實(shí)測(cè)最高數(shù)據(jù)速率達(dá)到4.8 Gb/s。該模塊現(xiàn)已在雷達(dá)信號(hào)處理系統(tǒng)中得到應(yīng)用，各項(xiàng)性能指標(biāo)可滿足雷達(dá)應(yīng)用需求。

參考文獻(xiàn)

[1] BOGATIN Eric. RapidIO嵌入式系統(tǒng)互聯(lián)[M].北京：電子工業(yè)出版社，2006.

[2] JOHNSON Howard.高速數(shù)字設(shè)計(jì)[M].北京：電子工業(yè)出版社，2004.

[3] BOGATIN Eric.信號(hào)完整性分析[M].北京：電子工業(yè)出版社，2005.

[4] Xilinx. FPGA embedded tri?mode Ethernet MAC [M]. USA： Xilinx， 2009.

[5] Xilinx.可編程邏輯器件的設(shè)計(jì)與開發(fā)[M]. USA： Xilinx， 2010.

[6] 楊卿，楊萬(wàn)麟.基于串行RapidIO協(xié)議的無(wú)線通信基帶處理系統(tǒng)架構(gòu)[J].現(xiàn)代電子技術(shù)，2009，32（13）：103?106.

3 信號(hào)完整性仿真

基于RapidIO協(xié)議的高速數(shù)據(jù)互聯(lián)模塊的傳輸速率達(dá)到了3.125 Gb/s，為了保障信號(hào)高速傳輸，因此對(duì)高速信號(hào)必須進(jìn)行信號(hào)完整性仿真。

選擇模塊中PCB走線情況最不理想的一對(duì)差分線：FX_MGTRX0_9_P，F(xiàn)X_MGTRX0_9_N，利用仿真軟件對(duì)該差分對(duì)的走線進(jìn)行仿真，分別提取過孔和傳輸線參數(shù)，得到整個(gè)鏈路的[S]參數(shù)如圖9所示。

圖9 FX_MGTRX0_9_P/N差分對(duì)的[S]參數(shù)

將抽取的通道參數(shù)添加至系統(tǒng)Hspice仿真網(wǎng)標(biāo)文件，得到發(fā)送端、接收端的仿真眼圖波形如圖10，圖11所示。

圖10 發(fā)送端仿真眼圖

經(jīng)過時(shí)域和頻域的仿真，模塊中的高速傳輸線可以滿足3.125 Gb/s的數(shù)據(jù)傳輸?shù)囊蟆?/p>

圖11 接收端仿真眼圖

4 結(jié) 語(yǔ)

基于RapidIO協(xié)議的高速數(shù)據(jù)互聯(lián)模塊采用高性能FPGA，實(shí)現(xiàn)了基于RapidIO的高速數(shù)據(jù)互聯(lián)以及千兆以太網(wǎng)通信，經(jīng)實(shí)測(cè)最高數(shù)據(jù)速率達(dá)到4.8 Gb/s。該模塊現(xiàn)已在雷達(dá)信號(hào)處理系統(tǒng)中得到應(yīng)用，各項(xiàng)性能指標(biāo)可滿足雷達(dá)應(yīng)用需求。

參考文獻(xiàn)

[1] BOGATIN Eric. RapidIO嵌入式系統(tǒng)互聯(lián)[M].北京：電子工業(yè)出版社，2006.

[2] JOHNSON Howard.高速數(shù)字設(shè)計(jì)[M].北京：電子工業(yè)出版社，2004.

[3] BOGATIN Eric.信號(hào)完整性分析[M].北京：電子工業(yè)出版社，2005.

[4] Xilinx. FPGA embedded tri?mode Ethernet MAC [M]. USA： Xilinx， 2009.

[5] Xilinx.可編程邏輯器件的設(shè)計(jì)與開發(fā)[M]. USA： Xilinx， 2010.

[6] 楊卿，楊萬(wàn)麟.基于串行RapidIO協(xié)議的無(wú)線通信基帶處理系統(tǒng)架構(gòu)[J].現(xiàn)代電子技術(shù)，2009，32（13）：103?106.

3 信號(hào)完整性仿真

基于RapidIO協(xié)議的高速數(shù)據(jù)互聯(lián)模塊的傳輸速率達(dá)到了3.125 Gb/s，為了保障信號(hào)高速傳輸，因此對(duì)高速信號(hào)必須進(jìn)行信號(hào)完整性仿真。

選擇模塊中PCB走線情況最不理想的一對(duì)差分線：FX_MGTRX0_9_P，F(xiàn)X_MGTRX0_9_N，利用仿真軟件對(duì)該差分對(duì)的走線進(jìn)行仿真，分別提取過孔和傳輸線參數(shù)，得到整個(gè)鏈路的[S]參數(shù)如圖9所示。

圖9 FX_MGTRX0_9_P/N差分對(duì)的[S]參數(shù)

將抽取的通道參數(shù)添加至系統(tǒng)Hspice仿真網(wǎng)標(biāo)文件，得到發(fā)送端、接收端的仿真眼圖波形如圖10，圖11所示。

圖10 發(fā)送端仿真眼圖

經(jīng)過時(shí)域和頻域的仿真，模塊中的高速傳輸線可以滿足3.125 Gb/s的數(shù)據(jù)傳輸?shù)囊蟆?/p>

圖11 接收端仿真眼圖

4 結(jié) 語(yǔ)

基于RapidIO協(xié)議的高速數(shù)據(jù)互聯(lián)模塊采用高性能FPGA，實(shí)現(xiàn)了基于RapidIO的高速數(shù)據(jù)互聯(lián)以及千兆以太網(wǎng)通信，經(jīng)實(shí)測(cè)最高數(shù)據(jù)速率達(dá)到4.8 Gb/s。該模塊現(xiàn)已在雷達(dá)信號(hào)處理系統(tǒng)中得到應(yīng)用，各項(xiàng)性能指標(biāo)可滿足雷達(dá)應(yīng)用需求。

參考文獻(xiàn)

[1] BOGATIN Eric. RapidIO嵌入式系統(tǒng)互聯(lián)[M].北京：電子工業(yè)出版社，2006.

[2] JOHNSON Howard.高速數(shù)字設(shè)計(jì)[M].北京：電子工業(yè)出版社，2004.

[3] BOGATIN Eric.信號(hào)完整性分析[M].北京：電子工業(yè)出版社，2005.

[4] Xilinx. FPGA embedded tri?mode Ethernet MAC [M]. USA： Xilinx， 2009.

[5] Xilinx.可編程邏輯器件的設(shè)計(jì)與開發(fā)[M]. USA： Xilinx， 2010.

[6] 楊卿，楊萬(wàn)麟.基于串行RapidIO協(xié)議的無(wú)線通信基帶處理系統(tǒng)架構(gòu)[J].現(xiàn)代電子技術(shù)，2009，32（13）：103?106.