一種基于Serial Rapid IO標(biāo)準(zhǔn)協(xié)議的高速交換技術(shù)*

朱新忠 王冠雄 韋杰 鮑迪 李毅

（上海航天電子技術(shù)研究所/八院智能計(jì)算技術(shù)重點(diǎn)實(shí)驗(yàn)室，上海，201109）

隨著航天載荷技術(shù)的發(fā)展，載荷產(chǎn)生的數(shù)據(jù)量以及數(shù)據(jù)速率呈爆發(fā)性增加。以某光學(xué)相機(jī)9Gbps的數(shù)據(jù)速率為例，當(dāng)前衛(wèi)星平臺(tái)較弱的在軌處理能力和數(shù)傳能力 （900Mbps）無(wú)法完成新型載荷數(shù)據(jù)的實(shí)時(shí)傳輸、存儲(chǔ)或?qū)崟r(shí)處理任務(wù)。此外，傳統(tǒng)空間信息系統(tǒng)往往采用直連的拓?fù)浣Y(jié)構(gòu)，具有定制性強(qiáng)、通用性差、互聯(lián)不靈活的缺點(diǎn)。而網(wǎng)絡(luò)化拓?fù)渚哂袛U(kuò)展性強(qiáng)、通用性高、組網(wǎng)靈活、可實(shí)現(xiàn)多種冗余架構(gòu)的優(yōu)勢(shì)，是當(dāng)前空間信息系統(tǒng)和高性能計(jì)算系統(tǒng)的研究熱點(diǎn)。

為提升空間信息系統(tǒng)的數(shù)據(jù)傳輸能力，優(yōu)化空間信息系統(tǒng)單機(jī)內(nèi)、單機(jī)間的互聯(lián)拓?fù)浼軜?gòu)，基于Serial RapidIO（SRIO）標(biāo)準(zhǔn)協(xié)議的高速交換技術(shù)，我們分析了SRIO協(xié)議及CPS 1848交換芯片特點(diǎn)，結(jié)合SpaceVPX架構(gòu)，研究了一種交換陣列，以此為基礎(chǔ)構(gòu)建了SRIO交換模塊，并進(jìn)行基于SRIO協(xié)議的高速交換的技術(shù)驗(yàn)證。

1 SRIO協(xié)議

SRIO協(xié)議是一種標(biāo)準(zhǔn)通信協(xié)議，以高速Serdes（高速串并轉(zhuǎn)換收發(fā)器）為物理層接口，可實(shí)現(xiàn)流量控制、交換及光電傳輸，具備構(gòu)建網(wǎng)絡(luò)化空間信息系統(tǒng)的潛力。SRIO協(xié)議具有傳輸協(xié)議簡(jiǎn)單、支持多種網(wǎng)絡(luò)拓?fù)?、軟件依賴性小的?yōu)點(diǎn)，適合在惡劣空間環(huán)境下實(shí)現(xiàn)嵌入式系統(tǒng)的高速互聯(lián)。SRIO協(xié)議支持5種基礎(chǔ)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)：雙星互聯(lián)拓?fù)?、單星互?lián)拓?fù)洹涡菙U(kuò)展拓?fù)?、全互?lián)拓?fù)浜筒糠只ヂ?lián)拓?fù)洹?/p>

SRIO協(xié)議只通過(guò)物理層、傳輸層即可完成數(shù)據(jù)的交換轉(zhuǎn)發(fā)。交換節(jié)點(diǎn)依靠包的路由來(lái)實(shí)現(xiàn)其交換功能。在SRIO互聯(lián)系統(tǒng)內(nèi)，每個(gè)可尋址器件至少具有一個(gè)唯一的DeviceID，當(dāng)通信節(jié)點(diǎn)產(chǎn)生數(shù)據(jù)包時(shí)，會(huì)將destID和sourceID放在包頭。SRIO交換部件內(nèi)部設(shè)有路由表將不同的DeviceID映射到物理端口，SRIO交換部件通過(guò)解析收到的包頭取得當(dāng)前包的destID和sourceID并輸入路由表查找到相應(yīng)的物理端口，完成查找后導(dǎo)通相應(yīng)端口實(shí)現(xiàn)包的路由操作從而完成交換。

2 基于CPS 1848的交換組網(wǎng)技術(shù)

2.1 交換陣列

目前高速SRIO交換芯片的種類較少，較為常用的是IDT公司的CPS 1848。該芯片采用48路雙向RapidIO端口組成Switch結(jié)構(gòu) （交換結(jié)構(gòu)）。芯片設(shè)計(jì)符合RapidIO 2.1標(biāo)準(zhǔn)，支持多種位寬模式、全端口無(wú)阻塞交換以及熱插拔。該芯片允許從外部對(duì)拓?fù)浣Y(jié)構(gòu)進(jìn)行動(dòng)態(tài)配置，可以實(shí)時(shí)進(jìn)行網(wǎng)絡(luò)重構(gòu)。

CPS 1848微架構(gòu)如圖1所示[1]，該芯片具有48路Serdes接口，單通道最大線速可達(dá)6.25Gbps，單片峰值交換吞吐量可達(dá)240Gbps。

圖1 CPS 1848微架構(gòu)

根據(jù)性能需求，采用3顆CPS 1848組網(wǎng)即可構(gòu)成交換陣列，如圖2所示。交換陣列用于執(zhí)行不同端口之間的導(dǎo)通/關(guān)斷，并提供交換緩沖，性能參數(shù)如下。

a）端口數(shù)量：如果使用標(biāo)準(zhǔn)VPX接插件的所有差分節(jié)點(diǎn)，最多可以為底板 （見(jiàn)圖2中P2～P6）提供 19路 4×通道的交換接口 （見(jiàn)圖 2中DP01～DP19）；同時(shí)能夠向交換前面板提供3路4×通道的對(duì)外交換接口。

b）交換吞吐量：峰值可達(dá)440Gbps，底板接口吞吐量可達(dá)380Gbps，對(duì)外接口吞吐量可達(dá)60Gbps。

c）負(fù)載分析：86%的交換資源都用于底板交換，在僅保證系統(tǒng)底板數(shù)據(jù)交換時(shí)，交換陣列內(nèi)各芯片幾乎滿載。

圖2 交換陣列結(jié)構(gòu)

在4×模式下，根據(jù)CPS 1848的端口透?jìng)鲿r(shí)間，計(jì)算SRIO交換網(wǎng)絡(luò)延時(shí)信息，結(jié)果見(jiàn)表1?？梢钥闯觯珻PS 1848交換陣列增加了端對(duì)端交換的傳輸延時(shí)，但是在保證交換端口數(shù)大于20的情況下，各端口間的交換跳數(shù)和延時(shí)趨于平穩(wěn)和一致，從而使得系統(tǒng)高速數(shù)據(jù)的傳輸時(shí)序更為穩(wěn)定。

表1 SRIO交換網(wǎng)絡(luò)延時(shí)表

2.2 交換模塊

以交換陣列為基礎(chǔ)構(gòu)建交換模塊，交換模塊用于實(shí)現(xiàn)系統(tǒng)內(nèi)模塊之間、系統(tǒng)與外部通信節(jié)點(diǎn)之間的高速數(shù)據(jù)交換，具體包括交換端口、FPGA、DSP和交換陣列等部分。

3 基于IBIS-AMI模型的信號(hào)完整性分析

使用IDT公司提供的SRIO交換芯片Serdes接口的IBIS-AMI模型[2]，對(duì)通信接口及鏈路進(jìn)行信號(hào)完整性分析。在空間電子系統(tǒng)應(yīng)用場(chǎng)景下，交換模塊與系統(tǒng)內(nèi)其他模塊通過(guò)底板連接，底板作為高速串行通信的信道介質(zhì)，SRIO接口、底板的信號(hào)完整性分析對(duì)于交換模塊、系統(tǒng)底板的設(shè)計(jì)與研制具有重要意義。從底板的PCB中提取最長(zhǎng)信道和的傳輸線模型，最長(zhǎng)路徑19.807cm，線寬 140μm，特性阻抗 59Ω，延時(shí)1.447ns，收端均串接0.1μF的耦合電容。

眼圖波罩如圖3所示，在最長(zhǎng)路徑下，繪制了不同速率時(shí)Serdes的收端信號(hào)眼圖，如圖4所示。測(cè)試比特?cái)?shù)為100萬(wàn)，采用8b/10b編碼?？梢?jiàn)在最長(zhǎng)路徑、最短路徑下，信道收端的眼圖在不同速率下均可將眼圖波罩放入眼圖內(nèi)部，其中當(dāng)收端串接0.1μF的交流耦合電容時(shí)高速傳輸（高于5Gbps時(shí)）的信號(hào)完整性更好，但對(duì)長(zhǎng)路徑下的低速傳輸有輕微影響。綜上所述，交換模塊信號(hào)完整性設(shè)計(jì)合理。

圖3 RPIO 2.0收端眼圖波罩（代入CPS 1848參數(shù)）

圖4 最長(zhǎng)路徑下的Serdes眼圖

4 交換技術(shù)驗(yàn)證及測(cè)試分析

4.1 測(cè)試系統(tǒng)

在單星拓?fù)湎?，進(jìn)行測(cè)試以驗(yàn)證SRIO交換模塊的交換速率和信號(hào)完整性。測(cè)試系統(tǒng)由直流電源、測(cè)試設(shè)備、測(cè)試計(jì)算機(jī)、網(wǎng)線及各類測(cè)試電纜組成。

測(cè)試信息流見(jiàn)及數(shù)據(jù)信息見(jiàn)表2，高速數(shù)字信號(hào)處理模塊使用板內(nèi)DSP的集成SRIO接口經(jīng)交換模塊向與板內(nèi)Kintex-7 FPGA互發(fā)數(shù)據(jù)[3]，從而對(duì)SRIO交換模塊進(jìn)行技術(shù)驗(yàn)證。并使用Xilinx的IBERT IP核使用FPGA繪制SRIO接口在單路速率為5Gbps時(shí)的信號(hào)眼圖。

表2 SRIO數(shù)據(jù)包信息

4.2 測(cè)試結(jié)果分析

如圖5 a）所示為DSP內(nèi)基地址為0x0c100000的一段初始化為順序數(shù)的內(nèi)存，DSP將此段數(shù)據(jù)以DMA方式[4]由SRIO接口發(fā)出，經(jīng)過(guò)交換模塊后，通過(guò)ILA邏輯分析儀在FPGA內(nèi)部可以觀測(cè)到接收到的順序數(shù)，詳情如圖5 b）所示。

同時(shí)，F(xiàn)PGA也使用SRIO接口通過(guò)交換模塊向DSP傳輸數(shù)據(jù) （如圖6所示），DSP的SRIO接口模塊接收到數(shù)據(jù)包后，根據(jù)解析包頭將數(shù)據(jù)以DMA方式寫入起始地址為0x0c000000的內(nèi)存內(nèi)。

圖5 SRIO數(shù)據(jù)互傳 （DSP向FPGA）

圖6 SRIO數(shù)據(jù)互傳 （FPGA向DSP）

使用Xilinx的IBERT IP核測(cè)試Serdes接口的內(nèi)回環(huán)通信誤碼率，測(cè)得誤碼率為10-8。在DSP上測(cè)得實(shí)際有效速率為12.368Gbps。根據(jù)有效速率與鏈路速率的關(guān)系計(jì)算鏈路速率可達(dá)到20Gbps。

本文研究了基于SRIO協(xié)議的高速串行總線交換技術(shù)，開(kāi)展了信號(hào)完整性分析，基于CPS 1848芯片進(jìn)行了SRIO交換技術(shù)驗(yàn)證，在測(cè)試過(guò)程中使用了高性能FPGA及多核DSP SOC的SRIO接口對(duì)本文所述的交換技術(shù)進(jìn)行驗(yàn)證，鏈路速率達(dá)到20Gbps，理論吞吐率達(dá)到440Gbps，測(cè)試結(jié)果表明本文所述基于SRIO協(xié)議的高速串行總線交換技術(shù)具備較強(qiáng)的數(shù)據(jù)傳輸能力和組網(wǎng)能力，在高速網(wǎng)絡(luò)化信息系統(tǒng)領(lǐng)域具備廣闊的應(yīng)用前景。