串行RapidIO交換技術(shù)

謝麗斌，劉 凱，尚 煜

(西安電子科技大學電子工程學院，陜西西安 710071)

當前，集成工藝水平的飛速發(fā)展使得現(xiàn)場可編程門陣列(Field Programmable Gate Array，F(xiàn)PGA)、數(shù)字信號處理器(Digital Signal Processor，DSP)以及專用集成電路(Application Specific Integrated Circuit，ASIC)等處理器內(nèi)核性能得到了較大的提升，表征處理器處理能力的時鐘頻率呈指數(shù)增長。于此同時隨著語音數(shù)字輸入、圖像處理和陣列雷達等需大量實時數(shù)據(jù)處理需求的出現(xiàn)，僅靠單個處理器無法滿足大數(shù)據(jù)量的高速實時處理要求，分布式并行處理成為提高系統(tǒng)性能的有效解決途徑，已廣泛應(yīng)用于高速實時信號處理領(lǐng)域。

影響分布式并行處理系統(tǒng)性能的因素主要包括:處理器的性能、處理單元的互聯(lián)網(wǎng)絡(luò)以及并行算法和任務(wù)的分配［1］。在處理器性能得到保證以及并行算法和任務(wù)分配確定的前提下，處理單元之間的互聯(lián)方式成為系統(tǒng)性能提升的瓶頸。傳統(tǒng)并行總線由于其自身缺陷已無法滿足系統(tǒng)的互聯(lián)通信需求，新興的高速串行傳輸方式取代并行成為互聯(lián)通信的主流。其中，串行RapidIO(Serial RapidIO)以其低引腳數(shù)，基于報文交換的互聯(lián)體系結(jié)構(gòu)，高帶寬、低延時、高效率及高可靠性等優(yōu)點成為嵌入式系統(tǒng)互聯(lián)的國際標準，為高性能嵌入式系統(tǒng)互聯(lián)提供了良好的解決方案。文中討論的重點是分析RapidIO的交換原理并完成了一種基于IDT公司Tsi578芯片的基于交叉開關(guān)的可重構(gòu)組網(wǎng)方案的設(shè)計。

1 RapidIO協(xié)議概述

RapidIO是一種開放的嵌入式互聯(lián)標準，由RapidIO行業(yè)協(xié)會支持開發(fā)，并指導其構(gòu)架的未來發(fā)展方向。RapidIO技術(shù)最初是由Freescale和Mercury共同研發(fā)的一項互連技術(shù)，既可作為處理器的前端總線，用與處理器之間的互連，還可作為系統(tǒng)級互連的高效前端總線而使用。1999年完成第一個標準的制定，當前最新版本為Version2.0。RapidIO已經(jīng)成為電信，通訊以及嵌入式系統(tǒng)內(nèi)的芯片與芯片之間，板與板之間的背板互連技術(shù)的生力軍。

RapidIO操作是基于請求和響應(yīng)事物的。包是系統(tǒng)中端點器件間的基本通信單元。發(fā)起器件或主控器件產(chǎn)生一個請求事物，該事物被發(fā)送至目標器件。目標器件產(chǎn)生一個響應(yīng)事物返回至發(fā)起器件來完成該次操作。RapidIO互聯(lián)定義包括兩類技術(shù):面向高性能微處理器及系統(tǒng)互聯(lián)的并行接口;面向串行背板、DSP和相關(guān)串行控制平面應(yīng)用的串行接口［2］。與以太網(wǎng)協(xié)議類似，RapidIO也采用分層結(jié)構(gòu)，由邏輯層、傳輸層和物理層構(gòu)成。圖1所示為其協(xié)議的分層結(jié)構(gòu)。邏輯層規(guī)范位于最高層，定義了協(xié)議和包的格式，為端點器件發(fā)起和完成事物提供必要的信息。傳輸層規(guī)范位于中間層，定義RapidIO地址空間和在端點器件間傳輸所需的路由信息。物理層規(guī)范在整個分層結(jié)構(gòu)的底層，包括器件接口的細節(jié)，如包傳輸機制、流量控制、電氣特性和低級錯誤管理等［3］。

圖1 RapidIO協(xié)議分層結(jié)構(gòu)

RapidIO最明顯的一個特點就是采用了單一的公用傳輸層規(guī)范來相容、匯聚不同的邏輯層和物理層，單一的傳輸層實體增強了RapidIO的適應(yīng)性，方便互聯(lián)網(wǎng)絡(luò)的設(shè)計。

2 RapidIO交換原理

RapidIO傳輸層的包格式被設(shè)計為獨立于交換結(jié)構(gòu)，如此系統(tǒng)互聯(lián)就可以采用特定應(yīng)用所需的任何技術(shù)。通常RapidIO是圍繞交換機來組織的，除了交換機以外RapidIO網(wǎng)絡(luò)的另一個基本結(jié)構(gòu)是端點(Endpoints)。端點是數(shù)據(jù)包的發(fā)送者和接受者，交換機用來對端點之間傳送數(shù)據(jù)包。RapidIO使用器件ID唯一地識別網(wǎng)絡(luò)中的所有器件，幾乎可以支持任何系統(tǒng)拓撲結(jié)構(gòu)。器件ID內(nèi)部不包含關(guān)于器件具體位置的信息。互聯(lián)器件負責發(fā)現(xiàn)器件的具體位置并且通過目標器件ID轉(zhuǎn)發(fā)包。在系統(tǒng)啟動時的系統(tǒng)發(fā)現(xiàn)(System Discovery)階段找到器件在系統(tǒng)中的位置。雖然交換機不知道器件在系統(tǒng)中的確切位置，但通過編程可以使交換機理解器件在系統(tǒng)中所處的方位。當器件位置改變時——可能發(fā)生熱插拔(Hot Swap)或路徑故障情況下，只需重新配置交換機就可以獲得新的拓撲結(jié)構(gòu)［4］。

RapidIO中，器件與器件間的通信是通過發(fā)送包含源和目的器件ID包進行的。器件ID是位于包頭的8位或16位字段，交換芯片通過器件ID將包轉(zhuǎn)發(fā)到最終目的。交換芯片使用查找表保持器件ID和正確的輸出端口間的關(guān)系。只要包給定了器件ID，交換芯片就能夠為其找到輸出端口。由于器件ID字段相對較小并且使用了哈希關(guān)鍵字來縮小查找表，所以交換機可以很快查找并且不會增加RapidIO包通過交換器件的傳輸延遲。

由于目的和源器件ID都包含在包頭中，所以交換機和端點不僅知道包去向何處，而且知道包的來處。系統(tǒng)可以使用源器件ID來送回一個響應(yīng)，表明正確的操作已經(jīng)完成或出現(xiàn)一個錯誤條件。RapidIO僅通過硬件結(jié)構(gòu)來得到可靠的信道，使得在有限信任系統(tǒng)中來回搬移數(shù)據(jù)的效率較高。

3 RapidIO交換功能方案設(shè)計

3.1 方案概述

在雷達信號處理、數(shù)字圖像處理領(lǐng)域，海量數(shù)據(jù)高速實時處理至關(guān)重要。由于FPGA芯片在大數(shù)據(jù)量的底層算法處理上的優(yōu)勢及DSP芯片在復(fù)雜算法處理上的優(yōu)勢，DSP+FPGA的系統(tǒng)構(gòu)架越來越廣泛，這就使得FPGA與DSP芯片之間數(shù)據(jù)的實時通信至關(guān)重要。本方案正是基于這種需求，設(shè)計了一種基于串行RapidIO的交換模塊。在保證系統(tǒng)中DSP與FPGA之間數(shù)據(jù)高速交換的同時，由于采用了Tsi578交換芯片，DSP與FPGA之間的互聯(lián)網(wǎng)絡(luò)可根據(jù)不同需要重新配置，既可在系統(tǒng)工作之前對互聯(lián)網(wǎng)絡(luò)進行配置，也可在運行過程中修改DSP于FPGA的互聯(lián)，達到互聯(lián)網(wǎng)絡(luò)的靜態(tài)和動態(tài)可重構(gòu)。

3.2 Tsi578芯片及其交換功能實現(xiàn)

在串行RapidIO互聯(lián)應(yīng)用中，通常不直接將端點器件直接相連，而是利用交換結(jié)構(gòu)構(gòu)建可重構(gòu)的動態(tài)網(wǎng)絡(luò)，其中交換芯片作為組成交換結(jié)構(gòu)核心部件。目前市面上專業(yè)的RapidIO芯片提供商包括IDT公司、PMC-Serial公司和Mercure公司，其中IDT公司在合并原來的Tundra公司后產(chǎn)品最全。設(shè)計選取的交換芯片為IDT公司的Tsi578芯片。該款交換芯片是聚合帶寬達80 Gbit·s-1的全雙工串行RapidIO交換器，符合1.3版本的串行RapidIO規(guī)范，適用于網(wǎng)狀、矩陣架構(gòu)與集成系統(tǒng)的高度可擴展解決方案。該芯片可配置高達8個4×模式鏈接或16個1×模式鏈接，單個鏈路支持1.25、2.5及3.125 Gbit·s-1的速率。有關(guān)端口完全獨立，且交換器支持混合的速度及帶寬配置［5］。

Tsi578每個端口都有各自獨立的查找表，各端口支持兩種模式的操作:Flat mode和Hierarchical mode。Flat mode是默認的模式，支持ID的范圍為0～511，超出該范圍的包將被路由到寄存器設(shè)置的默認端口。Hierarchical mode可尋址的最大范圍為6 400。以Flat mode為例，如圖2所示為一個典型的該模式的路由方式。Tsi578收到包后先進行完整性檢查，例如CRC校驗等，并通過物理層發(fā)送確認信號給源器件，再由邏輯端口定位到目的ID。如果ID＜256則查找本地查找表，如包A目的IDox12對應(yīng)的輸出端口為端口2，那么該包的輸入端口將與端口2連通;若目的ID≥256而＜512則查找全局查找表，如包C目的IDox145對應(yīng)的輸出端口為端口9，那么該包的輸入端口將與端口9連同;所有目的ID＞512的包將被發(fā)送到默認端口14。

圖2 Tsi578基于端口查找表的路由方式

在具體應(yīng)用中，通過對Tsi578內(nèi)部寄存器進行正確的配置來實現(xiàn)其路由、鏈路維護和系統(tǒng)重構(gòu)等功能。配置方式包括:(1)通過I2C總線從E2ROM中讀取配置信息。(2)通過配置軟件經(jīng)JJAG接口在線配置。(3)發(fā)送RapidIO維護包對寄存器進行配置。

上述配置方式中，第一種在Tsi578上電時完成對寄存器的配置，通過刷新E2ROM中的內(nèi)容實現(xiàn)靜態(tài)的鏈路重構(gòu);第二種為系統(tǒng)調(diào)試狀態(tài)時采用的配置方式，可隨時更改配置信息;第三種方式在系統(tǒng)正常工作的情況下可通過發(fā)送維護包隨時更改配置信息，實現(xiàn)鏈路的動態(tài)重構(gòu)。正是由于Tsi578配置的靈活性，大大方便了可重構(gòu)分布式并行處理網(wǎng)絡(luò)設(shè)計的設(shè)計。

3.3 方案設(shè)計

根據(jù)以上對RapidIO的交換原理以及Tsi578交換功能實現(xiàn)的分析，設(shè)計了一種基于 Tsi78芯片的RapidIO交換模塊。圖3所示為本方案的硬件結(jié)構(gòu)框圖。以交換芯片為核心，各端口圍繞交換芯片引出。其中端口2、4、10和12這4個端口用于連接AMC接口新式的插卡，AMC0連接兩個個端口，AMC1和AMC2分別連接一個端口。端口0和端口8連接SMA形式的接口設(shè)備，端口14連接串行LVDS形式的接口設(shè)備，端口16連接HIP形式的接口設(shè)備，當然在具體應(yīng)用中設(shè)計者可以選擇不同形式的機械接口。交換模塊方案能實現(xiàn)以下功能:(1)可提供不同的接口形式，方便不同器件或設(shè)備的連接。(2)既可作為單板上支持RapidIO協(xié)議不同芯片之的交換模塊，也可作為背板為不同功能的處理板提供互聯(lián)。(3)模塊配置靈活，可重構(gòu)性高。

圖3 基于Tsi578的交換電路硬件結(jié)構(gòu)框圖

3.4 功能驗證

交換模塊在某一雷達信號處理系統(tǒng)中得到了驗證，此系統(tǒng)采用基于交換的拓撲結(jié)構(gòu)，處理板上有多片DSP與FPGA，其間以串行RapidIO總線互連。在系統(tǒng)中，對交換模塊作了如下驗證:(1)在系統(tǒng)工作之前將配置程序燒寫入Tsi578的配置芯片，對互連網(wǎng)絡(luò)靜態(tài)重構(gòu)性進行驗證。(2)系統(tǒng)工作過程中通過發(fā)送RapidIO維護包對Tsi578的內(nèi)部寄存器重新配置驗證互連網(wǎng)絡(luò)的動態(tài)重構(gòu)性。(3)傳輸1.25、2.5、3 Gbit·s-1這3種速率的高速RapidIO信號，驗證通信是否可靠。在上述驗證中，交換模塊均可以穩(wěn)定可靠的運行，實現(xiàn)了靜態(tài)和動態(tài)可重構(gòu)。

4 結(jié)束語

介紹了一種高速串行總線——RapidIO協(xié)議并對其交換原理進行了研究，在此基礎(chǔ)上分析了Tsi578交換芯片的工作原理并基于該芯片完成了一種可重構(gòu)的RapidIO互聯(lián)網(wǎng)絡(luò)設(shè)計。隨著分布式并行處理技術(shù)的廣泛應(yīng)用，并行系統(tǒng)互聯(lián)網(wǎng)絡(luò)設(shè)計的重要性日益突出。另一方面在高速互聯(lián)領(lǐng)域中串行取代并行方式成為主力這一趨勢下，支持RapidIO協(xié)議的芯片也越來越多，基于RapidIO的可重構(gòu)交換網(wǎng)絡(luò)的設(shè)計具有較強的實用價值，并將有廣泛的應(yīng)用。

［1］辛師勃.并行信號處理系統(tǒng)研究［D］.南京:南京理工大學，2004.

［2］SAM F.RapidIO嵌入式系統(tǒng)互聯(lián)［M］.王勇，林粵偉，吳冰，等，譯.北京:電子工業(yè)出版社，2006.

［3］鄧豹，趙小冬.基于串行RapidIO的嵌入式互聯(lián)研究［J］.航空計算技術(shù)，2008，38(3):123-126.

［4］RapidIO Trade Association.RapidIO interco-nnect specification review1.3 ［S］.Texas，USA:RapidIO Trade Association，2005.

［5］IDT Corporation.Tsi578 serial rapidio switch user manual［M］.California，USA:Integrated Device Technology，2010.