基于NetFPGA的列車(chē)以太骨干網(wǎng)負(fù)載均衡的設(shè)計(jì)

周召均，夏浩延，付闖闖

（西南交通大學(xué) 電氣工程學(xué)院，碩士研究生，四川 成都 610031）

現(xiàn)代列車(chē)正朝著高速化、自動(dòng)化和舒適化方向發(fā)展，與傳統(tǒng)的列車(chē)相比，機(jī)車(chē)車(chē)輛各計(jì)算機(jī)之間相互傳輸交換的信息量越來(lái)越大，諸如列車(chē)控制信息（如牽引、制動(dòng)、空調(diào)）、診斷信息（如設(shè)備故障信息、維修信息）、旅客信息（如預(yù)報(bào)站、線路）、語(yǔ)音視頻等。列車(chē)通信網(wǎng)絡(luò)已成為高速列車(chē)系統(tǒng)的關(guān)鍵技術(shù)?，F(xiàn)有的列車(chē)工業(yè)現(xiàn)場(chǎng)總線如絞線列車(chē)總線（WTB）、多功能車(chē)輛總線（MVB）、CAN總線等已逐漸不能夠滿足列車(chē)信息的超大容量、實(shí)時(shí)性的需求。一些新的工業(yè)現(xiàn)場(chǎng)總線就引入了列車(chē)通信網(wǎng)絡(luò)，工業(yè)以太網(wǎng)就是其中之一〔1〕。

目前，工業(yè)以太網(wǎng)技術(shù)在列車(chē)通信系統(tǒng)領(lǐng)域中還沒(méi)有得到充分應(yīng)用。但與其他現(xiàn)場(chǎng)總線相比，工業(yè)以太網(wǎng)在列車(chē)網(wǎng)絡(luò)中具有突出優(yōu)勢(shì)。工業(yè)以太網(wǎng)提供了針對(duì)控制網(wǎng)絡(luò)數(shù)據(jù)傳輸?shù)囊蕴W(wǎng)標(biāo)準(zhǔn)，具有較高的網(wǎng)絡(luò)安全性、可操作性與實(shí)時(shí)性，同時(shí)克服了現(xiàn)有列車(chē)網(wǎng)絡(luò)總線傳輸速度低下、組網(wǎng)拓?fù)鋯我坏热毕荩浅＿m合在列車(chē)通信網(wǎng)絡(luò)中應(yīng)用〔2〕。其主要優(yōu)勢(shì)體現(xiàn)：以太網(wǎng)是目前應(yīng)用最為廣泛的計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)，受到廣泛的技術(shù)支持，而且基于TCP/IP協(xié)議的以太網(wǎng)是一種標(biāo)準(zhǔn)的開(kāi)放式網(wǎng)絡(luò)，相對(duì)于目前使用的令牌總線（ARCNET）、CAN總線等列車(chē)網(wǎng)絡(luò)，其成本更加低廉。本文的開(kāi)發(fā)思路是基于NetFPGA硬件平臺(tái)作二次開(kāi)發(fā)，在數(shù)據(jù)鏈路層實(shí)現(xiàn)負(fù)載均衡傳輸，從而減小網(wǎng)絡(luò)延時(shí)和沖突幾率，提高網(wǎng)絡(luò)的實(shí)時(shí)性，同時(shí)增加網(wǎng)絡(luò)的帶寬，采用硬件冗余方式，提高網(wǎng)絡(luò)系統(tǒng)的性能。

1 Ne t FPG A列車(chē)骨干網(wǎng)絡(luò)硬件平臺(tái)

NetFPGA是由美國(guó)斯坦福大學(xué)開(kāi)發(fā)的為研究人員可在硬件上搭建千兆的高性能網(wǎng)絡(luò)模型的低成本可重用的硬件平臺(tái)〔3〕。NetFPGA系統(tǒng)是由NetFPGA開(kāi)發(fā)板、運(yùn)行于操作系統(tǒng)的PC機(jī)以及相應(yīng)的軟件組成，通過(guò)相互間的配合數(shù)據(jù)交換形成網(wǎng)絡(luò)結(jié)構(gòu)系統(tǒng)。其中NetFPGA開(kāi)發(fā)板是核心，它是通過(guò)PCI與運(yùn)行軟件的PC機(jī)通信的，其包括1個(gè)用于用戶自定義的邏輯編程的Virtex-II Pro50和1個(gè)用于實(shí)現(xiàn)連接主機(jī)CPU的PCI接口控制邏輯的Xilinx Spartan以及4個(gè)千兆以太網(wǎng)MAC控制器等構(gòu)成。

本文選取NetFPAGA作為硬件平臺(tái)的原因：一是NetFPGA硬件平臺(tái)是一個(gè)開(kāi)放的平臺(tái)，在網(wǎng)絡(luò)上有大量的源代碼和參考設(shè)計(jì)，在此基礎(chǔ)上做二次開(kāi)發(fā)比較方便。二是在于其模塊化設(shè)計(jì)理念，可使開(kāi)發(fā)者很容易在NetFPGA平臺(tái)上設(shè)計(jì)出高性能的網(wǎng)絡(luò)系統(tǒng)〔4-6〕。本文利用NetFPGA平臺(tái)參考路由器進(jìn)行二次開(kāi)發(fā)，在路由器的網(wǎng)絡(luò)層實(shí)現(xiàn)數(shù)據(jù)的負(fù)載均衡，使數(shù)據(jù)在數(shù)據(jù)鏈路層分開(kāi)，沿不同的物理線路傳輸?shù)侥康牡?，以減小因數(shù)據(jù)量過(guò)大而阻塞的幾率，增大骨干網(wǎng)絡(luò)各個(gè)路由器之間傳輸?shù)男畔⒘俊?/p>

2 Ne t FPG A硬件平臺(tái)及設(shè)計(jì)方案

2.1 列車(chē)骨干網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu) 列車(chē)骨干網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的方案是基于IEC61375 2-5〔1〕的工業(yè)以太網(wǎng)進(jìn)行設(shè)計(jì)的，使用Xilinx NetFPGA通過(guò)二次開(kāi)發(fā)搭建工業(yè)以太網(wǎng)實(shí)驗(yàn)平臺(tái),每個(gè)NetFPGA帶有4個(gè)千兆網(wǎng)口，將NetFPGA通過(guò)PCI插槽插在一臺(tái)PC機(jī)上，PC機(jī)+NetFPAG模擬中央裝置和終端裝置，設(shè)計(jì)半實(shí)物仿真系統(tǒng)見(jiàn)圖1。每個(gè)節(jié)點(diǎn)上的NetFPGA板卡上的4個(gè)端口剛好滿足分成2組，在每組上的2個(gè)端口上實(shí)現(xiàn)負(fù)載均衡，以便骨干網(wǎng)絡(luò)上的大量數(shù)據(jù)快速的在各節(jié)點(diǎn)之間傳輸。

圖1 基于I EC61375 2-5的列車(chē)工業(yè)以太網(wǎng)通信網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

2.2 PC機(jī)與Ne t FPG A結(jié)構(gòu)設(shè)計(jì) 骨干網(wǎng)絡(luò)的每個(gè)節(jié)點(diǎn)由一臺(tái)PC機(jī)和一塊NetFPGA板卡構(gòu)成，它們之間通過(guò)高速PCI總線連接，PC機(jī)與NetFPGA的結(jié)構(gòu)設(shè)計(jì)見(jiàn)圖2所示。

圖2 Ne t FPG A與PC結(jié)構(gòu)設(shè)計(jì)

PC機(jī)用戶空間運(yùn)行TTDP、OSPF等相關(guān)的路由協(xié)議和一些應(yīng)用程序，以完成路由計(jì)算的工作和提供必要的服務(wù)，在內(nèi)核空間生成路由表，并通過(guò)PCI總線寫(xiě)入到NetFPGA的轉(zhuǎn)發(fā)表當(dāng)中以決定是否轉(zhuǎn)發(fā)，由NetFPGA硬件完成數(shù)據(jù)的轉(zhuǎn)發(fā)功能。本方案將NetFPGA板卡的端口nfc0與nfc1分成一組，nfc2與nfc3分成一組，數(shù)據(jù)的均衡傳輸在NetFPGA的硬件層實(shí)現(xiàn)。

2.3 Ne t FPG A硬件模塊化路由器設(shè)計(jì) 模塊化的硬件路由器采用的是管道模型，利用流水線結(jié)構(gòu)對(duì)數(shù)據(jù)進(jìn)行處理，使用高帶寬的數(shù)據(jù)包通路總線實(shí)現(xiàn)Packet的相關(guān)分析和處理，低帶寬的寄存器通路來(lái)實(shí)現(xiàn)各個(gè)模塊的寄存器的讀寫(xiě)以完成用戶軟件對(duì)模塊的功能和參數(shù)的配置〔3〕。數(shù)據(jù)通過(guò)MAC隊(duì)列或者CPU隊(duì)列（即由其他主機(jī)傳輸過(guò)來(lái)的數(shù)據(jù)或者是本機(jī)產(chǎn)生的待轉(zhuǎn)發(fā)數(shù)據(jù)）進(jìn)入用戶數(shù)據(jù)通道主要經(jīng)過(guò)數(shù)據(jù)仲裁模塊、輸出端口查詢模塊然后再進(jìn)入輸出隊(duì)列。輸出隊(duì)列分為需要轉(zhuǎn)發(fā)到其他主機(jī)的數(shù)據(jù)進(jìn)入MAC隊(duì)列和進(jìn)入本機(jī)的CPU隊(duì)列數(shù)據(jù)，其隊(duì)列調(diào)度input_arbiter是通過(guò)輪詢的方式對(duì)每個(gè)隊(duì)列進(jìn)行訪問(wèn)的。數(shù)據(jù)包由仲裁模塊出來(lái)后會(huì)進(jìn)入核心module輸出端口查詢模塊output_port_lookup，完成數(shù)據(jù)包的分析處理，檢查其目標(biāo)MAC地址、幀類(lèi)型、版本號(hào)、生存時(shí)間以及校驗(yàn)等。本設(shè)計(jì)是基于Xilinx的Reference Router設(shè)計(jì)的，數(shù)據(jù)進(jìn)入輸入輸出查詢模塊時(shí)進(jìn)行數(shù)據(jù)分流。數(shù)據(jù)頭部處理輸出端口查詢模塊見(jiàn)圖3。2.4 Ve r i l o gHD L負(fù)載均衡實(shí)現(xiàn) 數(shù)據(jù)輸出進(jìn)入Output_Queues前需要對(duì)入隊(duì)進(jìn)行查詢處理，然后才能決定進(jìn)入那個(gè)隊(duì)列。

圖3 數(shù)據(jù)頭部處理輸出端口查詢模塊

頭部處理的狀態(tài)機(jī)制很簡(jiǎn)單，只有PARSE_HDRS和WAIT_EOP兩個(gè)狀態(tài)，狀態(tài)機(jī)之間的轉(zhuǎn)換條件是in_ctrl和in_wr。負(fù)載均衡實(shí)現(xiàn)的核心代碼：

3 實(shí)驗(yàn)及結(jié)果

3.1 實(shí)驗(yàn)過(guò)程 本節(jié)對(duì)基于IEC61375 2-5的列車(chē)以太網(wǎng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的負(fù)載均衡進(jìn)行功能測(cè)試。

實(shí)驗(yàn)環(huán)境如圖4（a）所示,采用3臺(tái)裝有NetFPGA板卡的聯(lián)想IdeaCentre K320的PC機(jī)，搭建圖1給出的實(shí)驗(yàn)拓?fù)浣Y(jié)構(gòu)。將3臺(tái)主機(jī)HA，HB，HC串接，主機(jī)HA上nfc0，nfc1分別接主機(jī)HB上nfc0、nfc1，主機(jī)HB上nfc2，nfc3接HC主機(jī)nfc0，nfc1；下載本設(shè)計(jì)生成的bit文件到板卡；ifconfig配置端口的ip地址、子網(wǎng)掩碼（HA主機(jī)的nfc0端口10.128.0.1；HB主機(jī)nfc0端口10.128.0.2，nfc2端口10.128.0.4；HC主機(jī)的nfc0端口0.128.0.3）；終端HA ping主機(jī)HC的nfc0端口，回顯結(jié)果如圖4（b）所示，主機(jī)HA上監(jiān)測(cè)端口nfc0和nfc1上接受或發(fā)送的數(shù)據(jù)包數(shù)目和時(shí)間的java GUI顯示見(jiàn)圖4（c）。

圖4 負(fù)載均衡實(shí)驗(yàn)及結(jié)果

3.2 實(shí)驗(yàn)結(jié)果分析 從實(shí)驗(yàn)結(jié)果中可以看出：數(shù)據(jù)的延時(shí)在0.1 ms左右，完全可以滿足列車(chē)控制網(wǎng)絡(luò)的要求（循環(huán)時(shí)間小于1ms）；主機(jī)HA ping向HC 10個(gè)數(shù)據(jù)包，同時(shí)收到10個(gè)數(shù)據(jù)包并且數(shù)據(jù)在端口0和端口1上均勻地傳輸，實(shí)現(xiàn)了數(shù)據(jù)的負(fù)載均衡。

4 結(jié)束語(yǔ)

本文運(yùn)用負(fù)載均衡的思想主要是為了解決列車(chē)骨干網(wǎng)絡(luò)的大量數(shù)據(jù)傳輸與端口帶寬不足的矛盾以及減小數(shù)據(jù)在數(shù)據(jù)鏈路層阻塞引起的延時(shí)時(shí)間。在實(shí)際應(yīng)用中端口的帶寬增加會(huì)大量增加成本，負(fù)載均衡就解決了這一因單一線路的升級(jí)成本太高或難以實(shí)現(xiàn)的難題。本文基于NetFPGA實(shí)現(xiàn)列車(chē)骨干網(wǎng)絡(luò)的負(fù)載均衡傳輸，為列車(chē)骨干網(wǎng)絡(luò)的大量數(shù)據(jù)傳輸提供了一條新的解決方案。

〔1〕彭國(guó)平，杜亞江．以太網(wǎng)技術(shù)在列車(chē)通信網(wǎng)絡(luò)中的應(yīng)用探討〔J〕．鐵道車(chē)輛．2008，46（12）：25-28.

〔2〕黃軼，胡鵬飛.工業(yè)以太網(wǎng)在列車(chē)網(wǎng)絡(luò)中的應(yīng)用設(shè)計(jì)〔J〕.鐵道運(yùn)營(yíng)技術(shù)，2011 Vol.17 No.1.

〔3〕周劍，陸桂華.零存整取NetFPGA開(kāi)發(fā)指南〔M〕.北京：北京航空航天大學(xué)出版社，2010.6.

〔4〕Glen Gibb,John W.Lockwood,et al.NetFPGA—An Open Platform for Teaching How to Build Gigabit-Rate Network Switches and Routers〔J〕.IEEE Transactions on Education,VOL.51,NO.3,AUGUST 2008.

〔5〕John W.Lockwood,Nick McKeown,Greg Watson,et al.NetFPGA-An Open Platform for Gigabit-rateNetwork Switching and Routing〔C〕.IEEE International Conference on Microelectronic Systems Education（MSE'07）,2007.

〔6〕Hamed Tabatabaei，Yashar Ganjali． Preserving Pacing in Real Networks-An Experimental Study Using NetFPGA〔J〕.2nd North American NetFPGA Developers Workshop.Stanford，2010.