測控基帶資源池的設(shè)計與實現(xiàn)

黨 赟，高群福，賈丙強，劉云杰

(中國電子科技集團公司第五十四研究所，河北 石家莊 050081)

0 引言

近年來，隨著信息化、網(wǎng)絡(luò)化的快速推進，云計算得到大規(guī)模推廣和應(yīng)用。國內(nèi)外不少學(xué)者、工程人員已開始研究如何將云計算、資源池應(yīng)用于復(fù)雜控制系統(tǒng)及其設(shè)備中，在應(yīng)用中首先需要解決物理設(shè)備虛擬化共享問題。20世紀90年代，工業(yè)界和學(xué)術(shù)界已經(jīng)開始進行設(shè)備I/O虛擬化技術(shù)研究，主要從聚合、融合和共享3個方面開展研究[1]。主要技術(shù)成果包括PCI-SIG提出的單根虛擬化技術(shù)(SR-IOV)[2]和以太網(wǎng)光纖通道技術(shù)(Filber Channel over Ethernet FCoE)[3]、NEC提出的ExpEther[1]和NextIO提出的vNet等。在PCI-SIG提出的單根虛擬化技術(shù)基礎(chǔ)上，王展等人實現(xiàn)了多主機共享PCI-e物理設(shè)備[4]，達到了近乎物理直連的傳輸性能。

隨著大規(guī)模測控陣列天線在航天多目標(biāo)測控系統(tǒng)中的應(yīng)用，設(shè)備數(shù)量和控制復(fù)雜度急劇增加，云計算、資源池管理技術(shù)在測控系統(tǒng)中的應(yīng)用成為業(yè)界研究的熱點，采用設(shè)備虛擬化技術(shù)，將測控設(shè)備資源整合成虛擬資源池，通過云管理平臺按需為測控任務(wù)分配計算、存儲、測控資源和各種服務(wù)，實現(xiàn)資源動態(tài)分配、靈活調(diào)度和跨域共享。

從應(yīng)用需求出發(fā)，對各類虛擬化技術(shù)進行分析和比較，提出了基于網(wǎng)絡(luò)的基帶設(shè)備虛擬化方案，對基帶板卡進行虛擬化，使其兼容PCI-e和網(wǎng)絡(luò)2種通信協(xié)議，實現(xiàn)了基帶設(shè)備資源池化管理的目標(biāo)。采用云管理平臺對計算、存儲、網(wǎng)絡(luò)和基帶設(shè)備進行統(tǒng)一管控、動態(tài)分配，在提高設(shè)備靈活性的同時可有效降低升級和維護開銷[5]。同時，云平臺具備的虛擬機在線遷移、負載均衡[6]等特性，可加速應(yīng)用部署[7]，從而提高了整個系統(tǒng)的可用性[8]。該技術(shù)在解決行業(yè)應(yīng)用需求的同時，也可為同類型功能設(shè)備實現(xiàn)虛擬化提供了參考。

1 測控基帶資源池總體設(shè)計

1. 1 架構(gòu)設(shè)計

測控基帶資源池由計算、存儲、網(wǎng)絡(luò)和基帶設(shè)備資源組成，基帶設(shè)備、刀片服務(wù)器和磁盤整列集中部署于設(shè)備機架，方便擴展，基帶設(shè)備、服務(wù)器、磁盤整列和外設(shè)之間通過高性能網(wǎng)絡(luò)交換機實現(xiàn)互聯(lián)互通，設(shè)備組成及連接關(guān)系如圖1所示。

圖1 測控基帶資源池設(shè)備組成

測控基帶資源池采用云管理平臺[9]進行管理，將各類虛擬資源按照任務(wù)需求進行動態(tài)分配。測控基帶云管理平臺分為基礎(chǔ)架構(gòu)即服務(wù)(Infrastructure as a Service，IaaS)、平臺即服務(wù)(Platform as a Service，PaaS)和軟件即服務(wù)(Software as a Service，SaaS)[10-11]3層。其中，IaaS提供虛擬基礎(chǔ)資源，如虛擬主機、存儲和設(shè)備等[12]，可以此為基礎(chǔ)建立測控基帶系統(tǒng)運行環(huán)境[13]；PaaS提供構(gòu)建系統(tǒng)所需的平臺級應(yīng)用，如操作系統(tǒng)、虛擬化服務(wù)、負載均衡和動態(tài)遷移[14]等；SaaS向用戶提供測控基帶應(yīng)用服務(wù)，包括各測控模式應(yīng)用等。測控基帶云管理平臺服務(wù)層次關(guān)系如圖2所示。

圖2 測控基帶云管理平臺層次關(guān)系

采用云管理平臺對測控基帶進行資源池化管理具有以下優(yōu)點：

① 通過虛擬化技術(shù)使得測控資源得到了充分、最大化的利用，采用集約化部署可減少設(shè)備體積[ 15]和設(shè)備數(shù)量，降低設(shè)備冗余；

② 擴展能力強，當(dāng)基礎(chǔ)設(shè)施資源不足時，可通過增加刀片服務(wù)器、網(wǎng)絡(luò)交換機、磁盤陣列或基帶板卡數(shù)量，方便實現(xiàn)資源擴展[ 16]；

③ 云管理平臺具備負載均衡和動態(tài)遷移功能，可實現(xiàn)數(shù)據(jù)自動備份，有效提高系統(tǒng)的可靠性和可用性[ 17]；

④ 基帶板卡與物理主機采用松耦合架構(gòu)動態(tài)配置，部署靈活，改變了傳統(tǒng)的主備配置方案，可實現(xiàn)多路備份，有利于提高設(shè)備可靠性；

⑤ 云管理平臺具備完善的安全防范機制，使得系統(tǒng)安全可控、數(shù)據(jù)保密和信息安全[ 18]；

⑥ 測控基帶應(yīng)用軟件、板級軟件由云平臺統(tǒng)一管控，易于維護和升級[ 19]。

1. 2 資源分配過程

采用云平臺管理的測控基帶資源池，執(zhí)行測控任務(wù)時需要進行資源分配，分配過程如圖3所示。

圖3 測控基帶資源分配流程

資源分配步驟如下：

① 云管理平臺計算機接收管控計算機的測控任務(wù)需求，確定測控資源需求；

② 云管理平臺計算機進行虛擬機運行資源和處理板卡的資源分配，啟動虛擬機及對應(yīng)的基帶應(yīng)用軟件；

③ 云管理平臺計算機向基帶應(yīng)用軟件下發(fā)資源分配列表，主要包括基帶板卡ID、網(wǎng)絡(luò)通信地址和數(shù)據(jù)存儲目錄等；

④ 基帶應(yīng)用軟件對所屬資源進行初始化工作，包括基帶板級軟件加載、網(wǎng)絡(luò)設(shè)備初始化、基帶功能單元加載和數(shù)據(jù)存儲目錄初始化等工作；

⑤ 基帶應(yīng)用軟件按照流程執(zhí)行遙控、遙測、速度測量和距離測量等測控任務(wù)；

⑥ 測控任務(wù)完成后，基帶應(yīng)用軟件退出并將所屬資源交還云管理平臺計算機。

2 需要解決的問題

現(xiàn)有測控基帶采用基帶設(shè)備資源與物理主機綁定的緊耦合架構(gòu)，如圖4所示，系統(tǒng)擴展時只能以增加單體主機、基帶設(shè)備的數(shù)量來應(yīng)對，這無疑會增加測控設(shè)備冗余、購置成本和管理成本，同時，主機數(shù)量和種類的增加還會導(dǎo)致整個系統(tǒng)信號和網(wǎng)絡(luò)連線數(shù)量的增加，增加網(wǎng)絡(luò)部署的復(fù)雜度。

圖4 現(xiàn)有測控基帶設(shè)備組成

隨著測控系統(tǒng)的發(fā)展，基帶設(shè)備數(shù)量的大幅增加給系統(tǒng)管理、維護和升級等帶來巨大挑戰(zhàn)。將基帶設(shè)備與物理主機解綁，采用資源池的方式對計算資源、存儲資源和測控資源進行松耦合式動態(tài)管理，可有效解決上述問題?；鶐гO(shè)備資源池化管理需要解決以下問題：

① 實現(xiàn)基帶設(shè)備I/O虛擬化：通過基帶設(shè)備虛擬化實現(xiàn)設(shè)備資源的動態(tài)分配、靈活調(diào)度，并可采用軟件的方法進行重新定義和劃分；

② 設(shè)備性能要求：基帶設(shè)備對控制實時性、可靠性和數(shù)據(jù)通信速率有較高要求，設(shè)備實現(xiàn)虛擬化后應(yīng)滿足系統(tǒng)對設(shè)備的性能要求。

3 關(guān)鍵技術(shù)

針對基帶設(shè)備資源池化管理急需解決的基帶設(shè)備I/O虛擬化和設(shè)備性能問題進行重點分析。

3. 1 I/O虛擬化方案

3. 1. 1 方案分析

目前，學(xué)術(shù)界和工業(yè)界都已開展了一些研究工作，致力于實現(xiàn)多服務(wù)器間的I/O共享，主要從I/O聚合、I/O融合、共享復(fù)用和集中轉(zhuǎn)換4個方面展開。

① I/O聚合是通過設(shè)備本身的硬件輔助虛擬化技術(shù)，將直接 I/O 虛擬化所需的多個物理I/O設(shè)備聚合轉(zhuǎn)換為單個物理設(shè)備內(nèi)的多個虛擬功能，以減少單個物理服務(wù)器所需配備的I/O設(shè)備數(shù)量，如PCI-SIG提出的PCI-e單根虛擬化(Single Root I/O Virtualization，SRIOV)技術(shù)；

② I/O融合是通過設(shè)備本身的硬件輔助協(xié)議轉(zhuǎn)換，實現(xiàn)單個物理I/O設(shè)備支持多種協(xié)議數(shù)據(jù)包的處理和傳輸，從而降低數(shù)據(jù)中心所需配備的I/O設(shè)備和互連網(wǎng)絡(luò)的多樣性，如以太網(wǎng)光纖通道(Fiber Channel over Ethernet)技術(shù)；

③ 共享復(fù)用是將I/O設(shè)備的共享范圍從單個物理服務(wù)器內(nèi)的多個虛擬機之間擴大到多個物理服務(wù)器之間，以縮減單機所需的I/O設(shè)備的數(shù)量和數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)連線的數(shù)量，同時，通過共享復(fù)用提高I/O資源的利用率，例如NEC ExpEther和NextIo vNet等；

④ 集中轉(zhuǎn)換是使用軟件方式實現(xiàn)I/O設(shè)備的多服務(wù)器間共享，其使用一臺配有I/O設(shè)備的物理主機作為多機I/O共享的服務(wù)器端，通過網(wǎng)絡(luò)向客戶端提供通用的I/O接口服務(wù)，客戶端使用該接口進行I/O操作。

根據(jù)應(yīng)用需求和板卡特點結(jié)合上述4種虛擬化技術(shù)進行分析，制定適合應(yīng)用需求的解決方案。

① I/O聚合方案的前提是將板卡必須與計算機主機綁定，通過將板卡轉(zhuǎn)化為多個虛擬功能以供多個虛擬機進行使用；

② I/O融合方案是在設(shè)備端增加多種協(xié)議轉(zhuǎn)換功能模塊，以滿足虛擬主機對設(shè)備的訪問需求，使用該方案可以實現(xiàn)主機與設(shè)備資源的分離，需在設(shè)備端增加局部總線/以太網(wǎng)協(xié)議轉(zhuǎn)換模塊；

③ 共享復(fù)用方案是在板卡與主機綁定的架構(gòu)下，通過將設(shè)備的共享范圍擴展以實現(xiàn)多機共享的目的。該方式在虛擬機部署時對服務(wù)器系統(tǒng)、網(wǎng)絡(luò)帶寬有較高要求，板卡、主機、BIOS和宿主計算機都需要支持SR-IOV才能使用虛擬化功能，在多機共享時是以占用網(wǎng)絡(luò)帶寬為代價的；

④ 集中轉(zhuǎn)換式方案將一臺物理主機用作協(xié)議轉(zhuǎn)換服務(wù)器向多機提供共享服務(wù)，該模式使該物理主機成為整個系統(tǒng)的性能瓶頸，此外，由于經(jīng)過了較多的軟件層次導(dǎo)致客戶端主機的I/O性能較低。

經(jīng)過上述分析，在不增加額外設(shè)備的情況下，I/O融合方案可實現(xiàn)主機與板卡松耦合管理，無需改變設(shè)備物理結(jié)構(gòu)，只需對設(shè)備板卡軟件進行改造升級可滿足虛擬化需求。

3. 1. 2 板卡改造方案

數(shù)字基帶板卡架構(gòu)示意圖如圖5所示，圖中數(shù)據(jù)交換FPGA主要功能是實現(xiàn)板卡與上位機I/O數(shù)據(jù)交換。

圖5 數(shù)字基帶板卡架構(gòu)示意

為實現(xiàn)設(shè)備虛擬化需求，需要進行如下改造：

① 在數(shù)據(jù)交換FPGA中增加以太網(wǎng)絡(luò)模塊，網(wǎng)絡(luò)MAC地址、IP地址等網(wǎng)絡(luò)信息可通過上位機軟件或板卡配置芯片進行動態(tài)或靜態(tài)配置；

② 在數(shù)據(jù)交換FPGA中增加以太網(wǎng)←→局部總線雙向協(xié)議轉(zhuǎn)換模塊，實現(xiàn)網(wǎng)絡(luò)協(xié)議與局部控制總線間的協(xié)議互轉(zhuǎn)，板卡內(nèi)部各模塊間局部總線及協(xié)議保持不變；

③ 保留板卡原PCI-e接口模塊，使其具備2種協(xié)議分時工作能力，可通過配置信息或板卡跳線實現(xiàn)接口協(xié)議的選擇；

④ 在對插板上增加以太網(wǎng)接插件，實現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)接入，對插板與處理板之間數(shù)據(jù)通訊可復(fù)用原PCI-e連接線，盡可能減少板卡更動內(nèi)容。

3. 2 接口協(xié)議設(shè)計

增加以太網(wǎng)←→局部總線雙向協(xié)議轉(zhuǎn)換模塊后，設(shè)備具備了與上位機進行網(wǎng)絡(luò)數(shù)據(jù)交換的能力，選擇合適的傳輸協(xié)議對于設(shè)備的穩(wěn)定性和可靠性有重要意義。目前，常用的網(wǎng)絡(luò)協(xié)議主要包括TCP和UDP協(xié)議，2種協(xié)議的特點如下：

① 二者都屬于傳輸層協(xié)議，TCP為面向連接協(xié)議，在客戶端和服務(wù)器端進行通信之前，首先要交換傳輸層控制信息，為雙方的通信做好準備。UDP是一個非連接的協(xié)議，傳輸數(shù)據(jù)之前雙方不建立連接，當(dāng)傳送數(shù)據(jù)時，簡單地抓取來自應(yīng)用程序的數(shù)據(jù)，并盡快把數(shù)據(jù)傳送到網(wǎng)絡(luò)上。

② UDP協(xié)議的數(shù)據(jù)傳輸不需要維護收發(fā)狀態(tài)和連接狀態(tài)等，與TCP相比，網(wǎng)絡(luò)的有效利用率得到很大提高。

③ TCP協(xié)議提供數(shù)據(jù)確認重傳、擁塞控制等可靠性保證，UDP協(xié)議不提供可靠性保證，也不提供流量控制。

與TCP協(xié)議相比，UDP協(xié)議具有連接網(wǎng)絡(luò)延遲小且數(shù)據(jù)傳輸速度快的特點[20]，為了保證數(shù)據(jù)可靠性，在UDP協(xié)議的基礎(chǔ)上，增加了接收確認、數(shù)據(jù)重傳和滑動窗口機制以提高數(shù)據(jù)可靠性。

本方案采用的UDP傳輸過程如圖6所示。

圖6 基于UDP協(xié)議的數(shù)據(jù)傳輸過程

基于UDP協(xié)議的數(shù)據(jù)傳輸過程如下：

① 收發(fā)雙方按照既定網(wǎng)絡(luò)信息建立網(wǎng)絡(luò)通信套接字，在建立網(wǎng)絡(luò)連接后先進行3次握手建立數(shù)據(jù)連接，并保持定時數(shù)據(jù)互通；

② 發(fā)送方利用滑動窗口緩存已發(fā)送數(shù)據(jù)，直至收到確認、重傳或發(fā)送超時消息；

③ 接收方收到數(shù)據(jù)后利用數(shù)據(jù)幀序號進行數(shù)據(jù)重組、亂序糾正，如發(fā)生丟包則向發(fā)送方發(fā)送重傳的請求消息。

4 關(guān)鍵指標(biāo)測試

4. 1 測試環(huán)境

按照應(yīng)用需求進行測試環(huán)境搭建，采用一臺測試計算機+4塊基帶板卡的配置方式，以模擬最復(fù)雜測控任務(wù)情況，網(wǎng)絡(luò)化基帶板卡和測試計算機利用高性能網(wǎng)絡(luò)交換機實現(xiàn)互聯(lián)，測試環(huán)境連接如圖7所示。

圖7 測試環(huán)境連接

4. 2 測試過程

4. 2. 1 板級軟件加載測試

板級軟件加載測試過程如下：

① 啟動部署在測試計算機的測試程序；

② 分別向4塊板卡發(fā)送IP地址配置命令，設(shè)置板卡通信地址信息，并與測試程序建立數(shù)據(jù)通信連接；

③ 依次向4塊基帶板卡寫入FPGA運行文件，該文件容量為28 660 KB，寫入完成后由加載單元進行數(shù)據(jù)校驗，無誤后上報確認信息，即認為加載成功；

④ 重復(fù)步驟②2 000次，以測試板卡加載時間和加載成功率。

4. 2. 2 網(wǎng)絡(luò)性能測試

網(wǎng)絡(luò)性能測試包括傳輸時延和典型數(shù)據(jù)傳輸能力測試。

準備工作如下：

① 在設(shè)備端設(shè)計測試程序，該測試程序在收到應(yīng)用軟件發(fā)送的網(wǎng)絡(luò)數(shù)據(jù)包后直接原樣返回，用于測試傳輸時延；

② 在設(shè)備端設(shè)計2路數(shù)據(jù)發(fā)送模塊，數(shù)據(jù)包長、發(fā)送頻率可設(shè)，用于測試數(shù)據(jù)傳輸性能。

測試過程如下：

① 啟動部署在測試計算機的測試程序；

② 分別向4塊板卡發(fā)送IP地址配置命令，設(shè)置板卡通信地址信息，并與測試程序建立數(shù)據(jù)通信連接；

③ 以500 ms/幀的頻率向板卡發(fā)送網(wǎng)絡(luò)數(shù)據(jù)包，記錄發(fā)送時間和返回時間，并計算時延差；

④ 接收板卡上報的2路數(shù)據(jù)，統(tǒng)計數(shù)據(jù)丟包率和實時速率。

4. 3 測試結(jié)果

4. 3. 1 板級軟件加載測試結(jié)果

板級軟件加載測試結(jié)果如圖8所示，測試樣本為2 000次，平均加載時間為1. 922 s。

圖8 板級軟件加載測試結(jié)果

4. 3. 2 網(wǎng)絡(luò)性能測試結(jié)果

在測試條件為：測試數(shù)據(jù)包長為1 024 Byte，傳輸間隔為500 ms，網(wǎng)絡(luò)傳輸延測試結(jié)果如圖9所示，網(wǎng)絡(luò)傳輸平均時延為1. 472 ms。

圖9 網(wǎng)絡(luò)傳輸時延測試結(jié)果

在測試條件為：單路數(shù)據(jù)接收測試數(shù)據(jù)包長1 000 Byte，包頻2 500 包/s，2路數(shù)據(jù)流同時接收的情況下，網(wǎng)絡(luò)傳輸性能測試結(jié)果如圖10所示，此時CPU占用率小于5%，網(wǎng)絡(luò)資源占用率小于5%。

圖10 網(wǎng)絡(luò)傳輸性能測試結(jié)果

4. 4 測試結(jié)果分析

對上述測試結(jié)果分析可知：

① 基帶板卡可以進行IP地址動態(tài)配置，滿足動態(tài)資源分配要求。

② 板級軟件加載是測控系統(tǒng)功能重組的關(guān)鍵步驟，在長時間測試過程中，板級軟件加載性能穩(wěn)定，加載時間小于2 s且穩(wěn)定性較好，在測試樣本中，加載成功率為100%，滿足使用要求。

③ 網(wǎng)絡(luò)傳輸平均時延為1. 472 ms，測試樣本中，時延抖動方差很小，該結(jié)果優(yōu)于目前采用PCI-e接口設(shè)備的通信性能；在網(wǎng)絡(luò)傳輸性能方面，在進行2路數(shù)據(jù)接收的情況下，CPU和網(wǎng)絡(luò)占用率均維持在較低水平，可以滿足使用要求。

通過上述分析，網(wǎng)絡(luò)化后的基帶板卡在功能和性能均滿足系統(tǒng)要求。

5 結(jié)束語

本文提出了基于I/O融合技術(shù)的基帶板卡虛擬化方案，通過對板卡I/O的網(wǎng)絡(luò)化升級，使測控基帶設(shè)備具備了資源池化管理的條件，為實現(xiàn)測控系統(tǒng)松耦合、集約化部署奠定了技術(shù)基礎(chǔ)。實驗結(jié)果分析表明，采用網(wǎng)絡(luò)化基帶板卡構(gòu)建的測控基帶資源池具備動態(tài)重組、高效傳輸和集中部署的特點，在工程應(yīng)用中可顯著提高系統(tǒng)的擴展能力和重構(gòu)能力。