基于一體化云架構(gòu)的測控中心系統(tǒng)設計與實現(xiàn)

尚慧萍，陳楊，唐沛蓉

(北京跟蹤與通信技術(shù)研究所，北京 100094)

0 引言

測控中心系統(tǒng)是航天測控工程中的關(guān)鍵系統(tǒng)，在航天任務中通過測控設備、通信網(wǎng)絡，利用中心計算機系統(tǒng)的數(shù)據(jù)處理系統(tǒng)、數(shù)據(jù)存儲系統(tǒng)、監(jiān)控顯示系統(tǒng)與測控網(wǎng)網(wǎng)管系統(tǒng)，實施對航天器的測量與控制、測控信息的監(jiān)控與顯示、測控計劃的生成與實施、各參試人員的指揮與調(diào)度等[1]。目前航天任務中心系統(tǒng)已建立了以數(shù)據(jù)處理服務器、數(shù)據(jù)庫服務器、磁盤冗余、雙機管理和備份管理等軟件為核心的信息系統(tǒng)[2]，如圖1 所示，重要數(shù)據(jù)都能及時和有效地得到備份，結(jié)合數(shù)據(jù)處理服務器的雙機雙工技術(shù)、數(shù)據(jù)庫服務器的集群技術(shù)、磁盤陣列RAID 技術(shù)，解決了單點故障的風險，使任務中心系統(tǒng)為航天測控任務提供持續(xù)和有效的服務。但隨著航天任務的逐步開展，測控中心系統(tǒng)能力方面的問題逐漸顯現(xiàn)出來，表現(xiàn)在以下幾個方面[3]：

圖1 測控中心系統(tǒng)的典型結(jié)構(gòu)圖

(1)測控系統(tǒng)柔性不足，硬件系統(tǒng)與業(yè)務應用緊耦合，各業(yè)務系統(tǒng)自成體系；

(2)軟硬件資源分配和重組不靈活、資源共享不充分；

(3)系統(tǒng)的互連互通能力較差，適應新業(yè)務的可擴展能力有限。

針對以上問題，在滿足系統(tǒng)可靠性和實時性要求的同時，測控中心系統(tǒng)迫切需要設計一種安全可靠、彈性靈活、易于運維的架構(gòu)。因此，面向服務、按需定制的一體化云架構(gòu)的測控中心系統(tǒng)應運而生。本文就此描述系統(tǒng)的架構(gòu)設計和具體實現(xiàn)。

1 系統(tǒng)設計

1.1 系統(tǒng)架構(gòu)

系統(tǒng)架構(gòu)如圖2 所示，主要由資源層、服務層和應用層三層組成。資源層基于云計算和虛擬化技術(shù)實現(xiàn)計算、存儲、網(wǎng)絡、顯示等基礎資源的融合共享[4]。服務層基于面向服務技術(shù)實現(xiàn)數(shù)據(jù)處理、數(shù)據(jù)存儲、軌道計算、仿真、綜合顯示等系統(tǒng)功能的服務化、組件化。應用層基于智能定制技術(shù)實現(xiàn)各類業(yè)務系統(tǒng)的服務模型與服務流程的快速構(gòu)建與靈活擴展。

1.1.1 資源層

資源層由計算、存儲、網(wǎng)絡、顯示等硬件基礎設施組成，通過虛擬化技術(shù)將底層物理設備的資源以服務的方式提供給用戶，并通過云管理平臺實現(xiàn)對物理資源與虛擬資源的有效監(jiān)控，實現(xiàn)智能化的資源性能、容量和配置管理。

1.1.2 服務層

服務層負責上層應用與云管理平臺的交互[5]，不同業(yè)務可根據(jù)各自需求獲取不同的接口和服務。為了靈活調(diào)配資源，提高支持各項業(yè)務的能力和效益，需要合理設計中心系統(tǒng)的云服務，充分整合現(xiàn)有系統(tǒng)的功能。

1.1.3 應用層

應用層以資源層和服務層為基礎，直接面向各業(yè)務系統(tǒng)和用戶，各業(yè)務和用戶以服務層提供的軟件服務為基礎，按需定制業(yè)務模型和服務流程，并根據(jù)計算、數(shù)據(jù)存儲和網(wǎng)絡的需求，分配計算和存儲資源以及網(wǎng)絡服務。

1.2 系統(tǒng)組成

系統(tǒng)由資源層上的計算資源、存儲資源、網(wǎng)絡資源、顯示資源、輔助資源、一體化云管理平臺、服務層軟件以及應用層軟件組成，如圖2 所示。

圖2 系統(tǒng)架構(gòu)及組成示意圖

1.2.1 資源層

計算資源包括各類計算硬件資源和虛擬化管理軟件[6]，以及承載在虛擬機上的多種粒度的服務軟件，實現(xiàn)云資源分配、服務管理、狀態(tài)監(jiān)控和日志管理等。

存儲資源包括存儲硬件資源以及承載其上的數(shù)據(jù)存儲管理軟件、各類業(yè)務數(shù)據(jù)等。

網(wǎng)絡資源主要由高可用交換網(wǎng)絡組成，實現(xiàn)各系統(tǒng)或資源之間的信息傳輸。

顯示資源包括顯示系統(tǒng)和承載其上的業(yè)務顯示或用戶交互軟件。

輔助資源包括機柜、多屏切換套件、操作終端等輔助設施。

一體化云管理平臺通過虛擬化技術(shù)將物理資源進行虛擬化，具體為計算虛擬化、存儲虛擬化、網(wǎng)絡虛擬化等[7]，實現(xiàn)在單一物理服務器上運行多個虛擬服務器(虛擬機)或容器[8]，把應用程序?qū)Φ讓拥南到y(tǒng)和硬件的依賴抽象出來，從而解除應用與操作系統(tǒng)和硬件的耦合關(guān)系，使得物理設備的差異性與兼容性與上層應用透明，不同的虛擬機之間相互隔離、互不影響，可以運行不同的操作系統(tǒng)，并提供不同的應用服務。

1.2.2 服務層

服務層包括基礎通用服務和核心業(yè)務服務?；A通用服務是為了系統(tǒng)運行管理提供的基礎共性的服務單元，是核心業(yè)務服務實現(xiàn)的基礎。核心業(yè)務服務是利用基礎服務完成中心任務的業(yè)務模塊單元，是為上層各任務應用提供支撐的軟件集合。

基礎通用服務包括計算服務、數(shù)據(jù)服務、總線服務、密碼服務等。其中計算服務為軌道計算、數(shù)據(jù)處理、故障診斷分析等提供通用計算、高性能計算、并行計算等功能，完成對各業(yè)務的計算和分析；數(shù)據(jù)服務實現(xiàn)對結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化等各類數(shù)據(jù)和配置信息的遠程方法調(diào)用、提交、下載、更新等功能，為應用和用戶提供存取、訪問、管理服務；總線服務為中心內(nèi)部和外部系統(tǒng)提供統(tǒng)一標準的交互方式，內(nèi)部網(wǎng)絡采用消息中間件支持中心內(nèi)部各子系統(tǒng)間的數(shù)據(jù)通信、協(xié)議轉(zhuǎn)換、數(shù)據(jù)服務和計算服務，為上層應用提供安全可靠、功能完備、接口統(tǒng)一的數(shù)據(jù)傳輸服務；密碼服務完成信息加解密服務和密碼管理分發(fā)服務。

核心業(yè)務服務包括信息收發(fā)、數(shù)據(jù)處理、存儲管理、軌道計算、控制計算、事后處理、模擬仿真和綜合顯示等。其中，信息收發(fā)完成中心系統(tǒng)對外的數(shù)據(jù)接收和發(fā)送、數(shù)據(jù)的匯集和轉(zhuǎn)發(fā)以及中心內(nèi)部的信息交換；數(shù)據(jù)處理完成遙測、外測數(shù)據(jù)處理、遙控加工及發(fā)送等功能；存儲管理完成原各類原始測控數(shù)據(jù)和計算結(jié)果的存儲、對數(shù)據(jù)的管理和維護等；軌道計算完成軌道確定、精密軌道計算和軌道預報等功能；控制計算完成航天器各類控制參數(shù)的計算處理功能；事后處理完成遙測事后處理和外測事后處理；仿真包括航天器仿真、空間環(huán)境仿真、航天器飛行軌道仿真以及測控網(wǎng)仿真等；綜合顯示用于監(jiān)視設備工作狀態(tài)，檢查、傳送指揮員的命令和控制信息，并為指揮控制人員、專業(yè)技術(shù)人員提供各種數(shù)據(jù)、圖像、語音等信息顯示。

1.2.3 應用層

利用資源層和服務層提供的基礎平臺和服務支撐，應用層是對系統(tǒng)功能進行業(yè)務邏輯組合建立的測控云服務模式，針對業(yè)務應用建立的操作流程。應用層通過PC 端、移動端等響應用戶服務請求，并實現(xiàn)用戶界面功能。

2 系統(tǒng)實現(xiàn)

2.1 系統(tǒng)部署

按照一體化云架構(gòu)建設測控中心計算機系統(tǒng)，包括資源層、服務層和應用層。資源層由計算資源、存儲資源、網(wǎng)絡資源、顯示資源、系統(tǒng)管理、基礎軟件以及配套設施等組成。通過虛擬化和云技術(shù)將底層物理設備的資源以服務的方式提供給服務層和應用層軟件使用。系統(tǒng)部署如圖3 所示。

圖3 系統(tǒng)部署示意圖

2.1.1 計算資源

計算資源主要由一組高性能服務器集群組成，完成中心系統(tǒng)的實時信息收發(fā)、事后信息收發(fā)、對接收的外部數(shù)據(jù)進行相關(guān)計算處理(包括遙外測數(shù)據(jù)處理、軌道計算、資源調(diào)度等)，為完成航天器指令、數(shù)據(jù)注入等提供計算能力的保障。

通過云平臺管理動態(tài)分配計算資源，以實現(xiàn)服務器集群的負載平衡。在云計算資源設計上，以服務器虛擬化技術(shù)為依托，將用戶對應的業(yè)務系統(tǒng)部署至虛擬化環(huán)境中，旨在提高物理服務器資源利用率，保障業(yè)務系統(tǒng)連續(xù)性，同時具備對物理機資源和云計算平臺系統(tǒng)的統(tǒng)一監(jiān)控。

按業(yè)務特點劃分，軌道計算、數(shù)據(jù)處理可歸為計算密集型業(yè)務，對CPU 資源要求很高；信息收發(fā)、數(shù)據(jù)存儲可歸為標準型業(yè)務，對CPU 資源要求較高，同時對網(wǎng)絡I/O 及數(shù)據(jù)存儲資源也有較高的要求；運行管理以及顯示服務可歸為非計算密集型業(yè)務。計算資源的虛擬機部署規(guī)劃如表1 所示，實際應用中可根據(jù)使用情況動態(tài)添加CPU、內(nèi)存、網(wǎng)絡I/O 和磁盤等資源。計算資源通過虛擬化和云計算技術(shù)，創(chuàng)建應用虛擬機，完成數(shù)據(jù)處理、軌道計算等功能，滿足不同應用條件下的資源需求。

表1 計算資源部署規(guī)劃表

2.1.2 存儲資源

存儲資源完成各種實時數(shù)據(jù)、事后處理數(shù)據(jù)的存放，提供數(shù)據(jù)檢索、查詢等功能。它由數(shù)據(jù)庫存儲系統(tǒng)和分布式存儲系統(tǒng)組成，實現(xiàn)應用數(shù)據(jù)共享，實現(xiàn)結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一管理，實現(xiàn)實時數(shù)據(jù)、準實時數(shù)據(jù)和事后數(shù)據(jù)的分級服務。

存儲資源的部署規(guī)劃采用混合部署的方式，即采用分布式云存儲系統(tǒng)和FC-SAN 存儲系統(tǒng)。分布式云存儲系統(tǒng)將平臺中所有節(jié)點的存儲容量進行統(tǒng)一規(guī)劃和部署，形成一套高可靠、高性能、高擴展的統(tǒng)一存儲服務系統(tǒng)。其核心是底層的分布式存儲引擎為上層提供塊存儲和文件存儲功能，這種全分布式的存儲架構(gòu)可以使整個系統(tǒng)具有很強的可擴展性。FC-SAN 存儲系統(tǒng)由數(shù)據(jù)庫服務器、磁盤陣列和數(shù)據(jù)庫管理系統(tǒng)等組成，用于存儲結(jié)構(gòu)化數(shù)據(jù)，使重要業(yè)務數(shù)據(jù)通過數(shù)據(jù)庫進行數(shù)據(jù)管理、查詢等出入庫操作。還有云平臺數(shù)據(jù)包括虛擬機映像模板和副本、虛擬機操作系統(tǒng)實例、虛擬機實例快照、虛擬機運行數(shù)據(jù)、應用軟件運行數(shù)據(jù)等，支撐著整個云平臺及業(yè)務系統(tǒng)的正常運行。

2.1.3 網(wǎng)絡資源

網(wǎng)絡資源由核心交換機、匯聚交換機和接入交換機組成，形成業(yè)務網(wǎng)、數(shù)據(jù)網(wǎng)、管理網(wǎng)三網(wǎng)相對分離的網(wǎng)絡體系，減少不同網(wǎng)絡間的相互影響，提高系統(tǒng)的可用性和可維護性。

云平臺網(wǎng)絡使用中心系統(tǒng)的各類網(wǎng)絡設備，按照功能規(guī)劃為3 個網(wǎng)絡平面：管理網(wǎng)絡平面、業(yè)務網(wǎng)絡平面和存儲網(wǎng)絡平面。管理網(wǎng)絡負責整個云平臺的管理和控制，業(yè)務網(wǎng)絡承載云平臺上的業(yè)務數(shù)據(jù)，存儲網(wǎng)絡承載云平臺中與存儲相關(guān)的業(yè)務。

為滿足服務器、存儲等資源互聯(lián)傳輸性能要求，確保網(wǎng)絡通信的穩(wěn)定性，需要配置核心交換機、匯聚交換機和接入交換機，為服務器和操作終端接入使用。配置光纖通道交換機用于計算資源服務器到存儲磁盤陣列的連接。

中心網(wǎng)絡設計劃分為業(yè)務網(wǎng)絡、存儲網(wǎng)絡和管理網(wǎng)絡。為了保證各種網(wǎng)絡數(shù)據(jù)的可靠性，業(yè)務和管理網(wǎng)絡間采用VLAN 技術(shù)進行隔離，存儲網(wǎng)絡為光纖存儲網(wǎng)絡，單個網(wǎng)絡故障不影響其余兩個網(wǎng)絡的正常工作。

(1)業(yè)務網(wǎng)絡：主要是用業(yè)務網(wǎng)卡包括虛擬機虛擬網(wǎng)卡的通信平面，對外提供業(yè)務應用數(shù)據(jù)的交互。

(2)存儲網(wǎng)絡：主要為FC-SAN 存儲提供通信平面，并為虛擬機提供存儲資源。

(3)管理網(wǎng)絡：負責整個云計算系統(tǒng)的管理、業(yè)務部署、系統(tǒng)加載等流量的通信。

2.1.4 顯示資源

顯示資源由顯示系統(tǒng)、信號處理系統(tǒng)、集中控制系統(tǒng)等組成，主要實現(xiàn)計算機信號、視頻信號、設備控制信號等的統(tǒng)一接口、統(tǒng)一傳輸，可針對不同業(yè)務指揮需要，按需分配數(shù)字大廳資源，通過設備配置實現(xiàn)多功能數(shù)字大廳的靈活共享配置使用，滿足不同地點、地域指揮需要。

顯示資源的作用是為系統(tǒng)管理員提供遠程登錄并操作云管理平臺作運維管理、用戶管理的人機交互；為任務操作、監(jiān)視、指揮人員提供用于任務管控、綜合運行管理、測控數(shù)據(jù)、任務規(guī)劃等信息的綜合顯示和操控。

LED 大屏顯示器通過信號切換設備可實現(xiàn)對外部視頻畫面和指定終端顯示視頻內(nèi)容的選擇切換顯示。

顯示終端的顯示信息來源于數(shù)據(jù)庫、云管理平臺，通過綜合監(jiān)控顯示軟件響應用戶的操作需求，定制用戶所需要的顯示結(jié)果，發(fā)送給指定的顯示終端。

2.1.5 輔助資源

輔助資源主要包括機柜、KVM 切換器以及操作終端等。機柜和KVM 切換器用于安裝部署服務器、磁盤陣列、交換機等設備，操作終端用于遠程管理計算資源、存儲資源以及網(wǎng)絡資源等。

2.1.6 系統(tǒng)管理

云管理平臺主要由虛擬化引擎和云計算管理軟件組成。虛擬化引擎提升了服務器利用率，從而大大降低了服務器數(shù)量，進而降低了用戶成本[9]；云管理平臺軟件簡化了物理和虛擬環(huán)境中的服務器管理和應用部署[10]。平臺具有虛擬機遷移、復制、備份、快照、虛擬交換機等功能，擁有虛擬機遷移、虛擬CPU 容錯、高可用(HA)、熱添加等技術(shù)作為高可靠措施，提升系統(tǒng)的可靠性和容災能力。

云管軟件采用虛擬化技術(shù)統(tǒng)一建設并整合硬件資源(包括計算、存儲、網(wǎng)絡等物理環(huán)境和設備，是整個云平臺的物理支撐基礎)，對虛擬化資源池提供統(tǒng)一管理和安全防護，提供統(tǒng)一的計算資源服務、存儲資源服務、網(wǎng)絡資源服務、綜合管理服務和安全控制服務。

系統(tǒng)管理采用高性能服務器部署云平臺，為整個云平臺提供計算支撐。所有服務器按照功能分為控制節(jié)點和計算/存儲節(jié)點?？刂乒?jié)點負責管理整個系統(tǒng)中計算節(jié)點的控制，管理著云平臺的虛擬機運行以網(wǎng)絡配置；計算節(jié)點負責運行虛擬機，并執(zhí)行實際的計算任務。

2.2 系統(tǒng)測試

系統(tǒng)安裝部署完成后進行了測試驗證。系統(tǒng)測試包括功能、性能測試以及穩(wěn)定性考核。功能性能測試完成服務器測試、終端測試、交換機測試、光纖存儲設備測試、分布式存儲設備測試、云管理平臺系統(tǒng)測試、云桌面測試、數(shù)據(jù)庫測試、消息中間件測試、雙工管理軟件、時間服務軟件等測試，測試結(jié)果均滿足各業(yè)務要求。穩(wěn)定性測丟包是對系統(tǒng)虛擬機和實體機的網(wǎng)絡組播進行100 h 穩(wěn)定性測試，測試結(jié)果組播網(wǎng)絡數(shù)據(jù)收發(fā)正常，滿足網(wǎng)絡錯包率(含丟包、亂序)不大于10-7。

在云平臺性能測試中，業(yè)務虛機的網(wǎng)絡收發(fā)出現(xiàn)丟包現(xiàn)象，為解決云平臺組播性能問題，滿足測控業(yè)務的指標要求，即在萬兆網(wǎng)絡環(huán)境下，組播帶寬利用率在70%以上，網(wǎng)絡無丟包。對云平臺進行改進優(yōu)化，利用數(shù)據(jù)平面開發(fā)套件(Data Plane Development Kit，DPDK)，提供用于快速數(shù)據(jù)包處理的函數(shù)庫與驅(qū)動集合；通過環(huán)境抽象層旁路內(nèi)核協(xié)議棧、輪詢模式的報文無中斷收發(fā)、優(yōu)化內(nèi)存/緩沖區(qū)/隊列管理、基于網(wǎng)卡多隊列和流識別的負載均衡等多項技術(shù)，實現(xiàn)了高性能報文轉(zhuǎn)發(fā)能力，提高數(shù)據(jù)處理性能和吞吐量。如表2 所示，在萬兆網(wǎng)絡下用網(wǎng)絡收發(fā)軟件測試虛擬機之間的UDP 性能，測試時長10 min，在1 KB、4 KB、64 KB 不同包長下，可看出極限接收流量值分別為5 017 Mb/s、9 511 Mb/s 和9 451 Mb/s。

表2 虛擬機間組播性能測試記錄表

服務層和應用層軟件部署后進行了測控各業(yè)務的測試驗證，并經(jīng)過實戰(zhàn)任務的檢驗，結(jié)果表明，測控中心云系統(tǒng)設計先進合理，運行穩(wěn)定可靠。

3 結(jié)論

測控中心系統(tǒng)按新的架構(gòu)實施建設后，實現(xiàn)新一代體系結(jié)構(gòu)轉(zhuǎn)型，形成系統(tǒng)動態(tài)重組、數(shù)據(jù)靈活共享、全域調(diào)度指揮、智能業(yè)務決策的空間操控中心，在體系架構(gòu)擴展、系統(tǒng)資源共享、業(yè)務能力生成、運行模式優(yōu)化等方面取得顯著的建設效益。

(1) 一體化云架構(gòu)松耦合易擴展

中心一體化云架構(gòu)系統(tǒng)實現(xiàn)平臺資源一體化、服務應用一體化、信息接口一體化、協(xié)同運行一體化，最大限度降低了系統(tǒng)內(nèi)層級之間功能的耦合度以及各類業(yè)務對特定資源和服務的依賴度，提高了體系的資源融合度和規(guī)模擴展的適應性。

(2) 系統(tǒng)資源共享靈活運行可靠

計算、存儲、網(wǎng)絡、顯示等基礎資源利用云技術(shù)，通過軟硬件的共享和冗余機制，統(tǒng)一為上層的服務和應用提供支撐，對中心業(yè)務的連續(xù)運行和災難的快速恢復具有較好的適用性，既促進了平臺資源的高效利用，也確保系統(tǒng)的高可靠運行。

(3) 業(yè)務能力持續(xù)增強

在航天器在軌管理等成熟能力的基礎上，基于一體化云架構(gòu)，動態(tài)重組資源，按需定制服務，可實現(xiàn)系統(tǒng)功能的服務化，規(guī)范服務模型，提高重用水平，并利用成熟服務，少量開發(fā)新型服務，基于統(tǒng)一的集成框架，快速構(gòu)建各業(yè)務系統(tǒng)，可確保業(yè)務能力的持續(xù)增強。

(4)運行模式不斷優(yōu)化

隨著云架構(gòu)的深入應用以及業(yè)務服務智能化水平的不斷提高，將形成“緊貼業(yè)務需求、需求牽引業(yè)務、業(yè)務統(tǒng)籌計劃、計劃驅(qū)動實施”的運行新模式。

目前基于云架構(gòu)的測控中心系統(tǒng)采用的是X86 架構(gòu)的國產(chǎn)服務器，不是國產(chǎn)芯片服務器，仍存有安全隱患。隨著自主安全技術(shù)的快速推進，提出了對測控中心系統(tǒng)要完全自主安全的更高要求。所以，下一步的主要工作是做好純國產(chǎn)硬件和自主安全軟件的適配和定制，滿足測控中心系統(tǒng)信息傳輸、處理、存儲、顯示等方面的需要，全面實現(xiàn)測控中心系統(tǒng)的自主安全。