訓(xùn)練數(shù)據(jù)中心物理資源整合技術(shù)研究

李德偉，劉 鵬

(1.海軍參謀部 軍事訓(xùn)練中心，北京 100841；2.海軍工程大學(xué)，湖北 武漢 430000)

0 引言

目前,部隊軍事訓(xùn)練任務(wù)日益增多，且具有跨業(yè)務(wù)平臺、多通信體制、高度共享關(guān)聯(lián)和功能協(xié)同應(yīng)用等特點(diǎn)，訓(xùn)練業(yè)務(wù)中產(chǎn)生的訓(xùn)練數(shù)據(jù)指數(shù)級增長，對訓(xùn)練數(shù)據(jù)中心的數(shù)據(jù)處理能力提出了更高要求。而數(shù)據(jù)中心物理資源根據(jù)各數(shù)據(jù)處理業(yè)務(wù)需求，進(jìn)行獨(dú)占式分配使用，數(shù)據(jù)中心資源維護(hù)復(fù)雜；各數(shù)據(jù)處理業(yè)務(wù)本身對硬件資源的整體利用率較低，資源利用率低；運(yùn)算量較大的數(shù)據(jù)處理業(yè)務(wù)對硬件性能要求高，單一設(shè)備無法滿足使用要求等問題，已成為阻礙數(shù)據(jù)中心正常運(yùn)維及可持續(xù)發(fā)展的重要原因，只有對數(shù)據(jù)中心物理資源進(jìn)行更加高效的資源整合，才能最大程度發(fā)揮數(shù)據(jù)中心的作用，為訓(xùn)練業(yè)務(wù)開展提供有利保障。

目前如何高效整合數(shù)據(jù)中心的物理資源一直是相關(guān)領(lǐng)域的研究熱點(diǎn)。文獻(xiàn)[1-3]提出了在大數(shù)據(jù)時代下建設(shè)數(shù)據(jù)中心需重點(diǎn)注意的相關(guān)事項(xiàng)，如建設(shè)方案選擇、數(shù)據(jù)安全等；文獻(xiàn)[4-6]介紹了分布式平臺建設(shè)及分布式服務(wù)架構(gòu)業(yè)務(wù)應(yīng)用等；文獻(xiàn)[7-9]介紹了物理資源整合必要的關(guān)鍵技術(shù)，如多服務(wù)器及分布式進(jìn)程間的協(xié)同服務(wù)、遠(yuǎn)程調(diào)度服務(wù)等；文獻(xiàn)[10-11]介紹了云平臺涉及到的負(fù)載均衡及任務(wù)調(diào)度技術(shù)；文獻(xiàn)[12-13]介紹了分布式文件系統(tǒng)及存儲集群相關(guān)技術(shù)。借鑒目前的分布式構(gòu)架并結(jié)合大數(shù)據(jù)時代的云概念，本文提出的物理資源整合通過對系統(tǒng)計算服務(wù)器、存儲服務(wù)器和網(wǎng)絡(luò)交換設(shè)備等硬件基礎(chǔ)設(shè)備整合服務(wù)，將底層基礎(chǔ)資源打散，分割成基本資源邏輯單元，再整合形成網(wǎng)絡(luò)、計算和存儲資源池，對外提供可度量的、系統(tǒng)隔離的、安全可靠的和快速可擴(kuò)展的持續(xù)資源服務(wù)。

1 系統(tǒng)資源整合

系統(tǒng)資源整合負(fù)責(zé)管理數(shù)據(jù)中心集群的物理資源，屏蔽底層基礎(chǔ)設(shè)施差異，將底層基礎(chǔ)資源打散、分割成基本邏輯單元，形成網(wǎng)絡(luò)、計算和存儲資源池，為各業(yè)務(wù)系統(tǒng)提供容器云服務(wù)、云數(shù)據(jù)庫服務(wù)、裸金屬云服務(wù)、開放式存儲服務(wù)和虛擬網(wǎng)絡(luò)服務(wù)等具有統(tǒng)一標(biāo)準(zhǔn)服務(wù)接口、可度量、系統(tǒng)隔離、安全可靠和快速可擴(kuò)展的持續(xù)資源池服務(wù)，主要包括服務(wù)器資源整合、存儲設(shè)備資源整合和網(wǎng)絡(luò)設(shè)備資源整合。

服務(wù)器資源整合主要由容器云資源整合、數(shù)據(jù)庫云資源整合和裸金屬云資源整合組成。通過將多臺多種操作系統(tǒng)的國產(chǎn)化自主可控服務(wù)器與非國產(chǎn)化服務(wù)器有機(jī)結(jié)合，依托存儲系統(tǒng)及網(wǎng)絡(luò)系統(tǒng)資源，容器云資源整合構(gòu)建具備混合架構(gòu)的容器云平臺，提供統(tǒng)一開放的虛擬化支撐能力，構(gòu)建兼容麒麟、Windows、Linux等多種操作系統(tǒng)的容器云服務(wù)；數(shù)據(jù)庫云資源整合對各業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫服務(wù)器進(jìn)行整合，構(gòu)建具備一主多備、一寫多讀和設(shè)備故障自動快速容災(zāi)的數(shù)據(jù)庫云平臺，為各業(yè)務(wù)系統(tǒng)提供統(tǒng)一的數(shù)據(jù)庫訪問服務(wù)；裸金屬云資源整合為各業(yè)務(wù)系統(tǒng)搭建的分布式計算集群提供統(tǒng)一運(yùn)維管理，保障各類硬件資源的實(shí)時監(jiān)控及故障自動告警。

存儲設(shè)備資源整合負(fù)責(zé)管理數(shù)據(jù)總線的陣列存儲設(shè)備、分布式對象存儲設(shè)備、NAS文件存儲設(shè)備及離線存儲設(shè)備的物理資源，形成在線、近線和離線存儲層，為業(yè)務(wù)系統(tǒng)提供海量、高速、安全、高可用、可定制、可擴(kuò)展和具備多種存儲體制滿足各類業(yè)務(wù)系統(tǒng)需求的存儲資源，隱藏下層存儲設(shè)備故障恢復(fù)和數(shù)據(jù)冗余等細(xì)節(jié)。

網(wǎng)絡(luò)設(shè)備資源整合根據(jù)各業(yè)務(wù)系統(tǒng)間不同的業(yè)務(wù)特點(diǎn)、應(yīng)用架構(gòu)和安全等，按應(yīng)用集群劃分為接入?yún)^(qū)、運(yùn)維管理區(qū)、服務(wù)器區(qū)和存儲區(qū)。各區(qū)之間通過規(guī)范化的安全控制連接到互聯(lián)交換機(jī)上，分區(qū)內(nèi)采用標(biāo)準(zhǔn)化、模塊化等方法進(jìn)行設(shè)計。采用分區(qū)架構(gòu)，在不增加物理設(shè)備和連線的前提下，實(shí)現(xiàn)業(yè)務(wù)快速部署，增加了業(yè)務(wù)系統(tǒng)部署的靈活性；更好地支持了雙活結(jié)構(gòu)中的各層次的東西向流量、外聯(lián)專線在多個中心之間的備份及業(yè)務(wù)系統(tǒng)的跨區(qū)域靈活訪問。系統(tǒng)資源整合示意如圖 1所示。

圖1 系統(tǒng)資源整合Fig.1 System resource integration

2 容器云服務(wù)

容器云平臺軟件是以輕量化容器技術(shù)為核心的信息服務(wù)平臺，采用Docker(開源的應(yīng)用容器引擎)和Kubernetes(開源的容器編排引擎)技術(shù)，實(shí)現(xiàn)對全自主可控計算機(jī)集群網(wǎng)絡(luò)、存儲和計算資源的統(tǒng)一調(diào)度管理，支持基于Kubernetes調(diào)度架構(gòu)的多種調(diào)度策略、負(fù)載均衡策略，提供容器云管理的可視化交互界面及一鍵部署、云桌面等運(yùn)維手段，支持以容器形式提供計算服務(wù)，能夠掛載存儲與網(wǎng)絡(luò)，具備快速啟動、彈性伸縮等能力，為業(yè)務(wù)系統(tǒng)提供安全可靠的運(yùn)行支撐環(huán)境，保障各業(yè)務(wù)系統(tǒng)的不間斷運(yùn)行。

3 云數(shù)據(jù)庫服務(wù)

云數(shù)據(jù)庫采用分布式集群架構(gòu)，構(gòu)建主備數(shù)據(jù)庫機(jī)房，主備機(jī)房均采用一主多備數(shù)據(jù)庫集群，支持一個主節(jié)點(diǎn)和多個備份節(jié)點(diǎn)，主節(jié)點(diǎn)及備份節(jié)點(diǎn)同時工作，滿足業(yè)務(wù)系統(tǒng)高并發(fā)數(shù)據(jù)訪問需求；支持基于共享存儲的一寫多讀架構(gòu)體系，數(shù)據(jù)一次寫入主節(jié)點(diǎn)，所有備份節(jié)點(diǎn)即時生效，主備延遲控制在秒級以內(nèi)；提供并行查詢引擎服務(wù)，通過并行計算提升復(fù)雜大SQL查詢性能，適用于大表關(guān)聯(lián)查詢、無索引列的點(diǎn)查詢和多字段分組查詢等場景；采用存儲和計算分離的體系架構(gòu)，提供數(shù)據(jù)存儲能力彈性伸縮、多計算節(jié)點(diǎn)共享數(shù)據(jù)、分鐘級配置升級、秒級數(shù)據(jù)恢復(fù)、全局一致性和數(shù)據(jù)容災(zāi)備份服務(wù)，通過白名單、專有網(wǎng)絡(luò)和數(shù)據(jù)多節(jié)點(diǎn)存儲等技術(shù)對數(shù)據(jù)庫數(shù)據(jù)訪問、存儲和管理等各環(huán)節(jié)提供安全保障。

云數(shù)據(jù)庫服務(wù)節(jié)點(diǎn)通過遠(yuǎn)程數(shù)據(jù)存取服務(wù)對數(shù)據(jù)進(jìn)行訪問，其中主機(jī)房云數(shù)據(jù)庫節(jié)點(diǎn)由一個主數(shù)據(jù)庫節(jié)點(diǎn)和多個只讀(備)數(shù)據(jù)庫節(jié)點(diǎn)組成，數(shù)據(jù)庫正常運(yùn)行時，主備數(shù)據(jù)庫可進(jìn)行數(shù)據(jù)庫讀訪問分離，在數(shù)據(jù)庫節(jié)點(diǎn)發(fā)生異常時，數(shù)據(jù)訪問服務(wù)自動切換，且對上層應(yīng)用服務(wù)基本無感知；備機(jī)房云數(shù)據(jù)庫節(jié)點(diǎn)亦由一個主數(shù)據(jù)庫節(jié)點(diǎn)和多個只讀(備)數(shù)據(jù)庫節(jié)點(diǎn)組成，主數(shù)據(jù)庫將數(shù)據(jù)實(shí)時同步到主機(jī)房主數(shù)據(jù)庫數(shù)據(jù)，并將同步的數(shù)據(jù)實(shí)時向備數(shù)據(jù)庫同步。當(dāng)主機(jī)房數(shù)據(jù)庫發(fā)生故障時，可通過備機(jī)房數(shù)據(jù)庫為業(yè)務(wù)系統(tǒng)臨時提供數(shù)據(jù)庫服務(wù)，提高主機(jī)房數(shù)據(jù)庫異地災(zāi)備能力。云數(shù)據(jù)庫服務(wù)體系如圖2所示。

圖2 云數(shù)據(jù)庫服務(wù)體系Fig.2 Cloud Database Service Architecture Diagram

4 裸金屬云服務(wù)

裸金屬云為各業(yè)務(wù)系統(tǒng)提供物理服務(wù)器的管理服務(wù)，支持根據(jù)應(yīng)用服務(wù)配置需求，自定義安裝操作系統(tǒng)，并提供物理服務(wù)器主機(jī)的全生命周期管理，實(shí)時監(jiān)控物理服務(wù)器主機(jī)的健康狀態(tài)，保障核心業(yè)務(wù)系統(tǒng)的高效穩(wěn)定運(yùn)行，進(jìn)行各業(yè)務(wù)系統(tǒng)物理服務(wù)器的統(tǒng)一運(yùn)維管控。

裸金屬云管理節(jié)點(diǎn)通過服務(wù)器基板管理控制器(BMC)與各物理服務(wù)器進(jìn)行網(wǎng)絡(luò)連接，通過智能平臺管理接口(IPMI)進(jìn)行物理服務(wù)器的健康狀態(tài)監(jiān)控及帶外管理，如遠(yuǎn)程控制服務(wù)器開關(guān)機(jī)，進(jìn)行故障日志記錄批量部署等；通過部署預(yù)啟動執(zhí)行環(huán)節(jié)服務(wù)(PXE Server)、動態(tài)主機(jī)配置協(xié)議服務(wù)(DHCP Server)、簡單文件傳輸協(xié)議服務(wù)(TFTP Server)等服務(wù)，進(jìn)行物理服務(wù)器的批量部署；通過云特性，進(jìn)行物理服務(wù)器主機(jī)的鏡像備份與恢復(fù)操作。裸金屬云的整體架構(gòu)如圖3所示。

圖3 裸金屬云系統(tǒng)架構(gòu)Fig.3 Bare metal cloud system architecture diagram

5 開放存儲服務(wù)

開放存儲服務(wù)為上層系統(tǒng)提供海量、安全、低成本、高可靠的多體制存儲服務(wù)，支持多用戶海量并發(fā)數(shù)據(jù)訪問，提供豐富的圖片處理服務(wù)和強(qiáng)大靈活的安全機(jī)制。開放存儲服務(wù)支持?jǐn)?shù)據(jù)雙活、多副本和定期備份等多種數(shù)據(jù)高可用體制，提供副本自動復(fù)制和自我修復(fù)功能；支持在線動態(tài)平滑擴(kuò)容；支持與平臺無關(guān)的基于HTTP/HTTPS協(xié)議的RESTful API接口和多語言軟件開發(fā)套件。開放存儲服務(wù)主要為各業(yè)務(wù)系統(tǒng)提供陣列存儲服務(wù)、分布式對象存儲服務(wù)、NAS文件存儲服務(wù)和藍(lán)光存儲服務(wù)。

陣列存儲向各業(yè)務(wù)系統(tǒng)提供高I/O的塊存儲訪問服務(wù)，滿足各業(yè)務(wù)系統(tǒng)實(shí)時處理、高速運(yùn)行及鏡像文件存儲和遷移等要求；通過部署對稱雙活存儲架構(gòu)，滿足各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)高可用需求，實(shí)現(xiàn)數(shù)據(jù)雙活；通過負(fù)載均衡機(jī)制，對數(shù)據(jù)訪問流量進(jìn)行合理分發(fā)，提升存儲系統(tǒng)吞吐能力及響應(yīng)速度。通過存儲數(shù)據(jù)熱度智能分析功能，自動進(jìn)行業(yè)務(wù)系統(tǒng)存儲數(shù)據(jù)調(diào)用冷熱數(shù)據(jù)分層加速。

分布式對象存儲向各業(yè)務(wù)系統(tǒng)提供多重數(shù)據(jù)存儲服務(wù)，滿足各業(yè)務(wù)系統(tǒng)大數(shù)據(jù)計算業(yè)務(wù)下持續(xù)增長的性能和容量需求及不同應(yīng)用、不同數(shù)據(jù)存儲格式與服務(wù)協(xié)議的需求，可有效地管理共享資源；通過配額管理功能，將存儲資源按需分配，提高存儲利用率；存儲系統(tǒng)通過負(fù)載均衡機(jī)制，在實(shí)現(xiàn)網(wǎng)絡(luò)負(fù)載均衡的同時，將所有數(shù)據(jù)讀寫壓力平均分配到服務(wù)器所有硬盤中，實(shí)現(xiàn)所有硬盤的壓力均衡，將存儲服務(wù)器以及網(wǎng)絡(luò)的整體性能發(fā)揮出來。

NAS文件存儲向業(yè)務(wù)系統(tǒng)提供共享文件或大容量非結(jié)構(gòu)化數(shù)據(jù)文件存儲，滿足全局文件共享功能，為業(yè)務(wù)系統(tǒng)提供文件統(tǒng)一視圖，實(shí)現(xiàn)全局共享訪問，方便運(yùn)維管理的同時，提供數(shù)據(jù)按需分發(fā)分享機(jī)制。由于各個業(yè)務(wù)系統(tǒng)存在私密文件，文件存儲在滿足統(tǒng)一存儲池需求的同時，提供豐富的權(quán)限管理功能，解決用戶數(shù)據(jù)隔離的存儲需求。

藍(lán)光存儲向業(yè)務(wù)系統(tǒng)及各級存儲系統(tǒng)提供數(shù)據(jù)歸檔、長效數(shù)據(jù)保存以及數(shù)據(jù)容災(zāi)恢復(fù)的功能。通過豐富的存儲接口，依托廉價的存儲介質(zhì)以及離線管理功能，對分散的孤島數(shù)據(jù)進(jìn)行匯集歸檔；基于藍(lán)光介質(zhì)高達(dá)50年壽命的材質(zhì)特性，實(shí)現(xiàn)完整的數(shù)據(jù)生命周期管理；通過原生的一次寫多次讀(WORM)刻寫技術(shù)，配合靈活的數(shù)據(jù)備份策略，保存關(guān)鍵數(shù)據(jù)的所有歷史版本及操作記錄，為業(yè)務(wù)系統(tǒng)提供最后的數(shù)據(jù)安全保障。

6 虛擬網(wǎng)絡(luò)服務(wù)

虛擬網(wǎng)絡(luò)服務(wù)通過軟件定義網(wǎng)絡(luò)的方式實(shí)現(xiàn)虛擬交換機(jī)、虛擬路由器和虛擬防火墻等網(wǎng)絡(luò)功能，為接入的系統(tǒng)提供完全隔離的網(wǎng)絡(luò)環(huán)境并通過隧道技術(shù)保證系統(tǒng)與虛擬專用網(wǎng)絡(luò)的對應(yīng)關(guān)系。每個虛擬網(wǎng)絡(luò)由網(wǎng)關(guān)、路由器和交換機(jī)組成，虛擬網(wǎng)絡(luò)之間邏輯上完全隔離，可根據(jù)業(yè)務(wù)需求定義虛擬網(wǎng)絡(luò)，可自定義IP網(wǎng)段、配置路由表和網(wǎng)關(guān)。交換機(jī)和網(wǎng)關(guān)組成數(shù)據(jù)通路的關(guān)鍵路徑，控制器下發(fā)轉(zhuǎn)發(fā)表到網(wǎng)關(guān)和交換機(jī)，組成配置通路關(guān)鍵路徑。在虛擬網(wǎng)絡(luò)中，可使用容器云主機(jī)、關(guān)系型數(shù)據(jù)庫和負(fù)載均衡等服務(wù)，支持將虛擬網(wǎng)絡(luò)連接到其他專有網(wǎng)絡(luò)，形成一個按需定制的網(wǎng)絡(luò)環(huán)境，實(shí)現(xiàn)服務(wù)平滑遷移和按需擴(kuò)展，為上層系統(tǒng)提供安全、易用和可擴(kuò)展的虛擬網(wǎng)絡(luò)服務(wù)。

7 結(jié)束語

本文提出了基于云技術(shù)的物理資源整合，通過對訓(xùn)練數(shù)據(jù)中心的服務(wù)器、存儲和網(wǎng)絡(luò)等物理資源進(jìn)行整合，為各業(yè)務(wù)系統(tǒng)提供統(tǒng)一的、高可用的和具備負(fù)載均衡等特性的容器云服務(wù)、云數(shù)據(jù)庫服務(wù)、裸金屬云服務(wù)、開放存儲服務(wù)和虛擬網(wǎng)絡(luò)服務(wù)等服務(wù)，在滿足各業(yè)務(wù)系統(tǒng)使用需求的前提下，提高了訓(xùn)練數(shù)據(jù)中心的物理資源利用率，降低了物理資源故障的維護(hù)時間，并提高了系統(tǒng)運(yùn)維人員的工作效率，為訓(xùn)練任務(wù)的正常開展提供了有力的保障。