基于超融合技術(shù)的高校數(shù)據(jù)中心設(shè)計與實現(xiàn)

冼學(xué)輝 熊偉

摘? ?要：高校智慧校園迎來大數(shù)據(jù)時代，數(shù)據(jù)中心更是智慧校園建設(shè)的核心支撐。如何在關(guān)鍵服務(wù)上做到穩(wěn)定、健壯，在服務(wù)部署上做到靈活、高效，在運維上做到綠色、經(jīng)濟，始終是數(shù)據(jù)中心建設(shè)面臨的關(guān)鍵問題。文章結(jié)合超融合技術(shù)研究，深入分析網(wǎng)絡(luò)架構(gòu)、服務(wù)部署及安全策略特性，設(shè)計基于超融合的高校數(shù)據(jù)中心建設(shè)方案并實施，在實踐中收到良好效果。

關(guān)鍵詞：數(shù)據(jù)中心;超融合;私有云;x86;分布式存儲

中圖分類號：TP308 文獻標志碼：A 文章編號：1673-8454（2020）15-0080-03

一、引言

《教育信息化2.0行動計劃》提出：沒有信息化就沒有現(xiàn)代化，教育信息化是教育現(xiàn)代化的基本內(nèi)涵和顯著特征，是“教育現(xiàn)代化2035”的重點內(nèi)容和重要標志。高校作為教育信息化建設(shè)骨干力量，無論是在高水平大學(xué)建設(shè)有效支撐方面，還是在國家信息化技術(shù)研究應(yīng)用及引領(lǐng)方面，都發(fā)揮著重要作用。作為“雙一流”建設(shè)高校，華北電力大學(xué)通過完善信息化建設(shè)，構(gòu)建綠色、開放、共享的數(shù)據(jù)中心，不斷提升學(xué)校的教學(xué)質(zhì)量、服務(wù)水平和管理效能，進而增強師生信息化獲得感。超融合技術(shù)的快速發(fā)展，帶來的技術(shù)變革也為高校數(shù)據(jù)中心的變革帶來了新的契機。[1]以往傳統(tǒng)的數(shù)據(jù)中心建設(shè)，通常是針對網(wǎng)絡(luò)、存儲設(shè)備構(gòu)建框架，服務(wù)器設(shè)備隨新業(yè)務(wù)購置，分批上線集成，這樣就容易造成孤島現(xiàn)象、災(zāi)難保護不足以及IT管理成本增加等問題。[2]而超融合技術(shù)將計算、存儲、網(wǎng)絡(luò)和安全功能深度融合，實現(xiàn)統(tǒng)一精細化的IT資源分配與調(diào)度。

華北電力大學(xué)保定校區(qū)原有數(shù)據(jù)中心建設(shè)時間較早，采用的是傳統(tǒng)分散式架構(gòu)，即業(yè)務(wù)系統(tǒng)和服務(wù)器硬件資源采用一對一的傳統(tǒng)架構(gòu)部署模式。而且各個學(xué)院、部門陸續(xù)托管了多臺服務(wù)器等硬件設(shè)備在數(shù)據(jù)中心，品牌與性能參差不齊。隨著信息化建設(shè)的規(guī)模日益增大，舊有架構(gòu)暴露了不少問題：

（1）服務(wù)器使用年限久。原先購置的設(shè)備，在性能上已無法滿足學(xué)校每年的新業(yè)務(wù)上線的需求。

（2）單機單應(yīng)用造成資源利用率低。學(xué)校各院系部在進行信息化建設(shè)時一般單獨采購硬件設(shè)備，單機負荷低。各個系統(tǒng)之間無法共享，很多資源平時用不上，高峰期又不夠用且難擴展，導(dǎo)致了大量資源的冗余和浪費。[3]

（3）系統(tǒng)可靠性低。早期業(yè)務(wù)系統(tǒng)建設(shè)時，由于考慮建設(shè)成本，沒有進行高可用或者備機的建設(shè)。一旦服務(wù)器出現(xiàn)故障，業(yè)務(wù)系統(tǒng)無法在短時間內(nèi)恢復(fù)，嚴重影響學(xué)校相關(guān)工作的進行。

（4）大量服務(wù)器、存儲、交換機、安全等硬件設(shè)備，來自不同廠商，導(dǎo)致IT運維管理負荷重。

在數(shù)據(jù)中心升級改造過程中，充分發(fā)揮專業(yè)人員長期的運維經(jīng)驗和技術(shù)優(yōu)勢，深入分析傳統(tǒng)集中存儲的特點與不足、服務(wù)器虛擬化和分布式存儲技術(shù)應(yīng)用需求，結(jié)合高校信息化技術(shù)先進性特點，構(gòu)造基于超融合私有云平臺的數(shù)據(jù)中心。

二、超融合技術(shù)

1.超融合技術(shù)簡介

超融合基礎(chǔ)架構(gòu)（Hyper Converged Infrastructure， HCI）是一種新型的網(wǎng)絡(luò)共享存儲架構(gòu)，基于標準通用的硬件平臺，通過軟件定義實現(xiàn)計算、存儲、網(wǎng)絡(luò)融合。[4]超融合基礎(chǔ)架構(gòu)具備以下三個技術(shù)特點：

（1）計算虛擬化。計算資源虛擬化技術(shù)將通用的x86服務(wù)器經(jīng)過KVM、XEN等技術(shù)，向最終用戶呈現(xiàn)標準的虛擬機，這些虛擬機具備系列化的硬件配置。

（2）存儲虛擬化。用虛擬化技術(shù)“池化”集群存儲卷內(nèi)通用x86服務(wù)器中的本地硬盤，實現(xiàn)服務(wù)器存儲資源統(tǒng)一整合、管理及調(diào)度。

（3）網(wǎng)絡(luò)虛擬化。這里特指的是軟件定義網(wǎng)絡(luò)（Software Defined Network， SDN），通過OpenFlow、Overlay等技術(shù)將網(wǎng)絡(luò)設(shè)備的控制面與數(shù)據(jù)面分離，從而實現(xiàn)網(wǎng)絡(luò)流量的靈活控制，使超融合架構(gòu)中各類網(wǎng)絡(luò)功能資源按需分配和靈活調(diào)度，實現(xiàn)網(wǎng)絡(luò)虛擬化。[5]

2.超融合對比傳統(tǒng)虛擬化的優(yōu)勢

（1）架構(gòu)更簡單、穩(wěn)健。超融合架構(gòu)將傳統(tǒng)架構(gòu)虛擬化、存儲、網(wǎng)絡(luò)三層集成到一個x86服務(wù)器上，只需使用以太網(wǎng)交換機將計算節(jié)點進行鏈接，便能快速搭建業(yè)務(wù)所需要的一切IT資源。而多個計算節(jié)點構(gòu)成的集群，消除了單點故障隱患，具有更好的穩(wěn)定性和更強的可靠性。[6]

（2）采用分布式存儲系統(tǒng)。通過部署分布式存儲的方式，對本地存儲資源進行虛擬化，再經(jīng)集群整合成資源池，為數(shù)據(jù)中心提供存儲服務(wù)。而分布式存儲多副本技術(shù)的特性，使數(shù)據(jù)更安全、業(yè)務(wù)更可靠。[7]

（3）更低的建設(shè)與維護成本。超融合架構(gòu)更簡單，理論上兩個計算節(jié)點便可以構(gòu)成一個集群，這樣使初期建設(shè)可以按需采購，降低一次性投資建設(shè)的壓力。而后期需要擴展時，可在不中斷業(yè)務(wù)的情況下新增和刪除節(jié)點，實現(xiàn)線性方式水平擴展，使部署更快捷、管理更方便。[8]

（4）運維更簡單。[2]超融合架構(gòu)將傳統(tǒng)架構(gòu)的服務(wù)器管理、存儲管理、網(wǎng)絡(luò)管理甚至安全管理集成到一個統(tǒng)一的用戶界面上，用戶可以在一個界面上，實現(xiàn)計算和存儲資源的池化，CPU、內(nèi)存、存儲等資源的分配，虛擬機的創(chuàng)建和啟動，無疑會為運維帶來極大的便利性。

三、超融合技術(shù)在高校數(shù)據(jù)中心的應(yīng)用實踐

目前學(xué)校數(shù)據(jù)中心由兩部分組成：一是由傳統(tǒng)存儲服務(wù)器組成的數(shù)據(jù)庫服務(wù)，保護現(xiàn)有投資，實現(xiàn)單一應(yīng)用;二是由超融合組成的私有云服務(wù)，實現(xiàn)應(yīng)用服務(wù)及系統(tǒng)靈活調(diào)度、安全可靠。

1.數(shù)據(jù)庫服務(wù)

數(shù)據(jù)庫服務(wù)作為高校數(shù)據(jù)中心的核心業(yè)務(wù)，承載的是學(xué)校重要的數(shù)據(jù)財產(chǎn)，要求數(shù)據(jù)庫服務(wù)能穩(wěn)定、安全、高效地運行。在數(shù)據(jù)庫服務(wù)的硬件選型上，我們采用比較成熟的方案：x86服務(wù)器+光纖存儲。相比起小型機硬件配件單一、采購成本及維護成本高的劣勢，[9]x86服務(wù)器的前期投入成本和后期維護費用遠低于小型機。而對內(nèi)存和CPU要求都較高的數(shù)據(jù)庫、商業(yè)應(yīng)用和虛擬化來說，x86服務(wù)器的可靠性可以媲美小型機，而且更加容易維護與更新，更加有利于關(guān)鍵性業(yè)務(wù)的可持續(xù)發(fā)展。[10]

從服務(wù)器、光交換到存儲服務(wù)器都采用了雙節(jié)點高可用的架構(gòu)，如圖1所示。特別是光纖存儲，采用2臺存儲服務(wù)器構(gòu)建存儲系統(tǒng)，每臺均配備2個控制器，實現(xiàn)了對稱雙活系統(tǒng)。對稱雙活系統(tǒng)在1個控制器離線的情況下不影響業(yè)務(wù)，在3個控制器離線的極端情況下依然能保證業(yè)務(wù)不下線。每臺存儲服務(wù)器配置128GB緩存，為學(xué)校數(shù)據(jù)中心的數(shù)據(jù)庫服務(wù)提供了強大的性能保障，以滿足數(shù)據(jù)庫服務(wù)穩(wěn)定及安全的苛刻需求。

2.私有云服務(wù)

筆者學(xué)校以“超融合技術(shù)+云計算管理軟件”為基礎(chǔ)，建設(shè)了架構(gòu)靈活的云化基礎(chǔ)設(shè)施，實現(xiàn)了計算、存儲、網(wǎng)絡(luò)、安全的統(tǒng)一資源池。

（1）計算及存儲配置

私有云平臺包含20個節(jié)點，集群規(guī)模達40C，每個節(jié)點的配置如下：2顆Intel Xeon Silver 4114處理器，128GB 內(nèi)存。平臺主控機在故障時可自動轉(zhuǎn)移，在運行資源需求沒有溢出資源池總量的前提下，允許多個節(jié)點離線。平臺支持集群資源調(diào)度，能在特定的場景下，將虛擬機從 CPU 或者內(nèi)存利用率比較高的主機遷移到利用率比較低的主機上，將負載過高的主機的利用率降到閾值以下。

私有云平臺采用分布式存儲技術(shù)，實行二副本的策略，每個超融合節(jié)點配置了2塊300GB SAS用于安裝HCI底層操作系統(tǒng)，2塊480GB SSD作為分布式存儲的緩存盤，4塊1TB SATA作為分布式存儲的數(shù)據(jù)盤。其初始化后實際可用存儲容量為32.88TB，最大讀速度為431.7MB/s，最大寫速度為301.7MB/s，其性能已經(jīng)能滿足學(xué)校絕大部分的應(yīng)用場景。后期存儲容量不足，可在線直接添加SATA盤擴充容量。

（2）網(wǎng)絡(luò)配置

超融合將多個x86單元設(shè)備通過以太網(wǎng)技術(shù)聚合起來，實現(xiàn)模塊化的無縫橫向擴展，形成統(tǒng)一的資源池。對集群進行構(gòu)建時，需要構(gòu)建4張網(wǎng)絡(luò)，如圖1所示：

①業(yè)務(wù)網(wǎng)絡(luò)，用于承載虛擬機的南北向通信。采用支持堆疊技術(shù)的兩臺千兆接入交換機，下行端口速率GE接入服務(wù)器，上行端口速率10GE，兩條10GE鏈路聚合方式接入核心交換機，構(gòu)建冗余的業(yè)務(wù)網(wǎng)絡(luò)。

②存儲網(wǎng)絡(luò)，二層通信，用于實現(xiàn)分布式存儲，負責(zé)超融合節(jié)點間存儲數(shù)據(jù)通信，采用支持堆疊技術(shù)的兩臺全萬兆接入交換機，實現(xiàn)雙交換機鏈路聚合，在保證性能的同時提高整個網(wǎng)絡(luò)架構(gòu)的健壯性。

③VXLAN（Virtual eXtensible Local Area Network）網(wǎng)絡(luò)，二層通信，采用兩臺千兆介入交換機進行堆疊，用于承載虛擬機的東西向流量。

④管理網(wǎng)絡(luò)，采用兩臺千兆介入交換機進行堆疊，用于物理服務(wù)器IPMI （Intelligent Platform Management Interface）等遠程管理，為終端用戶提供虛擬操作界面。

其中，在業(yè)務(wù)網(wǎng)絡(luò)的設(shè)計上實現(xiàn)軟件定義網(wǎng)絡(luò)（Software Defined Network，SDN），將網(wǎng)絡(luò)功能與專有硬件設(shè)備分離，將網(wǎng)絡(luò)功能使用軟件的方式實現(xiàn)。如圖2所示，根據(jù)學(xué)校業(yè)務(wù)類型，劃分3個業(yè)務(wù)子網(wǎng)——互聯(lián)網(wǎng)業(yè)務(wù)區(qū)、內(nèi)網(wǎng)業(yè)務(wù)區(qū)和教學(xué)科研區(qū)。每個區(qū)域下，可以給每個業(yè)務(wù)群單獨分配一臺虛擬機交換機，實現(xiàn)對業(yè)務(wù)群進行精細化的網(wǎng)絡(luò)配置管理和網(wǎng)絡(luò)監(jiān)控。這樣，無論是組建業(yè)務(wù)網(wǎng)絡(luò)，還是對網(wǎng)絡(luò)進行改造，再也不必進行現(xiàn)場的布線施工，只需通過管理平臺便能實現(xiàn)網(wǎng)絡(luò)的搭建。

（3）災(zāi)備及安全

云平臺提供兩種方式。一種是虛擬機整機備份，可以根據(jù)業(yè)務(wù)重要性，配置多個備份容災(zāi)模版——每日備份、每周備份和每月備份等。另外一種是CDP （Continuous Data Protection）備份，對于運行著核心業(yè)務(wù)或者核心數(shù)據(jù)庫的虛擬機，可以通過CDP，對虛擬機寫入數(shù)據(jù)進行I/O級的備份，從而實現(xiàn)關(guān)鍵數(shù)據(jù)的保護。

在私有云安全防護上，我們利用超融合私有云平臺的分布式防火墻，對每個業(yè)務(wù)VLAN內(nèi)的虛擬機在業(yè)務(wù)網(wǎng)絡(luò)之間實現(xiàn)了橫向隔離，當(dāng)單臺虛擬機中病毒以后避免出現(xiàn)橫向蔓延。而南北向的流量則設(shè)置了兩層防護，數(shù)據(jù)中心核心交換機的前置硬件防火墻（見圖1）及私有平臺云提供的云WAF（Web Application Firewall），滿足了不同類型業(yè)務(wù)安全需求。這樣無論是從南北向還是東西向都構(gòu)建了完備的安全防護體系，有效地保障了私有云上的業(yè)務(wù)安全。

四、結(jié)語

高?！半p一流”建設(shè)，離不開信息化的有效支撐，高校師生在教學(xué)、科研、管理和生活服務(wù)上，對信息化產(chǎn)生了多樣化的需求。綠色、高效、靈活、安全的數(shù)據(jù)中心建設(shè)是信息化建設(shè)的核心。要在關(guān)鍵服務(wù)上做到架構(gòu)穩(wěn)定、健壯，在應(yīng)用服務(wù)的部署上要做到靈活、便捷，在建設(shè)與維護成本上做到經(jīng)濟，這就要求高校IT人要摸清自己學(xué)校信息化現(xiàn)狀需求，深入了解私有云、虛擬化、分布式處理、超融合等關(guān)鍵技術(shù)，制定科學(xué)的規(guī)劃，然后量體裁衣地設(shè)計、打磨數(shù)據(jù)中心的實現(xiàn)方案?；诔诤系臄?shù)據(jù)中心上線以來，明顯提升了學(xué)校教學(xué)、科研應(yīng)用的運行效率，縮短新業(yè)務(wù)上線周期，提升師生信息化服務(wù)滿意度，為學(xué)校未來大數(shù)據(jù)業(yè)務(wù)提供平臺與資源的核心支撐，有力促進了學(xué)校“雙一流”建設(shè)與發(fā)展。

參考文獻：

[1]方昕.超融合架構(gòu)技術(shù)在高校數(shù)據(jù)中心中的應(yīng)用[J].電子技術(shù)與軟件工程，2017（14）.

[2]牛永正，肖辰，馬永新.超融合架構(gòu)在高校數(shù)據(jù)中心中的應(yīng)用——以天津商業(yè)大學(xué)數(shù)據(jù)中心建設(shè)為例[J].信息系統(tǒng)工程，2018（9）.

[3]翟永剛，丁增鑫，王青峰.基于云計算的高校數(shù)據(jù)中心設(shè)計與實現(xiàn)[J].中國教育信息化， 2015（17）：61-63.

[4]郝冠南，劉星宏，程麗彥.人民日報社新聞業(yè)務(wù)高性能的超融合存儲架構(gòu)全面部署[A].中國新聞技術(shù)工作者聯(lián)合會.2019年學(xué)術(shù)年會論文集[C].2019.6.

[5]Stanford University.Clean slate program[EB/OL].2006.http：//cleanslate.stanford.edu/.

[6]劉家樂，陳貽品.基于超融合技術(shù)的高職院校數(shù)據(jù)中心建設(shè)研究[J].信息技術(shù)與信息化， 2019（8）：106-107.

[7]王盈.超融合讓云計算回歸本質(zhì)[J].軟件和集成電路，2016（7）：46-49.

[8]解培.超融合基礎(chǔ)架構(gòu)在商業(yè)銀行私有云中的應(yīng)用[J].金融電子化，2015（12）：75-77.

[9]黃海峰.遼寧移動探索“小機x86化”成星星之火 點亮運營商數(shù)據(jù)庫轉(zhuǎn)型之路[J].通信世界，2015（24）：40.

[10]姜姝.是時候去小機了 國產(chǎn)x86已雄起[N].中國信息化周報，2014-09-29（026）.

（編輯：王天鵬）