超融合技術在高校數據中心的應用

戶利利,張聰

(深圳大學 信息中心，廣東 深圳 518060)

0 引言

隨著近幾年IT信息化技術的快速發(fā)展，高校作為人才培養(yǎng)的搖籃和科技創(chuàng)新的高地，信息化系統(tǒng)也日趨完善。各種學習平臺、教學、辦公管理軟件的引入改善了教學方法，提高了管理效率。數據中心作為高校信息化建設的核心樞紐，是高校信息化建設的基礎和載體，也是未來高校發(fā)展的核心資源。本文結合S大學數據中心的發(fā)展情況，介紹了高校數據中心的發(fā)展歷史，重點介紹了超融合虛擬化平臺的技術架構和S大學超融合虛擬化平臺的建設和使用情況。

1 高校數據中心的發(fā)展歷程

隨著信息化技術的高速發(fā)展，高校對信息化基礎設施的需求不斷增加，為了滿足這種需求，數據中心作為高校信息化建設的核心樞紐也在不斷變化和發(fā)展。高校的數據中心基礎設施從單機服務器系統(tǒng)逐步演化為軟件定義的虛擬化平臺。

1.1 傳統(tǒng)的數據中心

20世紀80年代，以X86服務器和PC系統(tǒng)的誕生為標志，數據中心主要采用包含網絡、服務器和操作系統(tǒng)等多層次水平分工的架構，這個時期，各層IT產業(yè)鏈獲得了很大的發(fā)展，產生了一大批生成服務器和網絡設備的廠商，各個高校的數據中心也是在此基礎上建立了起來。在這個時期，業(yè)務系統(tǒng)都是部署在單臺服務器中，使用服務器自帶的計算和存儲資源，通過交換機連接到網絡中。

1.2 存儲集中的數據中心

隨著信息化的發(fā)展，產生了大量的數據，服務器上自帶的存儲已經不能滿足用戶的需求，大空間存儲的需求推進了存儲設備的產生，這個時期，數據中心的架構轉化為服務器加后端共享存儲的模式。2007年，S大學信息中心采購了一套EMC存儲，用于備份各個業(yè)務系統(tǒng)的歷史數據。

1.3 傳統(tǒng)的虛擬化系統(tǒng)

伴隨互聯(lián)網行業(yè)的興起，產生了越來越多的應用系統(tǒng)，對服務器、存儲的需求呈指數級的增加，高校數據中心機房里產生了大量不同品牌和型號的設備，大大增加了運維的工作量和運維難度，傳統(tǒng)的物理服務器+共享存儲的架構已經不能滿足業(yè)務的需求。另外一方面，服務器虛擬化技術的整合式架構進化為傳統(tǒng)的虛擬化架構，提高了資源利用率和運維效率[1]。傳統(tǒng)的虛擬化架構是通過光纖交換機將高性能服務器和存儲連接起來，各個主機通過交換機實現(xiàn)存儲共享，通過虛擬化軟件將高性能主機的CPU和內存以及后端的存儲資源進行統(tǒng)一管理和配置。從2011年開始，S大學信息中心分三期建立了由9臺Dell R815主機和EMC存儲構成的3個集群的vmware虛擬化平臺。

1.4 超融合架構的虛擬化系統(tǒng)

隨著商業(yè)數字化和互聯(lián)網化對IT資源的使用速度和使用要求的大幅提升以及分布式存儲架構技術的發(fā)展，產生了超融合虛擬化架構。2016年7月在Gartner公司月公布的技術成熟度曲線中超融合架構已經度過概念炒作期，進入實際落地階段，成為現(xiàn)代化數據中心基礎架構的標準組件[2]。超融合架構中，在多臺服務器硬件中同時部署分布式存儲和計算虛擬化軟件，將這些服務器節(jié)點上的計算、存儲資源進行虛擬化，構成一個統(tǒng)一的虛擬資源池提供給用戶使用。2018年，S大學信息中心構建了由19臺主機構成的華為超融合虛擬化平臺，用來替代即將退役的vmware虛擬化平臺。

2 超融合架構

超融合技術最早的起源是受Google、Facebook等大型互聯(lián)網公司通過軟件技術構建大規(guī)模數據中心的啟發(fā)，結合虛擬化技術實現(xiàn)的可擴展的IT基礎架構[3]?；ヂ?lián)網對IT資源的使用速度和使用需求的大幅提高以及分布式存儲架構、SSD技術的發(fā)展都促成了超融合架構的實際落地和快速發(fā)展。超融合架構打破了傳統(tǒng)的服務器、網絡和存儲的孤立界線，將CPU、內存、存儲、網絡和虛擬化技術整合在一臺設備上，每一臺設備作為一個單元節(jié)點，多節(jié)點通過網絡聚合實現(xiàn)模塊化的無縫橫向擴展，形成統(tǒng)一的資源池[4]。

超融合虛擬化架構是在傳統(tǒng)虛擬化架構基礎上發(fā)展起來的。傳統(tǒng)虛擬化架構中的存儲是單獨的設備，通過FC交換機與虛擬化主機連接。這種架構的缺點是系統(tǒng)復雜，采購起點高，即使是一個容量小、性能低的虛擬化系統(tǒng)，主機、交換機、存儲這3種類型的設備都缺一不可，并且系統(tǒng)的搭建和配置也比較復雜。同時這種架構擴展困難，如果需要增加計算資源即添加主機，不僅需要新購置交換機的光模塊，還需要在后端存儲部分對新增加的主機進行路徑添加等設置。在超融合架構中，網絡、存儲、主機3個層面集成到了一起，大大降低了系統(tǒng)的復雜度。并且系統(tǒng)方便擴展，可以通過橫向擴展的方式同時添加計算和存儲資源，擴展的過程相對于傳統(tǒng)的虛擬化架構簡化了很多，同時節(jié)點數量可以擴展得非常大。傳統(tǒng)虛擬化架構與超融合虛擬化架構的部署對比圖如圖1所示。

圖1 傳統(tǒng)虛擬化架構與超融合虛擬化架構的部署對比圖

超融合架構不僅在部署和維護中優(yōu)于傳統(tǒng)虛擬化架構，在性能上也具有顯著的優(yōu)點。超融合架構的存儲是根據服務器節(jié)點數量多節(jié)點并發(fā)的，系統(tǒng)的讀寫性能隨著服務器節(jié)點數量線性擴展的，節(jié)點越多，讀寫性能越好，并且為了保證分布式數據的可靠性，超融合架構采用的是3副本方式進行數據備份。而傳統(tǒng)的虛擬化架構的讀寫性能不具有擴展性，并且為了保證系統(tǒng)的可靠性，傳統(tǒng)的虛擬化架構存儲部分需要雙控制器，而雙控制器使得即使安裝了SSD卡的存儲，也無法發(fā)揮SSD的性能。

3 超融合虛擬化系統(tǒng)在S大學的應用

2011年開始，S大學分三期創(chuàng)建了vmware虛擬化平臺，平臺上主要是各個學院的網站以及財務、人力和教務等業(yè)務單位的虛擬機?？紤]到系統(tǒng)硬件的使用年限和系統(tǒng)的穩(wěn)定性，我們在2017年底的時候采購了華為的超融合虛擬化平臺來替代vmware虛擬化平臺。

4 總體技術架構

S大學的超融合虛擬化平臺由19個節(jié)點構成，其中高性能節(jié)點3個，存儲和計算節(jié)點16個，每個節(jié)點有4個10G端口，2個用于業(yè)務，2個用于存儲。節(jié)點上的2個業(yè)務端口通過鏈路聚合為基于源目的MAC負載均衡的方式連接于兩個萬兆交換機，構成業(yè)務平面；節(jié)點上的2個存儲端口通過鏈路聚合為主備模式的方式分別連接于兩個萬兆交換機,構成存儲平面，用于華為FusionStorage分布式存儲的端口。千兆交換機S5720主要是對各個主機的管理端口進行管理。該校超融合的網絡架構圖如圖2所示。

圖2 網絡架構圖

5 基礎硬件配置

高性能節(jié)點為華為XH622節(jié)點主機，配置為2顆 英特爾至強E5-2699 V4處理器(帶散熱器)，16條 DDR4 RDIMM 32GB內存，2張10Gb雙端口網卡(含兩個多模模塊)，2塊600GB SAS 10K RPM 2.5的硬盤。存儲和計算節(jié)點為華為XH628節(jié)點主機，配置為2顆英特爾至強E5-2680 V4處理器(帶散熱器)，16條DDR4 RDIMM 32GB內存；2張10Gb雙端口網卡(含兩個多模模塊)，2個600GB SAS 10K RPM 2.5’硬盤和10個4 000GB SATA 7.2K RPM 3.5’硬盤，SSD卡為ES3 600C V3 800G SSD卡。其中XH622和XH628節(jié)點提供4個10G SFP光口和1個RJ45電口，其中2個10G SFP光口用于業(yè)務接入，2個10G SFP電口用于存儲接入，RJ45電口用于管理網絡接入。

萬兆交換機兩臺，配置為華為CE6 851-48S6Q-HI，56Tbps，包轉發(fā)率1080Mpps，10GE光端口數量48個，用于服務器節(jié)點的存儲和業(yè)務接入，40GE端口數量6個。負責管理的千兆交換機一臺，配置為華為S5 720-56C-EI-AC，交換機容量598Gbps，包轉發(fā)率252Mpps，10/100/1 000Base-T以太網端口數量48個，用于機箱和各個計算節(jié)點的接入，萬兆SFP+光口4個(配置兩個萬兆多模模塊)。

6 IP地址

考慮到系統(tǒng)的安全和管理、維護的方便性，系統(tǒng)在設計初期對管理、業(yè)務和存儲平臺的IP做了些規(guī)劃。IP的規(guī)劃遵從如下原則：

·BMC平面與業(yè)務平面、存儲平面要有對應關系，即IP地址最后一位要相同；

·同一網段的IP地址也需要根據設備類型進行規(guī)劃：

服務器機框IP為1-10；高性能計算點為21-30；管理&存儲&計算節(jié)點為31-40；存儲和計算節(jié)點為41-60；

·用于管理的軟件平臺IP地址從61開始按順序往后排。

最終IP如表1所示(考慮到平臺安全，IP網段有些字符用*代替)。

表1 最終IP

7 超融合虛擬化

華為的超融合虛擬化平臺計算虛擬化部分采用的是Fushion Computer安裝方案。虛擬基礎設施系統(tǒng)由虛擬資源管理節(jié)點Fushion VRM(VRM)和計算節(jié)點代理Fusion CNA(CNA)兩部分組成。CNA節(jié)點部署虛擬化管理代理軟件和虛擬化軟件，用于將服務器的CPU和內存進行虛擬化。VRM是計算資源管理節(jié)點，用于對所有的CNA節(jié)點的計算資源進行管理。在本項目中，在兩個不同的管理CNA節(jié)點上分別部署了主備VRM節(jié)點。

華為的超融合平臺存儲虛擬化部分采用的是Fushion Storage安裝方案。其中Fushion Storage Manager(FSM)采用主備方式部署于兩個管理CNA節(jié)點上，用于管理進程、提供存儲告警、監(jiān)控、日志等操作維護功能。Fushion Storage Agent(FSA)部署在各個CNA節(jié)點上，實現(xiàn)與FSM的通信。MDC實現(xiàn)對業(yè)務進程控制，對分布式集群狀態(tài)控制，控制數據分布式規(guī)則、數據重建等。業(yè)務IO進程VBS，負責卷元數據的管理，提供分布式集群接入點服務，使計算資源能夠通過VBS訪問分布式存儲資源。每個服務器上部署一個VBS進程，形成VBS集群。OSD執(zhí)行具體的I/O操作。在每個服務器上部署多個OSD進程，一塊磁盤對應部署一個OSD進程。

8 建設成果與分析

超融合虛擬化平臺建成后可以對外提供19×512G的內存，180T的可用存儲，在不考慮超賣情況下，可以提供798個虛擬機。目前平臺已經平穩(wěn)運行將近兩年，為學院、財務、教務等業(yè)務單位提供將近300臺虛擬機。

這套超融合系統(tǒng)是為了接替將要退役的vmware虛擬化平臺。這兩套系統(tǒng)一個是基于傳統(tǒng)架構的虛擬化系統(tǒng)，一個是基于超融合架構的虛擬化系統(tǒng)。在使用過程和維護過程中還是有差別的。

超融合系統(tǒng)部署簡單，而傳統(tǒng)架構的系統(tǒng)則要復雜很多。超融合系統(tǒng)硬件上架后兩天的時間里，系統(tǒng)已經全部部署完畢；vmware虛擬化平臺在15年時候，我們對該平臺上增加了一套華為集中存儲，只是對存儲進行配置和添加主機工作就持續(xù)了7天。

性能方面，vmware作為老牌虛擬化廠商還是領先于華為的，在虛擬機遷移、克隆、快照等方面都是優(yōu)于華為的。

在廠商運維和安全方面，華為是優(yōu)于vmware的。華為是我們的國產軟件，滿足軟件國產化的安全要求，華為虛擬化廠商的運維服務做得很到位，400服務隨時解答用戶的各種問題，eservice運維服務也為用戶提供了實時的平臺監(jiān)控，并且原廠服務也不是很貴，而Vmware的license和原廠服務則要遠遠高于華為。

9 總結

利用有限資金建設滿足學校需求的虛擬化平臺是高校數據中心建設中的重要問題，超融合虛擬化平臺因其建設門檻低，擴展簡單等優(yōu)點已經廣泛應用于高校信息化建設中。本文通過高校數據中心的發(fā)展歷史，介紹了S大學的數據中心在各個時期的情況，重點介紹了S大學超融合虛擬化平臺技術架構、建設情況和主要技術模塊的功能。實踐證明華為超融合虛擬化平臺在性能提升、降低成本、操作簡便和方便擴容等方面具有不可替代的優(yōu)勢，同時可以很好的滿足各個業(yè)務部門對信息化的需求。