超融合技術(shù)在高校數(shù)據(jù)中心基礎(chǔ)架構(gòu)中的應(yīng)用

彭 飛

(揚(yáng)州職業(yè)大學(xué), 江蘇 揚(yáng)州 225009)

近年來,隨著大數(shù)據(jù)、智慧校園的發(fā)展,傳統(tǒng)的數(shù)據(jù)中心技術(shù)和解決方案已無法滿足高校對(duì)于基礎(chǔ)設(shè)施的要求,“軟件定義”以及超融合技術(shù)為此提供了一個(gè)全新的解決思路,超融合技術(shù)(HCI)已應(yīng)用于銀行、醫(yī)院等數(shù)據(jù)中心的基礎(chǔ)架構(gòu)中。[1]某高校信息化建設(shè)采用超融合技術(shù),逐漸替代傳統(tǒng)技術(shù),使其成為數(shù)據(jù)中心的核心基礎(chǔ)架構(gòu)。

1 超融合技術(shù)概述

伴隨著計(jì)算機(jī)技術(shù)的發(fā)展,數(shù)據(jù)中心基礎(chǔ)架構(gòu)經(jīng)歷了單獨(dú)服務(wù)器、服務(wù)器共享存儲(chǔ)、服務(wù)器虛擬化和超融合四個(gè)階段的變遷,前三個(gè)階段統(tǒng)稱為傳統(tǒng)數(shù)據(jù)中心基礎(chǔ)架構(gòu)。數(shù)據(jù)中心基礎(chǔ)架構(gòu)發(fā)展的所有階段都是圍繞著如何為應(yīng)用程序提供計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)這三項(xiàng)重要功能,其中計(jì)算和存儲(chǔ)功能在傳統(tǒng)數(shù)據(jù)中心都無法提供靈活的縱向和橫向的擴(kuò)展,直接導(dǎo)致這些架構(gòu)方式在性能、成本、可靠性、可擴(kuò)展性等方面存在諸多問題。超融合技術(shù)基于虛擬化系統(tǒng),通過對(duì)計(jì)算、存儲(chǔ)和存儲(chǔ)網(wǎng)絡(luò)的集成,解決了傳統(tǒng)數(shù)據(jù)中心的固有問題,通過分布式架構(gòu)、“軟件定義”的方式及自修復(fù)等功能提供更高的可用性和可擴(kuò)展性。

雖然超融合技術(shù)處于發(fā)展初期階段,各廠商對(duì)其定義也不盡相同,但總體形成了一個(gè)統(tǒng)一的認(rèn)識(shí),即其是一個(gè)“軟件定義”、可靈活配置、按需擴(kuò)容的全堆棧基礎(chǔ)設(shè)施,無需傳統(tǒng)的存儲(chǔ)系統(tǒng),除具備計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)和虛擬化功能之外,數(shù)據(jù)備份、恢復(fù)、復(fù)制、壓縮、糾刪碼和重復(fù)數(shù)據(jù)刪除等功能也均包含在管理軟件或集成硬件中,最終統(tǒng)一交付[2]。超融合技術(shù)總體可以分成松耦合和緊耦合兩種形式,它們主要區(qū)別在于I/O處理的機(jī)制,如圖1所示。松耦合方式使用獨(dú)立的CVM(控制器虛擬機(jī))進(jìn)行I/O處理,不綁定虛擬化系統(tǒng),升級(jí)CVM時(shí)虛擬化系統(tǒng)不需隨之升級(jí),反之亦然。而緊耦合方式將CVM即I/O處理功能集成在虛擬化系統(tǒng)的內(nèi)核,需與虛擬化系統(tǒng)同時(shí)升級(jí)。相較而言,采用松耦合方式的超融合技術(shù)更加靈活,也節(jié)約成本,適合高校部署。

圖1 超融合基礎(chǔ)架構(gòu)的兩種方式

2 數(shù)據(jù)中心的超融合架構(gòu)設(shè)計(jì)

某高校數(shù)據(jù)中心經(jīng)過歷次升級(jí)改造，已經(jīng)處于傳統(tǒng)數(shù)據(jù)中心的服務(wù)器虛擬化階段，其架構(gòu)如圖2所示。在物理架構(gòu)上,采用服務(wù)器集群和SAN(存儲(chǔ)區(qū)域網(wǎng)絡(luò)),服務(wù)器集群使用SAN提供的存儲(chǔ),系統(tǒng)采用VMware vSphere(以下簡稱vSphere)構(gòu)成虛擬化集群。使用虛擬化集群,一定程度上提高了服務(wù)器的資源利用率和服務(wù)的可靠性,有效地控制了服務(wù)器數(shù)量的無序擴(kuò)張,但在實(shí)際運(yùn)行中又存在缺乏彈性和性能受限等問題。

圖2 某高校傳統(tǒng)數(shù)據(jù)中心

傳統(tǒng)數(shù)據(jù)中心因其架構(gòu)復(fù)雜、維護(hù)難度大、成本高等因素,已經(jīng)無法適應(yīng)某高校的業(yè)務(wù)發(fā)展需求,經(jīng)過廣泛調(diào)研和學(xué)習(xí)多個(gè)平臺(tái)解決方案,超融合技術(shù)在可擴(kuò)展性、可維護(hù)性、成本、性能等多方面都切合目前實(shí)際情況,可以解決傳統(tǒng)數(shù)據(jù)中心帶來的問題,因此某高校決定采用松耦合超融合技術(shù)進(jìn)行數(shù)據(jù)中心的改擴(kuò)建。

2.1 超融合技術(shù)物理規(guī)劃

此次改進(jìn)數(shù)據(jù)中心,經(jīng)過初步估算,先期采用4個(gè)節(jié)點(diǎn),實(shí)施完成后再根據(jù)運(yùn)行情況和業(yè)務(wù)要求逐步擴(kuò)展。每個(gè)節(jié)點(diǎn)的服務(wù)器配置以及網(wǎng)絡(luò)物理硬件配置如表1、表2所示。

表1 節(jié)點(diǎn)物理硬件配置信息

表2 網(wǎng)絡(luò)物理硬件配置信息

節(jié)點(diǎn)配置中M.2 SSD為系統(tǒng)盤,主要安裝虛擬化系統(tǒng)和存儲(chǔ)CVM的虛擬化配置文件、Swap文件,硬盤配置沒有采用全部SSD全閃存模式,而是SSD和HDD混合模式使用,將熱冷數(shù)據(jù)分層,從而也可以達(dá)到理想的I/O性能和較低的延遲。2個(gè)萬兆網(wǎng)口專用于存儲(chǔ)網(wǎng)絡(luò),4個(gè)千兆網(wǎng)口用于業(yè)務(wù)網(wǎng)絡(luò)(虛擬機(jī)網(wǎng)絡(luò)),1個(gè)千兆網(wǎng)口作為服務(wù)器管理端口(IPMI)。

網(wǎng)絡(luò)配置中，聯(lián)想交換機(jī)作為下聯(lián)各節(jié)點(diǎn)的存儲(chǔ)網(wǎng)絡(luò),華三交換機(jī)作為上聯(lián)外部網(wǎng)絡(luò)、下聯(lián)各節(jié)點(diǎn)的業(yè)務(wù)網(wǎng)絡(luò)。物理架構(gòu)如圖3所示,交換機(jī)物理端口采用Trunk模式,使用虛擬堆疊、鏈路聚合等技術(shù),使得同品牌交換機(jī)兩兩虛擬為一個(gè),增加了帶寬和端口數(shù),多條物理鏈路之間可以互為備份也可以進(jìn)行負(fù)載分擔(dān),通過冗余提高了鏈路可靠性。具體實(shí)施如下:

圖3 超融合物理架構(gòu)

(1)兩臺(tái)聯(lián)想交換機(jī)建立ISL (交換機(jī)間鏈路),兩臺(tái)交換機(jī)之間的流量都是通過ISL網(wǎng)絡(luò)進(jìn)行通訊,每個(gè)節(jié)點(diǎn)的兩個(gè)萬兆網(wǎng)口分別上聯(lián)兩臺(tái)交換機(jī)的對(duì)應(yīng)端口,這兩個(gè)端口被配置成vLAG(虛擬鏈路聚合),使用LACP(鏈路匯聚控制協(xié)議)形成聚合鏈路。

(2)與聯(lián)想交換機(jī)類似,兩臺(tái)華三交換機(jī)使用IRF(智能彈性架構(gòu))技術(shù)虛擬化為一臺(tái)設(shè)備,每個(gè)節(jié)點(diǎn)的四個(gè)千兆網(wǎng)口分成兩組,兩兩分別上聯(lián)兩臺(tái)交換機(jī)的對(duì)應(yīng)端口,這四個(gè)端口也使用LACP形成聚合鏈路。

2.2 虛擬網(wǎng)絡(luò)設(shè)計(jì)

超融合集群軟件采用Nutanix技術(shù)[3],其底層的虛擬化系統(tǒng)可以基于vSphere,也可以使用其自研的AHV。為了與傳統(tǒng)數(shù)據(jù)中心統(tǒng)一,便于集中管理,故而采用vSphere。在虛擬化層面上,CVM作為超融合的核心技術(shù),以虛擬機(jī)的形式存在于vSphere虛擬化系統(tǒng)ESXi上,并通過vSphere虛擬交換機(jī)組件與外界連接,對(duì)整個(gè)集群提供存儲(chǔ)功能,具體虛擬網(wǎng)絡(luò)邏輯架構(gòu)如圖4所示。虛擬網(wǎng)絡(luò)采用本地虛擬交換機(jī)(vSwitch)和分布式虛擬交換機(jī)(vDSwitch)相結(jié)合。

圖4 虛擬網(wǎng)絡(luò)邏輯架構(gòu)

vSwitch默認(rèn)名稱是vSwitchNutanix,主要作為CVM和ESXi主機(jī)之間的本地通信,CVM有一個(gè)網(wǎng)絡(luò)接口綁定到vSwitch的端口組svm-iscsi-pg上,作為私有的存儲(chǔ)網(wǎng)絡(luò)路徑,vSwitch一般不變更。vDSwitch按照萬兆和千兆端口劃分成兩個(gè),分別為STOR-MGT-vDSwitch和BIZ-vDSwitch。STOR-MGT-vDSwitch作為存儲(chǔ)專用通道,主要負(fù)責(zé)CVM和其他CVM通信以及ESXi主機(jī)管理,BIZ-vDSwitch主要用于虛擬機(jī)的網(wǎng)絡(luò)通信,即業(yè)務(wù)網(wǎng)絡(luò)。vDSwitch采用LACP與物理線路連接,形成聚合鏈路,達(dá)到安全可靠和負(fù)載均衡。

由此可見,超融合技術(shù)中的分布式存儲(chǔ)由CVM提供,存儲(chǔ)網(wǎng)絡(luò)和業(yè)務(wù)網(wǎng)絡(luò)則由虛擬化系統(tǒng)的虛擬交換機(jī)和物理交換機(jī)共同提供。CVM將每個(gè)節(jié)點(diǎn)的硬盤統(tǒng)一管理,建立存儲(chǔ)池(Storage Pool),如果需要將存儲(chǔ)空間掛載到相應(yīng)的ESXi主機(jī)中,可以創(chuàng)建一個(gè)容器(Container)。

2.3 超融合網(wǎng)絡(luò)配置規(guī)劃

根據(jù)虛擬化系統(tǒng)設(shè)計(jì)情況,將超融合集群的網(wǎng)絡(luò)地址規(guī)劃如表3所示。

表3 網(wǎng)絡(luò)地址規(guī)劃表

CVM與ESXi建議同網(wǎng)段,如圖4中的NTNT-10和MGMT-10就是劃分在一個(gè)VLAN 10的網(wǎng)段里,這樣CVM可以集中管理ESXi,包含ESXi的版本升級(jí)等,如果將它們分在不同子網(wǎng),會(huì)減弱CVM提供的故障保護(hù),還會(huì)存在一些其他問題。如果為了安全,EXSi還可以增加一個(gè)管理端口,和vCenter一起連接到不同于CVM的網(wǎng)段,這樣就會(huì)內(nèi)外網(wǎng)隔離,如果需要管理CVM,還需要增加跳板機(jī)。

2.4 超融合部署及數(shù)據(jù)可用性設(shè)計(jì)

根據(jù)超融合虛擬化架構(gòu),開始進(jìn)行現(xiàn)場部署。必須采用一鍵式部署工具Foundation將ESXi、CVM等同時(shí)裝入物理設(shè)備。在部署過程中,需要注意到可用性,以確保系統(tǒng)的健壯性。這里可用性主要包含數(shù)據(jù)可用性和應(yīng)用(虛擬機(jī))的可用性。數(shù)據(jù)可用性依靠超融合系統(tǒng)的分布式體系和冗余機(jī)制加以實(shí)現(xiàn),而應(yīng)用可用性則在于vSphere提供的諸如HA的功能保障。

Nutanix技術(shù)使用冗余因子(RF)來設(shè)計(jì)可靠性,其要求節(jié)點(diǎn)數(shù)一定要大于等于3個(gè)。根據(jù)不同的冗余因子,確定保障數(shù)據(jù)可用的最少節(jié)點(diǎn)數(shù)。冗余因子為2時(shí),最少需要3個(gè)節(jié)點(diǎn),最大可以接受1塊硬盤或1個(gè)節(jié)點(diǎn)故障,或者1個(gè)節(jié)點(diǎn)內(nèi)的多塊硬盤故障。冗余因子為3時(shí),最少的節(jié)點(diǎn)數(shù)為5,最大允許同時(shí)壞2塊硬盤(含不同節(jié)點(diǎn)的)或2個(gè)節(jié)點(diǎn)同時(shí)故障,或者2個(gè)節(jié)點(diǎn)內(nèi)的多塊硬盤故障。不同的冗余因子的設(shè)置,也會(huì)影響存儲(chǔ)空間的實(shí)際使用率。一般如果使用冗余因子為2的時(shí)候,實(shí)際使用磁盤空間會(huì)減少一半,相當(dāng)于RAID1的空間利用率,但比RAID更靈活。如果對(duì)磁盤空間使用率比較敏感,可以使用糾刪碼技術(shù),這里不再詳述。某高校部署采用冗余因子為2,這樣可用空間也可達(dá)到20TB左右,能夠滿足實(shí)際需求。

3 性能測試

根據(jù)超融合物理和虛擬化架構(gòu)設(shè)計(jì),安裝實(shí)施完成后,進(jìn)行性能測試,重點(diǎn)在于順序讀寫帶寬和隨機(jī)讀寫IOPS。經(jīng)過測試，其順序讀寫帶寬分別達(dá)到4121MBps和1611MBps，隨機(jī)讀寫IOPS分別達(dá)到299879和193873。

超融合技術(shù)依據(jù)程序訪問局部性原理,其分布式架構(gòu)使得SSD成為一個(gè)虛擬緩存集群,理論上其節(jié)點(diǎn)越多,磁盤性能越高。實(shí)際測試驗(yàn)證了這一推測,超融合技術(shù)可以滿足日常業(yè)務(wù)需求,尤其對(duì)于類似于網(wǎng)站群和數(shù)據(jù)庫的文件小訪問頻繁(體小量多)的系統(tǒng)應(yīng)用可提供高速服務(wù)。

4 結(jié)語

超融合技術(shù)是信息化發(fā)展的必然結(jié)果,作為基礎(chǔ)設(shè)施即服務(wù)(Iaas)[4]的底層平臺(tái),滿足了日益增長的數(shù)據(jù)對(duì)于硬件的可擴(kuò)展性、可靠性等多方面的需求,其發(fā)展有逐漸取代傳統(tǒng)數(shù)據(jù)中心之勢(shì)。某高校從實(shí)用性和成本等方面出發(fā),選取的以Nutanix技術(shù)為核心的超融合技術(shù),其性能完全適合高校領(lǐng)域的基礎(chǔ)平臺(tái)的應(yīng)用,且具備靈活的彈性和成本優(yōu)勢(shì),適合在高校領(lǐng)域逐步取代傳統(tǒng)數(shù)據(jù)中心。