雙園區(qū)超融合容災(zāi)設(shè)計

王端

摘 要：隨著越來越多企業(yè)單位的合并或園區(qū)數(shù)量的增加，虛擬化系統(tǒng)平臺需要整合管理，并建立相應(yīng)的容災(zāi)保護，以確保業(yè)務(wù)系統(tǒng)可提供高穩(wěn)定性的服務(wù)。本文以本單位雙園區(qū)信息中心融合為藍(lán)本，設(shè)計并實現(xiàn)了雙活數(shù)據(jù)中心的超融合容災(zāi)體系。在實際運行中得到良好的驗證。

一、超融合設(shè)計方案

為實兩園區(qū)所涉及業(yè)務(wù)對接，統(tǒng)一管理，設(shè)計使用超融合組網(wǎng)方式實現(xiàn)兩園區(qū)的虛擬系統(tǒng)融合，考慮現(xiàn)網(wǎng)中已經(jīng)部署了融合系統(tǒng)，如果原有系統(tǒng)支持?jǐn)U容便可以利用原系統(tǒng)實現(xiàn)兩地資源整合。如果兩地均不支持?jǐn)U充的情況下，可布署城域雙活容災(zāi)方案實施，在兩個園區(qū)建立兩個數(shù)據(jù)中心站點，兩站點間使用存儲的特性，配合云系統(tǒng)的虛擬機HA功能和DRS功能實現(xiàn)的容災(zāi)方案。城域雙活容災(zāi)方案中，兩個站點可同時對外提供業(yè)務(wù)，同時作為對端站點的容災(zāi)站點實現(xiàn)自動災(zāi)難倒換。

管理層與業(yè)務(wù)層通過以太交換機堆疊方式實現(xiàn)冗余連接必須主備或多路冗余。兩園區(qū)均可采用相應(yīng)的存儲平面，采用兩臺FC匯聚交換機獨立部署，形成FC雙平面冗余（一般情況下，F(xiàn)C交換機無需進(jìn)行堆疊。如果FC端口不足，可通過堆疊來擴展FC端口。）兩園區(qū)存儲平面FC匯聚交換機通過專線互聯(lián)，至少兩路FC專線冗余。為保證雙活性能，存儲雙活特性對站點間雙活鏈路的網(wǎng)絡(luò)要求如下：誤碼率小于等于10-12e，時延RTT小于等于1ms，無抖動，無丟包，鏈路帶寬大于業(yè)務(wù)峰值帶寬，最低要求2Gbps。為了減少時延和保證性能，主機和存儲平面通過光纖連接。主機需要配置FC HBA卡，存儲平面交換機需要使用FC交換機。兩園區(qū)間需要租賃運營商專線，至少兩路FC專線冗余。主機與存儲采用FC連接，部署在生產(chǎn)站點和容災(zāi)站點的FC SAN的型號、配置需要保持一致。

城域雙活容災(zāi)方案要求，城域雙活容災(zāi)方案對RPO和RTO要求較高，F(xiàn)C光纖交換機互聯(lián)端口規(guī)則：需要根據(jù)傳輸帶寬、傳輸距離規(guī)劃FC匯聚交換機站點間互連所需的端口數(shù)量。以2Gbit/s帶寬，傳輸距離100km為例，交換機一個站點間互連端口需要使用7個Donor Ports。

二、雙活數(shù)據(jù)中心標(biāo)準(zhǔn)架構(gòu)：

由于部分廠商的云操作系統(tǒng)支持配置一個網(wǎng)關(guān)，所以生產(chǎn)站點和容災(zāi)站點中作為網(wǎng)關(guān)的匯聚（核心）交換機，需要配置為主備網(wǎng)關(guān)模式。主網(wǎng)關(guān)優(yōu)選生產(chǎn)站點側(cè)的交換機。

三、標(biāo)準(zhǔn)架構(gòu)說明：

主機集群：獨立的、可以進(jìn)行雙活容災(zāi)的主機系統(tǒng)的集合，在同一個主機集群內(nèi)，虛擬機可實現(xiàn)HA。在本容災(zāi)方案中，需要將同一個主機集群中的主機分別部署在生產(chǎn)站點和容災(zāi)站點。

容災(zāi)主機：對應(yīng)云系統(tǒng) DRS調(diào)度規(guī)則中的主機組。

容災(zāi)虛擬機組：對應(yīng)云系統(tǒng) DRS調(diào)度規(guī)則中的虛擬機組。

云系統(tǒng) DRS調(diào)度規(guī)則可指定容災(zāi)虛擬機可遷移的主機范圍（即主機組）

仲裁服務(wù)器：仲裁服務(wù)器部署到第三地。系列存儲仲裁端口需要通過以太網(wǎng)口連接到第三地仲裁服務(wù)器，保證IP可達(dá)。

大二層組網(wǎng)：為滿足虛擬機遷移等業(yè)務(wù)，在相隔較遠(yuǎn)的兩地依賴特定的大二層網(wǎng)絡(luò)技術(shù)建立的同屬于一個二層網(wǎng)絡(luò)的系統(tǒng)。

虛擬機容災(zāi)：通過大二層組網(wǎng)實現(xiàn)跨站點的主機同集群部署，進(jìn)而使用云系統(tǒng)的虛擬機HA功能和DRS功能，實現(xiàn)虛擬機的跨站點容災(zāi)。

四、容災(zāi)原理：

當(dāng)發(fā)生容災(zāi)時，虛擬機短時間內(nèi)不可用（依賴于VRM節(jié)點主備倒換的時間和虛擬機HA時間），數(shù)據(jù)無丟失。系統(tǒng)管理員在云系統(tǒng)可觀察到VRM主備間節(jié)點心跳故障告警、生產(chǎn)站點主機故障告警，及虛擬機HA的記錄。同時，維護人員可觀察到網(wǎng)關(guān)備升主告警。

容災(zāi)后，系統(tǒng)管理員需要停用容災(zāi)集群資源調(diào)度規(guī)則，避免生產(chǎn)站點未完全恢復(fù)時虛擬機切回。為了減少容災(zāi)站點虛擬機訪問存儲的時延，需要在存儲上切換災(zāi)備站點為優(yōu)先站點。

生產(chǎn)站點修復(fù)后，可啟用容災(zāi)集群資源調(diào)度規(guī)則，使虛擬機自動遷移回生產(chǎn)站點，也可手工批量遷移虛擬機到生產(chǎn)站點。虛擬機遷移回生產(chǎn)站點后，需要在存儲上切換生產(chǎn)站點為優(yōu)先站點。

五、雙活容災(zāi)方案的劣勢分析：

1、只支持兩個數(shù)據(jù)中心間雙活容災(zāi)，不支持多個數(shù)據(jù)中心間同時進(jìn)行雙活容災(zāi)。2、不支持發(fā)放的虛擬機容災(zāi)。3、生產(chǎn)站點與容災(zāi)站點間距離要在100公里以內(nèi)，站點間需要租賃L1專線，兩個站點間環(huán)回時延≤1ms。4、城域雙活容災(zāi)方案依賴于云系統(tǒng)的HA和DRS功能，遵循HA和DRS功能的相關(guān)約束。5、城域雙活容災(zāi)方案中，需要啟用DRS特性進(jìn)行虛擬機本地優(yōu)先啟動和HA，因此如果用戶配置了其他DRS規(guī)則，則不能與容災(zāi)DRS規(guī)則沖突，否則無法保證虛擬機本地優(yōu)先啟動和HA。6、由于在虛擬機故障時，其部分緩存數(shù)據(jù)可能未及時寫入存儲設(shè)備上，因此，虛擬機可能會概率性HA失敗，即虛擬機可能會概率性容災(zāi)失敗。7、考慮性能因素，主機與存儲采用FC連接，支持存儲類型為虛擬化SAN存儲的數(shù)據(jù)存儲。8、生產(chǎn)站點和容災(zāi)站點的業(yè)務(wù)均通過主網(wǎng)關(guān)提供，規(guī)劃生產(chǎn)站點和容災(zāi)站點的業(yè)務(wù)網(wǎng)絡(luò)帶寬時需要同時考慮該部分的業(yè)務(wù)需求。9、部署在生產(chǎn)站點和容災(zāi)站點的FC SAN的型號、配置需要保持一致，否則會影響存儲訪問性能。10、超融合方案數(shù)據(jù)中心業(yè)務(wù)負(fù)荷分擔(dān)，業(yè)務(wù)零中斷地調(diào)度資源時。站點中部分或全部業(yè)務(wù)（網(wǎng)絡(luò)、存儲、主機）故障，都需要盡快恢復(fù)業(yè)務(wù)時。所以容災(zāi)的兩個數(shù)據(jù)中心必須擁有滿足要求的高速、低時延的鏈路條件。兩園區(qū)間需要租賃運營商專線，至少兩路FC專線冗余。鏈路帶寬大于業(yè)務(wù)峰值帶寬，最低要求2Gbps。兩端的網(wǎng)絡(luò)拓?fù)洹⑿阅?、參?shù)要求一致，相當(dāng)于兩個園區(qū)要搭建相同環(huán)境、網(wǎng)絡(luò)、存儲、服務(wù)器主機來實現(xiàn)超融合方案，資金支出較其它方案比較大。

六、總結(jié)

雙活數(shù)據(jù)中心解決方案是端到端的雙活方案，可實現(xiàn)跨數(shù)據(jù)中心的數(shù)據(jù)零丟失，業(yè)務(wù)零中斷。雙活數(shù)據(jù)中心解決方案具有高可靠架構(gòu)、業(yè)務(wù)穩(wěn)定和擴展靈活等特點、可全面實現(xiàn)兩園區(qū)多業(yè)務(wù)統(tǒng)一管理、數(shù)據(jù)安全可靠傳輸、存儲備份。

參考文獻(xiàn)

[1] Dean J，Ghemawat S. MapReduce： simplified data processing on large clusters[J].Communications of the ACM， 2008， 51（1）： 107-113.

[2] Chen Y，Alspaugh S， Katz R. Interactive analytical processing in big data systems： Across-industry study of MapReduce workloads[J]. PVLDB， 2012， 5（12）： 1802-1813.