網(wǎng)絡(luò)云資源池部署方案探究

李 晗，吳星培，王晨鶴，趙帥男，穆 銘

（中國移動通信集團(tuán)設(shè)計(jì)院有限公司河南分公司，河南 鄭州 450000）

1 概 述

網(wǎng)絡(luò)功能虛擬化（Network Function Virtualization，NFV）是將傳統(tǒng)電信設(shè)備功能通過軟件實(shí)現(xiàn)，運(yùn)行在通用硬件設(shè)備上，并采用虛擬化技術(shù)實(shí)現(xiàn)業(yè)務(wù)敏捷迭代、支撐網(wǎng)絡(luò)演進(jìn)以及降低整體成本的目標(biāo)[1,2]。NFV是應(yīng)對移動互聯(lián)網(wǎng)時(shí)代業(yè)務(wù)快速變化的有效手段和向5G演進(jìn)的基礎(chǔ)性技術(shù)，同時(shí)也是中國移動實(shí)現(xiàn)“大連接”戰(zhàn)略的重要網(wǎng)絡(luò)基礎(chǔ)[3,4]。

2 網(wǎng)絡(luò)云資源池系統(tǒng)架構(gòu)

2.1 基本概念

資源池節(jié)點(diǎn)是指在同一數(shù)據(jù)中心/園區(qū)內(nèi)的一個(gè)或多個(gè)硬件資源池集合。硬件資源池包括一組EOR交換機(jī)/EOR配對路由器及其下連的計(jì)算、存儲、網(wǎng)絡(luò)等硬件資源，將一套VIM及其所管理的物理與虛擬計(jì)算、存儲、網(wǎng)絡(luò)資源等定義為一個(gè)虛擬資源池[5]。為充分發(fā)揮資源共享的優(yōu)勢，在技術(shù)條件滿足的情況下單個(gè)虛擬資源池的規(guī)模應(yīng)盡可能大，單硬件資源池內(nèi)的虛擬資源池?cái)?shù)量應(yīng)盡可能少[6]。

2.2 3層架構(gòu)

按照層次化架構(gòu)設(shè)計(jì)，網(wǎng)絡(luò)云硬件資源池自下而上分為接入層、核心層、出口層3層[7,8]。

接入層部署TOR和各類計(jì)算型服務(wù)器、存儲設(shè)備。核心層部署EOR和EOR配對路由器，并按需配置內(nèi)層防火墻、IDS/IPS、WAF以及負(fù)載均衡器等設(shè)備。EOR向下匯聚交換網(wǎng)絡(luò)內(nèi)的所有接入層交換設(shè)備，配對路由器作為3層網(wǎng)關(guān)，并向上與出口路由設(shè)備互聯(lián)。出口層復(fù)用現(xiàn)網(wǎng)承載、傳輸網(wǎng)絡(luò)組網(wǎng)設(shè)備。出口層作為網(wǎng)絡(luò)云站點(diǎn)內(nèi)部和外部網(wǎng)絡(luò)互聯(lián)互通的紐帶，對外完成與外部設(shè)備的高速互聯(lián)，對內(nèi)負(fù)責(zé)與網(wǎng)絡(luò)云站點(diǎn)核心層交換設(shè)備互聯(lián)，完成與站點(diǎn)外部路由之間的信息轉(zhuǎn)發(fā)和維護(hù)。

2.3 硬件分區(qū)要求

為了避免出現(xiàn)單硬件設(shè)備（機(jī)架電源模塊、配電柜、存儲設(shè)備等）故障同時(shí)影響多個(gè)有容災(zāi)備份關(guān)系網(wǎng)元，將一個(gè)硬件資源池劃分為兩個(gè)硬件分區(qū)。為了提升業(yè)務(wù)可靠性，在條件允許的情況下優(yōu)選兩套電源系統(tǒng)為不同硬件分區(qū)供電[9]。

對于有容災(zāi)備份關(guān)系的多個(gè)網(wǎng)元部署在同一局址的同一資源池時(shí)，可能會被VIM分配到同一物理主機(jī)和同一機(jī)柜，存儲也可能分配到同一套存儲設(shè)備上，因此存在單硬件設(shè)備故障同時(shí)影響多個(gè)有容災(zāi)備份關(guān)系網(wǎng)元的風(fēng)險(xiǎn)。為避免該風(fēng)險(xiǎn)，需要在虛擬層劃分可用區(qū)AZ。建議設(shè)置2個(gè)AZ，每個(gè)AZ內(nèi)設(shè)有獨(dú)立的計(jì)算服務(wù)器和存儲集群。由于AZ的劃分基于硬件，因此需要與硬件分區(qū)對應(yīng)。一個(gè)硬件資源池劃分兩個(gè)硬件分區(qū)，硬件分區(qū)對供電和存儲的要求如下文所述[10]。

（1）供電。若采用交流供電，兩路供電分別來自兩套不同的UPS主機(jī)或UPS電源系統(tǒng)，但仍為同一套電源系統(tǒng)。在條件允許的情況下，優(yōu)選兩套電源系統(tǒng)為不同硬件分區(qū)供電。若采用直流供電，兩路供電來自同一套直流電源系統(tǒng)的兩個(gè)端子，存在直流電源系統(tǒng)故障或輸入開關(guān)故障時(shí)所有設(shè)備斷電的風(fēng)險(xiǎn)，因此在條件允許的情況下將資源池硬件劃分在兩個(gè)硬件分區(qū)內(nèi)，采用兩套直流電源系統(tǒng)為不同的硬件分區(qū)供電，以提升業(yè)務(wù)可靠性。

（2）存儲。本次采用分布式存儲，為避免存儲集群故障影響整個(gè)資源池的網(wǎng)元，至少應(yīng)配置兩套分布式存儲集群。

3 資源池標(biāo)準(zhǔn)化部署方案探究

探索網(wǎng)絡(luò)云資源池標(biāo)準(zhǔn)化設(shè)計(jì)，從設(shè)備安裝和集成的角度，基于模塊化部署、層次化組網(wǎng)設(shè)計(jì)理念優(yōu)化資源池機(jī)柜布局。

方案探究中假設(shè)一個(gè)數(shù)據(jù)中心機(jī)房為10列（A～J），每列20個(gè)機(jī)柜（1～20），合計(jì)200個(gè)機(jī)柜?？紤]EOR的擴(kuò)展能力、數(shù)據(jù)中心標(biāo)準(zhǔn)機(jī)房空間以及可用VLAN空間等，在一個(gè)機(jī)房部署一個(gè)硬件資源池。此外，考慮配套系統(tǒng)，可以配置1 500臺服務(wù)器。

3.1 硬件分區(qū)

一個(gè)機(jī)房部署一個(gè)硬件資源池，硬件分區(qū)有以下兩種方案。

（1）中軸線分割。每一列1～10行機(jī)柜為硬件分區(qū)A，11～20行機(jī)柜為硬件分區(qū)B，如圖1所示。

（2）按排分割。A、C、E、G以及I共5列為硬件分區(qū)A；B、D、F、H以及J共5列為硬件分區(qū)B，如圖2所示。

圖2 按排分割方案（方案2）

兩種方案對比如表1所示。

表1 不同分割方案對比

綜上所述，中心軸線分割方案優(yōu)于按排分割方案。為了保障資源池供電的安全可靠，每一排部署兩個(gè)UPS三級屏。1～10列機(jī)柜為硬件分區(qū)A，由UPS1、UPS3、UPS5、UPS7以及UPS9供電；11～20列機(jī)柜為硬件分區(qū)B，由UPS2、UPS4、UPS6、UPS8以及UPS10供電。

3.2 組網(wǎng)設(shè)備部署

硬件資源池劃分A、B硬件分區(qū)，A、B硬件分區(qū)共用核心層組網(wǎng)設(shè)備，成對核心層組網(wǎng)設(shè)備應(yīng)分別部署于A、B兩個(gè)硬件分區(qū)。組網(wǎng)設(shè)備作為每個(gè)硬件資源池內(nèi)中樞系統(tǒng)，一般成對配置。采用中心型和集中在兩排兩種部署方式，優(yōu)先部署組網(wǎng)設(shè)備。在一個(gè)資源池內(nèi)接入層到核心層采用中心型部署，計(jì)算、存儲以及管理模組服務(wù)器接入模塊通過雙路由接入核心網(wǎng)組網(wǎng)設(shè)備，既保證了資源池內(nèi)總路由最短，又最大限度避免了走線交叉。由于組網(wǎng)設(shè)備功耗偏大，此方案有效避免了大功耗設(shè)備過于集中，有利于設(shè)備散熱。優(yōu)先部署業(yè)務(wù)、存儲及管理EOR，業(yè)務(wù)EOR北向連接EOR配對路由器、EPC防火墻及業(yè)務(wù)CE，與業(yè)務(wù)CE部署在同一排。將CMNET接入路由器作為出口層，單獨(dú)部署在一排。

3.3 模塊化部署

網(wǎng)絡(luò)云硬件資源池硬件規(guī)模大，為簡化和規(guī)范化設(shè)計(jì)，采用模塊化部署制訂了3個(gè)方案。

3.3.1 方案1（4個(gè)機(jī)柜1個(gè)模塊）

計(jì)算型服務(wù)器(含可信資源池和網(wǎng)管資源池)包括4個(gè)機(jī)柜1個(gè)模塊，每個(gè)模塊配置44臺服務(wù)器、3對TOR（業(yè)務(wù)、存儲、管理TOR）以及2臺硬件管理TOR。存儲服務(wù)器包括4個(gè)機(jī)柜1個(gè)模塊，每個(gè)模塊配置40臺服務(wù)器、2對TOR（存儲、管理TOR）以及1臺硬件管理TOR。

3.3.2 方案2（7+4組合）

計(jì)算型服務(wù)器（可信資源池）包括7個(gè)機(jī)柜1個(gè)模塊，每個(gè)模塊配置90臺服務(wù)器、6對TOR（業(yè)務(wù)/存儲/管理TOR）以及3臺硬件管理TOR。計(jì)算型服務(wù)器（網(wǎng)管資源池）包括4個(gè)機(jī)柜1個(gè)模塊，每個(gè)模塊配置44臺服務(wù)器、3對TOR（業(yè)務(wù)/存儲/管理TOR）以及1臺硬件管理TOR。存儲服務(wù)器包括4個(gè)機(jī)柜1個(gè)模塊，每個(gè)模塊配置40臺服務(wù)器、2對TOR（存儲/管理TOR）以及1臺硬件管理TOR。

3.3.3 方案3（7個(gè)機(jī)柜1個(gè)模塊）

計(jì)算型服務(wù)器(含可信資源池和網(wǎng)管資源池)包括7個(gè)機(jī)柜1個(gè)模塊，每個(gè)模塊配置90臺服務(wù)器、6對TOR（業(yè)務(wù)/存儲/管理TOR）以及3臺硬件管理TOR。存儲服務(wù)器包括4個(gè)機(jī)柜1個(gè)模塊，每個(gè)模塊配置40臺服務(wù)器、2對TOR（存儲/管理TOR）以及1臺硬件管理TOR。

假設(shè)一個(gè)機(jī)房部署一個(gè)硬件資源池，裝1 500臺服務(wù)器。3種方案對比分析如表2所示。

表2 部署方案對比

雖然方案1相較于方案2、方案3在資源需求上不是最優(yōu)，但是方案1跨列現(xiàn)象比較少、布線清晰、施工相對簡單、布局統(tǒng)一且方便管理維護(hù)，也符合集團(tuán)降本增效與節(jié)能減排的策略。綜上所述，可優(yōu)先采取方案1部署計(jì)算型服務(wù)器。

4 結(jié) 論

網(wǎng)絡(luò)云硬件資源池硬件規(guī)模大，為簡化和規(guī)范化設(shè)計(jì)，考慮層次化和模塊化靈活復(fù)制規(guī)模組網(wǎng)。同時(shí)探索網(wǎng)絡(luò)云資源池標(biāo)準(zhǔn)化設(shè)計(jì)，為網(wǎng)絡(luò)云資源池建設(shè)提供參考。