云化IT系統(tǒng)數(shù)據(jù)中心IP組網(wǎng)設(shè)計(jì)要點(diǎn)分析

（中國(guó)移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司重慶分公司，重慶 401147）

1 背景

目前運(yùn)營(yíng)商IT支撐系統(tǒng)的組網(wǎng)往往采用一種“三明治”式的串行擴(kuò)展多層煙囪結(jié)構(gòu)，如圖1所示。

圖1 傳統(tǒng)擴(kuò)展多層式的組網(wǎng)結(jié)構(gòu)

這種組網(wǎng)有以下優(yōu)點(diǎn)：網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，防火墻安全策略清晰；大多數(shù)策略都是單向的（都是從核心指向接入的），容易排錯(cuò)。

缺點(diǎn)是APP應(yīng)用服務(wù)器與 “集成區(qū)”的訪(fǎng)問(wèn)需要走單獨(dú)的鏈路，破壞了網(wǎng)絡(luò)的結(jié)構(gòu)化；網(wǎng)絡(luò)擴(kuò)展能力不足，每擴(kuò)展一個(gè)服務(wù)器區(qū)，必須按3層結(jié)構(gòu)進(jìn)行部署；接入交換機(jī)部署在列頭柜，同一業(yè)務(wù)系統(tǒng)的Web/APP/DB之間的訪(fǎng)問(wèn)可能要跨3排機(jī)柜上的接入交換機(jī)和防火墻，排錯(cuò)和設(shè)備管理復(fù)雜度增加；同一業(yè)務(wù)系統(tǒng)的Web<->AP<->DB間以防火墻做3層隔離，不能靈活應(yīng)用交換機(jī)的ACL。

隨著以云計(jì)算的日益發(fā)展，傳統(tǒng)單一“三明治”結(jié)構(gòu)的IT系統(tǒng)煙囪式組網(wǎng)結(jié)構(gòu)無(wú)法滿(mǎn)足現(xiàn)代大型數(shù)據(jù)中心多租戶(hù)多系統(tǒng)的適應(yīng)型要求，參考思科和H3C公司提出的虛擬多租戶(hù)數(shù)據(jù)中心VMDC（Virtualized Multi-tenant Data Center） 結(jié)構(gòu)，本文通過(guò)分析云化后數(shù)據(jù)中心引發(fā)的業(yè)務(wù)新需求特點(diǎn)，給出了IT支撐系統(tǒng)數(shù)據(jù)中心組網(wǎng)扁平化、接入無(wú)差異化的多租戶(hù)精簡(jiǎn)多層組網(wǎng)架構(gòu)設(shè)計(jì)要點(diǎn)，并通過(guò)一則實(shí)際案例的運(yùn)用予以分析說(shuō)明。

2 需求分析及設(shè)計(jì)要點(diǎn)

2.1 云化后數(shù)據(jù)中心的業(yè)務(wù)變化

云化后的數(shù)據(jù)中心的特點(diǎn)主要變化如下：

(1) 多租戶(hù)多系統(tǒng)應(yīng)用環(huán)境：虛擬化技術(shù)的運(yùn)用提升了IaaS的彈性資源利用率，在實(shí)際的組網(wǎng)網(wǎng)絡(luò)環(huán)境中需要面向多租戶(hù)提供應(yīng)用。

(2) 網(wǎng)絡(luò)流量流向的變化：業(yè)務(wù)流量模型不再是傳統(tǒng)的南北方向，高收斂比，而是以Hadoop/Hive為代表的分布式存儲(chǔ)集群應(yīng)用，流量模型也呈現(xiàn)東西向?yàn)橹?，低收斂比?/p>

(3) 網(wǎng)絡(luò)融合化的趨勢(shì)：傳統(tǒng)的數(shù)據(jù)中心LAN和SAN是分離的，未來(lái)數(shù)據(jù)中心的網(wǎng)絡(luò)又呈現(xiàn)融合趨勢(shì)，網(wǎng)絡(luò)設(shè)備能夠?qū)崿F(xiàn)統(tǒng)一的交換矩陣架構(gòu)。

(4) 資源集約化利用：傳統(tǒng)各IT系統(tǒng)獨(dú)建自身的安全配套設(shè)施，多租戶(hù)多系統(tǒng)環(huán)境下需要具備共享安全基礎(chǔ)設(shè)施與網(wǎng)絡(luò)資源的服務(wù)的能力。

參考業(yè)界如H3C、思科等的VMDC模型，我們對(duì)傳統(tǒng)擴(kuò)展多層的組網(wǎng)結(jié)構(gòu)進(jìn)行了扁平化的優(yōu)化設(shè)計(jì)，我們稱(chēng)之為“精簡(jiǎn)多層組網(wǎng)架構(gòu)”，如圖2所示。

2.2 組網(wǎng)需求及設(shè)計(jì)要點(diǎn)

圖2 數(shù)據(jù)中心精簡(jiǎn)多層扁平組網(wǎng)結(jié)構(gòu)

通過(guò)分析當(dāng)前的IT系統(tǒng)特點(diǎn)，在精簡(jiǎn)多層的數(shù)據(jù)中心組網(wǎng)里，主要的業(yè)務(wù)需求及對(duì)應(yīng)的設(shè)計(jì)要點(diǎn)提煉如下。

2.2.1 網(wǎng)絡(luò)結(jié)構(gòu)扁平化，多專(zhuān)業(yè)，多協(xié)議無(wú)差別化接入的需求

業(yè)務(wù)需求：多租戶(hù)多系統(tǒng)的環(huán)境迫切需要減少各個(gè)專(zhuān)業(yè)系統(tǒng)獨(dú)自建設(shè)“小煙囪”架構(gòu)的獨(dú)立交換機(jī)，減少網(wǎng)絡(luò)轉(zhuǎn)發(fā)的層次，提高數(shù)據(jù)轉(zhuǎn)發(fā)的效率。

設(shè)計(jì)要點(diǎn)：

（1）VLAN的運(yùn)用：通過(guò)802.1Q等傳統(tǒng)VLAN隔離技術(shù)的運(yùn)用，實(shí)現(xiàn)無(wú)差異化的接入，無(wú)差異體現(xiàn)在無(wú)論是接入交換機(jī)的層面，其端口可滿(mǎn)足任何系統(tǒng)、系統(tǒng)內(nèi)任何類(lèi)別主機(jī)的接入，在滿(mǎn)足安全域隔離的同時(shí)，有效減少交換機(jī)的數(shù)量并提高交換機(jī)的端口利用率。

（2）統(tǒng)一的交換矩陣運(yùn)用：從技術(shù)的前瞻性而言，要實(shí)現(xiàn)業(yè)務(wù)無(wú)差異化接入，還可考慮統(tǒng)一交換矩陣架構(gòu)的運(yùn)用，如新一代Cisco Nexus 5500交換機(jī)，其端口可根據(jù)需要指定為吉比特以太網(wǎng)、10吉比特以太網(wǎng)、FC（Firbel Channel 2/4/8 G）或FCoE（Firbel Channel over Ethernet），這個(gè)為數(shù)據(jù)中心的無(wú)差異化接入帶來(lái)了很大的靈活性。

（3）增加匯聚鏈路帶寬：網(wǎng)絡(luò)扁平化后，所有縱向訪(fǎng)問(wèn)的數(shù)據(jù)的流量流向，由原有的“串行”變?yōu)榱恕鞍l(fā)卡型”流量，例如Web->APP->DB，核心、Web鏈路來(lái)回兩次，核心、APP鏈路來(lái)回兩次，核心、DB鏈路來(lái)回一次，因此Web、AP區(qū)的上行鏈路帶寬需要翻倍。

2.2.2 利用多路徑實(shí)現(xiàn)大2層網(wǎng)絡(luò)的擴(kuò)展，消除生成樹(shù)，降低流量收斂，提升帶寬利用率的需求

業(yè)務(wù)需求：隨著計(jì)算虛擬化技術(shù)以及大規(guī)模集群技術(shù)的廣泛應(yīng)用，數(shù)據(jù)中心內(nèi)的2層網(wǎng)絡(luò)范圍不斷擴(kuò)大。云計(jì)算彈性、靈活，資源充分利用的特點(diǎn)是需要大規(guī)模2層網(wǎng)絡(luò)支撐的，否則難以實(shí)現(xiàn)，這就是增強(qiáng)的2層多徑技術(shù)成為業(yè)界關(guān)注的原因所在。這種拓?fù)浣Y(jié)構(gòu)通常應(yīng)用在“分布式IO集群計(jì)算”環(huán)境，以及“并行文件處理計(jì)算”環(huán)境，典型應(yīng)用是搜索引擎，圖像/動(dòng)畫(huà)渲染等。

傳統(tǒng)IT支撐系統(tǒng)數(shù)據(jù)中心采用STP和VRRP，帶寬利用率低，投資浪費(fèi)，維護(hù)麻煩，收斂慢。傳統(tǒng)2層網(wǎng)絡(luò)延生成樹(shù)協(xié)議（STP）構(gòu)造的分發(fā)樹(shù)轉(zhuǎn)發(fā)以太網(wǎng)幀，為避免2層環(huán)路，STP將部分鏈路被阻塞，致使鏈路帶寬利用率不足，如圖3所示。

2.2.3 STP這種缺陷造成越接近樹(shù)根的交換機(jī)，端口擁塞越嚴(yán)重，同時(shí)還限制了網(wǎng)絡(luò)的“對(duì)分帶寬（bisection bandwidth）”

圖3 STP引起的對(duì)分帶寬問(wèn)題

設(shè)計(jì)要點(diǎn)：

創(chuàng)建扁平的多路徑大2層網(wǎng)絡(luò)環(huán)境，消除STP的影響。要消除STP，需要合適的擴(kuò)展2層技術(shù)的支持，如Cisco的Fabric Path(增強(qiáng)版的Trill)，H3C的IRF技術(shù)等。通過(guò)合理的2層多路徑技術(shù)選擇，達(dá)到取消環(huán)路保護(hù)機(jī)制以提高鏈路、設(shè)備之間的帶寬利用率，縮短鏈路故障收斂時(shí)間，降低維護(hù)工作量的效果。

2層多路徑擴(kuò)展的協(xié)議主要有Trill（多鏈路透明互聯(lián)）或SPB（IEEE的最短路徑橋接）。

Trill是以太網(wǎng)矩陣架構(gòu)基于當(dāng)前及新的開(kāi)放標(biāo)準(zhǔn)，可提供全面活動(dòng)的多路徑、快速鏈路收斂及融合SAN和LAN流量的功能。

IEEE 802.1aq SPB是多生成樹(shù)協(xié)議的一個(gè)擴(kuò)展，多生成樹(shù)協(xié)議也使用一個(gè)鏈路狀態(tài)路由協(xié)議，允許交換機(jī)通過(guò)一個(gè)以太網(wǎng)結(jié)構(gòu)了解最短路徑，并且根據(jù)結(jié)構(gòu)的變化進(jìn)行動(dòng)態(tài)調(diào)整。SPB可提供邊緣與核心之間的擴(kuò)展性、多租戶(hù)服務(wù)、彈性和多路徑。

2.2.4 內(nèi)部高帶寬服務(wù)器互聯(lián)的需求

業(yè)務(wù)需求：對(duì)于許多IT支撐系統(tǒng)而言，局域網(wǎng)交換機(jī)之間以及從交換機(jī)到高需求服務(wù)的許多網(wǎng)絡(luò)連接來(lái)說(shuō)，常見(jiàn)的1 Gbit/s的帶寬是不夠的。在云計(jì)算環(huán)境中，這樣的大數(shù)據(jù)流量不但存在于主機(jī)內(nèi)部，也擴(kuò)散到主機(jī)之間，網(wǎng)絡(luò)側(cè)也要有合適的分布式緩存，鏈路冗余機(jī)制以適應(yīng)它。

服務(wù)器后端網(wǎng)絡(luò)：后端網(wǎng)絡(luò)（back-end）主要定位給內(nèi)部交互頻繁的高帶寬數(shù)據(jù)庫(kù)集群主機(jī)使用，例如Oracle DB RAC、IBM DB2 FCM等，需要額外提到的是，在后端數(shù)據(jù)庫(kù)集群網(wǎng)絡(luò)中，由于交互的是數(shù)據(jù)庫(kù)塊數(shù)據(jù)，通常需要以太網(wǎng)交換機(jī)支持巨型幀。

服務(wù)器的存儲(chǔ)備份：分布式存儲(chǔ)、云存儲(chǔ)等業(yè)務(wù)，服務(wù)于大量并行的照片、視頻上傳，剪輯、編排等后期處理。屬于云計(jì)算中的大數(shù)據(jù)分組并發(fā)處理業(yè)務(wù)，這類(lèi)數(shù)據(jù)單分組長(zhǎng)，文件大，類(lèi)似主機(jī)運(yùn)行大型及時(shí)游戲時(shí)的流量模型。

設(shè)計(jì)要點(diǎn)：

（1）設(shè)備選型：組網(wǎng)設(shè)計(jì)考慮采用數(shù)據(jù)中心級(jí)交換機(jī)，這些新型交換機(jī)在Ingress線(xiàn)卡上采用分布式緩存機(jī)制，用于吸附數(shù)據(jù)中心內(nèi)部突發(fā)性大流量數(shù)據(jù)，避免匯聚轉(zhuǎn)發(fā)的Egress 線(xiàn)卡上造成準(zhǔn)擁塞的狀態(tài)而丟幀，保證業(yè)務(wù)狀態(tài)的平滑。IT支撐云計(jì)算網(wǎng)絡(luò)承載主機(jī)間協(xié)同進(jìn)程交互流量數(shù)據(jù)，不同于傳統(tǒng)交換機(jī)承載城域網(wǎng)用戶(hù)的訪(fǎng)問(wèn)流量，主機(jī)間進(jìn)程協(xié)同對(duì)丟分組是十分敏感的，將造成任務(wù)中斷與數(shù)據(jù)重傳，大大降低效率與服務(wù)質(zhì)量。

（2）考慮鏈路聚合（link aggregation），鏈路聚合802.3ad的工作方式是使2～6條，或者更多的物理鏈路對(duì)生成樹(shù)協(xié)議和任何其它的Layer 2或Layer 3協(xié)議而言，看似只是一條邏輯鏈路。鏈路聚合通過(guò)讓這些物理鏈路能夠作為彼此的備份，從而使自動(dòng)的故障轉(zhuǎn)移成為可能。鏈路聚合的優(yōu)勢(shì)包括增大了帶寬，實(shí)現(xiàn)了帶寬的線(xiàn)性增加；增加了可靠性：?jiǎn)我绘溌肥Р粫?huì)導(dǎo)致業(yè)務(wù)的中斷。

（3）降低流量的耦合關(guān)聯(lián)性：考慮前端業(yè)務(wù)網(wǎng)絡(luò)與后端集群網(wǎng)絡(luò)，后端數(shù)據(jù)備份網(wǎng)絡(luò)IO通道的分離，避免后端網(wǎng)絡(luò)高帶寬的占用影響前端業(yè)務(wù)的訪(fǎng)問(wèn)體驗(yàn)。

2.2.5 安全域隔離及多租戶(hù)對(duì)安全資源共享的需求

業(yè)務(wù)需求：符合安全等級(jí)保護(hù)的安全域隔離要求，安全隔離的要求主要包括縱向訪(fǎng)問(wèn)的隔離與橫向訪(fǎng)問(wèn)隔離。在實(shí)現(xiàn)系統(tǒng)間隔離的同時(shí)，又需要實(shí)現(xiàn)對(duì)基礎(chǔ)的公共設(shè)施資源（如防火墻、負(fù)載均衡器等）進(jìn)行共享。

設(shè)計(jì)要點(diǎn)：

（1）根據(jù)安全等級(jí)保護(hù)的要求劃分不同的安全區(qū)域，將各系統(tǒng)的資源劃分到不同的安全區(qū)內(nèi)，通過(guò)制定和應(yīng)用安全策略以滿(mǎn)足安全等級(jí)保護(hù)的要求。

制定策略：完成對(duì)數(shù)據(jù)中心安全策略的制定，安全策略分為縱向和橫向?？v向的訪(fǎng)問(wèn)各系統(tǒng)自身較常見(jiàn)，橫向的訪(fǎng)問(wèn)主要是部分系統(tǒng)后臺(tái)接口間的相互調(diào)用訪(fǎng)問(wèn)，例如電子渠道調(diào)用CRM的中間件服務(wù)，BOSS的話(huà)單同步給經(jīng)營(yíng)分析系統(tǒng)等場(chǎng)景。

縱向安全策略指同類(lèi)別應(yīng)用不同層次之間的訪(fǎng)問(wèn)控制，比如Web訪(fǎng)問(wèn)APP，APP訪(fǎng)問(wèn)DB。橫向安全策略指不同類(lèi)別應(yīng)用之間的訪(fǎng)問(wèn)控制，比如應(yīng)用A訪(fǎng)問(wèn)應(yīng)用B。

高級(jí)別防護(hù)，縱向通過(guò)防火墻控制，橫向通過(guò)防火墻控制。中等級(jí)別防護(hù)，縱向通過(guò)防火墻控制，橫向通過(guò)交換機(jī)ACL控制?；炯?jí)別防護(hù)，縱向通過(guò)交換機(jī)ACL控制，橫向通過(guò)交換機(jī)ACL控制。各級(jí)別之間的業(yè)務(wù)盡量不出現(xiàn)互訪(fǎng)的情況，如跨級(jí)別互訪(fǎng)，必須經(jīng)過(guò)防火墻控制。

應(yīng)用策略：中安全區(qū)、高安全區(qū)可以訪(fǎng)問(wèn)低安全區(qū)；低安全區(qū)不能訪(fǎng)問(wèn)中安全區(qū)、高安全區(qū)；中安全區(qū)、高安全區(qū)不能互訪(fǎng)。

（2）資源的共享：主要是防火墻資源和負(fù)載均衡器、IPS等資源，這些資源通常主要部署在訪(fǎng)問(wèn)低安全區(qū)，實(shí)現(xiàn)整個(gè)數(shù)據(jù)中心多租戶(hù)的共享。

降低布線(xiàn)成本與運(yùn)維難度的需求。

業(yè)務(wù)需求：在考慮了網(wǎng)絡(luò)結(jié)構(gòu)的因素后，我們?cè)谠O(shè)計(jì)中還要考慮實(shí)際組網(wǎng)布線(xiàn)建設(shè)的經(jīng)濟(jì)性與后期維護(hù)管理的便捷性。

設(shè)計(jì)要點(diǎn)：

（1）接入層交換機(jī)部署采用EoR（End of Row）或MoR（Middle of Row）布局，部署在列頭/列中網(wǎng)絡(luò)機(jī)柜；

（2）服務(wù)器(Web/AP/DB)部署在一個(gè)POD（機(jī)柜組）的服務(wù)器機(jī)柜中；待一個(gè)POD布滿(mǎn)后，再部署另一個(gè)POD；

（3）匯聚交換機(jī)、防火墻、負(fù)載均衡器部署在MDA（主配線(xiàn)區(qū)或分配線(xiàn)區(qū)）。

圖4 設(shè)備布局及布線(xiàn)機(jī)房平面設(shè)計(jì)示意圖

3 案例設(shè)計(jì)

本文以某運(yùn)營(yíng)商的IT支撐系統(tǒng)數(shù)據(jù)中心組網(wǎng)來(lái)分析說(shuō)明對(duì)以上設(shè)計(jì)要點(diǎn)的考慮。

3.1 案例組網(wǎng)需求

該運(yùn)營(yíng)商目前有一個(gè)IDC中心機(jī)房，其BOSS、CRM、經(jīng)分等系統(tǒng)采用的是擴(kuò)展多層式的組網(wǎng)結(jié)構(gòu)（如圖5紅色虛線(xiàn)右側(cè)所示）。由于業(yè)務(wù)的發(fā)展，需要在西永新建一個(gè)數(shù)據(jù)中心機(jī)房，作為IDC中心的擴(kuò)展機(jī)房。

通過(guò)分析現(xiàn)有IDC的IP網(wǎng)，發(fā)現(xiàn)在實(shí)際運(yùn)維中存在以下問(wèn)題。

(1) 現(xiàn)有系統(tǒng)布線(xiàn)較亂，施工難度大?，F(xiàn)有IDC中心各個(gè)IT系統(tǒng)的交換機(jī)各自為政，同一系統(tǒng)服務(wù)器部署在多樓層的情況很常見(jiàn)，常存在因某樓層缺乏該系統(tǒng)交換機(jī)（而其它IT系統(tǒng)交換機(jī)端口還富余）而被迫通過(guò)樓間光纜跳接到其它樓層接入的情況。

(2) 管理不方便。目前網(wǎng)元數(shù)量較多，各自獨(dú)立不便管理，尤其核心匯聚網(wǎng)絡(luò)設(shè)備呈現(xiàn)孤島狀態(tài)，例如數(shù)據(jù)庫(kù)層的交換機(jī)S8512位于最末一層，遠(yuǎn)程管理需要通過(guò)應(yīng)用主機(jī)，應(yīng)用主機(jī)承擔(dān)了一個(gè)路由器的角色，管理流量增加了應(yīng)用服務(wù)器的開(kāi)銷(xiāo)。

(3) 交換機(jī)端口利用率低，安全設(shè)備無(wú)法共享。由于每個(gè)系統(tǒng)均采用獨(dú)立的擴(kuò)展多層結(jié)構(gòu)，出于安全隔離考慮，每一級(jí)的交換機(jī)各系統(tǒng)并未混用，部分系統(tǒng)交換機(jī)端口利用率較低。主要IT系統(tǒng)均有自身的安全防火墻、負(fù)載均衡器、IPS等設(shè)備，投資浪費(fèi)，資源復(fù)用程度低。

(4) 鏈路帶寬利用率不高，部分服務(wù)器帶寬資源不足。現(xiàn)有數(shù)據(jù)中心采用的是MSTP+VRRP的模式，S8508和E8080E防火墻間阻塞了一半的鏈路，實(shí)際在用的鏈路帶寬只有一半，鏈路帶寬利用率低。

而部分服務(wù)器帶寬出現(xiàn)瓶頸。如在經(jīng)分系統(tǒng)中，數(shù)據(jù)倉(cāng)庫(kù)主機(jī)采用DB2集群方式部署，現(xiàn)階段其集群內(nèi)部網(wǎng)絡(luò)連接帶寬不足，網(wǎng)卡IO負(fù)荷很大。

3.2 案例設(shè)計(jì)目標(biāo)

針對(duì)這些存在的問(wèn)題，在規(guī)劃新建的西永數(shù)據(jù)中心機(jī)房時(shí)，對(duì)于新數(shù)據(jù)中心的網(wǎng)絡(luò)（如圖5虛線(xiàn)左部分），設(shè)計(jì)擬定以下目標(biāo)。

(1) 實(shí)現(xiàn)數(shù)據(jù)中心級(jí)架構(gòu)的網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)構(gòu)扁平，全專(zhuān)業(yè)無(wú)差異化接入。

(2) 實(shí)現(xiàn)資源共用，減少網(wǎng)元數(shù)量，提高端口資源利用率。

(3) 優(yōu)化流量結(jié)構(gòu)，降低大帶寬服務(wù)器對(duì)全網(wǎng)耦合影響。

(4) 關(guān)注機(jī)房網(wǎng)絡(luò)（EoR、MoR、ToR)布局的合理性，降低運(yùn)維難度。

(5) 利用多路徑實(shí)現(xiàn)大2層擴(kuò)展，提高鏈路的利用率。

3.3 案例設(shè)計(jì)要點(diǎn)剖析

具體設(shè)計(jì)要點(diǎn)如下。

3.3.1 無(wú)差異化接入，基礎(chǔ)資源共享設(shè)計(jì)

接入層：構(gòu)建統(tǒng)一的前端無(wú)差異化接入的網(wǎng)絡(luò)，不再按照原來(lái)各個(gè)系統(tǒng)自建交換機(jī)的模式建設(shè)，提升“葉節(jié)點(diǎn)”交換機(jī)的端口使用率。在網(wǎng)絡(luò)中使用了NAS，實(shí)現(xiàn)了前臺(tái)業(yè)務(wù)訪(fǎng)問(wèn)以太網(wǎng)與后臺(tái)服務(wù)器存儲(chǔ)網(wǎng)絡(luò)環(huán)境共用，同時(shí)葉節(jié)點(diǎn)也要求支持統(tǒng)一的交換矩陣架構(gòu)，后續(xù)具備支持FCoE的能力。

圖5 案例組網(wǎng)拓?fù)鋱D

核心層：在“根節(jié)點(diǎn)“核心交換機(jī)上橫向并聯(lián)擴(kuò)展負(fù)載均衡器、防火墻板卡，通過(guò)劃分虛擬化的安全服務(wù)實(shí)例，為數(shù)據(jù)中心內(nèi)各個(gè)子系統(tǒng)提供相對(duì)獨(dú)立的安全服務(wù)環(huán)境，滿(mǎn)足各個(gè)子系統(tǒng)的安全域相互隔離的技術(shù)要求。

3.3.2 有效安全隔離，流量扁平化設(shè)計(jì)

在新網(wǎng)絡(luò)設(shè)計(jì)中，安全域規(guī)劃如下。

VLAN 規(guī)劃：VLAN XYZ——X代表安全域的級(jí)別；YZ代表系統(tǒng)標(biāo)示，從Z開(kāi)始編號(hào)，Y用于擴(kuò)展 （可支持到99個(gè)子系統(tǒng)）。以BOSS系統(tǒng)VLAN ID為例（1～4安全級(jí)別逐步升高，系統(tǒng)編號(hào)01）：BOSS的互聯(lián)網(wǎng)接口域可用VLAN101；BOSS的內(nèi)部接口域可用VLAN201；BOSS的應(yīng)用服務(wù)器核心域可用VLAN301；BOSS的數(shù)據(jù)庫(kù)服務(wù)器核心域可用VLAN401。

設(shè)計(jì)優(yōu)化后的流量流向均變?yōu)榱吮馄交蟮摹鞍l(fā)卡型”訪(fǎng)問(wèn)，如圖6所示（圖中粉紅色為互聯(lián)網(wǎng)渠道用戶(hù)訪(fǎng)問(wèn)流向，Web訪(fǎng)問(wèn)中間件應(yīng)用->中間件應(yīng)用訪(fǎng)問(wèn)數(shù)據(jù)庫(kù)的縱向流量；藍(lán)色為從DCN上其它系統(tǒng)過(guò)來(lái)訪(fǎng)問(wèn)的流向，外部系統(tǒng)應(yīng)用接口訪(fǎng)問(wèn)內(nèi)部接口域接口機(jī)->接口機(jī)訪(fǎng)問(wèn)應(yīng)用服務(wù)器的橫向流量）。

3.3.3 高帶寬服務(wù)器組網(wǎng)流量?jī)?yōu)化改造設(shè)計(jì)

圖6 案例流量流向示意圖

本案例中由于經(jīng)營(yíng)分析系統(tǒng)的DB2數(shù)據(jù)倉(cāng)庫(kù)集群服務(wù)器交互的帶寬較大，在組網(wǎng)時(shí)不僅考慮了現(xiàn)有主機(jī)的鏈路聚合使用，同時(shí)還在葉節(jié)點(diǎn)組網(wǎng)時(shí)考慮增加了吉比特接入端口，以滿(mǎn)足后期倉(cāng)庫(kù)主機(jī)的高帶寬交互需求。

在實(shí)際組網(wǎng)時(shí)考慮了將數(shù)據(jù)庫(kù)集群網(wǎng)絡(luò)連線(xiàn)和前端業(yè)務(wù)訪(fǎng)問(wèn)的網(wǎng)分開(kāi)，避免了集群網(wǎng)絡(luò)的大數(shù)據(jù)通過(guò)匯聚交換機(jī)交互對(duì)前端網(wǎng)絡(luò)的影響。

3.3.4 機(jī)房網(wǎng)絡(luò)布線(xiàn)布局設(shè)計(jì)

本案例中主要涉及西永3樓BOSS和經(jīng)分兩個(gè)數(shù)據(jù)機(jī)房和一個(gè)獨(dú)立的網(wǎng)絡(luò)機(jī)房，網(wǎng)絡(luò)機(jī)房位置居中。實(shí)際設(shè)計(jì)中將葉節(jié)點(diǎn)接入層交換機(jī)采用EoR布局，部署在兩個(gè)數(shù)據(jù)機(jī)房列頭網(wǎng)絡(luò)機(jī)柜；服務(wù)器(Web/APP/DB)部署在兩個(gè)數(shù)據(jù)機(jī)房各自的POD（機(jī)柜組）服務(wù)器機(jī)柜中；核心根匯聚交換機(jī)、防火墻、負(fù)載均衡器部署在網(wǎng)絡(luò)機(jī)房的MDA（主配線(xiàn)區(qū)或分配線(xiàn)區(qū)）。由于是專(zhuān)業(yè)間無(wú)差異化的接入方式，主要接入線(xiàn)纜均在同一個(gè)POD內(nèi)部，大大減少了傳統(tǒng)系統(tǒng)組網(wǎng)跨機(jī)房、跨列布線(xiàn)的數(shù)量，有利于后期的管理維護(hù)。

3.3.5 提高帶寬利用率的大2層組網(wǎng)

本案例中針對(duì)取消環(huán)路保護(hù)機(jī)制以提高鏈路帶寬利用率，縮短鏈路故障收斂時(shí)間，降低維護(hù)工作量的需求，設(shè)計(jì)中考慮數(shù)據(jù)中心創(chuàng)建統(tǒng)一扁平的多路徑大2層網(wǎng)絡(luò)環(huán)境，考慮了對(duì)2層擴(kuò)展技術(shù)的使用。

雖然Trill的優(yōu)勢(shì)可構(gòu)建超大規(guī)模的2層網(wǎng)絡(luò)（應(yīng)用于大規(guī)模集群計(jì)算），但當(dāng)前Trill的技術(shù)尚未成熟，而且傳統(tǒng)以太網(wǎng)交換機(jī)不能通過(guò)軟件升級(jí)支持該特性。因此案例實(shí)際組網(wǎng)考慮采用業(yè)界得到商用的H3C IRF的技術(shù)來(lái)實(shí)現(xiàn)虛擬化，利用其智能彈性架構(gòu)（IRF）網(wǎng)絡(luò)虛擬化和集群技術(shù)擴(kuò)展Trill和SPB的擴(kuò)展性及可靠性，IRF把多個(gè)物理IS-IS節(jié)點(diǎn)虛擬化成為一個(gè)單個(gè)的邏輯節(jié)點(diǎn)來(lái)擴(kuò)展數(shù)據(jù)中心結(jié)構(gòu)，為效率和速度更快的聚合保持了較低的跳躍次數(shù)。

至于跨越數(shù)據(jù)中心間的互聯(lián)鏈路，本案例中由于暫時(shí)沒(méi)有虛擬機(jī)遷移的應(yīng)用，故暫未考慮在IDC和西永之間部署基于IP用于透?jìng)?層網(wǎng)絡(luò)的技術(shù)應(yīng)用。如果后期有需要，可以采用Cisco的OTV或H3C EVI等技術(shù)，實(shí)現(xiàn)兩個(gè)中心間的大2層互聯(lián)。

4 總結(jié)與展望

本文分析了傳統(tǒng)IT系統(tǒng)組網(wǎng)的特點(diǎn)，以IT系統(tǒng)云化后數(shù)據(jù)中心的業(yè)務(wù)需求變化為楔子，對(duì)云化后數(shù)據(jù)中心的各類(lèi)需求予以了詳細(xì)分析并給出了有針對(duì)的設(shè)計(jì)要點(diǎn)介紹。

同時(shí)通過(guò)一則實(shí)際的云化后IT系統(tǒng)數(shù)據(jù)中心的組網(wǎng)建設(shè)案例，采用現(xiàn)有數(shù)據(jù)中心網(wǎng)絡(luò)現(xiàn)存矛盾與新建數(shù)據(jù)中心對(duì)矛盾解決的思路進(jìn)行前后對(duì)比說(shuō)明，對(duì)各個(gè)設(shè)計(jì)要點(diǎn)進(jìn)行了進(jìn)一步闡述詳解。

由組網(wǎng)案例的實(shí)踐證明，通過(guò)對(duì)精簡(jiǎn)多層組網(wǎng)結(jié)構(gòu)的設(shè)計(jì)運(yùn)用，可有效壓縮網(wǎng)絡(luò)設(shè)備的資本開(kāi)支投入，精簡(jiǎn)網(wǎng)絡(luò)結(jié)構(gòu)，降低運(yùn)行維護(hù)的難度，同時(shí)具備面向未來(lái)IT系統(tǒng)云化后業(yè)務(wù)需求變化的可擴(kuò)展性。

[1] IRF與Trill——構(gòu)建無(wú)生成樹(shù)協(xié)議的數(shù)據(jù)中心二層網(wǎng)絡(luò)[OL/EB]. http://www.h3c.com.cn/About_H3C/Company_Publication/IP_Lh/2011/04/Home/Catalog/201108/723207_30008_0.htm；

[2] Cisco. Cisco Data Center Infrastructure 2.5 Design Guide[Z].

[3] Trill：RFC 5556, Transparent Interconnection of Lots of Links (Trill):Problem and Applicability Statement[S].

[4] RFC 6325, Routing Bridges (RBridges): Base Protocol Specification[S].

[5] RFC 6326, Transparent Interconnection of Lots of Links (Trill) Use of IS-IS[S].

[6] RFC 6327, Routing Bridges (RBridges): Adjacency[S].

[7] SPB：IEEE 802.1aq Shortest Path Bridging[S].