基于支撐網(wǎng)雙活數(shù)據(jù)中心 大二層網(wǎng)絡(luò)架構(gòu)的研究與實踐

鄧偉偉 潘家宏 楊陽

摘要：隨著BOSS/CRM業(yè)務(wù)的快速發(fā)展以及虛擬化技術(shù)的成熟，服務(wù)器虛擬化、虛擬機(jī)動態(tài)遷移、數(shù)據(jù)庫遠(yuǎn)程RAC等需求也隨之誕生，相同業(yè)務(wù)的不同物理機(jī)/虛擬機(jī)在不同網(wǎng)絡(luò)中的部署、遷移以及跨數(shù)據(jù)中心的數(shù)據(jù)庫集群建設(shè)，都使得傳統(tǒng)的網(wǎng)絡(luò)架構(gòu)已無法滿足現(xiàn)有業(yè)務(wù)需求，新的大二層網(wǎng)絡(luò)由此應(yīng)運而生。本文對現(xiàn)有大二層網(wǎng)絡(luò)的主要技術(shù)進(jìn)行了分析，并結(jié)合現(xiàn)網(wǎng)及業(yè)務(wù)需求的實際情況，將優(yōu)化后的方案部署到支撐網(wǎng)數(shù)據(jù)中心的網(wǎng)絡(luò)中。

關(guān)鍵詞：數(shù)據(jù)中心 ;網(wǎng)絡(luò);大二層;OTV;Overlay

一、背景介紹

隨著時代不斷發(fā)展，新技術(shù)的不斷革新，當(dāng)前大數(shù)據(jù)、云計算、分布式集群已經(jīng)成為運營商和諸多互聯(lián)網(wǎng)公司建設(shè)IT的一個新趨勢，而分布式、虛擬化技術(shù)在各應(yīng)用系統(tǒng)中得到了廣泛的應(yīng)用，然而應(yīng)用需要分部式的部署在不同的網(wǎng)絡(luò)環(huán)境上，使得虛擬機(jī)和物理機(jī)可以在網(wǎng)絡(luò)中的任何節(jié)點進(jìn)行隨意的遷移，并且要求在遷移前后IP、網(wǎng)關(guān)等信息保持不改變，以保障業(yè)務(wù)的繼續(xù)性。這就要求虛擬機(jī)在遷移的前后必需處在同一個網(wǎng)段，這給傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)帶來了新的挑戰(zhàn)。

本文總結(jié)和分析了目前大二層網(wǎng)絡(luò)涉及的技術(shù)和設(shè)計方案，并結(jié)合現(xiàn)網(wǎng)及業(yè)務(wù)需求的實際情況，將優(yōu)化后的方案部署到支撐網(wǎng)數(shù)據(jù)中心的網(wǎng)絡(luò)中。

二、傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)

傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)分為三層，第一層為接入層，負(fù)責(zé)主機(jī)、服務(wù)器的網(wǎng)絡(luò)接入;第二層為匯聚層，負(fù)責(zé)接入層網(wǎng)絡(luò)的匯聚，它可以實現(xiàn)安全接入、策略管理、地址過濾等功能;第三層為核心層，負(fù)責(zé)整個骨干網(wǎng)絡(luò)的路由轉(zhuǎn)發(fā)，實現(xiàn)數(shù)據(jù)交互等功能。

三、新數(shù)據(jù)中心的網(wǎng)絡(luò)架構(gòu)

由于服務(wù)器虛擬化之后，隨之產(chǎn)生的動態(tài)遷移技術(shù)給傳統(tǒng)的三層網(wǎng)絡(luò)架構(gòu)帶來了很大的麻煩和挑戰(zhàn)，虛擬機(jī)的動態(tài)遷移，物理機(jī)的跨機(jī)房搬遷、數(shù)據(jù)庫遠(yuǎn)程RAC的部署都有分布在不同數(shù)據(jù)中心的網(wǎng)絡(luò)需要處于一個二層網(wǎng)絡(luò)的需求，使得原有的網(wǎng)絡(luò)架構(gòu)必須做出改變。

為了滿足服務(wù)器虛擬化、搬遷和數(shù)據(jù)庫遠(yuǎn)程RAC等業(yè)務(wù)的部署要求，數(shù)據(jù)中心的L2/L3層網(wǎng)絡(luò)分界應(yīng)該從匯聚層上移至核心層，核心路由器以下都是L2層網(wǎng)絡(luò)，這個L2層網(wǎng)絡(luò)可以包含多個VLAN，跨越多個數(shù)據(jù)中心。之間的通信通過L3層進(jìn)行封裝和路由。使分散在不同物理位置的設(shè)備通過虛擬化或RAC技術(shù)實現(xiàn)二層網(wǎng)絡(luò)的互聯(lián)，在建立和遷移時不需要對IP地址或者網(wǎng)關(guān)進(jìn)行修改。

四、實現(xiàn)的主要技術(shù)和方式

（一）堆疊技術(shù)

通過堆疊技術(shù)，把不同數(shù)據(jù)中心里的交換機(jī)堆疊成單臺邏輯設(shè)備，把網(wǎng)絡(luò)設(shè)備虛擬化的范圍擴(kuò)大到所有數(shù)據(jù)中心。這要求所有涉及的設(shè)備都必須通過堆疊線纜和光纖直連，而且受延時影響距離不能太遠(yuǎn)，最好在15公里內(nèi)。

（二）L2 over L3（OTV）

L2 over L3，指在三層的路由網(wǎng)絡(luò)上，通過隧道的方式，將二層數(shù)據(jù)報文封裝在三層報文中，再把不同數(shù)據(jù)中心內(nèi)的多個二層網(wǎng)絡(luò)串聯(lián)起來，構(gòu)建一個全局范圍的大二層，實現(xiàn)不同數(shù)據(jù)中心的二層網(wǎng)絡(luò)互通。OTV是思科私有的一種跨數(shù)據(jù)中心的二層網(wǎng)絡(luò)技術(shù)。

（三）TRILL技術(shù)

TRILL技術(shù)是把三層路由的控制算法引入到二層網(wǎng)絡(luò)中，解決了STP/MSTP存在的缺陷，消除環(huán)路，并提多路徑的等價特性。

五、大二層網(wǎng)絡(luò)在支撐網(wǎng)中的應(yīng)用

現(xiàn)網(wǎng)網(wǎng)絡(luò)架構(gòu)為三層架構(gòu)，接入層負(fù)責(zé)提供業(yè)務(wù)服務(wù)器的接入服務(wù)，采用的設(shè)備為華為的C12800系列和CISCO的N7K系列。匯聚層負(fù)責(zé)數(shù)據(jù)中心機(jī)房所有接入層設(shè)備和路由的匯聚，采用的設(shè)備為華為的NE40E系列。核心層負(fù)責(zé)多個數(shù)據(jù)中心及地市出口的設(shè)備互聯(lián)及路由轉(zhuǎn)發(fā)，采用的設(shè)備為華為的NE40E系列。

由于現(xiàn)網(wǎng)中，608、五象兩個數(shù)據(jù)中心BOSS/CRM核心業(yè)務(wù)的接入層設(shè)備均有CISCO N7K系列承載，而數(shù)據(jù)中心間核心層設(shè)備由華為NE40E系列組成，在不改變現(xiàn)網(wǎng)主要物理網(wǎng)絡(luò)架構(gòu)的前提下，在三層IP網(wǎng)絡(luò)中實現(xiàn)虛擬大二層的同時，保持原有二層網(wǎng)絡(luò)域的獨立性和容錯性，采用了Cisco OTV作為主要技術(shù)。

首先，OTV技術(shù)與傳統(tǒng)的VLPS和GRE Tunnel等技術(shù)相比，不需要建立并持續(xù)維持終節(jié)點間點對點連接，使用MAC路由技術(shù)，只需要初始化完成MAC表構(gòu)建過程后，保證IP可達(dá)即可完成大二層的通信。其次，OTV技術(shù)提供多宿主支持和內(nèi)建防環(huán)機(jī)制，能夠良好隔離打通后的二層網(wǎng)絡(luò)廣播域，抑制整合后的跨區(qū)及本地環(huán)路廣播風(fēng)暴，使管理更加便捷。最后，OTV的網(wǎng)絡(luò)擴(kuò)展性更強(qiáng)，收斂速度更快，降低了現(xiàn)網(wǎng)的部署和維護(hù)難度。支撐網(wǎng)大二層網(wǎng)絡(luò)架構(gòu)如圖1所示。

（一）方案采用的主要技術(shù)

1.VDC（Virtual Device Context）：設(shè)備一虛多技術(shù)， 能在一臺物理設(shè)備上實現(xiàn)多個虛擬化設(shè)備的劃分，并且實現(xiàn)控制、轉(zhuǎn)發(fā)、環(huán)境的完全分離。每一個VDC是一個分離的故障域，之間不會相互影響。

2.OTV（Overlay Transport Virtualization）：Cisco OTV是一項"MAC in IP"技術(shù)。通過使用MAC地址路由規(guī)則，它可以不需要建立和持續(xù)維持節(jié)點之間的點對點連接，只需要初始化完成MAC表構(gòu)建過程后，在確保IP路由可達(dá)的情況下，即可完成大二層的通信。

（二）建設(shè)方案

1.VDC的劃分及互連

我們在每個數(shù)據(jù)中心的N7K交換機(jī)上，通過VDC技術(shù)，將一臺物理N7K交換機(jī)虛擬出兩臺N7K交換機(jī)，分別是VDC-1和VDC-2。VDC-1作為傳統(tǒng)網(wǎng)絡(luò)業(yè)務(wù)接入的核心交換機(jī)，上行與匯聚路由器NE40互連走三層協(xié)議，下行與服務(wù)器互連走二層協(xié)議，與另一臺N7K虛出的VDC-1通過TRUNK互聯(lián)，兩臺VDC之間通過VRRP協(xié)議虛擬出服務(wù)器的業(yè)務(wù)網(wǎng)關(guān)。VDC-2作為OTV的Edge Device，OTV設(shè)備（VDC-2）采用旁掛部署，與VDC-1使用兩個聚合口進(jìn)行互連，其中聚合口AG4使用二層協(xié)議與VDC-1互連，透傳需要進(jìn)行大二層擴(kuò)展的業(yè)務(wù)VLAN，另外聚合口AG5使用三層協(xié)議與VDC-1互連，實現(xiàn)三層路由轉(zhuǎn)發(fā)。

2.數(shù)據(jù)規(guī)劃

（1）VDC數(shù)據(jù)規(guī)劃

在大類相同但子類不相同的業(yè)務(wù)上（如計費系統(tǒng)、酬金系統(tǒng)、營業(yè)系統(tǒng)、CRM系統(tǒng)等都屬于BOSS系統(tǒng)），通過在相同的VDC上劃分不同的VLAN進(jìn)行子類業(yè)務(wù)劃分，業(yè)務(wù)在進(jìn)行跨中心網(wǎng)絡(luò)遷移時，無需變更原有IP地址和修改相應(yīng)的應(yīng)用程序，只需要把所在接入設(shè)備的端口劃入之前的同一個VLAN。打破了網(wǎng)絡(luò)的遷移需要修改IP和修改其它關(guān)聯(lián)業(yè)務(wù)相應(yīng)配置的約束，實現(xiàn)了跨地域的動態(tài)遷移。在不同大類的業(yè)務(wù)上，如數(shù)據(jù)庫遠(yuǎn)程RAC、存儲雙中心等基礎(chǔ)平臺業(yè)務(wù)。可以通過不同的VDC進(jìn)行劃分，與業(yè)務(wù)的VDC進(jìn)行區(qū)分。防止在同一個VDC下因二層VLAN太多，因某個VLAN產(chǎn)生的廣播風(fēng)暴直接影響到該VDC設(shè)備上的性能，導(dǎo)致連帶影響其他不同的大類業(yè)務(wù)。

（2）VRRP規(guī)劃

在支撐網(wǎng)中由于每個數(shù)據(jù)中心的網(wǎng)絡(luò)設(shè)備為了確保業(yè)務(wù)的穩(wěn)定性和繼續(xù)性，所有層面的節(jié)點均由主備兩臺以上的設(shè)備組成，當(dāng)大二層網(wǎng)絡(luò)跨越兩個數(shù)據(jù)中心時，同一個業(yè)務(wù)VLAN網(wǎng)段則由4臺設(shè)備組成。由4臺設(shè)備通過VRRP虛擬出來的VIP網(wǎng)關(guān)，在Master狀態(tài)發(fā)生變化時，則可能會發(fā)生數(shù)據(jù)中心之間流量橫穿疊加的情況。

當(dāng)Master狀態(tài)從一個數(shù)據(jù)中心飄到另一個數(shù)據(jù)中心時，原屬同一個數(shù)據(jù)中心的服務(wù)器雖然訪問VIP不變，但數(shù)據(jù)流量先通過三層網(wǎng)絡(luò)繞到另一個數(shù)據(jù)中心，再通過二層網(wǎng)絡(luò)返回到原來的數(shù)據(jù)中心。這樣兩個數(shù)據(jù)中心之間會存在不必要的流量橫穿疊加的情況，會占兩個數(shù)據(jù)中心之間的帶寬，造成帶寬浪費。

為了避免這類情況，我們在規(guī)劃大二層網(wǎng)絡(luò)的VRRP時，通過兩個VIP+負(fù)載均衡的方式解決。即同個數(shù)據(jù)中心的兩臺主備設(shè)備虛擬出一個VIP，另一個數(shù)據(jù)中心的兩臺主備設(shè)備虛擬出另一個同網(wǎng)段的VIP，兩個VIP同時對外提供服務(wù)。通過負(fù)載均衡進(jìn)行兩個中心的統(tǒng)一入口和負(fù)載分擔(dān)，再通過負(fù)載均衡設(shè)備上的策略路由實現(xiàn)同一個數(shù)據(jù)中心的IP網(wǎng)段，優(yōu)先訪問所在中心的VIP。這樣即使在VRRP的Master狀態(tài)發(fā)生變化時，也不會發(fā)生兩個中心的狀態(tài)飄移，解決了數(shù)據(jù)中心之間流量橫穿疊加的問題。

（3）數(shù)據(jù)庫遠(yuǎn)程RAC規(guī)劃

數(shù)據(jù)庫遠(yuǎn)程RAC這種技術(shù)的機(jī)制是通過在兩個數(shù)據(jù)中心機(jī)房搭建一套邏輯上屬于同一個數(shù)據(jù)庫的RAC，兩邊可以同時運行業(yè)務(wù)。實現(xiàn)在兩個數(shù)據(jù)中心之間的雙活，并達(dá)到最高容災(zāi)等級。遠(yuǎn)程RAC方案網(wǎng)絡(luò)總體架構(gòu)需要SAN及IP網(wǎng)絡(luò)，在兩個數(shù)據(jù)中心間進(jìn)行可靠的同IP段的內(nèi)網(wǎng)通信。SAN網(wǎng)絡(luò)通過增加設(shè)備和傳輸延伸來實現(xiàn)，IP網(wǎng)絡(luò)通過VDC和OTV技術(shù)實現(xiàn)。在N7K設(shè)備上虛出的專門用于數(shù)據(jù)庫遠(yuǎn)程RAC的VDC（不同的業(yè)務(wù)的不同數(shù)據(jù)庫通過不同的VLAN劃分二層網(wǎng)段），再通過運行OTV的VDC-2實現(xiàn)大二層封裝，在兩個數(shù)據(jù)中心三層IP網(wǎng)絡(luò)上虛擬出專屬RAC的二層網(wǎng)絡(luò)，實現(xiàn)跨機(jī)房的同IP段內(nèi)二層通信。

3.OTV的配置過程

由于OTV不需要改變現(xiàn)網(wǎng)結(jié)構(gòu)和重新配置現(xiàn)有網(wǎng)絡(luò)，在三層IP路由可達(dá)的前提下，只需要在的運行OTV的VDC-2設(shè)備上配置即可。

4.大二層通信過程

首先確保兩個數(shù)據(jù)中心的三層IP網(wǎng)絡(luò)路由可達(dá)以及OTV鄰居關(guān)系正常。

（1）同一個數(shù)據(jù)中心同一個站點內(nèi)通信數(shù)據(jù)流：

相同網(wǎng)段的兩臺Server通信時：服務(wù)器直接通過所在交換機(jī)的Mac進(jìn)行二層查找轉(zhuǎn)發(fā)，不進(jìn)行路由。

（2）不同數(shù)據(jù)中心間不同站點內(nèi)通信數(shù)據(jù)流：

不同數(shù)據(jù)中心但相同網(wǎng)段的兩臺Server進(jìn)行通信時：1）Server1把數(shù)據(jù)送至上連的交換機(jī)，上連的交換機(jī)通過Mac表尋址，把數(shù)據(jù)送至本端的OTV設(shè)備上。2）本端OTV設(shè)備收到報文后，會進(jìn)行大二層封裝，并通過查找路由的方式轉(zhuǎn)發(fā)到對端數(shù)據(jù)中心的OTV設(shè)備上。3）對端數(shù)據(jù)中心OTV設(shè)備收到報文后，將報文進(jìn)行解封裝，通過Mac表尋址送至Server3服務(wù)器上連的交換機(jī)。4）Server3服務(wù)器上連的交換機(jī)通過查找本地Mac地址表，將報文送到Server3服務(wù)器上。大二層通信數(shù)據(jù)流如圖2所示。

六、結(jié)束語

綜上所述，通過在現(xiàn)有支撐網(wǎng)網(wǎng)絡(luò)架構(gòu)的基礎(chǔ)上，利用OTV/VDC等技術(shù)的特性，結(jié)合現(xiàn)網(wǎng)中的業(yè)務(wù)需求和環(huán)境進(jìn)行規(guī)劃和部署，實現(xiàn)了支撐網(wǎng)異地雙活數(shù)據(jù)中心的大二層網(wǎng)絡(luò)。為服務(wù)器的虛擬化、動態(tài)遷移、數(shù)據(jù)庫遠(yuǎn)程RAC等業(yè)務(wù)實現(xiàn)跨數(shù)據(jù)中心集群部署提供了網(wǎng)絡(luò)解決方案。通過VRRP、負(fù)載均衡數(shù)據(jù)劃規(guī)和路由分發(fā)策略的應(yīng)用，解決了數(shù)據(jù)中心之間流量橫穿疊加和資源占用的問題，提升了整體網(wǎng)絡(luò)的穩(wěn)定性和可靠性，為后繼業(yè)務(wù)的連續(xù)性，提供保障。

作者單位：鄧偉偉? ? 潘家宏? ? 楊陽? ? 中國移動通信集團(tuán)廣西有限公司

鄧偉偉（1983.11-），男，壯族，廣西武鳴，本科，工程師，研究方向：網(wǎng)絡(luò)通信、信息安全。

參? 考? 文? 獻(xiàn)

[1]李彬，陳雪蓮，胡玲.大二層技術(shù)在電力數(shù)據(jù)中心網(wǎng)絡(luò)的研究與應(yīng)用探析[J].信息系統(tǒng)工程， 2019（02）：78，81.

[2]陶凱.大二層網(wǎng)絡(luò)結(jié)構(gòu)的實踐與思考[J].中國金融電腦， 2017（08）：66-68.

[3]韓溥.數(shù)據(jù)中心大二層扁平化網(wǎng)絡(luò)架構(gòu)研究[J]. 中國新通信，2020（06）：63.

[4]劉芹，索鳳蓮.跨數(shù)據(jù)中心大二層組網(wǎng)技術(shù)探討與分析[J].互聯(lián)網(wǎng)天地， 2016（11）：27-32.

[5]姚金玲.企業(yè)數(shù)據(jù)中心二層網(wǎng)絡(luò)互聯(lián)技術(shù)研究[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用， 2015（5）：86.

[6]祁杰.應(yīng)用OTV技術(shù)實現(xiàn)云計算跨二層網(wǎng)絡(luò)融合方案淺析[J].移動通信， 2014（9）：52-54，59.