私有云資源池網(wǎng)絡(luò)應(yīng)用實(shí)踐

■中國移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司山東分公司 張延彬 張誌 岳思思

近年來隨著云計(jì)算、大數(shù)據(jù)技術(shù)的不斷發(fā)展，電信運(yùn)營商IT 系統(tǒng)云化的速度在不斷加快，各種層次的資源池不斷出現(xiàn)，資源池內(nèi)承載的IT 系統(tǒng)越來越多，其中虛擬化技術(shù)改變了IT 基礎(chǔ)設(shè)施的運(yùn)營模式，使得計(jì)算、存儲(chǔ)成為可以運(yùn)營的資源，資源的按需供給、彈性伸縮，業(yè)務(wù)創(chuàng)新瞬息萬變，這對底層的承載網(wǎng)絡(luò)也提出了極高要求，要求能夠適應(yīng)頻繁變化的業(yè)務(wù)需求并進(jìn)行靈活調(diào)整，因此SDN 得以快速發(fā)展并在運(yùn)營商網(wǎng)絡(luò)中收到青睞，在私有云資源池中得以大面積的部署和應(yīng)用。

SDN 網(wǎng)絡(luò)架構(gòu)在資源池的應(yīng)用特征

SDN 目標(biāo)在應(yīng)用和網(wǎng)絡(luò)控制層之間引入一個(gè)通信框架，使現(xiàn)有控制平面變的靈活且允許快速可靠的配置更改，將網(wǎng)絡(luò)控制功能與轉(zhuǎn)發(fā)功能分離，最終實(shí)現(xiàn)控制可編程，圖1 為SDN 標(biāo)準(zhǔn)架構(gòu)。

1.應(yīng)用層

處于SDN 的網(wǎng)絡(luò)架構(gòu)最上層，SDN 的核心價(jià)值所在。用戶根據(jù)業(yè)務(wù)需求調(diào)用控制器開放的網(wǎng)絡(luò)編程接口編寫應(yīng)用程序、定義網(wǎng)絡(luò)行為、實(shí)現(xiàn)應(yīng)用創(chuàng)新。

2.北向接口

應(yīng)用層和控制層的通信接口，目前無統(tǒng)一北向接口標(biāo)準(zhǔn)，主要和控制器的實(shí)現(xiàn)方式有關(guān)，應(yīng)用最廣泛的是RESTful。

3.控制層

圖1 SDN 架構(gòu)

包括1 個(gè)或多個(gè)控制器，負(fù)責(zé)修改和控制底層網(wǎng)絡(luò)設(shè)備的轉(zhuǎn)發(fā)行為。一方面將網(wǎng)絡(luò)資源抽象成可操作的信息模型提供給上層應(yīng)用，另一方面將網(wǎng)絡(luò)需求轉(zhuǎn)發(fā)行為轉(zhuǎn)換為低層次的指令。

4.南向接口

分為配置管理類和控制類，如：NetCONF、OVS-DB、XMPP 和OpenFlow 等。

5.基礎(chǔ)設(shè)施

具體網(wǎng)絡(luò)轉(zhuǎn)發(fā)設(shè)備，例如交換機(jī)。

SDN 網(wǎng)絡(luò)架構(gòu)在私有云資源池中的應(yīng)用主要體現(xiàn)在：為多租戶提供虛擬、隔離、可擴(kuò)展、自管理服務(wù)，在網(wǎng)絡(luò)部署靈活性增強(qiáng)的基礎(chǔ)上，提高了網(wǎng)絡(luò)資源利用率，實(shí)現(xiàn)網(wǎng)絡(luò)和業(yè)務(wù)自動(dòng)化、網(wǎng)絡(luò)流量調(diào)優(yōu)、資源的有效調(diào)度和管控、多租戶的網(wǎng)絡(luò)隔離，做到數(shù)據(jù)中心網(wǎng)絡(luò)資源實(shí)現(xiàn)真正的池化。

（1）虛擬的網(wǎng)絡(luò)：租戶按需申請?zhí)摂M計(jì)算/ 存儲(chǔ)/ 基礎(chǔ)網(wǎng)絡(luò)/ 增值網(wǎng)絡(luò)資源，構(gòu)成虛擬私有云(VPC,virtual private cloud)網(wǎng)絡(luò)，分鐘級開通時(shí)間。

（2）隔離的網(wǎng)絡(luò)：租戶間網(wǎng)絡(luò)互不可見，租戶可任意定義IP 網(wǎng)段、負(fù)載均衡策略、防火墻策略等。

（3）擴(kuò)展的網(wǎng)絡(luò)：資源按需使用、按需擴(kuò)容；通過SDN DCI 或VPN 等方式可實(shí)現(xiàn)DC互聯(lián)。

（4）自管理的網(wǎng)絡(luò)：虛擬網(wǎng)絡(luò)提供流量可視化能力，租戶可自管理監(jiān)控、自配置虛擬網(wǎng)絡(luò)。

私有云資源池SDN 組網(wǎng)技術(shù)

1.OverIay 技術(shù)

目前來看由于運(yùn)營商私有云資源池中網(wǎng)絡(luò)設(shè)備數(shù)量、設(shè)備種類較多，標(biāo)準(zhǔn)上很難統(tǒng)一，因此運(yùn)營商私有云資源池的SDN 組網(wǎng)方案基本都是采用Overlay 技術(shù)，而且Overlay 技術(shù)可以快速形成能力，部署時(shí)間短。

當(dāng)前主流的Overlay 技術(shù)主要有VXLAN，GRE/NVGRE和STT，這三種二層Overlay技術(shù)，大體思路均是將以太網(wǎng)報(bào)文承載到某種隧道層面，差異性在于選擇和構(gòu)造隧道的不同，而底層均是IP轉(zhuǎn)發(fā)。

（1）VXLAN：VXLAN 是將以太網(wǎng)報(bào)文封裝在UDP 傳輸層上的一種隧道轉(zhuǎn)發(fā)模式，在3層網(wǎng)絡(luò)之上創(chuàng)建疊加的邏輯2 層網(wǎng)絡(luò)，VXLAN 使用1 個(gè)24 位的VNI 字段區(qū)分不同的邏輯2 層網(wǎng)絡(luò)，以此實(shí)現(xiàn)租戶識別和隔離網(wǎng)絡(luò)。VXLAN的封裝/解封裝和隧道的建立通過VXLAN 隧道終端實(shí)體進(jìn)行。

（2）NVGRE：NVGRE 是將以太網(wǎng)報(bào)文封裝在GRE 內(nèi)的一種隧道轉(zhuǎn)發(fā)模式；采用24 比特標(biāo)識二層網(wǎng)絡(luò)分段，稱為VSID，每個(gè)VSID 代表了一個(gè)虛擬2 層廣播。NVGRE 幀的封裝/解封裝和隧道的建立通過NVGRE Endpoint 實(shí)現(xiàn)。

（3）STT：STT 采用MACin-IP 方式進(jìn)行封裝，利用了TCP 的數(shù)據(jù)封裝形式，但改造了TCP 的傳輸機(jī)制，建立無狀態(tài)的隧道，在隧道端點(diǎn)之間傳輸以太網(wǎng)幀，采用64 比特Context ID 標(biāo)識二層網(wǎng)絡(luò)分段。

這三種二層Overlay 技術(shù)相比而言，VXLAN 和STT 對于現(xiàn)網(wǎng)設(shè)備對流量均衡要求較低，即負(fù)載鏈路負(fù)載分擔(dān)適應(yīng)性好，一般的網(wǎng)絡(luò)設(shè)備都能對L2-L4 的數(shù)據(jù)內(nèi)容參數(shù)進(jìn)行鏈路聚合或等價(jià)路由的流量均衡，而NVGRE 則需要網(wǎng)絡(luò)設(shè)備對GRE 擴(kuò)展頭感知并對flow ID 進(jìn)行HASH，需要硬件升級；STT 對于TCP有較大修改，隧道模式接近UDP 性質(zhì)，隧道構(gòu)造技術(shù)屬于革新性，且復(fù)雜度較高，而VXLAN 利用了現(xiàn)有通用的UDP 傳輸，成熟性極高?？傮w比較，VLXAN 技術(shù)相對具有優(yōu)勢，而且就運(yùn)營商內(nèi)部私有云資源池來看，大部分也都是采用的VXLAN 技術(shù)。

2.OverIay 方式

上面介紹了Overlay的技術(shù)，下面講一下主流的3 種Overlay 的方式，主要分為網(wǎng)絡(luò)Overlay、主機(jī)Overlay 和混合式Overlay。

⑴網(wǎng)絡(luò)Overlay 指的是隧道封裝在物理交換機(jī)上完成，通過控制協(xié)議對邊緣的網(wǎng)絡(luò)設(shè)備完成網(wǎng)絡(luò)構(gòu)建和擴(kuò)展。網(wǎng)絡(luò)Overlay 應(yīng)用最重要也是最成熟的技術(shù)就是VXLAN。在網(wǎng)絡(luò)Overlay 中，要求所有的物理接入交換機(jī)都能支持VXLAN，接入層交換機(jī)負(fù)責(zé)VXLAN 報(bào)文的封裝和卸載，在VXLAN 網(wǎng)絡(luò)和VLAN網(wǎng)絡(luò)之間要部署VXLAN GW交換機(jī)，實(shí)現(xiàn)VXLAN 網(wǎng)絡(luò)主機(jī)與VLAN 網(wǎng)絡(luò)主機(jī)之間的通信。

目前，網(wǎng)絡(luò)設(shè)備的主流芯片已經(jīng)實(shí)現(xiàn)了VXLAN 技術(shù)，而且這種采用硬件設(shè)備的Overlay 網(wǎng)絡(luò)性能高、轉(zhuǎn)發(fā)效率快，適合部署在運(yùn)營商的大型數(shù)據(jù)中心網(wǎng)絡(luò)。

⑵主機(jī)Overlay 指的是隧道封裝在服務(wù)器的vSwitch 上完成，不用增加新的網(wǎng)絡(luò)設(shè)備即可完成Overlay 部署，僅支持虛擬化的服務(wù)器之間組網(wǎng)互通。主機(jī)Overlay 使用服務(wù)器上的vSwitch 軟件實(shí)現(xiàn)VXLAN網(wǎng)絡(luò)功能，VXLAN 技術(shù)中的VTEP、VXLAN GW、VXLAN IP GW 均通過安裝在服務(wù)器上的vSwitch 軟件實(shí)現(xiàn)。

主機(jī)Overlay 方式不依賴于數(shù)據(jù)轉(zhuǎn)發(fā)設(shè)備，對網(wǎng)絡(luò)設(shè)備是否支持VXLAN 沒有要求，只要虛擬化軟件支持就可以，如果網(wǎng)絡(luò)規(guī)模較大的話，通過軟件實(shí)現(xiàn) VXLAN IP GW 很可能會(huì)成為整個(gè)網(wǎng)絡(luò)的瓶頸，適合在小型網(wǎng)絡(luò)中部署使用。

⑶混合式Overlay 指的是采用網(wǎng)絡(luò)Overlay 和主機(jī)Overlay 的混合組網(wǎng)，可以支持物理服務(wù)器和虛擬服務(wù)器之間的組網(wǎng)互通?；旌螼verlay 采用軟硬件結(jié)合的方式，使得軟硬件都能發(fā)揮自己的優(yōu)勢，也保障了Overlay 網(wǎng)絡(luò)的整體性能。

上面介紹的各種Overlay 技術(shù)以及應(yīng)用方式都是屬于SDN 架構(gòu)中轉(zhuǎn)發(fā)和控制分離中的業(yè)務(wù)數(shù)據(jù)的轉(zhuǎn)發(fā)技術(shù)，而控制層面技術(shù)目前應(yīng)用最廣泛的是EVPN 技術(shù)，各種技術(shù)相互結(jié)合才能真正實(shí)現(xiàn)轉(zhuǎn)發(fā)和控制分離的核心理念。

EVPN（Ethernet Virtual Private Network，以太網(wǎng)虛擬專用網(wǎng)絡(luò)）是一種二層VPN 技術(shù)，控制平面采用MP-BGP 通告EVPN 路由信息，數(shù)據(jù)平面采用VXLAN封裝方式轉(zhuǎn)發(fā)報(bào)文。隧道建立和VXLAN 關(guān)聯(lián)：利用EVPN的BGP RR 實(shí)現(xiàn)鄰居發(fā)現(xiàn)，自動(dòng)發(fā)現(xiàn)VXLAN 網(wǎng)絡(luò)中的VTEP，并在有相同vxlan id各VTEP 之間自動(dòng)創(chuàng)建VXLAN隧道，自動(dòng)關(guān)聯(lián)VXLAN 隧道和VXLAN。

某省級私有云資源池SDN 組網(wǎng)方案

某省級運(yùn)營商私有云資源池已經(jīng)建設(shè)數(shù)年，形成了兩大資源池，組網(wǎng)架構(gòu)基本相同，但是由于所用的硬件設(shè)備廠商的不同，形成了兩種不同的組網(wǎng)方案，兩種SDN網(wǎng)絡(luò)的工作原理也不相同。某省私有云資源池的組網(wǎng)架構(gòu)如圖2 所示。

1.資源池A 的組網(wǎng)方式

VXLAN+Openflow+NetCO NF，采用集中式網(wǎng)關(guān)部署。數(shù)據(jù)轉(zhuǎn)發(fā)層面采用VXLAN方式，控制層面控制器通過Openflow 和NetCONF 向 交換機(jī)下發(fā)轉(zhuǎn)發(fā)策略和配置信息，出口核心交換機(jī)處設(shè)置SDN 網(wǎng)關(guān)。

為了管理方便以及提升網(wǎng)絡(luò)效率，虛擬機(jī)的VXLAN 報(bào)文的封裝和卸載并不是在vSwtich 上完成的，物理機(jī)和虛擬機(jī)的VXLAN 報(bào)文的封裝和卸載都在接入層VTEP 上完成，對于不同VXLAN 之間的互訪都要通過出口核心交換機(jī)。

對于東西向流量比較大的網(wǎng)絡(luò)中，SDN 網(wǎng)關(guān)會(huì)成為整個(gè)網(wǎng)絡(luò)的瓶頸，而且SDN網(wǎng)關(guān)發(fā)生故障的話，會(huì)導(dǎo)致整個(gè)網(wǎng)絡(luò)的癱瘓，但是集中式網(wǎng)關(guān)的優(yōu)點(diǎn)就是易管理，易于排查故障。

2.資源池B 的組網(wǎng)方式

VXLAN+EVPN+NetConf，采用分布式網(wǎng)關(guān)部署。數(shù)據(jù)轉(zhuǎn)發(fā)層面同樣是采用VXLAN方式，控制層面采用EVPN 和NetCONF 向交換機(jī)下發(fā)轉(zhuǎn)發(fā)策略和配置信息，SDN 網(wǎng)關(guān)設(shè)置在每個(gè)接入層交換機(jī)上。

同樣為了管理方便以及提升網(wǎng)絡(luò)效率，虛擬機(jī)的VXLAN 報(bào)文的封裝和卸載并不是在vSwtich 上完成的，物理機(jī)和虛擬機(jī)的VXLAN 報(bào)文的封裝和卸載都在接入層VTEP 上完成，對于同一接入交換機(jī)下的不同VXLAN 互訪通過接入層交換機(jī)就可以完成，對于不同接入層交換機(jī)下不同VXLAN 的互訪需要通過上層的SDN 網(wǎng)關(guān)實(shí)現(xiàn)。

由于通過EVPN 技術(shù)實(shí)現(xiàn)了自動(dòng)創(chuàng)建VXLAN 隧道，自動(dòng)關(guān)聯(lián)VXLAN 隧道和VXLAN，這樣的話整個(gè)網(wǎng)絡(luò)的轉(zhuǎn)發(fā)效率非常高，而且由于是分布式網(wǎng)關(guān)的部署方式，出口核心交換機(jī)不會(huì)成為整個(gè)網(wǎng)絡(luò)的瓶頸，但是分布式網(wǎng)關(guān)維護(hù)起來非常復(fù)雜和麻煩，不易于故障的排查。

圖2 資源池組網(wǎng)架構(gòu)

結(jié)束語

運(yùn)營商網(wǎng)絡(luò)中SDN 網(wǎng)絡(luò)架構(gòu)的實(shí)現(xiàn)提升了網(wǎng)絡(luò)交付效率，實(shí)現(xiàn)了網(wǎng)絡(luò)資源的共享和彈性伸縮，解決了多租戶的難題，但是要真正實(shí)現(xiàn)SDN 理念，還有很長的路要走，需要與Openstack 的協(xié)同，與應(yīng)用層交互，如何不受廠商硬件的綁定，能夠?qū)崿F(xiàn)異構(gòu)廠商資源池大二層網(wǎng)絡(luò)的互通和資源的共享、靈活調(diào)度，才是未來更加需要探討的地方。