SDN和OVERLAY技術(shù)在高校云數(shù)據(jù)中心的應(yīng)用

肖永欽，卓柳迎

（福建師范大學(xué) 信息化建設(shè)與管理辦公室 網(wǎng)絡(luò)與數(shù)據(jù)中心，福建 福州350117）

傳統(tǒng)數(shù)據(jù)中心建設(shè)思路大部分都是從硬件建設(shè)的角度出發(fā)，以高性能、高可靠性作為建設(shè)需求，從而造成很多服務(wù)器、網(wǎng)絡(luò)、存儲(chǔ)等硬件資源利用不充分，造成資源浪費(fèi)。這種建設(shè)思路大多是由業(yè)務(wù)或建設(shè)者的經(jīng)驗(yàn)來驅(qū)動(dòng)，具有一定局限性和被動(dòng)性。將從SDN和OVERLAY在云數(shù)據(jù)中心中應(yīng)用這個(gè)點(diǎn)切入研究，從而為高校云數(shù)據(jù)中心建設(shè)打開一個(gè)新思路，為用戶提供虛擬化資源共享池包括網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、應(yīng)用、服務(wù),實(shí)現(xiàn)資源按需提供服務(wù),同時(shí)通過統(tǒng)一管理、統(tǒng)一運(yùn)營，提高云計(jì)算等業(yè)務(wù)發(fā)放及部署效率。

1 高校校園網(wǎng)數(shù)據(jù)中心建設(shè)與管理現(xiàn)狀

高校校園網(wǎng)數(shù)據(jù)中心發(fā)展經(jīng)歷了服務(wù)器虛擬化部署、數(shù)據(jù)中心自動(dòng)化部署、多云化部署三個(gè)階段。多數(shù)高校校園數(shù)據(jù)中心正處于第一階段向第二階段的演進(jìn)中。當(dāng)前,高校數(shù)據(jù)中心大部分只運(yùn)行校內(nèi)公共業(yè)務(wù),各部門的專有業(yè)務(wù)由各自負(fù)責(zé),或者僅僅是將硬件托管于校園云數(shù)據(jù)中心內(nèi)。通過服務(wù)器虛擬化技術(shù)及云平臺(tái)技術(shù)，將整個(gè)學(xué)校計(jì)算、存儲(chǔ)資源進(jìn)行整合，再以虛擬機(jī)的方式進(jìn)行發(fā)放。但目前還都是承載在傳統(tǒng)網(wǎng)絡(luò)上，發(fā)放計(jì)算資源的同時(shí)，需要對(duì)網(wǎng)絡(luò)配置加以手工調(diào)整，以滿足訪問、隔離等需求。而想要實(shí)現(xiàn)“云網(wǎng)聯(lián)動(dòng)”的網(wǎng)絡(luò)自動(dòng)化部署，必須要承載于軟件定義網(wǎng)絡(luò)[1]（SDN），可分為軟件SDN及硬件SDN兩種方式實(shí)現(xiàn)。

兩種SDN技術(shù)各有所長，軟件SDN技術(shù)會(huì)將虛擬交換機(jī)[2]（vSwich）部署在服務(wù)器上，并開啟VXLAN[3]技術(shù)，形成一個(gè)虛擬的大二層網(wǎng)絡(luò)，配合虛擬防火墻（vFireWall）實(shí)現(xiàn)各租戶的訪問與控制。此種技術(shù)對(duì)于交換機(jī)設(shè)備無特殊要求，性能能夠承載業(yè)務(wù)即可，對(duì)于現(xiàn)網(wǎng)改造沖擊較小，但對(duì)于服務(wù)器性能消耗較高，vSwitch的轉(zhuǎn)發(fā)性能也受限于服務(wù)器，因此硬件SDN技術(shù)應(yīng)運(yùn)而生。硬件SDN首先要求交換機(jī)支持VXLAN技術(shù)[4]，同時(shí)要求支持openflow[5]等軟件定義對(duì)接技術(shù)，通過SDN控制器實(shí)現(xiàn)對(duì)于硬件交換機(jī)的統(tǒng)一配置下發(fā)、管理，此種方式業(yè)界稱之為OVERLAY。SDN控制器再與云平臺(tái)進(jìn)行對(duì)接，實(shí)現(xiàn)計(jì)算、網(wǎng)絡(luò)資源的統(tǒng)一、自動(dòng)發(fā)放，擺脫現(xiàn)有的配置命令行操作。高校校園網(wǎng)數(shù)據(jù)中心建設(shè)仍然存在云業(yè)務(wù)發(fā)放效率低、網(wǎng)絡(luò)設(shè)備難以統(tǒng)一管控和按需擴(kuò)展、網(wǎng)絡(luò)資源無法靈活調(diào)度網(wǎng)絡(luò)資源浪費(fèi)的問題。

1.1 傳統(tǒng)網(wǎng)絡(luò)的技術(shù)缺陷

1.1.1 傳統(tǒng)網(wǎng)絡(luò)架構(gòu)對(duì)東西流量限制

在傳統(tǒng)網(wǎng)絡(luò)技術(shù)架構(gòu)下部署大規(guī)模虛擬機(jī)的應(yīng)用場景,要求虛機(jī)遷移時(shí)其IP地址、MAC地址保持不變,需要一個(gè)二層局域網(wǎng),但已有二層技術(shù)存在兩點(diǎn)不足：一是STP(Spanning Tree Protocol)技術(shù)存在維護(hù)和部署繁瑣，部署網(wǎng)絡(luò)規(guī)模不宜過大，限制網(wǎng)絡(luò)的擴(kuò)展能力；二是各廠家私有網(wǎng)絡(luò)虛擬化技術(shù)CSS/IRF/vPC[6]等，對(duì)于網(wǎng)絡(luò)的拓?fù)浼軜?gòu)有較為嚴(yán)格的要求，只適合中小規(guī)模網(wǎng)絡(luò)部署。

1.1.2 業(yè)務(wù)規(guī)模受限于網(wǎng)絡(luò)設(shè)備規(guī)格

云數(shù)據(jù)中心虛擬機(jī)的大規(guī)模部署，虛擬機(jī)的規(guī)模受二層地址表項(xiàng)的大小限制，尤其是接入交換機(jī)的規(guī)格限制，較小的二層地址表規(guī)格，限制了整個(gè)校園云數(shù)據(jù)中心的業(yè)務(wù)規(guī)模。

1.1.3 不宜部署大規(guī)模租戶

VLAN技術(shù)常用來部署云業(yè)務(wù)場景需要對(duì)大量租戶進(jìn)行安全隔離，但在大量租戶場景下會(huì)有兩大限制：一是針對(duì)公有云或大型私有云部署需求,VLAN僅有4096個(gè)可用量，不能滿足需求；二是如果將VLAN部署在大型私有云上，會(huì)使得在數(shù)據(jù)中心內(nèi)所有VLAN都被允許通過，會(huì)產(chǎn)生任何一個(gè)VLAN的廣播數(shù)據(jù)會(huì)在整個(gè)數(shù)據(jù)中心內(nèi)泛洪，消耗網(wǎng)絡(luò)帶寬的同時(shí)帶來維護(hù)的困難。

1.2 OVERLAY網(wǎng)絡(luò)應(yīng)運(yùn)而生

OVERLAY是一種在物理網(wǎng)絡(luò)架構(gòu)基礎(chǔ)上疊加的虛擬化技術(shù)，其結(jié)點(diǎn)可以看作是通過虛擬或邏輯鏈路連接起來的，具有獨(dú)立的控制和轉(zhuǎn)發(fā)平面，實(shí)現(xiàn)應(yīng)用在網(wǎng)絡(luò)上的承載，并能與其它網(wǎng)絡(luò)業(yè)務(wù)分離。針對(duì)傳統(tǒng)網(wǎng)絡(luò)在云數(shù)據(jù)中心大規(guī)模部署中存在的三大技術(shù)缺陷，提出了三種解決方案。

1.2.1 傳統(tǒng)網(wǎng)絡(luò)架構(gòu)對(duì)東西流量限制的解決方案

OVERLAY方案是只要IP路由可達(dá)就可以部署OVERLAY網(wǎng)絡(luò)，原理是把報(bào)文的二層頭封裝在IP報(bào)文之內(nèi)的新數(shù)據(jù)格式。路由網(wǎng)絡(luò)對(duì)網(wǎng)絡(luò)結(jié)構(gòu)沒有特殊要求，因?yàn)樗呀?jīng)非常成熟了。同時(shí)OVERLAY網(wǎng)絡(luò)具備可擴(kuò)展性、可負(fù)載均衡性、可自愈性[7]等特點(diǎn)。

1.2.2 業(yè)務(wù)規(guī)模受限于網(wǎng)絡(luò)設(shè)備規(guī)格的解決方案

OVERLAY網(wǎng)絡(luò)部署后，數(shù)據(jù)封裝在IP數(shù)據(jù)包中，對(duì)于接入交換機(jī)來說，僅需要學(xué)習(xí)隧道端點(diǎn)的MAC地址，這樣很大程度上降低交換機(jī)對(duì)于MAC地址容量的要求。為了提高表項(xiàng)總規(guī)格，通常也采用分布式網(wǎng)關(guān)部署。

1.2.3 不宜部署大規(guī)模租戶的解決方案

在OVERLAY技術(shù)中采用擴(kuò)展隔離標(biāo)識(shí)的比特位數(shù)，能夠突破VLAN 4K限制，最高支持16M用戶。針對(duì)部署VLAN場景下的廣播風(fēng)暴問題，OVERLAY對(duì)廣播流量轉(zhuǎn)化成組播流量，避免無效流量浪費(fèi)帶寬[8]。

2 VDC數(shù)據(jù)中心模型設(shè)計(jì)和實(shí)現(xiàn)

VDC[8]（Virtual Data Center）是由一定的計(jì)算資源、網(wǎng)絡(luò)資源和存儲(chǔ)資源組成的虛擬資源池，將物理資源池化后，按組織、業(yè)務(wù)需要靈活分配，構(gòu)建的一個(gè)邏輯的數(shù)據(jù)中心，包括數(shù)據(jù)中心需要的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源，向最終用戶提供一個(gè)虛擬的所見即所得的數(shù)據(jù)中心，不同VDC之間的資源是隔離的。VPC（Virtual Private Cloud）[9]是在VDC上申請(qǐng)的虛擬私有云。VPC用于構(gòu)建隔離的、租戶自主配置和管理的虛擬網(wǎng)絡(luò)環(huán)境。

圖1 VDC中心邏輯圖Figure 1 Virtual data center logic diagram

如圖1，將基礎(chǔ)設(shè)施進(jìn)行整合后進(jìn)行虛擬化形成VDC中心，給校園內(nèi)各類租戶提供信息化基礎(chǔ)服務(wù)。在校園云數(shù)據(jù)中心建設(shè)中，需要基于云平臺(tái)的VDC來解決設(shè)備資源利用率低、各業(yè)務(wù)部門對(duì)資源需求多、各部門對(duì)資源安全隔離的要求、資源統(tǒng)一管理難等問題，實(shí)現(xiàn)校園云服務(wù)一站式基礎(chǔ)設(shè)施服務(wù)，實(shí)現(xiàn)分權(quán)分域管理，降低管理成本。

2.1 基于SDN的VDC解決方案設(shè)計(jì)

如圖2所示，SDN的VDC解決方案可以分為以下4個(gè)層面。

2.1.1 業(yè)務(wù)呈現(xiàn)/協(xié)同層（帽子）

提供面向運(yùn)營商、高校、VPC、RSP 的 Portal；提供靈活定制化的業(yè)務(wù)界面；協(xié)同計(jì)算，存儲(chǔ)，網(wǎng)絡(luò)資源。

2.1.2 網(wǎng)絡(luò)控制層（大腦）

通過標(biāo)準(zhǔn)的南向接口支持openflow/OvsDB/Net-Conf[10]等標(biāo)準(zhǔn)，屏蔽了底層物理轉(zhuǎn)發(fā)設(shè)備的差異，實(shí)現(xiàn)了資源的虛擬化。

通過標(biāo)準(zhǔn)的北向接口支持開放API[11]，對(duì)接多種云平臺(tái)，能夠提供獨(dú)立編排運(yùn)維界面，實(shí)現(xiàn)網(wǎng)絡(luò)業(yè)務(wù)快速定制和自動(dòng)發(fā)放。

2.1.3 Fabric網(wǎng)絡(luò)層（骨干/四肢）

由物理/虛擬網(wǎng)絡(luò)設(shè)備組成的基礎(chǔ)網(wǎng)絡(luò)，提供L2～L3 層（骨干），L4～L7 層（四肢）網(wǎng)絡(luò)服務(wù)。

數(shù)據(jù)中心網(wǎng)絡(luò)主流技術(shù)有：VLAN ，CSS/SVF[12]，Trill，VXLAN。其中Trill/VXLAN屬于OVERLAY技術(shù)。

2.1.4 服務(wù)器層（鞋子）

數(shù)據(jù)中心網(wǎng)絡(luò)可對(duì)接一種或多種計(jì)算/存儲(chǔ)資源池。計(jì)算與網(wǎng)絡(luò)控制協(xié)同，完成虛擬機(jī)自動(dòng)化發(fā)放，位置自動(dòng)感知，網(wǎng)絡(luò)自動(dòng)化開通。

圖2 基于SDN的VDC中心設(shè)計(jì)圖Figure 2 Virtual data center design based on SDN

2.2 基于OVERLAY的VDC方案物理架構(gòu)

圖4 基于OVERLAY的VDC物理架構(gòu)Figure 4 Virtual data center physical architecture based on OVERLAY

2.2.1 物理網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)

UNDERLAY網(wǎng)絡(luò)采用Spine-Leaf架構(gòu)，靈活擴(kuò)展服務(wù)器組網(wǎng)規(guī)模，Leaf層接入計(jì)算（物理服務(wù)/虛擬服務(wù)器）、存儲(chǔ)業(yè)務(wù)、AC管理網(wǎng)采用UnderLay。

2.2.2 VXLAN Overlay網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)

Overlay網(wǎng)絡(luò)使用VXLAN構(gòu)建大二層，VTEP部署在Leaf交換機(jī)。VXLAN L3網(wǎng)關(guān)采用硬件集中式，一個(gè)Fabirc可部署2組網(wǎng)關(guān)，支持業(yè)務(wù)的擴(kuò)展，VxLAN網(wǎng)關(guān)同時(shí)連接外部網(wǎng)絡(luò)，旁掛L4-L7 VAS業(yè)務(wù)設(shè)備。計(jì)算業(yè)務(wù)由OVERLAY網(wǎng)絡(luò)承載，OVERLAY層面網(wǎng)絡(luò)業(yè)務(wù)由SDN控制器集中控制。

2.3 基于OVERLAY的VDC方案流量模型

2.3.1 硬件集中式VxLAN流量分類

DCN流量從方向和范圍看，可以分為東西向流量（數(shù)據(jù)中心內(nèi)部互訪）和南北向流量（數(shù)據(jù)中心內(nèi)外訪問）。DCN流量從租戶角度分析，可以分為4類，1）租戶內(nèi)部同子網(wǎng)流量，2）租戶內(nèi)部跨子網(wǎng)流量 ，3）跨租戶流量，4）DC外部用戶訪問流量。

2.3.2 硬件集中式VxLAN流量路徑

同一租戶同子網(wǎng)流量，屬于同一個(gè)VXLAN L2廣播域，直接二層轉(zhuǎn)發(fā)。同一租戶同跨子網(wǎng)流量，屬于不同VXLAN L2廣播域，需要上送到VXLAN網(wǎng)關(guān)進(jìn)行轉(zhuǎn)發(fā)，但是不經(jīng)過防火墻。租戶間互訪流量，屬于跨子網(wǎng)轉(zhuǎn)發(fā)且存在安全隔離需求，因此流量需要到VXLAN L3網(wǎng)關(guān)并經(jīng)過防火墻。數(shù)據(jù)中心外部用戶訪問數(shù)據(jù)中心內(nèi)部某租戶服務(wù)器，一般要經(jīng)過IPS/FW、LB、VXLAN網(wǎng)關(guān)、ToR節(jié)點(diǎn)再到租戶服務(wù)器。

流量模型如圖5所示。

圖5 基于OVERLAY的VDC流量模型Figure 5 Virtual data center trafficmodel based on Overlay

2.4 Overlay網(wǎng)絡(luò)方案優(yōu)勢(shì)

按照傳統(tǒng)方案業(yè)務(wù)部署會(huì)通過命令行方式，批量配置一個(gè)個(gè)物理設(shè)備，需要進(jìn)行VLAN劃分、權(quán)限管理、路由設(shè)置、IP地址規(guī)劃等手工配置工作。配置繁瑣復(fù)雜，耗時(shí)且易出錯(cuò)。當(dāng)新增或調(diào)整原有業(yè)務(wù)、網(wǎng)絡(luò)配合新建或調(diào)整時(shí)，需要重新配置多個(gè)設(shè)備，效率比較低下，業(yè)務(wù)平均上線周期約1個(gè)月。以福建師范大學(xué)為例，應(yīng)用基于OVERLAY的SDN技術(shù)后，通過的實(shí)測數(shù)據(jù)，可實(shí)現(xiàn)5分鐘內(nèi)完成業(yè)務(wù)自動(dòng)化部署，通過對(duì)數(shù)據(jù)中心Overlay邏輯網(wǎng)絡(luò)的自動(dòng)化，實(shí)現(xiàn)了在不改變物理拓?fù)涞那闆r下，實(shí)時(shí)、迅速地打通或調(diào)整網(wǎng)絡(luò)，實(shí)現(xiàn)業(yè)務(wù)端到端地自動(dòng)上線。

3 結(jié)語

目前高校云數(shù)據(jù)中心建設(shè)是一個(gè)趨勢(shì)，應(yīng)用SDN和OVERLAY技術(shù)，通過VDC可以整合各部門的資源，實(shí)現(xiàn)資源集中化，可以提升高校云計(jì)算等業(yè)務(wù)發(fā)放及部署效率，增加設(shè)備使用率，避免重復(fù)建設(shè)，同時(shí)實(shí)現(xiàn)全校數(shù)據(jù)中心資源統(tǒng)一管控和按需擴(kuò)展，網(wǎng)絡(luò)靈活調(diào)度，避免資源浪費(fèi)，為教育信息化2.0提供了極大的支撐，為加快智慧校園建設(shè)、提升教育信息化應(yīng)用水平提供了重要保障。