軟件定義廣域網(wǎng)研究*

謝兆賢，陳 慧，張安琳，黃道穎，王巍振

（鄭州輕工業(yè)學院計算機與通信工程學院，鄭州 450002）

0 引言

軟件定義網(wǎng)絡(luò)（Software Defined Network，SDN）從被提出以來，一直成為當今計算機網(wǎng)絡(luò)管理運行研究中的一個熱點問題。根據(jù)SDN集中統(tǒng)一管理的特性，更多的部署和研究一般都在規(guī)模相對集中的數(shù)據(jù)中心上。而由于廣域網(wǎng)上傳統(tǒng)路由和流量工程機制的弊端逐漸凸顯，近些年對SDN的研究逐漸轉(zhuǎn)移到了廣域網(wǎng)（WAN）。

在近十年中，互聯(lián)網(wǎng)供應(yīng)商和網(wǎng)絡(luò)運營商正在尋找新的方式來管理規(guī)模日漸復(fù)雜的網(wǎng)絡(luò)。網(wǎng)絡(luò)整體的可測量性成為一個重要的點。各個域之間的路由協(xié)議是邊界網(wǎng)關(guān)協(xié)議（BGP），BGP對等通信需要全遍歷網(wǎng)絡(luò)，復(fù)雜度為n（n-1）/2，域內(nèi)部路由器會對網(wǎng)路資源消耗巨大。文獻［1］提出了一種中央對等集中控制平臺來模擬BGP會話，這種中央控制的平臺為全網(wǎng)提供了整體網(wǎng)絡(luò)視圖，保證了全網(wǎng)內(nèi)的正確性，并大大減少了網(wǎng)絡(luò)資源的浪費。這種中央控制平臺的提出對SDN應(yīng)用于廣域網(wǎng)上提供了思路。

隨著廣域網(wǎng)流量不斷加大，更可靠、更高性能及細粒度的管理成為另一個所需要關(guān)注的點。由于計算機網(wǎng)絡(luò)是一個復(fù)雜且分布式的系統(tǒng)，一個小的錯誤并不容易被發(fā)現(xiàn)，但可能會造成一連串的蝴蝶效應(yīng)，最終導(dǎo)致整體服務(wù)中斷。文獻［2］提出了一個對于廣域網(wǎng)網(wǎng)絡(luò)功能的完全重構(gòu)方案，從中央這個有利的位置全局對網(wǎng)絡(luò)設(shè)備進行控制。這為軟件定義網(wǎng)絡(luò)提供了一個基本的雛形，即一個中央控制、數(shù)據(jù)轉(zhuǎn)發(fā)分離的網(wǎng)絡(luò)構(gòu)想。

隨著這些構(gòu)想的出現(xiàn)，由N.McKeown教授在2008年提出了Open Flow［3］SDN體系架構(gòu)，這使得可編程網(wǎng)絡(luò)從一個學術(shù)研究成果轉(zhuǎn)化為了一個可落地實用的商業(yè)解決方案。提供了一種標準化的協(xié)議，圖1為其提供的交換機框架。主要由流表（Flow table）、安全通道（Secure channel）、和 Open Flow 協(xié)議組成。

本文研究了3個不同軟件定義廣域網(wǎng)（Software Define Wide Area Network，SD-WAN）配置方案，總結(jié)其分布式體系架構(gòu)特點，分析SD-WAN研究存在的問題和所面臨的挑戰(zhàn)，為未來SD-WAN應(yīng)關(guān)注的問題和發(fā)展趨勢研究提供參考。

1 分布式控制器架構(gòu)ONOS

SDN最初的設(shè)計并不適用于廣域網(wǎng)WAN上，高度集中的架構(gòu)雖然能夠解決WAN上的一些問題，但WAN中的延遲遠比其他網(wǎng)絡(luò)中的大，也更容易發(fā)生鏈路故障，需要更加彈性的故障處理要求和全局的網(wǎng)絡(luò)視圖。因而分布式的轉(zhuǎn)發(fā)平面部署和集中式的控制平面部署應(yīng)運而生，如何在WAN中分布式的架構(gòu)下實現(xiàn)橫向擴展和提供全局網(wǎng)絡(luò)視圖是SDN應(yīng)用于WAN中的一個挑戰(zhàn)。ONOS［4］分布式架構(gòu)控制器的提出為這個問題提供了一個參考方向。

1.1 ONOS架構(gòu)

ONOS是采用分布式架構(gòu)的一種開放式網(wǎng)絡(luò)操作系統(tǒng)，為上層提供全局網(wǎng)絡(luò)視圖。ONOS最開始著重于在分布式平臺上實現(xiàn)橫向擴展和容錯的全局網(wǎng)絡(luò)視圖。圖2為ONOS最初的系統(tǒng)架構(gòu)。

提供兩個主要屬性：①所有ONOS實例之間的全局網(wǎng)絡(luò)視圖和抽象共享網(wǎng)絡(luò)狀態(tài)；②廣泛的橫向擴展能力，用于性能和容錯。在由ONOS控制的網(wǎng)絡(luò)中，每個交換機都有一個主控制器來控制其轉(zhuǎn)發(fā)平面，然而，交換機的狀態(tài)在所有控制器實例之間共享，并持續(xù)存在于分布式，最終一致的Cassandra鍵值存儲中，使得ONOS的網(wǎng)絡(luò)視圖最終也一致。在交換機或鏈路故障的情況下，Zookeeper提供的協(xié)商一致的協(xié)議自動選擇一個新的主控制器。

1.2 ONOS系統(tǒng)分析

ONOS利用到了多個Flood Light模塊進行分布式管理，每個控制器發(fā)現(xiàn)網(wǎng)絡(luò)拓撲用于構(gòu)建全局網(wǎng)絡(luò)視圖，應(yīng)用程序從全局網(wǎng)絡(luò)視圖中讀取信息，已進行轉(zhuǎn)發(fā)和策略決定，這些決定同時也被寫入網(wǎng)絡(luò)視圖中，最終將這些決定發(fā)送到相應(yīng)的Open low控制器，來控制底層數(shù)據(jù)轉(zhuǎn)發(fā)。Titan為全局網(wǎng)絡(luò)視圖的圖形數(shù)據(jù)庫，Cassandra用于分布式鍵值存儲，Blueprints圖形將網(wǎng)絡(luò)最終狀態(tài)公開給應(yīng)用程序。

ONOS其中一個最關(guān)鍵的特性是分布式架構(gòu)中的橫向擴展。ONOS在多個服務(wù)器上運行，每個服務(wù)器都作為獨占主控制器中的一部分，每個單獨的ONOS實例僅負責在其控制交換機與全局網(wǎng)絡(luò)視圖之間傳播狀態(tài)更改。隨著轉(zhuǎn)發(fā)平面增長或需求增加，可以向ONOS主系統(tǒng)中添加分配其他的控制器實例來分配控制平面的負載。

ONOS另一個特點即為容錯能力。在分布式的控制器管理下，交換機可能連接多個控制器，但只有一個控制器是主機，主機單獨負責發(fā)現(xiàn)交換機信息和下達轉(zhuǎn)發(fā)命令。當主控制器發(fā)送故障時，則會在其余控制器中選擇一個新的控制器成為主控，接管工作，以確保每個交換機有且僅有一個主控制器?？刂破鞯浇粨Q機的檢測和故障相應(yīng)通過ZooKeeper來實現(xiàn)，如果一個主控制器與其失去聯(lián)系，則有另一個控制器接管這個主控制器的工作，只要有大多數(shù)控制器可用，則ZooKeeper就是容錯的。

在圖2的ONOS架構(gòu)中，很多功能還可以加強，但它提供了在WAN中部署的思路，即在控制器層面采用分布式架構(gòu)，來獲取全網(wǎng)視圖。

2 垂直多控制器架構(gòu)WA-SDN

在SD-WAN中，過于大的延遲很可能造成數(shù)據(jù)包處理規(guī)則混亂，這是因為一些延遲敏感的數(shù)據(jù)包在達到邊緣路由器時，控制器下發(fā)流表的速度遠大于其轉(zhuǎn)發(fā)速度，因而會造成擁塞，使整個網(wǎng)絡(luò)更新不可靠。文獻［5］提供了一種垂直多控制器架構(gòu)WA-SDN解決方案。

2.1 WA-SDN架構(gòu)

圖3為其整體架構(gòu)，主要組成部分為網(wǎng)絡(luò)管理（NM）和區(qū)域管理（ZM）。邏輯層有3個，分別為轉(zhuǎn)發(fā)層，控制層和管理層。

在底層轉(zhuǎn)發(fā)層上，與ONOS類似的架構(gòu)，在邏輯上劃分區(qū)域，每個區(qū)域由本地控制器控制，這會使控制器上的負載降低，允許控制器對流量進行細粒度的管理。由于WAN的分散屬性，可將控制器置于不同的地理位置，有效地降低延遲。同時允許不同的控制器實現(xiàn)和交換機的API在同一個網(wǎng)絡(luò)中共存，有利于WAN的整體升級。

2.2 WA-SDN系統(tǒng)分析

在Adaptation layer中，ZM中允許包含不同的控制器，作為每個控制器的插件進行安裝，利用本地的交換機協(xié)議與其區(qū)域中的交換機進行通信，這里允許本地的協(xié)議可以自由選擇。對于上層，ZM則利用標準的控制協(xié)議從NM中獲取命令，并將這些命令發(fā)送給控制器。在ZM中的組件可以從控制器中收集流量信息和拓撲信息，并將信息定期地發(fā)送給NM。這樣做的好處是把各區(qū)域獨立出來，分別進行匯總控制，減少了開銷。

在Management Service中，存在多個組件用于管理ZM，其主要負責收集信息構(gòu)建全網(wǎng)視圖，驗證可信的ZM信息，管理全局流量，統(tǒng)計監(jiān)控網(wǎng)絡(luò)并把ZM的相應(yīng)信息傳遞給上層應(yīng)用。最上層的應(yīng)用包括各種網(wǎng)絡(luò)管理工具，它們作為NM的插件或獨立的組件來進行工作，上層應(yīng)用為整體的網(wǎng)絡(luò)提供更加健全的功能。

在這種垂直架構(gòu)的基礎(chǔ)上，文獻［6］還提供了一種WAN中新型的監(jiān)控策略，如圖4所示。ZM向上級采用信息推送，向下級采用輪詢，這種方式的好處在于可以大大減少NM的負擔，并可充分利用ZM，細粒度的管理各區(qū)域內(nèi)網(wǎng)絡(luò)。

3 Google的B4網(wǎng)絡(luò)

在WAN中，大型的公司為全球客戶提供服務(wù)，傳統(tǒng)的分布式架構(gòu)通常會造成數(shù)據(jù)中心過度配置。在不同時段對數(shù)據(jù)中心的帶寬需求也不相同，除去高峰期，平均利用率只達到30%到40%之間，很多資源被浪費，增加了運營成本。Google為了解決這些流量問題，利用SDN的思想，在全球部署了B4網(wǎng)絡(luò)［7］，這是在WAN中成功部署的一個例子，可以窺見WAN中數(shù)據(jù)中心的冰山一角。

3.1 B4網(wǎng)絡(luò)架構(gòu)

B4的整體邏輯框架也為3層，如圖5所示，B4服務(wù)多個WAN站點，每個站點都有多個服務(wù)器集群，每個Site僅轉(zhuǎn)發(fā)流量，不執(zhí)行控制，集群中都包含一組運行BGP的路由器，與B4之間對等切換，GOOGLE認為基于SDN的B4必須支持現(xiàn)有的分布式路由協(xié)議，實現(xiàn)傳統(tǒng)網(wǎng)絡(luò)與SDN的互通。控制全部交給上層的Open Flow控制器（OFC）和網(wǎng)絡(luò)控制服務(wù)器（NCS）來執(zhí)行。OFC根據(jù)NCS指令和交換機各種狀態(tài)來維護網(wǎng)絡(luò)。

Cental TE sever為整個網(wǎng)絡(luò)的邏輯中心控制器?？梢詮母鱾€數(shù)據(jù)中心控制器來收集鏈路信息從而掌握路徑信息。

3.2 B4系統(tǒng)分析

B4工作原理是控制所有IP層的邊緣設(shè)備，把大多數(shù)帶寬都用于一些低優(yōu)先級、計劃的、和大的復(fù)制任務(wù)，使整個網(wǎng)絡(luò)最終僅僅具有幾十個站點，使得集中控制的方案可行。B4在控制路徑上是與數(shù)據(jù)中心來維護流表項，這樣做的好處可以使得同一類別的數(shù)據(jù)可以匯聚成一條流，之后根據(jù)權(quán)重，參數(shù)優(yōu)先級，使用bandwidth函數(shù)來分配寬帶，達到理想的負載均衡。B4采用定制的Open Flow交換機，控制器可以動態(tài)分配應(yīng)用所需要的帶寬，并可在交換機和鏈路故障情況下動態(tài)地重啟路由。最重要的是在SDN控制平面還儲存了很多傳統(tǒng)路由協(xié)議，使得當集中TE完全失效的情況下，保持網(wǎng)絡(luò)完全的可操作性。B4鏈接基本可以保證百分百鏈路利用率，使得鏈路使用時長增大了70%。

B4的成功為后續(xù)研究提供了一個分布式控制器的應(yīng)用案例。它證明了SDN在大型網(wǎng)絡(luò)中的可用性。并且展示了在SDN中并非僅僅存在Open Flow協(xié)議，仍存在傳統(tǒng)的動態(tài)路由協(xié)議。

4 存在的問題與研究熱點

通過上述對SD-WAN部署的研究，可以梳理出SDN在廣域網(wǎng)領(lǐng)域的一些熱點研究問題，總結(jié)如下。

4.1 分布式控制器

盡管文獻［1］提供了一個完全分布式控制器架構(gòu)的案例，但在真實場景中，廣域網(wǎng)分布較廣，延遲很大，分布式控制器仍然需要主控制器分配狀態(tài)，而分布式控制器的物理距離可能會使得全局網(wǎng)絡(luò)動態(tài)不一致，因此，如何保持在控制器層面上的邏輯集中，在數(shù)據(jù)平面上需要放置多少分布式控制器是SD-WAN中的一個挑戰(zhàn)。文獻［8］提供了一個域間交換點的方案，在域間同時路由服務(wù)器和SDN控制器的方案，該方案使得每個域間的AS在虛擬交換機上編寫相應(yīng)的路由策略，使得在路由器上同時包含BGP和SDN轉(zhuǎn)發(fā)策略。但此種策略需要安裝大量的SDN規(guī)則，這些規(guī)則安裝遠遠超出了現(xiàn)有交換機的功能，實現(xiàn)起來成本過高。

4.2 全網(wǎng)更新不一致問題

在WAN上SDN控制器給予了全局更高效的路徑選擇策略，但在WAN上出現(xiàn)故障和擁塞時，轉(zhuǎn)發(fā)平面需要通過控制器決定轉(zhuǎn)發(fā)策略，大型網(wǎng)絡(luò)中數(shù)據(jù)平面的更新時延可能會導(dǎo)致數(shù)據(jù)包處理方式在設(shè)備之間嚴重不一致。如何實時地選擇更加高效的路徑問題也會是一個研究的熱點問題。文獻［9］提供了一種靜態(tài)按照特定順序更新的機制，但該機制并不能動態(tài)適應(yīng)控制平面的變化，仍會導(dǎo)致更新時方案不一致。文獻［10］提供了一種聚合模型來適應(yīng)全網(wǎng)更新，介紹了每種分組一致性模型，每種模型根據(jù)流的一致性被單一地進行處理，相同的分組在網(wǎng)絡(luò)中被一致處理掉。但這種聚合模型會顯著增大控制器的負載，如何以最小代價維護全局網(wǎng)絡(luò)的一致性也將會是一個值得深入探討的問題。

4.3 流量控制和負載均衡

SDN具有細粒度管理的優(yōu)勢，但細粒度的管理會增加控制器的負擔，一旦主控制器不堪負載，將可能造成全網(wǎng)絡(luò)中斷的后果，盡管B4提供了一些流量控制的參考，但其單獨定制的交換機成本可能會過大，并不是一種通用的方式。必須選取一種合適的管理方式降低控制器負載，來增強網(wǎng)絡(luò)的可靠性。文獻［11］是微軟公司提供的SWAN方案，使用細粒度策略規(guī)則和集中式調(diào)度器來承載更多的高優(yōu)先級流量（如流量用于交互式應(yīng)用），同時保持同級別的公平性。B4網(wǎng)絡(luò)集中的關(guān)注點在于SDN控制平面和現(xiàn)有路由協(xié)議相互交互，在SDN控制器失效時可以回退到傳統(tǒng)路由，而SWAN著重于數(shù)據(jù)平面頻繁的更新來保持網(wǎng)絡(luò)整體利用率。這些大公司的TE為后續(xù)的研究提供了一個參考方向，需要找到一個更為通用的方式能夠?qū)崟r分配流量和路徑選擇。

4.4 網(wǎng)絡(luò)安全

在傳統(tǒng)的WAN中存在許多大規(guī)模分布式拒絕服務(wù)攻擊，這會對社會造成巨大的損失。如何防范并采取相應(yīng)的措施，來保護廣域網(wǎng)中數(shù)據(jù)的安全也將是未來所面臨的一個大問題。文獻［12］提供了一種輕量級的自組織映射算法對流進行分類檢測。此方法優(yōu)點在于消耗低，檢測率高，但不能實時檢測，具有一定的滯后性。文獻［13］提供了一種頻繁更改主機的IP地址主動防御策略（MTW）。由于識別被攻擊目標的活動IP是許多攻擊的前兆，因而Open Flow控制器經(jīng)常為每個主機分配一個隨機的虛擬IP，該隨機虛擬IP被轉(zhuǎn)換到主機的真實IP。真正的IP保持不變，所以IP突變對終端主機是完全透明的。通過DNS獲取的虛擬IP地址可以訪問命名的主機，但實際IP地址只能由授權(quán)實體訪問。這種方式有效防御了基于掃描的攻擊但并未在分布式拒絕攻擊上提供相應(yīng)的方案。文獻［14］針對Open Flow的兩個安全方面挑戰(zhàn)，提供了一種連接遷移的Open Flow數(shù)據(jù)平面擴展和一種加速控制平面對數(shù)據(jù)平面檢測響應(yīng)機制。連接遷移在DDoS攻擊下能夠大大減少數(shù)據(jù)控制平面的交互次數(shù)，從而抵御攻擊。數(shù)據(jù)平面檢測機制會在被攻擊觸發(fā)條件時，激活新的流規(guī)則，提供相應(yīng)的安全服務(wù)。這種方案主要解決了攻擊者從控制平面與數(shù)據(jù)平面之間的接口進行攻擊的方式。以上解決方案從不同的方面解決了SDN中的網(wǎng)絡(luò)安全問題，但針對域間分布式控制器的安全監(jiān)控和集中式收集數(shù)據(jù)的難題仍舊存在。

針對下一代廣域網(wǎng)的研究，在學術(shù)上普遍認同在數(shù)據(jù)平面和控制平面的分離，軟件定義的廣域網(wǎng)被認為是一個比較激進的做法。也有部分針對路由的優(yōu)化研究，例如SCION［15］。SCION把路由區(qū)域分為核心和非核心區(qū)域，核心區(qū)域利用信標來發(fā)現(xiàn)非核心區(qū)域路由和控制相關(guān)路徑，通過信標的輪詢周期，主動處理各自治領(lǐng)域內(nèi)存在的問題，而上層應(yīng)用不會察覺到底層的變化。還有一部分研究是把更多控制功能嵌入到底層的芯片中，把邊界路由器作為一個智能路由，主動地處理數(shù)據(jù)信息。

5 結(jié)論

SDN技術(shù)在提出伊始，就受到了廣泛的關(guān)注和探討，為計算機網(wǎng)絡(luò)的發(fā)展開辟了一種新的思路。該技術(shù)在日益需求增加的廣域網(wǎng)領(lǐng)域，可顯著提升網(wǎng)絡(luò)性能，降低運營成本，提升網(wǎng)絡(luò)的可靠性，尤其在軟件驅(qū)動下，網(wǎng)絡(luò)的可靠性和性能將會大大提升。但同時，軟件定義的廣域網(wǎng)仍處于研究階段，廣域網(wǎng)通常由各種昂貴、專用、高性能設(shè)備逐步建立，很多軟件驅(qū)動的設(shè)想在實際應(yīng)用中并沒有得到可靠的驗證，一些協(xié)議和廠商也不夠成熟。相比于傳統(tǒng)網(wǎng)絡(luò)中分布式架構(gòu)，SD-WAN中集中分布式的控制對于企業(yè)級大型網(wǎng)絡(luò)有著難以比擬的優(yōu)勢，但對于小型網(wǎng)絡(luò)，SD-WAN的效率并沒有很大的優(yōu)勢，因此，如何與傳統(tǒng)網(wǎng)絡(luò)之間進行緊密耦合，提供針對性服務(wù)顯得至關(guān)重要。SD-WAN全面部署將會比數(shù)據(jù)中心經(jīng)歷更長的時間跨度。

有理由相信，下一代互聯(lián)網(wǎng)將會是一個更加智能和簡單的網(wǎng)絡(luò)，隨著業(yè)務(wù)需求日益增長，特別是隨著行業(yè)的高度關(guān)注，軟件定義廣域網(wǎng)絡(luò)SD-WAN將在未來幾年繼續(xù)保持研究熱度和快速發(fā)展的態(tài)勢。

［1］CAESAR M，CALDWELL D，F(xiàn)RAMSTER N，et al.Design and implementation of a routing control platform［C］//Proceedings of the 2Nd Conference on Symposium on Networked Systems Design&Implementation-Volume 2.USENIX Association，2005：15-28.

［2］CASADO M，F(xiàn)REEDMAN M J，PETTIT J，et al.Ethane：taking control of the enterprise［C］//ACM SIGCOMM Computer Communication Review，ACM，2007，37（4）：1-12.

［3］MCKEOWN N，ANDERSON T，BALAKRISHNAN H，et al.OpenFlow：enabling innovation in campus networks［J］.ACM SIGCOMM ComputerCommunication Review，2008，38（2）：69-74.

［4］BERDE P，GEROLA M，HART J，et al.ONOS：towards an open，distributed SDN OS ［C］//Proceedings of the Third Workshop on Hot Topics in Software Defined Networking，ACM，2014：1-6.

［5］AHMED R，BOUTABA R.Design considerations for managing wide area software defined networks［J］.IEEE Communications Magazine，2014，52（7）：116-123.

［6］CHOWDHURY S R，BARI M F，AHMED R，et al.Payless：A low cost network monitoring framework for software defined networks［C］//Network Operations and Management Symposium（NOMS），2014 IEEE.IEEE，2014：1-9.

［7］JAIN S，KUMAR A，MANDAL S，et al.B4：experience with a globally-deployed software defined WAN ［J］.ACM SIGCOMM Computer Communication Review，2013，43（4）：3-14.

［8］GUPTA A，VANBEVER L，SHAHBAZ M，et al.SDX：A software defined internet exchange ［J］.ACM SIGCOMM Computer Communication Review，2015，44（4）：551-562.

［9］KATTA N P，REXFORD J，WALKER D.Incremental consistent updates［C］//Proceedings of the second ACM SIGCOMM Workshop on Hot Topics in Software Defined Networking.ACM，2013：49-54.

［10］REITBLATT M，F(xiàn)OSTER N，REXFORD J，et al.Abstractions for network update［C］//Proceedings of the ACM SIGCOMM 2012 Conference on Applications，Technologies，Architectures，and Protocols for Computer Communication，ACM，2012：323-334.

［11］HONG C Y，KANDULA S，MAHAJAN R，et al.Achieving high utilization with software-driven WAN［C］//ACM SIGCOMM Computer Communication Review，ACM，2013，43（4）：15-26.

［12］BRAGA R，MOTA E，PASSITO A.Lightweight DDoS flooding attack detection using NOX/Open flow［C］//Local Computer Networks （LCN），2010 IEEE 35th Conference on.IEEE，2010：408-415.

［13］JAFARTAN J H，AL-SHAER E，DUAN Q.Openflow random host mutation：transparent moving target defense using software defined networking［C］//Proceedings of the First Workshop on Hot Topics in Software Defined Networks，ACM，2012：127-132.

［14］KLOTI R，KOTRONIS V，SMITH P.Openflow：a security analysis［C］//Network Protocols （ICNP），2013 21st IEEE International Conference on，IEEE，2013：1-6.

［15］BARRERA D，REISCHUK R M，SZALACHOWSKI P，et al.Scion five years later：revisiting scalability，control，and isolation on next-generation networks［J］.ArXiv Preprint arX-iv，https：//arxiv.org/abs/1508.01651，2015：1508.01651.