中國運營商互聯(lián)網(wǎng)SDN部署實踐

思科網(wǎng)絡服務公司 高級服務部SDN網(wǎng)絡、軟件架構師 | 王遜 肖鵬 常賀 石林

江蘇電信網(wǎng)絡操作維護中心 高級工程師 | 束棟

中國運營商互聯(lián)網(wǎng)SDN部署實踐

思科網(wǎng)絡服務公司 高級服務部SDN網(wǎng)絡、軟件架構師 | 王遜 肖鵬 常賀 石林

江蘇電信網(wǎng)絡操作維護中心 高級工程師 | 束棟

BGP TE controller利用SDN思想，將多種新型技術架構和傳統(tǒng)BGP協(xié)議相結合，在保護原有網(wǎng)絡投資和最大限度保持原有運維體系的基礎上，成功實現(xiàn)了互聯(lián)網(wǎng)流量操控，是中國運營商SDN部署的一次有益實踐。

SDN（Software Defined Network）思想方興未艾，各種新型技術架構、標準組織、協(xié)議規(guī)范不斷在產生，發(fā)展和完善，為“軟件操控網(wǎng)絡”奠定了基礎。與此同時，傳統(tǒng)網(wǎng)絡設備正在逐步更新體系架構和軟硬件，增強對SDN的支持。在應用領域，SDN已經在以Google為代表的OTT進行部署，引起了廣泛關注。OTT通過操控數(shù)據(jù)中心產生的業(yè)務流量，大幅提高骨干網(wǎng)鏈路利用率，節(jié)省了可觀的帶寬租用費用。但是在傳統(tǒng)運營商互聯(lián)網(wǎng)領域，由于流量成分復雜、網(wǎng)絡規(guī)模龐大，鮮見成功先例。

本文介紹了基于SDN方式在運營商網(wǎng)絡上對互聯(lián)網(wǎng)流量調度的一次嘗試，使用的是BGP流量調度控制器（BGP TE controller）。BGP TE controller融合了SDN理念，針對運營商互聯(lián)網(wǎng)流量調度的特點和需求，以開源架構Open DayLight為基礎，實現(xiàn)了對BGP流量的調度。該控制器已經在國內某運營商骨干網(wǎng)成功部署，實現(xiàn)網(wǎng)絡和特定業(yè)務的平穩(wěn)運行。這是國內首次通過SDN技術對互聯(lián)網(wǎng)流量進行調度，是SDN在運營商骨干網(wǎng)商用的一次成功實踐。

背景

2009年Martin Casado領導的項目組定義了Openflow協(xié)議，掀起了SDN的浪潮。隨著近些年蓬勃發(fā)展，SDN思想已經超越了Openflow協(xié)議本身，向可編程設備、可編程網(wǎng)絡的方向演進。

可編程設備是指支持編程語言（python、java等）通過API控制其正常運行的一類設備。這里的API也稱為SDN控制器南向接口（設備北向接口），可以是設備廠商自定義的API（如：ARISTA公司 EAPI，或者思科公司的OnePK等），可以是開放SDN協(xié)議（如：Openflow 1.0/1.3、OpFlex、Netconf/YANG）訪問接口，也可以是設備命令行接口（CLI）或標準路由協(xié)議（如BGP、IGP）會話等。

可編程網(wǎng)絡是指使用SDN控制器對整個網(wǎng)絡進行抽象、仿真、調度、監(jiān)測的網(wǎng)絡。業(yè)務應用通過調用SDN控制器北向接口對整體網(wǎng)絡進行操控，實現(xiàn)業(yè)務保障、流量優(yōu)化等目的。

近年來SDN控制器發(fā)展十分迅速，其中開源控制架構ODL（Open DayLight）便是其中的主要代表。ODL成立于2013年4月，由Linux Foundation管理，其成員包括IBM、思科、華為、中興等30多家公司。ODL可以支持包括Openflow、Ovsdb、Netconf、BGP、PCEP等多種控制器南向接口。

Internet流量調度需求和挑戰(zhàn)

通過SDN的部署，運營商可以實現(xiàn)快速、靈活業(yè)務部署，加速業(yè)務創(chuàng)新，優(yōu)化流量模型，操控關鍵業(yè)務流量，充分利用運營商的管道資源，大幅提高運營商競爭力。

在流量調度方面，運營商通常采用BGP策略實現(xiàn)。常用的做法是運維人員登錄到路由器上手工調整BGP路由策略，改變特定業(yè)務的流量流向。這樣做費時、費力、實時性差、可靠性低。為了實現(xiàn)復雜網(wǎng)絡環(huán)境中的實時、自動流量調度，必須使用專用的流量調度系統(tǒng)。在SDN場景下，可以利用網(wǎng)絡的可編程特性實現(xiàn)上述功能。通過部署流量調度系統(tǒng)，將運營商、OTT服務商的互聯(lián)網(wǎng)出口帶寬資源池化，根據(jù)調度策略靈活、高效地進行流量分配，從而最大化利用現(xiàn)有的帶寬資源，由“運維”向“運營”的方向轉變。

在SDN應用場景中，運營商對互聯(lián)網(wǎng)流量調度的需求可以總結為如下幾點：

● 采用靈活、敏捷的調度方法，支持實時、動態(tài)流量調度；

● 使用開放、成熟的技術體系，盡量兼容現(xiàn)有設備，減少軟、硬件升級和二次開發(fā)風險；

● 具備橫向擴展能力，支持大規(guī)模網(wǎng)絡；

● 可用性高，避免單點故障，控制器對網(wǎng)絡的影響可控；

● 具備可視性，方便運維人員的維護、排障工作；

● 操作可回溯，發(fā)生異常之后可以快速回退。

不過，SDN在運營商骨干網(wǎng)部署過程中也存在諸多挑戰(zhàn)：

● 部署難度大

運營商骨干網(wǎng)規(guī)模大、設備類型和數(shù)量多，對S D N支持水平不一致。諸多新型協(xié)議棧如Openflow、OVSDB、Netconf等，需要對現(xiàn)網(wǎng)設備進行硬件更新、軟件升級后才能支持。再加上SDN發(fā)展迅猛，新技術層出不窮，協(xié)議版本快速迭代，對設備的兼容性、互操作性要求不斷提升。因此，全網(wǎng)實施SDN不僅難度大，而且還會進一步推高設備部署、維護成本。

● 可靠性、擴展性要求高

運營商骨干網(wǎng)設備數(shù)量多，涉及廠商多，國內三大運營商Internet骨干網(wǎng)及其海外網(wǎng)絡設備數(shù)量從100到300臺不等；大量的網(wǎng)間互聯(lián)導致BGP peer數(shù)量龐大，中國電信與中國聯(lián)通的網(wǎng)內互聯(lián)以及運營商網(wǎng)間互聯(lián)的BGP peer數(shù)量大約在500左右；Internet骨干網(wǎng)路由表項逐年增加，目前已經突破55萬條。SDN技術必須要在如此大規(guī)模路由條目和設備數(shù)量條件下，實現(xiàn)可靠、平穩(wěn)地操控。

● 運維體系壓力大

網(wǎng)絡運維體系是保證運營商提供服務的關鍵之一，它由3個主要元素組成——人、工具、流程。由于SDN引入了編程語言、API、DevOps等要素，對于傳統(tǒng)運維人員來講，知識更新會是一個很大的挑戰(zhàn)；新技術的引入還將對現(xiàn)有OSS體系形成較大沖擊，需要引入新的工具、流程，以及積累新的運維經驗；此外，SDN的引入必然使得網(wǎng)絡更加智能、更加自動化，因此服務的開通時間、事件的響應時間將會大大縮短，而這些都會對傳統(tǒng)的運維流程產生較大影響。

圖1 國內某運營商城域網(wǎng)結構示意圖

Internet流量調度SDN部署實踐

（一）國內某運營商流量調度需求

圖1中的國內某運營商城域IDC(BGP AS號yyy)包含多臺路由器，分屬不同廠商，每臺路由器包括十多條鏈路，分別與Internet骨干網(wǎng)接入路由器、城域網(wǎng)核心路由器、運營商IDC 路由器等多個路由器建立BGP互聯(lián)關系。上述鏈路的接口類型、鏈路帶寬、帶寬利用率和擴容條件差異較大。

本次流量調度的目的是動態(tài)調整城域網(wǎng)IDC出口路由器的流量轉發(fā)策略，BGP策略變更時減少對路由器配置的修改，同時在重大網(wǎng)絡活動期間（例如“雙11”）保障關鍵資源的訪問（例如“OTT網(wǎng)站”）。

在上述提及的場景中，所涉及的IDC路由器有多個eBGP Peer連接到Internet骨干網(wǎng)，每個peer都有1條或者多條10G鏈路，缺省情況下去往互聯(lián)網(wǎng)的流量分別通過多個Peer進行轉發(fā)，峰值鏈路利用率都在80%以上。在BGP策略變更時往往需要通過多個維護窗口進行設備配置的修改；并且由于傳輸條件的限制，部分鏈路不能及時擴容，在重大網(wǎng)絡活動期間，流量快速增加，導致端口擁塞、服務質量下降。使用手工進行BGP流量調度，網(wǎng)絡節(jié)點和鏈路數(shù)量多、約束因素多、連接復雜，因而費時費力。

（二）BGP TE Controller設計實現(xiàn)

根據(jù)該運營商互聯(lián)網(wǎng)流量調度具體需求，結合SDN思想和技術標準，我們設計并實現(xiàn)了BGP TE controller。BGP TE controller南向接口采用BGP協(xié)議、BGP flowspec、Openflow v1.3，北向提供RESTful接口和用戶APP連接，系統(tǒng)架構如圖2所示。

● Collector：通過BGP協(xié)議、BMP（BGP Monitoring Protocol）協(xié)議，收集BGP、IGP路由系統(tǒng)的鄰居狀態(tài)、路由信息。

● Injector：根據(jù)策略引擎發(fā)送的轉發(fā)條目，進行環(huán)路檢測、適配之后調用BGP協(xié)議棧發(fā)送BGP路由或者ODL RESTful接口發(fā)送Openflow條目到路由器上。南向接口目前已經支持BGP、BGP flowspec和Openflow 1.3。controller可以根據(jù)系統(tǒng)負載自動調整injector的數(shù)量，做到橫向擴展。

● Monitor：可視化監(jiān)控系統(tǒng)，通過對BGP系統(tǒng)進行實時監(jiān)控、記錄，幫助運維人員維護BGP TE controller系統(tǒng)。

● Policy engine：根據(jù)用戶指定的轉發(fā)策略生成轉發(fā)條目，并通過RESTful接口將轉發(fā)條目下發(fā)到BGP TE controller上。

安裝了BGP TE controller的虛機被部署在運營商內部的云環(huán)境之上，通過IBGP協(xié)議和Openflow協(xié)議分別連接到城域IDC路由器上和運營商骨干上，這樣BGP TE controller可以按照用戶指定規(guī)則通過BGP、Openflow分發(fā)相應的轉發(fā)策略，調度IDC出口路由器向指定的保障鏈路和eBGP peer發(fā)送流量。

通過BGP TE controller提供的API接口，運營商可以根據(jù)需求實時、動態(tài)調整每臺IDC出口路由器的轉發(fā)策略，從而避免了人工配置BGP策略帶來的隱患，而且BGP協(xié)議兼容多廠商的設備，無需對現(xiàn)網(wǎng)設備進行硬件、軟件升級；對于現(xiàn)網(wǎng)能夠支持Openflow設備，BGP TE controller可以通過Openflow驅動路由器，替代傳統(tǒng)的PBR（Policy based Routing）功能，通過 API的調用，可以方便、快速地修改轉發(fā)策略。

BGP TE controller具備以下特點：

● 部署復雜度方面

BGP協(xié)議是運營商網(wǎng)絡設備上最成熟的協(xié)議之一，Internet骨干網(wǎng)所有路由器均支持該協(xié)議，互操作性非常好。使用BGP協(xié)議作為南向接口，不需要對現(xiàn)網(wǎng)設備的硬、軟件進行升級即可進行SDN部署，大大降低了SDN的部署難度和成本。

● 高可用性和擴展性方面

用戶的APP同時連接多個BGP TE controller；特定網(wǎng)絡設備與多個controller建立BGP peer；每個controller向特定路由器發(fā)送相同路由條目，單臺controller故障對路由器沒有影響，由此實現(xiàn)了controller層面的冗余。多個BGP TE controller之間不需要任何心跳、數(shù)據(jù)庫同步的動作，大大簡化了系統(tǒng)設計，提高了軟件的可靠性。多個controller采用Linux Container模式部署，通過虛擬化實現(xiàn)擴展性，支持大規(guī)模網(wǎng)絡。在工作時，特定路由器中除了被操控的路由外，其他所有路由表項不受影響，仍然按照BGP協(xié)議運行原則自主運行，從而最大限度地確保controller對網(wǎng)絡設備的影響被控制在一定的范圍之內。BGP TE controller實現(xiàn)了高可靠性、高穩(wěn)定性、高擴展性等關鍵特性。

● 運維體系方面

運維人員對BGP協(xié)議非常熟悉，傳統(tǒng)的知識體系可以得到沿用，而且運維流程變化較小，對OSS的改造也比較簡單。

綜上所述，BGP TE Controller解決或規(guī)避了SDN部署中的諸多關鍵難題，使其部署和使用變得更加平滑。照控制器的策略進行流量轉發(fā)。

圖2 BGP TE controller系統(tǒng)架構圖

圖3 BGP TE controller部署拓撲圖

對于重大事件保障的場景，通過BGP TE controller，用戶將一條或者幾條鏈路作為專用保障鏈路，去承載需要保障資源的流量，其余鏈路承載其他流量，例如該運營商在對某OTT網(wǎng)站“雙十一”期間的流量保障，其基本調度策略如下所示：

● BGP TE controller發(fā)送和OTT網(wǎng)絡相關路由，并且將該路由的出口指向特定路由器上的專用保障鏈路。

● 指定的路由器作為BGP peer接收到controller發(fā)出路由，然后按照該路由進行轉發(fā)，實現(xiàn)OTT網(wǎng)絡流量和其他互聯(lián)網(wǎng)流量的分流。

● 如果去往OTT網(wǎng)絡的流量持續(xù)增長，到達設定門限時，BGP TE controller可以動態(tài)地將更多鏈路納入保障鏈路。

● 當特定路由器上鏈路資源不足時，通過BGP TE controller可以將OTT網(wǎng)絡流量調度到其他路由器，并在新指定的路由器上開辟新的保障鏈路。

● 在保障結束后，controller可以自動或者人工撤銷對路由策略的下發(fā)。

該控制器在該運營商骨干網(wǎng)中進行了成功部署，并取得了預期效果。SDN技術用于大規(guī)?；ヂ?lián)網(wǎng)流量調度在國內尚屬首次。

（四）演進方向

I2RS（Interface to the Routing System）框架的標準化目前正在迅速發(fā)展當中，controller可以通過標準化的I2RS接口直接收集、修改設備的轉發(fā)表，從而實現(xiàn)更加靈活的調度策略；目前版本的ODL尚未支持BGP路由下發(fā)功能，當前的實現(xiàn)方式是通過ODL下發(fā)Openflow策略；隨著ODL支持的南向接口不斷豐富、成熟，如對BGP、I2RS等的支持，BGP TE controller會向以開源SDN controller ODL為基礎，以BGP、Openflow、I2RS為南向接口的方向逐步演進。

結束語

（三）國內某運營商流量調度策略

對于BGP路由策略變更的場景，根據(jù)路由策略通過API調用BGP TE controller向指定的設備發(fā)送相關的BGP路由更新，使得由控制器發(fā)送的路由成為最佳路由（BGP best path），這樣目標設備便會按

SDN的部署可以助力運營商加快業(yè)務創(chuàng)新，提高網(wǎng)絡資源利用率，優(yōu)化業(yè)務體驗，增強市場競爭力，逐步實現(xiàn)從“運維”到“運營”的演進。本文介紹的BGP TE controller利用SDN思想，將多種新型技術架構和傳統(tǒng)BGP協(xié)議相結合，在保護原有網(wǎng)絡投資和最大限度保持原有運維體系的基礎上，成功實現(xiàn)了互聯(lián)網(wǎng)流量操控，是中國運營商SDN部署的一次有益實踐。隨著SDN產品、技術的不斷完善，可以預見未來更多符合中國運營商應用場景和運維體制的新方案、新產品將不斷涌現(xiàn)。