基于SDN 的互聯(lián)網(wǎng)域間路由研究*

何曉明，劉寧芳，陳文華

（中國電信股份有限公司廣東研究院，廣東 廣州 510630）

0 引 言

邊界網(wǎng)關(guān)協(xié)議（Border Gateway Protocol，BGP） 作為互聯(lián)網(wǎng)基石的網(wǎng)間互聯(lián)協(xié)議，已經(jīng)把全世界所有大大小小的網(wǎng)絡(luò)互聯(lián)在一起，形成通達(dá)全球的Internet。BGP 用于在不同自治系統(tǒng)（Autonomous System，AS）之間交換路由信息，實(shí)現(xiàn)不同AS 之間IP 可達(dá)性。隨著互聯(lián)網(wǎng)流量的爆發(fā)式增長，網(wǎng)絡(luò)擴(kuò)容總是滯后于流量增長速度，網(wǎng)絡(luò)資源捉襟見肘。網(wǎng)絡(luò)需要為高價(jià)值業(yè)務(wù)提供更好的傳輸服務(wù)，在保持效率優(yōu)先的同時(shí)，還能夠體現(xiàn)出互聯(lián)網(wǎng)服務(wù)的普惠性和公平性，而傳統(tǒng)互聯(lián)網(wǎng)“盡力而為”的服務(wù)模式難以兼顧兩者之間的平衡。與此同時(shí)，互聯(lián)網(wǎng)固有的流量突發(fā)性導(dǎo)致網(wǎng)絡(luò)流量不均衡，表現(xiàn)為網(wǎng)絡(luò)中部分鏈路擁塞不堪，而另一部分鏈路利用率低下，難以實(shí)現(xiàn)全網(wǎng)資源的最佳利用。盡管BGP可以提供靈活豐富的路由策略實(shí)現(xiàn)流量路徑優(yōu)化和負(fù)載均衡，但是由于全網(wǎng)設(shè)備都需要運(yùn)行BGP，網(wǎng)絡(luò)運(yùn)維人員需對(duì)設(shè)備進(jìn)行復(fù)雜化、個(gè)性化的配置操作，進(jìn)一步增加了網(wǎng)絡(luò)運(yùn)維難度。為簡化網(wǎng)絡(luò)操作，提升網(wǎng)絡(luò)效率，降低網(wǎng)絡(luò)運(yùn)營商的CAPEX 和OPEX，近年來SDN 技術(shù)受到網(wǎng)絡(luò)界的追捧，全球運(yùn)營商和設(shè)備提供商正積極探索利用SDN 技術(shù)實(shí)現(xiàn)網(wǎng)絡(luò)運(yùn)維自動(dòng)化，提升網(wǎng)絡(luò)的智能化水平，實(shí)現(xiàn)極簡網(wǎng)絡(luò)。

本文分析用于互聯(lián)網(wǎng)域間路由的BGP 協(xié)議存在局限性，然后研究利用SDN 技術(shù)實(shí)現(xiàn)智能化域間路由，以期達(dá)到簡化網(wǎng)絡(luò)、優(yōu)化全網(wǎng)流量、實(shí)現(xiàn)多出口負(fù)載均衡的目的。

1 BGP 協(xié)議的局限性分析

BGP[1-3]是運(yùn)行于TCP 之上的自治系統(tǒng)邊界網(wǎng)關(guān)協(xié)議，必須在交換路由更新之前協(xié)商建立TCP 連接。因此，BGP 繼承了TCP 的傳輸可靠性和面向連接的特性。BGP 根據(jù)在BGP 鄰居之間交換的路由信息建立一張自治系統(tǒng)圖。從BGP 角度來看，整個(gè)互聯(lián)網(wǎng)就是由自治系統(tǒng)組成的一張圖。BGP 通告的網(wǎng)絡(luò)層可達(dá)信息（Network Layer Reachablility Information，NLRI）可攜帶豐富的路徑屬性（Path Attribute）。其中，AS_PATH 屬性包含到達(dá)該目的網(wǎng)絡(luò)所經(jīng)過的一串AS 列表，BGP 基于AS_PATH屬性確保無環(huán)路的路徑選擇。NEXT_HOP 屬性用于IP 報(bào)文轉(zhuǎn)發(fā)必經(jīng)的下一跳，其他如LOCAL_PREF、MULTI_EXIT_DISC、COMMUNITY 屬性可由網(wǎng)絡(luò)管理員實(shí)施BGP 路由策略，根據(jù)網(wǎng)間負(fù)載實(shí)際情況選擇流量出、入的最佳出口，根據(jù)自治系統(tǒng)內(nèi)部網(wǎng)絡(luò)的鏈路負(fù)載情況選擇最優(yōu)路徑等。

在一個(gè)由運(yùn)營商管理的單個(gè)互聯(lián)網(wǎng)自治系統(tǒng)中，網(wǎng)絡(luò)規(guī)模龐大。例如，中國電信、中國聯(lián)通和中國移動(dòng)的互聯(lián)網(wǎng)骨干網(wǎng)通常由成百上千臺(tái)核心路由器組成，不同網(wǎng)絡(luò)之間通過十幾臺(tái)自治系統(tǒng)邊界路由器（Autonomous System Boundary Router，ASBR）進(jìn)行網(wǎng)間互聯(lián)，以實(shí)現(xiàn)網(wǎng)間流量在多出口負(fù)載均衡。充當(dāng)網(wǎng)關(guān)設(shè)備的ASBR 之間運(yùn)行EBGP協(xié)議用于交換域間路由信息，而在自治系統(tǒng)內(nèi)部網(wǎng)絡(luò)，路由器需要進(jìn)行全網(wǎng)狀的IBGP 連接，用于學(xué)習(xí)外部網(wǎng)絡(luò)路由，防止產(chǎn)生路由黑洞。因?yàn)榫W(wǎng)內(nèi)路由器數(shù)量大，全網(wǎng)狀I(lǐng)BGP 連接需要消耗大量CPU處理資源，存在嚴(yán)重的擴(kuò)展性問題，所以普遍采用路由反射器（Route Reflector，RR）[4]方式，網(wǎng)內(nèi)路由器只跟RR 建立IBGP 連接。盡管如此，由于網(wǎng)內(nèi)路由器需同時(shí)運(yùn)行IGP、BGP 等多種路由協(xié)議，為實(shí)現(xiàn)全網(wǎng)流量工程和負(fù)載均衡，須協(xié)同IGP 和BGP 路由協(xié)議配置復(fù)雜的路由策略，使得網(wǎng)絡(luò)的運(yùn)行和維護(hù)變得十分復(fù)雜。此問，不同路由策略之間相互影響，難以達(dá)到預(yù)期的優(yōu)化目標(biāo)。

現(xiàn)以RR 優(yōu)選BGP 路由為例，分析基于BGP的路徑選擇的局限性。

由于自治系統(tǒng)存在多個(gè)ASBR 出口，基于路徑冗余和負(fù)載均衡考慮，對(duì)端AS 會(huì)從多個(gè)ASBR 向本AS 對(duì)應(yīng)的ASBR 鄰居通告相同路由信息，網(wǎng)內(nèi)這些ASBR 鄰居收到同一目的網(wǎng)絡(luò)路由并向RR 通告。當(dāng)RR 接收到屬于外網(wǎng)同一目的地網(wǎng)絡(luò)的多條路由時(shí)，RR 遵循標(biāo)準(zhǔn)BGP 選路原則優(yōu)選唯一一條BGP路由向全網(wǎng)路由器反射。

這種基于RR的BGP路徑優(yōu)選存在以下局限性。

（1）BGP 路由選擇的唯一性原則無法實(shí)現(xiàn)流量的多路徑負(fù)載均衡。

（2）RR 基于自身到通告路由器（下一跳）的IGP 度量（Metric）值選擇一條IGP 距離最近的路由，這個(gè)優(yōu)選的路由與RR 所處的位置有關(guān)，并不能代表全網(wǎng)其他路由器到這個(gè)被選定的BGP 下一跳是最近的。RR 全網(wǎng)拓?fù)湟暯堑娜笔?dǎo)致次優(yōu)路由的產(chǎn)生。

（3）只能基于報(bào)文流目的IP 地址選路，不考慮源IP 地址或基于N元組對(duì)業(yè)務(wù)流選路。

（4）由于缺乏全局拓?fù)浜腿至髁坑^，無視全網(wǎng)資源利用情況，因此無法實(shí)現(xiàn)全網(wǎng)流量工程。

（5）RR 遵循標(biāo)準(zhǔn)BGP 選路原則，無法實(shí)現(xiàn)流量按照規(guī)劃的路徑進(jìn)行疏導(dǎo)。

以圖1 為例說明RR 選路引發(fā)次優(yōu)路由問題。RR 收到來自北京ASBR 和廣州ASBR 到其他運(yùn)營商的同一目的Prefix 的路由，由于RR 放置位置的不同，RR 根據(jù)IGP Metric 計(jì)算自身到北京ASBR和廣州ASBR 的距離，發(fā)現(xiàn)廣州ASBR 距離自身的IGP 距離最近，于是把廣州ASBR 作為該路由的下一跳向全網(wǎng)反射。這樣帶來的結(jié)果是，由北京片區(qū)的路由器轉(zhuǎn)發(fā)的數(shù)據(jù)流要繞轉(zhuǎn)至廣州ASBR 出口，而不是最短距離的北京ASBR 出口。但是，根據(jù)實(shí)際網(wǎng)絡(luò)拓?fù)洌琑R 應(yīng)該向北京片區(qū)的路由器反射該P(yáng)refix 的路由的下一跳為北京ASBR，而向廣州片區(qū)的路由器反射該P(yáng)refix 的路由的下一跳為廣州ASBR。這樣不僅可以實(shí)現(xiàn)流量的負(fù)載均衡，而且減少路徑繞轉(zhuǎn)，提高網(wǎng)絡(luò)效率。

圖1 RR 選路引發(fā)次優(yōu)路由

2 基于SDN 的互聯(lián)網(wǎng)域間路由

起初在制定BGP 協(xié)議標(biāo)準(zhǔn)時(shí)，主要是為了解決全球互聯(lián)網(wǎng)跨自治域的IP 可達(dá)性及擴(kuò)展性問題。隨著互聯(lián)網(wǎng)流量爆發(fā)式增長和網(wǎng)絡(luò)規(guī)模的持續(xù)擴(kuò)展，網(wǎng)絡(luò)流量不平衡以及服務(wù)同質(zhì)化現(xiàn)象日益突出。傳統(tǒng)基于RR 的BGP 路徑選擇由于缺乏全網(wǎng)拓?fù)浜腿至髁坑^，難以實(shí)現(xiàn)全網(wǎng)流量工程，也難以為服務(wù)質(zhì)量要求較高的客戶提供優(yōu)化路徑。

SDN 具有控制和狀態(tài)集中、網(wǎng)絡(luò)控制面和數(shù)據(jù)轉(zhuǎn)發(fā)面解耦以及網(wǎng)絡(luò)可編程等特點(diǎn)。通過集中控制器實(shí)現(xiàn)全網(wǎng)拓?fù)渥詣?dòng)發(fā)現(xiàn)，基于業(yè)務(wù)需求為客戶提供定制化的網(wǎng)絡(luò)服務(wù)。這種全新的網(wǎng)絡(luò)架構(gòu)帶來的最大好處是集中控制器具有全局流量觀和全網(wǎng)的資源利用視圖，能實(shí)時(shí)發(fā)現(xiàn)各鏈路的帶寬利用情況，因此能基于每個(gè)業(yè)務(wù)流的源、宿端位置以及QoS 需求（包括帶寬、時(shí)延、丟包等），并結(jié)合各鏈路負(fù)載情況為不同業(yè)務(wù)流確定合適的路徑。因此，SDN技術(shù)在實(shí)現(xiàn)流量工程和負(fù)載均衡方面具有天然優(yōu)勢，目前廣泛部署在運(yùn)營商網(wǎng)絡(luò)和大規(guī)模云數(shù)據(jù)中心需要流量優(yōu)化的場景[5-6]。

2.1 基于RR+實(shí)現(xiàn)互聯(lián)網(wǎng)骨干網(wǎng)流量優(yōu)化

針對(duì)傳統(tǒng)RR 在BGP 路徑選擇存在的局限性，研究RR 實(shí)現(xiàn)流量調(diào)優(yōu)能力，并對(duì)現(xiàn)有BGP 路徑選擇原則進(jìn)行改進(jìn)。借助于SDN 集中控制的思想，使改進(jìn)的RR 系統(tǒng)（被命名為RR+）具有發(fā)現(xiàn)全網(wǎng)拓?fù)浜蛯?shí)時(shí)收集全網(wǎng)鏈路流量數(shù)據(jù)的能力。同時(shí)，基于采集的Netflow 流量流向數(shù)據(jù)分析到外網(wǎng)的目的Prefix 所承載的流量TOP N 排名，根據(jù)網(wǎng)內(nèi)中繼鏈路負(fù)載情況以及域間各個(gè)出口的負(fù)載情況，在鏈路利用率超過閾值的流量中挑選合適的業(yè)務(wù)流，通過修改BGP 路徑屬性（如修改NEXT_HOP、LOCAL_PREF）等方式，把這部分流量分流到鏈路相對(duì)輕載的中繼鏈路和出口，從而達(dá)到實(shí)現(xiàn)全網(wǎng)流量工程和負(fù)載均衡的目的。RR+系統(tǒng)如圖2 所示。

圖2 RR+流量調(diào)度系統(tǒng)

RR+系統(tǒng)主要包含如下功能模塊：

（1）拓?fù)涔芾?。系統(tǒng)支持南向BGP-LS[7]接口收集全網(wǎng)拓?fù)鋽?shù)據(jù)，根據(jù)形成的拓?fù)鋽?shù)據(jù)庫自動(dòng)發(fā)現(xiàn)全網(wǎng)拓?fù)浣Y(jié)構(gòu)。

（2）BGP 路由管理。系統(tǒng)基于BGP 學(xué)習(xí)網(wǎng)內(nèi)網(wǎng)外BGP 路由，包括來自多個(gè)ASBR 的相同目的網(wǎng)絡(luò)的多路徑路由[8]。

（3）鏈路流量分析。系統(tǒng)基于SNMP 收集全網(wǎng)鏈路實(shí)時(shí)流量數(shù)據(jù)，對(duì)超過鏈路利用率閾值的鏈路以及利用率低下的鏈路進(jìn)行顏色標(biāo)記。

（4）流量流向分析。系統(tǒng)基于Netflow 收集全網(wǎng)流量流向數(shù)據(jù)，生成流量流向矩陣表，并對(duì)網(wǎng)外目的prefix 承載流量的TOPN進(jìn)行排序。

（5）BGP 路徑選擇。根據(jù)鏈路流量數(shù)據(jù)分析模塊得到標(biāo)記顏色的超過利用率閾值的鏈路、利用率低下的鏈路以及根據(jù)流量流向分析模塊得到超過利用率閾值的鏈路承載外網(wǎng)目的prefix 流量TOPN排名，在超過利用率閾值的鏈路挑選相應(yīng)目的prefix 的業(yè)務(wù)流分流到利用率較低的鏈路和出口，形成到出口的端到端優(yōu)化路徑。

（6）路由策略管理。根據(jù)選擇的優(yōu)化路徑，修改相應(yīng)BGP 路徑屬性（如NEXT_HOP、LOCAL_PREF 等）生成BGP 路由策略，向網(wǎng)內(nèi)相關(guān)路由器通告。研發(fā)的RR+流量調(diào)優(yōu)系統(tǒng)已部署在中國電信ChinaNet 骨干網(wǎng)中，實(shí)現(xiàn)對(duì)網(wǎng)內(nèi)中繼、網(wǎng)間互聯(lián)出口以及IDC 出口等多場景的流量調(diào)度，達(dá)到均衡網(wǎng)絡(luò)流量、提升服務(wù)質(zhì)量的效果。

2.2 基于SDN 的互聯(lián)網(wǎng)域間路由

盡管RR+系統(tǒng)豐富了互聯(lián)網(wǎng)流量調(diào)優(yōu)手段，但是全網(wǎng)仍需運(yùn)行IGP 和BGP 等多種路由協(xié)議，配置復(fù)雜的路由策略，并未從根本上簡化網(wǎng)絡(luò)。本文提出一種基于SDN 的互聯(lián)網(wǎng)域間路由架構(gòu)，能夠真正簡化網(wǎng)絡(luò)協(xié)議，降低網(wǎng)絡(luò)運(yùn)維復(fù)雜度。

在各互聯(lián)網(wǎng)AS 內(nèi)部署獨(dú)立的SDN 控制器。AS域內(nèi)路由器只需運(yùn)行IGP 協(xié)議，無需運(yùn)行iBGP 和eBGP。由各AS 域內(nèi)的SDN 控制器負(fù)責(zé)域間路由信息交換，各個(gè)域內(nèi)的ASBR 不再像傳統(tǒng)方式通過eBGP 交換域間路由。SDN 控制器收集全網(wǎng)路由信息并相互交換各自域內(nèi)的路由信息，基于收集的全網(wǎng)拓?fù)湫畔?duì)域間路由進(jìn)行決策控制，然后向AS內(nèi)全網(wǎng)路由器下發(fā)域間路由的轉(zhuǎn)發(fā)信息表。這樣AS 內(nèi)路由器對(duì)目的地址為外網(wǎng)的流量依據(jù)下發(fā)的域間路由轉(zhuǎn)發(fā)信息表進(jìn)行轉(zhuǎn)發(fā)。

現(xiàn)以圖3 為例對(duì)該域間路由架構(gòu)進(jìn)行描述。

圖3 一種基于SDN 的互聯(lián)網(wǎng)域間路由架構(gòu)

各AS 中的SDN 控制器對(duì)收集到的網(wǎng)內(nèi)路由進(jìn)行匯總。SDN 控制器之間可以采用非常成熟的BGP 協(xié)議進(jìn)行交換路由信息。圖3 中AS1的控制器向AS2的控制器通告AS1的4 條匯總路由1.0.0.0/8 ～4.0.0.0/8；AS2的控制器向AS1的控制器通告AS2的4 條匯總路由5.0.0.0/8 ～8.0.0.0/8；雙方通告路由時(shí)，可以選擇指定下一跳信息。例如，AS1的控制器在通告的2 條匯總路由1.0.0.0/8 ～2.0.0.0/8時(shí)選擇ASBR1作為下一跳，在通告的2 條匯總路由3.0.0.0/8 ～4.0.0.0/8 時(shí)選擇ASBR2作為下一跳。

為實(shí)現(xiàn)網(wǎng)間流量在多個(gè)ASBR 間負(fù)載均衡，SDN 控制器根據(jù)交換得到的域間路由信息及全網(wǎng)拓?fù)湟晥D信息，并根據(jù)監(jiān)測到每條匯總域間路由承載的流量大小及多個(gè)出口域間鏈路的利用率情況，向全網(wǎng)路由器（除ASBR 外）動(dòng)態(tài)下發(fā)指定下一跳的域間路由信息。

網(wǎng)內(nèi)路由器根據(jù)IGP 最短路徑把外出流量轉(zhuǎn)發(fā)到一個(gè)或多個(gè)指定ASBR。網(wǎng)內(nèi)所有路由器只需運(yùn)行IGP 協(xié)議，無需運(yùn)行IBGP 和eBGP 協(xié)議。同時(shí)，在所有ASBR 上配置缺省路由，出接口為網(wǎng)間互聯(lián)接口，外出流量根據(jù)缺省路由轉(zhuǎn)發(fā)到網(wǎng)間互聯(lián)鏈路。假設(shè)AS1中控制器監(jiān)測到AS2通告的2 條匯總路由5.0.0.0/8 ～6.0.0.0/8 承載的流量為10 Gb/s，監(jiān)測到AS2通告的2 條匯總路由7.0.0.0/8 ～8.0.0.0/8 承載的流量為20 Gb/s。AS1中控制器同時(shí)也監(jiān)測到ASBR1與ASBR3之間網(wǎng)間互聯(lián)鏈路帶寬利用率比較高，剩余帶寬只能承載10 Gb/s 的流量，而監(jiān)測到ASBR2與ASBR4之間網(wǎng)間互聯(lián)鏈路帶寬利用率較低，剩余帶寬能夠承載20 Gb/s 的流量。這時(shí)AS1中控制器優(yōu)選ASBR1作為目的地址為5.0.0.0/8 ～6.0.0.0/8 范圍內(nèi)的IP 流量的出口，把域間匯總路由5.0.0.0/8 ～6.0.0.0/8向全網(wǎng)除ASBR 外的路由器通告（如圖中R1和R2），并為5.0.0.0/8 ～6.0.0.0/8 路由指定下一跳為ASBR1。同樣地，AS1中控制器優(yōu)選ASBR2作為目的地址為7.0.0.0/8 ～8.0.0.0/8 范圍內(nèi)的IP 流量的出口，把域間匯總路由7.0.0.0/8 ～8.0.0.0/8 向全網(wǎng)除ASBR 外的路由器通告，并為7.0.0.0/8 ～8.0.0.0/8路由指定下一跳為ASBR2。

以上描述了SDN 控制器根據(jù)多出口鏈路帶寬利用率情況實(shí)現(xiàn)外出流量在多個(gè)出口之間的負(fù)載均衡。SDN 控制器也可以根據(jù)指定路徑、最短路徑、最小時(shí)延等策略，為不同外網(wǎng)目的IP 地址的報(bào)文流指定出口路由器，無需基于BGP 路由策略這種復(fù)雜的傳統(tǒng)技術(shù)實(shí)現(xiàn)多出口負(fù)載均衡。

3 結(jié) 語

互聯(lián)網(wǎng)經(jīng)歷了半個(gè)世紀(jì)的發(fā)展，已成為現(xiàn)代社會(huì)不可或缺的關(guān)鍵信息基礎(chǔ)設(shè)施，把人類文明駛向一個(gè)嶄新的高度。BGP 協(xié)議把分散在全球各地的一個(gè)個(gè)孤立網(wǎng)絡(luò)互聯(lián)在一起，很好地解決了各個(gè)自治系統(tǒng)之間的連通性。可以毫不夸張地說，沒有BGP協(xié)議就沒有Internet。隨著互聯(lián)網(wǎng)流量的急劇膨脹，疊加互聯(lián)網(wǎng)流量固有的突發(fā)性，網(wǎng)絡(luò)流量不均衡現(xiàn)象日益加劇。同時(shí)，互聯(lián)網(wǎng)上新業(yè)務(wù)和新應(yīng)用層出不窮，互聯(lián)網(wǎng)服務(wù)需要“效率優(yōu)先、兼顧公平”。面對(duì)互聯(lián)網(wǎng)新的變化趨勢，傳統(tǒng)BGP 協(xié)議也在不斷完善和發(fā)展，重新煥發(fā)出新的生命力。然而，BGP不斷擴(kuò)展新的功能，在帶給網(wǎng)絡(luò)靈活調(diào)度的便利性同時(shí)，也增加了網(wǎng)絡(luò)運(yùn)維復(fù)雜度。SDN 技術(shù)在簡化網(wǎng)絡(luò)、實(shí)現(xiàn)流量工程和負(fù)載均衡方面具有天然優(yōu)勢，可以彌補(bǔ)BGP 協(xié)議的不足。針對(duì)BGP 存在的局限性，研發(fā)了基于RR+的互聯(lián)網(wǎng)骨干網(wǎng)流量調(diào)度系統(tǒng)，并應(yīng)用于ChinaNet 骨干網(wǎng)多個(gè)流量優(yōu)化場景。更進(jìn)一步，文章提出了一種基于SDN 的互聯(lián)網(wǎng)域間路由架構(gòu)，極大地簡化了網(wǎng)絡(luò)協(xié)議，并能夠?qū)崿F(xiàn)靈活的流量調(diào)度和負(fù)載均衡。后續(xù)將繼續(xù)探索利用SDN技術(shù)來提升互聯(lián)網(wǎng)的服務(wù)水平。