網(wǎng)絡(luò)重構(gòu)城域網(wǎng)數(shù)據(jù)中心化解決方案

陳鼎，張濤，劉可，蘭強

?

網(wǎng)絡(luò)重構(gòu)城域網(wǎng)數(shù)據(jù)中心化解決方案

陳鼎，張濤，劉可，蘭強

（新華三技術(shù)有限公司，浙江 杭州 310052）

運營商網(wǎng)絡(luò)重構(gòu)的基本技術(shù)思路是以DC為核心進行建設(shè)。在現(xiàn)網(wǎng)規(guī)模試商用經(jīng)驗總結(jié)基礎(chǔ)之上，提出了三級DC架構(gòu)、統(tǒng)一通信云基礎(chǔ)設(shè)施部署、城域網(wǎng)vBRAS資源池和轉(zhuǎn)控分離方案。并從業(yè)務(wù)角度出發(fā)，提出城域網(wǎng)業(yè)務(wù)率先從大會話小流量和IPTV場景切入，從而加快運營商城域DC的建設(shè)，培養(yǎng)運營商ICT融合運維能力，切實推動城域網(wǎng)重構(gòu)有序進行。

網(wǎng)絡(luò)重構(gòu)；通信云；SDN/NFV；vBRAS；轉(zhuǎn)控分離

1 引言

全球運營商面臨著互聯(lián)網(wǎng)時代的沖擊。為謀求更好的生存與發(fā)展，業(yè)務(wù)轉(zhuǎn)型網(wǎng)絡(luò)重構(gòu)已經(jīng)從猶豫彷徨走到迭代實踐的階段。近5年來，運營商從業(yè)務(wù)和技術(shù)方面都在嘗試轉(zhuǎn)型——海外運營商轉(zhuǎn)型已在近期看到成效：新技術(shù)的引入使得美國Verizon預(yù)估到2020年將節(jié)省百億美元；美國AT&T認為網(wǎng)絡(luò)轉(zhuǎn)型降低了建網(wǎng)成本，預(yù)計年底將達到新技術(shù)引入臨界點；美國CenturyLink在完成60%局端的虛擬化過程中，收獲到新技術(shù)為其運維流程簡化和效率提升帶來的靈活性優(yōu)勢。中國的運營商同樣在探索適合自身的轉(zhuǎn)型之路，網(wǎng)絡(luò)重構(gòu)CTNet2025、NovoNet2020、CUBE-Net2.0是中國三大運營商為自身打造的企業(yè)發(fā)展戰(zhàn)略，尤為關(guān)注如何借助新技術(shù)實現(xiàn)網(wǎng)絡(luò)架構(gòu)、業(yè)務(wù)模式和組織管理的整體轉(zhuǎn)型[1]。

當(dāng)前中國三大運營商的基本思路都是以數(shù)據(jù)中心（DC）為核心進行網(wǎng)絡(luò)重構(gòu)，將電信級網(wǎng)元虛擬化的靈活性和云網(wǎng)融合的便捷性有機融合在一起，實現(xiàn)多樣化的業(yè)務(wù)服務(wù)和快速業(yè)務(wù)交付。運營商撕掉傳統(tǒng)網(wǎng)絡(luò)管道提供商的標(biāo)簽，真正實現(xiàn)“網(wǎng)絡(luò)即服務(wù)（network as a service，NaaS）”。“網(wǎng)絡(luò)即服務(wù)”并不是傳統(tǒng)意義上的管道智能化，它從更多維度得到用戶“畫像”，將原來割裂的承載網(wǎng)和DC有機融合起來，網(wǎng)絡(luò)和業(yè)務(wù)功能、性能以更細的顆粒度劃分后再按需重組，實時交付給用戶。用戶可以自服務(wù)，也可以根據(jù)應(yīng)用的需要隨選。

新華三技術(shù)有限公司（以下簡稱新華三）的運營商網(wǎng)絡(luò)重構(gòu)整體解決方案為運營商轉(zhuǎn)型而生。整體重構(gòu)解決方案基于SDN、NFV和云技術(shù)，逐步引入大數(shù)據(jù)、AI等新興前沿技術(shù)，服務(wù)于移動、政企、家庭等全業(yè)務(wù)網(wǎng)絡(luò)重構(gòu)。網(wǎng)絡(luò)重構(gòu)解決方案的目標(biāo)是構(gòu)建面向全業(yè)務(wù)承載的統(tǒng)一通信云。將業(yè)務(wù)點引入DC內(nèi)，通過NFV實現(xiàn)彈性；將承載能力與通信網(wǎng)元能力結(jié)合，通過SDN和編排實現(xiàn)協(xié)同；擴展DC的服務(wù)能力，從通信服務(wù)擴展到ICT綜合服務(wù)。

2 網(wǎng)絡(luò)重構(gòu)統(tǒng)一通信云DC化建設(shè)目標(biāo)

統(tǒng)一通信云是面向全業(yè)務(wù)服務(wù)的數(shù)據(jù)中心化整體架構(gòu)，不僅包含網(wǎng)絡(luò)基礎(chǔ)設(shè)施和虛擬化層、容器等基礎(chǔ)資源，還包含服務(wù)于業(yè)務(wù)的各類VNF和PNF網(wǎng)元以及管理和編排。統(tǒng)一通信云將運營商網(wǎng)絡(luò)中的實體從上至下、從DC內(nèi)到DC外有機地融合到一起，成為云網(wǎng)融合的整體。新華三統(tǒng)一通信云邏輯架構(gòu)如圖1所示。

從目前中國的行政劃分、用戶業(yè)務(wù)和運營商資源分布角度出發(fā)，統(tǒng)一通信云DC劃分為三級DC：第一級為區(qū)域級，面向全國集中型的資源池，以大區(qū)形式服務(wù)于區(qū)域內(nèi)的用戶；第二級為本地網(wǎng)核心級，面向本體網(wǎng)集中型的資源池，服務(wù)于本地網(wǎng)內(nèi)的用戶；第三級為邊緣級，面向分布式部署的資源池，服務(wù)于就近用戶。

圖1 新華三統(tǒng)一通信云邏輯架構(gòu)

DC內(nèi)的統(tǒng)一通信云基礎(chǔ)設(shè)施建設(shè)目標(biāo)用于承載電信云以及業(yè)務(wù)云，這里的電信云特指電信網(wǎng)元，尤其是NFV化的電信網(wǎng)元；業(yè)務(wù)云指為用戶提供服務(wù)的從IaaS到PaaS再到SaaS的資源池。DC內(nèi)的基礎(chǔ)設(shè)施，包含網(wǎng)絡(luò)、服務(wù)器、存儲以及虛擬化平臺等，是可以統(tǒng)一建設(shè)的。基礎(chǔ)設(shè)施為所有電信云和業(yè)務(wù)云服務(wù)，這也是DC構(gòu)建的終極目標(biāo)。在實際部署和管理過程中受制于當(dāng)前的組織結(jié)構(gòu)、管理復(fù)雜度等非技術(shù)因素，初期可能會有邏輯分離甚至物理分離的情況存在。DC內(nèi)的網(wǎng)絡(luò)建設(shè)目前主要采用SDN思路建網(wǎng)[2]，實現(xiàn)網(wǎng)絡(luò)的快速部署和靈活調(diào)整，目前主流思路采用EVPN+VxLAN分布式網(wǎng)絡(luò)網(wǎng)關(guān)方案作為電信云和業(yè)務(wù)云的統(tǒng)一基礎(chǔ)網(wǎng)絡(luò)方案。方案的優(yōu)點在于：高性能、靈活、大規(guī)模組網(wǎng)以及高支持度。DC內(nèi)的云部署方案目前主流方案是虛擬化+OpenStack的商用版本。由于考慮到電信云對低時延、實時性、高性能和高可靠性的要求，虛擬化層更強調(diào)在這4個方面的能力增強。云管理則強調(diào)了與行業(yè)云、IT云等傳統(tǒng)私有云、專有云的不同，增強了高可靠性和可維護性，并面向電信云，需要向上提供給編排層以豐富的接口，以便云網(wǎng)協(xié)同。在云管理部署上，由于整個通信云跨越了三級DC，對規(guī)模和時延都是前所未有的挑戰(zhàn)，目前主流方案為云管理的分級部署。第一級DC內(nèi)部署統(tǒng)一云管平臺，第二級DC內(nèi)部署虛擬基礎(chǔ)設(shè)施管理，第三級DC目前的部署云規(guī)模還較小，又與第二級DC同城，初步方案考慮不下沉虛擬基礎(chǔ)設(shè)施管理，只部署虛擬化。新華三統(tǒng)一通信云三級結(jié)構(gòu)如圖2所示[3]。

新華三網(wǎng)絡(luò)重構(gòu)統(tǒng)一通信云的整體解決方案基于開放架構(gòu)，各個層級、各個模塊之間做到解耦合，能與其他廠商的模塊和組件解耦部署。中國的三大運營商已經(jīng)成功完成解耦測試，并在重點省份實現(xiàn)了解耦部署的商用開局。同時新華三的解決方案也提供端到端的能力：面向全業(yè)務(wù)場景的DC化改造SDN方案、統(tǒng)一電信級云和統(tǒng)一編排器是網(wǎng)絡(luò)重構(gòu)的基石；面向家庭寬帶業(yè)務(wù)和政企業(yè)務(wù)，新華三還可以提供豐富的網(wǎng)元，協(xié)助運營商快速實現(xiàn)重構(gòu)實踐，為運營商轉(zhuǎn)型提供軟件賦能和運營賦能。

尤其在固網(wǎng)領(lǐng)域，新華三網(wǎng)絡(luò)重構(gòu)整體方案下的城域網(wǎng)vBRAS解決方案，已經(jīng)率先在中國聯(lián)通、中國電信和中國移動省公司規(guī)模商用。

3 城域網(wǎng)重構(gòu)DC化建設(shè)方案

3.1 城域網(wǎng)業(yè)務(wù)發(fā)展情況

傳統(tǒng)運營商城域網(wǎng)大致可分為接入網(wǎng)層、匯聚層、業(yè)務(wù)控制層和核心路由層，業(yè)務(wù)控制層是城域網(wǎng)的業(yè)務(wù)核心，也是城域網(wǎng)運維的重點，一般都是通過一臺寬帶網(wǎng)絡(luò)接入網(wǎng)關(guān)（broadband network gateway，BNG）來實現(xiàn)多種業(yè)務(wù)能力（例如PPPoE、IPoE、portal等），這能夠有效減少網(wǎng)元的維護數(shù)量，簡化網(wǎng)絡(luò)架構(gòu)，提高設(shè)備利用率，降低投資。運營商現(xiàn)網(wǎng)的BNG設(shè)備上基本上都會承載寬帶、IPTV、Wi-Fi、ITMS、VoIP、二層專線以及三層專線等數(shù)種業(yè)務(wù)類型，而綜合考慮投資、組網(wǎng)復(fù)雜和業(yè)務(wù)安全，現(xiàn)網(wǎng)BNG設(shè)備實際都沒有做備份，單臺設(shè)備承載用戶規(guī)模一般在3萬戶上下，當(dāng)設(shè)備出現(xiàn)故障時會大面積影響業(yè)務(wù)。

圖2 新華三統(tǒng)一通信云三級結(jié)構(gòu)

現(xiàn)有的城域網(wǎng)架構(gòu)在實際業(yè)務(wù)上線和新業(yè)務(wù)開展過程中也逐漸發(fā)現(xiàn)：單一設(shè)備雖然能夠做到多業(yè)務(wù)承載，能夠?qū)崿F(xiàn)大流量的吞吐能力，但是業(yè)務(wù)控制能力和流量的吞吐能力并不匹配。現(xiàn)網(wǎng)硬件BNG主要以承載IPTV、用戶上網(wǎng)等對流量有較高要求的業(yè)務(wù)發(fā)展思路進行設(shè)計，導(dǎo)致現(xiàn)網(wǎng)設(shè)備的控制面會話（session）資源和轉(zhuǎn)發(fā)能力不匹配，當(dāng)承載小顆粒、大并發(fā)業(yè)務(wù)時，占用了大量的會話資源，從而轉(zhuǎn)發(fā)能力過剩。而且單一網(wǎng)元承載多種業(yè)務(wù)，導(dǎo)致配置復(fù)雜，故障定位困難，業(yè)務(wù)之間也會存在相互影響的問題。

NFV、SDN等技術(shù)的出現(xiàn)使得城域網(wǎng)逐步向云化方向演進，原有多功能融合承載的網(wǎng)元將被一個個VNF功能模塊取代，最終在城域網(wǎng)內(nèi)形成以通信云為特征的城域網(wǎng)DC。x86架構(gòu)近年來在密集計算和高性能吞吐方面都有了長足進步，這些功能模塊根據(jù)其處理的業(yè)務(wù)特點不同可以選擇在不同的虛擬化網(wǎng)元（vBRAS）上進行承載，業(yè)務(wù)的承載在網(wǎng)元上實現(xiàn)了分片，不同的業(yè)務(wù)根據(jù)自身需要選擇不同的資源能力集和不同的部署物理位置。這樣既能夠通過云計算集約化的規(guī)模效應(yīng)降低網(wǎng)絡(luò)建設(shè)投資，提高利用率和網(wǎng)絡(luò)可靠性；又可以通過部署在貼近用戶的邊緣DC內(nèi)來提高業(yè)務(wù)響應(yīng)的速度，降低時延，提高客戶感知。vBRAS將以資源池的形式部署在統(tǒng)一通信云架構(gòu)之上，逐步推進城域網(wǎng)演進，最終實現(xiàn)整個城域網(wǎng)的虛擬化目標(biāo)。城域網(wǎng)業(yè)務(wù)云化后實現(xiàn)業(yè)務(wù)彈性如圖3所示。

業(yè)務(wù)實現(xiàn)靈活調(diào)度、彈性伸縮的關(guān)鍵點在于固網(wǎng)業(yè)務(wù)在城域網(wǎng)邊緣的POP交換機處實現(xiàn)了業(yè)務(wù)的分流，通過城域網(wǎng)內(nèi)的VxLAN實現(xiàn)用戶接入的物理位置與NFV化的業(yè)務(wù)處理點（vBRAS）之間的解耦，通過MANO實現(xiàn)在全城范圍內(nèi)的調(diào)度。無論是哪個用戶從哪里接入，理論上都可以根據(jù)城域網(wǎng)的overlay隧道訪問到任何一個業(yè)務(wù)切片后的vBRAS網(wǎng)元上。在MANO的統(tǒng)一編排下，正常規(guī)劃時，運營商可以根據(jù)業(yè)務(wù)預(yù)估發(fā)展規(guī)劃，規(guī)劃好用戶業(yè)務(wù)overlay隧道的起止點；在需要全城資源共享、負載分擔(dān)、故障調(diào)度、新增增值業(yè)務(wù)等一系列無法預(yù)估的情況下，運營商可以靈活快速地連接好用戶接入點和業(yè)務(wù)處理點之間的通道。這不僅是傳統(tǒng)意義上的彈性管道，也是承載網(wǎng)絡(luò)與服務(wù)節(jié)點資源池之間的彈性融合。

圖3　城域網(wǎng)業(yè)務(wù)云化后實現(xiàn)業(yè)務(wù)彈性

3.2 城域網(wǎng)重構(gòu)背景下固網(wǎng)業(yè)務(wù)的承載方向

vBRAS依托于x86平臺，通過軟件的方式實現(xiàn)現(xiàn)有硬件BNG的全部能力，具備承載現(xiàn)有城域網(wǎng)固網(wǎng)全部業(yè)務(wù)的能力。城域網(wǎng)DC的設(shè)立，逐步將城域網(wǎng)中所有業(yè)務(wù)網(wǎng)元的能力收至DC內(nèi)通信云中，采用統(tǒng)一標(biāo)準(zhǔn)的基礎(chǔ)網(wǎng)絡(luò)架構(gòu)來實現(xiàn)固網(wǎng)所有業(yè)務(wù)的承載，而業(yè)務(wù)會將適合采用x86服務(wù)器承載的先部署到DC內(nèi)，達到成熟規(guī)模商用之后，再逐步將其他業(yè)務(wù)從現(xiàn)網(wǎng)進行剝離。

由于x86平臺在計算方面能力突出，NFV形態(tài)的網(wǎng)元特別適合處理大會話、小流量業(yè)務(wù)的承載。如城域網(wǎng)內(nèi)的ITMS、VoIP、Wi-Fi等業(yè)務(wù)，這類業(yè)務(wù)的典型特征是大會話、小流量，適合做全地市甚至全省的集中承載。通過邊緣匯聚分流層設(shè)備將這類業(yè)務(wù)通過VxLAN技術(shù)封裝送至核心DC的通信云內(nèi)，由vBRAS資源池進行統(tǒng)一承載，可以高效地解決性能過剩和會話瓶頸的限制問題，大大提升業(yè)務(wù)的可靠性和經(jīng)濟性，并且業(yè)務(wù)的擴展性也大大增強，可以真正做到云化網(wǎng)絡(luò)資源的因需而動。這類業(yè)務(wù)在現(xiàn)網(wǎng)應(yīng)用廣泛，已率先成熟商用，同時也是中國運營商固網(wǎng)業(yè)務(wù)虛擬化的力推方向。通過將現(xiàn)網(wǎng)BNG上大會話小流量業(yè)務(wù)進行剝離，可以大幅降低現(xiàn)網(wǎng)BNG的會話壓力，也可以逐步推進網(wǎng)絡(luò)虛擬化步伐，保護現(xiàn)網(wǎng)投資。中國電信江蘇公司、中國電信江西公司等現(xiàn)網(wǎng)都有數(shù)百萬應(yīng)用規(guī)模，并在持續(xù)擴大。該方案將在第4節(jié)中做詳細介紹。

近兩年城域網(wǎng)流量增長的最主要來源是IPTV的迅猛增長，已經(jīng)普及的高清IPTV和正在推廣的4K IPTV將是流量業(yè)務(wù)體。IPTV的流量轉(zhuǎn)發(fā)越來越傾向于將內(nèi)容和轉(zhuǎn)發(fā)下沉到城域網(wǎng)邊緣，更靠近用戶接入。從中國運營商的當(dāng)前情況來看，基本上完成了地市級內(nèi)容邊緣節(jié)點的建設(shè)，為了應(yīng)對4K的挑戰(zhàn)以及未來VR、AR業(yè)務(wù)的基礎(chǔ)承載儲備，正在考慮內(nèi)容邊緣節(jié)點進一步向城域網(wǎng)邊緣下沉。那么在IPTV關(guān)鍵的用戶認證和轉(zhuǎn)發(fā)節(jié)點BNG設(shè)備上，應(yīng)該將集中的認證能力和分布式的轉(zhuǎn)發(fā)能力相結(jié)合。于是，新華三結(jié)合城域網(wǎng)現(xiàn)狀，通過vBRAS和POP交換機的結(jié)合，設(shè)計了IPTV業(yè)務(wù)的CU轉(zhuǎn)控分離，在城域本地核心DC部署vBRAS-C（vBRAS的控制面網(wǎng)元），在匯聚分流節(jié)點部署基于交換機架構(gòu)的vBRAS-U（vBRAS的轉(zhuǎn)發(fā)面網(wǎng)元），vBRAS-U同時兼做接入網(wǎng)匯聚交換機可以減少組網(wǎng)建設(shè)投資。在此方案中IPTV業(yè)務(wù)的認證和控制流量由DC內(nèi)的vBRAS控制面網(wǎng)元來處理，IPTV的業(yè)務(wù)流量則由匯聚分流節(jié)點的交換型轉(zhuǎn)發(fā)面來承載，發(fā)揮了各自的優(yōu)勢，使得投資效益大幅提升。該方案將在第5節(jié)中做詳細介紹。

另外，x86性能也在快速提升，vBRAS-UDK技術(shù)和高速網(wǎng)卡逐漸普及，vBRAS系統(tǒng)整體的吞吐性能也在快速提升。vBRAS在承載傳統(tǒng)固網(wǎng)業(yè)務(wù)方面也具備了相當(dāng)?shù)膶嵙?。在中國?lián)通山東公司、中國聯(lián)通河北公司的試點中已經(jīng)采用vBRAS作為寬帶上網(wǎng)的業(yè)務(wù)處理節(jié)點，并實現(xiàn)了規(guī)模商用。目前單個虛擬機（VM）部署一個vBRAS，并采用Intel的X710芯片網(wǎng)卡情況下，可以提供40 Gbit/s的雙向吞吐能力，如果采用4路服務(wù)器部署vBRAS網(wǎng)元，則單臺服務(wù)器可以提供160 Gbit/s的吞吐能力。單個vBRAS按1萬用戶并發(fā)進行設(shè)計，則峰值并發(fā)用戶戶均可以達到4 Mbit/s的速率，高出目前現(xiàn)網(wǎng)戶均峰值流量（<1.2 Mbit/s）3倍以上，基本上可以滿足3~5年內(nèi)的流量增長需求。隨著x86平臺不斷引入新技術(shù)（如FPGA網(wǎng)卡等），整體吞吐能力也在不斷攀升，單網(wǎng)卡提供80 Gbit/s甚至200 Gbit/s吞吐的能力也將在一兩年內(nèi)推向市場。

城域網(wǎng)寬帶業(yè)務(wù)，由城域網(wǎng)匯聚分流設(shè)備（POP交換機）匯聚并封裝VxLAN之后送入vBRAS上進行承載，業(yè)務(wù)流程示意如圖4所示。專線類業(yè)務(wù)也類似，也是由POP交換機通過VxLAN封裝之后送至DC內(nèi)的vBRAS進行處理。

圖4　x86形態(tài)vBRAS承載寬帶業(yè)務(wù)示意

4 面向大會話小流量的vBRAS資源池建設(shè)方案

4.1 ITMS/VoIP業(yè)務(wù)部署方式

隨著物聯(lián)網(wǎng)、智慧家庭等產(chǎn)品滲透率的不斷提升，城域網(wǎng)中小顆粒業(yè)務(wù)將持續(xù)增長。VNF基于x86平臺，在計算方面能力突出已是明顯的事實。ITMS/VoIP對于城域網(wǎng)而言，都是城域內(nèi)基于MPLS L3 VPN的IPoE業(yè)務(wù)，主要用于管理各種家庭終端和實現(xiàn)家庭語音接入。這類業(yè)務(wù)的一個典型特征就是大并發(fā)、小流量，為了減輕物理BNG的會話壓力以及實現(xiàn)ITMS/VoIP業(yè)務(wù)的集中管理，采用本地核心DC內(nèi)vBRAS資源池集中承載ITMS/VoIP業(yè)務(wù)。

VxLAN是一種網(wǎng)絡(luò)虛擬化技術(shù)，通過MAC-in-UDP的封裝技術(shù)。通常VxLAN的運作依賴于VTEP（VxLAN tunneling end point，VxLAN隧道終端），該組件可以封裝/解封裝VxLAN的大二層隧道，為終端系統(tǒng)提供二層以太網(wǎng)服務(wù)所需功能。

大并發(fā)小流量業(yè)務(wù)部署方式如圖5所示，由POP匯聚交換機、核心DC內(nèi)的資源池網(wǎng)關(guān)、VNF作為VTEP，建立兩段VxLAN隧道。將業(yè)務(wù)分流到該核心DC內(nèi)對應(yīng)的vBRAS，再由vBRAS終結(jié)VxLAN隧道進行業(yè)務(wù)處理。隧道的封裝根據(jù)全省情況統(tǒng)一規(guī)劃，由于VxLAN的VNI（VxLAN network identifier）具有1 600萬個[2]。根據(jù)實際的用戶規(guī)模，將一個或多個VSI的業(yè)務(wù)引流到一個vBRAS網(wǎng)元進行處理。

在城域網(wǎng)中引入vBRAS具有如下優(yōu)勢。

?? 節(jié)省投資：vBRAS以x86強大計算能力，釋放了現(xiàn)網(wǎng)硬件BRAS的會話能力，大量節(jié)省了BRAS擴容的成本。

?? 支持快速業(yè)務(wù)創(chuàng)新：NFV技術(shù)可滿足BRAS快速業(yè)務(wù)創(chuàng)新需求，而不依賴于硬件設(shè)備，新業(yè)務(wù)功能的提供僅需要進行軟件升級。

?? 簡化運維、增強系統(tǒng)穩(wěn)定性：通過構(gòu)建vBRAS資源池，將分散的ITMS/VoIP業(yè)務(wù)集中管理，配置集中設(shè)置，簡化運維壓力。vBRAS天然支持業(yè)務(wù)云化，支持資源池內(nèi)HA、多個資源池間的HA，提升系統(tǒng)的頑健性。

?? 支持彈性擴展，提供精細化運營服務(wù)：以SDN、NFV及云技術(shù)構(gòu)建的vBRAS資源池的擴展能力強，可根據(jù)不同負載情況動態(tài)擴展資源，提供精細化運營服務(wù)。

4.2 ITMS/VoIP業(yè)務(wù)HA方案

ITMS/VoIP業(yè)務(wù)的故障倒換方式有多種，首先可以在DC內(nèi)進行資源的備份，采用vBRAS IRF（intelligent resilient framework）堆疊技術(shù)進行不同vBRAS網(wǎng)元之間的倒換。其次，在POP匯聚交換機至核心DC的pool-GW之間有兩條underlay路徑，單條underlay路徑故障依靠underlay路由收斂，保證業(yè)務(wù)會話不中斷。第三種是跨DC的保障機制，當(dāng)整個核心DC故障或者核心DC無法訪問時，由編排器向POP匯聚交換機下發(fā)流表，將業(yè)務(wù)切換到另一個核心DC。

當(dāng)vBRAS采用IRF堆疊時，單個vBRAS故障業(yè)務(wù)不受影響。HJSW、邊緣DC的pool-GW、核心DC的pool-GW也都采用IRF堆疊和雙鏈路，pool-GW到CR也都采用雙鏈路，單個設(shè)備或單個鏈路出現(xiàn)故障時，業(yè)務(wù)均不受影響。DC內(nèi)故障倒換方式如圖6所示。

DC間故障倒換方式如圖7所示，如果CR和核心DC的pool-GW之間雙鏈路出現(xiàn)故障、核心DC的pool-GW整機出現(xiàn)故障或整個核心DC出現(xiàn)故障，需要將業(yè)務(wù)切換到另一個核心DC，原有會話丟失，用戶需要重新上線。為了實現(xiàn)核心DC之間業(yè)務(wù)的快速切換，需要在備用核心DC的備用vBRAS網(wǎng)元上提前通過MANO配置好相關(guān)業(yè)務(wù)。

圖5　大并發(fā)小流量業(yè)務(wù)部署方式

圖6　DC內(nèi)故障倒換方式

4.3 VoIP業(yè)務(wù)跨DC可靠性保障方案

VoIP業(yè)務(wù)可靠性要求較高，在機房整體出現(xiàn)故障的極端情況下，業(yè)務(wù)可以快速地切換到另一個核心DC并且盡量將業(yè)務(wù)中斷時間控制在分鐘級。

由于VoIP業(yè)務(wù)采用的是IPoE協(xié)議，vBRAS故障、重啟或更換vBRAS，VoIP終端無法快速感知，需要等VoIP終端IP地址租約到期，或者通過ITMS系統(tǒng)重啟ONU終端，VoIP終端重新上線之后，才能接入新的vBRAS。所以建議ITMS和VoIP業(yè)務(wù)分別由不同的核心DC承載，如果承載VoIP的核心DC出現(xiàn)故障，可以通過另一個核心DC的ITMS系統(tǒng)重啟ONU，使VoIP終端快速上線。

5 vBRAS轉(zhuǎn)控分離方案和面向IPTV業(yè)務(wù)的創(chuàng)新

運營商城域網(wǎng)重構(gòu)中，考慮到當(dāng)前各類型芯片的能力和發(fā)展，將vBRAS控制與轉(zhuǎn)發(fā)分離（以下簡稱轉(zhuǎn)控分離），打破現(xiàn)有物理BRAS設(shè)備控制和轉(zhuǎn)發(fā)一體化結(jié)構(gòu)，遵循“控制集中、轉(zhuǎn)發(fā)高效、交互簡單、彈性可擴”的原則，選擇合適的網(wǎng)元形態(tài)分別承載控制面和轉(zhuǎn)發(fā)面。

圖7　DC間故障倒換方式

5.1 vBRAS轉(zhuǎn)控分離的基本原理

轉(zhuǎn)控分離由處理控制面功能的vBRAS-C和處理轉(zhuǎn)發(fā)面功能的vBRAS-U構(gòu)成。vBRAS-C池和vBRAS-U可以根據(jù)業(yè)務(wù)需要部署在合適的物理位置，兩者協(xié)同配合，能夠?qū)崿F(xiàn)原來單一BRAS設(shè)備的全部功能，并提供更容易橫向擴展的物理架構(gòu)和更容易支撐新業(yè)務(wù)開發(fā)的軟件架構(gòu)。vBRAS轉(zhuǎn)控分離架構(gòu)示意如圖8所示。

圖8　vBRAS轉(zhuǎn)控分離架構(gòu)示意

轉(zhuǎn)控分離下的轉(zhuǎn)發(fā)面vBRAS-U實現(xiàn)原有硬件BNG報文識別和轉(zhuǎn)發(fā)方面的功能，vBRAS-U首先識別PPPoE/IPoE的控制報文和數(shù)據(jù)報文，如果是控制報文，將其透傳至vBRAS-C資源池進行處理，vBRAS-C資源池完成用戶認證后，將下發(fā)用戶流表給vBRAS-U，vBRAS-U將收到的用戶流表轉(zhuǎn)換為硬件表項保存至本地；如果是數(shù)據(jù)報文，vBRAS-U將根據(jù)此前收到的用戶流表來確定其的處理方式，從而實現(xiàn)控制和轉(zhuǎn)發(fā)流程的分離。

轉(zhuǎn)控分離的控制面vBRAS-C資源池主要實現(xiàn)原有硬件BNG控制方面的功能，包括：負責(zé)處理PPPoE/IPoE控制報文、與遠端AAA系統(tǒng)進行交互認證、建立和維護用戶會話表，并在用戶認證通過后，把用戶的二/三層信息和業(yè)務(wù)信息形成流表下發(fā)到vBRAS-U，指導(dǎo)vBRAS-U對用戶后續(xù)的操作進行處理。

由于vBRAS-C資源池主要處理控制方面的功能，因此要求能處理復(fù)雜邏輯和維護狀態(tài)機，需要強大的計算能力、超級大的內(nèi)存以及靈活的擴展能力等，因此基于x86的服務(wù)器是vBRAS-C資源池承載的主流方案。同時考慮到vBRAS-C作為資源池，一般部署在省公司區(qū)域DC或者地市核心DC統(tǒng)一通信云基礎(chǔ)設(shè)施上，采用ETSI規(guī)范中的NFV形態(tài)更符合運營商標(biāo)準(zhǔn)化的要求，并可根據(jù)資源的使用情況進行彈性的擴縮容，實現(xiàn)資源的動態(tài)調(diào)配，從而提高資源的利用率。vBRAS-C資源池實現(xiàn)的主要功能如下：

?? 支持與RADIUS服務(wù)器交互，完成接入用戶的認證、授權(quán)和計費；

?? 支持利用本地地址池或遠程DH vBRAS-C服務(wù)器，給認證通過的用戶分配IP地址；

?? 維護用戶會話表，根據(jù)控制報文更新會話狀態(tài)，記錄認證結(jié)果和用戶QoS策略，并形成流表下發(fā)給vBRAS-U；接受vBRAS-U反饋的會話統(tǒng)計并更新對應(yīng)表項；

?? 支持CGN控制功能，給認證通過的用戶分配公網(wǎng)地址和端口段；

?? 支持將故障vBRAS-U的用戶會話表下發(fā)到備份vBRAS-U上，以實現(xiàn)vBRAS-U間∶1熱備份。

轉(zhuǎn)控分離的vBRAS-U實現(xiàn)用戶認證通過后的數(shù)據(jù)報文的快速轉(zhuǎn)發(fā)，因此一般部署于靠近終端用戶的匯聚機房或邊緣DC，主要功能如下。

?? 支持傳統(tǒng)硬件BNG設(shè)備的轉(zhuǎn)發(fā)功能，包括PPPoE/IPoE加解封裝、三層轉(zhuǎn)發(fā)、基于用戶的流量統(tǒng)計、基于用戶的QoS處理（filter/remark/CAR）、基于用戶的隊列處理（HQoS）等。

?? 支持CGN的轉(zhuǎn)發(fā)功能，上行方向?qū)笪乃骄W(wǎng)地址/端口轉(zhuǎn)換為公網(wǎng)地址/端口，下行方向?qū)笪墓W(wǎng)地址/端口轉(zhuǎn)換為私網(wǎng)地址/端口。

?? 支持多播、MPLS等功能。

轉(zhuǎn)控分離后的vBRAS-C和vBRAS-U功能明確、分工清晰，因此vBRAS-C對vBRAS-U形態(tài)并不關(guān)注，只要vBRAS-U能識別控制報文并透傳給vBRAS-C，并且能根據(jù)vBRAS-C下發(fā)的用戶流表進行后續(xù)數(shù)據(jù)報文的轉(zhuǎn)發(fā)即可。這種vBRAS-C對vBRAS-U架構(gòu)的透明性，使得vBRAS-U的具體實現(xiàn)形態(tài)可根據(jù)不同場景和業(yè)務(wù)特點進行合理的選擇。

vBRAS-U設(shè)備雖然功能得到大大簡化，但轉(zhuǎn)發(fā)性能要求高，根據(jù)業(yè)務(wù)特性的不同，可采用基于x86、NP和ASIC來實現(xiàn)vBRAS-U的功能。這3種形態(tài)的vBRAS-U設(shè)備都有自身適合的應(yīng)用場景：x86形態(tài)的vBRAS-U設(shè)備，處理能力強、可擴展性高但轉(zhuǎn)發(fā)性能低，因此當(dāng)前大規(guī)模在現(xiàn)網(wǎng)實踐大并發(fā)小流量的業(yè)務(wù)處理，例如ITMS、VoIP等業(yè)務(wù)；NP形態(tài)的vBRAS-U設(shè)備，處理能力、轉(zhuǎn)發(fā)性能、可擴展性適中，適合于并發(fā)和流量適中、特性豐富的業(yè)務(wù)，網(wǎng)絡(luò)已有設(shè)備和架構(gòu)考慮延續(xù)，或者對建網(wǎng)成本不敏感的運營商；ASIC形態(tài)的vBRAS-U設(shè)備，業(yè)務(wù)處理能力靈活性弱但轉(zhuǎn)發(fā)性能超強，而且價格具有極大吸引力，因此適合大流量、特性單一的業(yè)務(wù)，例如IPTV業(yè)務(wù)。根據(jù)3種vBRAS-U形態(tài)設(shè)備的各自特點，不同業(yè)務(wù)特征的運營商城域網(wǎng)業(yè)務(wù)選擇不同的轉(zhuǎn)發(fā)承載方式，有效降低總成本，將是網(wǎng)絡(luò)功能和業(yè)務(wù)切片之后的最佳選擇。

5.2 vBRAS轉(zhuǎn)控分離的高可靠方案

由于轉(zhuǎn)控分離包括vBRAS-C、vBRAS-U和vBRAS-C與vBRAS-U的連接鏈路，因此轉(zhuǎn)控分離的可靠性包括：vBRAS-C的可靠性、vBRAS-U的可靠性、vBRAS-C與vBRAS-U連接的可靠性。

針對vBRAS-C的可靠性，通過引入共享數(shù)據(jù)庫的方式實現(xiàn)1∶的故障保護機制。vBRAS-C的高可靠方案如圖9所示。

從vBRAS-C軟件模塊中獨立一個統(tǒng)一配置管理模塊（UCM）來管理全部的vBRAS-C，通過共享數(shù)據(jù)庫機制，所有的用戶會話表項保存于此數(shù)據(jù)庫中，所有vBRAS-C無狀態(tài)，當(dāng)某一個vBRAS-C出現(xiàn)故障時，UCM將重新生成一個新的vBRAS-C，將故障vBRAS-C的用戶會話表運行數(shù)據(jù)恢復(fù)到新的vBRAS-C中，并將故障vBRAS-C管理的vBRAS-U重定向到新vBRAS-C，對于用戶而言無感知，實現(xiàn)vBRAS-C的可靠性保障。

圖9　vBRAS-C的高可靠方案

vBRAS-U的可靠性，除了原來硬件BRAS的1+1備份方式外，還可以采用如圖10所示的負荷分擔(dān)方式的備份方式。

其中vBRAS-U1和vBRAS-U2是兩個相互獨立的匯聚局的設(shè)備，OLT通過匯聚交換機與vBRAS-U1和vBRAS-U2都有鏈路。當(dāng)vBRAS-U1出現(xiàn)故障時，vBRAS-C檢測到vBRAS-U1不可用，將把vBRAS-U1上的活動用戶會話表下發(fā)到vBRAS-U2，同時，匯聚交換機也檢測到vBRAS-U1不可用，將用戶上行鏈路指向vBRAS-U2，實現(xiàn)vBRAS-U2的熱備份。如果是vBRAS-U感知與vBRAS-C失聯(lián)，現(xiàn)有業(yè)務(wù)離線保持，即已經(jīng)上線用戶業(yè)務(wù)不變，新用戶無法上線。

至于vBRAS-C和vBRAS-U連接的可靠性，首先vBRAS-C和vBRAS-U之間的連接隧道采用VxLAN技術(shù)，本身就是處于overlay層，當(dāng)承載VxLAN隧道的物理設(shè)備或者物理鏈路出現(xiàn)故障時，這個underlay承載網(wǎng)絡(luò)自身就有故障恢復(fù)機制，能夠保證VxLAN隧道自愈。即使underlay網(wǎng)絡(luò)無法恢復(fù)，vBRAS-C和vBRAS-U之間還有echo心跳檢測機制來選擇其他vBRAS-U來承載用戶。

5.3 vBRAS轉(zhuǎn)控分離在IPTV業(yè)務(wù)的應(yīng)用

當(dāng)前的轉(zhuǎn)控分離方案的轉(zhuǎn)發(fā)面選擇有x86、NP和ASIC芯片方案，上文介紹了3種方案的特點和適用場景，本節(jié)將詳細介紹ASIC方案應(yīng)用在IPTV業(yè)務(wù)的創(chuàng)新方案。由于ASIC形態(tài)的vBRAS-U有高速的報文轉(zhuǎn)發(fā)性能、低廉的建設(shè)成本，因此十分適合運營商自營的采用IPoE方式認證的IPTV視頻業(yè)務(wù)。

圖10　vBRAS-U的高可靠方案

運營商自營的IPTV業(yè)務(wù)一般是采用機頂盒作為用戶終端，并且為用戶的家庭網(wǎng)關(guān)（光纖入戶的網(wǎng)關(guān)是ONU）分配一個端口供IPTV業(yè)務(wù)使用。基于ASIC的IPTV轉(zhuǎn)控分離方案組網(wǎng)簡化示意如圖11所示。

ASIC形態(tài)的vBRAS-U設(shè)備收到IPoE控制報文后，將此報文透傳到vBRAS-C資源池進行處理，vBRAS-C與AAA系統(tǒng)進行用戶認證交互，認證通過后將給用戶端設(shè)備分配IP地址，并給vBRAS-U下發(fā)指導(dǎo)后續(xù)轉(zhuǎn)發(fā)的用戶會話表。vBRAS-U將收到的用戶流表轉(zhuǎn)化為交換機硬件轉(zhuǎn)發(fā)表項保存本地，后續(xù)用戶數(shù)據(jù)在本地查表直接由高性能硬件轉(zhuǎn)發(fā)。同時，vBRAS-U將vBRAS-C為其分配的網(wǎng)段地址通過路由協(xié)議發(fā)布出去，使IPTV業(yè)務(wù)系統(tǒng)（CDN等）學(xué)習(xí)到客戶的地址。vBRAS-C和vBRAS-U的網(wǎng)關(guān)需要配置為相同的IP地址和MAC地址，認證通過后的數(shù)據(jù)報文直接由vBRAS-U進行處理，上行的數(shù)據(jù)報文目的MAC地址匹配vBRAS-U上的網(wǎng)關(guān)，查路由表直接進行三層轉(zhuǎn)發(fā)；下行的數(shù)據(jù)報文在vBRAS-U上查找用戶信息流表，匹配目的IP地址進行轉(zhuǎn)發(fā)。IPTV業(yè)務(wù)轉(zhuǎn)控分離基本流程如圖12所示。

圖11　vBRAS-U的高可靠方案

在機頂盒正式開始使用前，必須進行終端認證，以便能分配到IPTV業(yè)務(wù)的IP地址以及能接入IPTV的業(yè)務(wù)系統(tǒng)中。機頂盒向vBRAS-U發(fā)起DHCP請求，vBRAS-U設(shè)備進行報文識別，判斷此報文是協(xié)議控制報文還是數(shù)據(jù)報文，如果是協(xié)議控制報文，將透傳給vBRAS-C資源池進行處理，vBRAS-C與AAA系統(tǒng)進行認證交互，認證通過后為機頂盒分配IPTV業(yè)務(wù)的IP地址，并且vBRAS-C將用戶信息表項（包含IP地址、MAC地址、VxLAN ID、QinQ、出端口）組裝為用戶信息ARP流表下發(fā)給vBRAS-U，用于指導(dǎo)下行數(shù)據(jù)報文的轉(zhuǎn)發(fā)。如果是數(shù)據(jù)報文，vBRAS-U將直接與IPTV業(yè)務(wù)系統(tǒng)進行數(shù)據(jù)交換。

以上流程是IPTV業(yè)務(wù)IP地址獲取、點播功能的流程，針對IPTV業(yè)務(wù)的多播功能，用戶在認證通過以后，將用戶加入vBRAS-U的多播組中，與城域網(wǎng)原有多播模式類似：多播復(fù)制點下沉到OLT，OLT上開啟多播VLAN，ASIC形態(tài)的vBRAS-U啟用PIM和IGMP實現(xiàn)多播的分發(fā)。

6 總結(jié)與展望

網(wǎng)絡(luò)重構(gòu)不是一蹴而就，就像羅馬城不是一天建成的。在以DC化為核心的網(wǎng)絡(luò)重構(gòu)方向下，運營商應(yīng)該快速地以各類業(yè)務(wù)進行切入，在現(xiàn)網(wǎng)進行實踐探索。目前的大會話小流量業(yè)務(wù)和大流量的IPTV業(yè)務(wù)都是vBRAS和vBRAS轉(zhuǎn)控分離方案絕佳的適應(yīng)場景。通過現(xiàn)網(wǎng)實踐快速拉動產(chǎn)業(yè)鏈的發(fā)展，積累新架構(gòu)下的運維經(jīng)驗，快速將增值業(yè)務(wù)嵌入傳統(tǒng)業(yè)務(wù)中，實現(xiàn)網(wǎng)絡(luò)的自動化和業(yè)務(wù)的創(chuàng)新。

以vBRAS方案承載的大會話小流量的業(yè)務(wù)將在現(xiàn)網(wǎng)不斷提升規(guī)模，省級規(guī)模將推向千萬級，充分將vBRAS集中式資源池的能力發(fā)揮到最大。以vBRAS方案承載IPTV業(yè)務(wù)將在現(xiàn)網(wǎng)快速鋪開，該方案不僅僅在于承載一種業(yè)務(wù)，同時要考慮未來大容量轉(zhuǎn)發(fā)面的定制化灰牌機乃至白牌機的規(guī)范和標(biāo)準(zhǔn)制定，拉動產(chǎn)業(yè)鏈上游向城域網(wǎng)重構(gòu)方向發(fā)展[4]。

技術(shù)方案并不是網(wǎng)絡(luò)重構(gòu)的瓶頸，知識庫和運維運營架構(gòu)的更新將是運營商在接下來的重構(gòu)之路中面臨的首要問題。新華三在重構(gòu)方向上，不僅僅引領(lǐng)技術(shù)創(chuàng)新，也在不斷嘗試模式創(chuàng)新。傳統(tǒng)意義上的設(shè)備廠商定位已經(jīng)無法與運營商轉(zhuǎn)型重構(gòu)需求相匹配。新華三將突破傳統(tǒng)模式，通過端到端并且可解耦的方案，為運營商進行軟件賦能和運營賦能。網(wǎng)絡(luò)不僅僅只提供管道業(yè)務(wù)，網(wǎng)絡(luò)與云結(jié)合通過聚合通信能力、互聯(lián)網(wǎng)能力和行業(yè)能力實現(xiàn)運營商整體服務(wù)的升維。

[1] 網(wǎng)絡(luò)重構(gòu), 美國運營商收獲頭茬果實[N]. 人民郵電報, 2017-11-14.

Network reconfiguration, American operators harvest the first crop[N]. Renmin Youdian, 2017-11-14.

[2] 趙輝, 丁鳴, 程青松, 等. SDN與NFV技術(shù)在云數(shù)據(jù)中心的規(guī)模應(yīng)用[J]. 電信科學(xué), 2016, 32(1): 144-151.

ZHAO H, DING M, CHENG Q S, et al. Application of SDN and NFV technology in the cloud data center[J]. Telecommunications Science, 2016, 32(1): 144-151.

[3] 中國聯(lián)通網(wǎng)絡(luò)技術(shù)研究院. 中國聯(lián)通邊緣業(yè)務(wù)平臺架構(gòu)及產(chǎn)業(yè)生態(tài)白皮書[R]. 2018.

China Unicom Network Technology Research Institute. China Unicom’s edge business platform structure and industrial ecology white paper[R]. 2018.

[4] 韋樂平. SDN的戰(zhàn)略性思考[J]. 電信科學(xué), 2015, 31(1): 7-12.

WEI L P. Strategic thinking on SDN [J]. Telecommunications Science, 2015, 31(1): 7-12.

Telecom cloud solution in re-architecture of MAN

CHEN Ding, ZHANG Tao, LIU Ke, LAN Qiang

New H3C Technologies Co., Ltd., Hangzhou 310052, China

Evolving the legacy network to SDN/NFV network is the strategy of carrier network re-architecture. Based on large-scale cases, multi-tier data centers architecture, application-driven telecom cloud infrastructure, vBRAS pool and C-U separation solutions were proposed. Session-consumed services and IPTV are the first several services that can be implemented by the new solution in MAN. And in those usecases, the carriers’ operators really combine the IT and CT operation teams into one virtual team, and push the evolution gradually.

network re-architecture, telecom cloud, SDN/NFV, vBRAS, control-user plane separation

TP393.1

A

10.11959/j.issn.1000?0801.2018219

2018?06?16；

2018?07?10

陳鼎（1983?），女，新華三技術(shù)有限公司運營商資深產(chǎn)品經(jīng)理，主要研究方向為運營商IP網(wǎng)絡(luò)、電信云、網(wǎng)絡(luò)重構(gòu)、城域網(wǎng)SDN/NFV等。

張濤（1978?），男，新華三技術(shù)有限公司運營商高級產(chǎn)品經(jīng)理，主要研究方向為運營商IP網(wǎng)絡(luò)、云計算技術(shù)、城域網(wǎng)絡(luò)SDN/NFV演進等。

劉可（1972?），男，新華三技術(shù)有限公司運營商高級產(chǎn)品經(jīng)理，主要研究方向為運營商IP網(wǎng)絡(luò)演進、SDN、NFV、overlay等新技術(shù)對運營商城域網(wǎng)重構(gòu)的應(yīng)用。

蘭強（1992?），男，新華三技術(shù)有限公司運營商產(chǎn)品經(jīng)理，主要研究方向為運營商IP網(wǎng)絡(luò)、數(shù)據(jù)中心SDN/NFV技術(shù)演進。