數(shù)據(jù)網(wǎng)絡(luò)重構(gòu)與云化演進(jìn)的探索和實(shí)踐

屠禮彪，李 彤，郭愛鵬（.中國聯(lián)通集團(tuán)網(wǎng)絡(luò)發(fā)展部，北京0003；.中國聯(lián)通網(wǎng)絡(luò)技術(shù)研究院，北京00048）

1 數(shù)據(jù)網(wǎng)絡(luò)現(xiàn)狀與業(yè)務(wù)挑戰(zhàn)

1.1 寬帶數(shù)據(jù)網(wǎng)的結(jié)構(gòu)

中國聯(lián)通寬帶數(shù)據(jù)網(wǎng)的結(jié)構(gòu)從上到下可以分為169骨干網(wǎng)、IP城域網(wǎng)和寬帶接入網(wǎng)，它的定位是承載家庭寬帶上網(wǎng)、IPTV、VoIP、政企專線等業(yè)務(wù)。在每個(gè)城市有一個(gè)獨(dú)立的IP城域網(wǎng)，IP城域網(wǎng)作為寬帶接入網(wǎng)與核心骨干網(wǎng)絡(luò)之間的橋梁，它的網(wǎng)絡(luò)層級可分成核心、匯聚以及業(yè)務(wù)控制層。核心層一般為雙節(jié)點(diǎn)，可擴(kuò)展單節(jié)點(diǎn)容量；匯聚層是應(yīng)用于特大型城域網(wǎng)（如北京、天津等），連接核心層和業(yè)務(wù)控制層；業(yè)務(wù)控制層主要分為2類設(shè)備：BRAS和SR，BRAS設(shè)備負(fù)責(zé)個(gè)人用戶（HSI/IPTV等）接入控制，配合AAA實(shí)現(xiàn)認(rèn)證和計(jì)費(fèi)，并進(jìn)行帶寬控制；SR設(shè)備負(fù)責(zé)企業(yè)用戶接入控制，也用于IPTV承載。

典型的寬帶數(shù)據(jù)網(wǎng)的結(jié)構(gòu)架構(gòu)如圖1所示。

現(xiàn)有的寬帶數(shù)據(jù)網(wǎng)中各層級大都采用了專有硬件設(shè)備和私有接口，系統(tǒng)封閉且運(yùn)營復(fù)雜，其主要問題為：

圖1 寬帶數(shù)據(jù)網(wǎng)的結(jié)構(gòu)

a）網(wǎng)絡(luò)剛性：網(wǎng)絡(luò)由大量單一功能的專用設(shè)備構(gòu)成，網(wǎng)絡(luò)缺乏靈活性。

b）網(wǎng)元封閉：網(wǎng)元采用軟硬件一體化的封閉架構(gòu)，功能擴(kuò)展性差、價(jià)格昂貴。

c）業(yè)務(wù)煙囪：新業(yè)務(wù)、新功能的提供需要開發(fā)新設(shè)備、新協(xié)議，造成設(shè)備種類和網(wǎng)絡(luò)數(shù)量大且形成縱向業(yè)務(wù)煙囪，業(yè)務(wù)難以融合，新業(yè)務(wù)開發(fā)困難，難以滿足快速靈活的業(yè)務(wù)部署需要。

d）運(yùn)營復(fù)雜：存在大量廠家、大量類型各異的專用設(shè)備和系統(tǒng)，規(guī)劃、建設(shè)和運(yùn)維復(fù)雜，運(yùn)營成本居高不下。

1.2 傳統(tǒng)數(shù)據(jù)業(yè)務(wù)面臨的挑戰(zhàn)

隨著“寬帶中國”戰(zhàn)略的推行，IPTV、4K等高帶寬應(yīng)用業(yè)務(wù)的增多，加快了光纖寬帶的提升和普及延伸，家庭寬帶用戶對傳統(tǒng)數(shù)據(jù)業(yè)務(wù)以及網(wǎng)絡(luò)服務(wù)質(zhì)量的要求不斷提升。

另一方面，隨著云計(jì)算、大數(shù)據(jù)以及物聯(lián)網(wǎng)業(yè)務(wù)的快速發(fā)展，政企用戶也提出了更高的要求，但由于目前數(shù)據(jù)網(wǎng)中存在剛性、網(wǎng)元封閉等問題，很難快速高效地適應(yīng)這種變化，傳統(tǒng)數(shù)據(jù)業(yè)務(wù)面臨著巨大挑戰(zhàn)。

傳統(tǒng)數(shù)據(jù)業(yè)務(wù)面臨的四大挑戰(zhàn)。

a）開通周期長：傳統(tǒng)政企專線受理、調(diào)度和開通過于人工化，多業(yè)務(wù)分割且依賴半人工半客戶經(jīng)理角色的工單模式，導(dǎo)致專線及傳輸專線業(yè)務(wù)開通周期長，部分邊遠(yuǎn)地（市）無資源，建設(shè)周期長。從受理到開通以周為單位。

b）業(yè)務(wù)資費(fèi)高：省內(nèi)跨域組網(wǎng)和MV業(yè)務(wù)，采用傳統(tǒng)傳輸或承載A網(wǎng)，資費(fèi)高，市場競爭力差。

c）定制能力差：傳統(tǒng)城域網(wǎng)專線、傳輸專線都有固定的業(yè)務(wù)模板，無法根據(jù)政企用戶的需求靈活調(diào)整。

d）云網(wǎng)不協(xié)同：專線和云從業(yè)務(wù)受理到開通維護(hù)都有不同的團(tuán)隊(duì)和流程負(fù)責(zé)，多云部署是業(yè)界常態(tài)，千人以上大企業(yè)85%采用多云方案。

為全面應(yīng)對傳統(tǒng)數(shù)據(jù)業(yè)務(wù)所面臨的挑戰(zhàn)，中國聯(lián)通近年來一直在大力探索行之有效的解決方案。隨著CORD架構(gòu)的提出，以及SDN、NFV技術(shù)的逐步發(fā)展和落地，為數(shù)據(jù)網(wǎng)絡(luò)的變革與云化帶來了新的機(jī)遇。同時(shí)，云計(jì)算技術(shù)的大力發(fā)展，多云管理方式也越來越成熟可靠，給云網(wǎng)一體的快速交付落地提供了助力。

1.3 政企業(yè)務(wù)新形態(tài)，推動(dòng)網(wǎng)絡(luò)云化轉(zhuǎn)型

中國聯(lián)通在2018年政企新產(chǎn)品發(fā)布會上，提出了基于“云”的多個(gè)政企產(chǎn)品（見表1），目的就是解決傳統(tǒng)業(yè)務(wù)的諸多問題，打造云網(wǎng)一體的全新架構(gòu)。

云與網(wǎng)深度融合，相互協(xié)同，云在網(wǎng)上，網(wǎng)在云中。云網(wǎng)融合可以幫助運(yùn)營商“以網(wǎng)促云、以云帶網(wǎng)”。最終實(shí)現(xiàn)云網(wǎng)一體化的綜合服務(wù)目標(biāo)。

2 基于CORD的新型IP城域架構(gòu)

2.1 新型IP城域架構(gòu)的主要技術(shù)

CORD（Central Office Re-architected as Datacen?ter）是網(wǎng)絡(luò)重構(gòu)的重要方向。目標(biāo)主要是希望借助SDN、NFV和云計(jì)算技術(shù)，實(shí)現(xiàn)資源的集約化部署和全局調(diào)度，將網(wǎng)絡(luò)功能軟件化并實(shí)現(xiàn)軟件和硬件解耦，同時(shí)還要具備開放、靈活的特點(diǎn)。

SDN技術(shù)解決了網(wǎng)絡(luò)智能控制和能力開放的問題，大大提高資源利用率，實(shí)現(xiàn)了按需靈活調(diào)度的功能。

NFV是基于通用化的硬件和虛擬化技術(shù)，承載多種軟件功能。可以屏蔽多種專有硬件設(shè)備的專用端口，避免復(fù)雜的服務(wù)開通流程。NFV的目的是降低成本，提升運(yùn)營效率，縮短建設(shè)周期。

云化是網(wǎng)絡(luò)重構(gòu)的基礎(chǔ)，為網(wǎng)絡(luò)虛擬化和業(yè)務(wù)功能虛擬化提供云資源池基礎(chǔ)設(shè)施。

在CORD架構(gòu)下，SDN、NFV結(jié)合云計(jì)算逐漸成熟的應(yīng)用成為網(wǎng)絡(luò)重構(gòu)的技術(shù)驅(qū)動(dòng)力，使得IP城域網(wǎng)逐步向云化方向演進(jìn)，原有多功能融合承載的網(wǎng)元將被一個(gè)個(gè)VNF功能模塊取代，最終在IP城域網(wǎng)內(nèi)形成以DC為核心，云化為特征的新型城域網(wǎng)。

2.2 新型IP城域架構(gòu)的主要特征

網(wǎng)絡(luò)重構(gòu)就是將云網(wǎng)協(xié)同，整合城域DC資源，構(gòu)建以邊緣DC、區(qū)域DC為中心，實(shí)現(xiàn)資源統(tǒng)一管理和業(yè)務(wù)邏輯隔離，打造云網(wǎng)協(xié)同的統(tǒng)一IP城域網(wǎng)絡(luò)架構(gòu)。

表1 基于“云”的多個(gè)政企產(chǎn)品

在網(wǎng)元方面，實(shí)現(xiàn)網(wǎng)元的重構(gòu)化、虛擬化，把傳統(tǒng)BNG和CPE等網(wǎng)元進(jìn)行NFV化，移入DC，實(shí)現(xiàn)控制和業(yè)務(wù)資源池組化，資源彈性按需擴(kuò)展，同時(shí)進(jìn)行SDN化升級，逐步實(shí)現(xiàn)網(wǎng)絡(luò)服務(wù)云化部署。

在業(yè)務(wù)方面，一是將政企業(yè)務(wù)重構(gòu)。首先需要實(shí)現(xiàn)云網(wǎng)一體，通過部署云網(wǎng)協(xié)同編排器，實(shí)現(xiàn)政企業(yè)務(wù)“云+網(wǎng)”一站式服務(wù)能力；其次是實(shí)現(xiàn)業(yè)務(wù)隨選，將云計(jì)算和各種專線資源結(jié)合實(shí)現(xiàn)業(yè)務(wù)隨選和網(wǎng)絡(luò)資源彈性伸縮；最后是多云管理，部署多云管理平臺，幫助政企用戶實(shí)現(xiàn)公有云、私有云、混合云的協(xié)同管理。

二是將家寬業(yè)務(wù)重構(gòu)。引入轉(zhuǎn)控分離，一控多轉(zhuǎn)，對控制流和業(yè)務(wù)流量區(qū)別處理，降低網(wǎng)絡(luò)擴(kuò)容成本；另一方面是將控制面集中，統(tǒng)一城域邊緣業(yè)務(wù)網(wǎng)元的控制面，實(shí)現(xiàn)資源統(tǒng)一管理和靈活調(diào)整；同時(shí)，引入城域業(yè)務(wù)編排器，實(shí)現(xiàn)靈活的業(yè)務(wù)編排和網(wǎng)絡(luò)能力開放。

3 IP城域網(wǎng)重構(gòu)與云化演進(jìn)的探索

為積極跟蹤SDN、NFV及云技術(shù)的發(fā)展，從2016年開始，中國聯(lián)通集團(tuán)公司在部分IP城域網(wǎng)內(nèi)組織進(jìn)行了網(wǎng)絡(luò)重構(gòu)和云化演進(jìn)的試點(diǎn)。2016年，集團(tuán)選取了山東、天津、江蘇3省（市）進(jìn)行試點(diǎn)，初見成效。2017年，試點(diǎn)規(guī)模擴(kuò)張到了8省，以DC為核心調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)，統(tǒng)一城域邊緣業(yè)務(wù)網(wǎng)元的控制面，引入NFV增強(qiáng)網(wǎng)元的靈活性，實(shí)現(xiàn)IP網(wǎng)元通用化目標(biāo)。

主要在vBRAS（山東、安徽等?。?、云化端局（河北雄安）、VDC（廣東）等方面進(jìn)行現(xiàn)網(wǎng)技術(shù)驗(yàn)證，各地試點(diǎn)均取得了階段性的成果。

3.1 國內(nèi)最大規(guī)模的vBRAS全業(yè)務(wù)承載局點(diǎn)

棗莊新型城域網(wǎng)試點(diǎn)利用棗莊聯(lián)通現(xiàn)有IDC機(jī)房的空余機(jī)架和鏈路資源，采用廠商提供的全套NFV系統(tǒng)部署實(shí)施，為試點(diǎn)的區(qū)縣用戶提供和現(xiàn)有BRAS一樣的全業(yè)務(wù)能力，從而驗(yàn)證新型城域網(wǎng)架構(gòu)的業(yè)務(wù)能力和可靠性。棗莊聯(lián)通城域網(wǎng)DC拓?fù)淙鐖D2所示。

山東棗莊vBRAS試點(diǎn)方案是目前國內(nèi)最大規(guī)模的vBRAS全業(yè)務(wù)現(xiàn)網(wǎng)局點(diǎn)的成功案例。2017年11月完成割接，實(shí)現(xiàn)寬帶用戶3萬，IPTV業(yè)務(wù)1.5萬，專線200+條。

試點(diǎn)方案采用CORD理念重構(gòu)城域網(wǎng)邊緣節(jié)點(diǎn)，提供基于SDN的業(yè)務(wù)能力平臺，NFV云資源池化，實(shí)現(xiàn)了全業(yè)務(wù)承載。創(chuàng)新地采用NFV+交換機(jī)兩級扁平化架構(gòu)，打造彈性靈活的業(yè)務(wù)資源池。IPTV實(shí)現(xiàn)了轉(zhuǎn)控分離，優(yōu)化了IPTV視頻流量，大幅降低流量成本，并提供基于MANO的業(yè)務(wù)編排能力，為今后新業(yè)務(wù)的引入帶來便利。

使用vBRAS作為IPTV視頻業(yè)務(wù)的控制節(jié)點(diǎn)，Pool-GW或城域網(wǎng)POP交換機(jī)做視頻業(yè)務(wù)的轉(zhuǎn)發(fā)節(jié)點(diǎn)，實(shí)現(xiàn)IPTV視頻業(yè)務(wù)的轉(zhuǎn)控分離，解決大流量視頻業(yè)務(wù)對BRAS的沖擊，大幅降低BRAS擴(kuò)容的成本。

同時(shí)，在安全方面，由于vBRAS是基于NFV架構(gòu)，有別于傳統(tǒng)BRAS，試點(diǎn)資源池進(jìn)行了全面的漏掃和安全加固。在網(wǎng)管方面，棗莊試點(diǎn)已和IP綜合網(wǎng)管系統(tǒng)實(shí)現(xiàn)了vBRAS網(wǎng)元的對接，省網(wǎng)管已實(shí)現(xiàn)監(jiān)控整個(gè)棗莊試點(diǎn)vBRAS資源池的運(yùn)行情況。在投資方面，原有BRAS設(shè)備下電，板卡調(diào)撥利舊到其他城域網(wǎng)擴(kuò)容，確保了前期投資不浪費(fèi)。

圖2 棗莊聯(lián)通城域網(wǎng)DC拓?fù)?/p>

IP網(wǎng)元通用化大幅降低了CAPEX和OPEX。以山東棗莊IP城域網(wǎng)為例，部署傳統(tǒng)BRAS設(shè)備14臺，設(shè)備投資約838萬元，年電費(fèi)消耗約35.74萬元。采用vBRAS組網(wǎng)，設(shè)備集中部署，需要服務(wù)器約15臺、交換機(jī)2臺，設(shè)備投資約250萬元，年電費(fèi)消耗約13.58萬元。在同等用戶規(guī)模的情況下，vBRAS的建設(shè)成本約為傳統(tǒng)BRAS的30%，年運(yùn)營成本約為傳統(tǒng)設(shè)備的35%，整體提升網(wǎng)絡(luò)投資性價(jià)比。

3.2 基于VxLAN的VDC網(wǎng)絡(luò)

廣東聯(lián)通將VxLAN引入城域網(wǎng)和IDC中，率先打造了中國聯(lián)通最大的一張基于VxLAN技術(shù)的VDC網(wǎng)絡(luò)。目前，廣東聯(lián)通VxLAN專網(wǎng)已初步具備“云+網(wǎng)”統(tǒng)一交付能力，具有跨省份專線入云的快速業(yè)務(wù)部署能力和跨地域容災(zāi)備份能力，實(shí)現(xiàn)了RMS業(yè)務(wù)以及21個(gè)地（市）100多家政企用戶接入VDC并商用，為云網(wǎng)一體化政企產(chǎn)品的商用提供了可行的解決方案。廣東聯(lián)通VDC網(wǎng)絡(luò)方案拓?fù)湓斠妶D3。

廣東聯(lián)通的VDC網(wǎng)絡(luò)方案采用SDN架構(gòu)，利用虛擬化資源、自動(dòng)化部署廣域網(wǎng)VxLAN隧道、可視化管理等技術(shù)手段，加速服務(wù)交付，提升廣域網(wǎng)性能及可用性，簡化運(yùn)維，降低總體成本。

圖3 廣東聯(lián)通VDC網(wǎng)絡(luò)方案拓?fù)?/p>

2018年通過部署自服務(wù)Portal、編排器、CMP平臺實(shí)現(xiàn)多云納管，完善“多云+網(wǎng)”的云網(wǎng)一體的用戶自服務(wù)交付能力，帶動(dòng)專線建設(shè)與銷售。

3.3 云化端局，網(wǎng)絡(luò)智能

雄安新區(qū)聯(lián)通在新區(qū)對城域網(wǎng)實(shí)施了網(wǎng)絡(luò)架構(gòu)重構(gòu)，一期建設(shè)了3個(gè)核心數(shù)據(jù)中心，構(gòu)建新型電信云、業(yè)務(wù)云綜合承載寬帶、高清視頻等多項(xiàng)業(yè)務(wù)，并同時(shí)通過全面虛擬化實(shí)現(xiàn)網(wǎng)絡(luò)重構(gòu)，驗(yàn)證基于云化端局的新型IP城域網(wǎng)的可用性。

在SegmentRouting等新技術(shù)下，以智能彈性網(wǎng)絡(luò)增進(jìn)業(yè)務(wù)部署的靈活性，大幅提升了城域網(wǎng)的服務(wù)能力與運(yùn)維水平，滿足各類信息通信業(yè)務(wù)在新區(qū)的彈性發(fā)展需求。

河北聯(lián)通雄安新區(qū)云化端局網(wǎng)絡(luò)架構(gòu)詳見圖4。

圖4 河北聯(lián)通雄安新區(qū)云化端局網(wǎng)絡(luò)架構(gòu)

截至目前，雄安聯(lián)通新網(wǎng)絡(luò)已能為新區(qū)家庭、社區(qū)與政企客戶提供包括全光高速寬帶網(wǎng)絡(luò)快速接入等低時(shí)延、高帶寬的網(wǎng)絡(luò)及云服務(wù)。達(dá)到了簡化運(yùn)維、業(yè)務(wù)快速開通、網(wǎng)絡(luò)智能化、可視化、流量靈活調(diào)度、全業(yè)務(wù)承載的能力。

3.4 現(xiàn)網(wǎng)平滑升級到CU分離

合肥聯(lián)通的新型城域網(wǎng)試點(diǎn)采用原有設(shè)備的平滑升級，實(shí)現(xiàn)硬件無改變，現(xiàn)網(wǎng)設(shè)備利舊，平滑升級到CU分離方案，節(jié)省成本，保護(hù)投資。

CU分離方案是將轉(zhuǎn)發(fā)與控制模塊相互獨(dú)立，控制面部署在VM云資源池，轉(zhuǎn)發(fā)面采用現(xiàn)有BRAS，保障轉(zhuǎn)發(fā)能力，滿足網(wǎng)絡(luò)高質(zhì)量要求；同時(shí)將資源池云化，整體提升資源利用率。

3.5 網(wǎng)絡(luò)重構(gòu)和云化演進(jìn)的試點(diǎn)帶來顯著效果

3.5.1 效果1：提升網(wǎng)絡(luò)競爭力

a）轉(zhuǎn)控分離：對控制流和業(yè)務(wù)流量區(qū)別處理，根據(jù)轉(zhuǎn)發(fā)設(shè)備特性承載不同業(yè)務(wù)流量，降低網(wǎng)絡(luò)擴(kuò)容成本。

b）集中控制：統(tǒng)一城域邊緣業(yè)務(wù)網(wǎng)元的控制面，實(shí)現(xiàn)資源統(tǒng)一管理、業(yè)務(wù)端到端部署和靈活調(diào)整。

c）能力開放：引入城域業(yè)務(wù)編排器，為業(yè)務(wù)的開發(fā)提供開放的API接口。迭代性的軟件開發(fā)成為今后網(wǎng)絡(luò)投資的重點(diǎn)。

3.5.2 效果2：提高投資有效性

a）效益改善：IP網(wǎng)元通用化大幅降低了CAPEX和OPEX，整體提升了網(wǎng)絡(luò)投資性價(jià)比。

b）差異服務(wù)：基于通用服務(wù)器和交換機(jī)，更易進(jìn)行數(shù)據(jù)分揀和輸出，便于大數(shù)據(jù)、AI等新業(yè)務(wù)開發(fā)。

c）簡化運(yùn)維：集中運(yùn)維，簡化管理，符合互聯(lián)網(wǎng)化新運(yùn)營的實(shí)踐需要。

4 后續(xù)演進(jìn)發(fā)展思路

今后，將繼續(xù)以DC為中心，完善網(wǎng)絡(luò)與DC布局，推進(jìn)網(wǎng)絡(luò)扁平化及流量疏導(dǎo)。在IP城域網(wǎng)及DC出口協(xié)同控制，進(jìn)行流量流向按需優(yōu)化，提升網(wǎng)絡(luò)靈活性，降低網(wǎng)絡(luò)建設(shè)成本。推進(jìn)轉(zhuǎn)控分離、網(wǎng)元虛擬化改造，以及軟硬件解耦工作，提升轉(zhuǎn)發(fā)面性能指標(biāo)。并且將繼續(xù)深入探索業(yè)務(wù)靈活遷移及均衡承載能力，充分發(fā)掘設(shè)備潛力，提高網(wǎng)絡(luò)資源利用率。

中國聯(lián)通將繼續(xù)探索和實(shí)踐網(wǎng)絡(luò)重構(gòu)，逐步推進(jìn)IP城域網(wǎng)的云化演進(jìn)發(fā)展，將以新技術(shù)、新網(wǎng)絡(luò)以及新模式打造全新的數(shù)據(jù)網(wǎng)絡(luò)。