一種面向企業(yè)廣域網(wǎng)的新型算力連接和路由技術(shù)試點(diǎn)方案

慶祖良，史庭祥，徐法祿，張 健，徐 方

(1.中國(guó)移動(dòng)通信集團(tuán)江蘇有限公司，江蘇 南京 210012；2.移動(dòng)網(wǎng)絡(luò)和移動(dòng)多媒體技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，廣東 深圳 518055；3.中興通訊股份有限公司，江蘇 南京 210012)

0 引言

伴隨千行百業(yè)的應(yīng)用上云和5G網(wǎng)絡(luò)大規(guī)模建設(shè)接近尾聲,流量“增量不增收”已使運(yùn)營(yíng)商依賴的流量經(jīng)營(yíng)模式難以支撐收入持續(xù)、大幅增長(zhǎng)。近些年發(fā)展起來(lái)的運(yùn)營(yíng)商云業(yè)務(wù),即依托數(shù)據(jù)中心(DC)的服務(wù)器和云資源租賃業(yè)務(wù),成為運(yùn)營(yíng)商收入第二曲線的切入點(diǎn)。誠(chéng)然,圍繞應(yīng)用建設(shè)的算力基礎(chǔ)設(shè)施和網(wǎng)絡(luò)基礎(chǔ)設(shè)施,其控制權(quán)原由互聯(lián)網(wǎng)云商和運(yùn)營(yíng)商各自擁有,對(duì)外體現(xiàn)為“應(yīng)用算力”和“網(wǎng)絡(luò)運(yùn)力”[1-2],但是圍繞算力業(yè)務(wù)構(gòu)建新型網(wǎng)絡(luò)毫無(wú)爭(zhēng)議地成為運(yùn)營(yíng)商實(shí)現(xiàn)算力時(shí)代下基礎(chǔ)通信網(wǎng)絡(luò)升級(jí)的差異化戰(zhàn)略的絕佳抓手。

投射到企業(yè)網(wǎng)絡(luò)上,在企業(yè)應(yīng)用普遍上云的背景下,企業(yè)網(wǎng)絡(luò)不得不面對(duì)既要在應(yīng)用的客戶端和服務(wù)端之間搭建低成本連接通道,又要盡可能保障用戶體驗(yàn)、達(dá)成服務(wù)端算力有效利用的兩難境地。換言之,隨著用戶在跨地、多園區(qū)和居家辦公等接入泛在化,及算力和各種內(nèi)部應(yīng)用分布在多地DC的算力泛在化,企業(yè)亟待解決分布于多地園區(qū)通過(guò)專線互聯(lián)組成的規(guī)模廣域網(wǎng)(Wide Area Network,WAN)如何保障算力部分有效連接的難題。

具體而言,面臨兩方面的挑戰(zhàn):

① 從宏觀政策和產(chǎn)業(yè)現(xiàn)狀趨勢(shì)角度,分布在多地的DC等算力基礎(chǔ)設(shè)施建設(shè)已成為國(guó)家政策和產(chǎn)業(yè)層面的雙重?zé)狳c(diǎn),既追求資源的規(guī)模化,又體現(xiàn)資源在多地分布的均衡性。

國(guó)家政策層面:2021年3月,《國(guó)家“十四五”規(guī)劃和2035年遠(yuǎn)景目標(biāo)綱要》提出“數(shù)據(jù)中心和智能計(jì)算中心”建設(shè)納入新型信息基礎(chǔ)設(shè)施的范圍。同年5月,發(fā)改委、工信部和能源局聯(lián)合發(fā)布《全國(guó)一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系算力樞紐實(shí)施方案》,啟用建設(shè)東西部4+4國(guó)家算力樞紐節(jié)點(diǎn),“東數(shù)西算”工程正式全面啟動(dòng)[3-4]。

產(chǎn)業(yè)層面和市場(chǎng)情況:OTT云商已布局DC外遷,騰訊、京東參與成渝節(jié)點(diǎn)申報(bào),華為在甘肅、重慶多地申報(bào)DC建設(shè)。同時(shí),算力基礎(chǔ)設(shè)施投入巨大,阿里云在2020年宣布未來(lái)三年投入2 000億元建設(shè)DC,騰訊未來(lái)五年投入5 000億,滿足千行百業(yè)的算力需求。

運(yùn)營(yíng)商方面:不僅加大資源投入,如三大運(yùn)營(yíng)商著力建設(shè)分布于多地的云DC,而且2021年下半年,中國(guó)移動(dòng)集團(tuán)將“算力網(wǎng)絡(luò)”提升到戰(zhàn)略目標(biāo)的高度,在構(gòu)建的“連接+算力+能力”的新型網(wǎng)絡(luò)中算力承擔(dān)著“資源中臺(tái)”的承上啟下的中樞角色,同時(shí)圍繞算力建設(shè)網(wǎng)絡(luò),算力的網(wǎng)絡(luò)化和網(wǎng)絡(luò)的算力化相得益彰,為通信網(wǎng)絡(luò)和云計(jì)算的網(wǎng)絡(luò)轉(zhuǎn)型和經(jīng)營(yíng)轉(zhuǎn)型指明方向,昭示著算力供給的大變革已到來(lái)[5-7]。

② 從多業(yè)務(wù)質(zhì)量(QoS)保障的應(yīng)用場(chǎng)景出發(fā),基于不同業(yè)務(wù)的不同質(zhì)量需求的傳統(tǒng)QoS保障方案,面臨多地接入、多個(gè)用戶、多種業(yè)務(wù)的流量調(diào)度和管理的復(fù)雜場(chǎng)景的挑戰(zhàn)。

具體而言,以園區(qū)的辦公、研發(fā)和生產(chǎn)場(chǎng)景為例,除基本的網(wǎng)頁(yè)瀏覽、工作郵件等辦公需求外,在主要的工作時(shí)間段內(nèi)還需要提供芯片仿真、軟件測(cè)試、多地接入的音視頻會(huì)議、實(shí)時(shí)語(yǔ)音通話、文件實(shí)時(shí)上傳和下載等業(yè)務(wù)。特別是隨著應(yīng)用引入分布式云原生[8]、容器技術(shù)和大規(guī)模云資源池,網(wǎng)絡(luò)面可見(jiàn)的業(yè)務(wù)數(shù)量大幅增加,相應(yīng)需要提供不同的網(wǎng)絡(luò)質(zhì)量,以保證差異化的業(yè)務(wù)質(zhì)量[9-11]。

1 傳統(tǒng)QoS技術(shù)

IP網(wǎng)絡(luò)的業(yè)務(wù)一般分為實(shí)時(shí)業(yè)務(wù)和非實(shí)時(shí)業(yè)務(wù)。實(shí)時(shí)業(yè)務(wù)往往希望占據(jù)固定帶寬,對(duì)網(wǎng)絡(luò)質(zhì)量變化感知明顯,對(duì)網(wǎng)絡(luò)質(zhì)量的穩(wěn)定性要求高,例如語(yǔ)音業(yè)務(wù)。非實(shí)時(shí)業(yè)務(wù)所占帶寬難以預(yù)測(cè),經(jīng)常會(huì)出現(xiàn)突發(fā)流量。突發(fā)流量會(huì)導(dǎo)致網(wǎng)絡(luò)質(zhì)量下降、引起網(wǎng)絡(luò)擁塞、增加轉(zhuǎn)發(fā)時(shí)延,嚴(yán)重時(shí)還會(huì)產(chǎn)生丟包,導(dǎo)致業(yè)務(wù)質(zhì)量下降甚至不可用。

解決網(wǎng)絡(luò)擁塞最好的辦法是增加網(wǎng)絡(luò)帶寬,但從運(yùn)營(yíng)、維護(hù)的成本考慮,這是不現(xiàn)實(shí)的,尤其對(duì)企業(yè)WAN而言受到昂貴的運(yùn)營(yíng)商O(píng)TN專線租賃費(fèi)用的嚴(yán)格約束,因此,最有效的解決方案是應(yīng)用一個(gè)“有保證”的策略對(duì)網(wǎng)絡(luò)流量進(jìn)行管理,即將QoS技術(shù)應(yīng)用于針對(duì)網(wǎng)絡(luò)有突發(fā)流量時(shí)需要保障重要業(yè)務(wù)質(zhì)量的場(chǎng)景。

在網(wǎng)絡(luò)中部署QoS技術(shù)來(lái)保證帶寬、時(shí)延和抖動(dòng)等IP度量指標(biāo)在一定的合理范圍內(nèi),從而提高網(wǎng)絡(luò)的服務(wù)質(zhì)量,這涉及到QoS模型。一般而言,除Best-Effort服務(wù)模型和IntServ服務(wù)模型外,當(dāng)前主流的是DiffServ服務(wù)模型。

DiffServ模型的基本原理是將網(wǎng)絡(luò)中的流量分成多個(gè)類,每個(gè)類享受不同的處理,尤其是網(wǎng)絡(luò)出現(xiàn)擁塞時(shí)不同的類會(huì)享受不同級(jí)別的處理,從而得到不同的丟包率、時(shí)延以及抖動(dòng)。同一類的業(yè)務(wù)在網(wǎng)絡(luò)中會(huì)被聚合起來(lái)統(tǒng)一發(fā)送,保證相同的時(shí)延、抖動(dòng)和丟包率等QoS指標(biāo)。

該模型是帶內(nèi)模式,即不需要信令。應(yīng)用程序發(fā)出報(bào)文前,不需要預(yù)先向網(wǎng)絡(luò)提出資源申請(qǐng),而通過(guò)設(shè)置報(bào)文的QoS參數(shù)信息,傳遞給網(wǎng)絡(luò)節(jié)點(diǎn)其QoS需求。網(wǎng)絡(luò)根據(jù)每個(gè)報(bào)文流指定的QoS參數(shù)信息來(lái)提供差分服務(wù),即對(duì)報(bào)文劃分QoS,差異化地進(jìn)行流量控制和轉(zhuǎn)發(fā)。DiffServ模型的優(yōu)點(diǎn)是將復(fù)雜的服務(wù)質(zhì)量保證通過(guò)報(bào)文自身攜帶的信息轉(zhuǎn)換為單跳行為,從而大大減少了信令的工作。

上述傳統(tǒng)QoS技術(shù),針對(duì)不同的業(yè)務(wù)提供不同的服務(wù),可以滿足語(yǔ)音、視頻以及數(shù)據(jù)等業(yè)務(wù)的不同服務(wù)需求。但是隨著企業(yè)跨地域發(fā)展,各種接入方式和應(yīng)用彼此交錯(cuò),帶來(lái)WAN設(shè)備的高速發(fā)展,接入用戶數(shù)和每個(gè)用戶的業(yè)務(wù)量也隨之顯著提升,傳統(tǒng)QoS技術(shù)遭遇挑戰(zhàn),局限性在企業(yè)WAN和復(fù)雜的企業(yè)應(yīng)用中表現(xiàn)為:

① 傳統(tǒng)QoS基于端口帶寬調(diào)度,流量管理基于服務(wù)等級(jí)進(jìn)行業(yè)務(wù)區(qū)分,但很難具備基于用戶和應(yīng)用進(jìn)行區(qū)分業(yè)務(wù)質(zhì)量的能力,因此比較適合部署在網(wǎng)絡(luò)核心側(cè),但不適合部署在業(yè)務(wù)接入側(cè)。

② 傳統(tǒng)QoS無(wú)法做到同時(shí)對(duì)多個(gè)用戶的多個(gè)業(yè)務(wù)進(jìn)行流量管理和調(diào)度。

③ 針對(duì)跨地域的企業(yè)WAN場(chǎng)景,涵蓋上行和下行流量的從接入端到服務(wù)端的端到端QoS需求迫在眉睫。

為應(yīng)對(duì)這些挑戰(zhàn),需要一種既能區(qū)分業(yè)務(wù)應(yīng)用又能根據(jù)用戶業(yè)務(wù)的優(yōu)先級(jí)進(jìn)行調(diào)度的技術(shù)。需要基于多級(jí)隊(duì)列的多級(jí)調(diào)度,細(xì)化區(qū)分業(yè)務(wù)流量,對(duì)多用戶、多種業(yè)務(wù)等傳輸需求進(jìn)行統(tǒng)一管理和分層調(diào)度,并提供統(tǒng)一控制策略,在網(wǎng)絡(luò)建設(shè)成本的約束下,為實(shí)時(shí)類應(yīng)用和高等級(jí)用戶提供差異化傳輸質(zhì)量保證。

同時(shí),遠(yuǎn)期的基于算力標(biāo)識(shí)的算力路由技術(shù)處于研究階段,尚不足以支撐企業(yè)WAN的商用需求,且對(duì)網(wǎng)絡(luò)協(xié)議和終端有更新需求[12-13]。而服務(wù)跨地域的用戶和算力的WAN,要求對(duì)不同用戶的不同業(yè)務(wù)提供差異化和端到端質(zhì)量保障,以便實(shí)現(xiàn)對(duì)算力能力部分的有效連接和差異化服務(wù)供給。

綜上所述,在滿足用戶體驗(yàn)的情況下,面向不同應(yīng)用如何提升企業(yè)網(wǎng)絡(luò)基礎(chǔ)設(shè)施的資源效率和運(yùn)營(yíng)效率、達(dá)成高效算力服務(wù),既有理論價(jià)值也有實(shí)踐意義,將有助于打造一張面向多業(yè)務(wù)、多地域和多接入的成本領(lǐng)先、質(zhì)量可承諾的企業(yè)WAN。

2 新型算力連接和路由技術(shù)方案

基于分布在多地的企業(yè)園區(qū)通過(guò)專線接入彼此互聯(lián)的WAN,及分屬于辦公網(wǎng)、調(diào)試網(wǎng)和監(jiān)控網(wǎng)的不同業(yè)務(wù)客戶端構(gòu)成的多業(yè)務(wù)混合場(chǎng)景,如圖1所示,各種應(yīng)用所需的算力連接服務(wù)質(zhì)量不盡相同。一方面,專線帶寬長(zhǎng)期處于高負(fù)荷狀態(tài);另一方面QoS要求高的實(shí)時(shí)類業(yè)務(wù)需要端到端質(zhì)量保障,而傳統(tǒng)保障型網(wǎng)絡(luò)方案無(wú)法滿足要求。

圖1 多地域、多業(yè)務(wù)和多接入的企業(yè)園區(qū)分布Fig.1 Distribution of enterprise campuses with multiple regions, services, and accesses

為此,立足多園區(qū)和多業(yè)務(wù)場(chǎng)景,本文提出基于業(yè)務(wù)優(yōu)先級(jí)調(diào)度的企業(yè)園區(qū)算力連接創(chuàng)新方案,即一種新型算力連接和路由技術(shù)方案。該方案通過(guò)控制與轉(zhuǎn)發(fā)部分的創(chuàng)新,探索算力連接的服務(wù)化和差異化,技術(shù)賦能算力服務(wù)整體。從多業(yè)務(wù)融合的接入和承載網(wǎng)出發(fā),圍繞SRv6、QoS標(biāo)記和管理、QoS調(diào)度、QoS策略的集中管控和自動(dòng)化執(zhí)行、業(yè)務(wù)和流量可視化運(yùn)維等關(guān)鍵技術(shù)進(jìn)行攻關(guān),探索模塊化、標(biāo)準(zhǔn)化、可復(fù)制的園區(qū)運(yùn)力網(wǎng)絡(luò)技術(shù)方案和服務(wù)新模式。

2.1 總體設(shè)計(jì)

企業(yè)園區(qū)的業(yè)務(wù)種類繁多,對(duì)QoS需求各有不同。比如音視頻會(huì)議的視頻部分要求高帶寬和低時(shí)延,需要QoS流量監(jiān)控功能為視頻報(bào)文提供高帶寬,又需要QoS優(yōu)先級(jí)功能為視頻報(bào)文和語(yǔ)音報(bào)文設(shè)置優(yōu)先級(jí)。實(shí)時(shí)語(yǔ)音部分要求低丟包和低時(shí)延,通過(guò)QoS優(yōu)先級(jí)功能調(diào)整語(yǔ)音報(bào)文的優(yōu)先級(jí)高于視頻報(bào)文,并通過(guò)流量監(jiān)管功能提供最大帶寬,保證語(yǔ)音報(bào)文在帶寬有限的情況下優(yōu)先通過(guò)。園區(qū)典型業(yè)務(wù)的QoS和優(yōu)先級(jí)分析如表1所示。

表1 園區(qū)典型業(yè)務(wù)的QoS和優(yōu)先級(jí)分析Tab.1 QoS and priority analysis of typical services in the campus

為此,本文的QoS優(yōu)先級(jí)調(diào)度和流量管控功能設(shè)計(jì)包括如下子功能:

① QoS標(biāo)記:在網(wǎng)絡(luò)邊緣由接入節(jié)點(diǎn)完成業(yè)務(wù)流的分類和匯聚。接入節(jié)點(diǎn)根據(jù)多種條件,如報(bào)文的IP地址段、業(yè)務(wù)TCP/UDP端口號(hào)、協(xié)議類型等,對(duì)報(bào)文進(jìn)行分類和設(shè)置不同的QoS標(biāo)記字段。

② QoS調(diào)度:其他節(jié)點(diǎn)只要識(shí)別報(bào)文中的這些標(biāo)記分配資源和流量管理。根據(jù)每個(gè)報(bào)文流指定的QoS標(biāo)記信息來(lái)提供差異化質(zhì)量服務(wù),即為不同業(yè)務(wù)流的報(bào)文分配服務(wù)等級(jí),差異化地進(jìn)行流控和轉(zhuǎn)發(fā),進(jìn)而實(shí)現(xiàn)提供端到端的業(yè)務(wù)質(zhì)量管控。通過(guò)報(bào)文自身攜帶的信息完成差異化的QoS管控,從而大量降低信令面的負(fù)荷。

③ QoS策略的集中管控、自動(dòng)化執(zhí)行和流量可視化運(yùn)維:為減少人工運(yùn)維配置的工作量,網(wǎng)絡(luò)控制器采用接入網(wǎng)和傳輸網(wǎng)融合的管控系統(tǒng),以便建立QoS策略的集中管控系統(tǒng),通過(guò)自動(dòng)化執(zhí)行,實(shí)現(xiàn)全鏈路QoS能力的自動(dòng)化。與Netflow和報(bào)表工具的配合使用,實(shí)現(xiàn)流量可視化運(yùn)維。此外,QoS集中管控功能和業(yè)務(wù)控制器和運(yùn)營(yíng)系統(tǒng)協(xié)同,探索運(yùn)力運(yùn)營(yíng)的服務(wù)化和應(yīng)用場(chǎng)景化增值。

2.2 QoS標(biāo)記和管理

報(bào)文的分類和標(biāo)記工作,即設(shè)置業(yè)務(wù)報(bào)文的不同類別或優(yōu)先級(jí)。通過(guò)QoS配置中的流分類實(shí)現(xiàn)報(bào)文的不同分類或優(yōu)先級(jí),標(biāo)記在網(wǎng)絡(luò)設(shè)備中傳遞通過(guò)優(yōu)先級(jí)映射實(shí)現(xiàn)。不同的報(bào)文使用不同類型的QoS優(yōu)先級(jí)表征,如IP報(bào)文使用DSCP,MPLS報(bào)文使用EXP。業(yè)務(wù)報(bào)文QoS標(biāo)記的映射關(guān)系設(shè)置參考如表2所示。

表2 業(yè)務(wù)QoS標(biāo)記的映射關(guān)系設(shè)置參考Tab.2 Reference for mapping relationship settings of service QoS markers

應(yīng)用的客戶端和服務(wù)端無(wú)須發(fā)送帶QoS標(biāo)記的IP報(bào)文,一般在用戶側(cè)的接入交換機(jī)和匯聚交換機(jī),及應(yīng)用所在DC的入云側(cè)云PE上,根據(jù)5元組或DPI自動(dòng)識(shí)別業(yè)務(wù),按預(yù)定規(guī)則標(biāo)記報(bào)文的DSCP值。PE設(shè)備提供IP DSCP和MPLS EXP的相互映射和繼承能力。全鏈路設(shè)備,如邊緣控制器/SRv6頭節(jié)點(diǎn)、園區(qū)核心路由器和骨干路由器等具備根據(jù)DSCP值、MPLS EXP進(jìn)行QoS保障和調(diào)度的能力。

2.3 QoS調(diào)度和多優(yōu)先級(jí)技術(shù)

根據(jù)企業(yè)WAN的多用戶、多種業(yè)務(wù)等傳輸對(duì)象的特點(diǎn),本方案提供統(tǒng)一管理和分層調(diào)度功能。除支持設(shè)備層QoS調(diào)度功能外,還支持全鏈路QoS調(diào)度功能。

① 設(shè)備層QoS調(diào)度:為不同協(xié)議的控制報(bào)文配置DSCP和優(yōu)先級(jí)一般高于業(yè)務(wù)報(bào)文;業(yè)務(wù)報(bào)文的調(diào)度功能支持多種PHB和著色配置,支持QoS多隊(duì)列調(diào)度算法和基于流量的帶寬控制,以便音視頻會(huì)議和云電腦等實(shí)時(shí)類業(yè)務(wù)獲得高比例帶寬保障。

② 全鏈路QoS調(diào)度:根據(jù)融合管控系統(tǒng)提供多維度選路計(jì)算、路徑編排功能,通過(guò)SRv6 Policy動(dòng)態(tài)下發(fā)的控制指令,全鏈路設(shè)備在廣域?qū)用鎸?shí)施流量在多條鏈路上調(diào)度,實(shí)現(xiàn)流量的負(fù)載均衡。管控系統(tǒng)通過(guò)QoS多優(yōu)先級(jí)設(shè)置,為音視頻和云電腦等實(shí)時(shí)類業(yè)務(wù)動(dòng)態(tài)計(jì)算最佳路徑,滿足低時(shí)延、低丟包和低抖動(dòng),對(duì)其他低優(yōu)先級(jí)業(yè)務(wù)提供盡力而為的業(yè)務(wù),即不保障時(shí)延和抖動(dòng)。

傳統(tǒng)QoS方案一般基于端口帶寬調(diào)度,缺乏基于用戶區(qū)分業(yè)務(wù)質(zhì)量的能力,即保證某類業(yè)務(wù)占用固定的傳輸帶寬,但往往造成更嚴(yán)重的網(wǎng)絡(luò)擁塞。該方式不適合園區(qū)出口帶寬受限情況下業(yè)務(wù)高峰時(shí)段的業(yè)務(wù)QoS管控需求,為此,本文所述的QoS調(diào)度方案通過(guò)設(shè)置優(yōu)先級(jí)的應(yīng)用服務(wù)端或客戶端的流量,以“優(yōu)先”方式占用帶寬。

優(yōu)先級(jí)函數(shù)PR的定義見(jiàn)式(1),應(yīng)用可以由服務(wù)端IP地址,也可由客戶端的IP五元組、端口等信息確定。PR在網(wǎng)絡(luò)傳輸過(guò)程會(huì)映射成DSCP、EXP等不同協(xié)議值。

PR=Fun{丟包容忍度、時(shí)延容忍度、抖動(dòng)容忍度}per 應(yīng)用。

(1)

假設(shè)“優(yōu)先級(jí)配置”定義了N個(gè)PR優(yōu)先級(jí),即PR1、PR2、…、PRn,并為每個(gè)PR設(shè)置帶寬百分比BW1、BW2、…、BWn。不在“優(yōu)先級(jí)配置”的應(yīng)用,采用盡力而為的傳輸帶寬控制方式,稱為BE隊(duì)列,而定義PR的應(yīng)用采用“一定比例”的優(yōu)先傳輸,即PR隊(duì)列。式(2)～式(4)分別定義PR隊(duì)列的帶寬百分比、每個(gè)優(yōu)先級(jí)應(yīng)用的帶寬百分比和BE隊(duì)列的帶寬百分比:

為避免BE隊(duì)列零帶寬的完全被搶占的局面,設(shè)置10%的保護(hù)帶寬,即BWbe最小值是10%,BWpr最大值是90%。

同時(shí)執(zhí)行該配置的多優(yōu)先級(jí)調(diào)度策略后,調(diào)度系統(tǒng)先后進(jìn)入2個(gè)過(guò)程:

過(guò)程一:PR隊(duì)列的每個(gè)優(yōu)先級(jí)應(yīng)用的丟包率降到零。通過(guò)逐步提升BWpr梯度逐步逼近零丟包率,如設(shè)置2%上升梯度。

過(guò)程二:總丟包率不高于多優(yōu)先級(jí)調(diào)度策略實(shí)施前。

① 設(shè)BE隊(duì)列的丟包率為L(zhǎng)Pbe,PR隊(duì)列的丟包率為L(zhǎng)Ppr,實(shí)時(shí)計(jì)算全部流量的總丟包率,并在一段時(shí)間內(nèi)得到穩(wěn)定平均值,有如下表達(dá)式:

LPgr=LPpr+LPbe。

(5)

② 若總丟包率高于前值,則判定優(yōu)先級(jí)應(yīng)用占用過(guò)多帶寬,嚴(yán)重?cái)D占普通應(yīng)用的傳輸帶寬,造成總體業(yè)務(wù)質(zhì)量變差,因此,BWpr下降一個(gè)梯度,如2%,再執(zhí)行更新的調(diào)度策略,直到總丟包率不高于多優(yōu)先級(jí)調(diào)度策略實(shí)施前。

2.4 QoS策略的集中管控和自動(dòng)化執(zhí)行

滿足設(shè)備層QoS調(diào)度和全鏈路調(diào)度需求,網(wǎng)絡(luò)控制器作為端到端的集中管控設(shè)備,面向運(yùn)維人員提供簡(jiǎn)便易懂的策略信息設(shè)定和存儲(chǔ)等功能,具體如下:

① QoS和鏈路調(diào)度策略的集中存儲(chǔ)平臺(tái),存儲(chǔ)包括預(yù)定義的各類業(yè)務(wù)對(duì)應(yīng)的分類依據(jù)(比如五元組、識(shí)別規(guī)則)、鏈路需求(延時(shí)、抖動(dòng)、丟包率等)、QoS標(biāo)記值、PHB(或轉(zhuǎn)發(fā)動(dòng)作)、限速策略、QoS調(diào)度策略、算路策略和路徑調(diào)度策略等信息。

② 提供業(yè)務(wù)基礎(chǔ)信息的錄入界面或API,以增加、修改、刪除業(yè)務(wù)信息。

③ 根據(jù)運(yùn)維人員錄入的業(yè)務(wù)信息,自動(dòng)實(shí)現(xiàn)端到端的QoS策略下發(fā)、更新或撤銷。

④ 運(yùn)維自動(dòng)化:面向運(yùn)維人員的界面應(yīng)盡量簡(jiǎn)化、易于使用,使運(yùn)維人員溝通簡(jiǎn)單地勾選即可完成策略信息的設(shè)定。

此外,還將規(guī)劃異常流量處理機(jī)制,如通過(guò)API接口可與第三方安全系統(tǒng)對(duì)接,實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)中的異常流量(比如攻擊流量)自動(dòng)實(shí)施預(yù)定義的異常流量QoS策略,并通過(guò)郵件、短信等方式通知運(yùn)維人員或異常流量源的資產(chǎn)責(zé)任人。

2.5 業(yè)務(wù)和流量可視化

(1)流量采集和可視化

為減少采集點(diǎn),在WAN路由器如園區(qū)核心或出口路由器上采集設(shè)備特定接口上各種QoS標(biāo)記的業(yè)務(wù)流量數(shù)據(jù),以減少信令面負(fù)荷。

根據(jù)采集的流量數(shù)據(jù),輸出實(shí)時(shí)和準(zhǔn)實(shí)時(shí)的業(yè)務(wù)占比圖,包括各類流量的帶寬絕對(duì)值和占有比例、給定時(shí)間段(如5、10、30 min、2 h等)的流量動(dòng)態(tài)變化趨勢(shì)曲線。

(2)全網(wǎng)流量拓?fù)浜虯I趨勢(shì)預(yù)測(cè)

在網(wǎng)絡(luò)設(shè)備性能允許的情況下,可支持采集全鏈路網(wǎng)絡(luò)設(shè)備的各種QoS標(biāo)記的業(yè)務(wù)流量數(shù)據(jù),并據(jù)此自動(dòng)生成的流量拓?fù)?動(dòng)態(tài)呈現(xiàn)全網(wǎng)各類流量的實(shí)時(shí)、準(zhǔn)實(shí)時(shí)數(shù)據(jù)流圖?；贏I/大數(shù)據(jù)預(yù)測(cè)未來(lái)流量的演變趨勢(shì),為網(wǎng)絡(luò)規(guī)劃、優(yōu)化和擴(kuò)容提供可靠依據(jù)。

3 方案試點(diǎn)和成效驗(yàn)證

基于國(guó)內(nèi)企業(yè)某園區(qū)的辦公和研發(fā)需求,員工使用客戶端通過(guò)運(yùn)營(yíng)商專線接入業(yè)務(wù)服務(wù)端所在異地城市DC核心節(jié)點(diǎn)。鑒于企業(yè)內(nèi)網(wǎng)環(huán)境中,業(yè)務(wù)客戶端和服務(wù)端分屬不同城市的園區(qū)和DC,園區(qū)和DC通過(guò)運(yùn)營(yíng)商專線互聯(lián),多用戶、多種業(yè)務(wù)融合度高,采用融合業(yè)務(wù)承載方案,同一種業(yè)務(wù)在多VPN網(wǎng)絡(luò)間穿梭,網(wǎng)絡(luò)控制器集中提供跨地域的業(yè)務(wù)端到端的QoS調(diào)度和流量管控能力,實(shí)現(xiàn)專線內(nèi)QoS調(diào)度和跨專線的SRv6調(diào)度。試點(diǎn)網(wǎng)絡(luò)應(yīng)用環(huán)境及拓?fù)涫疽馊鐖D2所示。

圖2 試點(diǎn)網(wǎng)絡(luò)應(yīng)用環(huán)境及拓?fù)涫疽釬ig.2 Pilot network application environment and topology diagram

(1)QoS調(diào)度和流量管控的試點(diǎn)流程

為減少全鏈路設(shè)備的流量數(shù)據(jù)采集負(fù)荷,只在2處收集流量數(shù)據(jù):上行在園區(qū)側(cè)出口路由器,下行在業(yè)務(wù)側(cè)骨干路由器。多業(yè)務(wù)QoS優(yōu)先級(jí)和流量管控流程如圖3所示。

圖3 國(guó)內(nèi)某園區(qū)接入異地DC的應(yīng)用場(chǎng)景下QoS調(diào)度和流量管控流程Fig.3 QoS scheduling and flow control process in the application scenario of a domestic campus accessing a remote DC

① 網(wǎng)絡(luò)控制器配置、存儲(chǔ)并下發(fā)QoS調(diào)度和流量管控等策略,管控該園區(qū)上行流量并收集園區(qū)出口路由器的業(yè)務(wù)流量信息及業(yè)務(wù)側(cè)DC的下行流量并收集骨干路由器的業(yè)務(wù)流量信息;

② 分發(fā)業(yè)務(wù)標(biāo)記策略到信任邊界的接入側(cè)和業(yè)務(wù)側(cè)的匯聚交換機(jī)設(shè)備,含業(yè)務(wù)側(cè)的服務(wù)源IP地址和接入側(cè)的源IP地址和端口信息;

③ 接入側(cè)匯聚交換機(jī)和業(yè)務(wù)側(cè)匯聚交換機(jī)根據(jù)IP地址和業(yè)務(wù)TCP/UDP端口號(hào)識(shí)別業(yè)務(wù),進(jìn)行QoS標(biāo)記;

④ 匯聚交換機(jī)傳遞QoS標(biāo)記到園區(qū)出口路由器和業(yè)務(wù)側(cè)網(wǎng)絡(luò)的骨干路由器;

⑤ 網(wǎng)絡(luò)控制器下發(fā)動(dòng)態(tài)測(cè)量鏈路質(zhì)量的指令,收集園區(qū)出口或骨干路由器的各種QoS標(biāo)記的業(yè)務(wù)流量數(shù)據(jù);

⑥ 網(wǎng)絡(luò)控制器向園區(qū)出口路由器和業(yè)務(wù)側(cè)骨干路由器下發(fā)QoS調(diào)度和流量管控策略;

⑦ 園區(qū)出口路由器和業(yè)務(wù)側(cè)骨干路由器向網(wǎng)絡(luò)控制器反饋業(yè)務(wù)流量數(shù)據(jù),并根據(jù)下發(fā)的調(diào)度和管控策略完成業(yè)務(wù)調(diào)度和流量控制;

⑧ 網(wǎng)絡(luò)控制器輸出實(shí)時(shí)業(yè)務(wù)和非實(shí)時(shí)業(yè)務(wù)的流量可視化報(bào)告,運(yùn)維人員可根據(jù)報(bào)告適時(shí)調(diào)整QoS調(diào)度和管控策略,更新網(wǎng)絡(luò)控制器的數(shù)據(jù)配置。

(2)設(shè)備簡(jiǎn)介

① 樓層匯聚交換機(jī):ZXR10 8902E交換機(jī);

② 樓棟核心交換機(jī):ZXR10 C69E-15交換機(jī);

③ 園區(qū)核心路由器、骨干路由器、云PE路由器:ZXR10 M6000-3S PLUS;

④ 業(yè)務(wù)匯聚交換機(jī):ZXR10 5960M-4M-HI交換機(jī);

⑤ 網(wǎng)絡(luò)控制器:ZTE ZENIC ONE。

(3)成效驗(yàn)證

從企業(yè)應(yīng)用的實(shí)際出發(fā),丟包率是核心性能指標(biāo),因此對(duì)本次試點(diǎn)方案的成效驗(yàn)證,重點(diǎn)考察試點(diǎn)前后該項(xiàng)指標(biāo)的優(yōu)化情況。業(yè)務(wù)場(chǎng)景方面,選擇辦公場(chǎng)景下的音視頻會(huì)議、云電腦,研發(fā)調(diào)試場(chǎng)景下的研發(fā)測(cè)試和業(yè)務(wù)調(diào)試,以及園區(qū)監(jiān)控場(chǎng)景下的監(jiān)控和攝像頭業(yè)務(wù)。具體試點(diǎn)時(shí),為辦公場(chǎng)景的音視頻會(huì)議和云電腦設(shè)置QoS多優(yōu)先級(jí)管控策略,包括上行和下行的流量收集,QoS調(diào)度和流量管控。如表3所示,QoS多優(yōu)先級(jí)實(shí)施前后,在總丟包率未升高的情況下,配置優(yōu)先級(jí)的應(yīng)用1、4、5的丟包率降或逼近到零,顯著改善時(shí)延敏感型業(yè)務(wù)在業(yè)務(wù)忙時(shí)的使用體驗(yàn)。

表3 QoS多優(yōu)先級(jí)方案實(shí)施前后的效果對(duì)比Tab.3 Comparison of effects before and after implementation of QoS multi-priority solution

4 結(jié)束語(yǔ)

企業(yè)IPWAN在IDC建設(shè)模式之下被劃分為DC內(nèi)網(wǎng)絡(luò)和DC間網(wǎng)絡(luò),然而作為企業(yè)各種應(yīng)用的通信基礎(chǔ)設(shè)施,其實(shí)質(zhì)是提供應(yīng)用的客戶端和服務(wù)端之間信息傳輸功能。隨著企業(yè)應(yīng)用上云比例快速提升,應(yīng)用的服務(wù)端,即算力資源的主要消費(fèi)方,使得IPWAN提供的信息傳輸功能可稱為“算力連接”——連接應(yīng)用的服務(wù)端的算力。鑒于園區(qū)間專線帶寬價(jià)格昂貴,使得DC間的出口帶寬受限、網(wǎng)絡(luò)擁塞帶來(lái)時(shí)延敏感型業(yè)務(wù)體驗(yàn)顯著下降,成為在業(yè)務(wù)高峰或忙時(shí)的常態(tài)。因此,提出一種面向企業(yè)WAN的算力連接和路由技術(shù)顯得必要。

一般而言,大中型企業(yè)的內(nèi)網(wǎng)環(huán)境復(fù)雜,應(yīng)用的客戶端和服務(wù)端分屬不同城市的園區(qū)和DC,園區(qū)和DC通過(guò)運(yùn)營(yíng)商專線互聯(lián),多用戶、多種業(yè)務(wù)融合度高,往往采用融合多業(yè)務(wù)的統(tǒng)一承載方案,同一種業(yè)務(wù)在多VPN網(wǎng)絡(luò)間穿梭。

針對(duì)該場(chǎng)景,研究在園區(qū)出口帶寬受限條件下,對(duì)時(shí)延敏感型業(yè)務(wù)(音視頻會(huì)議、云電腦等)配置高優(yōu)先級(jí)的QoS多優(yōu)先級(jí)技術(shù)并進(jìn)行可行性驗(yàn)證和評(píng)估。區(qū)別于傳統(tǒng)設(shè)備層QoS調(diào)度技術(shù)受限于單點(diǎn)設(shè)備的不足,該創(chuàng)新技術(shù)結(jié)合網(wǎng)絡(luò)控制器的跨域融合和QoS管控增強(qiáng)、IP網(wǎng)絡(luò)流量和質(zhì)量可視化等功能,實(shí)現(xiàn)園區(qū)內(nèi)全網(wǎng)絡(luò)設(shè)備的QoS標(biāo)識(shí)配置,接入節(jié)點(diǎn)業(yè)務(wù)流聚類,出口節(jié)點(diǎn)統(tǒng)一管控。還支持圖形化界面和批量化方式配置,實(shí)現(xiàn)園區(qū)接入的不同業(yè)務(wù)在跨園區(qū)范圍內(nèi)的QoS優(yōu)先級(jí)保障。

未來(lái)將參考算力連接的“有效性”、出口帶寬的“動(dòng)態(tài)路由和多路由負(fù)載均衡”“彈性帶寬控制機(jī)制”等相關(guān)研究[14-16],基于網(wǎng)絡(luò)大數(shù)據(jù)建立流量預(yù)測(cè)模型,從而構(gòu)建兼具網(wǎng)絡(luò)資源配置的敏捷性、資源縮擴(kuò)容的自動(dòng)預(yù)測(cè)和開(kāi)通能力的下一代自智IP網(wǎng)絡(luò)[17-18],成為自動(dòng)降本提效的自主進(jìn)化企業(yè)網(wǎng)的新型底層基礎(chǔ)設(shè)施。