面向5G STN承載網(wǎng)絡(luò)FlexE切片技術(shù)

尹遠(yuǎn)陽，林貴東，楊廣銘，盧泉，藍(lán)雙鳳

（1. 中國電信股份有限公司研究院，廣東 廣州 510630； 2. 中國電信股份有限公司廣東分公司，廣東 廣州 510180）

1 引言

隨著4G移動(dòng)通信技術(shù)的引入，在線視頻、智能互聯(lián)等新業(yè)務(wù)深刻地改變了人們的生活。而當(dāng)前VR/AR、4K/8K高清視頻直播等的涌現(xiàn)，工業(yè)4.0及物聯(lián)網(wǎng)的廣泛發(fā)展，對(duì)移動(dòng)通信技術(shù)提出了新的需求及挑戰(zhàn)。ITU定義了5G的新應(yīng)用領(lǐng)域及需求，其中增強(qiáng)型移動(dòng)寬帶（enhance mobile broadband，eMBB）通過更高帶寬和更低時(shí)延繼續(xù)提升人類的視覺體驗(yàn)；大連接物聯(lián)網(wǎng)（massive machine type communication，mMTC）針對(duì)萬物互聯(lián)的垂直行業(yè)，對(duì)接入數(shù)量和能效有很高的要求；超可靠低時(shí)延通信（ultra-reliable and low-latency communication，uRLLC）針對(duì)特殊垂直行業(yè)，例如工業(yè)自動(dòng)化、遠(yuǎn)程醫(yī)療、智能電網(wǎng)等“高可靠性”和“低時(shí)延”的業(yè)務(wù)需求。這些5G新業(yè)務(wù)的出現(xiàn)，尤其是eMBB、uRLLC等都對(duì)于其中承載網(wǎng)絡(luò)提供的時(shí)延、帶寬等可度量的指標(biāo)提出了新的要求，進(jìn)一步地，對(duì)于使能這些指標(biāo)保證的承載網(wǎng)絡(luò)技術(shù)，也引起業(yè)界的關(guān)注及思考，承載網(wǎng)絡(luò)正面臨著前所未有的多樣化需求與革新挑戰(zhàn)。

3GPP TS22.104主要定義針對(duì)垂直行業(yè)的沉浸式應(yīng)用（cyber-physical control application）的服務(wù)要求，這其中明確定義了需要端到端的有界時(shí)延（bounded latency）來使能這些基于時(shí)延作為度量指標(biāo)或者直接影響體驗(yàn)效果的新業(yè)務(wù)。這種有界時(shí)延保障的需求也充分體現(xiàn)了5G承載網(wǎng)絡(luò)從傳統(tǒng)單純的帶寬逐漸轉(zhuǎn)移到對(duì)業(yè)務(wù)體驗(yàn)和服務(wù)質(zhì)量要求的保障要求上，從關(guān)注連接（connection）轉(zhuǎn)向關(guān)注體驗(yàn) （experience），承載網(wǎng)絡(luò)建設(shè)思路也向業(yè)務(wù)和體驗(yàn)驅(qū)動(dòng)轉(zhuǎn)變，QoE已經(jīng)成為運(yùn)營商網(wǎng)絡(luò)的關(guān)鍵指標(biāo)，給業(yè)務(wù)提供時(shí)延及帶寬的SLA可保障承載方案成為業(yè)界關(guān)注的焦點(diǎn)。

STN（smart transport network）作為移動(dòng)承載網(wǎng)絡(luò)的核心，在統(tǒng)計(jì)復(fù)用、差異化服務(wù)特性等方面支持了4G時(shí)代業(yè)務(wù)承載，實(shí)現(xiàn)了最優(yōu)的CAPEX和OPEX。中國電信早在2018年就開始對(duì)5G承載網(wǎng)架構(gòu)、技術(shù)標(biāo)準(zhǔn)進(jìn)行研究，經(jīng)過近3年的充分論證和實(shí)驗(yàn)室測(cè)試，最終選擇了STN作為4G/5G融合承載技術(shù)標(biāo)準(zhǔn)。在當(dāng)前5G時(shí)代，eMBB、uRLLC等多種不同時(shí)延、帶寬保障需求的業(yè)務(wù)在統(tǒng)一的STN承載網(wǎng)上傳輸時(shí)，如何實(shí)現(xiàn)不同業(yè)務(wù)的保障及隔離成為承載網(wǎng)需要解決的關(guān)鍵問題，網(wǎng)絡(luò)分片的概念也應(yīng)運(yùn)而生。5G承載網(wǎng)上如何實(shí)現(xiàn)數(shù)據(jù)面網(wǎng)絡(luò)分片，針對(duì)特定業(yè)務(wù)帶寬、資源分配及保障，最終實(shí)現(xiàn)無阻塞、零丟包、有界時(shí)延及低時(shí)延保障，也是業(yè)界一直在思考及探索的問題。尤其是如何突破傳統(tǒng)概念上認(rèn)為的IP網(wǎng)絡(luò)因?yàn)閾砣a(chǎn)生的時(shí)延不確定問題，成為5G承載網(wǎng)絡(luò)的巨大挑戰(zhàn)及關(guān)鍵技術(shù)。其中，靈活以太（FlexE）技術(shù)在最近幾年受到業(yè)界的關(guān)注，本文從FlexE技術(shù)背景、架構(gòu)及在STN承載網(wǎng)絡(luò)上的系統(tǒng)應(yīng)用方面進(jìn)行了研究和探索，探討了作為5G STN承載網(wǎng)切片創(chuàng)新技術(shù)方案。

2 FlexE關(guān)鍵技術(shù)研究與分析

2.1 FlexE技術(shù)原理

FlexE技術(shù)由光互聯(lián)論壇（Optical Internetworking Forum，OIF）定義，是基于IEEE 802.3 定義的高速 Ethernet接口，通過Ethernet MAC層與PHY層解耦而實(shí)現(xiàn)的低成本、高可靠、可動(dòng)態(tài)配置的電信級(jí)接口技術(shù)。該技術(shù)利用了業(yè)界最廣泛、最強(qiáng)大的Ethernet生態(tài)系統(tǒng)，并且契合了視頻、云計(jì)算以及5G等業(yè)務(wù)的發(fā)展需求，自2015年提出以來，受到業(yè)界廣泛關(guān)注。FlexE技術(shù)通過在標(biāo)準(zhǔn)的Ethernet 架構(gòu)基礎(chǔ)上，引入FlexE shim層實(shí)現(xiàn)了Ethernet MAC與PHY層的解耦，從而實(shí)現(xiàn)了靈活的速率匹配。FlexE技術(shù)與Ethernet標(biāo)準(zhǔn)關(guān)系及FlexE shim功能如圖1所示。

靈活以太基于client/group架構(gòu)來定義，如圖2所示，可以支持任意多個(gè)不同子接口（FlexE client）在任意一組PHY（FlexE group）上的映射和傳輸，從而實(shí)現(xiàn)捆綁、通道化及子速率的功能。具體如下。

圖2 FlexE通用架構(gòu)

? FlexE client：對(duì)應(yīng)于網(wǎng)絡(luò)的各種用戶接口，與現(xiàn)有IP/Ethernet網(wǎng)絡(luò)中的傳統(tǒng)業(yè)務(wù)接口一致。FlexE client可根據(jù)帶寬需求靈活配置，支持各種速率的以太網(wǎng)MAC數(shù)據(jù)（如10 Gbit/s、40 Gbit/s、n×25 Gbit/s數(shù)據(jù)流，甚至非標(biāo)準(zhǔn)速率數(shù)據(jù)流），并通過64B/66B編碼方式將數(shù)據(jù)流傳遞至FlexE shim層。

? FlexE shim：作為插入傳統(tǒng)以太網(wǎng)架構(gòu)的MAC與PHY（PCS子層）中間的一個(gè)額外邏輯層，通過基于calendar的slot分發(fā)機(jī)制實(shí)現(xiàn)FlexE技術(shù)的核心架構(gòu)。

? group：本質(zhì)上就是IEEE 802.3標(biāo)準(zhǔn)定義的各種以太網(wǎng)PHY層。由于重用了現(xiàn)有IEEE 802.3定義的以太網(wǎng)技術(shù)，F(xiàn)lexE架構(gòu)得以在現(xiàn)有以太網(wǎng)MAC/PHY基礎(chǔ)上進(jìn)一步增強(qiáng)。

以FlexE作為點(diǎn)對(duì)點(diǎn)連接場(chǎng)景的物理層接口為例，多路以太網(wǎng)PHY組合在一起成為FlexE group，并承載通過FlexE shim分發(fā)、映射過來的一路或者多路FlexE client數(shù)據(jù)流。

FlexE的核心功能通過FlexE shim層實(shí)現(xiàn)，它可以把FlexE group中的每個(gè)100GE PHY劃分為20個(gè)slot（時(shí)隙）的數(shù)據(jù)承載通道，每個(gè)PHY所對(duì)應(yīng)的這一組slot被稱為一個(gè)sub-calendar，其中每個(gè)slot所對(duì)應(yīng)的帶寬為5 Gbit/s。FlexE client原始數(shù)據(jù)流中的以太網(wǎng)幀以block原子數(shù)據(jù)塊（為64B/66B編碼的數(shù)據(jù)塊）為單位進(jìn)行切分，這些原子數(shù)據(jù)塊可以通過FlexE shim實(shí)現(xiàn)在FlexE group中的多個(gè)PHY與時(shí)隙之間的分發(fā)。

按照OIF FlexE 2.0標(biāo)準(zhǔn)，每個(gè)FlexE client的數(shù)據(jù)流帶寬可以設(shè)置為10 Gbit/s、40 Gbit/s或者m×25 Gbit/s。由于FlexE group的100 GE PHY中每個(gè)slot數(shù)據(jù)承載通道的帶寬為5 Gbit/s粒度，F(xiàn)lexE client理論上也可以按照5 Gbit/s的速率顆粒度進(jìn)行任意數(shù)量的組合設(shè)置，支持更加靈活的多速率承載。

2.2 FlexE應(yīng)用

根據(jù)FlexE的技術(shù)特點(diǎn)，client可向上層應(yīng)用提供各種靈活的帶寬而不拘泥于物理PHY帶寬。根據(jù)client與group的映射關(guān)系，F(xiàn)lexE可提供3種主要功能，如圖3所示。

圖3 FlexE的3種主要功能

? 捆綁（bonding）：多路PHY一起工作，支持更高速率。如8路100 GE PHY捆綁來支持800GE MAC速率。

? 通道化（channelization）：多路低速率MAC數(shù)據(jù)流共享一路或者多路PHY。如最初定義在100GE PHY上承載25 Gbit/s、35 Gbit/s、20 Gbit/s與20 Gbit/s的四路MAC數(shù)據(jù)流；隨著標(biāo)準(zhǔn)逐步成熟，可以在100GE PHY上承載以5 Gbit/s顆粒度帶寬的MAC數(shù)據(jù)流，1 Gbit/s顆粒度的MAC數(shù)據(jù)流標(biāo)準(zhǔn)也有廠商正在推動(dòng)標(biāo)準(zhǔn)立項(xiàng)。

? 子速率（sub-rate）：單一低速率MAC數(shù)據(jù)流共享一路或者多路PHY，并通過特殊定義的error control block實(shí)現(xiàn)降速工作。如在100GE PHY上僅僅承載50 Gbit/s MAC數(shù)據(jù)流。

3 基于FlexE技術(shù)的STN承載網(wǎng)架構(gòu)

靈活以太的通道化技術(shù)提供了接口級(jí)不同F(xiàn)lexE client之間的物理硬切分及相互隔離，可以進(jìn)一步與路由器數(shù)據(jù)面的可編程轉(zhuǎn)發(fā)、流量管理及調(diào)度相結(jié)合，構(gòu)建滿足5G低時(shí)延要求的端到端專用管道。這種靈活以太專用管道，是基于硬分片隔離的通道化技術(shù)，將一個(gè)物理以太網(wǎng)端口劃分為多個(gè)以太網(wǎng)彈性硬管道。既可以支持承載網(wǎng)絡(luò)實(shí)現(xiàn)獨(dú)占帶寬資源的保證，又可以在每一個(gè)通道化的子接口內(nèi)部采用基于IP/MPLS技術(shù)的流量管理機(jī)制，實(shí)現(xiàn)同一分片內(nèi)業(yè)務(wù)統(tǒng)計(jì)復(fù)用，分片之間業(yè)務(wù)互不影響。采用基于QoS的報(bào)文調(diào)度成為降低網(wǎng)絡(luò)端到端低時(shí)延的關(guān)鍵，QoS技術(shù)通過流量監(jiān)管、流量整形、擁塞管理、擁塞避免等基于共享緩存隊(duì)列調(diào)度的機(jī)制，實(shí)現(xiàn)不同業(yè)務(wù)的差分服務(wù)。這種報(bào)文調(diào)度引起的時(shí)延主要分為兩部分：隊(duì)列緩存時(shí)延和調(diào)度算法執(zhí)行的調(diào)度器響應(yīng)時(shí)延。隊(duì)列調(diào)度算法的性能直接影響時(shí)延，調(diào)度算法通過有效性、公平性、可編程性，成為降低報(bào)文調(diào)度時(shí)延的主要手段。層次化QoS（hierarchical quality of service，HQoS），是一種通過多級(jí)隊(duì)列調(diào)度機(jī)制，解決DiffServ（區(qū)分服務(wù)）模型下多用戶多業(yè)務(wù)帶寬保證的技術(shù)。通過多級(jí)調(diào)度，可以精細(xì)區(qū)分不同用戶和不同業(yè)務(wù)的流量，提供區(qū)分的帶寬管理。統(tǒng)計(jì)復(fù)用與硬管道隔離的區(qū)別示意圖如圖4所示。

圖4 統(tǒng)計(jì)復(fù)用與硬管道隔離的區(qū)別示意圖

這種IP/MPLS網(wǎng)絡(luò)基于QoS提供差異化SLA保證的調(diào)度機(jī)制，進(jìn)一步與通道化的靈活以太接口配合，在物理層可以完全消除報(bào)文傳輸所引起的抖動(dòng)。相對(duì)于在數(shù)據(jù)平面不支持硬件隔離及SLA業(yè)務(wù)保證的軟分片技術(shù)，可以進(jìn)一步提供針對(duì)5G應(yīng)用中對(duì)于有界時(shí)延業(yè)務(wù)的保證，達(dá)到5G承載的時(shí)延保證要求。基于QoS技術(shù)的流量調(diào)度模塊，可以根據(jù)業(yè)務(wù)的SLA要求，為每個(gè)業(yè)務(wù)分配相應(yīng)的硬件緩存資源，相當(dāng)于在報(bào)文調(diào)度中為每個(gè)業(yè)務(wù)劃分獨(dú)立的緩存及數(shù)據(jù)通道，不同業(yè)務(wù)的數(shù)據(jù)通道之間、業(yè)務(wù)流量傳輸過程中，這些硬件資源完全不共享。在每個(gè)FlexE通道化接口對(duì)應(yīng)的分片資源內(nèi)部，采用IP/MPLS技術(shù)的流量管理技術(shù)進(jìn)行緩存調(diào)度。緩存資源的獨(dú)占，使得各個(gè)業(yè)務(wù)在QoS調(diào)度中得到硬隔離，有效避免流量突發(fā)時(shí)，出現(xiàn)各業(yè)務(wù)爭(zhēng)搶緩存資源，導(dǎo)致業(yè)務(wù)SLA劣化等問題。FlexE技術(shù)應(yīng)用于STN架構(gòu)示意圖如圖5所示。

圖5 FlexE技術(shù)應(yīng)用于STN架構(gòu)示意圖

4 5G STN承載網(wǎng)切片技術(shù)與FlexE電路交叉分析

業(yè)界在探討靈活以太應(yīng)用于5G承載網(wǎng)絡(luò)的技術(shù)方案時(shí)，還在探討基于TDM技術(shù)直接在以太接口L1層實(shí)現(xiàn)FlexE switch的思路。FlexE switch原理示意圖如圖6所示。在這種方案中，每一個(gè)轉(zhuǎn)發(fā)節(jié)點(diǎn)中的數(shù)據(jù)報(bào)文在入接口直接基于FlexE shim結(jié)構(gòu)中定義的64B/66B數(shù)據(jù)塊進(jìn)行交叉，不再進(jìn)行STN承載網(wǎng)絡(luò)中靈活以太接口MAC層報(bào)文恢復(fù)以及基于報(bào)文信息的IP/MPLS調(diào)度處理。

圖6 FlexE switch原理示意圖

這種基于TDM機(jī)制的FlexE switch在每個(gè)交叉節(jié)點(diǎn)上的時(shí)延是確定的，包括報(bào)文在入口基于相應(yīng)通道化接口帶寬決定的并行化時(shí)延，64B/66B數(shù)據(jù)塊通過switch矩陣的時(shí)延，以100GE靈活以太接口提供1 Gbit/s通道化為例，受不同的芯片實(shí)現(xiàn)方式影響，時(shí)延一般在100～500 ns范圍?？紤]5G多業(yè)務(wù)承載的不同需求，引入基于TDM交換的FlexE技術(shù)還需要考慮如下幾個(gè)關(guān)鍵問題：全網(wǎng)基于每條業(yè)務(wù)類型對(duì)應(yīng)的FlexE交叉時(shí)間片進(jìn)行統(tǒng)一規(guī)劃、調(diào)度；每條業(yè)務(wù)需要精確映射到全網(wǎng)時(shí)間片資源中；由于運(yùn)營商網(wǎng)絡(luò)的規(guī)模較大和海量的鏈接，這些規(guī)劃及部署比較挑戰(zhàn)，很多情況下存在NP-hard問題，學(xué)術(shù)界在這方面正在進(jìn)行研究。

基于FlexE 64B/66B數(shù)據(jù)塊的時(shí)分復(fù)用交叉（TDM switch）機(jī)制，等同于直通式（cut-through）的轉(zhuǎn)發(fā)方式（不存儲(chǔ)轉(zhuǎn)發(fā)方式），由于在每一個(gè)節(jié)點(diǎn)不進(jìn)行逐跳完整報(bào)文的校驗(yàn)，需要基于E2E鏈路的機(jī)制保證報(bào)文可靠的傳輸。如何滿足5G承載多業(yè)務(wù)，不同帶寬需要數(shù)據(jù)流的可靠傳輸，也是這方面需要面臨的挑戰(zhàn)，尤其是在通道化靈活以太支持小粒度接口時(shí)的大容量轉(zhuǎn)發(fā)芯片設(shè)計(jì)中。

在ITU-T G.mtn正在開展FlexE接口進(jìn)行通道化并在物理層建立E2E的L1層TDM的承載技術(shù)。目前這一技術(shù)面臨兩個(gè)較大的挑戰(zhàn)：首先，為了支持承載業(yè)務(wù)，需要考慮OAM如何通過FlexE接口與更底層的Ethernet PHY進(jìn)行傳輸。當(dāng)前正在進(jìn)行如何建立起合適的OAM機(jī)制的討論中，包括利用FlexE接口開銷幀中的段層管理通道（section management channel）或者采用額外的1～3個(gè)66 bit數(shù)據(jù)碼塊進(jìn)行標(biāo)識(shí)。其中，第一個(gè)碼塊被編碼為有序集（ordered set），該有序集碼塊包含24 bit的OAM信息。并進(jìn)一步考慮擴(kuò)展第二塊和第三塊OAM碼塊，則后續(xù)的碼塊均為64 bit的OAM信息。這一機(jī)制的OAM碼塊雖然符合64B/66B編碼格式，但已經(jīng)超出IEEE 802.3標(biāo)準(zhǔn)定義的編碼表，這使得G.mtn OAM碼塊與傳統(tǒng)以太接口的不兼容以至于無法對(duì)接。其次，在G.mtn中處于對(duì)接的兩端需要額外的空閑碼塊增刪機(jī)制以調(diào)整適應(yīng)每個(gè)G.mtn段層的時(shí)鐘速率偏差，這一種處理方式也是目前傳統(tǒng)以太接口不支持的。G.mtn的空閑碼塊增刪是基于64B/66B數(shù)據(jù)塊進(jìn)行。而傳統(tǒng)以太網(wǎng)接口是基于空閑控制字段（idle character）進(jìn)行增刪的。這也是G.mtn需要進(jìn)一步去脫離本生的靈活以太技術(shù)去額外定義。G.mtn成功應(yīng)用于5G承載網(wǎng)絡(luò)仍需要大量技術(shù)研究和標(biāo)準(zhǔn)化工作。

5G承載網(wǎng)絡(luò)的多業(yè)務(wù)靈活組網(wǎng)，要求逐節(jié)點(diǎn)的進(jìn)行基于IP/MPLS報(bào)文信息的轉(zhuǎn)發(fā)、SLA保證業(yè)務(wù)處理等。因此，一旦基于FlexE switch的TDM機(jī)制需要在每一個(gè)節(jié)點(diǎn)恢復(fù)報(bào)文進(jìn)行L2/L3層的轉(zhuǎn)發(fā)及流量調(diào)度處理，則需要采用本文探討的5G STN承載網(wǎng)絡(luò)切片創(chuàng)新技術(shù)：基于IP/MPLS機(jī)制以及結(jié)合“通道化靈活以太接口”的架構(gòu)才能滿足要求。

5 結(jié)束語

中國電信針對(duì)IP/MPLS網(wǎng)絡(luò)中提供SLA可保障的業(yè)務(wù)承載已經(jīng)進(jìn)行了完善及全面的研究和分析，并進(jìn)一步應(yīng)用于4G/5G融合的承載網(wǎng)絡(luò)中。IETF起草了很多有關(guān)保證業(yè)務(wù)的服務(wù)模型和機(jī)制。其中比較常見的有：綜合服務(wù)（簡稱 IntServ）模型、區(qū)分服務(wù)（簡稱DiffServ）模型。IntServ通過RSVP信令機(jī)制提供端到端的QoS保證，特定應(yīng)用在傳輸報(bào)文前先向網(wǎng)絡(luò)提出帶寬、時(shí)延等服務(wù)申請(qǐng)，每個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)視當(dāng)前資源使用狀況為其分配資源，并監(jiān)視應(yīng)用連接每條流的狀態(tài)。如果請(qǐng)求不符合要求節(jié)點(diǎn)將發(fā)送一個(gè)差錯(cuò)信息給接收端，并且中斷信令的處理過程。如果請(qǐng)求被接受，就按照約定服務(wù)水平為該業(yè)務(wù)分配鏈路帶寬和緩沖區(qū)空間。承載網(wǎng)絡(luò)在傳送業(yè)務(wù)報(bào)文過程中執(zhí)行報(bào)文的分類、流量監(jiān)管、排隊(duì)調(diào)度等。這種體系能夠明確區(qū)分并保證每一個(gè)業(yè)務(wù)流的服務(wù)質(zhì)量，為網(wǎng)絡(luò)提供最細(xì)粒度化的服務(wù)質(zhì)量區(qū)分。RFC 2212進(jìn)一步定義了有保障的服務(wù)（guaranteed service），對(duì)帶寬、時(shí)延、丟包率提供定量的要求和質(zhì)量保證措施。這些服務(wù)模型由于規(guī)避了傳送過程中的擁塞及沖突，可以滿足時(shí)延敏感業(yè)務(wù)的承載。DiffServ模型是一種多服務(wù)模型，根據(jù)每個(gè)報(bào)文攜帶的優(yōu)先級(jí)將網(wǎng)絡(luò)上傳輸?shù)臉I(yè)務(wù)分成不同的業(yè)務(wù)流，通過逐跳行為（PHB）為每種業(yè)務(wù)提供差分服務(wù)。業(yè)界在IEEE/IETF標(biāo)準(zhǔn)中已經(jīng)在基于這些思想進(jìn)行5G承載技術(shù)方案的討論和制定，并且充分論證了基于IP/MPLS的創(chuàng)新架構(gòu)及機(jī)制可以達(dá)到等同于TDM網(wǎng)絡(luò)的最差時(shí)延上界，這也是STN承載技術(shù)的研究成果體現(xiàn)。

綜上所述，基于支持5G多業(yè)務(wù)差異化服務(wù)的SLA保障機(jī)制與FlexE切片技術(shù)結(jié)合是中國電信STN智能承載網(wǎng)在提供低時(shí)延及業(yè)務(wù)保證的關(guān)鍵技術(shù)方案。通過基于IP/MPLS架構(gòu)上的進(jìn)一步精細(xì)獨(dú)立緩存資源，物理端口基于時(shí)隙切片，兩者靈活組合實(shí)現(xiàn)業(yè)務(wù)流量硬隔離，做到業(yè)務(wù)從承載網(wǎng)絡(luò)入口到出口的端到端SLA保障，是進(jìn)一步滿足4G/5G融合承載關(guān)鍵網(wǎng)絡(luò)技術(shù)。