張桂玉,馬 睿,白露瑩,鄧木明,趙 鍇(.中訊郵電咨詢設計院有限公司,北京 00048;.國家電網(wǎng)公司信息通信分公司,北京 0076)
傳統(tǒng)IP 網(wǎng)絡的主要特點是統(tǒng)計復用和盡力而為,雖然在鏈路帶寬利用效率和開放性上與其他傳輸方式相比有很大的優(yōu)勢,但是存在時延抖動不可控、擁塞導致丟包等問題,因此無法保證特定需求對網(wǎng)絡要求的“及時”和“準確”;事實上,有很多行業(yè)應用需要網(wǎng)絡提供可確定的帶寬、時延、抖動等服務,確定性網(wǎng)絡就是在這種背景下提出的,它的理念是通過精準控制為特定應用提供質量準時、準確的信息傳輸保證,而電力領域一直是確定性網(wǎng)絡研究的重點領域。
確定性網(wǎng)絡是指給承載的業(yè)務提供確定性業(yè)務保證能力的網(wǎng)絡。確定性網(wǎng)絡采用一系列協(xié)議和機制,通過網(wǎng)絡切片、顯式路由、資源預留、時鐘/頻率同步、周期映射、門控優(yōu)先級隊列調度、幀搶占、流量過濾和整形、多發(fā)選收等技術,分別保障確定性帶寬、確定性轉發(fā)路徑、有界時延、有界抖動、高可靠等QoS 指標。目前的主要技術包括靈活以太網(wǎng)(FlexE)技術、時間敏感網(wǎng)絡(TSN)技術、DetNet/DIP等。各類技術的總體架構如圖1所示。
圖1 確定性網(wǎng)絡技術架構
MAC 層以下的確定性網(wǎng)絡技術,一般是基于時分復用調度不同業(yè)務至多個不同的子通道實現(xiàn)業(yè)務的“管道”隔離,當前主要采用靈活以太網(wǎng)(FlexE)技術。FlexE 是承載網(wǎng)實現(xiàn)業(yè)務隔離承載和網(wǎng)絡分片的一種接口技術,在IEEE 802.3 定義的標準Ethernet 技術基礎上,通過在MAC 與PHY 層之間增加一個FlexE Shim層,實現(xiàn)了MAC 與PHY 層解耦,打破兩者強綁定的一對一映射關系,實現(xiàn)M個MAC 可映射到N個PHY,從而實現(xiàn)了靈活的速率匹配。例如把100GE PHY 池化為20 個5GE 時隙,而業(yè)務口可以靈活地從20 個5G 時隙資源池中申請獨立的帶寬資源。由于重用了現(xiàn)有IEEE 802.3定義的以太網(wǎng)技術,使得FlexE架構得以在現(xiàn)有以太網(wǎng)MAC/PHY 基礎上進一步增強。FlexE 實現(xiàn)了鏈路捆綁、子速率和通道化3種應用模式,承載各類不同速率需求業(yè)務;能夠與SDN 技術結合實現(xiàn)對L1層的傳輸控制,實現(xiàn)網(wǎng)絡帶寬的自動調整,F(xiàn)lexE 在城域網(wǎng)/廣域網(wǎng)有著廣泛的應用。
a)時延/抖動確定。FlexE 通過PHY、MAC 層協(xié)同調度,實現(xiàn)時隙交換以保證時延、抖動的確定性。
b)帶寬確定。FlexE 增加時分復用Shim 層實現(xiàn)MAC 層與PHY 層解耦,得到更靈活的物理通道速率,支持鏈路捆綁、子速率和通道化3種應用模式,可按需為業(yè)務劃分切片帶寬,承載各類速率需求業(yè)務,從而保證帶寬的確定。
c)轉發(fā)路徑確定性?;跇I(yè)務的時延、抖動、可靠性等性能指標要求,通過SRv6 policy 隧道技術,為確定性業(yè)務計算1條或者多條確定性的轉發(fā)路徑。
d)技術局限性。當前支持的切片最小帶寬為5G,對于某些應用會造成帶寬浪費。
L2 層的確定性網(wǎng)絡技術是指MAC 層及以上技術,目前業(yè)界采用的主要是“時間敏感網(wǎng)絡(TSN)技術”,其特點是按照時間片進行流的調度,解決同一管道內(nèi)不同流傳輸?shù)臎_突,保證確定性業(yè)務流的實時傳送。TSN由一系列技術標準構成。其主要分為時鐘同步、數(shù)據(jù)流調度策略(即整形器)以及TSN 網(wǎng)絡與用戶配置3個部分相關標準。TSN 通過IEEE802.1AS(時鐘同步)、IEEE802.1Qbv(時隙控制)、IEEE802.1Qbu&IEEE802.3br(幀搶占)、IEEE802.1CB(冗余數(shù)據(jù)傳輸)等技術保證二層局域網(wǎng)絡端到端的確定性時延、抖動和帶寬。TSN 可以達到10 μs 級的周期傳輸。TSN 在以太網(wǎng)技術基礎上,通過時鐘同步、數(shù)據(jù)調度、網(wǎng)絡配置等機制,提供局域網(wǎng)內(nèi)的確定性數(shù)據(jù)傳輸能力。
a)時延/抖動確定性。每個節(jié)點都有對應的同步時鐘和數(shù)據(jù)隊列,時鐘用于同步計算,隊列用于處理數(shù)據(jù)優(yōu)先級,包括針對高動態(tài)數(shù)據(jù)的快速通道方式和搶占式機制。各機制協(xié)同,為數(shù)據(jù)提供確定的傳輸時隙,實現(xiàn)有界、低時延傳輸。
b)帶寬確定性。采樣IEEE802.1Qbv(時隙控制)、IEEE802.1Qbu 和IEEE802.3br(幀搶占)等保證帶寬的確定性。
c)轉發(fā)路徑確定性。結合生成樹算路(RSTP/MSTP)以及對交換機端口VLAN 的控制,可以為確定性業(yè)務流創(chuàng)建確定性轉發(fā)路徑。
d)存在的主要問題。TSN 技術需要逐流維護狀態(tài),但在大規(guī)模網(wǎng)絡的匯聚節(jié)點存在性能和可擴展性方面的原因無法實現(xiàn)逐流控制的問題,因此目前還不適用大規(guī)模網(wǎng)絡。
L3 層的確定性網(wǎng)絡技術主要包括確定性網(wǎng)絡(DetNet)、確定性IP(DIP)、指定周期排隊轉發(fā)(CSQF)等技術,旨在實現(xiàn)IP 網(wǎng)絡從“盡力而為”的轉發(fā)到“準時、準確、快速”的轉發(fā)。DetNet/DIP/CSQF 主要應用于城域網(wǎng)/廣域網(wǎng)組網(wǎng)場景,在排隊轉發(fā)機制上使用TSN定義的技術,在傳統(tǒng)IP 的基礎之上引入周期轉發(fā)的思想,可通過控制每個數(shù)據(jù)包在每跳的轉發(fā)時機來減少微突發(fā),消除長尾效應,結合SRv6 算路技術實現(xiàn)確定性轉發(fā)路徑,最終實現(xiàn)端到端時延和抖動的確定性。
a)時延/抖動確定性。DetNet/DIP 主要面向廣域網(wǎng),排隊轉發(fā)機制基于TSN 技術進行改良,并基于L3協(xié)議定義方案,在統(tǒng)計復用的基礎上提供確定性時延和抖動。
b)帶寬確定性。結合FlexE 的硬切片特性實現(xiàn)帶寬物理隔離;結合SRv6切片的軟切片特性實現(xiàn)帶寬邏輯隔離。
c)轉發(fā)路徑確定性?;跇I(yè)務的帶寬、時延、可靠性等性能指標要求,通過SRv6 policy 隧道技術,為確定性業(yè)務計算1條或者多條確定性的轉發(fā)路徑。
d)存在的主要問題。DetNet 技術只實現(xiàn)了L3 層的可靠性保障,尚未實現(xiàn)轉發(fā)時延控制,其時延保障仍需要L2 層引入TSN,增加了部署難度,且標準尚未成熟;DIP 技術對TSN 機制加以了改進,但仍然沒解決轉發(fā)設備的時間同步、大規(guī)模逐流調度等難題。
確定性網(wǎng)絡產(chǎn)業(yè)除上述技術及標準發(fā)展以外,主要包括產(chǎn)業(yè)提供者(芯片、設備、設施和管理供應商)、產(chǎn)業(yè)建設者(確定性網(wǎng)絡建設者和服務商)和產(chǎn)業(yè)使用者(各行業(yè)應用客戶)。
確定性網(wǎng)絡提供者主要為整個產(chǎn)業(yè)和生態(tài)發(fā)展提供相應的軟硬件基礎設施,其中芯片廠商提供具備相關確定性能力的基礎硬件,如支持確定性網(wǎng)絡技術的網(wǎng)絡芯片、FPGA、NP、CPU/GPU/TPU、DSP 等設施;基于基礎硬件,設備商提供具備確定性轉發(fā)能力的整機設備;針對設備及由設備組成的網(wǎng)絡,管控系統(tǒng)提供者提供對確定性設備和網(wǎng)絡的管理和控制能力。確定性網(wǎng)絡的提供者涉及確定性網(wǎng)絡產(chǎn)業(yè)的基礎環(huán)節(jié)與技術研發(fā)環(huán)節(jié),掌握著行業(yè)的核心技術,決定了確定性網(wǎng)絡創(chuàng)新和發(fā)展速度,是行業(yè)發(fā)展的關鍵。
2.1.1 芯片的產(chǎn)業(yè)發(fā)展情況
確定性網(wǎng)絡技術的芯片制造商主要是網(wǎng)絡芯片制造商如博通、高通、微芯科技等;此外,NP(Network processor)提供商在支持網(wǎng)絡轉發(fā)能力的同時也支持可編程能力,可更好地支撐確定性網(wǎng)絡技術平滑演進(如英偉達旗下ezchip);CPU、GPU、TPU 企業(yè)推出在端側支持確定性能力的產(chǎn)品(如英特爾、ARM、英偉);DSP芯片主要提供確定性網(wǎng)絡相關技術的基礎能力集成和供給,如TI、ADI等。
未來隨著確定性網(wǎng)絡技術相關標準的不斷完善,芯片的發(fā)展將與確定性網(wǎng)絡技術規(guī)劃更好的匹配,實現(xiàn)低成本芯片解決方案,更好地支撐確定性網(wǎng)絡整個生態(tài)的發(fā)展。
2.1.2 設備的產(chǎn)業(yè)發(fā)展情況
確定性網(wǎng)絡的主流設備廠商包括華為、中興、新華三、思科、東土科技等,這些廠商涉及無線/有線接入、局域/廣域網(wǎng)等多種場景及技術,各廠商涉及程度不一,同時高校以行業(yè)應用者身份根據(jù)自身研究及需求也推出了相應的產(chǎn)品。
隨著未來確定性網(wǎng)絡應用的試點和規(guī)模落地,設備提供商將在轉發(fā)、控制及運維等方面的關鍵技術上進行突破,提供更加全面、可落地的解決方案。
2.1.3 管控系統(tǒng)的產(chǎn)業(yè)發(fā)展情況
現(xiàn)有管控主要分為2類,一類由設備廠商提供,一般只負責本廠設備相關的管理和控制,無法實現(xiàn)異廠商的管控;另一類一般由第三方提供,與廠家設備無關,通過轉發(fā)和控制的解耦,實現(xiàn)多廠商的統(tǒng)一管控。確定性網(wǎng)絡建設者也參與到管控系統(tǒng)的研發(fā)和使用的過程中,目標是提供跨不同廠商的管控能力,目前電信運營商及網(wǎng)絡水平較高的研發(fā)機構已在此方面形成了產(chǎn)品及突破。
確定性網(wǎng)絡建設者主要包括電信運營商、其他廣域網(wǎng)服務商;直接參與2B建設的設備商如華為、中興、新華三等;還有各行各業(yè)擁有較大規(guī)模自建廣域網(wǎng)絡的企業(yè)比如國家電網(wǎng)、中國高鐵等。當前這些企業(yè)正在積極進行試點工作,其試點主要圍繞各行業(yè)實際應用,解決異廠商的互通性問題,從而降低用戶使用門檻,以較低成本為應用者提供全場景的端到端確定性解決方案。
需求是推動技術產(chǎn)生和發(fā)展的源動力,確定性網(wǎng)絡產(chǎn)業(yè)的最終使用需求和使用場景是確定性網(wǎng)絡技術得以發(fā)展和進步的基礎。工業(yè)制造、電力行業(yè)、能源行業(yè)、醫(yī)療行業(yè)、港口運輸、裝備制造及車聯(lián)網(wǎng)等各行各業(yè)都開始進行確定性網(wǎng)絡實際應用試點。未來隨著確定性網(wǎng)絡各類技術發(fā)展和演進,結合各行業(yè)應用者的應用需求和場景,生態(tài)伙伴不斷優(yōu)化、改進和創(chuàng)新確定性網(wǎng)絡整體方案,確定性網(wǎng)絡應用將支撐和驅動未來確定性網(wǎng)絡的規(guī)?;涞貙嵺`。電力網(wǎng)絡在確定性網(wǎng)絡技術方面的需求是本文討論的重點。
3.1.1 配網(wǎng)差動保護應用場景
我國電力系統(tǒng)用來實現(xiàn)高電壓線路傳輸大容量電能,但也存在許多風險,一旦發(fā)生安全事故,易導致大面積的用電問題,因此,需要運用電力系統(tǒng)“繼電保護裝置”的配網(wǎng)差動保護技術判斷故障,并快速切斷故障區(qū)域。具體應用為:配網(wǎng)差動保護各側保護終端都通過通信通道將本端的電氣測量數(shù)據(jù)發(fā)送給對側,同時接收對側發(fā)送的數(shù)據(jù)并加以比較,判斷故障位置是否在保護范圍內(nèi),并決定是否啟動將故障切除。差動保護要求兩端需持續(xù)發(fā)送電流且同時到達,并通過比較差異判斷是否啟動故障保護,因此為保證誤切不超過一定的偏差,對端到端承載網(wǎng)絡的時延、抖動均有較高要求;同時由于配網(wǎng)故障發(fā)生是隨機的,配網(wǎng)差動保護需要持續(xù)實時傳遞數(shù)據(jù)來判斷和檢測線路是否發(fā)生故障,因此具有持續(xù)上行帶寬流量需求,對帶寬資源保障要求也很高??偟膩碚f配網(wǎng)差動保護對網(wǎng)絡的主要要求是:通信時延嚴格保持一致,帶寬確定且無抖動。
分相電流差動保護系統(tǒng)模型如圖2 所示,其業(yè)務指標要求如表1所示。
表1 分相電流差動保護業(yè)務指標要求
3.1.2 視頻會議應用場景
由于會議視頻傳輸?shù)氖菍崟r的圖像和語音業(yè)務,對網(wǎng)絡的要求較高。為了能夠保障會議的通信質量,傳輸網(wǎng)絡需能夠提供足夠帶寬且傳輸線路穩(wěn)定,要能夠保證沒有擁塞和低誤碼率。
一般說來,視頻會議系統(tǒng)的承載網(wǎng)絡應避免出現(xiàn)如下情況。
a)傳輸網(wǎng)絡不穩(wěn)定,誤碼率高。
c)時延抖動大。
d)丟包率大。
e)地址設定沒有統(tǒng)一的規(guī)范。
為了使建成后的視頻會議系統(tǒng)具備良好的效果,承載網(wǎng)絡應具備如下特點。
a)傳輸網(wǎng)絡穩(wěn)定,誤碼率<10-7。
b)端到端的時延要求,視頻會議的通用時延建議小于200 ms,100 ms內(nèi)最佳。
c)網(wǎng)絡抖動的要求,由于音頻/視頻的傳輸為實時的交互,對網(wǎng)絡抖動的要求較高,建議保持在小于50 ms。
d)丟包率的要求,網(wǎng)絡上的丟包率不可高于1%。
而湘西地區(qū)紅色文獻,筆者以為,是該地區(qū)近現(xiàn)代革命史的重要載體,是在中國共產(chǎn)黨的領導下,湘西本土人民在長期的革命斗爭中所形成的偉大的革命精神及其物質媒介。不僅涉及該地區(qū)該時段的有關歷史、政治、經(jīng)濟和文化、教育等方面的各種載體的文獻資料,而且還應涵蓋其原始文獻的衍生物,亦即在此基礎之上整理、研究形成的各種形式的成果。
e)穩(wěn)定的帶寬要求。
視頻會議系統(tǒng)的拓撲如圖3所示。
圖3 視頻會議系統(tǒng)拓撲示意
以上2 種應用對網(wǎng)絡要求較高,因此傳統(tǒng)電力行業(yè)廣泛應用基于SDH 的網(wǎng)絡技術承載,SDH 采用時分復用(time division multiplexing,TDM)的同步數(shù)字傳輸技術,為線路保護提供了高質量的通信服務。然而,TDM 系統(tǒng)缺乏靈活性,由網(wǎng)管統(tǒng)一配置,不支持業(yè)務通道智能多故障自愈保護,多業(yè)務傳輸場景無法有效利用帶寬。因此本文提出采用基于端到端的確定性網(wǎng)絡技術實現(xiàn)以上2種應用業(yè)務的承載方案。
3.2.1 總體思路
綜合考慮確定性網(wǎng)絡技術的成熟情況、適用情況及生態(tài)發(fā)展情況,端到端確定性方案選擇了TSN 和FlexE 2 種確定性網(wǎng)絡技術,結合IPv6+系列技術(SRv6、實時檢測),形成跨局域網(wǎng)和廣域網(wǎng)的端到端確定性方案,方案組網(wǎng)示意如圖4所示。
圖4 端到端確定性組網(wǎng)方案
端到端確定性組網(wǎng)方案的實現(xiàn)機制分為局域確定性網(wǎng)絡方案、廣域確定性網(wǎng)絡方案和端到端確定性網(wǎng)絡方案。
3.2.2 局域網(wǎng)確定性方案設計
3.2.2.1 局域網(wǎng)采用TSN交換機組網(wǎng)
時鐘同步方案,采用精準時鐘同步協(xié)議(PTP)(802.1AS 標準),使局域網(wǎng)內(nèi)所有設備的調度周期和步調保持一致。
3.2.2.2 數(shù)據(jù)流分類方案
基于業(yè)務報文的vlan、源/目的MAC、報文優(yōu)先級(802.1p)等字段,對確定性業(yè)務流進行分類,把指定的業(yè)務流綁定到確定性轉發(fā)隊列。
3.2.2.3 業(yè)務流轉發(fā)路徑
結合生成樹算路(RSTP/MSTP)以及對交換機端口vlan 的控制,可以為確定性業(yè)務流創(chuàng)建確定性轉發(fā)路徑,滿足帶寬和時延的要求。
3.2.2.4 業(yè)務確定性指標保證
根據(jù)各業(yè)務包大小、發(fā)包頻率、設備轉發(fā)速率,設置TSN 門控隊列開關時間,可在每一個轉發(fā)周期內(nèi)為確定性業(yè)務提供獨享的轉發(fā)隊列和時長,確保報文有序、按時到達,滿足時延和抖動的要求。
3.2.3 廣域網(wǎng)確定性方案設計
廣域網(wǎng)確定性方案設計主要包括如下幾個方面。
a)FlexE 切片網(wǎng)絡設計。為重要的業(yè)務創(chuàng)建FlexE網(wǎng)絡切片,基于業(yè)務對帶寬、網(wǎng)絡可靠性等需求,劃分切片網(wǎng)絡、設定切片網(wǎng)絡上每條鏈路的FlexE 帶寬或時隙。
b)FlexE 切片網(wǎng)絡IGP 路由設計。IGP 可采用ISIS 或者OSPF 協(xié)議,打通FlexE 設備間的loopback 路由,用于SDN管控設備及PE設備間建立BGP鄰居。
c)確定性轉發(fā)面設計。業(yè)務轉發(fā)采用SRv6 隧道,經(jīng)過的鏈路、節(jié)點是確定的,從而時延、抖動也是確定的??赏ㄟ^SDN 控制器為確定性業(yè)務流計算多條SRv6等價路徑,在鏈路故障時實現(xiàn)無差別的路徑切換,時延、抖動在切換前后幾乎保持一致。
d)業(yè)務控制面設計。采用BGP EVPN 作為統(tǒng)一的業(yè)務控制面板,支持L2 VPN、L3 VPN 控制面板的統(tǒng)一,簡化網(wǎng)絡協(xié)議。
3.2.4 端到端確定性實現(xiàn)
通過拼接確定性局域網(wǎng)與確定性廣域網(wǎng),實現(xiàn)端到端的確定性。
在局域網(wǎng)與廣域網(wǎng)的拼接段采用直連的方式,拼接段的時延、抖動是確定的。
3.3.1 模擬差動保護業(yè)務測試
測試拓撲如圖5所示。
圖5 差動保護業(yè)務測試組網(wǎng)拓撲
測試步驟如下。
a)搭建測試組網(wǎng)環(huán)境。
b)在TSN 交換機上設置不同業(yè)務的優(yōu)先級以及門控調度機制,BE流量設置最低優(yōu)先級。
c)為被測業(yè)務流1、2 設置端到端的通路,業(yè)務流1 為高優(yōu)先級業(yè)務,模擬差動保護業(yè)務流;業(yè)務流2 為普通BE 流量,模擬背景流/干擾流;業(yè)務流1 和業(yè)務流2 通過TSN 交換機不同的端口進行接入,通過同一條中繼鏈路(trunk)轉發(fā);且在Flex E 中通過不同切片進行轉發(fā)。
d)在PE1 和PE2 設備間配置FlexE 切片,該切片可能經(jīng)過多個路由器。
e)數(shù)據(jù)網(wǎng)絡分析儀向TSN 交換機1 的2 個千兆端口分別發(fā)送滿帶寬流量,業(yè)務流1和業(yè)務流2。
從測試結果來看,模擬差動保護業(yè)務流收發(fā)正常,數(shù)據(jù)網(wǎng)絡分析儀觀察到無丟包,業(yè)務流的時延、抖動都在預期范圍內(nèi),符合電力行業(yè)對該業(yè)務的SLA 要求。
3.3.2 模擬視頻會議業(yè)務測試
測試拓撲如圖6所示。
圖6 視頻會議業(yè)務測試組網(wǎng)拓撲
測試步驟如下。
a)搭建測試組網(wǎng)環(huán)境。
b)在TSN 交換機上設置不同業(yè)務的優(yōu)先級以及門控調度機制,BE流量設置最低優(yōu)先級。
c)為視頻業(yè)務流和背景流設置端到端的通路,視頻業(yè)務流和背景流通過TSN 交換機不同的端口進行接入,通過同一條中繼鏈路(trunk)轉發(fā),且在FlexE 中通過不同切片進行轉發(fā)。
d)在PE1 和PE2 設備間配置FlexE 切片,該切片可能經(jīng)過多個路由器。
e)數(shù)據(jù)網(wǎng)絡分析儀向TSN 交換機1 的1 個千兆端口發(fā)送滿帶寬背景流量。
f)視頻會議終端設置、測試儀配置及打流檢測。
g)2 臺視頻會議終端配置好IP 地址,成功發(fā)起視頻會議呼叫。
h)測試儀背景流/干擾流配置。
從測試結果來看,在網(wǎng)絡未啟用端到端確定性能力(TSN 局域網(wǎng)關閉802.1qbv,F(xiàn)lexE 廣域網(wǎng)上所有流量共切片傳輸)的情況下,視頻會議有明顯的卡頓;網(wǎng)絡啟用端到端確定性能力后(在局域網(wǎng)為視頻業(yè)務流設定門控調度隊列、在廣域網(wǎng)為視頻業(yè)務流劃分獨立切片網(wǎng)絡及指定轉發(fā)路徑),視頻會議非常流暢無卡頓。
采用本文的確定性網(wǎng)絡技術方案進行業(yè)務承載時,視頻畫面清晰流暢,可滿足電力行業(yè)對于視頻會議業(yè)務的要求。
確定性網(wǎng)絡技術作為近年來網(wǎng)絡研究的熱點,無論從技術標準、技術實現(xiàn)還是產(chǎn)業(yè)生態(tài)都還不夠完善和成熟,但是有越來越多的國內(nèi)外企業(yè)、標準組織、產(chǎn)業(yè)聯(lián)盟都已經(jīng)看到了該技術的價值,也都在積極地進行確定性網(wǎng)絡技術的研究和實踐,在不久的將來,確定性網(wǎng)絡技術一定會有更大的應用和發(fā)展,并更好地為包括電力行業(yè)在內(nèi)的越來越多的應用提供精準確定的網(wǎng)絡服務。