確定性光傳輸支撐廣域長距算力互聯(lián)

王光全，滿祥錕，徐博華，呂福華，孟萬紅（.中國聯(lián)通研究院，北京 00048；.華為技術(shù)有限公司，廣東 深圳 589）

0 引言

2022年1月，國務(wù)院印發(fā)《“十四五”數(shù)字經(jīng)濟發(fā)展規(guī)劃》，提出加快建設(shè)信息網(wǎng)絡(luò)基礎(chǔ)設(shè)施，有序推進基礎(chǔ)設(shè)施智能升級，加快實施“東數(shù)西算”工程的要求。隨著國家東數(shù)西算戰(zhàn)略的推進，越來越多的算力協(xié)同場景以及跨地域大數(shù)據(jù)搬移場景開始涌現(xiàn)。數(shù)據(jù)和算力已經(jīng)不再局限于單一的數(shù)據(jù)中心，更多的新型計算任務(wù)和大量數(shù)據(jù)需要在多個算力中心間流轉(zhuǎn)并進行算力協(xié)同，算力中心間的長距高性能傳輸能力已成為影響業(yè)務(wù)性能的關(guān)鍵因素。

算力互聯(lián)意味著將算力中心內(nèi)部的DCN 網(wǎng)絡(luò)進行延伸，典型的DCN網(wǎng)絡(luò)覆蓋范圍在10 km以內(nèi)，且高性能計算DCN 網(wǎng)絡(luò)當(dāng)前主流的協(xié)議為遠程內(nèi)存直接訪 問（Remote Direct Memory Access，RDMA），由 于RDMA 協(xié)議要求無損傳輸，當(dāng)將DCN 網(wǎng)絡(luò)擴展到廣域百公里至千公里的范圍時，會導(dǎo)致超長的鏈路傳輸時延，進而導(dǎo)致網(wǎng)絡(luò)狀態(tài)反饋滯后。然而，現(xiàn)有的傳輸層協(xié)議的擁塞控制算法存在不足之處（例如，在長距離傳輸中，Cubic 算法的帶寬利用率低，丟包現(xiàn)象較為嚴(yán)重），無法有效地利用帶寬。為了應(yīng)對超長距傳輸?shù)奶魬?zhàn)，滿足高性能算力互連的需求，承載網(wǎng)必須具備長距無損確定性傳輸能力，并且需要與終端側(cè)進行協(xié)同，以確保高性能協(xié)議的傳輸效率。因此，如何構(gòu)建大帶寬的確定性網(wǎng)絡(luò)以實現(xiàn)千公里級RDMA 的無損傳輸是當(dāng)前廣域算力互聯(lián)領(lǐng)域的研究熱點。

1 RDMA現(xiàn)狀及應(yīng)用于廣域算力互聯(lián)的挑戰(zhàn)

1.1 RDMA 技術(shù)介紹

傳統(tǒng)的TCP/IP 存在著網(wǎng)絡(luò)傳輸和數(shù)據(jù)處理延遲過大、多次數(shù)據(jù)拷貝和中斷處理、復(fù)雜的TCP/IP 協(xié)議處理等問題。RDMA［1-2］支持本端節(jié)點“直接”訪問遠端節(jié)點內(nèi)存的操作，本端節(jié)點可以像訪問本地內(nèi)存一樣，繞過傳統(tǒng)以太網(wǎng)中復(fù)雜的TCP/IP 網(wǎng)絡(luò)協(xié)議棧讀寫遠端內(nèi)存。由網(wǎng)卡直接進行內(nèi)存讀寫操作，能夠釋放CPU 算力并降低數(shù)據(jù)的傳輸時延，這是一種為了解決網(wǎng)絡(luò)傳輸中服務(wù)器端數(shù)據(jù)處理延遲問題而產(chǎn)生的技術(shù)。

RDMA 有3 種傳輸模式：RDMA Send、RDMA Read和RDMA Write。如圖1 所示，其協(xié)議傳輸?shù)闹饕卣魇牵阂詳?shù)據(jù)塊為單元，一次把所要傳輸數(shù)據(jù)根據(jù)PMTU大小進行切片，直到所有數(shù)據(jù)塊傳輸完畢；采用PSN系列號機制確認數(shù)據(jù)的完整性，如果有丟包，則進行重傳；可以配置多隊列、多數(shù)據(jù)塊請求、調(diào)整PMTU 大小、設(shè)置網(wǎng)卡隊列緩存大小等參數(shù)，提升RDMA 的傳輸效率。針對丟包，采用Go Back N 重傳機制，檢測到PSN 序列號丟失時，則請求從該PSN 序列號之后的報文全部重傳。目前RDMA 協(xié)議不支持選擇性重傳，因此，一旦網(wǎng)絡(luò)有丟包，則無法保證RDMA 協(xié)議的傳輸效率。

圖1 RDMA 3種傳輸模式對比

RDMA 技術(shù)主要包括IB、RoCE和iWARP。

IB（InfiniBand）：基于InfiniBand 架構(gòu)的RDMA 技術(shù)，需要專用的IB網(wǎng)卡和IB交換機。

RoCE（RDMA over Converged Ethernet）：基于以太網(wǎng)的RDMA 技術(shù)，需要交換機支持無損以太網(wǎng)傳輸，此時要求服務(wù)器使用RoCE網(wǎng)卡。

iWARP（Internet Wide Area RDMA Protocal）：基于TCP/IP 協(xié)議的RDMA 技術(shù)，由IETF 標(biāo)準(zhǔn)定義，目前使用較少。

目前，IB 主要在DC 內(nèi)應(yīng)用，因為其鏈路層采用Credit 機制，所以無法實現(xiàn)滿速率的長距傳輸。因此，本文主要討論RoCE 對網(wǎng)絡(luò)的要求及相應(yīng)的解決方案。在RoCE 網(wǎng)絡(luò)中，為了確保網(wǎng)絡(luò)傳輸過程中不丟包，需要構(gòu)建無損以太網(wǎng)。目前，主要采用2 種機制：PFC 機制和ECN 機制［3］。PFC 機制是交換節(jié)點逐級向上游設(shè)備反壓，上游設(shè)備緩存報文，若Buffer 達到閾值，則會繼續(xù)向上游反壓；ECN 機制是報文在網(wǎng)絡(luò)節(jié)點中發(fā)生擁塞并觸發(fā)ECN時，使用IP報文頭的ECN字段標(biāo)記數(shù)據(jù)包，這表明該報文遇到網(wǎng)絡(luò)擁塞，并將它發(fā)送給源端服務(wù)器，源服務(wù)器收到后，通過降低相應(yīng)流發(fā)送速率，緩解網(wǎng)絡(luò)設(shè)備擁塞，從而避免丟包。

1.2 RDMA 應(yīng)用于廣域算力互聯(lián)的主要挑戰(zhàn)

RDMA技術(shù)最典型的落地業(yè)務(wù)場景是高性能計算（HPC/AI）。為了滿足超長距高性能算力互連要求，傳統(tǒng)廣域基于TCP/IP 傳輸協(xié)議的互聯(lián)網(wǎng)絡(luò)，面臨3 個方面的挑戰(zhàn)：首先，高性能計算互聯(lián)單次突發(fā)數(shù)據(jù)量為MB/GB 級別的大流，而TCP/IP 機制需要把數(shù)據(jù)切分為小分片（MTU 默認1 500），導(dǎo)致有效載荷低；其次，互聯(lián)網(wǎng)網(wǎng)絡(luò)采用逐層收斂結(jié)構(gòu)，業(yè)務(wù)傳輸跳數(shù)多，網(wǎng)絡(luò)上的數(shù)據(jù)突發(fā)和擁塞都會造成不可預(yù)知的時延、抖動和丟包。為保證業(yè)務(wù)端到端可靠傳輸，RDMA 的丟包重傳機制額外耗費了網(wǎng)絡(luò)帶寬，降低了業(yè)務(wù)吞吐率，進一步導(dǎo)致性能下降。第三，原生RDMA 技術(shù)對丟包敏感，難以直接用于有損的廣域網(wǎng)絡(luò)傳輸，因此，需要設(shè)計高品質(zhì)無收斂的網(wǎng)絡(luò)互聯(lián)架構(gòu)與技術(shù)，讓RDMA數(shù)據(jù)流可以直接承載在具有確定性品質(zhì)的無損網(wǎng)絡(luò)上，中間不再經(jīng)過多級交換匯聚設(shè)備，以減少擁塞，提升吞吐率；考慮到算力互聯(lián)間帶寬以100G～400G 的大顆粒為主，適合在源點和宿點之間構(gòu)筑波長級的一跳直達連接，以避免網(wǎng)絡(luò)擁塞和丟包導(dǎo)致的效率降低；而廣域拉遠帶來的傳輸時延是客觀存在的，通過確定性的傳輸時延，與端側(cè)RDMA 協(xié)議協(xié)同調(diào)整RDMA 傳輸參數(shù)，也是提升RDMA 廣域傳輸效率的有效手段。因此通過架構(gòu)、技術(shù)、協(xié)議等多方面的優(yōu)化和改進，可以有效提高RDMA跨廣域傳輸吞吐率。

2 RDMA在廣域算力互聯(lián)的影響因素研究

RDMA 的吞吐率受到諸如距離、丟包、QP 數(shù)量和傳輸塊大小等多種因素的影響。本文基于全光網(wǎng)絡(luò)的長距環(huán)境，對RDMA 的吞吐量進行了研究。驗證環(huán)境的組網(wǎng)如圖2 所示，通過OTN 全光無損網(wǎng)絡(luò)提供低于10-15誤碼率的高質(zhì)量長距傳輸鏈路，包括2 條不同長度（200 m和600 km）的光纖鏈路，這2條鏈路的帶寬均為100 Gbit/s?；谶@條OTN 鏈路使用性能測試工具（IB write）進行吞吐量測試。

圖2 RDMA吞吐量影響測試連接

2.1 距離/時延對長距RDMA吞吐量的影響

為了測試長距帶來的時延對RDMA 吞吐量的影響，采用OMSP 保護方式，構(gòu)建2 條不同長度的光路，一條為200 m，另一條為600 km，默認將OMSP 保護組工作在短路由上，即服務(wù)器1 和服務(wù)器2 之間的業(yè)務(wù)流工作在短距離連接上，鏈路誤碼率為10-15，服務(wù)器1和服務(wù)器2 通過IB write 打流，鏈路最高吞吐量為100 Gbit/s。具體如圖3所示。

圖3 不同距離下對長距離RDMA影響測試

然后，通過觸發(fā)LOS 將工作路由切換到長路徑上，再次用IB write 打流測試。結(jié)果顯示，吞吐量只有原來的1/10，即約10 Gbit/s。這表明，隨著傳輸距離的增加，ACK 回復(fù)變慢，導(dǎo)致網(wǎng)卡出口緩存被占滿，業(yè)務(wù)吞吐率下降。在調(diào)整IB write 參數(shù)的情況下，增大RDMA 塊大小或者QP 數(shù)量，RDMA 在600 km 長距離下達到滿速100 Gbit/s（百分百吞吐量）。因此，在鏈路無損的情況下，RDMA 協(xié)議需要根據(jù)傳輸距離設(shè)置合適的QP 數(shù)量或塊大小，以保證長距離吞吐量不下降（見圖4）。

圖4 RDMA協(xié)議中對應(yīng)QP數(shù)量或塊大小調(diào)整示意

2.2 丟包對長距離RDMA吞吐量的影響

長距離丟包的主要原因有2 類，一類是以太客戶側(cè)的丟包，例如尾纖和連接器出問題時導(dǎo)致的丟包，另一類是光線路側(cè)的丟包。長距離傳輸雖然會出現(xiàn)誤碼，但是相干系統(tǒng)自帶FEC 糾錯功能，所以光線路側(cè)丟包主要是由瞬斷導(dǎo)致的。

以太客戶側(cè)的丟包主要原因有：尾纖問題和連接器問題。

a）尾纖問題：尾纖是用于傳輸電信號的光纖，如果尾纖質(zhì)量不佳或者使用不當(dāng)，就會在信號傳輸過程中出現(xiàn)丟失、反射、噪聲等問題，從而導(dǎo)致丟包。例如尾纖損壞或者有污點，都可能在信號傳輸過程中出現(xiàn)丟失現(xiàn)象，從而導(dǎo)致丟包。

b）連接器問題：連接器是用于連接尾纖和設(shè)備的接口，如果連接器質(zhì)量不佳或者使用不當(dāng)，就會在信號傳輸過程中出現(xiàn)丟失、反射、噪聲等問題，從而導(dǎo)致丟包。例如連接器損壞或者有污點，都可能在信號傳輸過程中出現(xiàn)丟失現(xiàn)象，從而導(dǎo)致丟包。

光纖瞬斷是光線路側(cè)丟包的典型問題，常見的瞬斷原因包括如下3種。

a）光纖質(zhì)量問題。光纖質(zhì)量問題是導(dǎo)致光纖瞬斷的主要原因之一，光纖的質(zhì)量直接影響其傳輸能力和可靠性。如果光纖存在質(zhì)量問題，如損壞、污染、彎曲度過度過大等，就會導(dǎo)致光纖傳輸過程中出現(xiàn)短期中斷。

b）環(huán)境因素。環(huán)境因素包括溫度、濕度、光照等。在某些環(huán)境下，如高溫、低溫、高濕度、低光照等，光纖的傳輸性能會受到影響，從而導(dǎo)致光纖瞬斷。

c）人為因素。人為因素包括光纖的意外彎曲、拉斷、碰撞等，這些因素可能會導(dǎo)致光纖出現(xiàn)短期中斷。

由于RDMA 對丟包敏感，一旦光纖瞬斷導(dǎo)致丟包頻繁出現(xiàn)，會引起RDMA 協(xié)議層Go Back N 機制重傳丟包后的所有報文，導(dǎo)致RDMA 吞吐率急速下降（見圖5）。

圖5 光纖瞬斷對RDMA傳輸?shù)挠绊?/p>

實驗室通過在光路上增加噪聲的方式，模擬線路出現(xiàn)大量誤碼造成光纖瞬斷的情況。通過抓包觀察，發(fā)現(xiàn)此時RDMA 業(yè)務(wù)會出現(xiàn)時斷時續(xù)的現(xiàn)象，測試結(jié)果顯示，當(dāng)業(yè)務(wù)丟包率達到萬分之六以上，RDMA的吞吐量會直線下降（見表1）。

表1 丟包率與帶寬關(guān)系表

2.3 流控機制對長距離RDMA吞吐量的影響

基于優(yōu)先級的流量控制（Priority-based Flow Control，PFC）是一種能夠有效避免丟包的流量控制技術(shù)。PFC 基于優(yōu)先級的流量控制，將流量按照優(yōu)先級進行分類，從而實現(xiàn)對不同優(yōu)先級流量的控制。當(dāng)下游設(shè)備的無損隊列發(fā)生擁塞時，下游設(shè)備會通知上游設(shè)備停止發(fā)送該隊列的流量，從而實現(xiàn)零丟包傳輸。

在長距離傳輸場景中，當(dāng)宿端發(fā)生擁塞時，當(dāng)前典型的DCN 內(nèi)交換機是小緩存配置，無法支持2 倍RTT 的流量緩存能力。因此，流控信號需要長距離傳輸?shù)木W(wǎng)絡(luò)設(shè)備進行響應(yīng)，這就要求OTN 傳輸設(shè)備具備PFC流控響應(yīng)能力，能緩存網(wǎng)絡(luò)上流量并保證不丟包，同時具備逐級向上反壓流量的能力，從而與DCN 交換機協(xié)同實現(xiàn)長距離無損。

在實驗室中構(gòu)造如圖6 所示的測試場景。首先，通過2臺儀表構(gòu)建1條25 Gbit/s的背景業(yè)務(wù)流，然后從服務(wù)器1 發(fā)起流量為80 Gbit/s 的RDMA 業(yè)務(wù)到600 km外的服務(wù)器2。因為原宿節(jié)點交換機端口和OTN 均為100G 端口，所以在宿端Spine 交換機將業(yè)務(wù)流轉(zhuǎn)發(fā)到TOR 交換機時，總帶寬超過100 Gbit/s，會出現(xiàn)流量擁塞。實驗結(jié)果如下。

圖6 實驗室RDMA測試連接示意

a）OTN 不開啟PFC流控：由于宿端DCN 網(wǎng)絡(luò)發(fā)生擁塞并導(dǎo)致丟包，RDMA的重傳進一步加劇了擁塞，導(dǎo)致更多的丟包，服務(wù)器業(yè)務(wù)的有效帶寬從80 Gbit/s 降到9 Gbit/s。

b）OTN 開啟PFC 流控：服務(wù)器丟包現(xiàn)象消失，由于OTN 收到宿端Spine 交換機發(fā)送的擁塞信號，首先響應(yīng)PFC 流控，并通過Buffer 緩存正在發(fā)送的流量。同時，它生成新的PFC 信息，向上游發(fā)送流控幀通知，逐級反壓到達服務(wù)器端側(cè)，端側(cè)降速以達到端網(wǎng)協(xié)同，防止無效重傳。實驗室測試結(jié)果顯示，開啟OTN流控功能后，服務(wù)器業(yè)務(wù)的有效帶寬從9 Gbit/s提升到76 Gbit/s。

2.4 小結(jié)

實驗結(jié)果顯示，物理網(wǎng)絡(luò)的參數(shù)和服務(wù)器端側(cè)參數(shù)都會對長距離RDMA 的吞吐量產(chǎn)生影響。其中，距離是影響RDMA 吞吐量的最重要因素之一，隨著距離的增加，RDMA 的吞吐量會逐漸降低；網(wǎng)絡(luò)側(cè)丟包/誤碼也會對RDMA 的吞吐量產(chǎn)生影響，當(dāng)發(fā)生丟包時，RDMA 的Go Back N 機制需要從丟包的位置重新發(fā)送后續(xù)的全部數(shù)據(jù)，這導(dǎo)致業(yè)務(wù)的有效吞吐量顯著降低；服務(wù)器端側(cè)隊列對（QP）數(shù)量也會對RDMA 的吞吐量產(chǎn)生影響，QP 數(shù)量越多，RDMA 吞吐量就越高；服務(wù)器端側(cè)的塊大小也是影響RDMA 吞吐量的因素之一，較大的塊大小可以提高RDMA的吞吐量。

根據(jù)上述特征，為了保證RDMA 數(shù)據(jù)傳輸?shù)男?，防止擁塞、無效重傳、時延不穩(wěn)定導(dǎo)致的性能下降，傳輸鏈路應(yīng)具備確定性的長距離無損能力。

a）傳輸鏈路應(yīng)具備穩(wěn)定的低時延能力，從源端到宿端光層一跳直達，盡量減少電交換設(shè)備，以實現(xiàn)極致低時延，從而最大化傳輸效率。

b）傳輸鏈路應(yīng)保持低誤碼率，誤碼率越低越好，以避免因誤碼導(dǎo)致的丟包、閃斷等重傳問題，從而確保性能的穩(wěn)定。

c）傳輸鏈路要避免擁塞，應(yīng)盡量使用確定性的無擁塞管道傳輸，防止網(wǎng)絡(luò)設(shè)備擁塞導(dǎo)致丟包影響業(yè)務(wù)，產(chǎn)生無效重傳。

d）傳輸鏈路應(yīng)具備與端側(cè)協(xié)同的能力，傳輸設(shè)備應(yīng)能與服務(wù)器端側(cè)之間互通狀態(tài)信息，當(dāng)端側(cè)能夠感知到物理層狀態(tài)參數(shù)信息時，就能靈活調(diào)整RDMA 發(fā)送參數(shù)，從而實現(xiàn)長距離高吞吐量傳輸。

e）傳輸鏈路提供超大帶寬能力，縮短搬移周期，促進數(shù)字經(jīng)濟的高速發(fā)展。

3 確定性光傳輸廣域RDMA 解決方案

如圖7 所示，當(dāng)前算力中心之間有2 種互聯(lián)方式：一是通過互聯(lián)網(wǎng)出口互聯(lián)，這種方式容易受到互聯(lián)網(wǎng)擁塞、丟包的影響，從而導(dǎo)致RDMA 廣域傳輸性能嚴(yán)重劣化；二是通過專線方式互聯(lián)，這種方式可以解決互聯(lián)網(wǎng)擁塞等問題，但數(shù)據(jù)中心內(nèi)部經(jīng)過大量的交換機及服務(wù)器處理轉(zhuǎn)發(fā)，也會導(dǎo)致RDMA 廣域傳輸性能受限。以某超算為例，DCN 內(nèi)需要經(jīng)過約15跳節(jié)點處理才能到DC 專線出口路由器節(jié)點，導(dǎo)致轉(zhuǎn)發(fā)處理時延長。

圖7 算力中心互聯(lián)方式

為了實現(xiàn)RDMA 廣域高性能傳輸，算力互聯(lián)網(wǎng)絡(luò)架構(gòu)需要優(yōu)化：構(gòu)建算間全光高速平面，將DCN 網(wǎng)絡(luò)的Spine/leaf節(jié)點直連OTN 光傳輸設(shè)備，OTN 設(shè)備基于物理層參數(shù)數(shù)據(jù)與端側(cè)業(yè)務(wù)參數(shù)協(xié)同，實現(xiàn)高吞吐長距離傳輸。

全光網(wǎng)［4］具備高品質(zhì)、確定性、高安全、低時延、低抖動等優(yōu)勢，是實現(xiàn)RDMA 無損拉遠的理想技術(shù)，可視為新型算力協(xié)同互聯(lián)的最佳解決方案。通過全光網(wǎng)絡(luò)承載提供高品質(zhì)、高可靠的算網(wǎng)保障，可有效保證長距傳輸時RDMA 的高吞吐量，以實現(xiàn)高效算力協(xié)同。因此，構(gòu)建全光算力網(wǎng)方案需要從以下幾個方面展開。

3.1 Mesh化組網(wǎng)架構(gòu)

以算力為中心，規(guī)劃“1 ms-5 ms-20 ms”覆蓋從城域至樞紐的多級時延圈，通過確定性鏈路帶寬、時延和可用率，以及網(wǎng)絡(luò)端到端硬隔離、安全可靠品質(zhì)實現(xiàn)分布式算力節(jié)點間Mesh 化連接。這種連接方式具備靈活高效調(diào)度能力，使算力能效最大化。具體如圖8所示。

圖8 算力節(jié)點間組網(wǎng)架構(gòu)示意

算力節(jié)點間互聯(lián)采取Mesh化、立體化拓撲進行組網(wǎng)，全面部署OXC，通過聯(lián)動OTN 實現(xiàn)光電協(xié)同高效調(diào)度。鏈路路由去行政化，減少路由迂回，實現(xiàn)最低的網(wǎng)絡(luò)時延。樞紐內(nèi)算力互聯(lián)以400G/800G 系統(tǒng)為主，樞紐間算力互聯(lián)以單波400 Gbit/s 的系統(tǒng)為主，同時具備向單波800 Gbit/s及更高速率演進的能力，頻譜從C 波段擴展到L 波段，單纖容量得到顯著提升（相比當(dāng)前提升4～8 倍以上），單位比特的能耗大幅降低，最大化機房、光纜等基礎(chǔ)設(shè)施的利用率。

3.2 光電協(xié)同提供波長級超大帶寬，并支持端網(wǎng)協(xié)同實現(xiàn)最大吞吐量

網(wǎng)絡(luò)需要端到端的波長級調(diào)度能力，通過在部分站點預(yù)留端口資源，并與超級備波資源一起構(gòu)建站點資源池化能力，以支持波長在任意方向的無阻塞調(diào)度。在網(wǎng)絡(luò)進行波長級調(diào)度或者工作保護路徑倒換后，網(wǎng)絡(luò)的時延等變化需要通知端側(cè)，端側(cè)RDMA 根據(jù)變化后的時延等調(diào)整RDMA 的參數(shù)（如QP 數(shù)、塊大小、RDMA MTU），以確保RDMA 的最大吞吐率。光電交叉協(xié)同示意如圖9所示。

圖9 光電交叉協(xié)同示意

a）光電跨層協(xié)同算路：在光+電協(xié)同算路中，首先引入光層數(shù)字孿生技術(shù)，構(gòu)建實時、高精度反映BER/OSNR/PDL/SOP/非線性/色散等光學(xué)物理量變化的數(shù)字光底座，在線評估預(yù)開通波長鏈路的可達性?；跀?shù)字光底座，引入光電聯(lián)動智能規(guī)劃算路、光電交叉同步配置、光系統(tǒng)自動調(diào)測、光性能自動均衡等管控自動化技術(shù)，實現(xiàn)光傳輸L0/L1 層協(xié)同算路，即根據(jù)業(yè)務(wù)SLA 自適應(yīng)選擇線路速率、碼型、譜寬等參數(shù)，自動計算出滿足時延、業(yè)務(wù)可用率要求的工作、保護光鏈路（見圖10）。

圖10 光電協(xié)同算路示意

b）光電交叉同步創(chuàng)建：光交叉、電交叉同步打通，業(yè)務(wù)一次性創(chuàng)建，無需分步驟等待（見圖11）。

圖11 光電交叉同步創(chuàng)建示意

c）自動調(diào)測一鍵式開通：OCH 創(chuàng)建后光層自動調(diào)測，在線自動化插損預(yù)置，無需人工干預(yù)，業(yè)務(wù)自動打通（見圖12）。

圖12 波長調(diào)整示意

在光電鏈路路徑切換后，網(wǎng)絡(luò)鏈路的帶寬和時延都可能出現(xiàn)變化，為了達到最大的吞吐量，RDMA的并發(fā)QP 對數(shù)量和塊大小都需做相應(yīng)的調(diào)整。工作保護路徑切換同樣也存在類似的訴求。在網(wǎng)絡(luò)路徑因為鏈路故障導(dǎo)致保護倒換后，網(wǎng)絡(luò)時延RTT 會發(fā)生變化，從而導(dǎo)致RDMA 傳輸性能下降。實測表明，工作路徑為200 m，RDMA的QP數(shù)為1，塊大小為20 KB時，RDMA 吞吐量即可達到80 Gbit/s。倒換到保護路徑（600 km）后，QP 數(shù)需增加到25 個，塊大小為1 KB，才能達到80 Gbit/s。所以，在波長調(diào)度或者路徑保護倒換后，網(wǎng)絡(luò)將最新的帶寬和時延信息通知端側(cè)的RDMA 網(wǎng)卡，端側(cè)收到信息后調(diào)整QP 數(shù)和塊大小，從而實現(xiàn)最優(yōu)傳輸性能。

3.3 高通量RDMA廣域無損傳輸

為解決當(dāng)前廣域網(wǎng)數(shù)據(jù)傳輸存在的問題（即采用TCP傳輸協(xié)議導(dǎo)致物理鏈路傳輸通量無法得到有效提升問題）和業(yè)務(wù)節(jié)點因網(wǎng)絡(luò)轉(zhuǎn)發(fā)大量消耗CPU 算力的問題，建議采用RDMA 傳輸方式替換TCP 傳輸方式，以實現(xiàn)高性能算力互聯(lián)（見圖13）。

圖13 采用OTN承載高通量RDMA廣域無損傳輸示意

利用OTN 網(wǎng)絡(luò)零丟包、穩(wěn)定低時延、大帶寬的承載品質(zhì)，通過RDMA 長距離無損流控技術(shù)、端網(wǎng)協(xié)同感知，配置最優(yōu)業(yè)務(wù)參數(shù)等核心技術(shù)方案，使RDMA傳輸協(xié)議可應(yīng)用于廣域網(wǎng)下的海量數(shù)據(jù)搬運，從而使鏈路通量無限逼近物理鏈路帶寬。

4 總結(jié)

長距離RDMA 作為新一代廣域高性能算力互聯(lián)的一種技術(shù)，是業(yè)界的研究熱點，然而，目前該技術(shù)的技術(shù)標(biāo)準(zhǔn)和產(chǎn)業(yè)生態(tài)都不夠完善，需要進一步結(jié)合新型全光網(wǎng)絡(luò)架構(gòu)提供的超大帶寬及確定性體驗特性，持續(xù)優(yōu)化RDMA 協(xié)議。同時，考慮RDMA 協(xié)議層與全光網(wǎng)絡(luò)物理層的上下感知聯(lián)動，以實現(xiàn)超長距離下的高吞吐量無損傳輸。