網(wǎng)絡(luò)時延對數(shù)據(jù)中心布局的影響研究

孫麗玫，王迎春，唐利莉，王建明（中國移動通信集團設(shè)計院有限公司，北京 100080）

0 引言

隨著5G、移動互聯(lián)網(wǎng)、大數(shù)據(jù)、物聯(lián)網(wǎng)等信息技術(shù)與經(jīng)濟社會各領(lǐng)域的深度融合，數(shù)據(jù)中心已成為數(shù)字經(jīng)濟、數(shù)字中國發(fā)展的重要載體和戰(zhàn)略性基礎(chǔ)設(shè)施。近年來，我國數(shù)據(jù)中心從規(guī)模到數(shù)量都有大幅增長。到2017 年底，我國在用數(shù)據(jù)中心機架總體規(guī)模達到166 萬架，總體數(shù)量達到1 844 個；規(guī)劃在建數(shù)據(jù)中心規(guī)模107 萬架，數(shù)量463 個；其中大型以上數(shù)據(jù)中心為增長主力，在數(shù)據(jù)中心總體規(guī)模占比近50%，預(yù)計未來占比將進一步提高?；跇I(yè)務(wù)需求、基礎(chǔ)設(shè)施、網(wǎng)絡(luò)經(jīng)濟、經(jīng)濟效益、運維管理等因素，全國數(shù)據(jù)中心布局逐步趨于合理。數(shù)據(jù)中心用戶對數(shù)據(jù)中心的選擇面進一步擴大。用戶選擇數(shù)據(jù)中心時，不僅要考慮價格成本、建設(shè)運維水平、服務(wù)商能力等因素，更要考量數(shù)據(jù)中心的網(wǎng)絡(luò)質(zhì)量是否滿足業(yè)務(wù)需求。

1 業(yè)務(wù)需求與時延要求

互聯(lián)網(wǎng)+時代全業(yè)務(wù)發(fā)展，數(shù)據(jù)中心用戶對數(shù)據(jù)中心建設(shè)、網(wǎng)絡(luò)質(zhì)量提出了更高的要求，尤其是部分低時延業(yè)務(wù)，時延成為其選取數(shù)據(jù)中心位置、衡量數(shù)據(jù)中心網(wǎng)絡(luò)質(zhì)量的一個重要指標。

1.1 時延定義

時延是數(shù)據(jù)信號從信息業(yè)務(wù)用戶至數(shù)據(jù)中心再回到信息業(yè)務(wù)用戶間的傳輸時間，當時延過大時用戶的感知體驗下降，部分對時延敏感的業(yè)務(wù)端情況甚至會影響到其收入，因此時延成為用戶選擇數(shù)據(jù)中心的主要考慮因素之一。需要說明的是，本文將數(shù)據(jù)中心用戶定義為：通過自建或租用數(shù)據(jù)中心，為公眾或企業(yè)提供信息服務(wù)的互聯(lián)網(wǎng)內(nèi)容提供商ICP、企業(yè)、媒體和各類網(wǎng)站；信息業(yè)務(wù)用戶定義為：數(shù)據(jù)中心各類應(yīng)用系統(tǒng)的最終客戶，如個人用戶、企業(yè)用戶等。

1.2 業(yè)務(wù)時延

不同的數(shù)據(jù)業(yè)務(wù)對時延要求各不相同。一般而言，面向業(yè)務(wù)用戶、需要及時處理的業(yè)務(wù)對時延要求高，稱為低時延需求，如云支付、游戲等業(yè)務(wù)為低時延需求業(yè)務(wù)，時延要求為5～10 ms；而網(wǎng)頁瀏覽等業(yè)務(wù)，一般要求在50 ms 內(nèi)；數(shù)據(jù)備份存儲、大數(shù)據(jù)處理等業(yè)務(wù)，一般在200 ms內(nèi)。

隨著技術(shù)的發(fā)展，低時延需求的業(yè)務(wù)種類逐步增加，目前主要有4 類：一是金融和電子交易類信息業(yè)務(wù)，如期貨等高頻交易（HFT——High Frequency Trad?ing）的電子交易類業(yè)務(wù)，時延要求是2～10 ms；二是基于TCP 協(xié)議的高清視頻類業(yè)務(wù)，包括4K/8K 高清視頻直播和點播業(yè)務(wù)、高清視頻會議以及未來的虛擬現(xiàn)實（VR）等實時性要求極高的大帶寬業(yè)務(wù)，時延需求20 ms以內(nèi)；三是部分云業(yè)務(wù)，特別是虛機遷移、數(shù)據(jù)熱備份和實時性要求比較高的云桌面、云支付等業(yè)務(wù)，云支付需求為10 ms，云桌面需求為20 ms；四是即將到來的5G 移動網(wǎng)絡(luò)的傳送承載業(yè)務(wù)，如車聯(lián)網(wǎng)、工業(yè)控制等業(yè)務(wù)，其網(wǎng)絡(luò)時延需求為3～5 ms。

金融交易、云支付等業(yè)務(wù)提供方在選擇數(shù)據(jù)中心時，網(wǎng)絡(luò)時延是首要衡量指標。美國咨詢公司TABB Group 在2008 年的《The Value of a Millisecond：Find?ing the Optimal Speed of a Trading Infrastructure》研究報告中指出，對于一個在美國電子交易市場的交易公司而言，如果其交易系統(tǒng)處理時間（包括傳輸時延）比競爭對手慢5 ms，它將損失1%的利潤，慢10 ms 則損失擴大至10%。

1.3 時延組成

以數(shù)據(jù)包端到端傳輸過程來分析，時延由以下2部分組成：

a）訪問請求路徑：信息業(yè)務(wù)用戶端—網(wǎng)絡(luò)傳輸—數(shù)據(jù)中心。

b）資源下載路徑：數(shù)據(jù)中心—網(wǎng)絡(luò)傳輸—信息業(yè)務(wù)用戶端。

其中網(wǎng)絡(luò)傳輸涉及的設(shè)備或組件有信息業(yè)務(wù)用戶端的計算機網(wǎng)卡、網(wǎng)絡(luò)設(shè)備、傳輸設(shè)備、服務(wù)器、處理平臺等，每個網(wǎng)元轉(zhuǎn)發(fā)數(shù)據(jù)包和經(jīng)過的光纖傳輸所消耗的總時間，就是業(yè)務(wù)端到端時延。

業(yè)務(wù)端到端時延=數(shù)據(jù)中心外部網(wǎng)絡(luò)時延+數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)時延+系統(tǒng)處理時延

系統(tǒng)處理時延是業(yè)務(wù)應(yīng)用系統(tǒng)處理數(shù)據(jù)包的時間，主要由CPU、GPU 處理能力決定。數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)時延由數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)架構(gòu)和設(shè)備能力決定，正常情況下，數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)時延一般為ms 級，部分數(shù)據(jù)中心承諾為1 ms。數(shù)據(jù)中心外部網(wǎng)絡(luò)時延與通信網(wǎng)絡(luò)質(zhì)量、數(shù)據(jù)中心位置相關(guān)性高，且在整個業(yè)務(wù)時延中占比較大，本文將主要分析數(shù)據(jù)中心外部網(wǎng)絡(luò)時延。

2 影響數(shù)據(jù)中心外部網(wǎng)絡(luò)時延的要素

互聯(lián)網(wǎng)數(shù)據(jù)包是由傳送網(wǎng)絡(luò)和業(yè)務(wù)承載網(wǎng)絡(luò)來進行傳輸，因此數(shù)據(jù)中心外部網(wǎng)絡(luò)時延，一般由傳送時延和路由時延組成。

2.1 傳送時延

傳送時延與數(shù)據(jù)包傳送的距離、傳送節(jié)點數(shù)量和傳輸設(shè)備能力相關(guān)。一般而言，傳送時延由傳輸時延和傳輸節(jié)點時延2個部分組成。

2.1.1 傳輸時延

目前的傳輸網(wǎng)絡(luò)主要以光作為傳輸媒質(zhì)的光傳輸系統(tǒng)，傳輸時延和傳輸距離成正比，即5 μs/km。

2.1.2 傳輸節(jié)點時延

傳輸節(jié)點時延是傳輸鏈路上每個單節(jié)點轉(zhuǎn)發(fā)時延的總和。單節(jié)點轉(zhuǎn)發(fā)時延與設(shè)備類型、設(shè)備技術(shù)等相關(guān)。從OSI 七層網(wǎng)絡(luò)來看，L0 層網(wǎng)元引入時延為ns級、L1 層網(wǎng)元引入時延為μs 級。光傳送網(wǎng)主要采用L0～L1 層，L0 層如光學器件時延為ns 級，傳輸光纖時延5 μs/km；L1 層如OTN 節(jié)點時延10～100 μs，SDH 節(jié)點時延100 μs級。

另外設(shè)備技術(shù)也會影響單節(jié)點時延，如100G 波分平臺相比10G 波分平臺時延要小10%左右；采用不同的FEC 算法，時延也不同，基本上每增加一次迭代，時延增加一倍；業(yè)務(wù)類型和映射方式也對時延有影響，一般而言支路側(cè)速率越低，映射路徑越長，封裝時延越長。但總的說來，其時延基本在μs級。

節(jié)點數(shù)量則和網(wǎng)絡(luò)層次、網(wǎng)絡(luò)結(jié)構(gòu)、業(yè)務(wù)需求、傳輸系統(tǒng)能力相關(guān)。網(wǎng)絡(luò)層次越高（如國際、省際）、層次越少，單位距離內(nèi)的節(jié)點數(shù)量越少；網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜、業(yè)務(wù)需求節(jié)點數(shù)量多，單位距離內(nèi)節(jié)點數(shù)量越多；在沒有業(yè)務(wù)需求情況下，傳輸系統(tǒng)能力越強，單位距離內(nèi)的節(jié)點數(shù)量越少。另外，不同的傳輸技術(shù)單節(jié)點時延也稍有差別?？傊W(wǎng)絡(luò)層次越高、越少、結(jié)構(gòu)簡單、開口點需求越少、傳輸系統(tǒng)能力越強，單位距離內(nèi)的節(jié)點數(shù)量越小，相應(yīng)總的節(jié)點時延越小。

總之，影響傳送網(wǎng)端到端的時延主要因素是光信號在光傳輸系統(tǒng)中的傳輸時延，即和傳輸距離相關(guān)，約占總傳輸時延的80%；且隨著傳輸距離的增加，傳輸距離對總傳輸時延的影響占比越大。

2.2 路由時延

數(shù)據(jù)包在信息傳送中，由業(yè)務(wù)承載網(wǎng)來選擇傳送路由；因此網(wǎng)絡(luò)時延還受到路由影響，即每經(jīng)過一個路由器，跳數(shù)就加1，業(yè)務(wù)時延對應(yīng)也會增加。數(shù)據(jù)包在傳送過程中，經(jīng)過的路由越復(fù)雜（或跳數(shù)越多）則時延越長。數(shù)據(jù)包在業(yè)務(wù)承載網(wǎng)中傳送而產(chǎn)生的時延即為路由時延。

路由時延是路由上每個單節(jié)點時延的總和。單節(jié)點時延包括打包時延、數(shù)據(jù)單元（PDU）傳送時延、排隊時延、處理時延。等待并將接收到的字節(jié)流打成數(shù)據(jù)包，將數(shù)據(jù)包比特全部傳送到線路上，對數(shù)據(jù)包進行包頭檢查和分析以選擇路徑，上述每個動作都會帶來相應(yīng)時延。當鏈路上有多個數(shù)據(jù)包在等待輸出時則產(chǎn)生排隊時延，排隊時延受當前網(wǎng)絡(luò)負載影響，在μs級到ms級之間。

單節(jié)點時延與設(shè)備類型、設(shè)備緩存、數(shù)據(jù)包的長度、線路速率等相關(guān)，目前運營商的業(yè)務(wù)承載網(wǎng)通常采用IP技術(shù)組網(wǎng)，運營商IP承載網(wǎng)內(nèi)跳轉(zhuǎn)時延一般可以按1 ms/節(jié)點考慮。

下面以2類典型業(yè)務(wù)場景來進行分析研究。

2.2.1 跨運營商網(wǎng)絡(luò)服務(wù)場景

考慮信息業(yè)務(wù)用戶與提供應(yīng)用業(yè)務(wù)的數(shù)據(jù)中心用戶為不同電信運營商客戶，需要跨運營商網(wǎng)絡(luò)提供服務(wù)。假設(shè)信息業(yè)務(wù)用戶在北京，為運營商A用戶，將訪問運營商B 的呼和浩特數(shù)據(jù)中心。按照運營商IP承載網(wǎng)內(nèi)跳轉(zhuǎn)時延約1 ms/節(jié)點考慮，業(yè)務(wù)場景的典型網(wǎng)絡(luò)拓撲如圖1 所示，時延分析如表1 所示，預(yù)計其網(wǎng)絡(luò)時延約20 ms。

需要說明的是，傳輸距離通常不是兩點的直線距離，與傳輸沿線通信管道敷設(shè)路徑和路由選擇有關(guān)。

圖1 業(yè)務(wù)場景A典型網(wǎng)絡(luò)拓撲圖

表1 業(yè)務(wù)場景A時延分析

在工信部指導下，我國已建設(shè)了13個國家級互聯(lián)網(wǎng)骨干直聯(lián)點，包括北京、上海、廣州、成都、鄭州、武漢、西安、沈陽、南京、重慶、杭州、貴陽、福州，在這些節(jié)點城市，3 家運營商互聯(lián)網(wǎng)能實現(xiàn)高速直聯(lián)。非骨干直聯(lián)點的周邊城市將就近通過直聯(lián)點互聯(lián)。因此數(shù)據(jù)中心設(shè)置在非直聯(lián)點城市時，其與用戶端的數(shù)據(jù)包傳輸將會多出幾個跳接環(huán)節(jié)；時延也將隨傳輸路徑長度、跳接節(jié)點次數(shù)的增加而增加。

2.2.2 同一運營商網(wǎng)絡(luò)服務(wù)場景

若信息業(yè)務(wù)用戶與提供應(yīng)用業(yè)務(wù)的數(shù)據(jù)中心為同一運營商客戶，則在運營商網(wǎng)內(nèi)提供服務(wù)。假設(shè)信息業(yè)務(wù)用戶在北京，為運營商A 用戶，將訪問運營商A的呼和浩特數(shù)據(jù)中心。按照運營商網(wǎng)內(nèi)跳轉(zhuǎn)時延約1 ms/節(jié)點，業(yè)務(wù)場景A 的典型網(wǎng)絡(luò)拓撲如圖2 所示，時延分析如表2 所示，預(yù)計其網(wǎng)絡(luò)時延約14 ms。在上述網(wǎng)絡(luò)架構(gòu)圖中，數(shù)據(jù)中心可能通過省網(wǎng)路由器上骨干網(wǎng)，這樣整個路程將增加跳轉(zhuǎn)次數(shù)，網(wǎng)絡(luò)時延將增加約2 ms。

2.3 小結(jié)

從上述分析可知，傳輸路徑、網(wǎng)絡(luò)路由的選擇對時延有較大影響。時延要求高的業(yè)務(wù)即低時延業(yè)務(wù)應(yīng)選擇最短傳輸路徑、最優(yōu)網(wǎng)絡(luò)架構(gòu)。目前電信運營商都在優(yōu)化網(wǎng)絡(luò)架構(gòu)，網(wǎng)絡(luò)的傳輸時延也越來越低。

圖2 業(yè)務(wù)場景B典型網(wǎng)絡(luò)拓撲圖

表2 業(yè)務(wù)場景B時延分析

3 網(wǎng)絡(luò)時延的優(yōu)化舉措

為更好滿足低時延業(yè)務(wù)需求，優(yōu)化數(shù)據(jù)業(yè)務(wù)外部網(wǎng)絡(luò)時延，需從以下幾個方面分別進行優(yōu)化。

3.1 優(yōu)化信息傳輸距離

首先應(yīng)優(yōu)化數(shù)據(jù)中心與信息業(yè)務(wù)用戶之間的傳輸距離，傳輸距離越短，傳送時延就越短。每減少1 km，傳送往返時延將降低10 μs。距離長度，在傳送網(wǎng)的時延中影響達到80%以上。

根據(jù)現(xiàn)有的光傳送技術(shù)和網(wǎng)絡(luò)情況，一般而言，如果時延需求在10 ms 以內(nèi)時，數(shù)據(jù)處理中心與信息業(yè)務(wù)用戶端的距離建議在200 km 以內(nèi)；如果時延需求在30 ms 以內(nèi)時，數(shù)據(jù)處理中心與信息業(yè)務(wù)用戶端的距離建議在500 km以內(nèi)。

3.2 優(yōu)化網(wǎng)絡(luò)架構(gòu)

優(yōu)化承載業(yè)務(wù)的IP 承載網(wǎng)絡(luò)架構(gòu)，減少網(wǎng)絡(luò)層級，提高網(wǎng)絡(luò)扁平化程度，以有效減少路由跳接次數(shù)，降低網(wǎng)絡(luò)時延。目前部分數(shù)據(jù)中心是通過省網(wǎng)/城域網(wǎng)上聯(lián)至骨干匯聚點，再進入骨干核心節(jié)點；這樣的網(wǎng)絡(luò)轉(zhuǎn)發(fā)跳數(shù)較多；建議條件具備時，尤其是數(shù)據(jù)轉(zhuǎn)發(fā)量大的大型數(shù)據(jù)中心，應(yīng)直接接入骨干匯聚點或骨干核心節(jié)點。

各運營商持續(xù)優(yōu)化傳輸網(wǎng)絡(luò)架構(gòu)，如一干二干融合、骨干節(jié)點增加等舉措，將有效優(yōu)化網(wǎng)絡(luò)節(jié)點、縮短長途傳輸?shù)木嚯x。對于網(wǎng)間傳輸量較大的業(yè)務(wù)，推薦優(yōu)先考慮在國家互聯(lián)網(wǎng)骨干直聯(lián)點設(shè)置數(shù)據(jù)中心。重要的數(shù)據(jù)中心之間、互為備份的數(shù)據(jù)中心之間，建議采用專用傳輸鏈路直聯(lián)，避免IP 層面的跳轉(zhuǎn)，將大大降低相互訪問的時延。

3.3 采用低時延設(shè)備

對于承載低時延業(yè)務(wù)的傳輸設(shè)備或IP 網(wǎng)絡(luò)設(shè)備，應(yīng)優(yōu)先選擇低時延設(shè)備。

在相同光纜路由條件下，采用高速率傳輸系統(tǒng)，將有效降低電路時延。實踐表明，采用相干光通信技術(shù)的100G WDM系統(tǒng)相對于10G/40G WDM系統(tǒng)，電路時延減少10%左右。未來傳輸網(wǎng)絡(luò)將優(yōu)化到400G 系統(tǒng)，時延將進一步降低。

IP網(wǎng)絡(luò)設(shè)備方面，高端路由器的時延一般在200 μs以內(nèi)，而低端路由器時延在ms級。目前交換機時延一般為幾十μs，而低時延交換機已達到百ns級?，F(xiàn)在服務(wù)器和計算機也推出了一些低時延的網(wǎng)卡產(chǎn)品，將時延降到了1 μs以下，依然還有提升空間。

4 結(jié)束語

為更好地滿足低時延業(yè)務(wù)需求，應(yīng)合理布局數(shù)據(jù)中心。業(yè)務(wù)時延要求越高（即低時延需求），數(shù)據(jù)中心應(yīng)越靠近信息業(yè)務(wù)用戶。對于5G 和物聯(lián)網(wǎng)等低時延業(yè)務(wù)（如工業(yè)控制等時延需求低于5 ms），可將微數(shù)據(jù)中心就近部署在業(yè)務(wù)場景周邊，以滿足極低時延業(yè)務(wù)需求。另外，傳輸距離、網(wǎng)絡(luò)架構(gòu)、設(shè)備時延等也是影響時延的因素，應(yīng)通過縮短數(shù)據(jù)包傳輸距離、優(yōu)化網(wǎng)絡(luò)架構(gòu)、優(yōu)選時延指標好的設(shè)備等措施，減少業(yè)務(wù)端到端時延。