低時(shí)延網(wǎng)絡(luò)：架構(gòu)，關(guān)鍵場景與研究展望

左旭彤，王莫為，崔勇

（清華大學(xué)信息科學(xué)技術(shù)學(xué)院，北京 100084）

1 引言

新應(yīng)用和新場景的出現(xiàn)使網(wǎng)絡(luò)空間更加復(fù)雜，不同的應(yīng)用和場景對于網(wǎng)絡(luò)的性能要求不盡相同，時(shí)延是影響性能的重要評價(jià)指標(biāo)之一。對于游戲、直播等應(yīng)用，時(shí)延是影響其用戶體驗(yàn)的決定性因素；而對于物聯(lián)網(wǎng)（IoT,Internet of things）、自動(dòng)駕駛等場景，時(shí)延則決定其能否正常工作。

計(jì)算機(jī)網(wǎng)絡(luò)體系采用分層架構(gòu)，網(wǎng)絡(luò)功能被解耦并分配在不同層，每一層按照不同的協(xié)議實(shí)現(xiàn)各自的功能，共同完成數(shù)據(jù)傳輸過程。然而，每層協(xié)議或功能的完成可能會使應(yīng)用的時(shí)延增加，比如在TCP（transmission control protocol）中通過重傳機(jī)制來保證可靠傳輸，但是這可能會增加數(shù)據(jù)分組的傳輸時(shí)延，因此低時(shí)延的實(shí)現(xiàn)需要每一層的努力。同時(shí)，對于特定的低時(shí)延場景，如數(shù)據(jù)中心網(wǎng)絡(luò)、5G 網(wǎng)絡(luò)和邊緣計(jì)算，傳統(tǒng)的分層體系架構(gòu)針對一般網(wǎng)絡(luò)提出的低時(shí)延技術(shù)可能不再適用，需要結(jié)合場景不同特點(diǎn)進(jìn)行時(shí)延優(yōu)化。

此前有綜述工作按照時(shí)延的來源對網(wǎng)絡(luò)中降低時(shí)延的技術(shù)進(jìn)行詳盡的分類，提供了對時(shí)延產(chǎn)生原因的全面分析[1-2]，但是這些工作提出的技術(shù)可能無法適用于特定場景的超低時(shí)延需求或者新架構(gòu)。對于不同的低時(shí)延關(guān)鍵場景，也有分別針對數(shù)據(jù)中心網(wǎng)絡(luò)[3-4]、5G 網(wǎng)絡(luò)[5-6]及邊緣計(jì)算[7-8]的綜述，但是它們僅關(guān)注某一個(gè)具體的場景，無法提供對網(wǎng)絡(luò)體系結(jié)構(gòu)時(shí)延來源的整體分析與技術(shù)的泛化遷移。

本文在分析了應(yīng)用時(shí)延需求的基礎(chǔ)上，按照傳統(tǒng)的網(wǎng)絡(luò)層次架構(gòu)闡述了時(shí)延的來源及多種影響時(shí)延的因素，如網(wǎng)絡(luò)負(fù)載、路由決策等，并介紹了能夠減少協(xié)議機(jī)制與網(wǎng)絡(luò)功能引入時(shí)延的相關(guān)技術(shù)。

除了對傳統(tǒng)體系結(jié)構(gòu)中時(shí)延進(jìn)行分析，本文還將低時(shí)延分析具體化至數(shù)據(jù)中心網(wǎng)絡(luò)、5G 網(wǎng)絡(luò)、邊緣計(jì)算等關(guān)鍵場景。它們分處“云、管、端”的不同位置，互相配合共同構(gòu)建整個(gè)低時(shí)延網(wǎng)絡(luò)架構(gòu)。與廣域網(wǎng)不同，數(shù)據(jù)中心具備更高帶寬更低時(shí)延的特性，并可以靈活部署。利用其特性設(shè)計(jì)傳輸協(xié)議和優(yōu)化網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)可以降低數(shù)據(jù)中心中任務(wù)處理的時(shí)延。隨著5G 的發(fā)展，超高數(shù)據(jù)率和超低時(shí)延成為可能，5G 為優(yōu)化時(shí)延在架構(gòu)調(diào)整和關(guān)鍵技術(shù)上做出努力。物聯(lián)網(wǎng)的興起使處在網(wǎng)絡(luò)邊緣的設(shè)備產(chǎn)生的數(shù)據(jù)量急劇增加，這加重了云端計(jì)算和網(wǎng)絡(luò)傳輸負(fù)載。邊緣計(jì)算通過將計(jì)算與存儲下移至網(wǎng)絡(luò)邊緣，降低傳輸及云端計(jì)算負(fù)載，避開網(wǎng)絡(luò)傳輸瓶頸并縮短傳輸距離，為用戶提供高帶寬低時(shí)延的服務(wù)。

2 應(yīng)用時(shí)延需求

時(shí)延敏感型應(yīng)用和超低時(shí)延場景的出現(xiàn)對時(shí)延提出了嚴(yán)格的要求。幾種典型應(yīng)用的時(shí)延需求及需要低時(shí)延的原因如表1 所示，本節(jié)對每一種應(yīng)用進(jìn)行簡單介紹。最后以直播場景為例，分析該應(yīng)用時(shí)延的組成。低時(shí)延網(wǎng)絡(luò)的研究使這些應(yīng)用性能得到提升，進(jìn)而優(yōu)化用戶體驗(yàn)。

在直播、虛擬現(xiàn)實(shí)（VR,virtual reality）、增強(qiáng)現(xiàn)實(shí)（AR,augmented reality）等用戶參與度較高的場景下，時(shí)延需求主要來自人與人或者人與設(shè)備之間的流暢交互。在互動(dòng)直播場景下，時(shí)延超過1 s會極大影響主播與觀眾的用戶體驗(yàn)[9]。VR、AR 場景中要求設(shè)備能對人給出的信號做出及時(shí)的反應(yīng)，因此，人機(jī)交互體驗(yàn)的優(yōu)化對時(shí)延提出了10 ms 的高要求[10]。

表1 幾種典型應(yīng)用的時(shí)延需求及其原因

在自動(dòng)駕駛場景下，車輛要在復(fù)雜的交通環(huán)境中及時(shí)感受到環(huán)境的變化并做出反應(yīng)，這要求車輛與車輛、行人、道路設(shè)施之間進(jìn)行低時(shí)延通信，其時(shí)延需求達(dá)到幾毫秒[11]。另外，自動(dòng)駕駛設(shè)備需要進(jìn)行人機(jī)交互，尤其是切換駕駛模式的情況下，要求設(shè)備模式切換在復(fù)雜的環(huán)境中不出差錯(cuò)，這也需要超低時(shí)延。

在IoT 的場景下，人與設(shè)備或設(shè)備與設(shè)備在協(xié)調(diào)工作時(shí)需要通過網(wǎng)絡(luò)進(jìn)行通信。在工業(yè)互聯(lián)網(wǎng)的場景下，工廠實(shí)現(xiàn)高效率的自動(dòng)化生產(chǎn)需要完成實(shí)時(shí)的操作控制，如果生產(chǎn)的某些步驟因未及時(shí)接收到指令而出現(xiàn)滯后便會影響產(chǎn)品質(zhì)量甚至導(dǎo)致系統(tǒng)崩潰，因此工業(yè)互聯(lián)網(wǎng)對于時(shí)延也提出了較高的要求，達(dá)到1～10 ms[12]。

根據(jù)本節(jié)之前所述，不同的應(yīng)用和場景對網(wǎng)絡(luò)時(shí)延有不同的需求，低時(shí)延網(wǎng)絡(luò)的研究使這些應(yīng)用成為可能。為了滿足應(yīng)用的低時(shí)延需求，首先需要探究時(shí)延的可能來源及降低時(shí)延的技術(shù)，本節(jié)接下來會以流媒體直播應(yīng)用為例進(jìn)行簡要闡述。

隨著視頻直播的興起，直播的質(zhì)量與用戶體驗(yàn)受到學(xué)術(shù)界與工業(yè)界的廣泛關(guān)注，時(shí)延是其中一個(gè)重要的評價(jià)指標(biāo)。目前在比較流行的交互式直播中，觀眾會與主播進(jìn)行互動(dòng)并希望得到及時(shí)的回應(yīng)。為了實(shí)現(xiàn)更加流暢的交互體驗(yàn)，在實(shí)際應(yīng)用中會采用時(shí)延較低的實(shí)時(shí)消息協(xié)議（RTMP,real-time messaging protocol），此時(shí)主播與觀眾之間的端到端時(shí)延可以劃分為3 個(gè)部分，分別是主播端視頻內(nèi)容上傳到服務(wù)器的時(shí)延、將視頻從服務(wù)器下載到客戶端的時(shí)延和下載內(nèi)容在客戶端緩沖的時(shí)延[13]。

對于直播來說，播放流暢和低時(shí)延都有助于獲得良好的用戶體驗(yàn)。為防止因網(wǎng)絡(luò)抖動(dòng)造成視頻卡頓，客戶端中往往會設(shè)置視頻緩沖區(qū)，但這會導(dǎo)致下載到客戶端的視頻幀不能被立即播放。視頻幀到達(dá)客戶端的時(shí)間與該幀被播放時(shí)間的差值就是在客戶端緩沖區(qū)的時(shí)延，測量和研究表明客戶端緩沖的時(shí)延在端到端時(shí)延中占有最大的比例[13]。有眾多研究關(guān)注客戶端緩沖時(shí)延優(yōu)化問題，調(diào)整客戶端播放邏輯、優(yōu)化傳輸?shù)确绞綇木W(wǎng)絡(luò)架構(gòu)的不同層次優(yōu)化了緩沖時(shí)延，同時(shí)不會導(dǎo)致視頻卡頓。

調(diào)整客戶端的播放邏輯以適應(yīng)網(wǎng)絡(luò)狀況的變化需在應(yīng)用層做出優(yōu)化。在客戶端，調(diào)整預(yù)緩沖的數(shù)據(jù)量[14]及在播放過程中根據(jù)網(wǎng)絡(luò)抖動(dòng)情況進(jìn)行緩沖區(qū)大小的調(diào)整可以降低客戶端緩沖時(shí)延[15]。緩沖區(qū)的歷史長度可以反映網(wǎng)絡(luò)抖動(dòng)狀況，在網(wǎng)絡(luò)抖動(dòng)小時(shí)，縮短緩沖區(qū)長度可以實(shí)現(xiàn)低的客戶端緩沖時(shí)延。對于下層的數(shù)據(jù)傳輸，也需要明確時(shí)延的來源并進(jìn)行優(yōu)化。以傳輸協(xié)議選擇為例，在直播中應(yīng)選擇不需要切片的低時(shí)延的RTMP 協(xié)議而非HLS（HTTP live streaming）協(xié)議，但是上述2 種協(xié)議均基于TCP，為了進(jìn)一步降低時(shí)延，可以設(shè)計(jì)基于UDP（user datagram protocol）的專用傳輸協(xié)議。

通過上述的分析可知，降低應(yīng)用感受到的時(shí)延需要網(wǎng)絡(luò)架構(gòu)從上層到下層的共同努力。在第3 節(jié)，會按照網(wǎng)絡(luò)的分層體系架構(gòu)，詳細(xì)地分析時(shí)延的來源并介紹相應(yīng)的降低時(shí)延的技術(shù)。

3 分層模型中的低時(shí)延

為使復(fù)雜的計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)簡化，網(wǎng)絡(luò)體系結(jié)構(gòu)被設(shè)計(jì)為分層模型，每一層都有特定的功能，以完成數(shù)據(jù)通信的過程。網(wǎng)絡(luò)體系結(jié)構(gòu)中每一層通信協(xié)議和處理機(jī)制的設(shè)計(jì)極大地影響了數(shù)據(jù)傳輸?shù)男阅?，本?jié)將按照網(wǎng)絡(luò)體系結(jié)構(gòu)的分層模型對網(wǎng)絡(luò)中的時(shí)延來源進(jìn)行分類，介紹為了降低時(shí)延而設(shè)計(jì)的協(xié)議或技術(shù)并分析其優(yōu)缺點(diǎn)。

3.1 傳輸層時(shí)延及降低時(shí)延的技術(shù)

第2 節(jié)提到的RTMP、HLS 等協(xié)議在傳輸層都基于TCP，相比于非可靠傳輸?shù)腢DP 協(xié)議，保證端到端之間可靠且按序傳輸會引入較多的時(shí)延，包括連接建立的時(shí)延、慢啟動(dòng)的時(shí)延、保證數(shù)據(jù)分組到達(dá)的丟失恢復(fù)時(shí)延、隊(duì)頭阻塞時(shí)延等。接下來將以TCP 為例，對上述時(shí)延以及優(yōu)化技術(shù)進(jìn)行分析。

在使用TCP進(jìn)行數(shù)據(jù)傳輸之前需要完成3 次握手以與接收端建立連接，若使用安全加密的Web 服務(wù)則還存在SSL/TLS 握手。降低握手（控制信息的交互）的次數(shù)，減少數(shù)據(jù)分組往返時(shí)間（RTT,round-trip time）個(gè)數(shù)，可以有效地降低傳輸層時(shí)延，這種方式對降低短流時(shí)延具有顯著效果。谷歌[16]于2011 年提出TFO（TCP fast open），目標(biāo)是在握手的同時(shí)進(jìn)行數(shù)據(jù)傳輸，它通過使用cookie 實(shí)現(xiàn)，在確認(rèn)字符（ACK,acknowledge character）回到接收端之前發(fā)送數(shù)據(jù)，該方案在2014 年被IETF（The Internet Engineering Task Force）組織標(biāo)準(zhǔn)化，但由于兼容性等問題并未被廣泛使用。此后，谷歌公司提出的快速UDP 網(wǎng)絡(luò)連接（QUIC,quick UDP Internet connection）[17]中采用了類似TFO 的技術(shù)，將傳輸握手和加密同時(shí)完成，實(shí)現(xiàn)一個(gè)RTT 時(shí)間完成握手，如圖1(a)所示。在恢復(fù)會話時(shí)，客戶端緩存的cookie和已經(jīng)被加密的數(shù)據(jù)會直接發(fā)送到服務(wù)器端，服務(wù)器端利用此次的傳輸信息對客戶端進(jìn)行驗(yàn)證，如果驗(yàn)證通過就接收數(shù)據(jù)，從而完成零RTT的握手，握手過程如圖1(b)所示。

圖1 QUIC 中握手時(shí)延優(yōu)化

對于新建立的TCP 連接，初始擁塞窗口的設(shè)置以及增長速度對于短流的流完成時(shí)間非常關(guān)鍵，有很多針對于此的研究。Allman 等[18]于2002 年提出可以將TCP 初始窗口從一個(gè)最大分組長度（MSS,maximum segment size）增加到4 個(gè)MSS 而不會導(dǎo)致?lián)砣罎?。Dukkipati[19]于2010 年提出將初始窗口數(shù)從4 提高到大于或者等于10，相較于Allman等提出的方法，此方案更加激進(jìn)，在高RTT 和高帶寬時(shí)延積的網(wǎng)絡(luò)中，HTTP 請求的響應(yīng)平均時(shí)延降低了10%左右，在低帶寬的網(wǎng)絡(luò)中時(shí)延也有一定程度的提升。但是之前的方案對初始窗口的設(shè)置相對固定，靈活度低，Wang 等[20]提出在大帶寬高時(shí)延場景，對慢啟動(dòng)階段做修改，自適應(yīng)地反復(fù)重置慢啟動(dòng)閾值。通過在啟動(dòng)階段適應(yīng)網(wǎng)絡(luò)條件，發(fā)送方能夠快速增長擁塞窗口，而不會引起緩沖區(qū)溢出和多次丟失分組的風(fēng)險(xiǎn)。

在保證按序傳輸?shù)膮f(xié)議中，若在傳輸過程中因分組丟失或選路不同導(dǎo)致先發(fā)送的數(shù)據(jù)分組后到達(dá)接收端時(shí)，位于緩沖區(qū)的后續(xù)數(shù)據(jù)分組就被阻塞而不能提交到上層，隊(duì)頭阻塞現(xiàn)象發(fā)生進(jìn)而增加應(yīng)用感受到的時(shí)延。

如果隊(duì)頭阻塞是由于分組丟失引起的，可以通過盡快通知發(fā)送端分組丟失來加快重傳，降低重傳時(shí)延，從而緩解了隊(duì)頭阻塞的情況。在TCP 的一些增強(qiáng)版本中加入快速重傳機(jī)制（fast retransmit）[21]，重復(fù)ACK 指示分組丟失，發(fā)送端可以在了解到網(wǎng)絡(luò)發(fā)生擁塞的同時(shí)加快此丟失分組的重傳過程。但是重復(fù)ACK 的接收在檢測分組丟失時(shí)仍有較長時(shí)延，可通過有效載荷方法（cutting payload）[22]在此方面進(jìn)行優(yōu)化。在CP 方案中，如果數(shù)據(jù)分組到達(dá)交換機(jī)之后發(fā)現(xiàn)交換機(jī)上緩沖區(qū)不足，即會發(fā)生分組丟失，交換機(jī)可將此數(shù)據(jù)分組的有效載荷裁去，僅將數(shù)據(jù)分組頭部傳送到接收端，接收端收到數(shù)據(jù)分組頭部后會通知發(fā)送端分組丟失及發(fā)生擁塞，而不需要等待多次ACK 的到達(dá)甚至發(fā)生超時(shí)重傳。

隊(duì)頭阻塞也可能是由于數(shù)據(jù)分組無序到達(dá)引起的，在多徑TCP 中數(shù)據(jù)分組無序問題是一個(gè)重點(diǎn)關(guān)注的問題。為了解決多徑TCP 中數(shù)據(jù)分組的亂序到達(dá)引起的阻塞，可以在數(shù)據(jù)開始發(fā)送前或者傳輸過程中通過合理調(diào)度來緩解阻塞的情況?；瑒?dòng)多徑調(diào)度器（STMS,slide together multipath scheduler）[23]在數(shù)據(jù)發(fā)送前對數(shù)據(jù)分組進(jìn)行調(diào)度，STMS 為RTT 小的快速路徑預(yù)分配數(shù)據(jù)分組并使序號大的數(shù)據(jù)分組在RTT 大的慢路徑上傳輸。設(shè)置通過走快速路徑和慢速路徑的數(shù)據(jù)分組的分界點(diǎn)，STMS 可以實(shí)現(xiàn)分組順序到達(dá)并緩解因無序到達(dá)而造成的隊(duì)頭阻塞。如果在傳輸中出現(xiàn)隊(duì)頭阻塞，可以使用機(jī)會重傳（opportunistic retransmission）[24]機(jī)制，將造成隊(duì)頭阻塞的數(shù)據(jù)分組在可能會有可用擁塞窗口的子流上重傳。

近幾年提出的新協(xié)議中也有解決隊(duì)頭阻塞的技術(shù)。比如，在Langley 等[25]提出的QUIC 中，一個(gè)連接支持多個(gè)流，每個(gè)QUIC 數(shù)據(jù)分組都是由屬于若干個(gè)流的數(shù)據(jù)幀組成的，在這種情況下，如果數(shù)據(jù)分組丟失或者先發(fā)送的數(shù)據(jù)分組晚到達(dá)，只會影響該分組中包含的數(shù)據(jù)流，其他數(shù)據(jù)流并不會發(fā)生隊(duì)頭阻塞。QUIC 以其眾多優(yōu)勢而被廣泛采納和使用，并被IETF 標(biāo)準(zhǔn)化為HTTP 3.0[26]。

擁塞控制是傳輸層的重要功能，一個(gè)設(shè)計(jì)良好的擁塞控制算法不僅要最大化吞吐量，還應(yīng)該實(shí)現(xiàn)低的排隊(duì)時(shí)延。擁塞控制可以防止隊(duì)列生成，進(jìn)而直接減少排隊(duì)時(shí)延。擁塞控制算法中有一類是基于時(shí)延的算法，它們將時(shí)延作為信號來管理擁塞，時(shí)延信號會比分組丟失和顯示擁塞通知更及時(shí)地反映網(wǎng)絡(luò)的隊(duì)列狀況。

目前，很多基于時(shí)延的擁塞控制算法被提出[27-29]，比如Copa[28]方案，在該方案中，目標(biāo)發(fā)送速率被設(shè)置成所測量到的排隊(duì)時(shí)延的倒數(shù)，并且按此發(fā)送速率調(diào)整擁塞窗口，當(dāng)發(fā)送速率超過目標(biāo)速率就減少擁塞窗口，從而阻止了隊(duì)列的生成。谷歌擁塞控制算法（Google congestion control）[29]將（單向）排隊(duì)時(shí)延的梯度作為推斷擁塞的信號，排隊(duì)時(shí)延的梯度（導(dǎo)數(shù)）可以反應(yīng)緩沖區(qū)的變化情況，提供了對緩沖區(qū)大小預(yù)測的能力。同時(shí)，GCC 使用卡爾曼濾波來估計(jì)排隊(duì)時(shí)延梯度，設(shè)置該梯度的自適應(yīng)閾值以控制增加或減少的速率，從而實(shí)現(xiàn)最小化緩沖區(qū)及時(shí)延的目標(biāo)。

3.2 網(wǎng)絡(luò)層時(shí)延與降低時(shí)延的技術(shù)

網(wǎng)絡(luò)層的核心功能是選擇路徑，不同路徑的端到端時(shí)延可能會有較大差別。除了端到端時(shí)延，路由算法還有可靠性、通信開銷等性能指標(biāo)，路由算法完成性能指標(biāo)之間的權(quán)衡。例如，后壓路由算法[30]可以實(shí)現(xiàn)最優(yōu)的網(wǎng)絡(luò)吞吐量，但是被證明端到端時(shí)延隨路徑跳數(shù)呈平方式增長。在該算法中，每個(gè)節(jié)點(diǎn)需要為每個(gè)流維護(hù)一個(gè)隊(duì)列，而且一次只能服務(wù)一個(gè)隊(duì)列，時(shí)延性能有待提升。針對此問題，Bui等[31]提出減少每個(gè)節(jié)點(diǎn)維護(hù)的實(shí)際隊(duì)列的方法，提升了后壓式路由算法的端到端時(shí)延性能。

流量工程是優(yōu)化網(wǎng)絡(luò)流量分配方式的技術(shù)，其目標(biāo)是通過負(fù)載均衡降低網(wǎng)絡(luò)擁塞，不僅可以實(shí)現(xiàn)網(wǎng)絡(luò)帶寬利用率的提升，而且可以降低在擁塞節(jié)點(diǎn)的排隊(duì)時(shí)延，進(jìn)而降低數(shù)據(jù)分組到達(dá)接收端的時(shí)延[32]。流量工程的概念最初是在多標(biāo)簽交換網(wǎng)絡(luò)中提出的[33]，在2000 年被引入IP 網(wǎng)絡(luò)中[34]。根據(jù)流量需求的可用性以及進(jìn)行流量調(diào)整的操作時(shí)間尺度可以將流量工程分為在線和離線兩大類[32]。

對于IP 網(wǎng)絡(luò)中的離線流量工程算法，一般是修改內(nèi)部網(wǎng)關(guān)協(xié)議中的鏈路上的權(quán)重，然后根據(jù)最短路徑進(jìn)行路由[35]，以期獲取端到端低時(shí)延。如果兩點(diǎn)之間有不止一條最短路徑，可以利用等價(jià)多路徑路由（ECMP,equal-cost multi-path routing）對流量進(jìn)行平均分配。但是ECMP 方法無法考慮當(dāng)前鏈路負(fù)載、時(shí)延等因素，因此平均分配可能不是最優(yōu)策略。有研究提出非均等流量分配，可以在一個(gè)合理的最短路子集上進(jìn)行流量均等分配[36]，或者設(shè)置指數(shù)級的代價(jià)函數(shù)以使對長路徑設(shè)置的懲罰更高[37]，最終實(shí)現(xiàn)端到端時(shí)延的優(yōu)化目標(biāo)。然而，離線的算法無法根據(jù)網(wǎng)絡(luò)負(fù)載的變化而進(jìn)行動(dòng)態(tài)變化，在線的流量工程彌補(bǔ)了這個(gè)缺點(diǎn)，但是動(dòng)態(tài)地更新鏈路權(quán)重可能會導(dǎo)致路由振蕩的問題[32]。

路由和流量工程共同決定了網(wǎng)絡(luò)拓?fù)浼巴負(fù)鋬?nèi)流量的分配，進(jìn)而影響網(wǎng)絡(luò)的擁塞情況與時(shí)延[38]，目前，關(guān)于拓?fù)浼捌渖系穆酚刹呗缘年P(guān)系的研究較少，而拓?fù)渑c路由未合理匹配同樣會導(dǎo)致?lián)砣蛘吒邥r(shí)延[39]。針對此問題，Gvozdiev 等[39]提出評估拓?fù)淇捎眯缘闹笜?biāo)、將流量路由到可用的低時(shí)延路徑的方案。該方案中的指標(biāo)是可選路徑可用性大于某個(gè)閾值的入網(wǎng)點(diǎn)對數(shù)與總?cè)刖W(wǎng)點(diǎn)對的比值，此指標(biāo)高表示可以在更多的鏈路周圍路由到更短的路徑而不引入過多的時(shí)延，所以此指標(biāo)高的拓?fù)渑c路由方案匹配更易實(shí)現(xiàn)低時(shí)延和少擁塞的選路。與此同時(shí)，為防止突發(fā)流量造成的鏈路擁塞，會在鏈路上剩余部分容量，但是剩余容量的增加會使路徑時(shí)延增加，所以剩余容量成為避免擁塞和降低路徑時(shí)延的關(guān)鍵點(diǎn)。該研究探究了拓?fù)渑c路由的匹配關(guān)系，設(shè)計(jì)剩余容量的大小，提出能應(yīng)對流量變化并可以利用拓?fù)渎窂蕉鄻有缘姆桨福瑢r(shí)變的流量低時(shí)延無擁塞的路由到接收端。

3.3 鏈路層時(shí)延與降低時(shí)延的技術(shù)

數(shù)據(jù)鏈路層可解決共享介質(zhì)的訪問問題，信道接入時(shí)延是數(shù)據(jù)鏈路層時(shí)延的重要組成部分。對于非爭用型的靜態(tài)信道分配，會存在信號發(fā)送前等待時(shí)間長、信道利用率低等問題。對于爭用型的信道分配方案，由于沒有控制器進(jìn)行統(tǒng)一管理，所以控制和計(jì)算開銷低，但是會存在信道爭用產(chǎn)生的沖突和等待的時(shí)延，尤其是在信道負(fù)載較高時(shí)，競爭的時(shí)延開銷不能被忽略。

802.11n 中采用CSMA/CA，幀聚合是一種降低此方案中沖突的技術(shù)。幀聚合[40]通過將多個(gè)幀聚合之后再發(fā)送，可以降低爭用的概率，從而降低等待時(shí)延和沖突之后的重傳開銷，但是計(jì)算聚合也需要花費(fèi)時(shí)間，需要做兩者的權(quán)衡。在最新確定的下一代Wi-Fi 標(biāo)準(zhǔn)802.11be 中，時(shí)延和抖動(dòng)被定為與高吞吐并行的項(xiàng)目優(yōu)化目標(biāo)，在數(shù)據(jù)鏈路層需要設(shè)計(jì)新的分布式的CSMA/CA 機(jī)制，以優(yōu)化信道接入并保證與部署在其中的獨(dú)立接入點(diǎn)公平共存[41]。

對于需要超低時(shí)延通信的場景，如工業(yè)互聯(lián)網(wǎng)，時(shí)延要求是幾微秒到幾毫秒。IEEE 802.1 時(shí)間敏感網(wǎng)絡(luò)（TSN,time-sensitive networking）標(biāo)準(zhǔn)和相關(guān)研究已經(jīng)尋求為超低時(shí)延通信網(wǎng)絡(luò)提供鏈路層支持，以解決特定業(yè)務(wù)時(shí)延抖動(dòng)大，時(shí)延范圍無法確定等問題。在TSN 數(shù)據(jù)鏈路層中引入幀搶占技術(shù)（802.3br[42]和802.1Qbu[43]），為幀分配優(yōu)先級。為了傳輸高優(yōu)先級的幀，低優(yōu)先級幀的傳輸可以被搶占，從而保證高優(yōu)先級的幀不會被阻塞。另外，在幀調(diào)度方面，增加基于時(shí)隙的調(diào)度（802.1Qbv[44]），遵循時(shí)分多址（TDMA,time division multiple access）規(guī)則。該方案將不同優(yōu)先級的幀分派到不同隊(duì)列，并利用開關(guān)門機(jī)制決定幀傳輸。首先在每一個(gè)時(shí)隙根據(jù)門控情況及隊(duì)列優(yōu)先級情況決定可以傳輸幀的隊(duì)列，之后在每一個(gè)隊(duì)列中采用各自隊(duì)列的幀調(diào)度策略，這樣可以確保時(shí)延敏感的隊(duì)列有確定的調(diào)度時(shí)間，使時(shí)延敏感的業(yè)務(wù)得到有保證的時(shí)延。

3.4 網(wǎng)絡(luò)時(shí)延測量

不同層的時(shí)延都是端到端時(shí)延的一部分，而對包含單向時(shí)延及RTT 的網(wǎng)絡(luò)時(shí)延的測量是研究者了解并分析網(wǎng)絡(luò)行為及性能的重要部分。對于單向時(shí)延的測量，需要解決的一個(gè)關(guān)鍵問題是收發(fā)兩端本地時(shí)鐘的同步問題，有很多針對于此的研究，如軟件時(shí)鐘同步法（如網(wǎng)絡(luò)時(shí)間協(xié)議NTP（network time protocol））與硬件時(shí)鐘同步法（如利用全球定位系統(tǒng)GPS 接收機(jī)），以及一些優(yōu)化的時(shí)鐘同步算法，如通過雙向測量檢測時(shí)鐘調(diào)整與估計(jì)時(shí)鐘偏差的Paxson 算法[45]及Moon 等[46]提出的線性規(guī)劃算法，也可通過測量RTT 繞過時(shí)鐘同步的問題。

網(wǎng)絡(luò)時(shí)延的測量方法眾多，主動(dòng)與被動(dòng)時(shí)延測量是常用的測量方法。相比于主動(dòng)向網(wǎng)絡(luò)中發(fā)送測試數(shù)據(jù)來測量網(wǎng)絡(luò)時(shí)延，被動(dòng)時(shí)延測量更加節(jié)省網(wǎng)絡(luò)帶寬資源。然而目前在被動(dòng)時(shí)延測量RTT 方向時(shí)通常會利用傳輸層信息，如基于TCP 時(shí)間戳的被動(dòng)RTT 測量[47]及利用擁塞控制或者流控特性的RTT測量方法[48]。但是如QUIC 等正在部署的傳輸協(xié)議隱藏了被動(dòng)RTT 測量的信息。針對這個(gè)問題，De Vaere 等[49]于2018 年提出代替TCP 時(shí)間戳的輕量級時(shí)延信號，此信號使用傳輸協(xié)議頭部的三位，支持單流、單點(diǎn)及單向的RTT 被動(dòng)測量，使被動(dòng)網(wǎng)絡(luò)時(shí)延測量方法與傳輸獨(dú)立。不過主動(dòng)時(shí)延測量也有高靈活性等優(yōu)勢，所以目前在實(shí)際應(yīng)用中也會采用主動(dòng)與被動(dòng)時(shí)延測量結(jié)合的方式。

4 低時(shí)延關(guān)鍵場景

第3 節(jié)按照網(wǎng)絡(luò)層次架構(gòu)分析了網(wǎng)絡(luò)中的時(shí)延及優(yōu)化技術(shù)，本節(jié)將時(shí)延分析具體到3 個(gè)關(guān)鍵的低時(shí)延場景：數(shù)據(jù)中心網(wǎng)絡(luò)、5G 網(wǎng)絡(luò)和邊緣計(jì)算。這些場景因具有不同的特性而采用了不同的低時(shí)延技術(shù)。

4.1 數(shù)據(jù)中心網(wǎng)絡(luò)

相比于廣域網(wǎng)，數(shù)據(jù)中心網(wǎng)絡(luò)具備更高帶寬和更低時(shí)延的特性，而且可以靈活部署，這些特性使數(shù)據(jù)中心網(wǎng)絡(luò)可以完成大量數(shù)據(jù)的快速存儲和處理，成為大數(shù)據(jù)和云計(jì)算重要的基礎(chǔ)設(shè)施。本節(jié)介紹數(shù)據(jù)中心網(wǎng)絡(luò)中實(shí)現(xiàn)低時(shí)延的技術(shù)，主要分為兩部分：一部分是傳輸層優(yōu)化，優(yōu)化擁塞控制與流調(diào)度以降低傳輸時(shí)延；另一部分是網(wǎng)絡(luò)層拓?fù)浣Y(jié)構(gòu)優(yōu)化，從而設(shè)計(jì)合理的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)來降低數(shù)據(jù)中心網(wǎng)絡(luò)的時(shí)延。

4.1.1 擁塞控制與流調(diào)度

數(shù)據(jù)中心網(wǎng)絡(luò)因?yàn)樘幚硪恍┓植际降娜蝿?wù)或者Web 請求而存在大量的短流，這些短流一般數(shù)據(jù)量較小但是希望可以獲得快速響應(yīng)。數(shù)據(jù)中心網(wǎng)絡(luò)也存在數(shù)量較少但是數(shù)據(jù)量較大的長流，這些長流對時(shí)延要求較低但是希望可以實(shí)現(xiàn)高吞吐量。關(guān)于滿足數(shù)據(jù)中心網(wǎng)絡(luò)中短流低時(shí)延與長流高吞吐需求的研究一直在進(jìn)行。

DCTCP（datacenter TCP）[50]是專為數(shù)據(jù)中心設(shè)計(jì)的類似TCP 的傳輸層控制協(xié)議。DCTCP 利用顯式擁塞通知（ECN,explicit congestion notification）向終端提供多比特反饋。當(dāng)遇到擁塞時(shí)，中間交換機(jī)對數(shù)據(jù)分組進(jìn)行ECN 標(biāo)記，經(jīng)由接收端通知發(fā)送端網(wǎng)絡(luò)擁塞。發(fā)送端根據(jù)被ECN 標(biāo)記的數(shù)據(jù)分組比例，即網(wǎng)絡(luò)的擁塞情況，來調(diào)節(jié)擁塞窗口，而不是直接將擁塞窗口減半，這樣可以提升窗口恢復(fù)速度，并使交換機(jī)的緩沖隊(duì)列維持在較低水平，大大降低短流時(shí)延的同時(shí)滿足了長流的高吞吐量需求。

在數(shù)據(jù)中心網(wǎng)絡(luò)中，為了防止時(shí)延敏感的短流被長流阻塞，可以使用優(yōu)先級隊(duì)列調(diào)度程序來提高它們的優(yōu)先級，從而降低短流的完成時(shí)間及平均流完成時(shí)間。pFabric[51]就是采用了上述思想的數(shù)據(jù)中心流調(diào)度算法，該算法將流調(diào)度和速率控制解耦、流簡化調(diào)度和速率控制，并最終提供了一個(gè)接近理論最優(yōu)值的流完成時(shí)間。流調(diào)度是基于優(yōu)先級的，交換機(jī)可以利用很小的緩沖區(qū)來實(shí)現(xiàn)，因此可以降低數(shù)據(jù)分組的排隊(duì)等待時(shí)間。在速率控制方面，pFabric 不需要進(jìn)行慢啟動(dòng)，開始時(shí)是線速發(fā)送，當(dāng)發(fā)生長時(shí)間大量的分組丟失時(shí)再利用速率控制來降低發(fā)送速率。

傳統(tǒng)的TCP/IP 協(xié)議棧越來越不能滿足新一代數(shù)據(jù)中心網(wǎng)絡(luò)工作負(fù)載的超高吞吐超低時(shí)延的需求，CPU 目前處理數(shù)據(jù)分組的開銷是不能被接受的[52-53]。第3 節(jié)的分析針對傳統(tǒng)的網(wǎng)絡(luò)體系結(jié)構(gòu)，無法從本質(zhì)上解決端側(cè)的處理時(shí)延開銷，該問題的解決需要利用新的技術(shù)如遠(yuǎn)程直接內(nèi)存訪問（RDMA,remote direct memory access）、數(shù)據(jù)平面開發(fā)套件（DPDK,data plane development kit）等方式，在不需要端側(cè)的操作系統(tǒng)參與的情況下，直接實(shí)現(xiàn)不同主機(jī)內(nèi)存數(shù)據(jù)的傳輸和訪問。

RDMA 是為解決網(wǎng)絡(luò)傳輸中服務(wù)器端數(shù)據(jù)處理的時(shí)延而產(chǎn)生的，因?yàn)榫W(wǎng)絡(luò)I/O(input/output)存在瓶頸，所以數(shù)據(jù)中心網(wǎng)絡(luò)的大帶寬無法被充分利用。RDMA 的零拷貝技術(shù)，繞過內(nèi)核處理，省去了中斷處理和各種拷貝的時(shí)間[52]。數(shù)據(jù)在發(fā)送端與接收端進(jìn)行處理時(shí)，會完成硬件設(shè)備與應(yīng)用層的直接交互而不經(jīng)過內(nèi)核的處理，從而實(shí)現(xiàn)服務(wù)器端處理的低時(shí)延，具體如圖2 所示。

圖2 RDMA 低時(shí)延示意

RDMA 已經(jīng)被部署到數(shù)據(jù)中心，目前有基于無線寬帶（InfiniBand）的RDMA 網(wǎng)絡(luò)，還有基于以太網(wǎng)的 RDMA 網(wǎng)絡(luò)，即 RoCE（RDMA over converged ethernet）?；贗nfiniBand 的RDMA 需要更換智能網(wǎng)卡和交換機(jī)，成本較高，而基于以太網(wǎng)的RDMA 網(wǎng)絡(luò)只需要更換網(wǎng)卡，成本較低。

在基于IP 路由的數(shù)據(jù)中心網(wǎng)絡(luò)上，RDMA 使用RoCEv2 協(xié)議部署[53]，為實(shí)現(xiàn)數(shù)據(jù)鏈路層的無損傳輸，RoCE 采用基于優(yōu)先級的流控（PFC,priority-based flow control），但是直接利用PFC 操作粒度太粗，可能會面臨隊(duì)頭阻塞問題，導(dǎo)致?lián)砣刂菩Ч蛔悖羰褂昧骷墑e的擁塞控制則可以解決此問題。量化擁塞通知（QCN,quantized congestion notification）被提出以解決上述問題，但是QCN 是一個(gè)兩層的協(xié)議，無法用于網(wǎng)絡(luò)層。在這種情況下，Zhu 等[53]提出DCQCN（data-center QCN）以解決PFC 引入的問題。DCQCN是一個(gè)為RoCEv2 協(xié)議設(shè)計(jì)的流級別的擁塞控制算法，而且有不需要慢啟動(dòng)等優(yōu)勢，可以將隊(duì)列長度維持在較低的水平，降低了端到端時(shí)延。

數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)對時(shí)延的影響主要體現(xiàn)在2 個(gè)方面：網(wǎng)絡(luò)擁塞和路由路徑長度。一方面，數(shù)據(jù)中心網(wǎng)絡(luò)的流量具有高動(dòng)態(tài)性，易產(chǎn)生擁塞熱點(diǎn)。當(dāng)持續(xù)時(shí)間較長的大流發(fā)生擁塞時(shí)，交換機(jī)的緩沖區(qū)被填充，從而導(dǎo)致短流的時(shí)延增大。加之每類業(yè)務(wù)發(fā)生擁塞時(shí)往往同時(shí)涉及多條鏈路，進(jìn)一步加重了熱點(diǎn)擁塞對傳輸性能的影響。另一方面，端到端過長的路徑會增加傳輸過程中的傳播、處理和排隊(duì)時(shí)延，這就要求拓?fù)浣Y(jié)構(gòu)要具有較小的網(wǎng)絡(luò)直徑。因此，除了傳輸協(xié)議外，合理的拓?fù)浼軜?gòu)和路由方案同樣有助于通過消除熱點(diǎn)、實(shí)現(xiàn)負(fù)載均衡的方式降低數(shù)據(jù)中心網(wǎng)絡(luò)的時(shí)延。對數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)浼軜?gòu)的研究大體經(jīng)歷了3 個(gè)階段：有線數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)、光電交換混合架構(gòu)和無線數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)。

有線數(shù)據(jù)中心網(wǎng)絡(luò)往往采用固定的分層樹狀結(jié)構(gòu)，其傳輸性能受限于上層交換機(jī)的聚合效率，擴(kuò)展性較差。在實(shí)際中，數(shù)據(jù)中心網(wǎng)絡(luò)通常采用高超額訂購比的結(jié)構(gòu)來緩解流量高峰期的擁塞情況。之后出現(xiàn)了以Fat-tree[54]和VL2[55]為代表的新型樹狀拓?fù)浣Y(jié)構(gòu)，以Dcell[56]和BCube[57]為代表的分層遞歸拓?fù)浣Y(jié)構(gòu)以及以SWDC (small-world datacenter)[58]和JellyFish[59]為代表的隨機(jī)小世界拓?fù)浣Y(jié)構(gòu)。其中，SWDC 通入增加隨機(jī)鏈路將小世界模型引入拓?fù)湓O(shè)計(jì)，有效降低了網(wǎng)絡(luò)直徑，然而其采用的基于最短路的貪心路由算法會導(dǎo)致最差情況下網(wǎng)絡(luò)極低的吞吐量和不佳的負(fù)載均衡。

上述網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的網(wǎng)絡(luò)容量和傳輸效率與傳統(tǒng)結(jié)構(gòu)相比已有較大提升，但并未解決靜態(tài)網(wǎng)絡(luò)拓?fù)渑c動(dòng)態(tài)熱點(diǎn)流量之間的根本矛盾[60]。為了實(shí)現(xiàn)對熱點(diǎn)流量的動(dòng)態(tài)適配，以C-through[61]、Helio[62]和XFabric[63]為代表的光電交換混合架構(gòu)提出引入光路交換（OCS,optical circuit switching）以實(shí)現(xiàn)可變拓?fù)?。由于光電線路交換機(jī)往往有更大的網(wǎng)絡(luò)帶寬，當(dāng)電交換機(jī)部分出現(xiàn)擁塞時(shí)，可以將流量導(dǎo)入光交換網(wǎng)絡(luò)中，實(shí)現(xiàn)熱點(diǎn)消除。另一方面，通過調(diào)整鏈路可以動(dòng)態(tài)調(diào)整端到端路徑長度，從而實(shí)現(xiàn)適應(yīng)性的時(shí)延優(yōu)化。然而，由于價(jià)格高昂，且切換開銷較大，進(jìn)行大規(guī)模實(shí)際部署商用OCS 交換機(jī)將面臨巨大的成本和效率考驗(yàn)。

除采用OCS 交換機(jī)外，無線設(shè)備也可作為可變拓?fù)浣Y(jié)構(gòu)的組成部分。無線數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)目前往往采用60 GHz 無線電模塊[64-65]或者空間激光收發(fā)器（FSO,free space optical）[66-67]作為基礎(chǔ)模塊進(jìn)行搭建，從而實(shí)現(xiàn)高度靈活的鏈路調(diào)配。但當(dāng)前的無線數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)中，無線設(shè)備往往被部署在機(jī)架頂部，受到無線設(shè)備干擾和阻塞的限制，實(shí)際可使用的鏈路數(shù)量非常受限。雖然有工作提出在天花板安裝平面鏡或球狀反射鏡的方案來提高反射效率和精度，但這一方案對機(jī)架頂部的空間要求過于理想，很難部署。

為了解決這一問題，Wang 等[60]使用多反射環(huán)拓?fù)渲匦略O(shè)計(jì)了無線數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)，其俯視圖如圖3 所示。利用部署在服務(wù)器上的無線網(wǎng)卡，無線信號可以被多次反射，實(shí)現(xiàn)與目標(biāo)服務(wù)器的直連而不需要經(jīng)過多跳，有效降低了傳輸路徑長度，從而避免了中間設(shè)備中的排隊(duì)和處理時(shí)延。

圖3 Diamond 無線反射示意

可變拓?fù)鋽?shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)為消除熱點(diǎn)、降低時(shí)延提供了可能，但仍需高效的拓?fù)渥赃m應(yīng)算法才能充分發(fā)揮其潛力。拓?fù)渑渲脝栴}的離散性決定了基于整數(shù)線性規(guī)劃的方法缺乏擴(kuò)展性，而啟發(fā)式算法往往性能不佳。為此，xWeaver[68]提出可以采用深度學(xué)習(xí)方法針對流量負(fù)載對拓?fù)溥M(jìn)行動(dòng)態(tài)配置。其將流量需求作為輸入，學(xué)習(xí)輸出近似最優(yōu)拓?fù)渑渲?，同時(shí)該方法可以靈活地支持流級別或應(yīng)用程序級別的多樣優(yōu)化目標(biāo)，包括流完成時(shí)間或Hadoop任務(wù)完成時(shí)間等。

4.2 5G 網(wǎng)絡(luò)

與前四代移動(dòng)通信不同，5G 旨在提供更高數(shù)據(jù)率、高可靠低時(shí)延及更廣連接的服務(wù)。5G 的目標(biāo)空口時(shí)延要求達(dá)到1 ms[69]，其低時(shí)延特性使自動(dòng)駕駛、設(shè)備到設(shè)備通信等應(yīng)用成為可能。在高可靠低時(shí)延場景下會存在時(shí)延與可靠性的權(quán)衡，比如在自動(dòng)駕駛、工業(yè)自動(dòng)化等應(yīng)用中，除了低時(shí)延外，高可靠性亦是上述應(yīng)用正常工作的重要前提。因此，在這些應(yīng)用中不應(yīng)采用分組丟失等非可靠方式實(shí)現(xiàn)低時(shí)延，而應(yīng)采取其他技術(shù)完成時(shí)延與可靠性的優(yōu)化。本節(jié)將從網(wǎng)絡(luò)架構(gòu)調(diào)整和低時(shí)延關(guān)鍵技術(shù)這2 個(gè)方面分析5G 網(wǎng)絡(luò)為實(shí)現(xiàn)超低時(shí)延的設(shè)計(jì)，這些設(shè)計(jì)在優(yōu)化時(shí)延的同時(shí)不會造成可靠性的降低。

3.青年價(jià)值觀教育的目標(biāo)、內(nèi)容、原則和方法。青年價(jià)值觀教育要把握思想政治教育的時(shí)代特點(diǎn)和青年的身心特點(diǎn)，以科學(xué)發(fā)展觀為指導(dǎo)思想。青年價(jià)值觀教育作為思想政治教育的題中之義，運(yùn)用思想政治教育的分析研究方法，明確青年價(jià)值觀教育的目標(biāo)、內(nèi)容、原則和方法對我們開展教育工作具有重要意義。

4.2.1 網(wǎng)絡(luò)架構(gòu)調(diào)整

移動(dòng)通信網(wǎng)絡(luò)架構(gòu)演進(jìn)呈現(xiàn)分離的趨勢，功能的不斷分離使部分功能可以靈活部署并下沉至更靠近用戶的位置，這樣可縮短用戶與服務(wù)端的距離，進(jìn)而降低網(wǎng)絡(luò)時(shí)延。對于核心網(wǎng)，在3G 網(wǎng)絡(luò)中引入直接隧道技術(shù)（DT,direct tunnel）[70]，將控制面與用戶面分離，數(shù)據(jù)傳輸時(shí)繞過服務(wù)GPRS（general packet radio service）支持節(jié)點(diǎn)（SGSN,serving gprs support node），利用DT 將基站與網(wǎng)關(guān)GPRS 支持節(jié)點(diǎn)（GGSN,gateway GPRS support node）直接相連，這是核心網(wǎng)分離的開始。DT 技術(shù)的采用避免了SGSN 對數(shù)據(jù)的處理與轉(zhuǎn)發(fā)過程，縮短了時(shí)延。

在5G 時(shí)代，基于4G 核心網(wǎng)，5G 核心網(wǎng)繼續(xù)進(jìn)行更完全的分離，SGSN、服務(wù)網(wǎng)關(guān)（SGW,serving gateway）、PDN 網(wǎng)關(guān)（PGW,packet data network gateway）等網(wǎng)元被分為用戶面與控制面兩部分[71]。分離核心網(wǎng)用戶平面并將用戶面下沉到回傳網(wǎng)之前可以減輕回傳網(wǎng)傳輸壓力與核心網(wǎng)集中處理負(fù)擔(dān)。計(jì)算與存儲的下沉與分布式架構(gòu)可以使用戶數(shù)據(jù)無需到達(dá)遠(yuǎn)距的核心網(wǎng)，從而實(shí)現(xiàn)毫秒級的時(shí)延目標(biāo)。

對于接入網(wǎng)，5G 將基站分為集中單元（CU,centralized unit）、分布單元（DU,distributed unit）和有源天線單元（AAU,active antenna unit）3 個(gè)部分[71]，其中CU 對應(yīng)于4G 網(wǎng)絡(luò)中室內(nèi)基帶處理單元（BBU,building base band unit）的實(shí)時(shí)性低的部分，DU 對應(yīng)實(shí)時(shí)服務(wù)。將BBU 分離后，可以根據(jù)場景和需求靈活地對CU 和DU 進(jìn)行部署，以滿足5G 中不同應(yīng)用的需求，對于時(shí)延需求高的應(yīng)用需求，可以將DU 部署于離用戶更近的地方。

為了提升數(shù)據(jù)傳輸速率并降低時(shí)延，提升帶寬是一個(gè)直接的選擇。目前的移動(dòng)通信使用的是3 GHz以下的頻段[72]，若提升帶寬可以探索使用高頻毫米波頻段[73]。由于高頻信號傳播范圍小，原來移動(dòng)通信中以基站為中心的架構(gòu)可以被調(diào)整為以用戶為中心[74]，具體如圖4 所示。此時(shí)，用戶不僅是網(wǎng)絡(luò)中的節(jié)點(diǎn)，而且將參與網(wǎng)絡(luò)中的中繼、傳輸?shù)热蝿?wù)。在這種情況下，基于5G 毫米波和之前的4G 組網(wǎng)方案，研究者們提出5G-LTE 混合組網(wǎng)方案及僅基于毫米波基站的獨(dú)立組網(wǎng)方案[75]。

圖4 從以基站為中心轉(zhuǎn)變?yōu)橐杂脩魹橹行?/p>

4.2.2 低時(shí)延關(guān)鍵技術(shù)

除了架構(gòu)上的調(diào)整外，5G 融合了多種關(guān)鍵技術(shù)來優(yōu)化時(shí)延，如利用波束賦形技術(shù)，大規(guī)模多輸入多輸出技術(shù)及新型正交多址接入技術(shù)提升頻譜利用效率，優(yōu)化用戶與基站之間的空口時(shí)延，實(shí)現(xiàn)高速數(shù)據(jù)傳輸。5G 架構(gòu)對于數(shù)據(jù)傳輸時(shí)延的優(yōu)化是眾多技術(shù)融合共同作用的結(jié)果。

在移動(dòng)通信中多址接入是一個(gè)關(guān)鍵特征，其目標(biāo)是實(shí)現(xiàn)用戶隨時(shí)隨地接入信道，多址接入技術(shù)一直在研究當(dāng)中。第四代移動(dòng)通信（4G）采用正交頻分多址（OFDMA,orthogonal frequency division multiple access），為保證信號正交而設(shè)置大信號傳輸時(shí)間間隔（TTI,transmission time interval），存在頻譜效率低、數(shù)據(jù)傳輸時(shí)延大等不足，無法滿足新興業(yè)務(wù)對時(shí)延的需求，新型的多址技術(shù)需要被提出。5G 中包含多種新型的多址接入技術(shù)，比如非正交多址（NOMA,non-orthogonal multiple access）、稀疏碼多址（SCMA,sparse code multiple access）等。這些新的多址技術(shù)可以提升頻譜利用率，減少競爭等待時(shí)間，從而降低時(shí)延。

NOMA[76]與傳統(tǒng)的正交多址方案有著本質(zhì)的區(qū)別，在NOMA 中，功率域被引入，多個(gè)用戶可以在同一時(shí)間、同一碼型、同一頻率、不同功率等條件進(jìn)行傳輸。發(fā)送端非正交發(fā)送，接受端使用干擾消除進(jìn)行解調(diào)，接收端的解調(diào)過程復(fù)雜性增加，但是避免了正交信號間隔時(shí)間，提升了頻譜利用率。同時(shí)，在NOMA 中不需要采用爭用型信道分配方式，競爭等待時(shí)間縮短。SCMA[77]是一種基于碼本與碼字映射的非正交多址接入技術(shù)，數(shù)據(jù)經(jīng)過信道編碼之后會按照碼本中的對應(yīng)碼字進(jìn)行高維調(diào)制。SCMA 使用碼分多址，通過使用多個(gè)載波組，實(shí)現(xiàn)頻譜利用率的提高。

4.3 邊緣計(jì)算

在傳統(tǒng)的云計(jì)算架構(gòu)中，云端完成數(shù)據(jù)存儲與計(jì)算[78]并通過網(wǎng)絡(luò)將服務(wù)提供給用戶。但是隨著智能化普及，邊緣設(shè)備產(chǎn)生數(shù)據(jù)急劇增加，云端計(jì)算和網(wǎng)絡(luò)傳輸負(fù)載加重。同時(shí)由于云計(jì)算架構(gòu)中數(shù)據(jù)傳輸距離長，可能無法滿足時(shí)延敏感型應(yīng)用的需求。為了保證數(shù)據(jù)處理低時(shí)延，降低云計(jì)算與傳輸負(fù)載，研究者提出了邊緣計(jì)算架構(gòu)。本節(jié)介紹邊緣計(jì)算中的關(guān)鍵技術(shù)計(jì)算卸載以及利用邊緣計(jì)算的具體應(yīng)用。

隨著移動(dòng)設(shè)備性能的提升，開發(fā)者正在開發(fā)愈加復(fù)雜的應(yīng)用程序，如自然語言處理或人臉識別等，需要大量的計(jì)算與存儲資源，同時(shí)，低時(shí)延也是這些應(yīng)用重要的評價(jià)標(biāo)準(zhǔn)之一。有研究發(fā)現(xiàn)這些應(yīng)用程序通常由許多可組合組件組成[78]，所以可以利用計(jì)算卸載技術(shù)，確定如何進(jìn)行組件的分配，使這些應(yīng)用能在移動(dòng)設(shè)備上運(yùn)行，此問題被稱為代碼分割問題，有眾多針對于此的研究[79-82]。

CloneCloud[80]在代碼運(yùn)行前計(jì)算分割情況，它通過對目標(biāo)手機(jī)和云上的進(jìn)程二進(jìn)制文件的不同運(yùn)行條件進(jìn)行離線靜態(tài)分析來確定這些卸載到云上的部分。但是，這種方法只考慮離線預(yù)處理中的有限輸入/環(huán)境條件，無法涵蓋真實(shí)的網(wǎng)絡(luò)狀況下的所有情況。MAUI（mobile assistance using infrastructure）[79]是在運(yùn)行時(shí)進(jìn)行分割決策的，它將此問題建模為一個(gè)整數(shù)線性規(guī)劃問題，但是解此線性規(guī)劃是一個(gè)NP-hard 問題，求解時(shí)間不能忽略。Hermes[82]提供一種多項(xiàng)式時(shí)間近似方法，以最小化卸載請求的時(shí)延，但是它只適用于一個(gè)卸載請求情況。

不過上述工作都是針對通用的計(jì)算工作負(fù)載，面向特定的應(yīng)用，可以根據(jù)應(yīng)用的特點(diǎn)進(jìn)行計(jì)算卸載。VR 系統(tǒng)有嚴(yán)格時(shí)延要求，有研究提出VR 內(nèi)容呈現(xiàn)可以分為交互式的前景和可預(yù)測的后景兩部分，基于此提出一種基于計(jì)算卸載的渲染方案[10]，并證明了該方法的可行性。將可預(yù)測但渲染負(fù)載重的背景的預(yù)渲染和預(yù)取任務(wù)卸載到云端，而輕量級前景交互的渲染在移動(dòng)端本地的GPU（graphics processing unit）上完成，以繞過網(wǎng)絡(luò)傳輸瓶頸，從而降低時(shí)延，優(yōu)化用戶體驗(yàn)。

實(shí)時(shí)視頻分析是邊緣計(jì)算的另一個(gè)重要的應(yīng)用場景。視頻分析的結(jié)果需要用來與用戶進(jìn)行交互或者啟動(dòng)下一個(gè)系統(tǒng)，所以需要低時(shí)延的支持。同時(shí)，傳輸高清視頻需要高帶寬，此時(shí)將大量的視頻數(shù)據(jù)都傳輸?shù)皆贫颂幚硎遣豢尚械腫83]。利用邊緣設(shè)備的計(jì)算與存儲能力及地理上分布式的特點(diǎn)進(jìn)行視頻分析成為一項(xiàng)新興并且必要的任務(wù)，進(jìn)而為道路流量控制、安全監(jiān)控等提供便利。

有研究提出地理上分布的公有云、私有集群和邊緣的架構(gòu)是唯一能夠滿足大規(guī)模實(shí)時(shí)視頻分析的方法[83]，具體如圖5 所示，具體的視頻分析任務(wù)可以分配到公有云、私有云或者邊緣設(shè)備。

圖5 地理上分布的公有云、私有云與邊緣架構(gòu)

有許多研究工作關(guān)注實(shí)時(shí)視頻分析領(lǐng)域。VideoStorm[84]系統(tǒng)中視頻分析是在私有云上完成的。此系統(tǒng)由一個(gè)中央管理器和一組執(zhí)行視頻分析查詢?nèi)蝿?wù)的工作機(jī)組成，每一個(gè)查詢被連續(xù)輸入到集群中，其中包含多個(gè)對視頻進(jìn)行處理的轉(zhuǎn)換。Lavea[85]是一個(gè)建立在邊緣計(jì)算平臺之上的系統(tǒng)，它可以卸載客戶端和邊緣服務(wù)器之間的計(jì)算。同時(shí)，邊緣服務(wù)器之間可以完成協(xié)作，以低傳輸時(shí)延或者低排隊(duì)時(shí)延為目標(biāo)。通過上述操作在靠近用戶的地方提供低時(shí)延的視頻分析。

5 機(jī)遇與挑戰(zhàn)

5.1 基于SDN 的網(wǎng)絡(luò)架構(gòu)革新

為了優(yōu)化數(shù)據(jù)傳輸時(shí)延，滿足應(yīng)用的實(shí)時(shí)性要求，網(wǎng)絡(luò)架構(gòu)的革新與演進(jìn)一直是研究熱點(diǎn)之一。在保持傳統(tǒng)網(wǎng)絡(luò)基礎(chǔ)架構(gòu)不發(fā)生變化的前提下，可以利用基于SDN 的軟件化形式構(gòu)造更加靈活的網(wǎng)絡(luò)架構(gòu)，使網(wǎng)絡(luò)中策略的優(yōu)化與部署成為可能，為時(shí)延優(yōu)化提供機(jī)遇。下面將以基于SDN 架構(gòu)的數(shù)據(jù)中心廣域網(wǎng)中的時(shí)延優(yōu)化為例進(jìn)行介紹。

連接數(shù)據(jù)中心的廣域網(wǎng)對在線服務(wù)提供商來說是重要的基礎(chǔ)設(shè)施，數(shù)據(jù)中心之間的低時(shí)延和高吞吐量數(shù)據(jù)傳輸可以提供良好的用戶體驗(yàn)和高可靠的服務(wù)[86]。為了提供長距離的大容量鏈路，數(shù)據(jù)中心之間的廣域網(wǎng)資源花費(fèi)很高成本，但是由于防止分組丟失而設(shè)置的冗余鏈路[87]及分布式資源分配模型[86]造成的次優(yōu)流量路由等原因使數(shù)據(jù)中心間廣域網(wǎng)鏈路利用率并不高，很多企業(yè)對于本公司的數(shù)據(jù)中心之間的廣域網(wǎng)連接進(jìn)行改進(jìn)以期望提升鏈路利用率進(jìn)而優(yōu)化時(shí)延，使用SDN 進(jìn)行改進(jìn)是其中的一種方式。

以谷歌公司為例，谷歌公司提出B4 網(wǎng)絡(luò)實(shí)現(xiàn)其數(shù)據(jù)中心的互聯(lián)[87]。B4 架構(gòu)包含三層，從下到上依次是硬件設(shè)備、局部控制器和全局控制器。B4采用定制的交換機(jī)及機(jī)制，將現(xiàn)有的路由協(xié)議集成在一個(gè)SDN 的環(huán)境中，局部控制器控制物理層設(shè)備并將收集的鏈路拓?fù)湫畔l(fā)送到全局控制層的服務(wù)器。當(dāng)需要進(jìn)行路徑選擇時(shí)，全局控制器會對所需帶寬進(jìn)行預(yù)估并選擇一條最優(yōu)的路徑，從而提升鏈路利用率，使可用帶寬提升，阻塞減少，從而降低了時(shí)延。為實(shí)現(xiàn)基于SDN 的網(wǎng)絡(luò)架構(gòu)革新，除了提出的B4 之外，谷歌公司于2015 年提出通過SDN 實(shí)現(xiàn)的數(shù)據(jù)中心互聯(lián)架構(gòu)[88]，于2017 年提出基于SDN 的對等邊緣路由基礎(chǔ)架構(gòu)[89]，于2018 年提出網(wǎng)絡(luò)功能虛擬化堆棧[90]。

雖然SDN/NFV 技術(shù)提供了機(jī)遇，但是以虛擬化軟件實(shí)現(xiàn)硬件功能的方式也同樣使SDN/NFV 新型網(wǎng)絡(luò)架構(gòu)難以避免地增加核心網(wǎng)絡(luò)和數(shù)據(jù)中心網(wǎng)絡(luò)的處理時(shí)延。有研究指出服務(wù)鏈時(shí)間延遲可能隨著鏈的長度線性增長[91]，所以有研究提出網(wǎng)絡(luò)功能并行化加速的算法NFP（network function parallelism in NFV）[92]。該方法可智能識別NF 依賴關(guān)系，并自動(dòng)將策略編譯成高性能服務(wù)圖。然后該框架內(nèi)的基礎(chǔ)設(shè)施執(zhí)行輕量級分組復(fù)制、分布式并行分組交付和分組副本的負(fù)載均衡合并，以支持NF并行性，最終實(shí)現(xiàn)在基本沒有資源浪費(fèi)的情況下優(yōu)化時(shí)延。如何處理好軟件化與低時(shí)延的權(quán)衡仍處在研究當(dāng)中，這是推動(dòng)SDN/NFV 技術(shù)進(jìn)一步發(fā)展的關(guān)鍵所在。

5.2 數(shù)據(jù)驅(qū)動(dòng)的低時(shí)延優(yōu)化算法

面對愈加復(fù)雜的需求和計(jì)算任務(wù)，以機(jī)器學(xué)習(xí)、尤其是深度學(xué)習(xí)為代表的數(shù)據(jù)驅(qū)動(dòng)方法已經(jīng)在各領(lǐng)域展開了廣泛應(yīng)用，也成為了網(wǎng)絡(luò)領(lǐng)域工業(yè)界和學(xué)術(shù)界的關(guān)注熱點(diǎn)[93-94]。為了降低網(wǎng)絡(luò)時(shí)延，需要對大量復(fù)雜的優(yōu)化和調(diào)度問題進(jìn)行求解。但傳統(tǒng)算法往往根據(jù)不真實(shí)的假設(shè)條件或者不準(zhǔn)確的建模，采用基于固定策略的啟發(fā)式算法，從而很難在動(dòng)態(tài)多變的復(fù)雜網(wǎng)絡(luò)環(huán)境下保持穩(wěn)定的性能。機(jī)器學(xué)習(xí)算法則能夠直接從數(shù)據(jù)中學(xué)習(xí)問題特征或者直接通過與環(huán)境交互學(xué)習(xí)進(jìn)行決策，從而為解決這一問題提供了新的方向。

網(wǎng)絡(luò)中大量的問題（如擁塞控制、流量調(diào)度等）可以建模為序列決策問題，擅長解決此類問題的強(qiáng)化學(xué)習(xí)技術(shù)也被應(yīng)用到網(wǎng)絡(luò)系統(tǒng)的多個(gè)方面。以Skype 為代表的互聯(lián)網(wǎng)電話（Internet telephony）發(fā)展迅猛，但卻面臨網(wǎng)絡(luò)抖動(dòng)帶來的巨大性能挑戰(zhàn)，因此如何選擇合適的中繼節(jié)點(diǎn)來降低通話時(shí)延這一問題亟待解決。Jiang 等[95]將這一問題建模為多臂老虎機(jī)問題，采用上限置信區(qū)間算法（UCB,upper confidence bound）實(shí)時(shí)為每對通話選擇當(dāng)前最優(yōu)的中繼節(jié)點(diǎn)，從而有效降低了通話的時(shí)延。

擁塞控制對減少網(wǎng)絡(luò)擁塞、降低排隊(duì)時(shí)延至關(guān)重要。在動(dòng)態(tài)變化的網(wǎng)絡(luò)環(huán)境下，基于規(guī)則的相對固定的窗口調(diào)節(jié)策略將不可避免的產(chǎn)生性能下降。Remy[96]首次將擁塞控制問題建模為馬爾可夫決策過程，采用強(qiáng)化學(xué)習(xí)思想學(xué)習(xí)網(wǎng)絡(luò)狀態(tài)到窗口調(diào)節(jié)方式的映射，從而實(shí)現(xiàn)細(xì)粒度的精確調(diào)節(jié)。另一方面，PCC（performance-oriented congestion control）[97]和PCC vivace[98]采用在線學(xué)習(xí)方法，對網(wǎng)絡(luò)環(huán)境進(jìn)行在線適應(yīng)，一定程度上緩解了機(jī)器學(xué)習(xí)方法的泛化問題。

數(shù)據(jù)中心中的流量調(diào)度對應(yīng)用性能影響巨大。當(dāng)前算法往往依賴于手工參數(shù)調(diào)節(jié)，從而導(dǎo)致網(wǎng)絡(luò)環(huán)境與算法參數(shù)不匹配。Chen 等[99]提出利用深度強(qiáng)化學(xué)習(xí)根據(jù)當(dāng)前的流量負(fù)載情況動(dòng)態(tài)決策算法閾值，在保障處理效率的條件下，大幅降低了應(yīng)用的流完成時(shí)間。

機(jī)器學(xué)習(xí)算法雖然優(yōu)化了網(wǎng)絡(luò)的時(shí)延，但也對網(wǎng)絡(luò)系統(tǒng)提出了新的挑戰(zhàn)，尤其是深度學(xué)習(xí)算法往往需要利用梯度下降算法進(jìn)行模型更新。而對大規(guī)模機(jī)器學(xué)習(xí)任務(wù)，訓(xùn)練和計(jì)算往往以分布式的方式分發(fā)到多臺計(jì)算機(jī)共同完成。這時(shí)，機(jī)器間的通信開銷巨大，嚴(yán)重時(shí)會影響模型的訓(xùn)練速度。因此，未來如何進(jìn)行架構(gòu)和同步算法設(shè)計(jì)，如何利用RDMA 和DPDK 等技術(shù)進(jìn)行傳輸優(yōu)化都是亟待解決的問題。

5.3 低時(shí)延新興協(xié)議設(shè)計(jì)

網(wǎng)絡(luò)協(xié)議作為網(wǎng)絡(luò)中通信的標(biāo)準(zhǔn)，是低時(shí)延網(wǎng)絡(luò)構(gòu)建中的重要一部分。然而，互聯(lián)網(wǎng)在最初設(shè)計(jì)時(shí)提供的是盡力而為的服務(wù)，并未對網(wǎng)絡(luò)時(shí)延等指標(biāo)提供保證或作出優(yōu)化，為了優(yōu)化時(shí)延，針對不同的應(yīng)用，學(xué)術(shù)界和工業(yè)界的研究者們提出了多種新興協(xié)議，在協(xié)議層面為低時(shí)延通信做出努力。

為提升網(wǎng)頁訪問的速度，HTTP 2.0[100]與QUIC[25]協(xié)議被提出，在數(shù)據(jù)傳輸?shù)奈帐?、連接、復(fù)用等方面進(jìn)行改進(jìn)。為加速數(shù)據(jù)中心數(shù)據(jù)傳輸，使服務(wù)器端系統(tǒng)處理速度匹配數(shù)據(jù)中心網(wǎng)絡(luò)帶寬，RDMA 技術(shù)及相匹配的RoCE 等協(xié)議被提出。為使瀏覽器支持實(shí)時(shí)音視頻傳輸，傳輸層采用RTP 協(xié)議的WebRTC[101]被提出。

與此同時(shí)，各企業(yè)為優(yōu)化自身傳輸系統(tǒng)，根據(jù)自身的業(yè)務(wù)提出了特定的協(xié)議，提供了更低的數(shù)據(jù)傳輸時(shí)延。如IBM 旗下的Aspera 公司提出的廣域網(wǎng)上海量數(shù)據(jù)傳輸?shù)腇ASP 傳輸技術(shù)，它避免了TCP 在分組丟失率高時(shí)延高的鏈路上無法充分利用網(wǎng)絡(luò)帶寬的問題，優(yōu)化了鏈路吞吐量提升了文件傳輸速度。快手研究者提出的基于UDP 的KTP（Kuaishou transport protocol）[102]傳輸協(xié)議，將碼率和幀率自適應(yīng)加入，并融合了網(wǎng)絡(luò)性能估計(jì)與擁塞控制等，優(yōu)化了傳輸時(shí)延及分組丟失等其他指標(biāo)。為滿足不同的應(yīng)用需求，未來可能會有更多的專用協(xié)議出現(xiàn)，這可能成為一個(gè)不可或缺的研究點(diǎn)。

6 結(jié)束語

低時(shí)延網(wǎng)絡(luò)對新興應(yīng)用的性能提升有重要意義，低時(shí)延技術(shù)是目前的研究熱點(diǎn)。本文分析了TCP/IP網(wǎng)絡(luò)架構(gòu)各層時(shí)延的來源，并總結(jié)了實(shí)現(xiàn)低時(shí)延的各層技術(shù)。同時(shí)，對數(shù)據(jù)中心、5G 和邊緣計(jì)算這3個(gè)關(guān)鍵場景時(shí)延優(yōu)化進(jìn)行了分析，希望本文的分析可以對該方向的研究提供一些啟發(fā)。此外，低時(shí)延網(wǎng)絡(luò)可以促進(jìn)新型協(xié)議設(shè)計(jì)和數(shù)據(jù)驅(qū)動(dòng)新方法的產(chǎn)生與發(fā)展。然而，機(jī)遇與挑戰(zhàn)并存，所以希望仍有針對這一問題的持續(xù)和深入的研究，這需要學(xué)術(shù)界和工業(yè)界的共同努力。