低時延傳輸?shù)腅RDQN數(shù)據(jù)調(diào)度算法

常夢磊，羅述翔，李幸睿，李魯群

(上海師范大學(xué) 信息與機電工程學(xué)院，上海 201418)

車載網(wǎng)絡(luò)、遠程醫(yī)療、工業(yè)控制等領(lǐng)域需要低時延、高可靠性的網(wǎng)絡(luò)傳輸。網(wǎng)絡(luò)時延包括傳輸時延、傳播時延、處理時延和排隊時延。傳播時延與傳輸介質(zhì)物理特性有關(guān)，該部分時延很難減少。所以降低網(wǎng)絡(luò)時延的方法，主要從處理時延、傳輸時延和排隊時延方面考慮。

目前，降低網(wǎng)絡(luò)時延的方法主要是優(yōu)化排隊策略和優(yōu)化擁塞控制。如劉正飛等[1]使用自動隊列管理算法(active queue management，AQM)管理數(shù)據(jù)等待隊列長度，提高了網(wǎng)絡(luò)鏈路利用率，但可能導(dǎo)致重要數(shù)據(jù)無法及時到達的問題。秦唯特[2]使用數(shù)據(jù)中心網(wǎng)絡(luò)算法(data center TCP，DCTCP)和顯式擁塞指示標記方法(explicit congestion notification，ECN)優(yōu)化排隊隊列過長問題，但存在吞吐量抖動的問題。劉巖[3]采用隨機流量預(yù)測算法(random early detection，RED)解決擁塞問題，但會出現(xiàn)網(wǎng)絡(luò)鏈路參數(shù)調(diào)整不及時、擁塞控制有延遲的問題。鄧仕軍[4]提出了基于Q-learning算法的擁塞控制算法，但算法易出現(xiàn)因為樣本不均衡導(dǎo)致的過擬合現(xiàn)象。

清華大學(xué)在2019年提出了基于快速用戶數(shù)據(jù)報協(xié)議(user datagram protocol，UDP)互聯(lián)網(wǎng)連接協(xié)議(quick UDP internet connections protocol，QUIC)的最后期限感知的傳輸協(xié)議[5](deadline-aware transport protocol，DTP)，該協(xié)議繼承了QUIC協(xié)議的多流支持并且具有數(shù)據(jù)塊傳輸、Deadline、優(yōu)先級等多個特性，明確指出在DTP中實現(xiàn)低時延需要滿足數(shù)據(jù)包的Deadline。本文在DTP協(xié)議基礎(chǔ)上提出了ERDQN算法，該算法充分考慮了數(shù)據(jù)發(fā)送端數(shù)據(jù)塊的優(yōu)先級和Deadline，優(yōu)化了排隊策略，降低了排隊時延。利用強化學(xué)習(xí)網(wǎng)絡(luò)，自主學(xué)習(xí)調(diào)整傳輸參數(shù)，降低了傳輸時延。實驗表明本文提出的ERDQN算法相比于傳統(tǒng)擁塞控制算法收斂速度更快，排隊時延和傳輸時延更低，QoE更高。

1 傳統(tǒng)擁塞控制算法存在的問題

1.1 數(shù)據(jù)塊排隊丟失Deadline

傳統(tǒng)的擁塞控制算法采用排隊等待策略是先進先出策略(first input first output，F(xiàn)IFO)，該策略的弊端是當(dāng)數(shù)據(jù)塊中包含不同的數(shù)據(jù)類型(即包含具有不同的Deadline)，無法滿足每種數(shù)據(jù)類型的Deadline。例如發(fā)送數(shù)據(jù)塊是視頻，詳細信息見圖1。

圖1 數(shù)據(jù)塊發(fā)送過程Fig.1 Data block sending process

視頻數(shù)據(jù)塊包括音頻(Audio)、圖像(Video)、控制(Coutrol)信號3種數(shù)據(jù)類型。其中Deadline的關(guān)系是

Cddl

(1)

式中Cddl、Addl、Vddl分別是Control信號、Audio信號、Video信號的Deadline。如果鏈路中發(fā)生擁塞，容易造成控制信號數(shù)據(jù)等待時間過長超出Deadline問題，進而導(dǎo)致數(shù)據(jù)重傳，增加了網(wǎng)絡(luò)負載。

1.2 網(wǎng)絡(luò)傳輸過程中不穩(wěn)定且傳輸速率低

傳統(tǒng)的Reno算法，發(fā)送速率在慢啟動階段緩慢增加，當(dāng)出現(xiàn)超時重傳或者丟包現(xiàn)象時，將慢啟動閾值(ssthresh)值設(shè)置為當(dāng)前擁塞窗口(cwnd)的一半，重新傳輸丟失的數(shù)據(jù)包，并設(shè)置cwnd的值為ssthresh加上3個報文段(MSS)的長度，計算公式為

W=S+3×M

(2)

式中：W為擁塞窗口大小，S為慢啟動閾值，M為報文段長度。網(wǎng)絡(luò)傳輸鏈路中出現(xiàn)丟包或者超時現(xiàn)象時，發(fā)送數(shù)據(jù)窗口減半，傳輸速率出現(xiàn)不規(guī)則波動，導(dǎo)致網(wǎng)絡(luò)鏈路平均傳輸速率降低。

2 ERDQN算法

針對以上問題，本文提出了ERDQN算法，該算法相比于傳統(tǒng)的擁塞控制算法在排隊策略中考慮了數(shù)據(jù)塊的Deadline和優(yōu)先級，以及利用強化學(xué)習(xí)網(wǎng)絡(luò)自主學(xué)習(xí)調(diào)整網(wǎng)絡(luò)傳輸參數(shù)，實現(xiàn)了低時延、高可靠性的網(wǎng)絡(luò)傳輸。

2.1 ERDQN算法架構(gòu)

本文提出的ERDQN算法根據(jù)當(dāng)前時刻的網(wǎng)絡(luò)狀態(tài)預(yù)估下一個時刻網(wǎng)絡(luò)狀態(tài)，自動調(diào)整網(wǎng)絡(luò)傳輸?shù)南嚓P(guān)參數(shù)，從而降低了網(wǎng)絡(luò)傳輸?shù)臅r延，保證數(shù)據(jù)高速穩(wěn)定的傳輸。

ERDQN算法中的基于經(jīng)驗回放的DQN[6-7]網(wǎng)絡(luò)包括兩大模塊(見圖2)，分別是Net模塊[8]和Memory模塊[9]，Net模塊的作用是計算和預(yù)估網(wǎng)絡(luò)參數(shù)調(diào)整帶來的收益值，Memory模塊的作用是存儲Net模塊的訓(xùn)練記憶和記憶的優(yōu)先級。

圖2 Experience replay DQN流程Fig.2 Flow of experience replay DQN

Net模塊包括MainNet和TargetNet兩個神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)由全連接層、DropOut層、全連接層構(gòu)成。隱藏層的單元數(shù)是30，DropOut層的權(quán)重設(shè)置為0.5。兩個神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)相同但是參數(shù)更新頻率卻不相同，其中MainNet是用于預(yù)測當(dāng)前網(wǎng)絡(luò)狀態(tài)值，參數(shù)是實時更新的，當(dāng)其參數(shù)更新100次后，將當(dāng)前網(wǎng)絡(luò)參數(shù)傳遞給TargetNet網(wǎng)絡(luò)，TargetNet是用來預(yù)測目標網(wǎng)絡(luò)狀態(tài)值。在經(jīng)過兩大模塊的運算，輸出網(wǎng)絡(luò)鏈路的預(yù)估狀態(tài)。在重采樣學(xué)習(xí)中，Memory模塊根據(jù)優(yōu)先級抽取學(xué)習(xí)記憶以供Net重復(fù)訓(xùn)練。

2.2 ERDQN算法描述

ERDQN算法針對傳統(tǒng)的FIFO排隊策略不能夠滿足不同數(shù)據(jù)類型的Deadline問題，在優(yōu)化后的排隊策略中考慮了數(shù)據(jù)類型的Deadline和優(yōu)先級。首先計算當(dāng)前數(shù)據(jù)塊存活的時間，計算公式是

Tb=bcur-bcre

(3)

式中：Tb為數(shù)據(jù)塊的存活時間，bcur為當(dāng)前時間，bcre為數(shù)據(jù)塊創(chuàng)建時間。計算數(shù)據(jù)塊緊急程度的公式為

u=-1×Tb×D

(4)

式中：u為數(shù)據(jù)塊緊急程度，Tb為數(shù)據(jù)塊存活時間，D為數(shù)據(jù)塊的截止日期。再根據(jù)不同數(shù)據(jù)類型的優(yōu)先級，決定進入排隊等待隊列的順序。如在游戲視頻傳輸過程中，包含以下3種數(shù)據(jù)類型，每種不同的數(shù)據(jù)類型包括不同的Deadline和優(yōu)先級，具體見表1。

表1 數(shù)據(jù)類型及相關(guān)屬性Tab.1 Data types and related attributes

優(yōu)先級代表不同的增益，h為0.5，m為0.3，l為0.1，通過下式計算出進入排隊等待隊列的順序。

O=u×p

(5)

式中：O為進入等待隊列順序的衡量值，u為緊急程度，p為優(yōu)先級。O的數(shù)值越大，越早進入數(shù)據(jù)等待隊列。在強化學(xué)習(xí)網(wǎng)絡(luò)中，為了避免過擬合現(xiàn)象，改進了Memory模塊采樣的過程，在采樣時按一定比例抽取，即抽取每個優(yōu)先級一定比例樣本。訓(xùn)練記憶的優(yōu)先級的劃分依據(jù)F，F(xiàn)是Qeval與Qtarget之間的距離，其計算公式為

F=|Qtarget-Qeval|

(6)

式中：Qeval為當(dāng)前網(wǎng)絡(luò)狀態(tài)值，Qtarget為目標網(wǎng)絡(luò)狀態(tài)值。F轉(zhuǎn)換成優(yōu)先級的具體的公式為

R=(F+ε)η

(7)

式中：R為訓(xùn)練記憶的優(yōu)先級，ε為一個很小的常數(shù)，該參數(shù)的設(shè)置是為了避免記憶的優(yōu)先級出現(xiàn)零，而η是控制高低誤差之間的差異，其取值范圍是[0,1]。η可以控制優(yōu)先級在具體的計算中的權(quán)重。式(8)用來計算不同優(yōu)先級記憶被采樣的概率

(8)

式中Pi為訓(xùn)練記憶樣本i被采樣的概率，Rk為訓(xùn)練記憶樣本k的優(yōu)先級。Net網(wǎng)絡(luò)重采樣學(xué)習(xí)時，首先選擇采樣數(shù)據(jù)的優(yōu)先級，再將優(yōu)先級與根節(jié)點、左子樹、右子樹相互比較，選擇相應(yīng)優(yōu)先級區(qū)間，重復(fù)上述過程直至葉子節(jié)點。不同優(yōu)先級的采樣的比例為

H=HRi×Pi+…+HRk×Pk

(9)

式中H為采樣樣本數(shù)量,HRi為樣本優(yōu)先級Ri的樣本總量。該抽樣方法既保證樣本的學(xué)習(xí)效率，又避免了因為樣本不均衡可能出現(xiàn)的過擬合現(xiàn)象。

3 實 驗

3.1 數(shù)據(jù)集及實驗環(huán)境

本實驗中使用的數(shù)據(jù)集和仿真環(huán)境來源于AItrans智能網(wǎng)絡(luò)挑戰(zhàn)賽，數(shù)據(jù)集包括數(shù)據(jù)塊(B)和日志。每一個B是時間長度為20 s的數(shù)據(jù)，其內(nèi)容是日常使用中部分的blocks數(shù)據(jù)(bi)，B中包括Video類型和Audio類型，其屬性包括時間戳(Ts)、幀大小(Fs)和是否為關(guān)鍵幀(Y)，詳細信息見表2。

表2 Video和Audio的trace格式Tab.2 Trace format of Video and Audio

在數(shù)據(jù)集中，B數(shù)據(jù)中的Video類型和Audio類型擁有不同的優(yōu)先級。相對于視頻來說，Audio的優(yōu)先級高于Video的優(yōu)先級，這樣的設(shè)計可以更好地滿足使用者的需求。

實驗的仿真環(huán)境是由清華大學(xué)構(gòu)建的DTP模擬器(DTP-Emulator)，該系統(tǒng)使用DTP作為傳輸協(xié)議，模擬了在不同網(wǎng)絡(luò)類型下數(shù)據(jù)傳輸?shù)倪^程。在DTP-Emulator中可以使用自行設(shè)計的數(shù)據(jù)傳輸調(diào)度算法，并可以輸出數(shù)據(jù)傳輸過程中的排隊時延、傳輸時延等相關(guān)日志數(shù)據(jù)。官方給出了相關(guān)的質(zhì)量系數(shù)評價模型

(1-α)×(1-Md)

(10)

式中：QQoE為相關(guān)模型的質(zhì)量系數(shù)，P為指數(shù)據(jù)塊的優(yōu)先級，Md代表數(shù)據(jù)塊是否超過Deadline，α為數(shù)據(jù)塊在Deadline內(nèi)到達接收端的增益值。

3.2 實驗結(jié)果分析

Reno算法是最常用的擁塞控制的算法，在擁塞控制方面有著良好的效果，所以本實驗在DTP-Emulator仿真環(huán)境中測試在仿真數(shù)據(jù)集和傳輸數(shù)據(jù)集中Reno算法、DQN算法和本文設(shè)計的ERDQN算法的性能，并輸出相關(guān)的傳輸日志。

實驗結(jié)果見表3、4,本文提出的ERDQN算法在排隊時延(Qt)、最大排隊延遲(Qmt)、平均傳輸速率(Vt)、QoE(QQoE)方面明顯優(yōu)于Reno算法和DQN算法。實驗結(jié)果說明在不同的數(shù)據(jù)集中本文提出的ERDQN算法可以更好地滿足數(shù)據(jù)塊的優(yōu)先級、Deadline的需求，能夠?qū)崿F(xiàn)低時延、高可靠性的傳輸目標。

表3 仿真數(shù)據(jù)集結(jié)果Tab.3 Results on simulation dataset

表4 傳輸數(shù)據(jù)集結(jié)果Tab.4 Results on transmission dataset

實際網(wǎng)絡(luò)傳輸過程中ERDQN算法、DQN算法和Reno算法的時延(L)隨著時間(T)變化曲線見圖3，L包括排隊時延和傳播時延，它反映了擁塞控制算法在網(wǎng)絡(luò)傳輸中的實際效果。

圖3 L隨時間的變化Fig.3 Variation of L with time

在實際傳輸過程中，ERDQN算法的平均時延

4 結(jié) 論

針對傳統(tǒng)擁塞控制算法中不能滿足不同數(shù)據(jù)類型數(shù)據(jù)的Deadline，網(wǎng)絡(luò)傳輸不穩(wěn)定且平均傳輸速率低的問題，本文提出了ERDQN算法，優(yōu)化排隊策略，滿足了數(shù)據(jù)塊的Deadline和優(yōu)先級，降低了排隊時延；且對網(wǎng)絡(luò)參數(shù)調(diào)整過程不斷學(xué)習(xí)，找到適宜當(dāng)前網(wǎng)絡(luò)傳輸?shù)淖顑?yōu)參數(shù)，降低了傳輸時延。實驗證明本文所提出的ERDQN算法相比于Reno算法和DQN算法，具有時延低、平均傳輸速率高、QoE高等優(yōu)點，且本文提出的算法收斂速度快，傳輸更加穩(wěn)定，能夠滿足車載互聯(lián)網(wǎng)、遠程醫(yī)療、工業(yè)控制等領(lǐng)域的低時延、高可靠性的傳輸要求。