基于云邊協(xié)同算力調度的高效邊緣卸載研究

王姍姍，羅志勇

(中山大學 電子與通信工程學院，廣東 深圳 518107)

0 引言

車載邊緣計算(Vehicular Edge Computirg, VEC)網(wǎng)絡因其廣泛的應用而備受關注[1]。然而，有限的車載設備資源無法支持越來越多對低延遲和高性能服務需求的新應用，如信息服務、路徑導航、娛樂應用等。為了應對這一挑戰(zhàn)，基于云邊端一體化與智能協(xié)同等算力網(wǎng)絡技術的車載邊緣計算作為一種新型計算范式。VEC網(wǎng)絡將分布式的計算節(jié)點連接起來，動態(tài)實時感知計算與通信資源，進而實時統(tǒng)籌分配和調度計算任務，形成了一張計算資源可感知、可分配、可調度的網(wǎng)絡，滿足了用戶車輛任務對算力的要求，也是邊緣計算向泛在算力網(wǎng)絡融合演進的新階段[2-3]。對于用戶車輛與邊緣服務器之間進行通信時，計算任務可被卸載到邊緣服務器上，在這個過程中VEC網(wǎng)絡會產(chǎn)生時延與能耗等方面的開銷。為了滿足VEC網(wǎng)絡中大量用戶的多樣化業(yè)務需求，基于云邊協(xié)同、多點算力均衡等算力網(wǎng)絡技術，設計高效的計算卸載策略來實現(xiàn)對計算和網(wǎng)絡資源狀態(tài)的感知，進而實現(xiàn)資源的按需調配與調度,從而在算力網(wǎng)絡中實現(xiàn)更快通信、更高感知、更準計算。

1 背景介紹

近年來，一些專家對VEC網(wǎng)絡的計算卸載策略開展了研究。Yang等人[4]研究了面向智能物聯(lián)網(wǎng)的多層算力網(wǎng)絡，通過考慮海量計算之間的交互與算力資源協(xié)同，實現(xiàn)了算力的智能分發(fā)。Luo等人[5]為提高VEC網(wǎng)絡的任務卸載率，提出了一種基于貪心匹配的動態(tài)任務卸載算法。澳大利亞悉尼大學計算機學院[6]提出了基于聯(lián)邦學習的無線網(wǎng)絡聯(lián)合優(yōu)化模型，通過建立節(jié)點間分布式算力分配，為解決通感算一體化系統(tǒng)中節(jié)點算力不足與不均衡的問題提供了解決思路。然而，這些研究僅從移動終端架構的角度分別優(yōu)化了卸載決策或資源配置，并沒有充分利用云中心和MEC服務器的異構計算能力，導致算力網(wǎng)絡中仍然存在算力分配不充分和不均衡的問題。

與此同時，鑒于VEC網(wǎng)絡的動態(tài)性和隨機性，現(xiàn)有的計算卸載策略大多需要引入更加智能的算法來應對傳統(tǒng)數(shù)學方法的不足, 并實現(xiàn)網(wǎng)絡的通信、計算和存儲資源的智能管理[7-9]。美國康奈爾大學的學者[10]采用在線優(yōu)化方法實時學習并更新系統(tǒng)參數(shù)來優(yōu)化網(wǎng)絡吞吐量。Leng等人[11]提出了一種基于云計算的智能車聯(lián)網(wǎng)管理系統(tǒng)，增強了車輛的實時感知功能。但這些研究僅適用于靜態(tài)網(wǎng)絡環(huán)境，即在執(zhí)行卸載決策后不再同步更新資源的分配。

由以上的分析可知，目前VEC網(wǎng)絡中基于云邊協(xié)同的任務卸載與資源分配策略存在以下不足：① 大多沒有考慮同時利用云中心、邊緣服務器的異構計算能力，且集中在單一邊緣節(jié)點的通感、通算、感算等雙邊能力的一體化方面；② 雖然計算資源呈現(xiàn)出泛在部署的趨勢，但是邊緣節(jié)點與云計算節(jié)點之間缺失有效的算力協(xié)同機制；③ 聯(lián)合任務卸載決策與資源分配的研究大多是針對靜態(tài)的，執(zhí)行卸載決策后未同步更新資源分配。

基于此，為了更加高效利用網(wǎng)絡邊緣側的海量分布式算力資源，本文針對6G通感算融合網(wǎng)絡中邊緣節(jié)點缺失智能化處理的問題，將算力與網(wǎng)絡深度融合，基于協(xié)同分布式計算資源提出了一種云邊協(xié)同智能驅動車載邊緣算力網(wǎng)絡架構，其中車輛可以將計算密集型和時延敏感型任務分別卸載到MEC服務器、聚合服務器和云中心三個層次上，實現(xiàn)業(yè)務在各級節(jié)點的算力最優(yōu)。 通過結合實時計算負載與網(wǎng)絡狀態(tài)條件，動態(tài)地將計算任務卸載到最佳的邊緣節(jié)點上權衡用戶任務卸載策略，實現(xiàn)多點算力的最優(yōu)均衡?？紤]以最小化系統(tǒng)長期總成本為目標，聯(lián)合任務分配和資源分配策略建模為優(yōu)化問題，并將該優(yōu)化問題轉化為馬爾可夫決策過程(Markov Decision Process, MDP)。最后，利用云邊協(xié)同的深度Q網(wǎng)絡(Cloud-Edge Collaborative Deep Q-Network,CEC-DQN)算法解決MDP問題，實現(xiàn)了任務的靈活分配和資源的智能管理。仿真結果表明，所提出的計算卸載策略優(yōu)于基準策略，能夠有效降低系統(tǒng)的總長期開銷，最終實現(xiàn)單點算力的有效利用與多點算力的最優(yōu)均衡調度。

2 系統(tǒng)模型

2.1 VEC 網(wǎng)絡架構

本文針對VEC網(wǎng)絡中邊緣節(jié)點缺失智能化處理的問題，基于云邊端協(xié)同與分布式算力調度等技術提出了一種分層協(xié)同智能驅動VEC網(wǎng)絡架構，如圖1所示。任務模型為整體任務卸載模型，IoV用戶可以將任務整體卸載到 MEC服務器、聚合服務器和云中心三個層次上權衡卸載策略。IoV用戶層包括行駛在道路上的I類車輛，車上配備了多種傳感器，可以用于感知物體的距離、角度等環(huán)境狀態(tài)信息，便于車輛做出可靠的研判。在VEC系統(tǒng)中，考慮的場景是一條雙向的車道，在車道一側部署了配有邊緣服務的路邊單元(Roadside Unit,RSU)構成邊緣層。每個RSU優(yōu)先與通信范圍內的用戶通信，每個用戶在t時隙只能與一個RSU關聯(lián)。為了簡化模型，重點考慮單個RSU的模型，該解決方案可以拓展到多個RSU的情況。聚合服務器層比MEC服務器具有更好的計算資源，可以通過有線連接與多個RSU通信。此外，計算任務還可通過MEC服務器使用有線方式轉發(fā)到云服務層進行卸載。聚合服務器與云服務器作為MEC服務器的補充方案，可以滿足大量用戶的計算卸載需求，但是會消耗更多的時延與能耗。

圖1 云邊協(xié)同智能驅動VEC算力網(wǎng)絡架構

2.2 任務模型

在云邊協(xié)同VEC網(wǎng)絡中，用戶采用正交頻分多址接入技術(Orthogonal Frequency Division Multiple Access,OFDMA)與邊緣節(jié)點進行通信。不同的用戶車輛占用不同的信道進行雙向傳輸，每一個子信道的帶寬為b。假設在某一道路段內，各個用戶車輛與邊緣節(jié)點之間的通信干擾可以忽略不計，則根據(jù)香農(nóng)定理，計算任務n與邊緣服務器之間的最大數(shù)據(jù)傳輸速率為：

(1)

(2)

若任務n需要通過有線連接卸載到聚合服務器上，則傳輸時延定義為：

(3)

式中，Ras為聚合服務器上的數(shù)據(jù)傳輸速率。若任務n需要通過有線連接方式將計算任務卸載到云服務器上，則將Ras替換為云服務器上的數(shù)據(jù)傳輸速率Rcs。

(4)

當計算任務n執(zhí)行計算卸載時，一般經(jīng)歷以下三個階段：任務上傳、任務執(zhí)行與結果反饋。因為結果反饋階段的數(shù)據(jù)一般要比上傳的數(shù)據(jù)小很多，所以本文忽略結果反饋的時延。

因此，計算密集型任務n的處理總時延Tn可以根據(jù)通信與計算模型得到：

(5)

計算密集型任務n總能耗可以表示為：

(6)

為了考慮用戶針對不同的計算卸載場景對時延與能耗的偏好，考慮增加權重因子θ∈[0,1]，來權衡時延與能耗的重要性。構建系統(tǒng)成本函數(shù)如下：

Gn(t)=θTn(t)+(1-θ)En(t)。

(7)

3 問題形成

本研究旨在動態(tài)、隨機的VEC系統(tǒng)中，針對有限的網(wǎng)絡資源與大量車載用戶需求之間的矛盾，通過基于云邊端一體化與分布式算力調度技術聯(lián)合優(yōu)化設計任務卸載與資源分配策略，來最小化VEC系統(tǒng)在長期一段時間內的總成本函數(shù)，并解決通感算網(wǎng)絡中邊緣節(jié)點算力不足與分布不均衡的問題。因此目標函數(shù)如下：

(8)

C6:Tn≤τ, ?n∈N。

(9)

4 基于CEC-DQN的計算卸載策略

4.1 MDP 定義問題

由于P1屬于混合整數(shù)非線性規(guī)劃(MINP)問題，為了保證問題的長期隨機優(yōu)化特性，本文將P1轉換為MDP[12-13]。MDP一般是由三個關鍵要素組成，即M= {State,Action,Reward}。其中，State為一個有限的狀態(tài)集合，Action為一個有限的動作集合，Reward為即時獎勵函數(shù)。通過結合具體的優(yōu)化P1，給出了三個關鍵要素具體化的定義。

(1)State

在t時隙時，系統(tǒng)狀態(tài)包括所有車輛任務卸載的卸載請求、MEC服務器、聚合服務器和云服務器的計算資源、系統(tǒng)帶寬。因此系統(tǒng)狀態(tài)空間可以定義為s(t) = (at,bt,fk=1(t),fk=2(t),fk=3(t),B(t))，其中，at為待卸載任務數(shù)據(jù)量大小，bt為待卸載任務所需要的計算量，fk=1(t),fk=2(t),fk=3(t)分別為MEC、聚合服務器和云服務器的計算資源，B(t)為在時隙t時的帶寬資源。

(2)Action

(3)Reward

由于優(yōu)化問題P1的目標是最小化系統(tǒng)長期總成本，所以將t時隙的即時回報獎勵函數(shù)設計如下:

(10)

式中，G(MEC)表示所有任務在MEC服務器上執(zhí)行卸載時系統(tǒng)的總成本，G(s,a)表示基于當前狀態(tài)和動作執(zhí)行后的系統(tǒng)總成本。

4.2 CEC-DQN 方法

隨著狀態(tài)空間和動作空間的增加，傳統(tǒng)Q-learning算法會產(chǎn)生巨大的時間開銷[14]。為避免這一問題，本文采用了一種基于CEC-DQN的高效計算卸載策略[15-16]。CEC-DQN算法的核心思想是將Q網(wǎng)絡作為VEC網(wǎng)絡中的策略評價準則[17]，利用神經(jīng)網(wǎng)絡對不同狀態(tài)的動作組合下的Q值進行近似估計，將Q表的更新轉化為函數(shù)擬合問題[18]，即

Q(s,a;θ)≈Q(s,a)。

(11)

為了打破數(shù)據(jù)的相關性和保證訓練的穩(wěn)定性，DQN算法引入經(jīng)驗重放與雙網(wǎng)絡(預測網(wǎng)絡、目標網(wǎng)絡)機制，大大提高訓練的效率。神經(jīng)網(wǎng)絡的更新是通過最小化損失函數(shù)獲得的。損失函數(shù)采用均方誤差函數(shù)，表示如下：

Loss(θ)=E[(y-Q(s,a;θ)2]，

(12)

式中，y通過目標網(wǎng)絡生成，其計算公式為：

y=r+maxQ(s′,a′;θ′)。

(13)

VEC網(wǎng)絡中基于CEC-DQN的計算卸載策略如圖2所示。CEC-DQN的訓練偽碼由算法1給出。

圖2 基于DQN的任務卸載和資源分配算法

算法1 DQN計算卸載策略1: 初始化經(jīng)驗池R的大小為N2: 初始化預測Q網(wǎng)絡以及隨機權重參數(shù)θ3: 初始化目標網(wǎng)絡Qtarget以及隨機權重參數(shù)θ'=θ4: for episode=1 to M do5: 初始化狀態(tài) so6: for step =1 to T do7: ActionSelectionat=Random a,p=1-∈argmax(Q(st,a;θ)),p=∈ 8: 執(zhí)行at, 計算 rt,并觀察下一個狀態(tài)st+19: 將經(jīng)驗et=(st,at,rt,st+1)存儲到經(jīng)驗池R10: 從經(jīng)驗池R中隨機抽取minibatch經(jīng)驗為Rτ11: 計算目標Q值y = r + max(s',a';θ')12: 計算損失函數(shù),并通過最小化損失函數(shù)來更新預測網(wǎng)絡的參數(shù)θ13: Y輪迭代以后復制參數(shù)θ來更新目標網(wǎng)絡參數(shù)即Qtarget=Q14: end for15: end for16: 保存訓練的目標網(wǎng)絡參數(shù)

5 性能評估

在VEC網(wǎng)絡中，考慮了一個RSU和多個IoV用戶的場景，其中RSU通信距離為500 m。MEC服務器、聚合服務器和云服務器的計算能力分別設置為F1=1×109Hz，F(xiàn)2=2×1010Hz，F(xiàn)3=1×1011Hz。發(fā)射功率為p1= 2 W，有線數(shù)據(jù)傳輸速率為Ras=2Rcs=10 Mbit/s，高斯噪聲功率譜密度為N0=-174 dBm/Hz,信道增益為hi=127+30lgd。系統(tǒng)總帶寬為20 MHz，每個子通道的帶寬為1 MHz。

首先分析了不同折扣因子對收斂性的影響，如圖3所示。將折扣因子分別設置為0.9、0.7和0.1。由圖3可知，隨著折扣因子的增大，訓練損失收斂的速度越快。這是因為如果折扣因子設置過小，系統(tǒng)只能在短期內降低系統(tǒng)的總長期成本。若增大折扣因子，系統(tǒng)對未來獎勵的重視越高，在長期獎勵上就越有保證。

圖3 折扣因子對收斂性的影響

圖4分析了學習率對訓練損失的影響，從圖4可以看出，隨著訓練步數(shù)的增加，DQN算法可以有效地收斂。將學習率分別設置為0.01、0.001、0.000 1，可以得到，當學習率為0.001時，訓練損失收斂速度最快。這是因為學習率決定了權重在梯度方向變化的步長。學習率越大，權重變化越大容易導致跳過全局最優(yōu)值而陷入局部最優(yōu)值；若學習率設置較小，則每一步的損失函數(shù)最小值的方向都比較小，會浪費更多的時間來優(yōu)化。

圖4 學習率對收斂性的影響

為了驗證CEC-DQN算法的性能，本文選擇了MEC Offloading (MO)、Cloud Offloading (CO)和Random Offloading (RO)三種計算方法與CEC-DQN算法進行比較。圖5顯示了不同算法下任務數(shù)據(jù)大小對系統(tǒng)總成本的影響，其中每個任務的數(shù)據(jù)大小設置為2～10 MB不等。從圖5可以看出，隨著任務數(shù)據(jù)大小的增加，系統(tǒng)總成本也會增加。與CO、RO和MO算法相比，CEC-DQN算法的系統(tǒng)總成本平均分別降低了7%、13%和22%。這表明，CEC-DQN算法可以整合系統(tǒng)當前和未來的狀態(tài)，可以更一致地優(yōu)化系統(tǒng)總成本。

圖5 任務數(shù)據(jù)量對成本G的影響

圖6分析了不同算法下MEC服務器計算能力對系統(tǒng)總成本的影響，其中服務器的計算能力設置為2～8 GHz不等。在圖6中，隨著MEC服務器計算能力的增加，系統(tǒng)總成本呈下降趨勢。與CO、RO和MO算法相比，CEC-DQN算法的系統(tǒng)總成本平均分別降低了5%、15%和23%。這表明，任務的計算量與邊緣服務器的計算能力呈正相關，且CEC-DQN方法在VEC網(wǎng)絡中的能耗、時延控制和可靠性方面優(yōu)于基準策略。

圖6 MEC服務器計算能力對成本G的影響

6 結束語

面對車載邊緣計算網(wǎng)絡中高性能需求，為解決通感算融合網(wǎng)絡中邊緣節(jié)點缺失智能化處理現(xiàn)狀，本文基于分布式計算與云邊端一體化技術，提出一種高效的車載邊緣計算卸載策略來最小化系統(tǒng)的長期總成本，實現(xiàn)VEC網(wǎng)絡通感算資源調度優(yōu)化。首先將算力與網(wǎng)絡深度融合，協(xié)同分布式計算資源提出了一種適用于多用戶的協(xié)同分層智能驅動VEC算力網(wǎng)絡體系架構，利用云中心、聚合服務器和MEC服務器的異構計算能力，有效應對邊緣節(jié)點在多層算力網(wǎng)絡中實現(xiàn)算力均衡。在此基礎上，聯(lián)合優(yōu)化卸載決策與資源配置機制，將其轉化為MDP問題。最后，提出了一種基于CEC-DQN的算法來解決MDP問題，為提高通感算融合系統(tǒng)的網(wǎng)絡容量、計算效率提供了支持。仿真結果表明，與CO、RO和MO算法相比，CEC-DQN算法在優(yōu)化系統(tǒng)長期總成本方面的平均性能優(yōu)勢分別約為6%、14%和22.5%。在未來的研究中，將面向車載邊緣計算中通感算融合系統(tǒng)中實時邊緣智能難題進行更深入的探討，為后續(xù)課題奠定研究基礎。