基于電力物聯網的邊緣計算任務卸載優(yōu)化

姚楠， 劉子全， 秦劍華， 王真， 朱雪瓊

(國網江蘇省電力有限公司電力科學研究院， 南京 210000)

電力物聯網是物聯網技術在智能電網中的推廣應用新產物，其有效整合利用通信和電力系統(tǒng)基礎設施資源[1]。一方面，智能電網通信系統(tǒng)要求低延遲和可靠性[2]；另一方面，輸電線路在線實時監(jiān)測要求數據傳輸的低能耗和實時性[3]。云計算可滿足大量數據處理與計算，但由于傳輸延時無法滿足低延時和實時性的要求。移動邊緣計算(mobile edge computing，MEC)克服了云計算的缺點，能夠提供低能耗、低時延計算能力，滿足智能電網新興應用服務的需求[4]。

用戶設備通過無線基站將所需計算任務傳輸至云端和MEC服務器，計算結果傳輸至用戶設備，實現次任務卸載操作。在具有大量卸載任務時，優(yōu)化卸載決策和資源分配來降低能耗或時延成本是實現高效任務卸載的關鍵[5]。胡海洋等[6]針對不合理的任務卸載造成用戶設備高能耗及卸載任務高延時問題，提出了實時任務卸載算法，以任務截止時間為限制條件，最小化用戶設備能耗和延時。張鵬等[7]為了兼顧卸載任務時延和能耗完成系統(tǒng)的聯合卸載決策，提出了基于深度強化學習的多智能體調度策略，實現了自適應地調整上傳邊緣側或進行本地計算的策略選擇。張海波等[8]針對超密集組網的移動邊緣計算卸載任務，采用坐標下降法和貪婪算法，提出了考慮總能耗的卸載決策和資源分配優(yōu)化方法，得到用戶設備最優(yōu)發(fā)送功率。

在用戶設備計算資源量日趨增加的情況下，需要云端和邊緣計算服務器協(xié)同完成計算任務，提高相對低時延、低能耗服務。由于云端和邊緣計算網絡傳輸和計算任務的特點，需要優(yōu)化配置卸載任務滿足用戶設備需求。盧海峰等[9]提出了利用深度強化學習算法優(yōu)化任務卸載策略，通過對比任務卸載策略的能耗、延遲及平均執(zhí)行時間等指標，得到基于長短期記憶網絡和事后經驗回放算法具有較好的效果。吳學文等[10]提出了一種基于博弈論的任務卸載決策和資源分配方案，構建云邊協(xié)同系統(tǒng)中的效用最大化問題，使緊急用戶具有更高的效用和更低的時延。張鳳荔等[11]提出了基于Rainbow深度Q網絡(deep Q-learning network, DQN)算法邊云協(xié)同串行任務卸載算法，實現了邊云協(xié)同的任務動態(tài)分配處理和任務分配卸載策略最優(yōu)化。

以上相關學者對優(yōu)化卸載任務以降低能耗或時延成本進行相關研究，為進一步深入研究奠定了基礎。但有關云邊協(xié)同的研究方面，基于深度強化學習的資源配置和卸載策略優(yōu)化的相關研究報道較少。為了解決傳統(tǒng)卸載模型僅涉及用戶設備和邊緣計算資源，而在云端資源利用上存在局限性的問題，通過有效利用計算任務時延、能耗及計算資源配置，提出了基于深度強化學習算法的計算任務卸載策略和資源配置優(yōu)化算法，建立了邊云協(xié)同的時延、能耗及能效模型，研究了用戶設備數量、任務量、任務優(yōu)先級等對時延、能耗及能效的影響。為更有效的實現云邊協(xié)同卸載策略和資源配置優(yōu)化提供了科學依據。

1 系統(tǒng)架構及模型

1.1 系統(tǒng)架構

任務卸載和資源配置系統(tǒng)模型包括多個用戶設備、1個無線基站(base station, BS)配置1臺MEC服務器、1臺云端服務器，如圖1所示。用戶設備包括手機、電腦及查詢設備等具有有限處理能力的終端設備；MEC服務器用于低延時數據處理以及為用戶設備和云端服務器提供資源分配和任務卸載工作；云端服務器包含性能強大的物理服務器，具有超強計算能力，但相對于MEC服務器網絡延時較長。

圖1 系統(tǒng)架構

1.2 系統(tǒng)模型

系統(tǒng)模型包括用戶設備及任務、卸載策略、資源分配等。用戶設備集合U可表示為

U={1,2,…,i,…,N}，i∈U

(1)

每個用戶i的參數元組表示為{i,Wi,Ci,Di,Ti}，其中Wi表示用戶設備計算任務，Ci表示以CPU周期數為單位的計算負載，Di表示以比特為單位的用戶設備傳輸至計算服務器的數據量，Ti表示計算任務要求最大時延。

任務完成實施方式為用戶設備、MEC服務器及云端服務器，任務卸載策略集合G可表示為

i∈U,j∈S}

(2)

S={l, m, c}

(3)

資源分配包括上行鏈路分配和計算資源分配，上行鏈路分配P可表示為

P={pi|0

(4)

式(4)中：pi為用戶設備i的上行發(fā)射功率，dBm；pmax為用戶設備最大上行發(fā)射功率，dBm。

由于云端計算資源強大，不會限制計算任務量，因此僅考慮MEC計算資源分配，可表示為

(5)

2 能效函數模型

2.1 時延與能耗模型

時延是計算任務完成質量的一項重要評價指標，時延指的是計算任務發(fā)出請求開始到任務全部完成所需時間，對于時延要求苛刻的計算任務，需要保證計算任務時延滿足應用要求。針對用戶設備、MEC服務器及云端服務器建立了時延模型，用于卸載策略和資源配置優(yōu)化建模分析。

能耗是評價計算任務能量消耗的指標，同樣是計算任務完成質量的一個重要指標。能耗主要由CPU的執(zhí)行任務和閑置的能耗、無線傳輸時的能耗組成，建立了用戶設備、MEC服務器及云端服務器系統(tǒng)能耗模型，用于卸載策略和資源配置優(yōu)化建模分析。

2.1.1 用戶設備執(zhí)行

(6)

(7)

式(7)中：κ為芯片結構的能量系數。

2.1.2 MEC服務器執(zhí)行

(8)

將非正交多址作為上行鏈路中的多址接入方案，以滿足5G的連接要求[14]。則上行傳輸數據速率表示為[12]

(9)

Ii=∑pkhk

(10)

式中：B為基站信道帶寬，MHz；pi為用戶設備i的上行鏈路傳輸功率，dBm；hi為用戶設備i與基站的信道增益；Ii為信道內其他用戶設備對用戶設備i的干擾；σ為噪聲功率，dBm；pk為其他用戶設備的上行鏈路傳輸功率，dBm；hk為其他用戶設備與基站的信道增益。

(11)

2.1.3 云端服務器執(zhí)行

用戶設備i將計算任務卸載到云端服務器，需同時考慮數據從基站發(fā)送至云端服務器的上行鏈路傳輸時間、輸出結果從云端服務器返回至基站的下行傳輸時間及云端服務器執(zhí)行計算時間。時延可表示為

(12)

云端服務器能耗模型與MEC服務器的能耗模型相同，均來自于上行鏈路能耗。

2.2 資源分配模型

當用戶設備i將其計算任務卸載到MEC服務器時，計算資源分配問題可表示為

(13)

優(yōu)先級系數λi可表示為[15]

(14)

式(14)中：qi為用戶設備i的緊急程度；qth為用戶設備緊急程度閾值。

盡管云端服務器總是有足夠的計算資源，但應考慮降低計算資源成本，也需要優(yōu)化資源分配。云計算資源分配問題可表示為

(15)

式(15)中：cc為云服務器上的單位計算資源成本。

2.3 能效函數模型

采用時延、能耗及資源分配模型，以線性加權的方式來規(guī)劃目標函數，即能效函數。能效函數可表示為

(16)

式(16)中：ti、Ei、fi分別為計算時延、能耗、資源分配；μt、μe、μf分別為時延、能耗、資源分配權重。

由式(16)可知，能效函數是時延、能耗及資源配置歸一化加權得到的無量綱函數，同樣計算環(huán)境和邊界條件下，能效函數值越小，表明卸載策略和資源配置越優(yōu)越。

3 基于DQN的優(yōu)化算法

3.1 DQN算法

深度Q網絡作為深度強化學習的一種改進網絡，其核心思想是通過環(huán)境狀態(tài)和輸出動作互動，然后獲取獎勵，利用神經網絡訓練輸出作為值函數近似結果，采用經驗回放來儲存上一步經歷的數據，更新參數時選取其中的一部分數據使用，DQN算法如圖2所示。采用的DQN更新Loss函數方式為

圖2 DQN算法

(17)

在更新Loss函數后將更新結果存入經驗池的過程，所采用的方法為優(yōu)先經驗值回放，根據Loss函數決定該項采樣的權值，權值可表示為

(18)

式(18)中：ω為采用權值；γ為權值的折扣因子；w為優(yōu)先經驗回放的優(yōu)先級因子。

DQN獎勵函數可表示為

(19)

3.2 優(yōu)化算法

結合能效函數模型，建立基于DQN算法的卸載策略和資源分配優(yōu)化模型。當MEC服務器通過基站接收到某個用戶設備發(fā)送的任務卸載請求后，首先獲取當前系統(tǒng)狀態(tài)，通過計算用戶設備優(yōu)先級獲得權重向量，可以根據當前系統(tǒng)狀態(tài)得到最優(yōu)的卸載策略和資源配置。綜上，基于DQN算法的卸載策略和資源分配優(yōu)化模型計算步驟如下(其中Δθ為網絡參數變化量)。

輸入：狀態(tài)、計算資源及任務集合；

輸出：動作決策值(任務卸載和資源分配策略)；

初始化卸載決策及動作空間；

for each iteration

初始化狀態(tài)Sτ，預處理MEC服務器對任務資源分配的變量φτ=φ(Sτ)；

for each step：

執(zhí)行動作Aτ；

計算得到獎勵Rτ和下一步狀態(tài)Sτ+1；

設置Sτ+1=Sτ，φτ+1=φ(Sτ+1)

存放(φτ,Aτ,Rτ,φτ+1)至經驗池；

從經驗池中以優(yōu)先經驗回放策略采取數據并轉換為向量(φτ,Aτ,Rτ,φτ+1)；

更新網絡參數θ=θ+Δθ；

若為結束狀態(tài)，則結束本輪迭代；

end for

end for

4 結果與分析

對所提出的電力互聯網任務卸載和資源配置場景，建立基于DQN算法的任務卸載和資源分配優(yōu)化模型。云邊系統(tǒng)包括1臺云服務器、1臺MEC服務器、1個基站和N個用戶。N從[5,50]中隨機選取，用戶隨機分布在距基站半徑為0～200 m的覆蓋范圍內。計算環(huán)境和其他參數設置參照文獻[8-9,13,15-16]，如表1所示。通過Python仿真平臺對所建立優(yōu)化模型做出性能評估，結果由i7-10210U CPU@1.6 GHz 2.11 GHz 運行內存為16 G的筆記本計算，5次運行的結果取平均值。

表1 仿真參數

4.1 用戶設備及MEC服務器的影響

用戶設備數量對時延、能耗、能效的影響如圖3所示?？梢钥闯觯瑫r延、能耗、能效隨著用戶設備數量的增加均不同程度的有所增加。其中，時延增加相對較大，當用戶設備數量為45時，時延超過100 ms。而能耗隨著用戶設備數量增加的較為緩慢，但用戶設備數量超過35時，能耗增加開始加快。由能效函數[式(16)]可知，能效函數是綜合時延、能耗及資源配置歸一化加權得到的無量綱函數，同樣計算環(huán)境和邊界條件下，能效函數值越小，表明卸載策略和資源配置越優(yōu)越；能效函數值隨著用戶設備數量的增加逐漸增大，主要是由于時延及能耗隨用戶設備數量的增大引起的。

圖3 用戶設備數量的影響

MEC服務器資源配置對時延、能耗、能效的影響如圖4所示?？梢钥闯?，時延、能耗、能效隨著MEC服務器資源配置的增加均不同程度的有所降低；MEC服務器資源配置較少時，時延、能耗、能效降低較大，但MEC服務器資源配置大于30 GHz后，時延、能耗、能效趨于平穩(wěn)。因此，為了節(jié)省成本，MEC服務器資源配置為30 GHz較為合理。

圖4 MEC資源的影響

4.2 任務量的影響

為了研究任務量對時延、能耗及能效的影響，仿真計算時加大了任務量，使得任務量能夠顯著影響時延、能耗及能效。任務量對時延、能耗、能效的影響如圖5所示?？梢钥闯?，時延、能耗、能效隨著計算任務量的增加均有所增加，計算任務量小于3 GHz時，時延、能耗、能效增加較大，但計算任務量大于3 GHz后，時延、能耗、能效增加放緩。這主要是因為計算任務量大于3 GHz后，卸載策略和資源配置充分利用了云端服務器強大的計算能力，使得時延、能耗、能效增加放緩。

圖5 任務量的影響

4.3 任務優(yōu)先級的影響

不同優(yōu)先級對時延、能耗、能效的影響如圖6所示?？梢钥闯?，不同計算任務的優(yōu)先級對時延、能耗、能效具有顯著的影響，高級計算任務優(yōu)先進行處理，并分配的計算資源較多。圖6(a)為不同優(yōu)先級，任務量對時延的影響?？梢钥闯?，隨著任務量的增加，不同任務優(yōu)先級的時延均逐漸增加，這是主要是由任務量增加導致的。相同計算任務量下，高級別的時延明顯低于低級別的時延，表明優(yōu)先級高的計算任務分配更多的計算資源，降低了計算時延，表明所提算法具有較好的優(yōu)先級處理能力。

不同任務優(yōu)先級下，任務量對能耗的影響如圖6(b)所示。可以看出，隨著任務量的增加，不同任務優(yōu)先級的能耗均逐漸增加，主要是因為任務量增加了計算資源消耗，進而增加了計算能耗。相同計算任務量下，優(yōu)先級越高的計算能耗越大，這是由于對于相同的計算任務量，為了優(yōu)先完成計算任務，單位時間分配的計算資源較多，因此能耗也相對較大。

圖6 優(yōu)先級的影響

不同任務優(yōu)先級下，任務量對能效的影響如圖6(c)所示。可以看出，不同任務優(yōu)先級下，能效隨著任務量的增加而增大，主要是由于時延、能耗及資源分配隨著任務量變化引起的。相同任務量工況下，隨著任務優(yōu)先級的提高，能效呈下降的趨勢，這一現象表明本文提出的優(yōu)化算法和建立的模型能夠針對不同任務優(yōu)先級實現卸載策略和資源配置的優(yōu)化。

4.4 不同模型對比

為了驗證本文模型的優(yōu)越性，將建立的優(yōu)化模型M4與其他3種模型(M1、M2、M3)進行了對比，對比模型資源配置及采用的優(yōu)化算法如表2所示。

表2 對比模型

不同模型在處理不同用戶設備數量時，時延、能耗及能效的對比結果如圖7所示?？梢钥闯?，M4在時延、能耗及能效方面均優(yōu)于其他模型。由于M1無云端服務器、M2未采用資源優(yōu)化配置算法，隨著用戶設備數量的增加，M1和M2的時延、能耗及能效均明顯較高，從而導致能效也明顯較高。M3采用博弈算法對卸載策略和資源配置進行優(yōu)化，得到時延及能耗顯著降低。而基于DQN算法建立的卸載策略和資源配置優(yōu)化模型計算得到的時延、能耗及能效均低于基于博弈算法的結果，表明針對不同用戶設備數量，所建立模型能夠更有效地實現云邊協(xié)同卸載策略和資源配置優(yōu)化。

圖7 用戶數量的影響

不同模型在處理不同任務量時，時延、能耗及能效的對比結果如圖8所示。可以看出，在不同的計算任務量時，M4在時延、能耗及能效方面均優(yōu)于其他3個模型。由于M1無云端服務器，隨著計算任務量的增加，其時延及能耗明顯較高，導致能效也較高。M2未采用資源優(yōu)化配置算法，計算資源未得到充分利用，使得時延及能耗高于M3和M4。M3和M4利用卸載策略和資源配置優(yōu)化算法，得到的時延及能耗均相對較低，所提出基于DQN算法建立的卸載策略和資源配置優(yōu)化模型計算得到的時延、能耗及能效均低于基于博弈算法的結果，表明針對不同計算任務量，所建立模型能夠更有效的實現云邊協(xié)同卸載策略和資源配置優(yōu)化。

圖8 任務量的影響

5 結論

(1)綜合考慮時延、能耗及資源分配，創(chuàng)新性的建立了基于DQN算法的卸載策略和資源分配優(yōu)化模型。

(2)通過分析MEC服務器資源配置對時延、能耗、能效的影響，得到MEC服務器資源配置為30 GHz時，即可滿足計算要求又可以節(jié)省成本。

(3)研究了不同計算任務的優(yōu)先級對時延、能耗、能效的影響，高級計算任務優(yōu)先處理策略和計算資源優(yōu)化分配，使得時延、能耗均較低，表明本文建立的模型具有較好的優(yōu)先級處理能力。

(4)M4在時延、能耗及能效方面均優(yōu)于其他3個模型。表明針對不同用戶設備數量和計算任務量場景，所建立模型能夠更有效地實現云邊協(xié)同卸載策略和資源配置優(yōu)化。