基于改進(jìn)深度強(qiáng)化學(xué)習(xí)的邊緣計(jì)算服務(wù)卸載算法

曹騰飛，劉延亮，王曉英

（青海大學(xué) 計(jì)算機(jī)技術(shù)與應(yīng)用系，西寧 810016）

0 引言

隨著互聯(lián)網(wǎng)與無線通信技術(shù)的發(fā)展，現(xiàn)代信息社會(huì)逐漸邁入了萬物互聯(lián)的物聯(lián)網(wǎng)時(shí)代［1］。以超高清視頻、虛擬現(xiàn)實(shí)（Virtual Reality，VR）、自動(dòng)駕駛等為代表的各類新興移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)大量涌現(xiàn)。根據(jù)中國互聯(lián)網(wǎng)信息中心（China Internet Network Information Center，CNNIC）發(fā)布的《第48 次中國互聯(lián)網(wǎng)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》，截至2021 年6 月，我國網(wǎng)民規(guī)模達(dá)10.11 億，較2020 年12 月增長2 175 萬，互聯(lián)網(wǎng)普及率達(dá)71.6%，較2020 年12 月提升1.2 個(gè)百分點(diǎn)［2］。隨著用戶數(shù)大幅增長，人們對于網(wǎng)絡(luò)多媒體資源的需求也迅速增長：我國網(wǎng)絡(luò)視頻用戶規(guī)模達(dá)9.44 億，較2020 年12 月增長1 707萬。這些數(shù)字表明人們對于計(jì)算型多媒體資源的需求增多，由于云端服務(wù)器通常遠(yuǎn)離用戶側(cè)，用戶從中獲取計(jì)算后的數(shù)據(jù)往往會(huì)導(dǎo)致較高的時(shí)延，僅依靠云服務(wù)的計(jì)算方式無法有效響應(yīng)如此龐大的資源需求。因此，也誕生了一種新的計(jì)算模型——邊緣計(jì)算（Edge Computing，EC）［3］。通過將服務(wù)資源從云端遷移到邊緣節(jié)點(diǎn)上，EC 可以有效降低時(shí)延，這使EC 成為提升計(jì)算型服務(wù)質(zhì)量（Quality of Service，QoS）的一種重要方法。

然而，由于當(dāng)前邊緣節(jié)點(diǎn)資源有限，通常不能在同一時(shí)隙內(nèi)向區(qū)域內(nèi)的所有用戶提供服務(wù)，進(jìn)而不能同時(shí)滿足用戶對于低時(shí)延的要求。因此，將云與邊緣節(jié)點(diǎn)結(jié)合進(jìn)行計(jì)算成了當(dāng)前主要的研究方向。然而，由于邊緣節(jié)點(diǎn)的資源有限，位于云端的計(jì)算型服務(wù)不能全部轉(zhuǎn)移到邊緣節(jié)點(diǎn)上，邊緣節(jié)點(diǎn)需要自行決定應(yīng)該從云端卸載哪些服務(wù)，而如何提高卸載服務(wù)效率來滿足低時(shí)延的要求成了當(dāng)前面臨的問題。相關(guān)研究者針對此類問題進(jìn)行了分析［4-9］，但這些工作只考慮了邊緣節(jié)點(diǎn)有限的計(jì)算資源，卻未考慮到邊緣節(jié)點(diǎn)中存儲(chǔ)容量有限的問題，因?yàn)橘Y源和服務(wù)需要占據(jù)實(shí)際空間，許多計(jì)算型服務(wù)需要緩存所需服務(wù)資源至邊緣節(jié)點(diǎn)以滿足用戶的需求。例如，自適應(yīng)視頻流（Dynamic Adaptive Streaming over HTTP，DASH）［10］中，視頻文件以多個(gè)視頻塊的形式存儲(chǔ)在云端或邊緣節(jié)點(diǎn)中，每個(gè)塊以不同的碼率編碼，DASH 作為計(jì)算型多媒體服務(wù)，需要設(shè)計(jì)算法提升用戶的體驗(yàn)質(zhì)量（Quality of Experience，QoE）。在DASH 中使用由客戶端實(shí)現(xiàn)的碼率自適應(yīng)技術(shù)（Adaptive Bitrate Streaming，ABR）算法［11］，將網(wǎng)絡(luò)吞吐量等信息作為輸入，輸出下一視頻塊碼率級別，視頻服務(wù)應(yīng)根據(jù)用戶所處的網(wǎng)絡(luò)環(huán)境從邊緣節(jié)點(diǎn)緩存中獲取合適碼率的視頻塊提供給用戶。另外，由于邊緣節(jié)點(diǎn)存儲(chǔ)資源有限，當(dāng)大量用戶從邊緣節(jié)點(diǎn)請求流媒體服務(wù)時(shí)，將導(dǎo)致邊緣節(jié)點(diǎn)的計(jì)算與存儲(chǔ)資源負(fù)載過大等問題，因此需要同時(shí)考慮以上兩者的約束條件，提升EC 的服務(wù)卸載效率。

近幾年，深度強(qiáng)化學(xué)習(xí)（Deep Reinforcement Learning，DRL）［12］算法被廣泛使用。DRL 算法具有諸多優(yōu)勢，它能從訓(xùn)練的經(jīng)驗(yàn)中學(xué)習(xí)并預(yù)測最佳行為，而且能適應(yīng)不同的網(wǎng)絡(luò)環(huán)境。最具代表性的深度強(qiáng)化學(xué)習(xí)算法為深度Q 學(xué)習(xí)［13］。盡管已經(jīng)有將深度Q 學(xué)習(xí)應(yīng)用到EC 的相關(guān)工作［14-15］，但仍無法解決因動(dòng)作空間過大以及存在非法動(dòng)作導(dǎo)致的模型總體收益降低等問題。本文將計(jì)算型服務(wù)卸載問題建模為馬爾可夫決策過程（Markov Decision Process，MDP），在實(shí)現(xiàn)深度Q 網(wǎng)絡(luò)（Deep Q-Network，DQN）［16］算法的基礎(chǔ)上降低算法的動(dòng)作空間大小，并提出了基于改進(jìn)深度強(qiáng)化學(xué)習(xí)的邊緣計(jì)算服務(wù)卸載（Edge Computing and Service Offloading，ECSO）算法。本文主要工作如下：

1）將邊緣計(jì)算服務(wù)卸載問題建模為存儲(chǔ)空間以及計(jì)算資源限制的MDP，同時(shí)將算法在邊緣計(jì)算服務(wù)卸載中節(jié)省的時(shí)間消耗視為獎(jiǎng)勵(lì)。但由于本問題中的概率轉(zhuǎn)移矩陣在實(shí)際情況下難以實(shí)現(xiàn)，需要進(jìn)一步在MDP 基礎(chǔ)上實(shí)現(xiàn)深度強(qiáng)化學(xué)習(xí)算法。

2）提出了基于改進(jìn)深度強(qiáng)化學(xué)習(xí)的ECSO 算法。相較于原DQN 算法，本文提出了一種新的動(dòng)作行為，規(guī)避了非法動(dòng)作，優(yōu)化了動(dòng)作空間的大小，進(jìn)而提升了算法的訓(xùn)練效率；同時(shí)，本文運(yùn)用動(dòng)態(tài)規(guī)劃的思想提出了動(dòng)作篩選算法，針對單一服務(wù)的動(dòng)作進(jìn)行篩選與組合，以便得到理論收益最大的最優(yōu)動(dòng)作集；并通過本文提出的動(dòng)作篩選算法得到最優(yōu)動(dòng)作集，進(jìn)而通過比例的方式梯度下降更新網(wǎng)絡(luò)參數(shù)，優(yōu)化算法決策。

3）將ECSO 算法分別與DQN、鄰近策略優(yōu)化（Proximal Policy Optimization，PPO）［17］以及最流行（Most Popular，MP）［18］算法進(jìn)行仿真實(shí)驗(yàn)對比。結(jié)果表明本文ECSO 算法能顯著降低邊緣計(jì)算處理時(shí)延，相較于DQN、PPO 以及MP 算法，ECSO 的算法獎(jiǎng)勵(lì)值分別提升了7.0%、12.7%和65.6%，邊緣計(jì)算傳輸時(shí)延分別降低了13.0%、18.8%和66.4%。

1 相關(guān)工作

邊緣計(jì)算服務(wù)卸載作為邊緣計(jì)算的一個(gè)重要領(lǐng)域，近年來被人們廣泛關(guān)注。部分研究者將這類問題視為MDP，利用最優(yōu)化方法進(jìn)行求解。文獻(xiàn)［4］中提出了一個(gè)由用戶和網(wǎng)絡(luò)運(yùn)營商聯(lián)合通信計(jì)算（Joint Communication Computing，JCC）資源分配機(jī)制組成的綜合框架，在提供優(yōu)質(zhì)通信的同時(shí)最小化資源占用；文獻(xiàn)［5］中提出了一種用于分配資源的框架，該框架結(jié)合了通信以及計(jì)算要素來解決移動(dòng)邊緣云計(jì)算服務(wù)的按需供應(yīng)問題；文獻(xiàn)［6］中提出了一種基于強(qiáng)化學(xué)習(xí)的狀態(tài)/動(dòng)作/獎(jiǎng)勵(lì)/狀態(tài)/動(dòng)作（State-Action-Reward-State-Action，SARSA）算法，以解決邊緣服務(wù)器中的資源管理問題，降低系統(tǒng)成本，并作出最佳的卸載決策；文獻(xiàn)［7］中探究了DQN 及PPO 算法在基于多輸入多輸出（Multiple-Input Multiple-Output，MIMO）的移動(dòng) 邊緣計(jì) 算（Mobile Edge Computing，MEC）系統(tǒng)中的計(jì)算型服務(wù)卸載問題，目標(biāo)是在隨機(jī)系統(tǒng)環(huán)境下最大限度地降低移動(dòng)設(shè)備的功耗及卸載延遲；文獻(xiàn)［8］中提出了一種深度強(qiáng)化學(xué)習(xí)方法將任務(wù)分配到不同的邊緣服務(wù)器進(jìn)行處理，以便將包括計(jì)算服務(wù)延遲和服務(wù)故障損失在內(nèi)的服務(wù)成本降至最低；文獻(xiàn)［9］中針對車聯(lián)網(wǎng)中車對外界的信息交換（Vehicle to Everything，V2X）網(wǎng)絡(luò)的資源分配問題進(jìn)行研究，并使用Double DQN 來解決資源分配問題。然而，這些工作都基于一個(gè)未定的假設(shè)——邊緣節(jié)點(diǎn)能卸載并執(zhí)行所有類型的計(jì)算型任務(wù)。事實(shí)上，邊緣節(jié)點(diǎn)的存儲(chǔ)空間通常有限，并且各服務(wù)緩存策略并不一致，因而在實(shí)際中很難有效地應(yīng)用。

而對于這類服務(wù)卸載問題來說，云服務(wù)器與邊緣節(jié)點(diǎn)任務(wù)的分配效率以及多媒體的QoS 是需要考慮的，例如，文獻(xiàn)［19］中提出了一種名為BitLat 的ABR 算法以提高用戶在線視頻的QoS。而基于資源受限的MDP 建模的服務(wù)卸載問題在很多情況下屬于NP-hard 問題［20］，常規(guī)的搜索方法已經(jīng)不適用于解決此類問題，因而近年來不斷有學(xué)者針對邊緣節(jié)點(diǎn)的服務(wù)卸載問題提出優(yōu)化理論，并取得了不錯(cuò)的效果。文獻(xiàn)［21］針對移動(dòng)邊緣計(jì)算上的在線計(jì)算與服務(wù)卸載問題，使用適應(yīng)性遺傳算法（Adaptive Genetic Algorithm，AGA）優(yōu)化深度強(qiáng)化學(xué)習(xí)的探索過程，相較于對比算法，它所提出的DRGO 算法能更快地收斂并得到更好的卸載策略。文獻(xiàn)［22］針對5G 邊緣網(wǎng)絡(luò)中的計(jì)算服務(wù)卸載問題，提出了一種高效可靠的多媒體服務(wù)優(yōu)化機(jī)制，并利用博弈理論對問題進(jìn)行求解，有效提升了網(wǎng)絡(luò)傳輸性能。文獻(xiàn)［23］中通過擴(kuò)寬服務(wù)緩存的作用，實(shí)現(xiàn)了一種基于緩存服務(wù)和計(jì)算卸載的聯(lián)合優(yōu)化算法；但該算法假定計(jì)算型服務(wù)是可分割的，而本文假定每個(gè)計(jì)算型服務(wù)為最小單元，并通過增加服務(wù)數(shù)量來表示它是可分割的，改進(jìn)文獻(xiàn)［23］的算法以解決本文的問題。

因此，不同于以上工作，本文提出了一種基于改進(jìn)深度強(qiáng)化學(xué)習(xí)的DRL 算法——ECSO 算法。通過對邊緣節(jié)點(diǎn)可用存儲(chǔ)資源及計(jì)算資源加以限制，并基于MDP 模型實(shí)現(xiàn)DRL算法，以解決狀態(tài)概率轉(zhuǎn)移難以預(yù)測的問題；同時(shí)，基于本文給出的動(dòng)作篩選算法得到最優(yōu)動(dòng)作集，降低算法動(dòng)作空間的大小，進(jìn)一步優(yōu)化算法決策過程，進(jìn)而滿足邊緣計(jì)算服務(wù)卸載過程中對低時(shí)延的要求。

2 服務(wù)卸載模型

本章將分別介紹系統(tǒng)模型、MDP 以及邊緣服務(wù)卸載的定義和描述。

2.1 系統(tǒng)模型

在本文的模型中，邊緣節(jié)點(diǎn)有著計(jì)算資源F以及存儲(chǔ)空間C，計(jì)算資源F用于服務(wù)計(jì)算，存儲(chǔ)空間C用于緩存服務(wù)數(shù)據(jù)。本文定義計(jì)算型服務(wù)集合為κ={1，2，…，K}，時(shí)隙集合為Γ={1，2，…，T}。每個(gè)服務(wù)都有兩個(gè)屬性(ck，fk)，分別表示此服務(wù)所需空間以及此服務(wù)所需計(jì)算資源，假定每個(gè)單獨(dú)的服務(wù)都是不可分割的。本文設(shè)定單一k服務(wù)帶來的下載時(shí)延為邊緣節(jié)點(diǎn)使單一k服務(wù)減少的傳輸時(shí)延為用戶發(fā)送請求到邊緣節(jié)點(diǎn)的傳輸時(shí)延定義為，由于邊緣節(jié)點(diǎn)算力有限，因而會(huì)帶來額外的執(zhí)行時(shí)延設(shè)定t時(shí)隙服務(wù)k的請求數(shù)量為為用戶對單一服務(wù)k的請求提供數(shù)量，表明當(dāng)邊緣節(jié)點(diǎn)提供單一服務(wù)k時(shí)，多個(gè)用戶請求服務(wù)k這一類服務(wù)。本文定義的環(huán)境存在實(shí)際應(yīng)用，例如，當(dāng)社會(huì)熱點(diǎn)新聞出現(xiàn)時(shí)，會(huì)引發(fā)大量用戶關(guān)注，此時(shí)多個(gè)用戶將請求相同的數(shù)據(jù)內(nèi)容，當(dāng)邊緣節(jié)點(diǎn)緩存這類數(shù)據(jù)內(nèi)容時(shí)，就可以直接向這些用戶提供服務(wù)［18］。邊緣節(jié)點(diǎn)不會(huì)緩存不在本地提供的服務(wù)，每一時(shí)隙邊緣節(jié)點(diǎn)采取不同的策略來進(jìn)行服務(wù)卸載，且單一時(shí)隙內(nèi)總能完成回傳數(shù)據(jù)的任務(wù)。

系統(tǒng)模型如圖1 所示，本文的目標(biāo)是解決單個(gè)邊緣節(jié)點(diǎn)的邊緣計(jì)算服務(wù)卸載問題。

圖1 邊緣計(jì)算服務(wù)卸載模型Fig.1 Edge computing service offloading model

在該模型中，邊緣節(jié)點(diǎn)擁有相應(yīng)的計(jì)算資源以及存儲(chǔ)資源，并且邊緣節(jié)點(diǎn)可以記錄所有服務(wù)。系統(tǒng)模型中存在兩類過程：服務(wù)卸載過程以及邊緣計(jì)算過程。在服務(wù)卸載過程中，當(dāng)邊緣節(jié)點(diǎn)未緩存k服務(wù)時(shí)，從云端下載相關(guān)數(shù)據(jù)需要的下載時(shí)延為若邊緣節(jié)點(diǎn)滿足服務(wù)k的需求且可以提供服務(wù)時(shí)，用戶無須再上傳數(shù)據(jù)至云端計(jì)算，而只需向靠近用戶側(cè)的邊緣節(jié)點(diǎn)發(fā)送指定服務(wù)的卸載請求數(shù)據(jù)，這個(gè)過程的時(shí)延為整個(gè)過程消耗存儲(chǔ)空間ck，完成服務(wù)卸載過程。而在邊緣計(jì)算過程中，當(dāng)邊緣節(jié)點(diǎn)向用戶提供已完成卸載的服務(wù)時(shí)，消耗計(jì)算資源fk，并消耗執(zhí)行時(shí)延完成計(jì)算。由于邊緣節(jié)點(diǎn)靠近用戶側(cè)，當(dāng)邊緣節(jié)點(diǎn)卸載計(jì)算型服務(wù)時(shí)，邊緣節(jié)點(diǎn)可降低的傳輸時(shí)延為完成邊緣計(jì)算過程。此時(shí)如果針對單一服務(wù)k有多個(gè)服務(wù)請求時(shí)，則需要分別向多個(gè)用戶提供計(jì)算型服務(wù)k，因此資源消耗也會(huì)增加，同時(shí)累計(jì)降低的傳輸時(shí)延也會(huì)增加。

2.2 馬爾可夫決策過程

在此系統(tǒng)模型中，本文將邊緣計(jì)算服務(wù)卸載問題建模為MDP，下面將分別介紹狀態(tài)空間、動(dòng)作空間以及獎(jiǎng)勵(lì)方法。

2.2.1 狀態(tài)空間

狀態(tài)是對當(dāng)前系統(tǒng)環(huán)境的描述，而狀態(tài)空間是所有可能狀態(tài)的集合。在本文定義的問題中，狀態(tài)是時(shí)隙開始時(shí)的系統(tǒng)狀態(tài)，系統(tǒng)狀態(tài)由緩存狀態(tài)和請求狀態(tài)組成。

設(shè)定邊緣節(jié)點(diǎn)t時(shí)隙下的服務(wù)緩存狀態(tài)為矩陣Mt，如果邊緣節(jié)點(diǎn)在時(shí)隙t內(nèi)緩存提供服務(wù)k，其緩存狀態(tài)=1，否則=0。同樣的，邊緣節(jié)點(diǎn)的請求狀態(tài)矩陣設(shè)為Dt=[]，其中代表用戶對于服務(wù)k在t時(shí)隙內(nèi)的請求數(shù)量。邊緣節(jié)點(diǎn)需要緩存數(shù)據(jù)和服務(wù)計(jì)算，但存儲(chǔ)空間及計(jì)算資源有限。因此，存儲(chǔ)空間和計(jì)算資源需要分別滿足式（1）和式（2）：

本文考慮到用戶的請求可能針對同一個(gè)服務(wù)的不同類型，當(dāng)邊緣節(jié)點(diǎn)對服務(wù)k進(jìn)行服務(wù)卸載時(shí)，不同類型的服務(wù)請求需要緩存并計(jì)算多份數(shù)據(jù)，因而存儲(chǔ)以及計(jì)算資源約束需要考慮請求數(shù)量矩陣Dt，具體到每一服務(wù)即為由于緩存狀態(tài)在t時(shí)隙開始時(shí)仍為t-1 時(shí)的狀態(tài)，因此t時(shí)隙的狀態(tài)空間為St=(Mt-1，Dt)。

2.2.2 動(dòng)作空間

動(dòng)作空間就是一系列邊緣節(jié)點(diǎn)可能采取的動(dòng)作的集合。本文定義動(dòng)作矩陣At=其中∈{-1，0，1}。對于每個(gè)邊緣節(jié)點(diǎn)=1 表示邊緣節(jié)點(diǎn)在時(shí)隙t-1 不提供服務(wù)k，而在時(shí)隙t內(nèi)提供服務(wù)k。在這一動(dòng)作中，用戶會(huì)向邊緣節(jié)點(diǎn)發(fā)送服務(wù)k的卸載請求，這個(gè)過程耗時(shí)邊緣服務(wù)器將會(huì)從云端下載服務(wù)所需服務(wù)數(shù)據(jù)，經(jīng)過下載所需時(shí)延之后提供服務(wù)k；=-1 表示邊緣節(jié)點(diǎn)在時(shí)隙t-1 時(shí)在本地提供服務(wù)k，而在時(shí)隙t內(nèi)不在本地提供服務(wù)k。在這一動(dòng)作中，由于邊緣節(jié)點(diǎn)只需刪除相關(guān)服務(wù)數(shù)據(jù)，因此不會(huì)產(chǎn)生額外的時(shí)延；而=0 表示邊緣節(jié)點(diǎn)不采取任何改變狀態(tài)的行為，在時(shí)隙t的服務(wù)提供狀態(tài)與在時(shí)隙t-1 相同。

設(shè) |κ|為總服務(wù)數(shù)量，由于動(dòng)作空間為一系列邊緣節(jié)點(diǎn)可能采取的動(dòng)作的集合，因此動(dòng)作空間的總大小為3|κ|，然而動(dòng)作空間中也有許多無意義的動(dòng)作，例如當(dāng)=0 且-1 時(shí)，表明邊緣節(jié)點(diǎn)并未緩存提供服務(wù)k所需的數(shù)據(jù)，但邊緣節(jié)點(diǎn)仍要?jiǎng)h除這些數(shù)據(jù)。這些動(dòng)作即“非法動(dòng)作”。設(shè)π為滿足存儲(chǔ)空間及計(jì)算資源限制的所有策略的集合，那么這些動(dòng)作可以表示為

狀態(tài)轉(zhuǎn)移概率是策略制定后當(dāng)前狀態(tài)轉(zhuǎn)移到新狀態(tài)的概率。對于(Mt-1，At)來說，轉(zhuǎn)移概率是確定的；但由于狀態(tài)空間還包括請求狀態(tài)Dt，它會(huì)隨著時(shí)間的推移而隨機(jī)變化，狀態(tài)轉(zhuǎn)移概率難以精確估測。這是邊緣計(jì)算服務(wù)卸載問題不能直接用MDP 來解決的根本原因。

2.2.3 獎(jiǎng)勵(lì)方法

獎(jiǎng)勵(lì)方法R(s，a)就是邊緣節(jié)點(diǎn)從狀態(tài)s執(zhí)行動(dòng)作a之后得到的激勵(lì)值，正向激勵(lì)有利于提高邊緣節(jié)點(diǎn)在此狀態(tài)下執(zhí)行動(dòng)作a的概率；負(fù)向激勵(lì)則降低邊緣節(jié)點(diǎn)在此狀態(tài)下執(zhí)行動(dòng)作a的概率。

2.3 問題定義

由2.2 節(jié)的獎(jiǎng)勵(lì)方法可知，獎(jiǎng)勵(lì)代表著邊緣節(jié)點(diǎn)在系統(tǒng)模型中總共降低的邊緣計(jì)算處理時(shí)延?？偺幚頃r(shí)延越低，意味著邊緣節(jié)點(diǎn)越能滿足用戶對于低時(shí)延的要求，因此目標(biāo)是最大化邊緣節(jié)點(diǎn)所獲取的長期獎(jiǎng)勵(lì)，由式（4）給出：

s.t. 式（1），（2）

其中：γt是衰減因子，隨著時(shí)間的變化不斷減??；Rt=表示t時(shí)隙內(nèi)所有服務(wù)的獎(jiǎng)勵(lì)之和。

3 ECSO算法

本章將介紹ECSO 算法的具體實(shí)現(xiàn)以及優(yōu)化過程。傳統(tǒng)DRL（如DQN）可以作為此類問題的解決方法，但相較于DQN，ECSO 算法能更有效地降低邊緣計(jì)算處理時(shí)延，因而更適合解決此類問題。

3.1 基于MDP的DRL實(shí)現(xiàn)

上述MDP 不能直接應(yīng)用的原因是狀態(tài)轉(zhuǎn)移概率難以預(yù)測，且傳統(tǒng)MDP 的建模方案在一定程度上受到狀態(tài)空間和動(dòng)作空間大小的限制。而DRL 算法可以很有效地解決這類問題，因?yàn)镈RL 算法可以不用預(yù)先輸入任何數(shù)據(jù)，主要依靠不斷的環(huán)境探索和經(jīng)驗(yàn)回放來得到對應(yīng)環(huán)境下執(zhí)行動(dòng)作的獎(jiǎng)勵(lì)，并依據(jù)這些獎(jiǎng)勵(lì)優(yōu)化模型參數(shù)。本文以DQN 為例實(shí)現(xiàn)DRL 算法。

DQN 的目標(biāo)就是得到執(zhí)行動(dòng)作后的預(yù)計(jì)獎(jiǎng)勵(lì)，即Q 值。DQN 將邊緣節(jié)點(diǎn)的狀態(tài)作為其深度神經(jīng)網(wǎng)絡(luò)的輸入進(jìn)行訓(xùn)練，得到所有動(dòng)作的Q 值，以此改進(jìn)依賴于表格的傳統(tǒng)強(qiáng)化學(xué)習(xí)算法。由此，它省略了以表格記錄Q 值的過程，直接通過深度神經(jīng)網(wǎng)絡(luò)生成Q 值，解決了無限狀態(tài)空間的問題。它的探索策略E為ε貪心策略，設(shè)定隨機(jī)概率為p，如式（5）所示：

使用ε貪心策略進(jìn)行探索可以避免算法陷入局部最優(yōu)狀態(tài)。本文算法采用遞減ε貪心策略，它的參數(shù)會(huì)隨著訓(xùn)練迭代數(shù)的增加而遞減，這種策略在訓(xùn)練前期能夠探索更多的動(dòng)作可能性，而后期也可以使算法減少采取隨機(jī)動(dòng)作的可能性，這有助于算法的穩(wěn)定。

DQN 使用兩個(gè)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練：一個(gè)是需要訓(xùn)練的主網(wǎng)絡(luò)，一個(gè)是用于生成Q 值的目標(biāo)網(wǎng)絡(luò)。DQN 通過損失函數(shù)來訓(xùn)練模型參數(shù)。損失函數(shù)為目標(biāo)網(wǎng)絡(luò)的估計(jì)值Qr(s，a)和主網(wǎng)絡(luò)的輸出Q(s，a)的平方差，如式（6）所示：

γ是應(yīng)用于下一步獎(jiǎng)勵(lì)的衰減系數(shù)；Q＇(s＇，a＇)是目標(biāo)網(wǎng)絡(luò)中對狀態(tài)s＇執(zhí)行動(dòng)作a＇所得到的單步獎(jiǎng)勵(lì)估計(jì)值，而則是下一步狀態(tài)s＇中擁有最高Q 值估計(jì)的動(dòng)作a＇。

3.2 動(dòng)作篩選

目前未經(jīng)修改過的動(dòng)作空間大小為3|κ|，這個(gè)數(shù)值會(huì)隨著總服務(wù)數(shù)量的增大而呈指數(shù)型增長，當(dāng)服務(wù)數(shù)量過多時(shí)，模型訓(xùn)練將會(huì)非常困難。其次，定義的動(dòng)作空間仍包括非法動(dòng)作，非法動(dòng)作的Q 值無意義，算法執(zhí)行和學(xué)習(xí)無意義的非法動(dòng)作反而會(huì)影響它的穩(wěn)定性，因此需要采取措施優(yōu)化動(dòng)作空間，以提高訓(xùn)練效率。

算法1 動(dòng)作篩選算法。

對于算法1，i與j從1 開始逐漸迭代到最大值，這是為了尋找并優(yōu)先組合能夠帶來收益、且所要求的資源最小的動(dòng)作，并在后續(xù)迭代中從動(dòng)作集中去除對于資源要求較大的動(dòng)作。如果ck大于邊緣節(jié)點(diǎn)所剩余的空間i，或是fk大于邊緣節(jié)點(diǎn)剩余的計(jì)算資源j，那么服務(wù)k就不能在邊緣節(jié)點(diǎn)本地提供，因而篩選后的動(dòng)作集保持不變。當(dāng)邊緣節(jié)點(diǎn)剩余的存儲(chǔ)空間和可用的計(jì)算資源滿足服務(wù)k的需求時(shí)，邊緣節(jié)點(diǎn)可以作出兩種選擇：提供服務(wù)k，并令Rmax+=rk；或者不提供服務(wù)k，令Rmax保持不變。

算法1 的目標(biāo)是盡可能在提供更多服務(wù)的情況下最大化各服務(wù)動(dòng)作帶來的獎(jiǎng)勵(lì)，而算法1 本質(zhì)上可視為動(dòng)態(tài)規(guī)劃問題進(jìn)行求解，求解后得到的動(dòng)作集合即為能帶來最大獎(jiǎng)勵(lì)值的動(dòng)作集合。

3.3 更新方法

得到最優(yōu)動(dòng)作集后，由于主網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)輸出的是單一動(dòng)作xk的Q 值，而不是整體Xt的Q 值，因此不能使用整個(gè)Xt的Q 值代替xk更新。由于Xt由篩選后的xk組成，因此，針對每個(gè)動(dòng)作行為xk更新?lián)p失值的損失函數(shù)也需作出改變。對于t時(shí)刻候選動(dòng)作列表Xt，根據(jù)式（6）所示的形式，定義式（8）：

對于Q(St，Xt)，分別計(jì)算其中每個(gè)xk動(dòng)作產(chǎn)生的Q 值，Q(St，Xt)為其中所有動(dòng)作行為Q 值之和，如式（10）所示：

為了得到動(dòng)作列表Xt中每個(gè)xk的損失值，本文使用占比的方式計(jì)算每個(gè)xk的損失值，如式（11）所示：

本質(zhì)上，邊緣節(jié)點(diǎn)執(zhí)行的是各服務(wù)k的動(dòng)作xk。依據(jù)算法1，每一次篩選得到的最優(yōu)動(dòng)作集取決于各動(dòng)作xk預(yù)期的獎(jiǎng)勵(lì)，對應(yīng)的是主網(wǎng)絡(luò)預(yù)測的Q 值。這一時(shí)隙得到的最優(yōu)動(dòng)作集與上一時(shí)隙中得到的最優(yōu)動(dòng)作集會(huì)因?yàn)橹骶W(wǎng)絡(luò)參數(shù)的更新而發(fā)生更改，各xk之間也相互獨(dú)立，因而無須考慮各服務(wù)動(dòng)作xk的組合情況，也不會(huì)導(dǎo)致算法性能下降。

按照以上方法求解每個(gè)xk的損失值，就可以在更改動(dòng)作空間之后使用動(dòng)作行為的損失值梯度下降更新主網(wǎng)絡(luò)。

3.4 算法流程及實(shí)現(xiàn)

ECSO 算法流程如圖2 所示，主網(wǎng)絡(luò)與目標(biāo)網(wǎng)絡(luò)有著相同的網(wǎng)絡(luò)結(jié)構(gòu)，由于定義了新的動(dòng)作行為xk，主網(wǎng)絡(luò)與目標(biāo)網(wǎng)絡(luò)的輸出值均為xk的Q 值而不是原有動(dòng)作空間的Q 值。首先，算法會(huì)根據(jù)探索策略隨機(jī)選擇執(zhí)行動(dòng)作或是Q 值最高的行為執(zhí)行動(dòng)作，根據(jù)算法1 篩選動(dòng)作行為xk放入動(dòng)作列表Xt中，并將元組(St，Xt，Rt，St+1)作為經(jīng)驗(yàn)存入回放經(jīng)驗(yàn)池中。之后算法隨機(jī)取出一批經(jīng)驗(yàn)來訓(xùn)練主網(wǎng)絡(luò)。目標(biāo)網(wǎng)絡(luò)則輸出動(dòng)作列表的Q 值Q＇(St+1，X＇)。接著算法根據(jù)主網(wǎng)絡(luò)輸出的每個(gè)Q(St，xk)以及目標(biāo)網(wǎng)絡(luò)輸出的Q＇(St+1，X＇)依次計(jì)算每個(gè)xk的損失值。并依次梯度下更新?lián)p失值，以此訓(xùn)練主網(wǎng)絡(luò)，且每隔一定頻率更新目標(biāo)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)。算法2給出了ECSO 算法實(shí)現(xiàn)的偽代碼。

圖2 ECSO算法流程Fig.2 Flow of ECSO algorithm

算法2 ECSO 算法。

依據(jù)本文提出的ECSO 算法，通過定期更新網(wǎng)絡(luò)參數(shù)，優(yōu)化目標(biāo)網(wǎng)絡(luò)對于邊緣節(jié)點(diǎn)服務(wù)采取的動(dòng)作集合Xt，從而達(dá)到優(yōu)化邊緣節(jié)點(diǎn)服務(wù)卸載決策的目的。

4 仿真實(shí)驗(yàn)與結(jié)果分析

本章將介紹ECSO 算法的實(shí)驗(yàn)環(huán)境以及參數(shù)設(shè)定，然后與其他DRL 算法以及傳統(tǒng)算法進(jìn)行對比，根據(jù)結(jié)果驗(yàn)證本文ECSO 算法更適合解決邊緣計(jì)算服務(wù)卸載的問題。值得說明的是，本文在實(shí)驗(yàn)中對所有算法均設(shè)置了存儲(chǔ)和計(jì)算資源的條件限制。

4.1 實(shí)驗(yàn)參數(shù)設(shè)置

本實(shí)驗(yàn)使用TensorFlow［24］運(yùn)行算法。本次實(shí)驗(yàn)?zāi)M考慮50 個(gè)服務(wù)，計(jì)算所需資源fk在[0.5，2.5] GHz 內(nèi)隨機(jī)取值，儲(chǔ)存所需資源ck在[0.2，2] GB 內(nèi)隨機(jī)取值，邊緣節(jié)點(diǎn)減少的傳輸時(shí)延在[2，5] s 內(nèi)隨機(jī)取值，假定服務(wù)所需的計(jì)算資源充足且充分利用，則它的執(zhí)行時(shí)延用戶發(fā)送請求到邊緣節(jié)點(diǎn)的傳輸時(shí)延取值取決于請求數(shù)量的多少。下載時(shí)延即為下載該服務(wù)數(shù)據(jù)需花費(fèi)的時(shí)間，而帶寬決定了下載速率的理論上限，考慮到單位的換算，服務(wù)對應(yīng)的下載時(shí)延=8ck/Bandwidth，取帶寬為8 Gb/s。本文假設(shè)服務(wù)的請求頻率遵循齊夫分布［25］，則平均請求數(shù)量如式（12）所示：

其中：r(k)是服務(wù)k的請求頻率的排名；N是用戶數(shù)量，在實(shí)驗(yàn)中取值為150；在齊夫分布中通常取V=0.1；λ為數(shù)據(jù)分布的指數(shù)特征，在實(shí)驗(yàn)中取λ=1；設(shè)定邊緣節(jié)點(diǎn)總計(jì)算資源為10 GHz，邊緣節(jié)點(diǎn)總存儲(chǔ)資源為10 GB。

4.2 性能分析

4.2.1 云端計(jì)算與邊緣計(jì)算性能對比

為了驗(yàn)證實(shí)驗(yàn)環(huán)境下邊緣計(jì)算與直接由云端響應(yīng)的服務(wù)性能差異，本文將兩者進(jìn)行了對比分析。

ECSO-EC（ECSO-Edge Computing）：依照本文提出的算法以及模型進(jìn)行運(yùn)算，緩存的服務(wù)由邊緣節(jié)點(diǎn)提供給用戶，其他服務(wù)由云端進(jìn)行響應(yīng)。

ECSO-CC（ECSO-Cloud Computing）：訓(xùn)練過程不變，只是邊緣節(jié)點(diǎn)不再向用戶提供緩存服務(wù)，轉(zhuǎn)而由云端直接進(jìn)行響應(yīng)和運(yùn)算，因而不考慮緩存服務(wù)帶來的下載時(shí)延以及計(jì)算時(shí)延，因此不會(huì)降低傳輸時(shí)延。

從圖3 可以看出，在訓(xùn)練的開始階段，由云端直接響應(yīng)的性能優(yōu)于由邊緣節(jié)點(diǎn)緩存并提供服務(wù)的性能，這是由于邊緣節(jié)點(diǎn)的決策還尚未被完全優(yōu)化，邊緣節(jié)點(diǎn)提供的服務(wù)并不能降低更多的時(shí)延。隨著訓(xùn)練回合的增加，算法能夠更好地決策，邊緣節(jié)點(diǎn)也能優(yōu)先向用戶提供占用資源少、請求數(shù)量多的服務(wù)，因而ECSO-EC 算法能夠積累到較多正向的獎(jiǎng)勵(lì)值。ECSO-CC 算法積累的獎(jiǎng)勵(lì)值代表邊緣節(jié)點(diǎn)提供計(jì)算型服務(wù)時(shí)帶來的額外時(shí)延，同樣隨著回合數(shù)的增加而趨于較低的值。此時(shí)由邊緣節(jié)點(diǎn)提供計(jì)算型服務(wù)相比直接由云端響應(yīng)所降低的總處理時(shí)延更高。這也表明了由邊緣節(jié)點(diǎn)緩存并提供服務(wù)所帶來的性能提升。

圖3 云端響應(yīng)和邊緣計(jì)算的性能對比Fig.3 Performance comparison between cloud computing and edge conputing

4.2.2 邊緣計(jì)算中不同算法之間性能對比

本節(jié)將對比不同回合中算法的獎(jiǎng)勵(lì)值以及單一回合中不同時(shí)隙下降低的傳輸時(shí)延。本文的ECSO、DQN 和PPO 這三種DRL 算法以及傳統(tǒng)MP 算法介紹如下：

ECSO：算法每時(shí)隙輸出自身對各個(gè)動(dòng)作的預(yù)測價(jià)值，并將它們作為動(dòng)作篩選算法的輸入，從而得到最優(yōu)動(dòng)作集。邊緣節(jié)點(diǎn)每時(shí)隙按照最優(yōu)動(dòng)作集提供或卸載服務(wù)。

DQN［16］：算法根據(jù)式（5）的ε 貪心算法探索得到動(dòng)作并更新網(wǎng)絡(luò)參數(shù)。邊緣節(jié)點(diǎn)依據(jù)神經(jīng)網(wǎng)絡(luò)預(yù)測值提供以及卸載服務(wù)。

PPO［17］：算法在開始階段探索并積累動(dòng)作軌跡，并且每一時(shí)隙更新動(dòng)作軌跡的優(yōu)勢以及回報(bào)，一旦積累一定數(shù)量時(shí)，開始更新網(wǎng)絡(luò)策略。邊緣節(jié)點(diǎn)根據(jù)其中執(zhí)行者網(wǎng)絡(luò)的預(yù)測值提供或卸載服務(wù)。

MP［18］：邊緣節(jié)點(diǎn)根據(jù)用戶每個(gè)時(shí)隙中服務(wù)請求數(shù)量的積累計(jì)算每個(gè)服務(wù)的流行度，每一時(shí)隙中提供流行度最高的服務(wù)。由于MP 算法不具備學(xué)習(xí)能力，進(jìn)行多個(gè)回合的實(shí)驗(yàn)不會(huì)對MP 算法的表現(xiàn)帶來提升。因而對于傳統(tǒng)算法，本文只對比單個(gè)回合內(nèi)200 次時(shí)隙所能降低的傳輸時(shí)延。最終用于對比的獎(jiǎng)勵(lì)值定義為算法最終降低的傳輸時(shí)延與緩存計(jì)算服務(wù)帶來的各類時(shí)延之差。

本文的目標(biāo)為最大化迭代后的獎(jiǎng)勵(lì)值。圖4 為三種DRL算法在100 次迭代中的獎(jiǎng)勵(lì)值對比，獎(jiǎng)勵(lì)值定義如式（3）所示，是驗(yàn)證算法性能的重要指標(biāo)之一。從圖4 中可以看出，本文實(shí)現(xiàn)的算法最終穩(wěn)定的獎(jiǎng)勵(lì)值整體要高于DQN 算法，而PPO 算法前期由于需要積累動(dòng)作軌跡以便積累完成后學(xué)習(xí)，因此在前30 次迭代中探索得到的獎(jiǎng)勵(lì)很低；ECSO 算法相較于DQN 算法收斂更快，這是因?yàn)镋CSO 算法會(huì)預(yù)先篩選動(dòng)作，排除非法的動(dòng)作并執(zhí)行最優(yōu)動(dòng)作。PPO 算法探索環(huán)境得到的獎(jiǎng)勵(lì)并不穩(wěn)定，這是因?yàn)樵谒e累完動(dòng)作軌跡之后需要從回放經(jīng)驗(yàn)池中隨機(jī)取出一批樣本進(jìn)行學(xué)習(xí)，由于存在針對非法動(dòng)作的獎(jiǎng)勵(lì)懲罰，這就使PPO難以短時(shí)間平穩(wěn)所獲得的獎(jiǎng)勵(lì)。而DQN 以及ECSO 算法因?yàn)槭褂忙咆澬牟呗赃M(jìn)行探索，它們探索得到的獎(jiǎng)勵(lì)能較為平緩地增長。由于優(yōu)化了算法的動(dòng)作空間，一定程度上規(guī)避了非法動(dòng)作帶來的負(fù)獎(jiǎng)勵(lì)，ECSO 算法在100次迭代內(nèi)的整體收益高于DQN 算法。PPO 算法由于收斂緩慢，雖有上升趨勢，但整體收益仍不及前兩者。

圖4 訓(xùn)練回合獎(jiǎng)勵(lì)對比Fig.4 Comparison of rewards in different training epochs

圖5 為單一迭代中200 個(gè)時(shí)隙下幾種算法累計(jì)減少的傳輸時(shí)延。DQN 算法以及ECSO 算法能夠較快地收斂，而PPO算法卻收斂緩慢，最終固定在一個(gè)較低的值。這是因?yàn)榍皟烧咄ㄟ^ε貪心策略的探索能夠快速達(dá)到局部最優(yōu)解，從而迅速適應(yīng)環(huán)境；而PPO 算法則需要預(yù)先積累，在軌跡積累達(dá)到一定數(shù)量后開始訓(xùn)練算法中的執(zhí)行者以及評論者網(wǎng)絡(luò)，而前期完成的動(dòng)作軌跡中勢必存在非法行為帶來的負(fù)獎(jiǎng)勵(lì)，因此PPO 算法在一次迭代中所減少的傳輸時(shí)延存在較大波動(dòng)且數(shù)值相對較低。而對于MP 算法，累計(jì)降低的傳輸時(shí)延逐漸增加，但它的速率提升十分緩慢且低于三種DRL 算法的積累值，因而最終效果不及ECSO 的算法。而從算法200 個(gè)時(shí)隙的迭代來看，ECSO 算法相較于其他三種算法能顯著減少數(shù)據(jù)傳輸時(shí)延。

圖5 累計(jì)減少的傳輸時(shí)延對比Fig.5 Comparison of transmission latency reduction

表1 為本文實(shí)驗(yàn)的四種算法訓(xùn)練至穩(wěn)定后最終的性能表現(xiàn)?？梢园l(fā)現(xiàn)，相較于DQN 算法，ECSO 算法的總獎(jiǎng)勵(lì)值提升了7.0%，邊緣計(jì)算傳輸時(shí)延降低了13.0%，驗(yàn)證了算法優(yōu)化的有效性；所提算法相較于PPO 算法，總獎(jiǎng)勵(lì)值提升了12.7%，邊緣計(jì)算傳輸時(shí)延降低了18.8%，說明ECSO 算法相較于PPO 算法更適合解決本文的邊緣計(jì)算服務(wù)卸載問題。而本文所提算法相較于傳統(tǒng)算法中的MP 算法總獎(jiǎng)勵(lì)值提升了65.6%，邊緣計(jì)算傳輸時(shí)延降低了66.4%，驗(yàn)證了DRL 算法的有效性。

表1 四種算法訓(xùn)練至穩(wěn)定后最終的性能對比Tab.1 Final performance comparison of four algorithms after training to stability

4.3 不同實(shí)驗(yàn)參數(shù)對于算法性能的影響

低時(shí)延是邊緣計(jì)算服務(wù)卸載的基本應(yīng)用要求。為探究不同實(shí)驗(yàn)參數(shù)對本文算法降低傳輸時(shí)延的影響，本節(jié)以算法獎(jiǎng)勵(lì)值作為本文三種DRL 算法的性能指標(biāo)，以MP 算法最終降低的傳輸時(shí)延與緩存計(jì)算服務(wù)帶來的各類時(shí)延之差為傳統(tǒng)算法的性能指標(biāo)，在同一實(shí)驗(yàn)環(huán)境中對于單一參數(shù)采取不同的值進(jìn)行模擬實(shí)驗(yàn)，并分析所得結(jié)果。為了減小隨機(jī)生成的數(shù)據(jù)可能導(dǎo)致的結(jié)果偏差，每個(gè)設(shè)定的參數(shù)分別運(yùn)行10 次算法，并對算法趨于穩(wěn)定后得到的結(jié)果取均值作為最終數(shù)據(jù)。

4.3.1 資源限制對于算法性能的影響

圖6（a）、（b）分別為算法在不同儲(chǔ)存空間以及計(jì)算資源限制下所能夠降低的總處理時(shí)延。

圖6 不同儲(chǔ)存空間和計(jì)算資源下降低的時(shí)延對比Fig.6 Latency reduction comparison under different storage space and computing resource

從圖6 中可以看出，無論是存儲(chǔ)空間還是計(jì)算資源的仿真實(shí)驗(yàn)，隨著資源的增多，三種DRL 算法所降低的時(shí)延均呈現(xiàn)上升趨勢，但增長速率越來越低。這是因?yàn)楫?dāng)存儲(chǔ)空間或是計(jì)算資源增加時(shí)，能夠緩存更多所需的服務(wù)數(shù)據(jù)或是提供更多的計(jì)算型服務(wù)。以存儲(chǔ)空間為例，存儲(chǔ)空間的提升使邊緣節(jié)點(diǎn)能夠緩存更多的用戶所需服務(wù)的數(shù)據(jù)，因而可以更加充分地利用邊緣節(jié)點(diǎn)剩余的計(jì)算資源。但在存儲(chǔ)空間提升到一定量之后，存儲(chǔ)空間不再是限制邊緣節(jié)點(diǎn)提供邊緣計(jì)算服務(wù)的因素，計(jì)算資源的不足使緩存服務(wù)無法在邊緣節(jié)點(diǎn)處完成計(jì)算，因而導(dǎo)致所降低的計(jì)算時(shí)延逐漸減少直至趨于穩(wěn)定。此時(shí)再提升邊緣節(jié)點(diǎn)的存儲(chǔ)空間也不會(huì)進(jìn)一步降低其邊緣計(jì)算處理時(shí)延。而對于MP 算法來說，隨著資源的增多，其降低的時(shí)延沒有明顯的變化，這也說明了DRL 算法相較于傳統(tǒng)MP 算法更能適應(yīng)實(shí)驗(yàn)環(huán)境的變化。

4.3.2 平均請求數(shù)量對于算法性能的影響

由式（3）可知，服務(wù)的請求數(shù)量會(huì)影響算法的獎(jiǎng)勵(lì)值，進(jìn)而也會(huì)對算法性能產(chǎn)生影響，如式（12）所示，有兩個(gè)因素影響著各服務(wù)的平均請求數(shù)量：用戶的數(shù)量以及齊夫分布參數(shù)λ的取值。

圖7 為各類算法在不同用戶數(shù)的情況下能夠降低的邊緣計(jì)算處理時(shí)延。由圖7 可知，各類算法對于用戶數(shù)呈現(xiàn)較強(qiáng)的線性關(guān)系，說明隨著服務(wù)平均請求數(shù)量的增加，邊緣計(jì)算處理時(shí)延降低得也越多。

圖7 不同用戶數(shù)量下降低的時(shí)延Fig.7 Latency reduction under different number of users

圖8 為ECSO 算法在不同λ取值下降低的邊緣計(jì)算處理時(shí)延（Total）以及對于每個(gè)服務(wù)所能平均降低的時(shí)延（Average）。由圖8 可知，隨著λ的增大，算法所能降低的處理時(shí)延越來越少。這是由于隨著λ的增大，每個(gè)服務(wù)的平均請求數(shù)量也隨之降低，進(jìn)而導(dǎo)致算法所能降低的時(shí)延更少。但總共降低的時(shí)延越多并不意味著對于每個(gè)服務(wù)的請求所平均降低的時(shí)延越多，因此本文將算法總共能降低的時(shí)延與服務(wù)請求數(shù)量相除，得到算法對于每個(gè)服務(wù)請求所能平均降低的時(shí)延。由圖8 可以看到，隨著λ的增大，每個(gè)服務(wù)平均降低的時(shí)延反而越多。這是因?yàn)棣说脑龃髸?huì)導(dǎo)致用戶對各類服務(wù)的請求更集中，下載服務(wù)數(shù)據(jù)所導(dǎo)致的下載時(shí)延也就越低，因而對于每一請求，平均降低的時(shí)延也越多。

圖8 不同λ參數(shù)下降低的時(shí)延Fig.8 Latency reduction under different λ parameters

5 結(jié)語

本文研究了存儲(chǔ)空間以及計(jì)算資源限制情況下的邊緣計(jì)算服務(wù)卸載問題。首先將問題建模為馬爾可夫決策過程，旨在最大化長期獎(jiǎng)勵(lì)，也就是邊緣節(jié)點(diǎn)長期所降低的處理時(shí)延；其次提出了ECSO 算法，在DQN 算法的基礎(chǔ)上提出了一種新的動(dòng)作行為，將動(dòng)作空間大小從3|κ|減少到了 ||κ，避免非法動(dòng)作影響的同時(shí)對動(dòng)作進(jìn)行篩選，得到最優(yōu)動(dòng)作集合，提升模型的訓(xùn)練收益；最后通過仿真實(shí)驗(yàn)?zāi)M，對比不同算法在同一實(shí)驗(yàn)環(huán)境下所能降低的邊緣計(jì)算處理時(shí)延。結(jié)果表明，本文ECSO 算法相較于DQN、PPO 以及MP 三種算法能更有效地降低計(jì)算服務(wù)卸載帶來的時(shí)延消耗。由于在實(shí)際應(yīng)用中單一考慮邊緣節(jié)點(diǎn)進(jìn)行服務(wù)卸載的效率還有待進(jìn)一步提升，因此未來還將考慮多邊緣節(jié)點(diǎn)下的協(xié)同服務(wù)卸載與計(jì)算問題。