基于強(qiáng)化學(xué)習(xí)的移動(dòng)邊緣計(jì)算任務(wù)卸載方法

陳 剛，王志堅(jiān)，徐勝超

(廣州華商學(xué)院 數(shù)據(jù)科學(xué)學(xué)院，廣州 511300)

0 引言

近年來，物聯(lián)網(wǎng)技術(shù)[1-2]的不斷發(fā)展以及5G技術(shù)的出現(xiàn)，成功開啟了新型數(shù)據(jù)革命。然而，由于物聯(lián)網(wǎng)設(shè)備以及移動(dòng)智能設(shè)備在計(jì)算領(lǐng)域的局限性，應(yīng)用APP的增加使設(shè)備本身無法滿足應(yīng)用APP的計(jì)算需求，因此需要將設(shè)備上的一些計(jì)算任務(wù)卸載到具有足夠計(jì)算能力的云服務(wù)器上實(shí)施計(jì)算處理，從而促使了移動(dòng)云計(jì)算的發(fā)展。通常來說，云服務(wù)器多為集中形式，計(jì)算數(shù)據(jù)量會(huì)隨著時(shí)間的推移發(fā)生爆炸式增長。從而出現(xiàn)傳播時(shí)延慢的情況，由此有研究人員提出了移動(dòng)邊緣計(jì)算[3]，移動(dòng)邊緣計(jì)算能夠很好地緩解了網(wǎng)絡(luò)計(jì)算數(shù)據(jù)量大導(dǎo)致的信道擁堵問題。其中移動(dòng)邊緣計(jì)算中的任務(wù)卸載作為邊緣計(jì)算的關(guān)鍵環(huán)節(jié)，對(duì)其開展有效的任務(wù)卸載方法研究，就成為邊緣計(jì)算領(lǐng)域急需面對(duì)的問題。

文獻(xiàn)[4]提出基于遺傳算法的可持續(xù)任務(wù)卸載決策，該算法可以使卸載任務(wù)具有可持續(xù)性。但是該方法時(shí)效性較差，具有延時(shí)性。文獻(xiàn)[5]針對(duì)邊緣計(jì)算任務(wù)卸載時(shí)信息延遲問題，將模擬退火機(jī)制引入計(jì)算任務(wù)卸載中。以優(yōu)化結(jié)果為基礎(chǔ)，改變用戶卸載策略，選取合適的服務(wù)器展開卸載執(zhí)行，實(shí)現(xiàn)移動(dòng)邊緣計(jì)算任務(wù)的高效卸載。但是，該方法在進(jìn)行任務(wù)卸載時(shí)存在卸載延時(shí)較高的問題。文獻(xiàn)[6]基于移動(dòng)邊緣計(jì)算網(wǎng)絡(luò)多任務(wù)卸載狀態(tài)，使用強(qiáng)化學(xué)習(xí)算法對(duì)其實(shí)施優(yōu)化處理，建立邊緣計(jì)算任務(wù)卸載模型。最后通過求解模型，實(shí)現(xiàn)移動(dòng)邊緣計(jì)算任務(wù)的有效卸載。該方法雖然能夠完成邊緣計(jì)算任務(wù)的卸載，但是在實(shí)際應(yīng)用過程中存在能耗較高的問題。文獻(xiàn)[7]針對(duì)移動(dòng)邊緣計(jì)算任務(wù)卸載時(shí)低能耗、低時(shí)延的卸載需求，提出一種最小化系統(tǒng)響應(yīng)的任務(wù)卸載方案。通過設(shè)計(jì)的免疫優(yōu)化算法，獲取最優(yōu)卸載方案，完成移動(dòng)邊緣計(jì)算時(shí)的任務(wù)卸載。但是，該方法需要經(jīng)過多個(gè)步驟的計(jì)算，導(dǎo)致該方法存在卸載時(shí)間較長的問題。文獻(xiàn)[8]中提出了一種基于網(wǎng)格篩選的大規(guī)模密度峰值聚類算法，使用網(wǎng)格化方法去除部分密度稀疏的點(diǎn)，再使用密度峰值聚類算法的決策圖方法選取聚類中心。該算法可以在保證聚類準(zhǔn)確性的基礎(chǔ)上，有效降低計(jì)算復(fù)雜度，并適用于數(shù)據(jù)的不均勻分布情況。文獻(xiàn)[9]中提出了一種針對(duì)結(jié)構(gòu)復(fù)雜數(shù)據(jù)集的模糊聚類有效性指標(biāo)。該指標(biāo)使用類內(nèi)平方誤差和和隸屬度權(quán)值得到緊致性度量策略，使用聚類中心距離最小值和各聚類中心到平均聚類中心的距離和，衍生出分離性測(cè)算方法。通過合成得到新的有效性指標(biāo)V_(GSDC)，在V_(GSDC)的極值處對(duì)應(yīng)的類別數(shù)可以自動(dòng)得到最佳聚類數(shù)。

為解決上述移動(dòng)邊緣計(jì)算任務(wù)卸載過程中存在的問題，本文提出基于強(qiáng)化學(xué)習(xí)方法的移動(dòng)邊緣計(jì)算任務(wù)卸載。本文的創(chuàng)新技術(shù)路線如下：

1)針對(duì)移動(dòng)設(shè)備的計(jì)算任務(wù)卸載形式進(jìn)行詳細(xì)分析，并獲取計(jì)算任務(wù)卸載相關(guān)參數(shù)值，如能量消耗、發(fā)射功率和傳輸速率等。

2)根據(jù)上述計(jì)算結(jié)果，建立移動(dòng)邊緣計(jì)算任務(wù)卸載模型。

3)基于建立的卸載模型并結(jié)合Q-Learning算法，實(shí)施強(qiáng)化學(xué)習(xí)，從而找出最佳的移動(dòng)邊緣計(jì)算任務(wù)卸載策略。

4)實(shí)現(xiàn)移動(dòng)邊緣計(jì)算任務(wù)的實(shí)時(shí)卸載

本文使用的強(qiáng)化學(xué)習(xí)方法利用Q-Learning算法，具有不依賴模型的特點(diǎn)，以貪婪策略為目標(biāo)策略，通過迭代更新可以獲得最優(yōu)的學(xué)習(xí)結(jié)果。強(qiáng)化學(xué)習(xí)算法在移動(dòng)邊緣計(jì)算任務(wù)卸載中應(yīng)用的創(chuàng)新點(diǎn)主要為：該算法可通過學(xué)習(xí)和反饋調(diào)整決策策略，并自適應(yīng)地調(diào)整任務(wù)卸載方式，使得系統(tǒng)能更好地響應(yīng)網(wǎng)絡(luò)狀態(tài)、設(shè)備負(fù)載等因素，具有較高的動(dòng)態(tài)性、自適應(yīng)性、可擴(kuò)展性和精度提升效果。因此，在實(shí)際應(yīng)用中，強(qiáng)化學(xué)習(xí)與移動(dòng)邊緣計(jì)算的結(jié)合可實(shí)現(xiàn)任務(wù)的智能調(diào)度和優(yōu)化，改善邊緣計(jì)算的性能和用戶體驗(yàn)。

1 移動(dòng)邊緣計(jì)算任務(wù)卸載模型構(gòu)建

1.1 卸載方式

用戶在享受移動(dòng)邊緣計(jì)算帶來的便利時(shí)，還需要面臨計(jì)算任務(wù)卸載的決策問題。移動(dòng)邊緣計(jì)算過程的任務(wù)卸載決策主要是指用戶在明確計(jì)算任務(wù)中時(shí)延、能耗各項(xiàng)指標(biāo)后，對(duì)計(jì)算任務(wù)是否卸載至邊緣服務(wù)器展開決策，該決策會(huì)直接影響用戶的體驗(yàn)，是整個(gè)邊緣計(jì)算的關(guān)鍵。

從移動(dòng)云計(jì)算整體架構(gòu)來看，計(jì)算任務(wù)在卸載時(shí)通?？梢苑殖伤胶痛怪眱蓚€(gè)方向。水平方向一般將框架分成3層，相同層設(shè)備和服務(wù)器可以看做移動(dòng)邊緣的計(jì)算中心。在水平方向上的卸載方式分成設(shè)備到設(shè)備之間通信以及服務(wù)器之間協(xié)同計(jì)算兩種。而在垂直方向上，則要直接劃分UE層、移動(dòng)云計(jì)算中心和云計(jì)算中心層三層架構(gòu)。移動(dòng)邊緣垂直方向卸載主要是通過任務(wù)計(jì)算能力劃分計(jì)算層級(jí)，任務(wù)卸載在三個(gè)層級(jí)之間，由低計(jì)算能力逐層向高計(jì)算能力層卸載，過程如圖1所示。

圖1 移動(dòng)邊緣計(jì)算任務(wù)卸載場(chǎng)景圖

從圖1可知，用戶在決定是否進(jìn)行邊緣計(jì)算任務(wù)卸載，主要基于卸載決策，其中包括任務(wù)卸載的任務(wù)量以及卸載邊緣服務(wù)器的決策，移動(dòng)邊緣計(jì)算任務(wù)卸載[10-11]方式如下：

1)本地計(jì)算：由于移動(dòng)邊緣計(jì)算任務(wù)通常都是由用戶自身CPU決定的，不涉及任務(wù)卸載。過程中通常由于移動(dòng)邊緣計(jì)算資源的可用信道，若資源計(jì)算結(jié)果未達(dá)到理想收益，則不進(jìn)行計(jì)算卸載。

2)全部卸載：用戶資源計(jì)算任務(wù)由信道上傳至移動(dòng)邊緣計(jì)算服務(wù)器，通過服務(wù)器展開計(jì)算信道的計(jì)[12-13]處理。這一過程中由于信道質(zhì)量穩(wěn)定，計(jì)算資源充分，因此計(jì)算任務(wù)可直接通過任務(wù)卸載形式獲取計(jì)算收益。

3)部分卸載：該形式主要通過任務(wù)的兩種計(jì)算類型來開展，計(jì)算類型為上述的本地計(jì)算形式和卸載計(jì)算形式。卸載過程中主要針對(duì)可拆分任務(wù)，利用本地計(jì)算和卸載計(jì)算結(jié)合的形式，計(jì)算資源的收益，根據(jù)計(jì)算結(jié)果將要求高的任務(wù)部分卸載至移動(dòng)邊緣計(jì)算服務(wù)器中，將簡單的任務(wù)放入用戶本地計(jì)算中，從而節(jié)省不必要的能耗。三種計(jì)算執(zhí)行方式之間的關(guān)系如圖2所示。

圖2 移動(dòng)邊緣計(jì)算執(zhí)行方式關(guān)系圖

1.2 構(gòu)建任務(wù)卸載模型

根據(jù)對(duì)移動(dòng)邊緣計(jì)算卸載形式分析結(jié)果，構(gòu)建用戶移動(dòng)邊緣計(jì)算卸載網(wǎng)絡(luò)模型，模型具體結(jié)構(gòu)如圖3所示。

圖3 移動(dòng)邊緣計(jì)算卸載網(wǎng)絡(luò)模型結(jié)構(gòu)

基于圖3可知，移動(dòng)邊緣計(jì)算卸載模型是由K個(gè)移動(dòng)設(shè)備以及一個(gè)具備高性能服務(wù)器的基站構(gòu)建而成。在網(wǎng)絡(luò)時(shí)隙中，設(shè)備可將制定的卸載決策TDMA(time division multiple access)卸載至邊緣服務(wù)器。

在建立移動(dòng)邊緣計(jì)算任務(wù)卸載本地執(zhí)行模型之前，需要進(jìn)行能量消耗和執(zhí)行時(shí)間的確定，以便準(zhǔn)確建立移動(dòng)邊緣計(jì)算任務(wù)在本地計(jì)算設(shè)備上的執(zhí)行模型。首先，對(duì)于本地執(zhí)行，需要考慮移動(dòng)設(shè)備的能量消耗。這包括移動(dòng)設(shè)備在執(zhí)行任務(wù)期間所消耗的能量，例如CPU運(yùn)行、數(shù)據(jù)傳輸?shù)冗^程中所需的功率?？梢酝ㄟ^實(shí)驗(yàn)或者建立能耗模型來測(cè)量或預(yù)測(cè)移動(dòng)設(shè)備在不同負(fù)載和操作條件下的能量消耗。其次，還需要確定移動(dòng)邊緣計(jì)算任務(wù)在本地執(zhí)行時(shí)的執(zhí)行時(shí)間。這涉及到移動(dòng)設(shè)備處理任務(wù)所需的計(jì)算資源、存儲(chǔ)資源以及網(wǎng)絡(luò)傳輸延遲等因素?？梢酝ㄟ^在移動(dòng)設(shè)備上運(yùn)行任務(wù)，并測(cè)量執(zhí)行時(shí)間，或通過建立執(zhí)行時(shí)間模型來評(píng)估任務(wù)在本地計(jì)算設(shè)備上的執(zhí)行性能。通過準(zhǔn)確測(cè)量能量消耗和執(zhí)行時(shí)間，可以建立移動(dòng)邊緣計(jì)算任務(wù)在本地執(zhí)行設(shè)備上的執(zhí)行模型。這個(gè)模型將為后續(xù)的決策提供基礎(chǔ)，幫助選擇合適的卸載策略和資源分配方案，以最小化系統(tǒng)開銷和提高任務(wù)執(zhí)行效率。

設(shè)定qk表示第k個(gè)設(shè)備任務(wù)上傳發(fā)射功率，信道增益為fk，以此獲取任務(wù)傳輸速率[14-15]以及任務(wù)卸載所需時(shí)間，結(jié)果如下式所示：

(1)

(2)

(3)

式中，εoff，k為計(jì)算出的任務(wù)卸載能耗。

2 基于強(qiáng)化學(xué)習(xí)的移動(dòng)邊緣計(jì)算任務(wù)卸載

由于上述確定的移動(dòng)邊緣計(jì)算任務(wù)卸載多目標(biāo)組合優(yōu)化問題屬于NP難問題，因此需要采用深度強(qiáng)化學(xué)習(xí)中的Q-Learning算法[16-19]解決任務(wù)卸載以及資源分配問題。

強(qiáng)化學(xué)習(xí)算法主要是通過不斷的試錯(cuò)獲取問題的最優(yōu)解，該算法通常由狀態(tài)、動(dòng)作、匯報(bào)以及智能體幾個(gè)元素組成。強(qiáng)化學(xué)習(xí)算法通常分為有模型和無模型兩種算法，由于真實(shí)網(wǎng)絡(luò)的場(chǎng)景環(huán)境較為復(fù)雜，無法有效建立算法模型，因此在移動(dòng)邊緣計(jì)算任務(wù)卸載過程中，可使用Q-Learning算法進(jìn)行卸載任務(wù)強(qiáng)化學(xué)習(xí)，從而實(shí)現(xiàn)移動(dòng)邊緣計(jì)算任務(wù)的卸載。

2.1 基于Q-Learning算法的卸載計(jì)算

當(dāng)面臨馬爾可夫決策過程(MDP)問題時(shí)，Q-Learning是一種基于強(qiáng)化學(xué)習(xí)的算法，旨在通過不斷與環(huán)境交互，學(xué)習(xí)最優(yōu)策略。該算法利用一個(gè)Q值表格來表示在不同狀態(tài)下采取不同動(dòng)作的預(yù)期回報(bào)，并通過更新和選擇最大Q值的方式，迭代地優(yōu)化策略。Q-Learning的核心是通過探索和利用的平衡，使智能體能夠?qū)W習(xí)到長期回報(bào)最大化的策略，而無需事先了解環(huán)境模型。這種算法被廣泛應(yīng)用于游戲智能體訓(xùn)練、路徑規(guī)劃等領(lǐng)域。將用戶看做一個(gè)智能體，設(shè)定系統(tǒng)狀態(tài)S的卸載決策系數(shù)為A，資源分配系數(shù)描述成H，剩余以此獲取系統(tǒng)狀態(tài)值以及動(dòng)作值，過程如下式所示：

(4)

式中，F(xiàn)為任務(wù)卸載時(shí)剩余計(jì)算資源系數(shù)，a為系統(tǒng)動(dòng)作值，ai為計(jì)算任務(wù)Ti的卸載方案，aj為計(jì)算任務(wù)Tj的卸載方案。由于在智能體系統(tǒng)中，卸載決策系數(shù)能夠直接決定哪些計(jì)算任務(wù)需要卸載，哪些在本地計(jì)算執(zhí)行。

在Q-Learning算法中，設(shè)定智能體在t時(shí)刻的環(huán)境狀態(tài)為s，基于隨機(jī)選取的動(dòng)作a，進(jìn)入到s中獲取響應(yīng)的獎(jiǎng)勵(lì)值r，以此更新Q表格和算法當(dāng)前狀態(tài)，從而獲取最佳的卸載策略，過程如下式所示：

Q(st，at)=Q(st，at)+

(5)

式中，ι為折扣因子，η為學(xué)習(xí)率，Q(st，at)為獲取的最佳卸載策略。

2.2 權(quán)重分配

基于確定的最佳卸載策略，可以構(gòu)建一個(gè)層次結(jié)構(gòu)模型來比較模型中不同準(zhǔn)則層因素的重要性。這種層次結(jié)構(gòu)模型將幫助明確各個(gè)因素之間的相對(duì)權(quán)重，從而對(duì)移動(dòng)邊緣計(jì)算任務(wù)進(jìn)行更合理的決策。首先，需要確定準(zhǔn)則層因素。這些因素可包括能源消耗、執(zhí)行時(shí)間、任務(wù)負(fù)載、設(shè)備性能等與任務(wù)卸載和資源分配相關(guān)的因素。通過比較和分析這些因素，可以確定它們?cè)跊Q策過程中的相對(duì)重要性。接下來，根據(jù)比較結(jié)果，建立一個(gè)判斷矩陣。判斷矩陣是根據(jù)準(zhǔn)則層因素之間的比較結(jié)果構(gòu)建的，用于定量地表示它們的重要性。通過兩兩比較準(zhǔn)則層因素，并給出其相對(duì)重要性的比較判斷，可以得到一個(gè)方陣形式的判斷矩陣。然后，需要進(jìn)行一致性檢驗(yàn)來驗(yàn)證判斷矩陣的合理性。一致性檢驗(yàn)是為了確保判斷矩陣的邏輯一致性，即判斷矩陣中的比較判斷是否符合一定的數(shù)學(xué)規(guī)律。通過計(jì)算一致性指標(biāo)(例如一致性比例CR)，可以評(píng)估判斷矩陣的一致性，以確保判斷矩陣的可靠性和合理性。最終，通過計(jì)算一致性檢驗(yàn)結(jié)果和矩陣運(yùn)算，可以得到最終的移動(dòng)邊緣計(jì)算任務(wù)權(quán)值向量。這個(gè)權(quán)值向量代表了各個(gè)準(zhǔn)則層因素對(duì)于最佳卸載策略的相對(duì)重要性?；谶@些權(quán)值，可以進(jìn)行任務(wù)卸載和資源分配的決策，選擇最優(yōu)的移動(dòng)邊緣計(jì)算策略，以達(dá)到系統(tǒng)開銷的最小化和任務(wù)執(zhí)行效果的最大化。

首先設(shè)定層次模型[20-22]層數(shù)為3層，第一層負(fù)責(zé)任務(wù)緩存價(jià)值獲取，第二層為計(jì)算任務(wù)的流行度、任務(wù)數(shù)據(jù)大小以及計(jì)算量的獲取層；第三層為任務(wù)層。

建立辨識(shí)矩陣時(shí)，設(shè)定矩陣中第i個(gè)元素與第j個(gè)元素之間重要程度為bi，j，任務(wù)的流行度、任務(wù)數(shù)據(jù)大小以及計(jì)算量都受任務(wù)緩存價(jià)值支配，建立額定辨識(shí)矩陣表述成B=bi，j形式。

基于上述建立的辨識(shí)矩陣，利用評(píng)價(jià)指標(biāo)算法確定矩陣的不一致程度值以及隨機(jī)一致性比值概率，以此完成最終計(jì)算任務(wù)權(quán)重向量的計(jì)算，過程如下式所示：

λ=w1xi+w2yi+w3Q(st，at)

(6)

式中，w表示與矩陣最大特征值對(duì)應(yīng)的特征向量，λ為獲取的權(quán)重向量，w1、w2、w3分別為任務(wù)在度量時(shí)流行度、任務(wù)CPU周期大小以及數(shù)據(jù)量權(quán)值，Q為表格，xi為Ti時(shí)刻橫坐標(biāo)值，yi為Ti時(shí)刻縱坐標(biāo)值。

當(dāng)用戶發(fā)出移動(dòng)邊緣計(jì)算任務(wù)的卸載請(qǐng)求時(shí)，移動(dòng)邊緣計(jì)算服務(wù)器會(huì)首先檢測(cè)是否已將該任務(wù)的計(jì)算結(jié)果緩存起來。如果存在已緩存的計(jì)算結(jié)果，服務(wù)器將直接返回緩存結(jié)果，并根據(jù)預(yù)設(shè)算法計(jì)算卸載策略值。該策略值決定是否將移動(dòng)邊緣計(jì)算任務(wù)卸載到邊緣設(shè)備上執(zhí)行，以降低系統(tǒng)的總開銷成本。然而，如果計(jì)算結(jié)果未被緩存，服務(wù)器將繼續(xù)使用Q-Learning算法來決定最佳的卸載策略和資源分配策略，以最小化系統(tǒng)的開銷。Q-Learning算法通過不斷的學(xué)習(xí)和迭代，基于環(huán)境與動(dòng)作的獎(jiǎng)勵(lì)情況，逐步優(yōu)化策略，并探索可能的卸載策略和資源分配方案。通過聯(lián)合優(yōu)化計(jì)算移動(dòng)邊緣計(jì)算任務(wù)的卸載、資源分配以及任務(wù)緩存策略值，系統(tǒng)可以得到最優(yōu)的開銷成本。這種方法利用緩存和智能決策相結(jié)合，針對(duì)不同的任務(wù)和環(huán)境條件[23-25]，實(shí)現(xiàn)了高效的任務(wù)卸載和資源利用，提高了系統(tǒng)性能和用戶體驗(yàn)。

3 仿真實(shí)驗(yàn)與性能分析

3.1 仿真實(shí)驗(yàn)環(huán)境

為了驗(yàn)證本文基于強(qiáng)化學(xué)習(xí)的移動(dòng)邊緣計(jì)算任務(wù)卸載方法的整體有效性，需要對(duì)此方法測(cè)試。

分別采用基于強(qiáng)化學(xué)習(xí)方法的移動(dòng)邊緣計(jì)算任務(wù)卸載(本文方法)、基于遺傳算法的可持續(xù)任務(wù)卸載決策方法(文獻(xiàn)[4]方法)、基于免疫優(yōu)化的邊緣計(jì)算任務(wù)卸載(文獻(xiàn)[7]方法)進(jìn)行對(duì)比測(cè)試。

測(cè)試過程中，基于計(jì)算機(jī)仿真平臺(tái)建立一個(gè)虛擬大型的集中式移動(dòng)邊緣計(jì)算網(wǎng)絡(luò)，仿真環(huán)境參數(shù)如表1所示。

表1 仿真環(huán)境參數(shù)

設(shè)定網(wǎng)絡(luò)中移動(dòng)邊緣計(jì)算服務(wù)器位于基站附近，小企業(yè)服務(wù)器隨機(jī)分散在網(wǎng)絡(luò)中，覆蓋范圍為35 m，其余測(cè)試參數(shù)如表2所示。

表2 集中式移動(dòng)邊緣計(jì)算網(wǎng)絡(luò)參數(shù)值

開展移動(dòng)邊緣計(jì)算任務(wù)卸載方法有效性檢測(cè)時(shí)，設(shè)定卸載實(shí)驗(yàn)方案有3種，如表3所示。

表3 實(shí)驗(yàn)方案

3.2 仿真結(jié)果與性能分析

3.2.1 時(shí)延測(cè)試

選取200個(gè)計(jì)算任務(wù)作為卸載任務(wù)目標(biāo)，基于上述設(shè)定的卸載方案，分別采用基于強(qiáng)化學(xué)習(xí)方法的移動(dòng)邊緣計(jì)算任務(wù)卸載(本文方法)、基于遺傳算法的可持續(xù)任務(wù)卸載決策方法(文獻(xiàn)[4]方法)、基于免疫優(yōu)化的邊緣計(jì)算任務(wù)卸載(文獻(xiàn)[7]方法)開展移動(dòng)邊緣計(jì)算任務(wù)卸載，檢測(cè)上述3種方法在移動(dòng)邊緣計(jì)算任務(wù)卸載時(shí)的總時(shí)延變化情況，結(jié)果如圖4所示。

圖4 不同方法任務(wù)卸載總時(shí)延測(cè)試結(jié)果

分析圖4可知，移動(dòng)邊緣計(jì)算任務(wù)的數(shù)量越多，任務(wù)卸載計(jì)算時(shí)所測(cè)試出的總時(shí)延就越高。整體來看，當(dāng)移動(dòng)邊緣計(jì)算任務(wù)都在本地執(zhí)行時(shí)所測(cè)試出的總時(shí)延較小，計(jì)算任務(wù)若全部卸載，則總時(shí)延較大。本文方法在移動(dòng)邊緣計(jì)算任務(wù)卸載時(shí)，測(cè)試出的總時(shí)延要優(yōu)于其他方法的測(cè)試結(jié)果。其中，基于遺傳算法的可持續(xù)任務(wù)卸載決策方法直接根據(jù)優(yōu)化結(jié)果制定卸載策略，所以該方法在完成任務(wù)卸載時(shí)所用時(shí)延較大；基于免疫優(yōu)化的邊緣計(jì)算任務(wù)卸載方法在設(shè)計(jì)免疫算法時(shí)，算法本身誤差較大，所以該方法在任務(wù)卸載過程中，測(cè)試出的總時(shí)延較不理想。而本文方法則使用Q-Learning算法對(duì)卸載任務(wù)展開強(qiáng)化學(xué)習(xí)，在不斷的試錯(cuò)過程中，獲取計(jì)算任務(wù)的卸載策略，所以該方法在任務(wù)卸載時(shí)，測(cè)試出的總時(shí)延較為理想。

3.2.2 能耗及時(shí)間測(cè)試

采用本文方法，文獻(xiàn)[4]方法以及文獻(xiàn)[7]方法開展移動(dòng)邊緣計(jì)算任務(wù)卸載時(shí)，對(duì)上述3種方法的卸載能耗以及卸載時(shí)間展開測(cè)試，以此驗(yàn)證上述3種卸載方法的卸載性能，測(cè)試結(jié)果如表4所示。

表4 不同方法的卸載能耗、時(shí)間測(cè)試結(jié)果

分析表4可知，在開展移動(dòng)邊緣計(jì)算任務(wù)卸載時(shí)，隨著待卸載任務(wù)數(shù)量的增加，3種方法測(cè)試出的卸載時(shí)間以及卸載能耗均出現(xiàn)不同程度的上升趨勢(shì)。但是整體來看，本文方法在測(cè)試過程中檢測(cè)出的卸載時(shí)間以及任務(wù)卸載能耗都是3種方法中最好的。由此可證明，本文方法在移動(dòng)邊緣計(jì)算任務(wù)卸載時(shí)，卸載方法具備有效性。本文方法具有較低卸載能耗與較短卸載時(shí)間的原因在于，本文方法對(duì)任務(wù)卸載的相關(guān)參數(shù)進(jìn)行精準(zhǔn)的計(jì)算，并構(gòu)建任務(wù)卸載模型。并且結(jié)合深度學(xué)習(xí)中的Q-Learning算法對(duì)計(jì)算任務(wù)進(jìn)行強(qiáng)化訓(xùn)練，從而獲得最佳的任務(wù)卸載策略。

4 結(jié)束語

基于強(qiáng)化學(xué)習(xí)的移動(dòng)邊緣計(jì)算任務(wù)卸載方法能夠有效地優(yōu)化數(shù)據(jù)處理和計(jì)算任務(wù)的分配，提高了移動(dòng)邊緣計(jì)算系統(tǒng)的性能和效率。然而，該方法也存在一些局限性。首先，由于強(qiáng)化學(xué)習(xí)方法需要大量的訓(xùn)練數(shù)據(jù)和計(jì)算資源，因此其計(jì)算成本相對(duì)較高。其次，當(dāng)計(jì)算任務(wù)量較大時(shí)，強(qiáng)化學(xué)習(xí)可能會(huì)產(chǎn)生比較大的決策空間，導(dǎo)致計(jì)算開銷增加并降低系統(tǒng)的性能。此外，基于強(qiáng)化學(xué)習(xí)的任務(wù)卸載方法也比較難以處理多目標(biāo)和多約束的情況。為了解決這些問題，未來可以從以下幾個(gè)方面進(jìn)行改進(jìn)。首先，可以采用深度強(qiáng)化學(xué)習(xí)等技術(shù)提高算法的學(xué)習(xí)效率和性能，并通過分布式計(jì)算等方式降低計(jì)算成本。其次，可以使用遺傳算法等進(jìn)化算法來處理多目標(biāo)和多約束問題，提高決策效率和優(yōu)化性能。此外，還可以通過引入傳感器網(wǎng)絡(luò)、邊緣計(jì)算設(shè)備和物聯(lián)網(wǎng)等技術(shù)，構(gòu)建更加智能、高效和可靠的移動(dòng)邊緣計(jì)算系統(tǒng)，為實(shí)現(xiàn)更廣泛的應(yīng)用場(chǎng)景打下基礎(chǔ)[26-27]。