• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    移動(dòng)邊緣計(jì)算網(wǎng)絡(luò)中的資源分配與定價(jià)①

    2022-11-07 09:07:18呂曉東邢煥來宋富洪王心漢
    關(guān)鍵詞:智能資源策略

    呂曉東,邢煥來,宋富洪,王心漢

    1(西南交通大學(xué) 信息科學(xué)與技術(shù)學(xué)院,成都 610031)

    2(西南交通大學(xué) 計(jì)算機(jī)與人工智能學(xué)院,成都 610031)

    1 引言

    隨著移動(dòng)應(yīng)用和物聯(lián)網(wǎng)的快速發(fā)展,功率和計(jì)算資源有限的移動(dòng)設(shè)備(MDs)不再滿足資源密集型應(yīng)用的嚴(yán)格要求,如低延遲、高可靠性、用戶體驗(yàn)連續(xù)性的要求[1].在移動(dòng)邊緣計(jì)算(MEC)中,網(wǎng)絡(luò)運(yùn)營(yíng)商和服務(wù)提供商進(jìn)行合作,在網(wǎng)絡(luò)邊緣提供優(yōu)秀的通信和計(jì)算資源,以增強(qiáng)MD 能力[2].

    在MEC 中,計(jì)算資源的管理在提高資源利用率和優(yōu)化系統(tǒng)資源效益方面起著至關(guān)重要的作用[3].由MEC服務(wù)器處理外部任務(wù)會(huì)消耗本地計(jì)算資源.因此,每個(gè)MD 根據(jù)某種資源定價(jià)機(jī)制支付一定的服務(wù)費(fèi),以激勵(lì)邊緣云提供足夠的計(jì)算資源.

    現(xiàn)有的定價(jià)機(jī)制,如基于拍賣的,依賴于中間機(jī)構(gòu)的靜態(tài)定價(jià)[4-6].拍賣雙方都需要向中介提供的服務(wù)支付費(fèi)用.總成本的增加使得雙方都無法從資源交易中獲得最佳的利益.同時(shí),靜態(tài)定價(jià)也不能適應(yīng)MD 不斷變化的資源需求.在這種情況下,MEC 服務(wù)器很難有效地利用其本地資源.因此,一個(gè)關(guān)鍵的問題是如何有效地將有限的MEC 資源分配給具有不同需求和偏好的相互競(jìng)爭(zhēng)的MD.為此,我們將MEC 環(huán)境中的多資源分配和定價(jià)問題表述為一個(gè)包含一個(gè)領(lǐng)導(dǎo)者和多個(gè)跟隨者的多階段Stackelberg 博弈,其中所有MEC 服務(wù)器同時(shí)將它們的實(shí)時(shí)價(jià)格發(fā)送到一個(gè)聚合平臺(tái)(AP).在第1 階段,通過MEC 服務(wù)器公布的價(jià)格,AP 通過解決一個(gè)效用最大化問題來找到最優(yōu)的資源分配解決方案.在第2 階段,基于環(huán)境的反饋(即資源如何分配給MDs),我們利用多代理近端策略優(yōu)化(MAPPO)算法[7]學(xué)習(xí)每個(gè)MEC 服務(wù)器的最優(yōu)定價(jià)策略,這種策略不需要MEC 服務(wù)器獲取其他MEC 服務(wù)器實(shí)現(xiàn)的定價(jià)策略就可以做出最優(yōu)的決策.

    我們的主要貢獻(xiàn)如下: (1)我們通過構(gòu)建一個(gè)Stackelberg 的領(lǐng)導(dǎo)者-跟隨者博弈,充分考慮了AP 和MEC 服務(wù)器之間的互動(dòng)以及服務(wù)器之間的競(jìng)爭(zhēng).納什均衡給出了完全競(jìng)爭(zhēng)的合理結(jié)果.(2)該算法基于MAPPO,這是一種具有集中式訓(xùn)練和分布式執(zhí)行的深度強(qiáng)化學(xué)習(xí)算法,能夠適應(yīng)環(huán)境動(dòng)力學(xué)和參數(shù)的不確定性.每個(gè)MEC 服務(wù)器作為一個(gè)智能體,不斷地與環(huán)境交互,以生成一系列的培訓(xùn)經(jīng)驗(yàn).智能體既不需要事先了解MEC 資源的折扣成本,也不需要知道其他智能體所采取的行動(dòng).因此,信號(hào)傳遞的開銷就大大減少了.(3)仿真結(jié)果表明,該算法可以為每個(gè)MEC 服務(wù)器學(xué)習(xí)一個(gè)優(yōu)秀的策略,以確定其資源的單價(jià).

    2 相關(guān)工作

    邊緣系統(tǒng)的最優(yōu)資源分配和定價(jià)已經(jīng)引起了越來越多的研究關(guān)注.主要有兩個(gè)研究方向: 定價(jià)導(dǎo)向因素和最優(yōu)定價(jià)策略.

    定價(jià)導(dǎo)向因素.Dong 等人[8]提出了一種云計(jì)算資源定價(jià)算法,分析歷史資源使用情況并不斷調(diào)整資源價(jià)格.但該算法只考慮了資源利用率,沒有分析其他重要因素.Liu 等人[9]提出了一種基于價(jià)格的分布式算法,只強(qiáng)調(diào)了任務(wù)調(diào)度.Li 等人[10]提出了云計(jì)算的靜態(tài)資源定價(jià)方案.定價(jià)操作簡(jiǎn)單,但難以滿足終端設(shè)備的動(dòng)態(tài)需求.他們沒有考慮用戶需求與資源價(jià)格之間的實(shí)時(shí)關(guān)系,因此不能根據(jù)用戶需求動(dòng)態(tài)調(diào)整資源價(jià)格.

    最優(yōu)定價(jià)策略.現(xiàn)有的最優(yōu)定價(jià)策略大多是基于拍賣和博弈論的.Zhang 等人[11]研究了通過基于拍賣的算法對(duì)系統(tǒng)效益和多維資源的聯(lián)合優(yōu)化.解決方案是系統(tǒng)性能改進(jìn)和單位效益的產(chǎn)物.然而,該算法以每一輪拍賣為優(yōu)化目標(biāo),難以接近全局最優(yōu).因此,執(zhí)行成本非常高.Dong 等人[12]采用了一種基于價(jià)格的雙層Stackelberg 博弈來模擬一個(gè)由單個(gè)MEC 服務(wù)器和多個(gè)用戶組成的MEC 系統(tǒng).

    3 系統(tǒng)模型

    3.1 網(wǎng)絡(luò)模型

    MEC 系統(tǒng)模型由多個(gè)利益相關(guān)者組成: (1)希望出售免費(fèi)資源的MEC 服務(wù)器; (2)希望購買資源以執(zhí)行計(jì)算任務(wù)的MD; (3)AP 作為第三方代理,代表MD 從MEC 服務(wù)器購買資源.不失一般性,我們考慮一個(gè)通用的“多對(duì)多”場(chǎng)景,即每個(gè)MEC 都可以將資源出售給多個(gè)MD.同時(shí),每個(gè)MD 可以購買多個(gè)MEC 服務(wù)器出售的資源.

    我們考慮一個(gè)具有多個(gè)MD 和具有多種類型資源的多個(gè)MEC 服務(wù)器的MEC 系統(tǒng).我們用U={1,2,···,U}和M={1,2,···,M}分別表示MD 和MEC 服務(wù)器的集合.R={1,2,···,R}表示資源種類的集合.我們有|U|=U,|M|=M,|R|=R.MEC 服務(wù)器和MD 之間的相互作用總結(jié)如下:

    (1)MEC 服務(wù)器i∈M,希望出售空閑資源r∈R,于是向AP 告知它的可用資源數(shù)量Qi,r和其單位資源的期望價(jià)格pi,r.

    (2)給定價(jià)格pi,r和可用資源數(shù)量Qi,r,MDj∈U決定從每個(gè)MEC 服務(wù)器購買的資源數(shù)量

    (3)MDj使用所購買的資源來處理其計(jì)算任務(wù).

    3.2 多階段Stackelberg 博弈

    Stackelberg 領(lǐng)導(dǎo)者-跟隨者博弈是一個(gè)策略游戲,其中領(lǐng)導(dǎo)者承諾一個(gè)策略,然后跟隨者跟隨[13].一般來說,游戲中的所有玩家都是自私的,因?yàn)樗麄兠總€(gè)人都考慮了他人的策略來最大化自己的利益.具體來說,考慮到跟隨者可能采取的策略,領(lǐng)導(dǎo)者選擇了一種最大化其利益的策略.基于觀察領(lǐng)導(dǎo)者的策略,每個(gè)跟隨者都采用了使其利益最大化的策略.然后,我們解釋了跟隨者之間的競(jìng)爭(zhēng).通過MAPPO 算法,得到了每個(gè)跟隨者的最佳響應(yīng).在這個(gè)算法中,每個(gè)跟隨者都與環(huán)境交互,并學(xué)習(xí)一種策略來優(yōu)化其長(zhǎng)期獎(jiǎng)勵(lì),而不需要考慮他人采取的行動(dòng).Stackelberg 領(lǐng)導(dǎo)者-跟隨者博弈的定義如下:

    玩家: AP 和MEC 服務(wù)器都是游戲玩家.AP 是領(lǐng)導(dǎo)者,而所有的MEC 服務(wù)器都是跟隨者.

    策略: 對(duì)于MEC 服務(wù)器i∈M,他的策略是確定資源r∈R的單價(jià); 對(duì)于AP,策略是確定MDj∈U從MEC服務(wù)器處購買的資源r的數(shù)量.

    收益: MEC 服務(wù)器、MD 和AP 的收益函數(shù)分別由式(1)-式(3)給出.

    令xi.j.r表示MDj∈U從MEC 服務(wù)器i∈M處購買的資源r∈R的數(shù)量.MEC 服務(wù)器i的收益計(jì)算如下:

    其中,pi,r表示MEC 服務(wù)器i的資源r的單價(jià),xi={xi,j,r}j∈U,r∈R,pi={pi,r}j∈U.

    MDj的收益定義如下:

    其中,xj={xi,j,r}i∈M,r∈R,p={pi,r}i∈M,j∈U,ωi,j,r是MEC 服務(wù)器i出售給MDj的資源r的質(zhì)量.

    AP 的收益是所有MEC 服務(wù)器和MD 收益的總和(即社會(huì)福利),定義如下:

    其中,x={xi,j,r}i∈M,j∈U,r∈R.

    由于所有資源都有獨(dú)立的預(yù)算,且彼此不受影響,因此我們可以將多資源分配和定價(jià)問題分解為多個(gè)單資源分配和定價(jià)子問題.因此,我們將優(yōu)化問題分解為R個(gè)獨(dú)立的子問題,每個(gè)子問題都與特定的資源類型相關(guān)聯(lián).與整體處理原始優(yōu)化問題相比,該分解的主要優(yōu)點(diǎn)是處理多個(gè)子問題顯著降低了計(jì)算復(fù)雜度.與r∈R相關(guān)的子問題表示為:

    其中,xi,r={xi,j,r}j∈U,xr={xi,j,r}i∈M,j∈U,pr={pi,r}i∈M.

    3.3 AP 社會(huì)福利優(yōu)化

    針對(duì)與資源r相關(guān)的子問題,給定所有MEC 服務(wù)器對(duì)資源r的單價(jià)(即pr),AP 的目標(biāo)是最大化它的收益.

    問題1:

    其中,Qi,r是MEC 服務(wù)器i中資源r的可售賣數(shù)量,Bj,r是MDj購買資源r的預(yù)算.

    定理1.問題1 的最優(yōu)解如下:

    其中,

    證明見附錄A.

    4 基于MAPPO 的AP 收益優(yōu)化

    本節(jié)將介紹每個(gè)MEC 服務(wù)器如何選擇其對(duì)AP所采用的策略的最佳響應(yīng).

    4.1 基于深度強(qiáng)化學(xué)習(xí)的方法

    我們使用多智能體強(qiáng)化學(xué)習(xí)(multi-agent reinforcement learning,MARL)來解決多重單一資源分配和定價(jià)子問題.我們將每個(gè)子問題描述為一個(gè)馬爾可夫決策過程(Markov decision process,MDP),以準(zhǔn)確地反映資源分配和定價(jià)的決策過程.然后,我們將 MAPPO應(yīng)用于這些子問題.由于其在全局優(yōu)化方面的出色性能,MAPPO 可以在需要時(shí)快速為每個(gè)MEC 服務(wù)器獲得接近最優(yōu)的單一資源分配和定價(jià)策略.

    對(duì)于資源r,給定來自環(huán)境的反饋(即資源r如何分配給MD),每個(gè)MEC 服務(wù)器需要確定資源r的單價(jià)以最大化它的收益.

    MDP 的元素如下所示,包括狀態(tài)空間、動(dòng)作空間和獎(jiǎng)勵(lì)函數(shù).

    狀態(tài)空間: MEC 服務(wù)器i在時(shí)隙t時(shí)刻的狀態(tài)空間表示為oti,包括對(duì)前面的L個(gè)時(shí)隙的觀察,如式(12)所述:

    全局狀態(tài): MAPPO 基于全局狀態(tài)s而不是本地觀察oi學(xué)習(xí)策略 πθ和值函數(shù)V?(s).我們使用所有局部觀測(cè)結(jié)果的連接來作為critic 網(wǎng)絡(luò)的輸入.

    動(dòng)作空間: 在時(shí)隙t,MEC 服務(wù)器i∈M觀察前L個(gè)時(shí)隙的資源分配情況,決定在當(dāng)前時(shí)隙的單價(jià),即pti,r.

    獎(jiǎng)勵(lì)函數(shù): 獎(jiǎng)勵(lì)函數(shù)定義如下:

    其中,cti是MEC 服務(wù)器i的折扣成本.log 函數(shù)確保當(dāng)所獲收益(即)不足以抵扣成本時(shí),獎(jiǎng)勵(lì)是負(fù)的.

    4.2 基于MAPPO 的資源分配和定價(jià)策略(RAPMAPPO)

    MARL 算法可以分為兩種框架: 集中式學(xué)習(xí)和分散式學(xué)習(xí).集中式方法假設(shè)合作博弈,并通過學(xué)習(xí)單一策略直接擴(kuò)展單智能體強(qiáng)化學(xué)習(xí)算法,以同時(shí)產(chǎn)生所有智能體的聯(lián)合動(dòng)作.在分散學(xué)習(xí)中,每個(gè)智能體都優(yōu)化自己的獨(dú)立獎(jiǎng)勵(lì); 這些方法可以解決非零和博弈,但可能會(huì)受到非平穩(wěn)轉(zhuǎn)換的影響.最近的工作已經(jīng)開發(fā)出兩條研究路線來彌合這兩個(gè)框架之間的差距: 集中培訓(xùn)和分散執(zhí)行(centralized training and decentralized execution,CTDE)和值分解(value decomposition,VD).CTDE 通過采用actor-critic 結(jié)構(gòu)并學(xué)習(xí)集中的critic 來減少方差,從而改進(jìn)了分散的強(qiáng)化學(xué)習(xí).代表性的CTDE方法是多智能體深度確定性策略梯度(multi-agent deep deterministic policy gradient,MADDPG)[14].VD 通常與集中式Q 學(xué)習(xí)相結(jié)合,將聯(lián)合Q 函數(shù)表示為每個(gè)代理的局部Q 函數(shù)的函數(shù)[15],這已被視為許多MARL 基準(zhǔn)測(cè)試的黃金標(biāo)準(zhǔn).MAPPO 通過將單個(gè)近端策略優(yōu)化算法(proximal policy optimization algorithms,PPO)[16]訓(xùn)練與全局值函數(shù)相結(jié)合,屬于CTDE 類別.不同的是PPO 是一個(gè)on-policy 算法,MADDPG 是基于offpolicy 的算法,但是MAPPO 經(jīng)過簡(jiǎn)單的超參數(shù)調(diào)整就能獲得比較好的成績(jī).

    在RAP-MAPPO 中,每個(gè)MEC 服務(wù)器都被視為一個(gè)智能體.每個(gè)智能體都有一個(gè)參數(shù)為θ的actor 網(wǎng)絡(luò)和一個(gè)參數(shù)為?的critic 網(wǎng)絡(luò).RAP-MAPPO 為每個(gè)智能體訓(xùn)練這兩個(gè)神經(jīng)網(wǎng)絡(luò).我們用V?表示critic 網(wǎng)絡(luò),用 πθ表示actor 網(wǎng)絡(luò).我們使用統(tǒng)一的經(jīng)驗(yàn)重放緩沖區(qū)來存儲(chǔ)歷史數(shù)據(jù)點(diǎn)以進(jìn)行訓(xùn)練.RAP-MAPPO 是一種基于集中式訓(xùn)練和分布式執(zhí)行的方法.在集中訓(xùn)練階段,actor 網(wǎng)絡(luò)只從自身獲取觀測(cè)信息,而critic 網(wǎng)絡(luò)獲取全局狀態(tài).在分布式執(zhí)行階段,每個(gè)代理只需要它的actor 網(wǎng)絡(luò)(而不需要critic 網(wǎng)絡(luò)).通過與環(huán)境的交互,每個(gè)代理都可以做出合適的資源分配和定價(jià)策略.

    Actor 網(wǎng)絡(luò)被訓(xùn)練用來最大化:

    Critic 網(wǎng)絡(luò)被訓(xùn)練用來最大化.

    其中,是折扣獎(jiǎng)勵(lì).RAP-MAPPO 的訓(xùn)練步驟見算法1.

    算法1.RAP-MAPPO 的訓(xùn)練過程初始化: 初始化actor 網(wǎng)絡(luò)和critic 網(wǎng)絡(luò)的參數(shù)1: 設(shè)置學(xué)習(xí)率step≤stemmax α 2: while 3: 令 data buffer i=1 to batch_size D={}4: for do τ=[]5:6: for t=1 to T do pat=π(ota;θ),uta~pta,vta=V(sta;?)7:utrt,ot+1,st+1 8: 計(jì)算動(dòng)作 ,得到τ+=[st,ot,ut,rt,ot+1,st+1]9:images/BZ_105_405_1460_426_1491.pngA,images/BZ_105_430_1460_451_1491.pngRτ 10: 計(jì)算,將分成長(zhǎng)度為L(zhǎng) 的塊11: for 1=1,2,…,T //L do D=D∪(τ[l:l+L,images/BZ_105_571_1561_592_1592.pngA[l:l+L],images/BZ_105_680_1561_701_1592.pngR[l:l+L]])12:13: 從D 中隨機(jī)抽取K 個(gè)樣本L(θ)θ L(?)? 14: 通過更新,更新

    5 仿真結(jié)果

    5.1 參數(shù)設(shè)置

    我們考慮一個(gè)由多個(gè)MEC 服務(wù)器和多個(gè)MD 組成的MEC 系統(tǒng).收益最大化問題取決于可用的資源和預(yù)算.為簡(jiǎn)單起見,我們?cè)O(shè)置ωi,j,r=1+0.1j+i/10.資源質(zhì)量在整個(gè)實(shí)驗(yàn)過程中都是固定的.我們將長(zhǎng)期獎(jiǎng)勵(lì)的折扣系數(shù)設(shè)置為零,因?yàn)樽运降闹悄荏w的目標(biāo)是最大化他們的即時(shí)收益.為了加快訓(xùn)練過程,我們對(duì)每個(gè)智能體都采用了一個(gè)相對(duì)較小的網(wǎng)絡(luò).Actor 網(wǎng)絡(luò)和critic 網(wǎng)絡(luò)都是由1 個(gè)輸入層,3 個(gè)隱藏層和1 個(gè)輸出層組成.這3 個(gè)隱藏層分別有128、64 和32 個(gè)神經(jīng)元.此外,actor 網(wǎng)絡(luò)和critic 網(wǎng)絡(luò)都使用ReLU 作為所有隱藏層的激活函數(shù),參與者網(wǎng)絡(luò)采用tanh 函數(shù)激活輸出層進(jìn)行策略生成.其他模擬參數(shù)見表1.進(jìn)行性能比較的算法如下:

    表1 仿真參數(shù)

    質(zhì)量比例最優(yōu)定價(jià)(quality proportional optimal pricing,QPOP): 我們假設(shè)AP 對(duì)每個(gè)MEC 服務(wù)器提供的資源質(zhì)量有一個(gè)先驗(yàn)的知識(shí).單價(jià)設(shè)置與服務(wù)器的資源質(zhì)量成正比,同時(shí)消耗確定的資源和貨幣預(yù)算(即I=0).I=0在實(shí)際系統(tǒng)中是不可能的,但由QPOP 找到的解決方案可以作為一個(gè)最優(yōu)的基準(zhǔn).

    隨機(jī): 單價(jià)在(0,5)區(qū)間內(nèi)隨機(jī)產(chǎn)生.

    MADDPG: 每個(gè)MEC 服務(wù)器都被視為一個(gè)智能體,狀態(tài)空間由前L個(gè)時(shí)隙的價(jià)格和資源分配組成,動(dòng)作是資源的單價(jià),獎(jiǎng)勵(lì)函數(shù)基于MEC 服務(wù)器的資源收入和成本設(shè)計(jì).

    5.2 收斂性

    圖1 為所提出的RAP-MAPPO 和MADDPG 在不同MEC 服務(wù)器數(shù)量下的收斂曲線.隨著訓(xùn)練次數(shù)的增加,MEC 服務(wù)器的平均獎(jiǎng)勵(lì)逐漸上升,最終變?yōu)榉e極和穩(wěn)定.我們首先研究了MEC 服務(wù)器的數(shù)量對(duì)收斂性的影響.隨著MEC 服務(wù)器的增加,這兩種算法都需要更多的時(shí)間來收斂.這是因?yàn)楦嗟姆?wù)器會(huì)導(dǎo)致更大的狀態(tài)空間.這兩種算法需要對(duì)狀態(tài)空間進(jìn)行更多的探索,才能獲得可觀的獎(jiǎng)勵(lì).此外,MEC 服務(wù)器的平均獎(jiǎng)勵(lì)隨著MEC 服務(wù)器的增加而降低.這是因?yàn)楦嗟姆?wù)器會(huì)在競(jìng)爭(zhēng)期間降低價(jià)格,也就是說,每個(gè)服務(wù)器都希望出售其資源.然后,我們比較了兩種算法在收斂性方面的性能.我們很容易觀察到,與MADDPG 相比,RAP-MAPPO 具有收斂速度更快、平均獎(jiǎng)勵(lì)速度更高的特點(diǎn).

    圖1 不同算法的收斂性曲線

    5.3 MEC 服務(wù)器和MDs 在Stackelberg 均衡下的收益

    我們?cè)趦煞N場(chǎng)景下比較了這4 種算法.在第1 種場(chǎng)景下,Bj,r從5 到40 不等,Qi,r保持不變.在第2 種場(chǎng)景下,Qi,r均勻分布在[5,40]的范圍內(nèi),Bj,r固定為20.為了說明預(yù)算約束的影響,我們?cè)趯?shí)驗(yàn)過程中固定了MD 的質(zhì)量權(quán)重,并將M,U分別設(shè)置為4 和8.

    在第1 種場(chǎng)景下,RAP-MAPPO 在沒有對(duì)MEC 服務(wù)器提供的資源質(zhì)量的先驗(yàn)知識(shí)的情況下,獲得了接近最優(yōu)的性能,如圖2 所示.當(dāng)MEC 服務(wù)器的資源不足時(shí),MD 之間的激烈競(jìng)爭(zhēng)導(dǎo)致了賣方市場(chǎng).同時(shí),RAPMAPPO 在社會(huì)福利方面優(yōu)于MADDPG 和隨機(jī)算法(見圖3).這是因?yàn)殡S機(jī)定價(jià)不能充分利用MEC 服務(wù)器的資源,而RAP-MAPPO 則鼓勵(lì)MEC 服務(wù)器動(dòng)態(tài)調(diào)整其單價(jià),以達(dá)到提高資源效率的目的.

    圖2 不同MEC 資源數(shù)量下MEC 服務(wù)器收益

    圖3 不同MEC 資源數(shù)量下社會(huì)福利

    在第2 種場(chǎng)景下,從圖4 和圖5 可以看出,在大多數(shù)情況下,RAP-MAPPO 在MD 收益和社會(huì)福利方面比MADDPG 和隨機(jī)算法獲得了更好的性能.隨著MD 的平均貨幣預(yù)算的增長(zhǎng),MEC 服務(wù)器更有可能提高價(jià)格,以響應(yīng)AP 的資源購買策略.因此,MD 需要降低他們的資源需求或支付更多的費(fèi)用來鼓勵(lì)MEC 服務(wù)器銷售更多的資源,從而減少M(fèi)D 的回報(bào),即賣方市場(chǎng).

    圖4 不同MD 預(yù)算下MEC 服務(wù)器收益

    圖5 不同MD 預(yù)算下社會(huì)福利

    綜上所述,RAP-MAPPO 在MEC 服務(wù)器的收益和社會(huì)福利方面的表現(xiàn)優(yōu)于MADDPG 和隨機(jī)算法.它的性能與QPOP 類似.QPOP 需要知道MEC 服務(wù)器的質(zhì)量權(quán)重信息和MEC 服務(wù)器之間的無條件合作,而我們的方法只是基于與環(huán)境相互作用的局部觀察.

    6 結(jié)論

    本文研究了基于Stackelberg 博弈的資源分配和定價(jià)問題,其中AP 和MEC 服務(wù)器是領(lǐng)導(dǎo)者和追隨者.這個(gè)問題被分解為多個(gè)可以單獨(dú)解決的單一資源類型的子問題.我們采用MAPPO 來解決這個(gè)問題.對(duì)于任意的MEC 服務(wù)器,RAP-MAPPO 不需要知道其他MEC 服務(wù)器所采取的操作,這有助于減少信令開銷.此外,RAP-MAPPO 可以通過一系列的狀態(tài)-行動(dòng)-獎(jiǎng)勵(lì)觀察來指導(dǎo)競(jìng)爭(zhēng)智能體實(shí)現(xiàn)收益最大化.仿真結(jié)果表明,在RAP-MAPPO 中,MD 和MEC 服務(wù)器在滿足前者嚴(yán)格的貨幣預(yù)算約束的同時(shí),學(xué)習(xí)了接近最優(yōu)的回報(bào).此外,RAP-MAPPO 在收益和社會(huì)福利方面都優(yōu)于QPOP、隨機(jī)和MADDPG.

    附錄A.定理1 的證明

    問題1 對(duì)應(yīng)的拉格朗日方程是:

    KKT 條件如下:

    消去 λi,可得:

    因此,問題1 可以被分解為如下兩個(gè)子問題.

    子問題1:

    子問題1 對(duì)應(yīng)的拉格朗日形式的KKT 條件如下:

    消去 λi,可得:

    由式(25)可知:

    另一方面,式(23)的可行解可推出:

    因此可知:

    子問題2:

    子問題2 對(duì)應(yīng)的拉格朗日形式的KKT 條件如下:

    消去 μj,可得:

    由式(30)可知:

    另一方面,式(29)的可行解可推出:

    因此可得:

    綜上所述,問題1 的解如下:

    猜你喜歡
    智能資源策略
    基礎(chǔ)教育資源展示
    一樣的資源,不一樣的收獲
    例談未知角三角函數(shù)值的求解策略
    我說你做講策略
    智能前沿
    文苑(2018年23期)2018-12-14 01:06:06
    資源回收
    智能前沿
    文苑(2018年19期)2018-11-09 01:30:14
    智能前沿
    文苑(2018年17期)2018-11-09 01:29:26
    智能前沿
    文苑(2018年21期)2018-11-09 01:22:32
    高中數(shù)學(xué)復(fù)習(xí)的具體策略
    亚洲av免费高清在线观看| av福利片在线观看| 91午夜精品亚洲一区二区三区| 26uuu在线亚洲综合色| 高清av免费在线| 亚洲婷婷狠狠爱综合网| 免费在线观看成人毛片| 18+在线观看网站| 三级国产精品欧美在线观看| 一本—道久久a久久精品蜜桃钙片| 中国国产av一级| 日本欧美国产在线视频| 亚洲第一av免费看| 在线天堂最新版资源| 免费观看a级毛片全部| 狂野欧美激情性xxxx在线观看| 国产精品熟女久久久久浪| 丝瓜视频免费看黄片| 蜜桃在线观看..| 国内少妇人妻偷人精品xxx网站| 丰满人妻一区二区三区视频av| 日本爱情动作片www.在线观看| 狂野欧美白嫩少妇大欣赏| 国产成人精品一,二区| 国产高清不卡午夜福利| 桃花免费在线播放| 亚洲成人手机| 精品人妻一区二区三区麻豆| 成人亚洲欧美一区二区av| 少妇人妻 视频| 日本av手机在线免费观看| 亚洲欧美日韩另类电影网站| 免费人成在线观看视频色| 肉色欧美久久久久久久蜜桃| 精品午夜福利在线看| 好男人视频免费观看在线| 18禁动态无遮挡网站| 国产精品99久久久久久久久| 日本午夜av视频| 欧美日韩视频高清一区二区三区二| 久久人人爽人人片av| 在线观看免费视频网站a站| 国产精品一区二区在线观看99| 深夜a级毛片| 成人18禁高潮啪啪吃奶动态图 | 最近2019中文字幕mv第一页| 青春草视频在线免费观看| 国产熟女欧美一区二区| 18禁裸乳无遮挡动漫免费视频| 亚洲婷婷狠狠爱综合网| 黑人巨大精品欧美一区二区蜜桃 | 久久这里有精品视频免费| 纵有疾风起免费观看全集完整版| 免费av中文字幕在线| 男人爽女人下面视频在线观看| 久久久久久久亚洲中文字幕| 成人毛片60女人毛片免费| 日韩三级伦理在线观看| 高清欧美精品videossex| 亚洲国产精品国产精品| 免费观看av网站的网址| 国产成人精品婷婷| 午夜激情福利司机影院| 一个人看视频在线观看www免费| 国产精品偷伦视频观看了| 精品一区在线观看国产| 婷婷色av中文字幕| 亚洲久久久国产精品| 国产黄频视频在线观看| 成人漫画全彩无遮挡| 99热6这里只有精品| 久久毛片免费看一区二区三区| 日韩人妻高清精品专区| 国产日韩一区二区三区精品不卡 | 亚洲av不卡在线观看| 国产成人freesex在线| 少妇人妻一区二区三区视频| 一二三四中文在线观看免费高清| 精品亚洲成a人片在线观看| 精品国产露脸久久av麻豆| 99热网站在线观看| 日本欧美国产在线视频| 国产精品人妻久久久久久| 国产黄色免费在线视频| 日本爱情动作片www.在线观看| 香蕉精品网在线| 国产在线免费精品| 99久久精品热视频| 日韩亚洲欧美综合| 久久精品熟女亚洲av麻豆精品| 黄色一级大片看看| av天堂中文字幕网| 精品国产一区二区三区久久久樱花| 成年人免费黄色播放视频 | 777米奇影视久久| 国产一区亚洲一区在线观看| 国国产精品蜜臀av免费| 中文字幕av电影在线播放| 日韩免费高清中文字幕av| 亚洲欧美日韩另类电影网站| 亚洲不卡免费看| 日韩一区二区视频免费看| 久久鲁丝午夜福利片| 一级毛片黄色毛片免费观看视频| 熟女电影av网| 国产亚洲欧美精品永久| 亚洲精品第二区| 日日摸夜夜添夜夜添av毛片| 99热国产这里只有精品6| 91精品伊人久久大香线蕉| 丝瓜视频免费看黄片| 黑丝袜美女国产一区| 免费不卡的大黄色大毛片视频在线观看| 插阴视频在线观看视频| 久久国产精品男人的天堂亚洲 | 欧美最新免费一区二区三区| 在线观看三级黄色| 三级国产精品片| 99re6热这里在线精品视频| 少妇被粗大猛烈的视频| 五月天丁香电影| h视频一区二区三区| 亚洲激情五月婷婷啪啪| 一二三四中文在线观看免费高清| 成人综合一区亚洲| 国产亚洲5aaaaa淫片| 观看美女的网站| 久久久久久久国产电影| 亚洲成人av在线免费| 十分钟在线观看高清视频www | 久久久久久久久久久免费av| 国产亚洲91精品色在线| 一级av片app| 久久久久久久久久久免费av| 97超视频在线观看视频| 国产乱来视频区| 久久鲁丝午夜福利片| 亚洲国产av新网站| 少妇 在线观看| 国产成人一区二区在线| 亚洲伊人久久精品综合| 老司机亚洲免费影院| 久久久精品免费免费高清| 亚洲真实伦在线观看| 亚洲欧美日韩卡通动漫| 夜夜爽夜夜爽视频| 国产 一区精品| 18禁在线无遮挡免费观看视频| 午夜影院在线不卡| 欧美精品一区二区免费开放| 国产免费视频播放在线视频| a级一级毛片免费在线观看| 国产精品国产三级专区第一集| 久久久久久久精品精品| 一级爰片在线观看| 国产午夜精品久久久久久一区二区三区| 高清不卡的av网站| 久久精品国产亚洲av天美| 免费观看av网站的网址| 嫩草影院新地址| 亚洲av在线观看美女高潮| 免费观看在线日韩| 国产精品一区二区在线不卡| 精品亚洲乱码少妇综合久久| freevideosex欧美| 啦啦啦视频在线资源免费观看| 97在线人人人人妻| 国产精品国产三级专区第一集| 日日摸夜夜添夜夜爱| 中文在线观看免费www的网站| 欧美精品人与动牲交sv欧美| 久久国产亚洲av麻豆专区| 少妇精品久久久久久久| 亚洲激情五月婷婷啪啪| 久久6这里有精品| 国产一区有黄有色的免费视频| 国产黄色免费在线视频| 一本大道久久a久久精品| 午夜免费男女啪啪视频观看| 精品一区二区免费观看| 国产成人aa在线观看| 国产探花极品一区二区| 久久久国产一区二区| a级毛色黄片| 性高湖久久久久久久久免费观看| √禁漫天堂资源中文www| 国产精品久久久久久精品古装| 精品国产一区二区三区久久久樱花| 国产精品免费大片| 亚洲图色成人| 亚洲真实伦在线观看| 精品卡一卡二卡四卡免费| h视频一区二区三区| 精华霜和精华液先用哪个| 夜夜骑夜夜射夜夜干| 久久久精品免费免费高清| 看非洲黑人一级黄片| 春色校园在线视频观看| 国产成人午夜福利电影在线观看| 97超视频在线观看视频| 三上悠亚av全集在线观看 | 国产精品久久久久久精品古装| 精品国产露脸久久av麻豆| 日韩强制内射视频| 国产欧美日韩一区二区三区在线 | 国产男人的电影天堂91| 国产69精品久久久久777片| 波野结衣二区三区在线| 黑人猛操日本美女一级片| 午夜精品国产一区二区电影| 国产极品天堂在线| 久久国内精品自在自线图片| 国产精品99久久久久久久久| 国产亚洲午夜精品一区二区久久| 亚洲国产精品国产精品| 亚洲精品自拍成人| 免费观看的影片在线观看| 97超碰精品成人国产| 国内揄拍国产精品人妻在线| 99热这里只有是精品在线观看| 欧美最新免费一区二区三区| 日本av手机在线免费观看| 国产日韩欧美在线精品| 少妇人妻一区二区三区视频| 最近的中文字幕免费完整| 黄色一级大片看看| 午夜久久久在线观看| 国产欧美日韩一区二区三区在线 | 日韩中文字幕视频在线看片| 一区二区三区乱码不卡18| 一个人免费看片子| 精品少妇黑人巨大在线播放| 欧美日韩在线观看h| 国产精品一区二区在线不卡| 国产亚洲精品久久久com| 蜜桃久久精品国产亚洲av| 色5月婷婷丁香| 久久免费观看电影| 久久久久久伊人网av| 免费观看性生交大片5| 最近2019中文字幕mv第一页| h视频一区二区三区| 黄色配什么色好看| 2022亚洲国产成人精品| 日韩中文字幕视频在线看片| 18禁在线无遮挡免费观看视频| 永久免费av网站大全| 99热网站在线观看| 午夜福利影视在线免费观看| 精品99又大又爽又粗少妇毛片| 亚洲欧美日韩东京热| 美女主播在线视频| 亚洲欧美精品自产自拍| 九九爱精品视频在线观看| 在线播放无遮挡| 制服丝袜香蕉在线| 国产 一区精品| 久久6这里有精品| 日日啪夜夜爽| 80岁老熟妇乱子伦牲交| 亚洲经典国产精华液单| 日产精品乱码卡一卡2卡三| 欧美精品国产亚洲| 久久韩国三级中文字幕| 一级av片app| av福利片在线观看| 人人妻人人澡人人看| 人人澡人人妻人| 51国产日韩欧美| 夜夜爽夜夜爽视频| 国产免费福利视频在线观看| 亚洲av.av天堂| 国产成人免费无遮挡视频| 丝袜在线中文字幕| 99国产精品免费福利视频| 只有这里有精品99| 亚洲精品国产色婷婷电影| 中文字幕精品免费在线观看视频 | 国产精品.久久久| 中文精品一卡2卡3卡4更新| 男人狂女人下面高潮的视频| 欧美精品人与动牲交sv欧美| 国语对白做爰xxxⅹ性视频网站| 亚洲欧美成人精品一区二区| 日韩中文字幕视频在线看片| 国产深夜福利视频在线观看| 日本与韩国留学比较| 中文字幕精品免费在线观看视频 | 久久国内精品自在自线图片| 亚洲中文av在线| 免费久久久久久久精品成人欧美视频 | 久久国产亚洲av麻豆专区| 一级毛片aaaaaa免费看小| 亚洲激情五月婷婷啪啪| 精品国产国语对白av| av视频免费观看在线观看| 精品一区二区免费观看| 最近的中文字幕免费完整| 久久久久久久久久人人人人人人| 少妇裸体淫交视频免费看高清| 又黄又爽又刺激的免费视频.| 街头女战士在线观看网站| 亚洲综合精品二区| 人妻一区二区av| 日韩中文字幕视频在线看片| 久久精品国产a三级三级三级| 国产成人精品无人区| 91久久精品国产一区二区成人| 人妻 亚洲 视频| 久久久久久久久大av| 国产69精品久久久久777片| 欧美日韩综合久久久久久| 丰满迷人的少妇在线观看| 精品人妻一区二区三区麻豆| 精品久久久久久久久亚洲| 亚洲欧美一区二区三区国产| 精品熟女少妇av免费看| 高清不卡的av网站| 亚洲精华国产精华液的使用体验| 久久久国产一区二区| av在线app专区| 黄片无遮挡物在线观看| 老司机亚洲免费影院| 性高湖久久久久久久久免费观看| 视频中文字幕在线观看| 精品视频人人做人人爽| 少妇人妻 视频| a级毛色黄片| 亚洲精品自拍成人| 丝袜脚勾引网站| 国产免费福利视频在线观看| 亚洲精品日本国产第一区| 全区人妻精品视频| 久久午夜福利片| 国产精品.久久久| 亚洲色图综合在线观看| 午夜福利,免费看| 国产亚洲最大av| 久久狼人影院| 一级片'在线观看视频| 国产高清三级在线| 美女国产视频在线观看| av线在线观看网站| 国产极品粉嫩免费观看在线 | 免费黄频网站在线观看国产| 女人精品久久久久毛片| 亚洲图色成人| 日韩精品有码人妻一区| 91精品国产九色| 深夜a级毛片| 另类精品久久| 久久国产乱子免费精品| 久久精品久久久久久久性| 日产精品乱码卡一卡2卡三| 51国产日韩欧美| 在线观看av片永久免费下载| 最近的中文字幕免费完整| 亚洲精品aⅴ在线观看| 国产亚洲精品久久久com| 国产熟女欧美一区二区| 一本久久精品| 制服丝袜香蕉在线| 大香蕉97超碰在线| 亚洲成人av在线免费| 一区二区三区免费毛片| 亚洲成色77777| 国产成人a∨麻豆精品| 国产精品.久久久| 国产成人免费无遮挡视频| 精品视频人人做人人爽| 日本与韩国留学比较| 一级毛片我不卡| 免费看av在线观看网站| 成人影院久久| 亚洲国产精品成人久久小说| 免费看光身美女| 亚洲欧美成人综合另类久久久| 国产片特级美女逼逼视频| 亚洲国产日韩一区二区| 一边亲一边摸免费视频| 欧美3d第一页| 美女脱内裤让男人舔精品视频| 亚洲自偷自拍三级| 精品人妻熟女av久视频| 岛国毛片在线播放| 2018国产大陆天天弄谢| 特大巨黑吊av在线直播| tube8黄色片| a级毛片在线看网站| 高清不卡的av网站| 少妇的逼水好多| 免费av中文字幕在线| 少妇被粗大的猛进出69影院 | 看免费成人av毛片| 久久99热这里只频精品6学生| 国产在线视频一区二区| 高清不卡的av网站| h日本视频在线播放| 美女福利国产在线| av天堂中文字幕网| 精品卡一卡二卡四卡免费| 欧美最新免费一区二区三区| 国产精品久久久久成人av| 永久网站在线| 亚洲人与动物交配视频| 国产精品国产三级专区第一集| 天堂俺去俺来也www色官网| 国产精品福利在线免费观看| 国产欧美日韩一区二区三区在线 | 国产免费一区二区三区四区乱码| av.在线天堂| 在线 av 中文字幕| 天天操日日干夜夜撸| 欧美日韩av久久| 天天躁夜夜躁狠狠久久av| 亚洲精品成人av观看孕妇| 国产黄频视频在线观看| 成人二区视频| 九九久久精品国产亚洲av麻豆| 久久精品国产鲁丝片午夜精品| 最近最新中文字幕免费大全7| 观看免费一级毛片| 一级片'在线观看视频| 日韩欧美一区视频在线观看 | 成年人免费黄色播放视频 | 亚洲,欧美,日韩| 久久久久久久精品精品| 看十八女毛片水多多多| videossex国产| 欧美xxⅹ黑人| 久久人人爽人人片av| 国产真实伦视频高清在线观看| 国产欧美日韩一区二区三区在线 | 91久久精品国产一区二区成人| .国产精品久久| 国产精品久久久久成人av| 成人毛片60女人毛片免费| 久久精品夜色国产| 国产一区二区三区av在线| 狠狠精品人妻久久久久久综合| 99久久精品热视频| 午夜影院在线不卡| 麻豆精品久久久久久蜜桃| 国产精品久久久久久久电影| 亚洲国产色片| 欧美精品人与动牲交sv欧美| 欧美3d第一页| 亚洲精品自拍成人| 晚上一个人看的免费电影| 极品人妻少妇av视频| 在线观看一区二区三区激情| 欧美少妇被猛烈插入视频| 人妻一区二区av| 卡戴珊不雅视频在线播放| 欧美日韩综合久久久久久| 在线 av 中文字幕| 久久99蜜桃精品久久| 精品99又大又爽又粗少妇毛片| 我的女老师完整版在线观看| 午夜视频国产福利| 亚洲,一卡二卡三卡| 最近中文字幕2019免费版| 国产片特级美女逼逼视频| 日日啪夜夜撸| 久久久久久久大尺度免费视频| www.色视频.com| 国产免费又黄又爽又色| 偷拍熟女少妇极品色| 日韩熟女老妇一区二区性免费视频| 一本久久精品| 婷婷色麻豆天堂久久| 一级av片app| 亚洲国产精品专区欧美| 久热这里只有精品99| 青青草视频在线视频观看| h日本视频在线播放| 男人和女人高潮做爰伦理| 久久久午夜欧美精品| 丝袜在线中文字幕| 一本色道久久久久久精品综合| 免费人成在线观看视频色| 国产精品女同一区二区软件| 成人亚洲欧美一区二区av| 国产精品久久久久久精品电影小说| freevideosex欧美| 亚洲不卡免费看| 午夜激情久久久久久久| 尾随美女入室| 欧美日韩国产mv在线观看视频| 交换朋友夫妻互换小说| 国产精品久久久久久久久免| 亚洲精品色激情综合| 91精品一卡2卡3卡4卡| 午夜福利视频精品| 久久99一区二区三区| 欧美日韩av久久| 日本黄大片高清| 少妇熟女欧美另类| 精品久久久久久电影网| 一级毛片aaaaaa免费看小| 精品少妇久久久久久888优播| 久久久久久久久久人人人人人人| 亚洲人与动物交配视频| 久久久久精品久久久久真实原创| 国产免费又黄又爽又色| 日韩成人av中文字幕在线观看| 99视频精品全部免费 在线| 97精品久久久久久久久久精品| 看非洲黑人一级黄片| 日本欧美视频一区| 日韩成人av中文字幕在线观看| 99视频精品全部免费 在线| 少妇人妻精品综合一区二区| 日韩伦理黄色片| 国产一区有黄有色的免费视频| 我要看日韩黄色一级片| 99精国产麻豆久久婷婷| 日韩一区二区三区影片| 男人舔奶头视频| 秋霞在线观看毛片| 国产69精品久久久久777片| 高清午夜精品一区二区三区| 亚洲欧美日韩卡通动漫| 久久精品国产亚洲av涩爱| 免费观看性生交大片5| 波野结衣二区三区在线| 国产精品久久久久成人av| 一级,二级,三级黄色视频| 热re99久久精品国产66热6| 天天操日日干夜夜撸| 欧美少妇被猛烈插入视频| 美女中出高潮动态图| 精品久久国产蜜桃| 国产在线一区二区三区精| 日本免费在线观看一区| 精品国产国语对白av| 亚洲第一区二区三区不卡| 一区二区三区乱码不卡18| 大陆偷拍与自拍| 2021少妇久久久久久久久久久| 国产女主播在线喷水免费视频网站| 色婷婷久久久亚洲欧美| 男女啪啪激烈高潮av片| 午夜激情福利司机影院| 日日啪夜夜撸| 男人狂女人下面高潮的视频| av福利片在线| 欧美 日韩 精品 国产| 人人妻人人澡人人看| av黄色大香蕉| 七月丁香在线播放| 久久精品国产亚洲av天美| 日本wwww免费看| tube8黄色片| 自拍欧美九色日韩亚洲蝌蚪91 | 男人舔奶头视频| 国产精品一二三区在线看| av免费观看日本| 亚洲精品乱码久久久v下载方式| 桃花免费在线播放| 国产亚洲av片在线观看秒播厂| 一本—道久久a久久精品蜜桃钙片| 亚洲国产成人一精品久久久| 哪个播放器可以免费观看大片| 久热久热在线精品观看| 婷婷色综合大香蕉| 新久久久久国产一级毛片| 最近最新中文字幕免费大全7| 精品一区二区三卡| 日韩av免费高清视频| 久久av网站| 一区二区三区免费毛片| 黄色一级大片看看| 国产伦精品一区二区三区视频9| 熟妇人妻不卡中文字幕| 亚洲熟女精品中文字幕| 久久精品国产a三级三级三级| 日韩大片免费观看网站| 老女人水多毛片| 黑人高潮一二区| 国产精品人妻久久久久久| 一级a做视频免费观看| 亚洲,欧美,日韩| 精品久久国产蜜桃| 少妇的逼水好多| av天堂久久9| 九草在线视频观看| 一级二级三级毛片免费看| 亚洲国产精品999| 午夜91福利影院| 在线看a的网站| 国产乱来视频区| 黄片无遮挡物在线观看| 久久久久久久国产电影| 十分钟在线观看高清视频www | 成人毛片a级毛片在线播放| 另类精品久久| 亚洲国产精品专区欧美| 新久久久久国产一级毛片| 国产国拍精品亚洲av在线观看| 高清视频免费观看一区二区| 久久久久久久精品精品| 黑丝袜美女国产一区| 狂野欧美激情性bbbbbb| 免费播放大片免费观看视频在线观看| 欧美成人午夜免费资源| 一级片'在线观看视频| 伊人久久精品亚洲午夜| 热99国产精品久久久久久7| 只有这里有精品99| 国产日韩欧美亚洲二区| 日韩强制内射视频| 九草在线视频观看| 热99国产精品久久久久久7| 免费人妻精品一区二区三区视频|