一種基于梯度的多智能體元深度強(qiáng)化學(xué)習(xí)算法

趙春宇 賴俊 陳希亮 張人文

摘 要：多智能體系統(tǒng)在自動(dòng)駕駛、智能物流、醫(yī)療協(xié)同等多個(gè)領(lǐng)域中廣泛應(yīng)用，然而由于技術(shù)進(jìn)步和系統(tǒng)需求的增加，這些系統(tǒng)面臨著規(guī)模龐大、復(fù)雜度高等挑戰(zhàn)，常出現(xiàn)訓(xùn)練效率低和適應(yīng)能力差等問(wèn)題。為了解決這些問(wèn)題，將基于梯度的元學(xué)習(xí)方法擴(kuò)展到多智能體深度強(qiáng)化學(xué)習(xí)中，提出一種名為多智能體一階元近端策略優(yōu)化（MAMPPO）方法，用于學(xué)習(xí)多智能體系統(tǒng)的初始模型參數(shù)，從而為提高多智能體深度強(qiáng)化學(xué)習(xí)的性能提供新的視角。該方法充分利用多智能體強(qiáng)化學(xué)習(xí)過(guò)程中的經(jīng)驗(yàn)數(shù)據(jù)，通過(guò)反復(fù)適應(yīng)，找到在梯度下降方向上最敏感的參數(shù)并學(xué)習(xí)初始參數(shù)，使模型訓(xùn)練從最佳起點(diǎn)開始，有效提高了聯(lián)合策略的決策效率，顯著加快了策略變化的速度，面對(duì)新情況的適應(yīng)速度顯著加快。在星際爭(zhēng)霸Ⅱ上的實(shí)驗(yàn)結(jié)果表明，MAMPPO方法顯著提高了訓(xùn)練速度和適應(yīng)能力，為后續(xù)提高多智能強(qiáng)化學(xué)習(xí)的訓(xùn)練效率和適應(yīng)能力提供了一種新的解決方法。

關(guān)鍵詞：元學(xué)習(xí)；深度強(qiáng)化學(xué)習(xí)；梯度下降；多智能體深度強(qiáng)化學(xué)習(xí)

中圖分類號(hào)：TP181?? 文獻(xiàn)標(biāo)志碼：A??? 文章編號(hào)：1001-3695（2024）05-011-1356-06

doi： 10.19734/j.issn.1001-3695.2023.09.0411

Gradient-based multi-agent meta deep reinforcement learning algorithm

Abstract：Multi-agent systems have a wide range of applications in many fields， such as autonomous driving， intelligent logistics， and medical collaboration， etc. However， due to technological advances and increased system requirements， these systems face challenges such as large scale and high complexity， and often suffer from inefficient training and poor adaptability. To address these problems， this paper proposed a multi-agent first-order meta proximal policy optimization （MAMPPO） method by extending gradient-based meta-learning to multi-agent deep reinforcement learning. The method learned the initial model parameters in the multi-agent system to provide a new perspective for improving the performance of multi-agent deep reinforcement learning. It made full use of the previous experience in the process of multi-agent reinforcement learning to find the most sensitive parameters in the direction of gradient descent through repeated adaptation， and learned the initial parameters so that the model training starts from the optimal starting point. This method effectively improved the decision-making efficiency of the joint policy， and led to a significant increase in the speed of its policy change， which significantly accelerated the speed of adaptation in the face of a new situation. Experimental results on StarCraft Ⅱ show that the MAMPPO method can significantly improve the training speed and adaptability， which provides a new solution for the subsequent improvement of the training efficiency and adaptability of multi-agent reinforcement learning.

Key words：meta learning; deep reinforcement learning; gradient descent; multi-agent deep reinforcement learning

0 引言

在單智能體強(qiáng)化學(xué)習(xí)（single-agent deep reinforcement learning，SARL）中，智能體與環(huán)境相互作用并作出有效決策以最大化累積收益。隨著計(jì)算能力和存儲(chǔ)容量的顯著提高，任務(wù)的規(guī)模和復(fù)雜程度也進(jìn)一步提高。為了有效解決一系列復(fù)雜問(wèn)題，深度學(xué)習(xí)（deep learning， DL）和強(qiáng)化學(xué)習(xí)（reinforcement learning，RL） 成功結(jié)合產(chǎn)生了深度強(qiáng)化學(xué)習(xí)（deep reinforcement learning，DRL）。并展現(xiàn)了廣泛的應(yīng)用前景，如掌握圍棋［1］、平流層氣球?qū)Ш剑?］、大規(guī)模戰(zhàn)略博弈［3］、機(jī)器人在挑戰(zhàn)性地形中的移動(dòng)［4］、3D打?。?］等。例如，Open AI Five在Dota 2 中首次擊敗人類冠軍隊(duì)伍［6］，并在模擬的捉迷藏物理環(huán)境中成功訓(xùn)練出一個(gè)可以像人類一樣使用工具的智能體［7］。

為了解決多智能體系統(tǒng)（multi-agent system，MAS）下的復(fù)雜決策問(wèn)題，在MAS中引入了DRL的思想和算法，提高多智能體深度強(qiáng)化學(xué)習(xí)（multi-agent deep reinforcement learning，MADRL）的性能和效率，MADRL具有較強(qiáng)的決策和協(xié)調(diào)能力，是解決大規(guī)模復(fù)雜任務(wù)的重要方法。

元學(xué)習(xí)通過(guò)積累先前經(jīng)驗(yàn)來(lái)快速適應(yīng)新的任務(wù)，憑借“學(xué)習(xí)如何學(xué)習(xí)”的特性，在單智能體強(qiáng)化學(xué)習(xí)（SADRL）中得到了廣泛應(yīng)用，有效避免了巨大數(shù)據(jù)量和高復(fù)雜度的樣本數(shù)據(jù)出現(xiàn)?；谔荻鹊脑獜?qiáng)化學(xué)習(xí)在學(xué)習(xí)過(guò)程中學(xué)習(xí)模型初始參數(shù)，使模型在每次學(xué)習(xí)任務(wù)時(shí)可以從一個(gè)最佳的起點(diǎn)開始，而不是像強(qiáng)化學(xué)習(xí)一樣從零出發(fā)，有效提高了訓(xùn)練效率；因其初始參數(shù)是在訓(xùn)練任務(wù)上反復(fù)適應(yīng)經(jīng)多次梯度下降所得，該參數(shù)在梯度方向上與目標(biāo)參數(shù)接近，所以訓(xùn)練好的模型在適應(yīng)過(guò)程中僅需幾步梯度下降步驟就可以達(dá)到目標(biāo)參數(shù)，縮短了大量的適應(yīng)時(shí)間。然而與SADRL相比，MADRL具有更多的智能體，更高的網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜性，并且在聯(lián)合狀態(tài)-行動(dòng)空間中呈指數(shù)增長(zhǎng)，這大大增加了探索的難度，致使其每次訓(xùn)練都要處理巨大的計(jì)算量和高復(fù)雜度的樣本數(shù)據(jù)，延長(zhǎng)了訓(xùn)練和適應(yīng)速度［8］。

為了提高訓(xùn)練效率和適應(yīng)能力，受單智能體元強(qiáng)化學(xué)習(xí)的啟發(fā)，將基于梯度的元學(xué)習(xí)方法擴(kuò)展到MAS，提出了一種名為多智能體一階元近端策略優(yōu)化（multi-agent first-order meta proximal policy optimization PPO， MAMPPO）的方法，旨在從有限的經(jīng)驗(yàn)中不斷學(xué)習(xí)和適應(yīng)，該方法通過(guò)收集每個(gè)智能體與環(huán)境交互產(chǎn)生的經(jīng)驗(yàn)數(shù)據(jù)，并將其劃分為不同的任務(wù)數(shù)據(jù)塊，通過(guò)任務(wù)數(shù)據(jù)塊進(jìn)行反復(fù)自適應(yīng)和更新，充分利用先前經(jīng)驗(yàn)，學(xué)習(xí)最接近目標(biāo)模型的起始參數(shù)作為模型的初始化參數(shù)。這使得模型在新情況下只需幾步的梯度下降就能達(dá)到目標(biāo)，有效提高了MADRL的策略更新效率，面對(duì)新形勢(shì)的適應(yīng)速度顯著加快。通過(guò)本文的研究和實(shí)驗(yàn)證明了MAMPPO方法在提高M(jìn)ADRL的速度泛化方面的有效性和效果，為改善多智能體系統(tǒng)中的決策問(wèn)題提供了一種新的方法，并為進(jìn)一步應(yīng)用MADRL技術(shù)提供了有益的啟示和指導(dǎo)。

1 相關(guān)工作

本文主要探討了一種將MADRL與元學(xué)習(xí)相結(jié)合的方法，涉及到元深度強(qiáng)化學(xué)習(xí)、MADRL的相關(guān)研究工作以及多種成功的組合成果，本章對(duì)元強(qiáng)化學(xué)習(xí)和MADRL的相關(guān)工作進(jìn)行介紹，討論了各自領(lǐng)域中的重要研究成果和方法，并指出了它們?cè)趯?shí)踐中的優(yōu)點(diǎn)和局限性。

元學(xué)習(xí)因其“學(xué)習(xí)如何學(xué)習(xí)”的特性而被廣泛應(yīng)用于強(qiáng)化學(xué)習(xí)，通過(guò)利用先前任務(wù)中學(xué)到的經(jīng)驗(yàn)和知識(shí)，智能體能夠更快地適應(yīng)新任務(wù)、更高效地利用數(shù)據(jù)、更準(zhǔn)確地選擇參數(shù)更新方向，并更好地平衡探索與利用。元強(qiáng)化學(xué)習(xí)旨在通過(guò)學(xué)習(xí)適應(yīng)性算法或策略，使智能體能夠從先前的經(jīng)驗(yàn)中快速適應(yīng)新任務(wù)。與傳統(tǒng)的強(qiáng)化學(xué)習(xí)不同，元強(qiáng)化學(xué)習(xí)是一種學(xué)習(xí)輸出策略的強(qiáng)化學(xué)習(xí)算法，通過(guò)數(shù)據(jù)驅(qū)動(dòng)的方式來(lái)開發(fā)學(xué)習(xí)所需的訓(xùn)練環(huán)境和參數(shù)。

元強(qiáng)化學(xué)習(xí)假設(shè)存在相關(guān)任務(wù)的分布p（T），這對(duì)應(yīng)于馬爾可夫決策過(guò)程（MDP）M={Mi}Ni=1的分布，其中可以參數(shù)化MDP的動(dòng)態(tài)或獎(jiǎng)勵(lì)。M由元組〈S，A，p，R，γ，ρ0，H〉定義，其中S為狀態(tài)空間，A為行動(dòng)空間，p為轉(zhuǎn)移概率密度，R為獎(jiǎng)勵(lì)函數(shù)，H為事件的時(shí)間范圍。元學(xué)習(xí)的目標(biāo)是找到一組合適的參數(shù)集θ和配對(duì)更新方法U，使策略π在保持累積獎(jiǎng)勵(lì)最大的情況下解決新情況。設(shè)L（Mi）為Mi的損失函數(shù)，則元學(xué)習(xí)的目標(biāo)可以表示為

本文的工作主要涉及基于梯度的元強(qiáng)化學(xué)習(xí)方法，該方法學(xué)習(xí)初始化模型參數(shù)使之在新任務(wù)上僅需微調(diào)，從而使訓(xùn)練好的模型能夠適應(yīng)新任務(wù)。Finn等人［9］提出了一種名為無(wú)模型元學(xué)習(xí)（model-agnostic meta-learning，MAML）方法，通過(guò)在梯度下降過(guò)程中尋找對(duì)更新方向敏感的模型參數(shù)，從而學(xué)習(xí)到適當(dāng)?shù)某跏寄Ｐ蛥?shù)，實(shí)現(xiàn)了深度網(wǎng)絡(luò)在快速適應(yīng)任務(wù)上的能力增強(qiáng)；然而MAML方法在實(shí)際應(yīng)用中仍面臨一些挑戰(zhàn)，如對(duì)任務(wù)表示的依賴性和計(jì)算復(fù)雜度有所增加。在MAML的基礎(chǔ)上，Xu等人［10］提出了一種名為無(wú)模型元學(xué)習(xí)的元權(quán)重學(xué)習(xí)方法，在訓(xùn)練過(guò)程中對(duì)權(quán)重進(jìn)行適應(yīng)性更新，從而增強(qiáng)了神經(jīng)網(wǎng)絡(luò)的性能和泛化能力；然而該方法仍然面臨一些挑戰(zhàn)，如合理選擇元學(xué)習(xí)率、網(wǎng)絡(luò)結(jié)構(gòu)的適應(yīng)性以及計(jì)算復(fù)雜度的增加等。類似于MAML，Nichol等人［11］提出了一種稱為一階元學(xué)習(xí)（Reptile）的方法，通過(guò)在每個(gè)任務(wù)的訓(xùn)練后利用參數(shù)差異進(jìn)行參數(shù)更新，從而實(shí)現(xiàn)了原始模型的快速適應(yīng)，該方法在元學(xué)習(xí)的過(guò)程中避免了二階導(dǎo)數(shù)的計(jì)算；然而仍面臨一些挑戰(zhàn)，如如何選擇合適的學(xué)習(xí)率和對(duì)參數(shù)更新的限制等問(wèn)題。Song等人［12］提出了一種名為ES-MAML的簡(jiǎn)單、不使用Hessian矩陣的元學(xué)習(xí)方法，該方法通過(guò)應(yīng)用進(jìn)化策略（ES）［13］來(lái)解決MAML中估計(jì)二階導(dǎo)數(shù)的問(wèn)題，在元學(xué)習(xí)過(guò)程中通過(guò)在目標(biāo)函數(shù)中添加額外的探索項(xiàng)增加了探索的機(jī)會(huì)，以提供最大量的有用信息。為了選擇合適的探索策略并平衡探索與利用之間的關(guān)系，Stadie等人［14］在元強(qiáng)化學(xué)習(xí)中考慮了學(xué)習(xí)探索策略，通過(guò)將額外的探索項(xiàng)添加到目標(biāo)函數(shù)中，提出了一種名為學(xué)習(xí)探索的元強(qiáng)化學(xué)習(xí)方法，旨在增加探索的機(jī)會(huì)，以提供更多有用信息的數(shù)據(jù)量。Xu等人［15］提出了一種名為元策略梯度學(xué)習(xí)探索的方法，通過(guò)使用元策略梯度優(yōu)化探索策略，使智能體能夠?qū)W會(huì)探索未知環(huán)境，該方法旨在通過(guò)元學(xué)習(xí)的方式，提高智能體的探索能力。

在MAS中，Sunehag等人［16］提出了值分解網(wǎng)絡(luò)（value decomposition networks，VDN）多智能體強(qiáng)化學(xué)習(xí)算法，將全局Q值分解為局部Q值的加權(quán)和，并在聯(lián)合動(dòng)作Q值中考慮各個(gè)智能體的行為特征，提高了多智能體系統(tǒng)的學(xué)習(xí)效果，但需要進(jìn)一步平衡個(gè)體智能體的貢獻(xiàn)和團(tuán)隊(duì)合作關(guān)系，以及如何處理高維狀態(tài)空間等問(wèn)題。Rashid等人［17］提出了QMIX算法，通過(guò)將值函數(shù)分解為單調(diào)函數(shù)和非單調(diào)函數(shù)的組合，以提高多智能體系統(tǒng)的學(xué)習(xí)效果，解決了值函數(shù)的高方差和不穩(wěn)定性；然而該方法仍面臨一些問(wèn)題，如如何選擇合適的值函數(shù)分解形式和如何處理大規(guī)模多智能體系統(tǒng)的挑戰(zhàn)等。Foerster等人［18］提出反事實(shí)基線的多智能體策略梯度方法（counterfactual multi-agent policy gradients，COMA），通過(guò)引入對(duì)抗性訓(xùn)練和對(duì)抗性評(píng)估來(lái)進(jìn)行策略優(yōu)化，使用反事實(shí)基線對(duì)不同主體的貢獻(xiàn)進(jìn)行信用分配，從而提高多智能體系統(tǒng)的學(xué)習(xí)性能，解決了非平穩(wěn)環(huán)境和非合作行為等問(wèn)題，但在訓(xùn)練的穩(wěn)定性和計(jì)算復(fù)雜度等方面有所欠缺。Lowe等人［19］提出MADDPG（multi-agent deep deterministic policy gradient）算法，使用集中式訓(xùn)練和去中心化執(zhí)行機(jī)制，基于DDPG的每個(gè)智能體的全局Q值來(lái)更新本地策略，智能體能夠在協(xié)作和競(jìng)爭(zhēng)之間進(jìn)行平衡以達(dá)到更好的性能，但在如何處理大規(guī)模多智能體系統(tǒng)和如何處理合作與競(jìng)爭(zhēng)之間的平衡等方面存在不足。MAPPO（multi-agent PPO）［20］采用基于近端策略優(yōu)化（proximal policy optimization，PPO）［21］的集中函數(shù)來(lái)考慮全局信息，智能體之間通過(guò)全局值函數(shù)實(shí)現(xiàn)相互協(xié)作，在處理合作多智能體環(huán)境時(shí)表現(xiàn)出良好的性能和魯棒性，為解決合作問(wèn)題提供了一種有效的方法。

元學(xué)習(xí)應(yīng)用于MADRL中，從不同的角度解決了許多問(wèn)題，如學(xué)習(xí)與誰(shuí)溝通［22］、學(xué)習(xí)特定于智能體的獎(jiǎng)勵(lì)函數(shù)以實(shí)現(xiàn)機(jī)制設(shè)計(jì)的自動(dòng)化［23］，但是目前的研究仍然較少。Charakorn等人［24］提出了一種通過(guò)元強(qiáng)化學(xué)習(xí)與未知智能體合作的方法，該方法使智能體能夠快速適應(yīng)與未知智能體的合作任務(wù)，并取得良好的性能，但需要解決如何處理未知智能體的行為和如何在實(shí)際環(huán)境中應(yīng)用該方法等問(wèn)題。Feng等人［25］引入了神經(jīng)自動(dòng)課程（neural auto-curriculum，NAC），通過(guò)自適應(yīng)調(diào)整游戲難度和規(guī)則，智能體能夠通過(guò)自我學(xué)習(xí)來(lái)改進(jìn)策略和適應(yīng)對(duì)手，該方法在零和博弈中取得了良好的效果，但仍面臨一些問(wèn)題，即如何處理復(fù)雜博弈和如何擴(kuò)展到更大規(guī)模的對(duì)抗環(huán)境等。為了解決多智能體環(huán)境下的非平穩(wěn)問(wèn)題，F(xiàn)oerster等人［26］提出了一種對(duì)手感知的學(xué)習(xí)方法（learning with opponent-lear-ning awareness，LOLA），通過(guò)考慮對(duì)手的策略和行為來(lái)指導(dǎo)智能體的學(xué)習(xí)過(guò)程，該方法能使智能體更好地適應(yīng)對(duì)手的變化和策略調(diào)整，從而提高了在對(duì)抗環(huán)境中的學(xué)習(xí)性能。Kim等人［27］提出了一種多智能體強(qiáng)化學(xué)習(xí)中的元策略梯度算法，通過(guò)優(yōu)化策略梯度來(lái)實(shí)現(xiàn)智能體的元學(xué)習(xí)，使得智能體能夠通過(guò)學(xué)習(xí)適應(yīng)性策略來(lái)快速適應(yīng)多智能體環(huán)境，并取得更好的性能。Al-Shedivat等人［28］基于單智能體MAML設(shè)計(jì)了一種基于梯度的多智能體元學(xué)習(xí)方法，用于自適應(yīng)動(dòng)態(tài)變化和對(duì)抗場(chǎng)景，有效提高了多智能體強(qiáng)化學(xué)習(xí)的訓(xùn)練效率和適應(yīng)速度。多智能體MAML在MAML算法架構(gòu)中設(shè)計(jì)多智能體強(qiáng)化學(xué)習(xí)，且僅用兩個(gè)智能體之間的交互過(guò)程。與多智能體MAML算法不同，MAMPPO方法是在不改變多智能體強(qiáng)化學(xué)習(xí)架構(gòu)的前提下引入元學(xué)習(xí)；與多智能體MAML算法類似，MAMPPO將基于梯度的一階元Reptile的思想用于多智能體環(huán)境中，以達(dá)到通過(guò)元學(xué)習(xí)提高多智能體強(qiáng)化學(xué)習(xí)算法性能的目的。

2 MAMPPO方法

本文提出的方法以MAPPO算法為基礎(chǔ)，引入基于梯度的一階元學(xué)習(xí)Reptile的思想，在學(xué)習(xí)過(guò)程中整合以往經(jīng)驗(yàn)所需的元知識(shí)，并將其保存為模型參數(shù)初始化的規(guī)則，實(shí)現(xiàn)使用有限經(jīng)驗(yàn)的持續(xù)學(xué)習(xí)和快速適應(yīng)。

2.1 MAPPO算法

PPO是一種非常流行的RL算法，在各種單智能體任務(wù)場(chǎng)景中都有非常出色的表現(xiàn)。MAPPO是在MARL中應(yīng)用的PPO的一種變體，采用集中訓(xùn)練分散執(zhí)行框架（centealized training and decentralized execution， CTDE）。MAPPO框架如圖1所示。

MAPPO算法的網(wǎng)絡(luò)由AC網(wǎng)絡(luò)支持，參數(shù)化的策略和值函數(shù)由兩套獨(dú)立的網(wǎng)絡(luò)進(jìn)行計(jì)算，不同智能體各自擁有一套策略網(wǎng)絡(luò)并共享網(wǎng)絡(luò)參數(shù)。中心控制器由一套值函數(shù)網(wǎng)絡(luò)構(gòu)成，全局值函數(shù)作為中心控制器，智能體將在全局狀態(tài)s下將局部觀察信息oi=O（s;i）傳遞給中心控制器，中心控制器根據(jù)全局狀態(tài)信息進(jìn)行訓(xùn)練，得到策略πθ，各智能體執(zhí)行聯(lián)合動(dòng)作分布A=（a1，a2，…，an）。待訓(xùn)練完成后，智能體可以獨(dú)立于中心控制器，僅根據(jù)自己的局部觀察信息進(jìn)行決策并執(zhí)行最優(yōu)動(dòng)作。

為了使單智能體PPO算法適應(yīng)多智能體的設(shè)置，局部觀察信息設(shè)定為學(xué)習(xí)策略πθ和基于全局狀態(tài)S的集中值函數(shù)V（s），并使用PopArt對(duì)V（s）進(jìn)行歸一化處理，策略函數(shù)πθ和價(jià)值函數(shù)V（s）分別由行動(dòng)者網(wǎng)絡(luò)（actor）和評(píng)論家網(wǎng)絡(luò)（critic）產(chǎn)生。具體來(lái)說(shuō)，critic網(wǎng)絡(luò)將所有全局信息和一些特定于智能體的特征作為critic網(wǎng)絡(luò)的輸入，實(shí)現(xiàn)了從狀態(tài)S到獎(jiǎng)勵(lì)R的映射；actor網(wǎng)絡(luò)將智能體的觀察信息映射到離散動(dòng)作空間中的動(dòng)作分布或者連續(xù)動(dòng)作空間中的多元高斯分布的均值和標(biāo)準(zhǔn)差向量。另外在訓(xùn)練過(guò)程中，將無(wú)法執(zhí)行的動(dòng)作概率設(shè)為零，使用帶有智能體特定標(biāo)識(shí)的向量區(qū)分訓(xùn)練過(guò)程中死亡的智能體，并將其作為critic網(wǎng)絡(luò)的輸入。actor網(wǎng)絡(luò)的訓(xùn)練目標(biāo)是使損失函數(shù)L（θ）最大化，critic網(wǎng)絡(luò)的訓(xùn)練目標(biāo)則是使損失函數(shù)L（）最小化。假設(shè)有n個(gè)智能體，B為小批處理數(shù)

2.2 MAMPPO方法設(shè)計(jì)

MAMPPO將基于一階梯度的元學(xué)習(xí)思想應(yīng)用到MARL設(shè)置中，提高M(jìn)ARL的泛化能力和訓(xùn)練速度，實(shí)現(xiàn)從有限經(jīng)驗(yàn)中不斷學(xué)習(xí)和適應(yīng)的能力。其關(guān)鍵在于學(xué)習(xí)過(guò)程中整合以往經(jīng)驗(yàn)所需的元知識(shí)，并將其保存為模型的初始參數(shù)，以實(shí)現(xiàn)有限經(jīng)驗(yàn)的持續(xù)學(xué)習(xí)和快速適應(yīng)。圖2顯示了MAMPPO框架。

MAMPPO首先按照MAPPO訓(xùn)練流程進(jìn)行訓(xùn)練，存儲(chǔ)交互過(guò)程中產(chǎn)生的數(shù)據(jù)元組并計(jì)算對(duì)應(yīng)折扣累積獎(jiǎng)勵(lì)和獎(jiǎng)勵(lì)函數(shù)，將過(guò)程中產(chǎn)生的數(shù)據(jù)劃分為不同的任務(wù)數(shù)據(jù)塊（task data chunks）用于元更新。在元更新階段，通過(guò)在任務(wù)數(shù)據(jù)塊上反復(fù)采樣進(jìn)行元學(xué)習(xí)，經(jīng)過(guò)一定次數(shù)的梯度下降進(jìn)行參數(shù)軟更新，完成對(duì)模型初始化參數(shù)的學(xué)習(xí)，實(shí)現(xiàn)在新任務(wù)上的快速微調(diào)。

最后更新后的網(wǎng)絡(luò)模型參數(shù)滿足梯度下降方向最敏感的要求，使模型在處理新任務(wù)時(shí)從最佳起點(diǎn)開始，有效提高了聯(lián)合策略的決策效率。

算法1 MAMPPO方法

3 實(shí)驗(yàn)和結(jié)果討論

在SMAC實(shí)驗(yàn)平臺(tái)上進(jìn)行實(shí)驗(yàn)，SMAC是研究CTDE算法的主流基準(zhǔn)，具有連續(xù)的觀察空間和離散的動(dòng)作空間，有各種各樣的地圖，具有很高的學(xué)習(xí)復(fù)雜性。每個(gè)智能體都是獨(dú)立的，組成一個(gè)小組與內(nèi)置腳本AI競(jìng)爭(zhēng)，適合在各種協(xié)作的多智能體情況下測(cè)試本文方法。在每場(chǎng)戰(zhàn)斗中，每個(gè)智能體都需要給對(duì)方造成最大化傷害，并將自身承受的傷害最小化。

本文選擇在一個(gè)簡(jiǎn)單地圖（3 m）、兩個(gè)困難地圖（3s_vs_5z， 3s5z）和一個(gè)超難地圖（corridor）上評(píng)估了本文方法。表1介紹了地圖的特點(diǎn)，比較的方法有MAPPO、QMIX和VDN。其中，VDN算法將全局值函數(shù)分解為每個(gè)智能體的局部值函數(shù)的加權(quán)和，全局值函數(shù)考慮智能體個(gè)體行為的特性，使得該值函數(shù)更易于學(xué)習(xí)，能夠解決多智能體系統(tǒng)中的合作與競(jìng)爭(zhēng)問(wèn)題，并且可在一定程度上緩解多智能體系統(tǒng)中環(huán)境不穩(wěn)定的問(wèn)題。QMIX采用混合網(wǎng)絡(luò)模塊將各智能體的局部值函數(shù)組合為全局值函數(shù)，通過(guò)對(duì)全局值函數(shù)進(jìn)行因子分解，將智能體的局部值函數(shù)與一個(gè)可學(xué)習(xí)的混合函數(shù)相結(jié)合，使得每個(gè)智能體可以獨(dú)立地選擇行動(dòng)，且同時(shí)考慮其他智能體的行動(dòng)和全局信息，從而提高了整體協(xié)作效果。下面分別對(duì)MAMPPO的訓(xùn)練速度和適應(yīng)性進(jìn)行了評(píng)價(jià)。

在訓(xùn)練實(shí)驗(yàn)中對(duì)模型進(jìn)行多步訓(xùn)練，測(cè)量訓(xùn)練速度。除地圖訓(xùn)練2M時(shí)間步外，其余地圖訓(xùn)練5M時(shí)間步。在元學(xué)習(xí)過(guò)程中，適應(yīng)的數(shù)量被設(shè)置為15，元更新中的步長(zhǎng)設(shè)置為0.05。首先對(duì)訓(xùn)練過(guò)程中的勝率曲線圖進(jìn)行分析。

a）在簡(jiǎn)單地圖3m中的勝率曲線對(duì)比如圖4所示?？梢钥闯觯琈AMPPO和MAPPO的勝率曲線遠(yuǎn)高于QMIX和VDN算法，雖然MAMPPO和MAPPO在1M時(shí)間步之后的曲線大體一致，但MAMPPO訓(xùn)練前期的勝率曲線斜率大于MAPPO且比其更早收斂，說(shuō)明MAMPPO的訓(xùn)練效率有所提升。

b）在困難地圖（3s_vs_5z和3s5z）中的勝率曲線對(duì)比如圖5所示?？梢钥闯?，MAMPPO訓(xùn)練前期的勝率曲線增長(zhǎng)速率和訓(xùn)練結(jié)束所得的勝率明顯高于其他三種算法，并且能夠更快地收斂。在3s_vs_5z地圖中，作戰(zhàn)智能體為同構(gòu)類型，共享一套網(wǎng)絡(luò)參數(shù)，MAMPPO的勝率在1M時(shí)間步后率先大于0，說(shuō)明由MAMPPO訓(xùn)練的我方作戰(zhàn)智能體比其他算法訓(xùn)練的作戰(zhàn)智能體出現(xiàn)獲勝的場(chǎng)次更早。在3s5z地圖中，作戰(zhàn)智能體為異構(gòu)類型，分別處理各自的網(wǎng)絡(luò)參數(shù)，在整個(gè)訓(xùn)練過(guò)程中，MAMPPO的勝率曲線均高于其他三條曲線，說(shuō)明經(jīng)MAMPPO訓(xùn)練的作戰(zhàn)智能體擁有更強(qiáng)的作戰(zhàn)能力。

c）在超難地圖corridor中的勝率曲線對(duì)比如圖6所示?？梢钥闯?，MAMPPO的勝率曲線整體高于QMIX和VDN對(duì)應(yīng)勝率，且略高于MAPPO的勝率曲線，因?yàn)槌y地圖中的敵方作戰(zhàn)智能體較多，需要處理的數(shù)據(jù)也對(duì)應(yīng)增加，增加了元更新階段中反復(fù)適應(yīng)的計(jì)算難度，訓(xùn)練過(guò)程中會(huì)出現(xiàn)計(jì)算量代償?shù)膯?wèn)題。

計(jì)算訓(xùn)練步最后10次的平均勝率，結(jié)果如表2所示。從表中可以看出，MAMPPO方法在簡(jiǎn)單地圖3m中的平均勝率高于QMIX和VDN算法，并且與MAPPO算法的對(duì)應(yīng)勝率持平。在困難地圖（3s_vs_5z和3s5z）和超難地圖corridor中的平均勝率均高于參與比較的三種算法，具體勝率提升百分比為：MAMPPO方法在3m、3s_vs_5z、3s5z、corridor地圖中的勝率比MAPPO算法分別提高了0%、4.12%、16.93%、2.62%，比QMIX算法分別提高了28.55%、87.80%、39.58%、19.04%，比VDN算法分別提高了23.51%、514.66%、241.47%、342.48%。

因此在訓(xùn)練階段，MAMPPO所學(xué)策略的改進(jìn)速度明顯加快，訓(xùn)練速度明顯提高，訓(xùn)練所得的勝率高于其他方法，經(jīng)過(guò)元學(xué)習(xí)訓(xùn)練的作戰(zhàn)智能體的作戰(zhàn)能力高于其他多智能體算法訓(xùn)練所得。

為了評(píng)估MAMPPO的適應(yīng)能力，通過(guò)計(jì)算每次訓(xùn)練迭代32場(chǎng)后測(cè)試的勝率來(lái)測(cè)試MAPPO和MAMPPO訓(xùn)練的作戰(zhàn)智能體的作戰(zhàn)能力，并將最后10次測(cè)試所得勝率的中位數(shù)作為評(píng)估勝率，四種地圖的評(píng)估勝率如表3所示。由表可得，除了在簡(jiǎn)單地圖中的勝率恒為100%之外，經(jīng)過(guò)MAMPPO訓(xùn)練的作戰(zhàn)智能體在其他三個(gè)地圖中取得的勝率均高于MAPPO訓(xùn)練所得，具體勝率提升百分比為：MAMPPO方法在3s_vs_5z、3s5z、corridor地圖中的勝率比MAPPO算法在其上的勝率分別提高了37.02%、18.18%、11.73%。

因MAMPPO方法相較于MAPPO算法在困難地圖（3s_vs_5z和3s5z）中的性能表現(xiàn)提升明顯，在測(cè)試階段選擇這兩個(gè)地圖的測(cè)試勝率曲線對(duì)比如圖7所示。

MAMPPO方法在困難地圖（3s_vs_5z和3s5z）和超難地圖corridor的評(píng)估勝率均高于MAPPO算法，表現(xiàn)出色。另外，雖然在簡(jiǎn)單地圖3m中的評(píng)估勝率均為100%，但是MAMPPO方法在6K步時(shí)獲得的作戰(zhàn)智能體勝率便可以達(dá)到100%，MAPPO算法則需要在1M步時(shí)獲得的作戰(zhàn)智能體勝率達(dá)到100%。由困難地圖（3s_vs_5z和3s5z）的評(píng)估勝率曲線可得，MAMPPO方法的勝率開始變化，時(shí)間步長(zhǎng)早于MAPPO算法，說(shuō)明MAMPPO方法訓(xùn)練所得作戰(zhàn)智能體的適應(yīng)能力強(qiáng)于MAPPO算法，更快地開始適應(yīng)新的情況。相比于MAPPO算法，在相同時(shí)間步長(zhǎng)的情況下，MAMPPO方法所得勝率高于MAPPO算法，說(shuō)明模型適應(yīng)性提升顯著，作戰(zhàn)智能體對(duì)訓(xùn)練場(chǎng)新情況的處理能力明顯提升。MAMPPO方法在新任務(wù)情況下的評(píng)估勝率高于MAPPO算法，且適應(yīng)速度顯著提高，表明MAMPPO方法的自適應(yīng)能力在引入元學(xué)習(xí)后有所提高。

實(shí)驗(yàn)結(jié)果表明，用MAMPPO方法訓(xùn)練得到的作戰(zhàn)智能體在總體上取得了更優(yōu)的性能，在訓(xùn)練場(chǎng)中能夠更早更高效地探索出獲勝策略，在相同訓(xùn)練時(shí)間步長(zhǎng)情況下的訓(xùn)練速度明顯提升，其訓(xùn)練所得的適應(yīng)性明顯增強(qiáng)，能夠處理在訓(xùn)練場(chǎng)中出現(xiàn)的情況，表現(xiàn)了出良好的訓(xùn)練效率和適應(yīng)能力。

4 結(jié)束語(yǔ)

本文將元學(xué)習(xí)引入到MADRL中，提出了一種MAMPPO方法，從元學(xué)習(xí)的角度提升多智能體算法性能，為解決多智能體泛化能力問(wèn)題提供了一個(gè)新的視角。將基于梯度的元強(qiáng)化學(xué)習(xí)擴(kuò)展到多智能體強(qiáng)化學(xué)習(xí)，在智能體完成交互后構(gòu)建任務(wù)數(shù)據(jù)塊，在模型參數(shù)更新階段定義元梯度，并執(zhí)行多次梯度下降來(lái)學(xué)習(xí)網(wǎng)絡(luò)模型的初始參數(shù)。在SMAC環(huán)境下的實(shí)驗(yàn)結(jié)果表明，該方法在各種場(chǎng)景下的性能都優(yōu)于基線方法，有效地提高了多智能體系統(tǒng)的強(qiáng)化學(xué)習(xí)性能，縮短了訓(xùn)練時(shí)間，進(jìn)一步證實(shí)了將元學(xué)習(xí)引入多智能體強(qiáng)化學(xué)習(xí)的可行性。

然而在訓(xùn)練多個(gè)智能體的過(guò)程中，每個(gè)智能體的感知轉(zhuǎn)移概率分布和獎(jiǎng)勵(lì)函數(shù)都會(huì)發(fā)生變化。從每個(gè)智能體的角度來(lái)看，環(huán)境具有非平穩(wěn)性。如何從每個(gè)智能體的角度使用元學(xué)習(xí)，同時(shí)考慮自身的學(xué)習(xí)過(guò)程和環(huán)境中其他智能體的學(xué)習(xí)，是未來(lái)需要解決的問(wèn)題。

參考文獻(xiàn)：

［1］Silver D，Huang A，Maddison C J，et al. Mastering the game of Go with deep neural networks and tree search ［J］. Nature，2016，529（7587）： 484-489.

［2］Bellemare M G，Candido S，Castro P S，et al. Autonomous navigation of stratospheric balloons using reinforcement learning ［J］. Nature，2020，588（7836）： 77-82.

［3］Henderson P，Islam R，Bachman P，et al. Deep reinforcement learning that matters ［C］// Proc of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto，CA： AAAI Press，2018： 3207-3214.

［4］Miki T，Lee J，Hwangbo J，et al. Learning robust perceptive locomotion for quadrupedal robots in the wild ［J/OL］. Science Robotics，2022，7（62）. https：//arxiv.org/abs/2201.08117.

［5］Yang Jiongzhi，Harish S，Li C，et al. Deep reinforcement learning for multi-phase microstructure design ［J］. Computers，Materials & Continua，2021，68（1）： 1285-1302.

［6］Berner C，Brockman G，Chan B，et al. Dota 2 with large scale deep reinforcement learning ［EB/OL］. （2019-12-13）. https：//arxiv.org/pdf/1912.06680.pdf.

［7］Baker B，Kanitscheider I，Markov T，et al. Emergent tool use from multi-agent autocurricula ［EB/OL］. （2020-02-11）. https：//arxiv.org/pdf/1909.07528.pdf.

［8］Nguyen T T，Nguyen N D，Nahavandi S. Deep reinforcement learning for multiagent systems： a review of challenges，solutions，and applications ［J］. IEEE Trans on Cybernetics，2020，50（9）： 3826-3839.

［9］Finn C，Abbeel P，Levine S. Model-agnostic meta-learning for fast adaptation of deep networks ［C］// Proc of the 34th International Conference on Machine Learning. ［S.l.］： PMLR，2017： 1126-1135.

［10］Xu Zhixiong，Chen Xiliang，Tang Wei，et al. Meta weight learning via model-agnostic meta-learning ［J］. Neurocomputing，2021，432（4）： 124-132.

［11］Nichol A，Achiam J，Schulman J. On first-order meta-learning algorithms ［EB/OL］. （2018-10-22） ［2023-09-19］. https：//arxiv.org/pdf/1803.02999.pdf.

［12］Song Xingyou，Gao Wenbo，Yang Yuxiang，et al. ES-MAML： simple Hessian-free meta learning ［EB/OL］. （2020-07-07）［2023-09-19］. https：//arxiv.org/pdf/1910.01215.pdf.

［13］Wierstra D，Schaul T，Glasmachers T，et al. Natural evolution strategies ［J］. Journal of Machine Learning Research，2014，15（1）： 949-980.

［14］Stadie B C，Yang Ge，Houthooft R，et al. Some considerations on learning to explore via meta-reinforcement learning ［EB/OL］. （2019-01-11）［2023-09-19］.https：//arxiv.org/pdf/1803.01118.pdf.

［15］Xu Tianbing，Liu Qiang，Zhao Liang，et al. Learning to explore with meta-policy gradient ［C］// Proc of the 35th International Conference on Machine Learning. ［S.l.］： PMLR，2018： 5463-5472.

［16］Sunehag P，Lever G，Gruslys A，et al. Value-decomposition networks for cooperative multiagent learning based on team reward ［C］// Proc of the 17th International Conference on Autonomous Agents and Multi Agent Systems. 2018： 2085-2087.

［17］Rashid T，Samvelyan M，De Witt C S，et al. Monotonic value function factorisation for deep multi-agent reinforcement learning ［J］. Journal of Machine Learning Research，2020，21（1）： 7234-7284.

［18］Foerster J N，F(xiàn)arquhar G，Afouras T，et al. Counterfactual multi-agent policy gradients ［C］// Proc of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto，CA： AAAI Press，2018： 2974-2982.

［19］Lowe R，Wu Yi，Tamar A，et al. Multi-agent actor-critic for mixed cooperative-competitive environments ［C］// Proc of the 31st International Conference on Neural Information Processing Systems. Red Hook，NY： Curran Associates Inc.，2017： 6379-6393.

［20］Yu Chao，Velu A，Vinitsky E，et al. The surprising effectiveness of PPO in cooperative multi-agent games ［C］// Proc of the 35th Neural Information Processing Systems. Cambridge，MA： MIT Press，2022： 24611-24624.

［21］Schulman J，Wolski F，Dhariwal P，et al. Proximal policy optimization algorithms ［EB/OL］. （2017-08-28）［2023-09-19］. https：//arxiv.org/pdf/1707.06347.pdf.

［22］Zhang Qi，Chen Dingyang. A meta-gradient approach to learning cooperative multi-agent communication topology ［C］// Proc of the 5th Workshop on Meta-Learning at NeurIPS. ［S.l.］： Artificial Intelligence Institute，2021.

［23］Yang Jiachen，Ethan W，Trivedi R，et al. Adaptive incentive design with multi-agent meta-gradient reinforcement learning ［C］// Proc of the 21st International Conference on Autonomous Agents and Multiagent Systems. 2022： 1436-1445.

［24］Charakorn R，Manoonpong P，Dilokthanakul N. Learning to cooperate with unseen agents through meta-reinforcement learning ［C］// Proc of the 20th International Conference on Autonomous Agents and Multi Agent Systems. Richland，SC： IFAAMAS，2021： 1478-1479.

［25］Feng Xidong，Slumbers O，Wan Ziyu，et al. Neural auto-curricula in two-player zero-sum games ［J］. Neural Information Processing Systems，2021，34（1）： 3504-3517.

［26］Foerster J，Chen R Y，Al-Shedivat M，et al. Learning with opponent-learning awarenesss ［C］// Proc of the 17th International Conference on Autonomous Agents and Multi Agent Systems. 2018： 122-130.

［27］Kim D K，Liu Miao，Riemer M D，et al. A policy gradient algorithm for learning to learn in multiagent reinforcement learning ［C］// Proc of the 38th International Conference on Machine Learning. ［S.l.］： PMLR，2021： 5541-5550.

［28］Al-Shedivat M，Bansal T，Burda Y，et al. Continuous adaptation via meta-learning in nonstationary and competitive environments ［EB/OL］. （2018-02-23）［2023-09-20］. https：//arxiv.org/pdf/1710.03641.pdf.