基于注意力消息共享的多智能體強(qiáng)化學(xué)習(xí)

臧嶸，王莉*，史騰飛

基于注意力消息共享的多智能體強(qiáng)化學(xué)習(xí)

臧嶸1，王莉1*，史騰飛2

（1.太原理工大學(xué) 大數(shù)據(jù)學(xué)院，山西 晉中 030600； 2.北方自動控制技術(shù)研究所，太原 030006）（?通信作者電子郵箱wangli@tyut.edu.cn）

通信是非全知環(huán)境中多智能體間實(shí)現(xiàn)有效合作的重要途徑，當(dāng)智能體數(shù)量較多時，通信過程會產(chǎn)生冗余消息。為有效處理通信消息，提出一種基于注意力消息共享的多智能體強(qiáng)化學(xué)習(xí)算法AMSAC。首先，在智能體間搭建用于有效溝通的消息共享網(wǎng)絡(luò)，智能體通過消息讀取和寫入完成信息共享，解決智能體在非全知、任務(wù)復(fù)雜場景下缺乏溝通的問題；其次，在消息共享網(wǎng)絡(luò)中，通過注意力消息共享機(jī)制對通信消息進(jìn)行自適應(yīng)處理，有側(cè)重地處理來自不同智能體的消息，解決較大規(guī)模多智能體系統(tǒng)在通信過程中無法有效識別消息并利用的問題；然后，在集中式Critic網(wǎng)絡(luò)中，使用Native Critic依據(jù)時序差分（TD）優(yōu)勢策略梯度更新Actor網(wǎng)絡(luò)參數(shù)，使智能體的動作價值得到有效評判；最后，在執(zhí)行期間，智能體分布式Actor網(wǎng)絡(luò)根據(jù)自身觀測和消息共享網(wǎng)絡(luò)的信息進(jìn)行決策。在星際爭霸Ⅱ多智能體挑戰(zhàn)賽（SMAC）環(huán)境中進(jìn)行實(shí)驗(yàn)，結(jié)果表明，與樸素Actor?Critic （Native AC）、博弈抽象通信（GA?Comm）等多智能體強(qiáng)化學(xué)習(xí)方法相比，AMSAC在四個不同場景下的平均勝率提升了4 ～ 32個百分點(diǎn)。AMSAC的注意力消息共享機(jī)制為處理多智能體系統(tǒng)中智能體間的通信消息提供了合理方案，在交通樞紐控制和無人機(jī)協(xié)同領(lǐng)域都具備廣泛的應(yīng)用前景。

多智能體系統(tǒng)；智能體協(xié)同；深度強(qiáng)化學(xué)習(xí)；智能體通信；注意力機(jī)制；策略梯度

0 引言

深度強(qiáng)化學(xué)習(xí)（Deep Reinforcement Learning， DRL）［1-2］在無人機(jī)編隊(duì)、自動駕駛和游戲等場景表現(xiàn)出優(yōu)異的性能。將DRL引入多智能體系統(tǒng)［3］，形成了多智能體強(qiáng)化學(xué)習(xí)（Multi? Agent Reinforcement Learning， MARL）［4-5］，MARL領(lǐng)域的一大挑戰(zhàn)是：在非全知環(huán)境下對于復(fù)雜且協(xié)作要求高的任務(wù)，智能體需要密切配合才能實(shí)現(xiàn)團(tuán)隊(duì)利益的最大化。

溝通是相互理解的基礎(chǔ)，良好的信息交流能確保合作的順利開展。通信策略的有效學(xué)習(xí)對智能體準(zhǔn)確感知外在環(huán)境、提升決策質(zhì)量具有重要的支撐作用。利用MARL學(xué)習(xí)智能體間的通信策略以促進(jìn)合作成為近年來研究進(jìn)展迅速的課題，涌現(xiàn)出了通信神經(jīng)網(wǎng)絡(luò)（Communication Neural Net， CommNet）［6］、雙向協(xié)調(diào)網(wǎng)絡(luò)（Bidirectionally?coordinated Net， BicNet）［7］、針對性多智能體通信（Targeted Multi?Agent Communication， TarMac）［8］、個性化可控連續(xù)通信網(wǎng)絡(luò)（Individualized Controlled Continuous Communication Net， IC3Net）［9］、博弈抽象通信（Game Abstraction Communication， GA?Comm）［10］、雙注意力Actor?Critic消息處理器（Double Attention Actor?Critic Message Processor， DAACMP）［11］等一系列代表性研究成果。

本文聚焦于通信機(jī)制下較大規(guī)模多智能體系統(tǒng)的消息處理。通常，通信消息越多，意味著智能體獲知的狀態(tài)信息越多，學(xué)習(xí)效果會獲得提升。然而，在MARL設(shè)置下，共享通信消息中并非所有的消息都是有用的；對所有通信消息進(jìn)行統(tǒng)一處理，往往會造成重要信息的丟失。因此，對智能體通信消息有效識別并進(jìn)行處理是多智能體協(xié)作的一個關(guān)鍵。

本文提出一種基于注意力消息共享的多智能體強(qiáng)化學(xué)習(xí)算法AMSAC（Attentional Message Sharing multi?agent Actor?Critic）來解決上述問題。首先，針對單個智能體觀測具有局限性，執(zhí)行期間協(xié)作能力有限的問題，AMSAC以Actor?Critic架構(gòu)為基礎(chǔ)設(shè)計(jì)了消息共享網(wǎng)絡(luò)，智能體通過對通信消息的讀取和寫入操作完成通信消息共享，提升Actor網(wǎng)絡(luò)在決策時利用附加狀態(tài)信息的能力；其次，為了有效處理大量通信消息，AMSAC在消息共享網(wǎng)絡(luò)中設(shè)計(jì)了一種注意力消息處理機(jī)制，以增強(qiáng)智能體自適應(yīng)識別并處理重要通信消息的能力；最后，在集中式Critic網(wǎng)絡(luò)，AMSAC引入時序差分（Temporal Difference， TD）優(yōu)勢策略梯度［12］更新Actor網(wǎng)絡(luò)參數(shù)，采取有效的方式充分利用全局信息對智能體動作進(jìn)行評估。在AMSAC決策的過程中，智能體能有效識別重要信息并從大量通信消息中選擇真正有價值的信息進(jìn)行學(xué)習(xí)，同時集中式Critic網(wǎng)絡(luò)能為智能體提供良好的指導(dǎo)。因此，AMSAC能成功解決上文提到的關(guān)鍵問題。

本文在多智能體協(xié)作環(huán)境：星際爭霸Ⅱ多智能體挑戰(zhàn)賽（StarCraft Multi?Agent Challenge， SMAC）［13］的四個不同場景下進(jìn)行實(shí)驗(yàn)，所有場景都具備較多數(shù)目的智能體。結(jié)果表明：本文算法AMSAC能有效識別并處理智能體的通信消息，在所有場景中展示出優(yōu)于其他基線方法的性能。同時，實(shí)驗(yàn)結(jié)果表明通過簡單的通信架構(gòu)來增加智能體決策時的附加狀態(tài)信息并不能穩(wěn)定獲得良好的性能表現(xiàn)，這種結(jié)果也印證了本文提出的注意力消息共享機(jī)制的有效性。

本文的主要工作包括：1）針對單個智能體只接收局部觀測，訓(xùn)練協(xié)作行為的能力有限的問題，基于Actor?Critic架構(gòu)設(shè)計(jì)了消息共享網(wǎng)絡(luò)，增強(qiáng)智能體溝通交流的能力；集中式Critic網(wǎng)絡(luò)采用TD優(yōu)勢策略梯度，充分利用全局狀態(tài)動作信息，對智能體執(zhí)行動作的價值進(jìn)行合理評估。2）針對智能體數(shù)量較多時存在無法有效識別并處理消息的問題，建立注意力消息共享機(jī)制有側(cè)重地選擇重要消息進(jìn)行學(xué)習(xí)，提升智能體自適應(yīng)學(xué)習(xí)有效信息的能力。3）在多智能體協(xié)作環(huán)境SMAC上與基線模型比較，本文算法AMSAC在四個場景下均優(yōu)于基線模型。

1 相關(guān)工作

根據(jù)多智能體系統(tǒng)中消息傳遞是否存在明確的通信信道，相關(guān)研究可分為基于顯式通信的方法和基于隱式通信的方法。本章首先對MARL通信機(jī)制的相關(guān)研究進(jìn)行論述，然后介紹注意力機(jī)制（attention mechanism）在MARL領(lǐng)域的相關(guān)工作。

1.1　通信方法

基于顯式通信的方法是在智能體之間建立明確的通信機(jī)制，基本框架是采用深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network， DNN）建立通信渠道以幫助智能體進(jìn)行溝通并完成決策，在此類方法中，DNN是端到端進(jìn)行訓(xùn)練的，其隱藏層信息被視為消息［6］，智能體可以在進(jìn)行策略學(xué)習(xí)的同時學(xué)習(xí)如何將這種消息傳輸?shù)狡渌悄荏w，以及如何處理從其他智能體接收的消息以更好地優(yōu)化自身決策促進(jìn)合作。

CommNet是這類研究的一個代表工作，它使用DNN來處理全局所有智能體發(fā)送的所有消息，并將處理后的消息統(tǒng)一用于指導(dǎo)所有智能體合作。IC3Net通過在消息聚合步驟中應(yīng)用門控機(jī)制，在通信過程中主動選擇或屏蔽來自其他智能體的消息。GA?Comm設(shè)計(jì)了一種圖注意力機(jī)制，在策略網(wǎng)絡(luò)進(jìn)行博弈抽象，簡化多智能體學(xué)習(xí)的復(fù)雜度，加快學(xué)習(xí)速度?；陲@式通信的方法通常采用REINFORCE （REward Increment Nonnegative Factor Offset Reinforcement Characteristic Eligibility）［14］范式訓(xùn)練策略網(wǎng)絡(luò)，依據(jù)回合制對網(wǎng)絡(luò)參數(shù)進(jìn)行更新；但是，由于它不具備集中式Critic網(wǎng)絡(luò)，使得這種訓(xùn)練方法無法充分利用全局信息對智能體動作進(jìn)行評價。

基于隱式通信的方法不設(shè)計(jì)明確的通信模塊，通常采用集中式Critic網(wǎng)絡(luò)和分散式Actor網(wǎng)絡(luò)相結(jié)合的框架，利用Critic網(wǎng)絡(luò)得到的全局信息評判Actor網(wǎng)絡(luò)決策的動作價值，每個智能體的Actor網(wǎng)絡(luò)獨(dú)立執(zhí)行動作決策。多智能體深度確定性策略梯度（Multi?Agent Deep Deterministic Policy Gradient， MADDPG）［15］是基于隱式通信方法的一個代表工作，它將深度確定性策略梯度（Deep Deterministic Policy Gradient， DDPG）［16］擴(kuò)展到多智能體設(shè)置，其集中式Critic隱式地收集并利用其他智能體的狀態(tài)和動作信息，能適應(yīng)混合合作競爭的環(huán)境。反事實(shí)多智能體策略梯度（COunterfactual Multi?Agent policy gradient， COMA）［17］構(gòu)造一個集中式Critic網(wǎng)絡(luò)利用隱式通信信息并計(jì)算特定于智能體的反事實(shí)優(yōu)勢策略梯度以指導(dǎo)Actor網(wǎng)絡(luò)訓(xùn)練。完全分散的多智能體強(qiáng)化學(xué)習(xí)算法（Fully Decentralized Multi?Agent Reinforcement Learning， FD?MARL）是一種分布式學(xué)習(xí)算法，通過智能體使用其個體獎勵和從網(wǎng)絡(luò)相鄰智能體傳遞來的Critic網(wǎng)絡(luò)參數(shù)作為隱式信息來學(xué)習(xí)合作策略。這類方法在訓(xùn)練過程中利用全局信息對智能體動作進(jìn)行評估，但在執(zhí)行過程中Actor網(wǎng)絡(luò)獨(dú)立執(zhí)行決策，缺乏智能體間的溝通，可能導(dǎo)致算法在面對復(fù)雜、協(xié)作要求高的場景下難以有效合作。

1.2　MARL中的注意力機(jī)制

注意力機(jī)制有利于選擇重要信息，近幾年被引入MARL領(lǐng)域，在一定程度上促進(jìn)了智能體的學(xué)習(xí)效果。例如，注意力通信（ATtentiOnal Communication， ATOC）模型［19］提出帶有注意力層的雙向長短期記憶（Bi?directional Long Short?Term Memory， Bi?LSTM）通信通道，其注意力機(jī)制使每個智能體可以根據(jù)其狀態(tài)相關(guān)的重要程度有側(cè)重地處理來自其他智能體的消息。多智能體注意力Actor?Critic（Multi?Actor? Attention?Critic， MAAC）［20］使用注意力機(jī)制對集中式Critic網(wǎng)絡(luò)進(jìn)行建模，使用SAC（Soft Actor?Critic）評估Actor網(wǎng)絡(luò)的決策價值。DAACMP在Actor和Critic網(wǎng)絡(luò)都使用注意力機(jī)制進(jìn)行顯式信息處理，以獲得更好的性能表現(xiàn)。TarMac提出一種有針對性的通信協(xié)議來確定與誰通信以及使用注意力網(wǎng)絡(luò)傳輸什么消息。

基于以上工作的啟發(fā)，本文提出了基于注意力消息共享的多智能體強(qiáng)化學(xué)習(xí)算法AMSAC。但與已有方法的區(qū)別在于，本文算法AMSAC有效結(jié)合顯式通信和隱式通信的方法，基于Actor?Critic架構(gòu)建立消息共享網(wǎng)絡(luò)，利用注意力機(jī)制自適應(yīng)處理消息，提升智能體識別有價值信息的能力；同時，利用集中式Critic網(wǎng)絡(luò)基于全局狀態(tài)信息評估智能體的動作價值，以此提升算法的性能。

2 背景知識

2.1　問題定義

2.2　策略梯度算法

與策略參數(shù)相關(guān)的梯度表示為：

2.3　注意力機(jī)制

3 AMSAC算法

本文算法AMSAC的整體架構(gòu)如圖1所示：每個智能體具備負(fù)責(zé)自身決策的Actor網(wǎng)絡(luò)，所有智能體共享集中式Critic網(wǎng)絡(luò)和消息共享網(wǎng)絡(luò)。在訓(xùn)練期間，智能體通過自身觀察和通信消息進(jìn)行決策，集中式Critic網(wǎng)絡(luò)評判智能體執(zhí)行動作的價值并端到端地更新Actor網(wǎng)絡(luò)和消息共享網(wǎng)絡(luò)。集中式Critic網(wǎng)絡(luò)只在訓(xùn)練期間使用。

圖1　AMSAC的整體架構(gòu)

3.1　Actor網(wǎng)絡(luò)

3.2　注意力消息共享網(wǎng)絡(luò)

圖2　AMSAC的注意力消息共享網(wǎng)絡(luò)結(jié)構(gòu)

3.3　Critic網(wǎng)絡(luò)

本文認(rèn)為遵循TD優(yōu)勢策略梯度更新Actor網(wǎng)絡(luò)參數(shù)，能充分利用全局狀態(tài)信息，準(zhǔn)確衡量智能體執(zhí)行動作的價值。為了驗(yàn)證這一想法，本文結(jié)合Native Critic與COMA的分散式Actor網(wǎng)絡(luò)，稱之為樸素Actor?Critic（Native Actor? Critic， Native AC），在實(shí)驗(yàn)中作為消融模型與COMA的反事實(shí)策略梯度進(jìn)行了性能比較。

4 實(shí)驗(yàn)與結(jié)果分析

4.1　實(shí)驗(yàn)環(huán)境

本文在星際爭霸Ⅱ多智能體挑戰(zhàn)賽SMAC上進(jìn)行了性能測試。SMAC由一系列星際爭霸Ⅱ微管理游戲組成，旨在評估智能體在解決復(fù)雜任務(wù)時的協(xié)作能力。圖3顯示了SMAC中的兩種場景截圖。每個場景中，算法控制的友方單位與內(nèi)置游戲AI控制的敵方單位作戰(zhàn)，當(dāng)任何一支隊(duì)伍的所有單位都陣亡，或者當(dāng)這一回合達(dá)到最大時間限制時，就標(biāo)志著回合結(jié)束；只有當(dāng)敵人單位被全部消滅時，游戲才能勝利；對戰(zhàn)目標(biāo)是最大化游戲勝率。星際爭霸Ⅱ經(jīng)過了版本迭代，不同版本之間性能存在差距，本文采用的是星際爭霸Ⅱ的5.0.5版本。

實(shí)驗(yàn)中使用SMAC的所有默認(rèn)設(shè)置，包括：游戲難度設(shè)置為7級：非常困難；射擊范圍、觀察范圍等與默認(rèn)設(shè)置一致；智能體的動作空間由移動、攻擊、停止和不操作共四種離散動作組成；智能體只能朝上、下、左、右四個方向移動；攻擊動作需要指定敵方ID，只有當(dāng)敵人在其射程內(nèi)時才能攻擊；選取2s3z、3s5z、1c3s5z和8m共四個具有挑戰(zhàn)性的場景對算法進(jìn)行性能測試。表1展示了SMAC不同地圖的場景細(xì)節(jié)。不同游戲角色具有不同的生命值、攻擊力以及攻擊范圍。

圖3　SMAC中的兩種不同場景截圖

表1　SMAC地圖細(xì)節(jié)

4.2　算法及實(shí)現(xiàn)細(xì)節(jié)

為驗(yàn)證AMSAC的有效性，引入以下消融模型進(jìn)行比較：

MSAC：在消息共享網(wǎng)絡(luò)采用全連接網(wǎng)絡(luò)對通信消息進(jìn)行處理。Critic網(wǎng)絡(luò)沿用TD優(yōu)勢策略梯度更新網(wǎng)絡(luò)參數(shù)，命名為MSAC。

Native AC［12］：在Actor網(wǎng)絡(luò)采用了與COMA算法相同的網(wǎng)絡(luò)架構(gòu)，移除消息共享網(wǎng)絡(luò)，在Critic網(wǎng)絡(luò)沿用了TD優(yōu)勢策略梯度更新。

還與AMSAC最相關(guān)、性能最好的多智能體Actor?Critic方法和通信學(xué)習(xí)方法進(jìn)行比較：

CommNet［6］：是一種顯式通信的MARL算法，通過平均處理其他智能體的消息進(jìn)行通信，智能體對所有消息投入相同的注意力權(quán)重。本文利用REINFORCE算法訓(xùn)練策略網(wǎng)絡(luò)。

COMA［17］：是與本文算法結(jié)構(gòu)、原理最為接近的Actor?Critic算法，它在Actor網(wǎng)絡(luò)未使用通信機(jī)制，Critic網(wǎng)絡(luò)則利用反事實(shí)策略梯度進(jìn)行參數(shù)更新。

GA?Comm［10］：一種顯式通信的MARL算法，通過圖注意力機(jī)制對智能體之間傳遞的消息進(jìn)行博弈抽象。本文利用REINFORCE算法訓(xùn)練策略網(wǎng)絡(luò)。

通過AMSAC與MSAC的比較，可以獲悉本文提出的注意力消息處理機(jī)制應(yīng)用在消息共享網(wǎng)絡(luò)的效果；通過MSAC與Native AC的對比，可以了解本文提出的消息共享通信方式與不進(jìn)行通信的方法的性能區(qū)別；同時，引入基線CommNet是為了獲悉單純地將所有消息輸入網(wǎng)絡(luò)并輸出所有智能體動作的顯式通信方式在性能上與AMSAC的差距；而通過COMA與本文算法的比較可以獲悉Native Critic的性能優(yōu)勢以及消息共享網(wǎng)絡(luò)的有效性；通過GA?Comm與AMSAC的比較，可以獲悉顯式通信的集中式控制方案中的圖注意力機(jī)制與集中訓(xùn)練分布執(zhí)行的注意力消息共享機(jī)制的區(qū)別，也能反映集中式Critic與并未充分利用集中訓(xùn)練條件的REINFORCE訓(xùn)練范式的性能差距。

本文的實(shí)驗(yàn)結(jié)果是在Nivida Geforce RTX 3090，Inter i9? 10900k的計(jì)算機(jī)上運(yùn)行獲得的，每次獨(dú)立運(yùn)行需要5～10 h，具體取決于智能體規(guī)模等因素。每次運(yùn)行對應(yīng)一個隨機(jī)種子，該種子的網(wǎng)絡(luò)參數(shù)在開始訓(xùn)練時進(jìn)行隨機(jī)初始化。

AMSAC和MSAC具備相同的體系結(jié)構(gòu)，除了消息共享網(wǎng)絡(luò)將64維的全連接層替換為64維的注意力層，其后的全連接層將讀取的消息維度固定在32維。Critic網(wǎng)絡(luò)均設(shè)置為每200局游戲進(jìn)行一次目標(biāo)網(wǎng)絡(luò)更新。

4.3　實(shí)驗(yàn)結(jié)果

圖4　獨(dú)立運(yùn)行5次后的平均勝率

從圖4中可以看出，CommNet在任意場景下都沒有學(xué)會一種持續(xù)擊敗敵方的策略。這表明，單純地將所有通信消息不做處理直接輸入策略網(wǎng)絡(luò)并不能學(xué)習(xí)到有效策略；同時也說明Critic網(wǎng)絡(luò)對于策略優(yōu)化具有積極作用。GA?Comm在大部分場景下表現(xiàn)出優(yōu)于CommNet的性能，表明其圖注意力機(jī)制對于集中式消息的處理比單純的全連接網(wǎng)絡(luò)更為有效。但兩種顯式通信方法都不能很好地適應(yīng)部分難度較大的場景，本文認(rèn)為這主要是由于缺乏集中式Critic難以充分利用全局信息，使智能體決策得不到良好指導(dǎo)。COMA在四個場景中的三個場景下學(xué)習(xí)效果不好，這種結(jié)果印證了反事實(shí)策略梯度與TD優(yōu)勢策略梯度在指導(dǎo)Actor網(wǎng)絡(luò)上存在性能差距。此外，在部分場景下，MSAC的表現(xiàn)與Native AC相當(dāng)甚至不如Native AC，這表明對于通信消息的單純?nèi)B接結(jié)構(gòu)并不能準(zhǔn)確把握通信消息中的有效信息。

AMSAC在所有任務(wù)中獲得了最佳性能，表明本文提出的注意力消息共享機(jī)制是有效的。此外，在較為簡單的場景如8m下，實(shí)驗(yàn)中的所有算法都表現(xiàn)出不錯的性能，即便是綜合表現(xiàn)最差的CommNet也能在訓(xùn)練后期取得60%以上的勝率，在該場景下AMSAC收斂到穩(wěn)定勝率的速度比MSAC和Native AC慢，我們認(rèn)為這是因?yàn)樽⒁饬ο⒐蚕頇C(jī)制的架構(gòu)更加復(fù)雜造成的。

在2s3z和1c3s5z等難度提升的場景下，只有少數(shù)算法能夠?qū)W習(xí)到有效的獲勝策略。在綜合難度最大的3s5z場景下，其他基線和消融算法基本完全無法取勝，但AMSAC卻能通過其特殊設(shè)計(jì)的通信架構(gòu)學(xué)習(xí)到對于智能體決策真正有價值的信息，在3s5z場景下獲得突破性地超過12.5%的平均勝率。

4.4　注意力消息共享機(jī)制分析

為了更細(xì)粒度地顯示消息共享網(wǎng)絡(luò)的注意力機(jī)制如何工作，對2s3z環(huán)境中特定智能體對其他智能體消息的注意力權(quán)重進(jìn)行可視化分析。如圖5所示，選取一局對局的錄像進(jìn)行分析，同時輸出智能體①對于其他智能體消息的注意力權(quán)重。可以看出，影響注意力權(quán)重的最主要因素是智能體①與其他智能體的距離。例如，由于智能體②和智能體①在本回合中始終保持較近的距離，并且兩者均為追獵者角色，因此智能體①始終對智能體②傳輸?shù)南⒈в休^大的注意力權(quán)重。此外，智能體③先是遠(yuǎn)離①而后又接近①，智能體①對于③的注意力權(quán)重經(jīng)歷了先減小后增大的過程。最后，智能體①對于對戰(zhàn)陣亡的智能體則取消對其消息分配注意力權(quán)重。

除此以外，根據(jù)輸出的注意力權(quán)重值，我們認(rèn)為智能體①對其他智能體投入的關(guān)注度還與智能體的角色或種類有關(guān)，這是由于相同角色或種類的智能體具備相同的觀測能力，因此得到的觀測向量在生成消息后有更大地具備高相似度的可能性。圖中戰(zhàn)斗的最后智能體①對于相近距離的智能體②和智能體⑤投入的注意力權(quán)重差距明顯也印證了本文的想法。

上述結(jié)果與人類的直接認(rèn)知是一致的：附近的智能體或相同角色的智能體通常對當(dāng)前智能體有更大的影響，因此通信消息更重要，并且當(dāng)前智能體已經(jīng)學(xué)會將更多的注意力放在與其更相關(guān)的智能體傳輸?shù)南⑸?。因此，這種結(jié)果支持本文的想法，AMSAC的注意力消息共享機(jī)制可以自適應(yīng)地關(guān)注更重要的信息，加快智能體學(xué)習(xí)到對于其決策真正有價值信息的速度。

表2　單次獨(dú)立實(shí)驗(yàn)的平均勝率 單位： %

表3　獨(dú)立實(shí)驗(yàn)獲得的單次評估最高勝率 單位： %

圖5　注意力消息共享機(jī)制分析的對戰(zhàn)過程截圖

5 結(jié)語

本文提出了一種注意力消息共享的多智能體強(qiáng)化學(xué)習(xí)算法AMSAC來自適應(yīng)識別和處理多個智能體間的大量通信消息。首先設(shè)計(jì)了消息共享網(wǎng)絡(luò)，負(fù)責(zé)對智能體通信的消息進(jìn)行寫入和讀取；同時，為了提高智能體對通信消息的處理能力，本文提出了一種注意力消息共享機(jī)制，對消息進(jìn)行有側(cè)重的識別和處理，使智能體學(xué)習(xí)到真正有價值的信息。此外，AMSAC在Critic網(wǎng)絡(luò)通過TD優(yōu)勢策略梯度更好地利用全局狀態(tài)信息評判執(zhí)行動作的價值。在星際爭霸Ⅱ多智能體挑戰(zhàn)賽SMAC的四個場景下進(jìn)行實(shí)驗(yàn)，結(jié)果表明本文方法性能優(yōu)于基線模型。同時，消融模型對比表明，本文提出的注意力消息共享機(jī)制對于實(shí)現(xiàn)更好和更穩(wěn)定的性能是必要的；對注意力機(jī)制的分析表明，AMSAC確實(shí)掌握了自適應(yīng)處理消息的方式。

下一步將考慮應(yīng)用多頭注意力機(jī)制或圖注意力機(jī)制關(guān)注來自不同相關(guān)智能體和不同消息表征子空間的通信消息。本文關(guān)注的智能體數(shù)量大多集中在8～10的較大規(guī)模，未來也可以考慮將MARL通信方法引入更大規(guī)模的多智能體系統(tǒng)，當(dāng)前的大規(guī)模智能體通信方法均包含一系列假設(shè)前提，研究如何處理大規(guī)模多智能體系統(tǒng)的通信消息，仍然存在極強(qiáng)的必要性。

[1] MNIH V， KAVUKCUOGLU K， SILVER D， et al. Human?level control through deep reinforcement learning［J］. Nature， 2015， 518（7540）： 529-533.

[2] 劉全，翟建偉，章宗長，等. 深度強(qiáng)化學(xué)習(xí)綜述［J］. 計(jì)算機(jī)學(xué)報(bào)， 2018， 41（1）：1-27.（LIU Q， ZHAI J W， ZHANG Z Z， et al. A survey on deep reinforcement learning［J］. Chinese Journal of Computers， 2018， 41（1）：1-27.）

[3] TROITZSCH K G. Multi-agent systems and simulation： a survey from an application perspective［M］// UHRMACHER A M， WEYNS D. Multi-Agent Systems： Simulation and Applications. Boca Raton： CRC Press， 2009： 53-76.

[4] HERNANDEZ?LEAL P， KARTAL B， TAYLOR M E. A survey and critique of multiagent deep reinforcement learning［J］. Autonomous Agents and Multi?Agent Systems， 2019， 33（6）： 750-797.

[5] 孫長銀，穆朝絮. 多智能體深度強(qiáng)化學(xué)習(xí)的若干關(guān)鍵科學(xué)問題［J］. 自動化學(xué)報(bào)， 2020， 46（7）：1301-1312.（SUN C Y， MU C X. Important scientific problems of multi?agent deep reinforcement learning［J］. Acta Automatica Sinica， 2020， 46（7）：1301-1312.）

[6] SUKHBAATAR S， SZLAM A， FERGUS R. Learning multiagent communication with backpropagation［C］// Proceedings of the 30th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2016： 2252-2260.

[7] PENG P， WEN Y， YANG Y D， et al. Multiagent bidirectionally? coordinated nets： emergence of human?level coordination in learning to play StarCraft combat games［EB/OL］. （2017-09-14）［2021-02-12］.https：//arxiv.org/pdf/1703.10069.pdf.

[8] DAS A， GERVET T， ROMOFF J， et al. TarMAC： targeted multi? agent communication［C］// Proceedings of the 36th International Conference on Machine Learning. New York： JMLR.org， 2019： 1538-1546.

[9] SINGH A， JAIN T， SUKHBAATAR S. Learning when to communicate at scale in multiagent cooperative and competitive tasks［EB/OL］. （2018-12-23）［2021-02-12］.https：//arxiv.org/pdf/1812.09755.pdf.

[10] LIU Y， WANG W X， HU Y J， et al. Multi?agent game abstraction via graph attention neural network［C］// Proceedings of the 34th Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2020： 7211-7218.

[11] MAO H Y， ZHANG Z C， XIAO Z， et al. Learning multi?agent communication with double attentional deep reinforcement learning［J］. Autonomous Agents and Multi?Agent Systems， 2020， 34（1）： No.32.

[12] SU J Y， ADAMS S， BELING P. Value?decomposition multi?agent actor?critics［C］// Proceedings of the 35th AAAI Conference on Artificial Intelligence. Palo Alto，CA： AAAI Press， 2021： 11352-11360.

[13] SAMVELYAN M， RASHID T， SCHROEDER DE WITT C， et al. The StarCraft multi?agent challenge［C］// Proceedings of the 18th International Conference on Autonomous Agents and MultiAgent Systems. Richland， SC： International Foundation for Autonomous Agents and MultiAgent Systems， 2019： 2186-2188.

[14] WILLIAMS R J. Simple statistical gradient?following algorithms for connectionist reinforcement learning［J］. Machine Learning， 1992， 8（3/4）： 229-256.

[15] LOWE R， WU Y， TAMAR A， et al. Multi?agent actor?critic for mixed cooperative?competitive environments［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 6382-6393.

[16] LILLICRAP T P， HUNT J J， PRITZEL A， et al. Continuous control with deep reinforcement learning［EB/OL］. （2019-07-05）［2021-02-12］.https：//arxiv.org/pdf/1509.02971.pdf.

[17] FOERSTER J N， FARQUHAR G， AFOURAS T， et al. Counterfactual multi?agent policy gradients［C］// Proceedings of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2018： 2974-2982.

[18] ZHANG K Q， YANG Z R， LIU H， et al. Fully decentralized multi?agent reinforcement learning with networked agents［C］// Proceedings of the 35th International Conference on Machine Learning. New York： JMLR.org， 2018： 5872-5881.

[19] JIANG J C， LU Z Q. Learning attentional communication for multi-agent cooperation［C］// Proceedings of the 32nd International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2018： 7265-7275.

[20] IQBAL S， SHA F. Actor?attention?critic for multi?agent reinforcement learning［C］// Proceedings of the 36th International Conference on Machine Learning. New York： JMLR.org， 2019： 2961-2970.

[21] BERNSTEIN D S， GIVAN R， IMMERMAN N， et al. The complexity of decentralized control of Markov decision processes［J］. Mathematics of Operations Research， 2002， 27（4）： 819-840.

[22] SUTTON R S， McALLESTER D， SINGH S， et al. Policy gradient methods for reinforcement learning with function approximation［C］// Proceedings of the 12th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 1999： 1057-1063.

[23] KONDA V R， TSITSIKLIS J N. Actor?critic algorithms［C］// Proceedings of the 12th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 1999： 1008-1014.

[24] MNIH V， HEESS N， GRAVES A， et al. Recurrent models of visual attention［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2014： 2204-2212.

[25] CHO K， MERRI?NBOER B van， GU?L?EHRE ?， et al. Learning phrase representations using RNN encoder?decoder for statistical machine translation［C］// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2014： 1724-1734.

[26] XU K， BA J， KIROS R， et al. Show， attend and tell： neural image caption generation with visual attention［C］// Proceedings of the 32nd International Conference on Machine Learning. New York： JMLR.org， 2015： 2048-2057.

[27] CHUNG J， GU?L?EHRE ?， CHO K， et al. Empirical evaluation of gated recurrent neural networks on sequence modeling［S/OL］. （2014-12-11）［2021-10-25］.https：//arxiv.org/pdf/1412.3555.pdf.

[28] VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 6000-6010.

Multi?agent reinforcement learning based on attentional message sharing

ZANG Rong1， WANG Li1*， SHI Tengfei2

（1，，030600，；2，030006，）

Communication is an important way to achieve effective cooperation among multiple agents in a non? omniscient environment. When there are a large number of agents， redundant messages may be generated in the communication process. To handle the communication messages effectively， a multi?agent reinforcement learning algorithm based on attentional message sharing was proposed， called AMSAC （Attentional Message Sharing multi?agent Actor?Critic）. Firstly， a message sharing network was built for effective communication among agents， and information sharing was achieved through message reading and writing by the agents， thus solving the problem of lack of communication among agents in non?omniscient environment with complex tasks. Then， in the message sharing network， the communication messages were processed adaptively by the attentional message sharing mechanism， and the messages from different agents were processed with importance order to solve the problem that large?scale multi?agent system cannot effectively identify and utilize the messages during the communication process. Moreover， in the centralized Critic network， the Native Critic was used to update the Actor network parameters according to Temporal Difference （TD） advantage policy gradient， so that the action values of agents were evaluated effectively. Finally， during the execution period， the decision was made by the agent distributed Actor network based on its own observations and messages from message sharing network. Experimental results in the StarCraft Multi?Agent Challenge （SMAC） environment show that compared with Native Actor?Critic （Native AC）， Game Abstraction Communication （GA?Comm） and other multi?agent reinforcement learning methods， AMSAC has an average win rate improvement of 4 - 32 percentage points in four different scenarios. AMSAC’s attentional message sharing mechanism provides a reasonable solution for processing communication messages among agents in a multi?agent system， and has broad application prospects in both transportation hub control and unmanned aerial vehicle collaboration.

multi?agent system; agent cooperation; deep reinforcement learning; agent communication; attention mechanism; policy gradient

This work is partially supported by National Natural Science Foundation of China （61872260）.

ZANG Rong， born in 1997， M. S. candidate. His research interests include reinforcement learning， multi-agent system.

WANG Li， born in 1971， Ph. D.， professor. Her research interests include data mining， artificial intelligence， machine learning.

SHI Tengfei， born in 1990， M. S.， engineer. His research interests include deep reinforcement learning.

1001-9081（2022）11-3346-08

10.11772/j.issn.1001-9081.2021122169

2021?12?21；

2022?01?14；

2022?01?24。

國家自然科學(xué)基金資助項(xiàng)目（61872260）。

TP181

A

臧嶸（1997—），男，山西太原人，碩士研究生，主要研究方向：強(qiáng)化學(xué)習(xí)、多智能體系統(tǒng)；王莉（1971—），女，山西太原人，教授，博士，CCF高級會員，主要研究方向：數(shù)據(jù)挖掘、人工智能、機(jī)器學(xué)習(xí)；史騰飛（1990—），男，山西晉城人，工程師，碩士，CCF會員，主要研究方向：深度強(qiáng)化學(xué)習(xí)。