協(xié)作多智能體深度強(qiáng)化學(xué)習(xí)研究綜述

鄒啟杰，蔣亞軍，高 兵*，李文雪，張汝波

(1.大連大學(xué) 信息工程學(xué)院，遼寧 大連 116000；2.大連民族大學(xué) 機(jī)電工程學(xué)院，遼寧 大連 116000)

0 引 言

多智能體系統(tǒng)(Multi-Agent System, MAS)是由多個(gè)智能體與環(huán)境交互組成的分布式?jīng)Q策系統(tǒng)[1]。20世紀(jì)70年代以來(lái)，研究者在MAS領(lǐng)域展開(kāi)了眾多的研究，目的在于建立一個(gè)擁有特定自主等級(jí)和自主學(xué)習(xí)能力的群體智能決策系統(tǒng)[2]。MAS信息共享、分布式計(jì)算和協(xié)同執(zhí)行的特點(diǎn)在現(xiàn)實(shí)生活中有著廣泛的應(yīng)用需求，如在軍事、工業(yè)、交通運(yùn)輸?shù)缺姸囝I(lǐng)域[3]，MAS可以高效地完成群體性自主決策任務(wù)[4]。此外，資源調(diào)度、商業(yè)競(jìng)爭(zhēng)、金融分析、群體心理學(xué)等一些復(fù)雜的社會(huì)性問(wèn)題同樣可以抽象為多智能體模型，進(jìn)而解決其智能優(yōu)化問(wèn)題。

最初的群體智能算法靈感源自仿生學(xué)，如蟻群算法、粒子群算法等啟發(fā)式算法。然而，仿生集群智能方法中單個(gè)智能體智能決策水平十分有限，智能體集群執(zhí)行協(xié)同任務(wù)較為單一，不能更好地適應(yīng)復(fù)雜未知任務(wù)[5]。在決策優(yōu)化問(wèn)題中，強(qiáng)化學(xué)習(xí)(Reinforcement Learning, RL)可以有效解決序貫決策問(wèn)題[6-7]，因此，多智能體強(qiáng)化學(xué)習(xí)(Multi-Agent Reinforcement Learning, MARL)成為廣大MAS研究者重點(diǎn)關(guān)注的領(lǐng)域，極大推動(dòng)了MARL模型不斷優(yōu)化[8]。

隨著研究的不斷深入，MARL一方面提升了群體智能決策水平，另一方面也豐富了多智能體執(zhí)行任務(wù)的類(lèi)型。目前，根據(jù)多智能體的優(yōu)化目標(biāo)不同，可以將MARL中智能體的學(xué)習(xí)任務(wù)分為三種類(lèi)型：完全協(xié)作、完全競(jìng)爭(zhēng)和混合環(huán)境[9-10]。多智能體合作往往在實(shí)際生產(chǎn)和作業(yè)過(guò)程中具有更廣泛的應(yīng)用價(jià)值，其中狹義的學(xué)習(xí)合作指智能體僅通過(guò)局部觀測(cè)來(lái)學(xué)習(xí)協(xié)同，以達(dá)成共同目標(biāo)。另外，盡管多智能體通信機(jī)制可以更好地促進(jìn)協(xié)作策略的高效率執(zhí)行，但是一方面顯式通信交流是以無(wú)通信下的協(xié)作策略研究為基礎(chǔ)，另一方面通信占據(jù)一定的計(jì)算成本和資源，使得大部分應(yīng)用場(chǎng)景并不適用。因此，無(wú)通信環(huán)境下的協(xié)作多智能體應(yīng)用前景廣泛。由于MARL在無(wú)通信環(huán)境下可以通過(guò)狀態(tài)-動(dòng)作信息參數(shù)共享等方式獲取全局信息，本文將這種智能體之間無(wú)直接通信的環(huán)境稱(chēng)為隱式通信環(huán)境。本文對(duì)MARL領(lǐng)域中隱式通信下的協(xié)作型多智能體強(qiáng)化學(xué)習(xí)研究成果進(jìn)行歸納，側(cè)重于學(xué)習(xí)合作場(chǎng)景，同時(shí)不涉及額外的顯式通信。

1 多智能體強(qiáng)化學(xué)習(xí)

MARL是指小規(guī)?；虼笠?guī)模具有自主控制能力和自主決策等級(jí)的智能體集合，通過(guò)RL方法解決序貫決策問(wèn)題，使得MAS達(dá)到任務(wù)需求最優(yōu)均衡狀態(tài)[11]。由于多智能體強(qiáng)化學(xué)習(xí)往往涉及大量的特征信息，通常采用深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)逼近目標(biāo)函數(shù)，因此多智能體強(qiáng)化學(xué)習(xí)一般指多智能體深度強(qiáng)化學(xué)習(xí)，簡(jiǎn)稱(chēng)采用MARL，本文沿用此習(xí)慣。

圖1 MARL結(jié)構(gòu)圖

MARL聯(lián)合值函數(shù)表示為

(1)

聯(lián)合策略就是組成聯(lián)合值函數(shù)的動(dòng)作集合，即

(2)

在無(wú)通信的任務(wù)場(chǎng)景中，MARL遵循以馬爾科夫決策過(guò)程(Markov Decision Process, MDP)為基礎(chǔ)的隨機(jī)博弈理論。在學(xué)習(xí)決策過(guò)程中，每個(gè)智能體僅能感知周?chē)h(huán)境，并不能覆蓋整體環(huán)境。因此，MARL問(wèn)題遵循分布式部分可觀測(cè)馬爾科夫決策過(guò)程(Decentralized Partially Observable Markov Decision Process, Dec-POMDP)的模型，可以描述為一個(gè)七元組(S,A,P,O,Ω,γ,R)。其中，智能體：i∈I={1, 2, …,N}；狀態(tài)：s∈S；動(dòng)作：ai∈A，a∈AN；轉(zhuǎn)移函數(shù)：P(s’|s,a)；獎(jiǎng)勵(lì)：R(s,a)；觀測(cè)：oi∈Ω；觀測(cè)函數(shù)：oi∈Ω～O(s,i)。

2 MARL研究進(jìn)展

在多智能體學(xué)習(xí)合作的研究領(lǐng)域，本文將深度強(qiáng)化學(xué)習(xí)研究方法分為三個(gè)類(lèi)別：基于價(jià)值分解(Value Decomposition, VD)的方法、基于Actor-Critic(AC)的方法和基于經(jīng)驗(yàn)回放(Experience Replay, ER)的方法，如表1所示。

表1 MARL研究分類(lèi)

2.1 基于價(jià)值分解的方法

初期的MARL方法中，智能體的學(xué)習(xí)方式主要是完全分布式學(xué)習(xí)和完全集中式學(xué)習(xí)。在完全分布式學(xué)習(xí)方法中，每個(gè)智能體學(xué)習(xí)自己的值函數(shù)，并根據(jù)局部觀測(cè)oi輸出Q值。分布式學(xué)習(xí)方式面臨的問(wèn)題是環(huán)境對(duì)系統(tǒng)的聯(lián)合獎(jiǎng)勵(lì)無(wú)法合理有效地分配到每個(gè)智能體，致使智能體的學(xué)習(xí)環(huán)境不穩(wěn)定，收斂性也得不到保證。完全集中式學(xué)習(xí)方法則是把MAS看作統(tǒng)一的智能體集合進(jìn)行學(xué)習(xí)，聯(lián)合網(wǎng)絡(luò)把所有智能體觀測(cè)歷史O作為輸入，輸出聯(lián)合Q值，即Qtot。這將面臨學(xué)習(xí)規(guī)模嚴(yán)重受限問(wèn)題，即使采用神經(jīng)網(wǎng)絡(luò)進(jìn)行值函數(shù)擬合，也無(wú)法解決隨著智能體數(shù)量增多，智能體狀態(tài)S和動(dòng)作A空間會(huì)呈現(xiàn)指數(shù)級(jí)增長(zhǎng)困難的問(wèn)題，因此單純的集中式或分布式學(xué)習(xí)無(wú)法進(jìn)行智能體數(shù)量的大規(guī)模擴(kuò)展。

近來(lái)，價(jià)值函數(shù)分解方法采取集中訓(xùn)練、分散執(zhí)行(Centralized Training and Decentralized Execution, CTDE)的范式，學(xué)習(xí)一個(gè)集中但可分解的Q值函數(shù)。價(jià)值分解方法通過(guò)維護(hù)聯(lián)合行為價(jià)值函數(shù)，一方面可以避免完全集中式學(xué)習(xí)過(guò)程中由智能體增加而出現(xiàn)的特征維數(shù)爆炸問(wèn)題，以及完全分散式學(xué)習(xí)的協(xié)同性低下問(wèn)題，因此價(jià)值分解的方法在擴(kuò)展性方面具有結(jié)構(gòu)性?xún)?yōu)勢(shì)；另一方面，智能體保留各自的Q值，使得獎(jiǎng)勵(lì)可以按照Q值進(jìn)行分配，從而達(dá)到有效的信度分配。因此，價(jià)值分解方法在擴(kuò)展性和信度分配問(wèn)題上具備天然的結(jié)構(gòu)性?xún)?yōu)勢(shì)。最新的價(jià)值分解方法研究進(jìn)展，如圖2所示。

圖2 價(jià)值分解方法研究進(jìn)展

為了保證多智能體Q學(xué)習(xí)的CTDE范式的有效性，聯(lián)合貪婪動(dòng)作應(yīng)該等同于各智能體的個(gè)體貪婪動(dòng)作的集合，被稱(chēng)為IGM(Individual-Global-Max)原則[12]，即

(3)

初期，VDN將聯(lián)合動(dòng)作價(jià)值函數(shù)轉(zhuǎn)化為單個(gè)動(dòng)作價(jià)值函數(shù)的加性分解[13]，其基本思想是中心化地訓(xùn)練一個(gè)聯(lián)合的Q網(wǎng)絡(luò)，這個(gè)聯(lián)合的網(wǎng)絡(luò)是由所有智能體局部的Qi網(wǎng)絡(luò)求和得到

Q((h1,h2, …,hN),(a1,a2, …,aN))≈

(4)

然而，VDN可加性的約束條件必然使得其在大部分非可加性的情況下無(wú)法正常收斂。

QMIX方法是對(duì)VDN的改進(jìn)，采用Mixing Network以非線性的方式將局部值進(jìn)行組合，使得聯(lián)合動(dòng)作價(jià)值函數(shù)表示為一個(gè)單調(diào)函數(shù)的形式，如圖3所示。每個(gè)智能體學(xué)習(xí)一個(gè)局部Q值函數(shù)Qi，訓(xùn)練時(shí)通過(guò)Mixing Network聯(lián)合生成一個(gè)網(wǎng)絡(luò)輸出Qtot。分布式執(zhí)行時(shí)，智能體去除Mixing Network，僅保留自己的值函數(shù)網(wǎng)絡(luò)，并通過(guò)值函數(shù)網(wǎng)絡(luò)進(jìn)行動(dòng)作的選擇，并輸出到環(huán)境進(jìn)行交互。

圖3 價(jià)值分解方法結(jié)構(gòu)圖

(5)

由于QMIX方法的Mixing Network是一個(gè)非線性網(wǎng)絡(luò)，其表達(dá)能力因而超過(guò)VDN。實(shí)際上，這個(gè)約束條件使得Mixing Network關(guān)于每一個(gè)Qi的權(quán)重必須非負(fù)，因此，單調(diào)性的限制條件使得QMIX方法無(wú)法擬合復(fù)雜收斂場(chǎng)景。

上述方法采用Qi近似得到Qtot的思路，但是擬合后的Qtot仍和真實(shí)的Qtot存在偏差，因此另外一個(gè)途徑是從真實(shí)的Qtot分解為局部的Qi。

圖4 QTRAN結(jié)構(gòu)圖

最近，QTRAN方法的研究團(tuán)隊(duì)對(duì)其進(jìn)行改進(jìn)，提出QTRAN++方法，增加優(yōu)化約束條件，明確地指定了最優(yōu)動(dòng)作組成的Qtot，當(dāng)前最大Qtot，以及得到的近似Qtot之間的大小關(guān)系[15]，如圖5所示。改進(jìn)后的QTRAN++方法深度分析了最優(yōu)動(dòng)作序列的關(guān)系，明確了Q函數(shù)的更新目標(biāo)，減輕了Qtot和Qi的訓(xùn)練壓力。

圖5 QTRAN++結(jié)構(gòu)圖

Qatten方法提出了一種基于多頭注意力機(jī)制(Multi-Head Attention)的Q值混合網(wǎng)絡(luò)來(lái)近似Qtot值和分解Qi值[16]，如圖6所示。Qatten方法從理論上系統(tǒng)推導(dǎo)出了全局分解為局部的過(guò)程，為價(jià)值分解方法提供了充實(shí)的理論依據(jù)，彌補(bǔ)了QMIX和VDN等方法在理論上的不足。

圖6 Qatten結(jié)構(gòu)圖

ROMA方法將多智能體協(xié)同過(guò)程的智能個(gè)體的任務(wù)差異性加入MARL方法之中，通過(guò)“角色”來(lái)描述，智能體的價(jià)值函數(shù)或策略依賴(lài)于學(xué)習(xí)的“角色”，不同“角色”負(fù)責(zé)執(zhí)行不同的子任務(wù)，并實(shí)現(xiàn)智能體之間的自適應(yīng)共享學(xué)習(xí)機(jī)制[17]，如圖7所示。

圖7 ROMA結(jié)構(gòu)圖

綜上，相較于其他MARL方法，價(jià)值分解的方法近年來(lái)取得了較多的研究成果并日趨成熟。基于價(jià)值分解的MARL方法具有明顯優(yōu)勢(shì)：一方面，價(jià)值分解的方法在智能體數(shù)據(jù)的擴(kuò)展性方面具有結(jié)構(gòu)性?xún)?yōu)勢(shì)，避免了完全集中式學(xué)習(xí)過(guò)程中因智能體增加而出現(xiàn)的特征維數(shù)爆炸問(wèn)題，以及完全分散式學(xué)習(xí)的協(xié)同性低下問(wèn)題；另一方面，采用效用函數(shù)細(xì)化值函數(shù)的方式，簡(jiǎn)化聯(lián)合行為價(jià)值函數(shù)的訓(xùn)練方式，同時(shí)具備針對(duì)性，可以有效解決多智能體信度分配問(wèn)題。

然而，價(jià)值分解的方法也有其明顯的不足之處。首先，價(jià)值分解的方法在處理環(huán)境非平穩(wěn)性問(wèn)題上的表現(xiàn)不盡如人意；其次，受限于離散的動(dòng)作空間，價(jià)值分解方法無(wú)法在連續(xù)的動(dòng)作空間中有效地學(xué)習(xí)；另外，價(jià)值分解方法無(wú)法同時(shí)滿(mǎn)足off-policy學(xué)習(xí)、值函數(shù)近似和自舉學(xué)習(xí)，缺乏穩(wěn)定性；最后，一些方法假定的約束條件使得這些方法在大部分情況下無(wú)法有效收斂。

2.2 基于Actor-Critic的方法

MARL的現(xiàn)有研究中，通常采用集中Critic網(wǎng)絡(luò)和分散Actor網(wǎng)絡(luò)(Centralized Critic Decentralized Actor, CCDA)結(jié)構(gòu)，如圖8所示。CCDA方式屬于CTDE范式的一種，可以通過(guò)學(xué)習(xí)中心化Critic網(wǎng)絡(luò)將所有智能體的動(dòng)作-狀態(tài)信息作為輸入，輸出全局Q值；同時(shí)每個(gè)智能體學(xué)習(xí)獨(dú)立的Actor網(wǎng)絡(luò)進(jìn)行分散式的執(zhí)行。因此，這種結(jié)構(gòu)擁有突出的抗環(huán)境非平穩(wěn)性的能力。

圖8 CCDA結(jié)構(gòu)圖

然而，集中式的Critic網(wǎng)絡(luò)輸入網(wǎng)絡(luò)的同時(shí)，動(dòng)作-狀態(tài)空間維度呈指數(shù)級(jí)上升，當(dāng)智能體數(shù)量增大時(shí)，過(guò)高的維度空間提升了函數(shù)擬合難度，因此系統(tǒng)可擴(kuò)展性較差；Critic網(wǎng)絡(luò)輸入全局狀態(tài)信息，無(wú)法將聯(lián)合獎(jiǎng)勵(lì)按信度分配到每個(gè)智能體上，因此, 缺乏較好的信度分配機(jī)制。

OpenAI首先提出將DDPG方法擴(kuò)展到多智能體領(lǐng)域并進(jìn)行改進(jìn)，提出最初的MADDPG算法，如圖9所示。MADDPG 算法假定每一個(gè)智能體擁有獨(dú)立Actor網(wǎng)絡(luò)以及Critic網(wǎng)絡(luò)，并假定智能體個(gè)體可以根據(jù)任務(wù)需求設(shè)計(jì)特有的回報(bào)函數(shù)，這使得MADDPG算法可以同時(shí)解決協(xié)作環(huán)境、競(jìng)爭(zhēng)環(huán)境以及混合環(huán)境下的多智能體問(wèn)題[18]。MADDPG算法學(xué)習(xí)連續(xù)動(dòng)作空間中的確定性策略，并使用以下更新策略的梯度：

圖9 MADDPG結(jié)構(gòu)圖

(6)

從MADDPG算法的網(wǎng)絡(luò)結(jié)構(gòu)和梯度更新策略來(lái)看，每個(gè)Critic網(wǎng)絡(luò)可將其余所有智能體的局部觀察以及動(dòng)作作為輸入，以消除環(huán)境非平穩(wěn)性，有效地縮小方差。從每個(gè)智能體的Critic網(wǎng)絡(luò)輸入環(huán)境觀察數(shù)據(jù)不難發(fā)現(xiàn)，每個(gè)智能體實(shí)質(zhì)仍然屬于中心化訓(xùn)練，因此MADDPG算法并非完全分布式的訓(xùn)練。

盡管MADDPG算法實(shí)現(xiàn)了連續(xù)動(dòng)作空間中高效的學(xué)習(xí)，卻沒(méi)能解決針對(duì)完全合作環(huán)境下的“信用分配”(Credit Assignment)問(wèn)題。COMA方法的顯著特點(diǎn)是提出反事實(shí)基線以解決“信度分配”問(wèn)題，防止智能個(gè)體學(xué)習(xí)的惰性。基線計(jì)算通過(guò)邊緣化當(dāng)前智能體的行動(dòng)，同時(shí)保持其他智能體的行動(dòng)不變[19-20]。而后，通過(guò)優(yōu)勢(shì)函數(shù)計(jì)算當(dāng)前Q值和反事實(shí)基線的差異，作為智能體當(dāng)前貢獻(xiàn)度[21-22]。

MAAC算法引入注意力機(jī)制，求解其他智能體對(duì)于該智能體的貢獻(xiàn)，從而選擇性地輸入其他智能體的信息[23-24]。MAAC算法既解決了Critic網(wǎng)絡(luò)信息維度指數(shù)級(jí)增長(zhǎng)問(wèn)題，又使得智能體之間相互影響的差異性得以體現(xiàn)，如圖10所示。

圖10 MAAC結(jié)構(gòu)圖

DOP(Off-Policy Multi-Agent Decomposed Policy Gradient)方法將基于價(jià)值分解的思想引入，定義一個(gè)線性分解的Critic網(wǎng)絡(luò)，將集中式的Critic網(wǎng)絡(luò)抽象分解成多個(gè)Critic網(wǎng)絡(luò)，再通過(guò)類(lèi)似VDN的方式累加得到Qtot[25]，如圖11所示。

圖11 DOP結(jié)構(gòu)圖

綜上，Actor-Critic方法簇建立一個(gè)獨(dú)立或共享的Critic網(wǎng)絡(luò)，利用輸入的全局觀測(cè)信息和聯(lián)合策略解決其訓(xùn)練問(wèn)題。這樣能夠有效地解決多智能體學(xué)習(xí)的非平穩(wěn)性問(wèn)題，突破了價(jià)值分解理論在離散動(dòng)作空間的局限性，可以在多智能體連續(xù)動(dòng)作空間發(fā)揮作用。

相較于價(jià)值分解的方法，基于Actor-Critic的方法利用Actor-Critic結(jié)構(gòu)優(yōu)勢(shì)，分散式的Actor網(wǎng)絡(luò)可以直接根據(jù)智能體自身觀測(cè)輸出策略，有利于隱式通信下多智能體分布式的執(zhí)行。另外，由于基于價(jià)值的強(qiáng)化學(xué)習(xí)方法在處理高維度動(dòng)作空間面臨困境，甚至癱瘓，而多智能體中數(shù)量增加導(dǎo)致的維數(shù)爆炸更甚，因此Actor-Critic的結(jié)構(gòu)優(yōu)勢(shì)在未來(lái)MARL的研究中將具有很好的前景。

然而，由于集中式輸入的Critic網(wǎng)絡(luò)面臨由狀態(tài)數(shù)量劇增、梯度下降方向正確率大幅降低而引起的維度爆炸問(wèn)題，因此Actor-Critic方法無(wú)法有效地?cái)U(kuò)展到復(fù)雜任務(wù)或大規(guī)模的多智體系統(tǒng)中。同時(shí)，此類(lèi)方法缺少信度分配機(jī)制，無(wú)法對(duì)爆炸的信息實(shí)施有效過(guò)濾，而全局Critic指導(dǎo)個(gè)體策略梯度存在困難，多智能體學(xué)習(xí)難以收斂。現(xiàn)有信度分配的解決方案中，盡管利用優(yōu)勢(shì)函數(shù)等方法求解智能體貢獻(xiàn)，如COMA，然而實(shí)際表現(xiàn)不佳。最后，盡管多智能體Actor-Critic方法擁有良好的結(jié)構(gòu)性?xún)?yōu)勢(shì)，但是目前的研究相較于價(jià)值分解方法不夠成熟，實(shí)驗(yàn)表現(xiàn)略遜，因此Actor-Critic方法存在較大的研究空間。

2.3 基于經(jīng)驗(yàn)回放的方法

獨(dú)立Q學(xué)習(xí)(Independent Q-learning, IQL)是MARL方法中最初的方法，指每個(gè)智能體都獨(dú)立地學(xué)習(xí)自己的策略，而將其他智能體視為環(huán)境的一部分[26]。然而，單純的IQL方式面臨環(huán)境非平穩(wěn)性問(wèn)題，致使MAS的收斂性能無(wú)法得到保證。隨著深度強(qiáng)化學(xué)習(xí)的發(fā)展，經(jīng)驗(yàn)回放機(jī)制在傳統(tǒng)強(qiáng)化學(xué)習(xí)處理環(huán)境非平穩(wěn)和稀疏等困難中得到較好效果，于是眾多研究者將經(jīng)驗(yàn)回放機(jī)制引入MARL方法中，以克服環(huán)境非平穩(wěn)帶來(lái)的狀態(tài)轉(zhuǎn)移連續(xù)性問(wèn)題，智能體之間通過(guò)經(jīng)驗(yàn)共享而實(shí)現(xiàn)協(xié)同目標(biāo)。

經(jīng)驗(yàn)回放方法是將系統(tǒng)探索環(huán)境得到的數(shù)據(jù)存儲(chǔ)起來(lái)，然后通過(guò)隨機(jī)采樣更新深度神經(jīng)網(wǎng)絡(luò)參數(shù)。深度強(qiáng)化學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)作為監(jiān)督學(xué)習(xí)模型，需要數(shù)據(jù)滿(mǎn)足獨(dú)立同分布。另外，由于強(qiáng)化學(xué)習(xí)在馬爾科夫決策過(guò)程中產(chǎn)生的探索數(shù)據(jù)是前后關(guān)聯(lián)的，經(jīng)驗(yàn)回放方法通過(guò)數(shù)據(jù)的存儲(chǔ)和隨機(jī)采樣訓(xùn)練，打破了數(shù)據(jù)相關(guān)性，并且提升重要數(shù)據(jù)的利用率，降低參數(shù)更新的方差。如隨機(jī)優(yōu)先采樣保證在一個(gè)轉(zhuǎn)移優(yōu)先中的采樣概率是單一的，轉(zhuǎn)移i的采樣概率為

(7)

式中：α為確定使用的優(yōu)先級(jí)，當(dāng)α=0時(shí)，為均勻采樣。

文獻(xiàn)[27]提出的穩(wěn)定經(jīng)驗(yàn)回放算法，將重要性采樣(Importance Sampling)和指紋(Fingerprint)引入MARL方法中，解決IQL與深度學(xué)習(xí)的經(jīng)驗(yàn)回放兼容性問(wèn)題。重要性采樣自然衰減過(guò)時(shí)的數(shù)據(jù)，根據(jù)指紋調(diào)節(jié)每個(gè)智能體的值函數(shù)，消除時(shí)間引起的數(shù)據(jù)歧義性。

盡管穩(wěn)定經(jīng)驗(yàn)回放方法將經(jīng)驗(yàn)共享的思想引入MARL并取得較好的成果，但其前提條件是所有動(dòng)作更新頻率相等，Q-learning中的動(dòng)作值是異步更新的，因此動(dòng)作值更新函數(shù)的導(dǎo)數(shù)與實(shí)際相差一個(gè)因子，頻率調(diào)整Q學(xué)習(xí)(Frequency Adjusted Q-learning，F(xiàn)AQ)方法可以融合進(jìn)化模型，其動(dòng)作值更新的權(quán)重與動(dòng)作被選中的概率成反比，從而模擬同步更新[28]。

Bloembergen等[28]利用FAQ的同步更新優(yōu)勢(shì)提出“寬大(Lenient)”的概念，對(duì)于智能體初始學(xué)習(xí)性能低下問(wèn)題，給予更多的寬恕處理。在學(xué)習(xí)過(guò)程開(kāi)始時(shí)提高智能個(gè)體對(duì)搜索空間投影的準(zhǔn)確性，從而增強(qiáng)了隨機(jī)回報(bào)的魯棒性。從理論角度看，通過(guò)調(diào)節(jié)“寬大”的程度，能夠使得多智能體學(xué)習(xí)收斂到帕累托最優(yōu)。當(dāng)聯(lián)合空間中的次最優(yōu)納什均衡優(yōu)于最優(yōu)納什均衡時(shí)，會(huì)出現(xiàn)相對(duì)過(guò)度泛化，如圖12所示。因?yàn)楫?dāng)與協(xié)作智能體的任意動(dòng)作匹配時(shí)，每個(gè)代理在次最優(yōu)均衡中的行動(dòng)是更好的選擇。

強(qiáng)化學(xué)習(xí)中，深度神經(jīng)網(wǎng)絡(luò)的強(qiáng)大函數(shù)擬合能力使Q學(xué)習(xí)的計(jì)算性能得以提升，因此Palmer等將寬大概念引入DQN方法中，提出L-DQN(Lenient-Deep Q-Networks)，在原有溫度控制的動(dòng)作選擇的基礎(chǔ)上，增加寬大處理函數(shù)[29]。

寬大經(jīng)驗(yàn)共享機(jī)制同時(shí)帶來(lái)了相對(duì)的過(guò)度概括病態(tài)[30-31]，隨后產(chǎn)生的分布式Q學(xué)習(xí)[32]和滯后Q學(xué)習(xí)[33]，旨在克服這種過(guò)度概括：

l(s,t)=1-e-k×T(φ(s), a)

(8)

式中：每條寬大經(jīng)驗(yàn)映射一個(gè)溫度值T，通過(guò)預(yù)先計(jì)算溫度衰減計(jì)劃計(jì)算溫度指數(shù)值，從而對(duì)寬大經(jīng)驗(yàn)進(jìn)行衰減處理，防止策略經(jīng)驗(yàn)過(guò)早冷卻[34]。

盡管經(jīng)驗(yàn)回放的方法可以通過(guò)改進(jìn)訓(xùn)練數(shù)據(jù)回放機(jī)制來(lái)促進(jìn)MARL的協(xié)作策略學(xué)習(xí)，然而在大規(guī)模智能體的擴(kuò)展過(guò)程中穩(wěn)定效率低下，無(wú)法較好地提高擴(kuò)展性能，于是Gupta等[35]提出了參數(shù)共享作為一種改進(jìn)同構(gòu)多智能體環(huán)境中學(xué)習(xí)的方法。智能體之間采樣經(jīng)驗(yàn)樣本匯總來(lái)更新模型，實(shí)現(xiàn)參數(shù)共享，以提高算法可擴(kuò)展性。同時(shí)，參數(shù)共享的方式將局部觀察和自身索引輸入模型，避免智能體因參數(shù)共享引起的策略缺乏差異性的弊端，從智能體中獲得的一批軌跡用來(lái)計(jì)算優(yōu)勢(shì)值。

在多智能體顯式通信領(lǐng)域，F(xiàn)oerster提出的RIAL和DIAL算法也采用參數(shù)共享的方法，通過(guò)在智能體之間共享參數(shù)來(lái)進(jìn)行集中化學(xué)習(xí)，參數(shù)可以極大地減少學(xué)習(xí)所必須的通信參數(shù)數(shù)量，從而提升學(xué)習(xí)速度[36]。RIAL方法如圖13所示。

圖13 RIAL結(jié)構(gòu)圖

參數(shù)共享的方法通過(guò)智能體之間的參數(shù)傳遞，可以有效減低MARL學(xué)習(xí)過(guò)程中參數(shù)學(xué)習(xí)的復(fù)雜度，從而提升學(xué)習(xí)效率，在價(jià)值分解和Actor-Critic方法中也被廣泛采用，如VDN，QMIX和MADDPG等[37-38]。由于參數(shù)共享是基于智能體部分觀察的場(chǎng)景，因此智能體最終的學(xué)習(xí)動(dòng)作會(huì)存在差異性[39]。

綜上，在基于經(jīng)驗(yàn)回放的方法中，MARL方法通過(guò)經(jīng)驗(yàn)和參數(shù)共享的方法提升數(shù)據(jù)利用率，增加了共享模型的魯棒性，從而提升了算法對(duì)于訓(xùn)練經(jīng)驗(yàn)處理機(jī)制的實(shí)用性，為價(jià)值分解和Actor-Critic等眾多MARL方法提供了更高的經(jīng)驗(yàn)處理思路。然而，基于經(jīng)驗(yàn)回放的方法缺乏智能體之間的關(guān)聯(lián)性和協(xié)同性，因此無(wú)法較好地適應(yīng)高效的協(xié)同策略訓(xùn)練場(chǎng)景。

3 協(xié)作多智能體深度強(qiáng)化學(xué)習(xí)的挑戰(zhàn)

因深度強(qiáng)化學(xué)習(xí)發(fā)展迅速而得到廣泛關(guān)注。盡管MARL在圖像或語(yǔ)音識(shí)別的模式識(shí)別領(lǐng)域和圍棋撲克等決策任務(wù)中表現(xiàn)優(yōu)異，但是從特定環(huán)境到復(fù)雜現(xiàn)實(shí)任務(wù)的過(guò)渡仍存在眾多困境，單智能體強(qiáng)化學(xué)習(xí)存在的問(wèn)題在多智能體擴(kuò)展中得到進(jìn)一步惡化，如維數(shù)爆炸問(wèn)題和模型泛化問(wèn)題等。

(1)維數(shù)爆炸問(wèn)題

得益于計(jì)算性能的提高與算法的不斷優(yōu)化，單智能體在處理高維度信息時(shí)不再困難，然而在向多智能體擴(kuò)展過(guò)程中，動(dòng)作-狀態(tài)信息呈指數(shù)級(jí)增長(zhǎng)，所需的計(jì)算成本不斷提高，增大了函數(shù)擬合的困難。

(2)模型泛化問(wèn)題

強(qiáng)化學(xué)習(xí)的模型泛化對(duì)于同一個(gè)領(lǐng)域中的同一個(gè)任務(wù)，強(qiáng)化學(xué)習(xí)模型在訓(xùn)練環(huán)境訓(xùn)練，在測(cè)試環(huán)境驗(yàn)證模型的性能。由于強(qiáng)化學(xué)習(xí)的數(shù)據(jù)是在模型與環(huán)境交互過(guò)程中產(chǎn)生的，所以普遍認(rèn)為強(qiáng)化學(xué)習(xí)中的泛化能力弱，模型較容易過(guò)擬合到當(dāng)前的訓(xùn)練環(huán)境。MARL中，智能體的增加增大了學(xué)習(xí)難度和模型復(fù)雜度，進(jìn)一步加劇了模型泛化的困境。

另外，由于分布式計(jì)算智能和環(huán)境動(dòng)態(tài)的特性，MARL仍然面臨諸多問(wèn)題亟待解決。

(1)現(xiàn)實(shí)環(huán)境的非平穩(wěn)性問(wèn)題

多智能體系統(tǒng)中，單智能體的觀測(cè)oi僅為環(huán)境整體狀態(tài)的一部分，即對(duì)于智能體來(lái)說(shuō)環(huán)境是部分可觀測(cè)的[40]。多個(gè)智能體的并行訓(xùn)練導(dǎo)致每個(gè)智能體所面臨的環(huán)境動(dòng)態(tài)變化，這是指某個(gè)智能體采取的行動(dòng)會(huì)影響其他智能體回報(bào)及全局環(huán)境的改變，而導(dǎo)致智能體在相同狀態(tài)下執(zhí)行相同動(dòng)作后，由于其他智能體干擾，致使環(huán)境狀態(tài)轉(zhuǎn)移不再具備連續(xù)性[26，41]，這有違于強(qiáng)化學(xué)習(xí)馬爾科夫的基本假設(shè)。

價(jià)值分解和Actor-Critic方法憑借CTDE的學(xué)習(xí)范式，一定程度上緩解了非平穩(wěn)環(huán)境帶來(lái)的收斂困難問(wèn)題。而在獨(dú)立Q學(xué)習(xí)中，盡管一些方法試圖通過(guò)經(jīng)驗(yàn)回放、指紋算法和寬恕/滯回處理等方式來(lái)解決非平穩(wěn)性問(wèn)題，卻仍然由于智能體個(gè)體和其他智能體的策略訓(xùn)練之間缺乏關(guān)聯(lián)性，導(dǎo)致獨(dú)立Q學(xué)習(xí)的方式缺乏根本性的解決方案。

(2)多智能體稀疏獎(jiǎng)勵(lì)問(wèn)題

獎(jiǎng)勵(lì)稀疏是RL在復(fù)雜問(wèn)題中學(xué)習(xí)困難的重要原因。目前RL方法中，智能體無(wú)法得到正確的監(jiān)督或協(xié)作信號(hào)以得到期望的目標(biāo)或獎(jiǎng)勵(lì)收益，導(dǎo)致學(xué)習(xí)緩慢甚至無(wú)法有效學(xué)習(xí)。在MARL中，每個(gè)智能體任務(wù)不同，但是彼此之間又相互耦合影響，獎(jiǎng)勵(lì)設(shè)計(jì)的優(yōu)劣直接影響策略的好壞。

解決獎(jiǎng)勵(lì)稀疏問(wèn)題有三個(gè)主要途徑：一是利用內(nèi)部或外部數(shù)據(jù)進(jìn)行獎(jiǎng)勵(lì)學(xué)習(xí)或重塑，利用專(zhuān)家經(jīng)驗(yàn)或良好軌跡來(lái)學(xué)習(xí)最佳獎(jiǎng)勵(lì)信號(hào)，包括模仿學(xué)習(xí)和課程學(xué)習(xí)等，通過(guò)雙水平優(yōu)化獎(jiǎng)勵(lì)參數(shù)自動(dòng)地添加獎(jiǎng)勵(lì)修正，引導(dǎo)強(qiáng)化學(xué)習(xí)智能體獲得優(yōu)異的學(xué)習(xí)策略，最大化真實(shí)環(huán)境下的獎(jiǎng)勵(lì)；或者利用已有內(nèi)部數(shù)據(jù)產(chǎn)生內(nèi)在的獎(jiǎng)勵(lì)，以鼓勵(lì)更好的探索，包括好奇心驅(qū)動(dòng)和優(yōu)先/事后經(jīng)驗(yàn)回放。二是在時(shí)間和空間角度進(jìn)行信度分配，時(shí)間角度是將稀疏的終止獎(jiǎng)勵(lì)分解到以前的時(shí)間步，空間角度是根據(jù)智能體個(gè)體的貢獻(xiàn)將全局獎(jiǎng)勵(lì)分解到個(gè)體智能體上，而空間上的信度分配是MARL的一大難題。三是任務(wù)層次化分解，將原始任務(wù)分解為離散或連續(xù)的子任務(wù)，高層遵循半馬爾科夫決策過(guò)程，底層從高層分解的子目標(biāo)中接收獎(jiǎng)勵(lì)反饋并完成子目標(biāo)。

(3)智能體個(gè)體的信度分配問(wèn)題

在協(xié)作多智能體Dec-POMDP問(wèn)題中，環(huán)境的反饋信號(hào)(即獎(jiǎng)勵(lì))由所有智能體的聯(lián)合動(dòng)作所決定，個(gè)體的獎(jiǎng)勵(lì)難以準(zhǔn)確描述，智能體在不同狀態(tài)做出的相同動(dòng)作對(duì)于整個(gè)團(tuán)隊(duì)的貢獻(xiàn)未知[42-43]；同樣地，當(dāng)智能體探索到最優(yōu)策略序列中的自身策略時(shí)，由于整個(gè)團(tuán)隊(duì)的策略對(duì)于環(huán)境的影響較差，導(dǎo)致智能體對(duì)該最優(yōu)策略的誤判[44]。因此，多智能體面臨信度分配問(wèn)題，即求解單智能體的策略對(duì)MAS聯(lián)合策略的貢獻(xiàn)度。

在競(jìng)爭(zhēng)或混合任務(wù)場(chǎng)景中，通常采用差異獎(jiǎng)勵(lì)的方式來(lái)促進(jìn)MAS中智能體對(duì)各自任務(wù)的差異化策略訓(xùn)練。然而，協(xié)作多智能體系統(tǒng)中智能體貢獻(xiàn)無(wú)法衡量，目前主要的方式是采取貴族效用的方式，來(lái)衡量智能體實(shí)際行為和平均行為間的差異，計(jì)算優(yōu)勢(shì)函數(shù)來(lái)求解智能體貢獻(xiàn)度。另外，借助RL學(xué)習(xí)過(guò)程中的軌跡，可以按照時(shí)序分配獎(jiǎng)勵(lì)。

(4)大規(guī)模集群智能的擴(kuò)展性問(wèn)題

隨著智能體數(shù)量的增加，聯(lián)合動(dòng)作空間維數(shù)呈指數(shù)級(jí)增長(zhǎng)，使得現(xiàn)有的小規(guī)模智能體協(xié)作策略算法擴(kuò)展到大規(guī)模集群時(shí)，收斂效率大幅降低，甚至陷入資源沖突、無(wú)有效可行解狀態(tài)。因此，對(duì)于大規(guī)模集群性強(qiáng)化學(xué)習(xí)算法需要特殊考慮算法處理指數(shù)級(jí)任務(wù)空間求解優(yōu)化問(wèn)題[45-46]。

現(xiàn)有的研究集中在采用課程學(xué)習(xí)或?qū)＜医?jīng)驗(yàn)來(lái)訓(xùn)練協(xié)同策略行為，使智能體由小規(guī)模到大規(guī)模地進(jìn)行學(xué)習(xí)訓(xùn)練。另外，模型共享的機(jī)制通過(guò)為所有同構(gòu)智能體群組學(xué)習(xí)一個(gè)共享的模型結(jié)構(gòu)，從而成為一種解決優(yōu)化大規(guī)?？臻g收斂難的途徑。

(5)多種優(yōu)化目標(biāo)難以平衡問(wèn)題

MARL模糊的學(xué)習(xí)目標(biāo)主要?dú)w結(jié)為均衡議程和AI議程。均衡議程指收斂到某一個(gè)博弈納什均衡點(diǎn)，AI議程指最佳學(xué)習(xí)策略，即學(xué)習(xí)最優(yōu)反饋信號(hào)下的策略序列[47-48]。博弈均衡理論(Game Equilibrium Theory)可以協(xié)調(diào)多智能體優(yōu)化目標(biāo)。在均衡學(xué)習(xí)范式中，智能體策略訓(xùn)練目標(biāo)是在其他智能體策略未知的情況下，智能體試圖至少學(xué)習(xí)到納什均衡狀態(tài)的收益，即收益下限。因此，通過(guò)博弈均衡目標(biāo)的優(yōu)化，可以使得MAS收斂到納什均衡狀態(tài)，從而緩解多場(chǎng)景下多目標(biāo)平衡矛盾。

(6)信息結(jié)構(gòu)復(fù)雜性

信息結(jié)構(gòu)復(fù)雜性主要有兩個(gè)方面：一方面是信息內(nèi)容不同，即智能體在訓(xùn)練和執(zhí)行階段所需信息是不同的，也是未知的。另一方面是信息基于局部策略，尤其競(jìng)爭(zhēng)環(huán)境下無(wú)法獲得對(duì)手策略和獎(jiǎng)勵(lì)信息。

4 MARL的應(yīng)用領(lǐng)域

MARL最前沿的研究一直致力于在復(fù)雜環(huán)境中使得多智能體具有更強(qiáng)的環(huán)境適應(yīng)能力，以及學(xué)習(xí)更好的協(xié)作策略，從而替代人類(lèi)完成一些高?；蛭粗娜蝿?wù)。

(1)多機(jī)器人協(xié)作

MARL在工業(yè)[49-51]、農(nóng)業(yè)[52]、軍事[53]和醫(yī)療[54]等領(lǐng)域多機(jī)器人協(xié)作任務(wù)中具有廣泛的用途，如機(jī)械臂、無(wú)人機(jī)、自動(dòng)駕駛和物聯(lián)網(wǎng)等。在現(xiàn)實(shí)生活中，隱式通信的多機(jī)器人通過(guò)協(xié)作來(lái)提升MAS的任務(wù)效率，移動(dòng)機(jī)器人底層的決策和規(guī)劃成為多智能體協(xié)同控制的關(guān)鍵技術(shù)，其中多機(jī)器人之間的自主避障和導(dǎo)航是多機(jī)器人協(xié)同的重點(diǎn)。

(2)資源調(diào)度

另外，MARL在資源調(diào)度領(lǐng)域的應(yīng)用具有無(wú)可比擬的優(yōu)勢(shì)，MARL可以解決資源供需不平衡導(dǎo)致的資源利用率低下等問(wèn)題，如5G網(wǎng)絡(luò)優(yōu)化-多頻段參數(shù)優(yōu)化、供應(yīng)鏈優(yōu)化、芯片3D-IO布線優(yōu)化和電網(wǎng)調(diào)度等場(chǎng)景[55]。由于任務(wù)的復(fù)雜性和多智能體必需的協(xié)同決策，資源調(diào)度任務(wù)并不能簡(jiǎn)單歸類(lèi)為運(yùn)籌學(xué)問(wèn)題或者機(jī)器人規(guī)劃問(wèn)題。因此，MARL可以根據(jù)實(shí)際任務(wù)將復(fù)雜問(wèn)題歸類(lèi)為決策、規(guī)劃以及組合優(yōu)化問(wèn)題，通過(guò)智能體協(xié)同進(jìn)而提升資源利用效率。

(3)虛擬互聯(lián)網(wǎng)場(chǎng)景

在虛擬互聯(lián)網(wǎng)場(chǎng)景中，MARL憑借用戶(hù)的實(shí)時(shí)反饋和長(zhǎng)期累積獎(jiǎng)勵(lì)，成功在搜索系統(tǒng)、推薦系統(tǒng)和廣告推送等領(lǐng)域廣泛使用。在互聯(lián)網(wǎng)搜索領(lǐng)域，MARL可以訓(xùn)練多個(gè)智能體來(lái)代替通用智能體模型，有效地學(xué)習(xí)各種查詢(xún)重構(gòu)[56-57]。另外，在推薦系統(tǒng)的訓(xùn)練學(xué)習(xí)中，MARL可以捕獲不同場(chǎng)景之間的順序相關(guān)性并聯(lián)合優(yōu)化多個(gè)推薦策略，來(lái)減少訓(xùn)練數(shù)據(jù)需求并執(zhí)行更準(zhǔn)確的策略更新[58]。在互聯(lián)網(wǎng)廣告推送方面，MARL可以將印象分配問(wèn)題定義為一個(gè)拍賣(mài)問(wèn)題，為出版商在不穩(wěn)定環(huán)境下最大限度實(shí)現(xiàn)目標(biāo)提供合作策略[59]。

(4)游戲AI

在游戲AI領(lǐng)域，MARL取得眾多進(jìn)展，如德國(guó)撲克、國(guó)際象棋和圍棋等分步回合制對(duì)抗游戲，以及星際爭(zhēng)霸、DOTA和王者榮耀等即時(shí)戰(zhàn)略游戲[60]。智能體可以通過(guò)自我博弈、協(xié)作對(duì)抗等方式學(xué)會(huì)有效信息并不斷增強(qiáng)策略學(xué)習(xí)能力。多智能體游戲AI，由于游戲復(fù)雜性、動(dòng)作狀態(tài)維度過(guò)高和獲取信息局限性等因素影響，使得模型訓(xùn)練難度加大，MARL學(xué)習(xí)更加困難。

(5)群體博弈

博弈均衡理論可以有效地協(xié)調(diào)多智能體優(yōu)化目標(biāo)。博弈是指在一定的游戲規(guī)則約束下，基于直接相互作用的環(huán)境條件，參與者依據(jù)所掌握的信息，選擇各自的策略(行動(dòng))，以實(shí)現(xiàn)利益最大化的過(guò)程[61]。在經(jīng)典博弈論中，智能體通過(guò)策略選擇使得自身回報(bào)最大化，最終進(jìn)化為納什均衡狀態(tài)[62]。

MARL可以理解為一個(gè)隨機(jī)博弈過(guò)程，將每個(gè)狀態(tài)的階段博弈的納什均衡結(jié)合為動(dòng)態(tài)環(huán)境中的智能體策略，并不斷與環(huán)境交互，更新每個(gè)狀態(tài)的階段博弈中的Q函數(shù)。而對(duì)于傳統(tǒng)的納什均衡，每個(gè)智能體都希望優(yōu)化到一個(gè)不動(dòng)點(diǎn)，這對(duì)于個(gè)體智能體是最優(yōu)的，而協(xié)作多智能體是一個(gè)非零和博弈過(guò)程，是基于聯(lián)合的最優(yōu)策略序列作為優(yōu)化目標(biāo)。

5 總結(jié)與展望

目前，在基于價(jià)值分解的多智能體強(qiáng)化學(xué)習(xí)方法中，MAS通過(guò)建立了一個(gè)集中的混合網(wǎng)絡(luò)，將個(gè)體值函數(shù)聯(lián)合，并通過(guò)全局值函數(shù)進(jìn)行訓(xùn)練。為了適應(yīng)動(dòng)態(tài)環(huán)境和MAS的協(xié)作性能，以及考慮每個(gè)智能體的局部?jī)?yōu)化，需遵循IGM原則?；贏ctor-Critic的方法通常用于學(xué)習(xí)MAS的獨(dú)立或共享的Critic網(wǎng)絡(luò)，以指導(dǎo)分布式Actor網(wǎng)絡(luò)的梯度更新，即CCDA結(jié)構(gòu)。經(jīng)驗(yàn)回放方法在數(shù)據(jù)采樣及參數(shù)共享訓(xùn)練中可以有效提高數(shù)據(jù)利用率，然而單獨(dú)優(yōu)化經(jīng)驗(yàn)回放采樣方法無(wú)法有效提升MARL方法效率。因此，MARL方法的研究可以引入經(jīng)驗(yàn)回放方法，進(jìn)一步提升算法收斂效率。

目前，盡管價(jià)值分解方法的實(shí)驗(yàn)性能略?xún)?yōu)于Actor-Critic方法，但其結(jié)構(gòu)在對(duì)抗環(huán)境非平穩(wěn)問(wèn)題方面存在明顯的弱點(diǎn)。集中Critic是通過(guò)輸入全局行動(dòng)和狀態(tài)信息來(lái)處理非平穩(wěn)環(huán)境的有效手段，因此Actor-Critic方法在多智能體強(qiáng)化學(xué)習(xí)研究中前景廣闊。然而，在現(xiàn)有的Actor-Critic框架的MARL方法中，由于集中的Critic和智能體數(shù)量的增加而導(dǎo)致的信用分配，在指導(dǎo)分布式智能體策略梯度方面效率低下，智能體在團(tuán)隊(duì)中的貢獻(xiàn)不能得到有效表達(dá)，因此收斂效率變得緩慢。此外，全局最優(yōu)動(dòng)作與個(gè)體的最優(yōu)動(dòng)作組合的一致性不能得到保證，全局貪婪動(dòng)作的選擇不能與局部最優(yōu)動(dòng)作相匹配。這些問(wèn)題使得MARL方法的收斂效率和穩(wěn)定性無(wú)法提高。因此，Actor-Critic方法尚需進(jìn)一步展開(kāi)研究。

在未來(lái)，由于動(dòng)態(tài)環(huán)境獎(jiǎng)勵(lì)稀疏性，將任務(wù)層次化的劃分[63]，以及多目標(biāo)、多任務(wù)學(xué)習(xí)[63]，將使得智能體學(xué)習(xí)分工協(xié)作成為重點(diǎn)研究的方向。從算法的角度來(lái)看，采用課程學(xué)習(xí)進(jìn)行策略遷移的思想可以更好地引入MARL之中[64]，使得MAS在任務(wù)的完成過(guò)程中實(shí)現(xiàn)由易到難的學(xué)習(xí)，并且使得小規(guī)模到大規(guī)模智能體得到平穩(wěn)擴(kuò)展。另外，將模仿學(xué)習(xí)[65]等方法的專(zhuān)家經(jīng)驗(yàn)與MARL融合可以解決較為復(fù)雜智能體行為問(wèn)題，如自動(dòng)駕駛、機(jī)械臂裝卸等。最后，智能體劃域和圖卷積網(wǎng)絡(luò)[66-67]的方法在解決大規(guī)模智能體問(wèn)題上也是一個(gè)重要的趨勢(shì)。