基于靜態(tài)博弈和遺傳算法的多智能體博弈策略生成方法

摘 要：在多智能體協(xié)同對(duì)抗策略生成的過程中，獎(jiǎng)勵(lì)稀疏和神經(jīng)網(wǎng)絡(luò)參數(shù)多易導(dǎo)致策略生成速度慢。針對(duì)特定場(chǎng)景如何快速產(chǎn)生對(duì)抗策略這一問題，提出了一種基于靜態(tài)博弈和遺傳算法的多智能體博弈策略生成方法?；陟o態(tài)博弈理念，對(duì)馬爾科夫決策過程演化，將策略映射為一串動(dòng)作組成，簡(jiǎn)化策略映射原理；對(duì)策略優(yōu)化問題數(shù)學(xué)建模。以對(duì)抗結(jié)果作為目標(biāo)函數(shù)，基于動(dòng)作集合優(yōu)化目標(biāo)函數(shù)，通過優(yōu)化的方法能夠獲得對(duì)抗結(jié)果最優(yōu)的策略；給出策略優(yōu)化框架，并改進(jìn)遺傳算法實(shí)現(xiàn)對(duì)于多智能體博弈策略的快速并行尋優(yōu)。實(shí)驗(yàn)結(jié)果表明，相比于經(jīng)典多智能體強(qiáng)化學(xué)習(xí)方法，所提方法能夠高效產(chǎn)生多智能體博弈策略。

關(guān)鍵詞：靜態(tài)博弈；遺傳算法；策略生成

中圖分類號(hào)：ＴＮ９２９． ５ 文獻(xiàn)標(biāo)志碼：Ａ 開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（ＯＳＩＤ）：

文章編號(hào)：１００３－３１０６（２０２４）０６－１３５５－０６

０ 引言

隨著人工智能技術(shù)的發(fā)展，近年來在各控制領(lǐng)域不斷取得亮眼表現(xiàn)，如人機(jī)博弈［１］、無人駕駛［２］和智慧醫(yī)療［３－４］等。特別是對(duì)于多智能體協(xié)同管控的現(xiàn)實(shí)客觀需求，使得智能策略生成和優(yōu)化技術(shù)快速發(fā)展，多智能體博弈策略生成方法成為當(dāng)前的研究熱點(diǎn)。

在實(shí)踐過程中，面臨的典型問題為：對(duì)手策略或者環(huán)境較為固定的情況下，如何快速生成對(duì)抗策略。傳統(tǒng)方法采用強(qiáng)化學(xué)習(xí)方法通過估計(jì)當(dāng)前狀態(tài)的狀態(tài)轉(zhuǎn)移過程和動(dòng)作分布從而估計(jì)出得到最大值獎(jiǎng)賞值的策略［５－１０］，如深度Ｑ 網(wǎng)絡(luò)（Ｄｅｅｐ Ｑｎｅｔｗｏｒｋ，ＤＱＮ）、Ｓｏｆｔ ＡｃｔｏｒＣｒｉｔｉｃ （ＳＡＣ）。但是，隨著實(shí)體個(gè)數(shù)的增加導(dǎo)致部分可觀測(cè)信息和狀態(tài)信息的維度增加，神經(jīng)網(wǎng)絡(luò)維度增加，進(jìn)一步引起神經(jīng)元參數(shù)收斂困難，從而導(dǎo)致神經(jīng)網(wǎng)絡(luò)難訓(xùn)練引起策略生成和優(yōu)化失敗。多智能深度強(qiáng)化學(xué)習(xí)方法被提出用以解決該問題，具有代表性的方法是ＱＭＩＸ［１１］和Ｑｔｒａｎ［１２］等。除此之外，強(qiáng)化學(xué)習(xí)需要?jiǎng)幼骶哂辛己玫姆答?，但是在工程落地過程中，存在中間態(tài)指標(biāo)多維度高難以最終結(jié)果作為目標(biāo)進(jìn)行擬合，從而引起在強(qiáng)化學(xué)習(xí)領(lǐng)域中較難處理的“回報(bào)稀疏”問題［１３－１４］，但是從對(duì)抗結(jié)果衡量策略效果較易實(shí)現(xiàn)。如在文獻(xiàn)［１５］中，任務(wù)是否成功可以直接通過判斷無人機(jī)是否達(dá)到指定位置，但是僅依靠終局結(jié)果很難對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，所以基于課程學(xué)習(xí)思路引入了遷移性評(píng)估指標(biāo)對(duì)獎(jiǎng)賞空間在數(shù)學(xué)表征上進(jìn)行稠密化［１６］。但是該方法并不通用，原因在于需要對(duì)領(lǐng)域知識(shí)的深刻理解形成專家知識(shí)牽引智能模型進(jìn)行訓(xùn)練。故針對(duì)特定策略產(chǎn)生對(duì)抗策略的關(guān)鍵問題在于如何在稀疏獎(jiǎng)賞的引導(dǎo)下生成對(duì)抗策略。文獻(xiàn)［１７］在雷達(dá)探測(cè)策略假定的情況下，梳理出智能干擾設(shè)備可調(diào)整的干擾參數(shù)?；谌蝿?wù)目標(biāo)構(gòu)建目標(biāo)函數(shù)和約束函數(shù)，采用元啟發(fā)算法對(duì)參數(shù)進(jìn)行優(yōu)化，從而產(chǎn)生最優(yōu)對(duì)抗策略。該方法對(duì)博弈過程采用靜態(tài)建模，在整個(gè)過程中，雷達(dá)在特定模式下初始參數(shù)和行為模型固定，所以干擾參數(shù)數(shù)值求解，并形成靜態(tài)對(duì)抗策略。但是，在動(dòng)態(tài)博弈過程中，需要通過動(dòng)作組成策略。策略內(nèi)的動(dòng)作間會(huì)變化，需要針對(duì)動(dòng)態(tài)場(chǎng)景進(jìn)行改進(jìn)［１８］。

針對(duì)該不足，基于靜態(tài)博弈理論［１９］，提出面向動(dòng)態(tài)場(chǎng)景的多智能體博弈策略生成方法。對(duì)馬爾科夫決策過程演化，將策略映射為一串動(dòng)作組成，簡(jiǎn)化策略映射原理。將策略優(yōu)化問題轉(zhuǎn)化為數(shù)學(xué)尋優(yōu)問題。以對(duì)抗結(jié)果作為目標(biāo)函數(shù)，基于動(dòng)作集合優(yōu)化目標(biāo)函數(shù)，獲得對(duì)抗結(jié)果最優(yōu)的策略。除此之外，構(gòu)建并行優(yōu)化框架，改進(jìn)遺傳算法實(shí)現(xiàn)對(duì)于多智能體博弈策略的快速并行尋優(yōu)［２０］。實(shí)驗(yàn)結(jié)果表明，相比于經(jīng)典多智能體強(qiáng)化學(xué)習(xí)方法，本方法能夠高效產(chǎn)生多智能體博弈策略。

本文余下內(nèi)容結(jié)構(gòu)組織如下：第１ 節(jié)詳細(xì)推導(dǎo)并闡述基于靜態(tài)博弈理論的策略優(yōu)化模型，為后續(xù)第２ 節(jié)提出的方法奠定了基礎(chǔ)，并在第３ 節(jié)通過實(shí)驗(yàn)驗(yàn)證本方法的有效性，最后總結(jié)全文。

１ 基于靜態(tài)博弈理論的策略優(yōu)化模型

基于博弈論，策略π 是由一系列動(dòng)作ａ 構(gòu)成的。

馬爾科夫決策過程的本質(zhì)也是在數(shù)學(xué)上尋找到由狀態(tài)ｓｔ 到ａｔ 的映射過程，其中ｓｔ ∈Ｓ，Ｓ 為狀態(tài)空間；ａｔ∈Ａ，Ａ 為動(dòng)作空間。在針對(duì)特定策略這一假設(shè)前提下，對(duì)手策略的狀態(tài)動(dòng)作映射較為固定。對(duì)手策略的狀態(tài)動(dòng)作映射可以弱化為策略標(biāo)簽，用于區(qū)分不同對(duì)手策略。進(jìn)一步，可以弱化對(duì)于對(duì)手狀態(tài)ｓｔ 的特征提取過程，使策略π 直接施加于對(duì)手策略上，通過對(duì)抗結(jié)果進(jìn)行反饋。上述演進(jìn)過程如圖１ 所示。

從最優(yōu)化角度分析可知，對(duì)手策略和博弈環(huán)境可以固定為博弈函數(shù)ｆ，策略博弈產(chǎn)生結(jié)果的過程可以表述為：

Ｒｔｏｔａｌ ＝ ｆ（π）， （１）

式中：Ｒｔｏｔａｌ 為總獎(jiǎng)賞。

Ｒｔｏｔａｌ ＝ ΣＴｔ ＝ １ｒｔ。（２）

在典型對(duì)抗環(huán)境中，中間獎(jiǎng)賞較難獲得，需要通過獎(jiǎng)賞塑形等大量的專業(yè)領(lǐng)域才能構(gòu)成，所以最直觀為采用最終結(jié)果作為獎(jiǎng)賞：

Ｒｔｏｔａｌ ＝ ｒＴ 。（３）

最優(yōu)策略即為使得博弈函數(shù)最大的策略，即優(yōu)化目標(biāo)為：

π* ＝ ａｒｇｍａｘ π ｆ（π）， （４）

式中：π 為由一系列動(dòng)作構(gòu)成的策略，π 為所有可能的動(dòng)作組合成的策略集合，π 為最優(yōu)策略。

該模型的優(yōu)勢(shì)在于能夠有效地解決獎(jiǎng)賞稀疏的問題。在智能決策應(yīng)用場(chǎng)景中，通過結(jié)果設(shè)計(jì)獎(jiǎng)賞函數(shù)較為容易，如將目標(biāo)擊毀個(gè)數(shù)轉(zhuǎn)化為獎(jiǎng)賞分值［１５］。但是，在博弈過程中，通過結(jié)果設(shè)計(jì)獎(jiǎng)賞會(huì)使得大部分時(shí)間沒有獎(jiǎng)賞值，無法預(yù)測(cè)獎(jiǎng)賞值出現(xiàn)時(shí)間，無法準(zhǔn)確評(píng)估動(dòng)作的有效性，指引策略的收斂方向。而采用領(lǐng)域知識(shí)可以使得獎(jiǎng)賞稠密，如將智能體與目標(biāo)之間的距離或者將抗干擾跳頻時(shí)選擇的信道間隔轉(zhuǎn)化為獎(jiǎng)賞值［１５，１８］，有助于策略加速收斂。但是，需要領(lǐng)域?qū)＜腋鶕?jù)場(chǎng)景需求設(shè)計(jì)，容易引入主觀因素導(dǎo)致收斂在局部最優(yōu)策略。所以，針對(duì)上述矛盾，依據(jù)靜態(tài)博弈理論，在獎(jiǎng)賞稀疏的假設(shè)前提條件下，將馬爾科夫決策過程演化為靜態(tài)優(yōu)化問題，明確目標(biāo)函數(shù)，將策略優(yōu)化問題完全數(shù)學(xué)化表征，使得策略可以通過數(shù)學(xué)優(yōu)化方法進(jìn)行求解，規(guī)避了馬爾科夫決策過程在獎(jiǎng)賞稀疏條件下策略生成困難的弊端。

２ 基于遺傳算法的策略生成方法

得益于在理論層面將動(dòng)態(tài)博弈問題簡(jiǎn)化為了優(yōu)化問題，使得采用遺傳算法能夠快速找出博弈過程中的最優(yōu)動(dòng)作排序，并將其映射為策略，從而實(shí)現(xiàn)針對(duì)特定策略的快速生成。但是，對(duì)于遺傳算法而言，其計(jì)算量大且耗時(shí)的部分在于需要計(jì)算種群中每個(gè)個(gè)體的適應(yīng)度，故提出并行優(yōu)化框架對(duì)方法進(jìn)行加速。后續(xù)本節(jié)分為兩部分，詳細(xì)闡述基于遺傳算法的策略生成方法，分別為并行求解框架和優(yōu)化方法。

２． １ 并行優(yōu)化框架

并行優(yōu)化框架如圖２ 所示。整個(gè)并行優(yōu)化過程闡述如下：首先，構(gòu)建由一系列動(dòng)作作為基因組成策略個(gè)體，再將多個(gè)策略個(gè)體組成策略種群。在該階段，需要根據(jù)對(duì)抗時(shí)長(zhǎng)和受控體的個(gè)數(shù)相乘得到策略個(gè)體中包含的動(dòng)作基因個(gè)數(shù)。然后，每一個(gè)策略個(gè)體在博弈場(chǎng)景中與對(duì)手策略對(duì)抗，將獎(jiǎng)賞作為每個(gè)策略個(gè)體的適應(yīng)值返回。在此過程中，利用并行進(jìn)行多個(gè)策略個(gè)體的對(duì)抗，能夠快速獲得。最后，將策略種群和個(gè)體依次對(duì)應(yīng)的獎(jiǎng)賞適應(yīng)值傳入優(yōu)化方法。優(yōu)化方法過濾并生成新的策略種群，并進(jìn)入下一次策略優(yōu)化環(huán)路。由基于靜態(tài)博弈理論的策略生成數(shù)學(xué)優(yōu)化模型一節(jié)的數(shù)學(xué)分析過程可以看出，作為核心理論，其在實(shí)施層面具有良好的并行化能力，從而使得并行化框架的構(gòu)建成為可能，并將結(jié)合硬件算力大幅度提升策略優(yōu)化的性能。

２． ２ 優(yōu)化方法

在優(yōu)化過程中，需要完成策略的數(shù)學(xué)化表達(dá)。假設(shè)在多智能體對(duì)抗環(huán)境中，智能體個(gè)數(shù)為Ｎ，在博弈期間需要執(zhí)行動(dòng)作次數(shù)為Ｔ，每次執(zhí)行離散動(dòng)作。故策略個(gè)體π 由Ｎ×Ｔ 個(gè)動(dòng)作基因組成，即：

π ＝ ［ａ１ ，ａ２ ，…，ａＴ ］ＮＴ 。（５）

當(dāng)策略種群由Ｍ 個(gè)策略個(gè)體組成時(shí)，策略種群π 可以表示為：

π ＝ ［π１ ，π２ ，…，πＭ ］Ｍ ×ＮＴ 。（６）

構(gòu)建多個(gè)線程Ｌ，線程之間相互獨(dú)立。針對(duì)不同策略個(gè)體的開展Ｋ 次博弈對(duì)抗，得到與個(gè)體相對(duì)應(yīng)的獎(jiǎng)賞適應(yīng)值：

當(dāng)所有策略個(gè)體對(duì)應(yīng)的獎(jiǎng)賞適應(yīng)值計(jì)算運(yùn)行完成后，按照獎(jiǎng)賞適應(yīng)度由高到低，對(duì)策略種群π 中的策略個(gè)體π 排序。

根據(jù)策略種群π 獎(jiǎng)賞適應(yīng)值進(jìn)行個(gè)體獎(jiǎng)賞適應(yīng)值的歸一化，對(duì)于第ｍ 個(gè)策略個(gè)體π，其種群選擇概率為：

根據(jù)個(gè)體策略的獎(jiǎng)賞適應(yīng)值對(duì)種群進(jìn)行過濾，保留指定數(shù)量Ｍ′個(gè)獎(jiǎng)賞適應(yīng)值排名靠前的策略個(gè)體。除此之外，在剩余策略個(gè)體中，隨機(jī)抽取２ 個(gè)策略個(gè)體進(jìn)行拼接形成新策略個(gè)體并放回種群中，該過程可以通過數(shù)學(xué)表達(dá)為：

π′１ ＝ ［π１ ［１：ｔ′］，π２ ［ｔ′ ＋ １：Ｔ］］， （９）

π′２ ＝ ［π２ ［１：ｔ′］，π１ ［ｔ′ ＋ １：Ｔ］］， （１０）

式中：π１ 和 π２ 為隨機(jī)抽取出的策略個(gè)體，π１′和 π２′為拼接后的策略個(gè)體，ｔ′為隨機(jī)生成的拼接位置，ｔ′∈ＮＴ，隨機(jī)概率門限為ε１ 。

為了進(jìn)一步提高策略種群的搜索能力，對(duì)種群中的個(gè)體進(jìn)行動(dòng)作基因突變操作。遍歷新生成策略種群中每個(gè)動(dòng)作基因，以概率門限為ε２ 為基礎(chǔ)進(jìn)行隨機(jī)變異。當(dāng)超過變異門限時(shí)，從可選動(dòng)作范圍內(nèi)隨機(jī)選擇一個(gè)離散動(dòng)作進(jìn)行替換。

經(jīng)過上述過程的迭代，最終即可獲得最優(yōu)策略個(gè)體和其對(duì)應(yīng)的最優(yōu)獎(jiǎng)賞適應(yīng)值。

３ 實(shí)驗(yàn)驗(yàn)證

實(shí)驗(yàn)驗(yàn)證由實(shí)驗(yàn)場(chǎng)景、實(shí)驗(yàn)設(shè)計(jì)、參數(shù)設(shè)置和結(jié)果分析四部分組成。

３． １ 實(shí)驗(yàn)場(chǎng)景

為了能夠有效驗(yàn)證本方法的有效性，采用ＤｅｅｐＭｉｎｄ 和暴雪公司開發(fā)的基于“星際爭(zhēng)霸２”的多智能體對(duì)抗環(huán)境（ＳｔａｒＣｒａｆｔ ＭｕｌｔｉＡｇｅｎｔ Ｃｈａｌｌｅｎｇｅ，ＳＭＡＣ）進(jìn)行實(shí)驗(yàn)［２１］。ＳＭＡＣ 內(nèi)置基線對(duì)抗策略，用于驗(yàn)證策略效果。除此之外，由于典型用于多智能體策略對(duì)抗的深度強(qiáng)化學(xué)習(xí)需要對(duì)應(yīng)場(chǎng)景進(jìn)行超參數(shù)調(diào)整，該典型場(chǎng)景公認(rèn)性較高，故均基于此環(huán)境進(jìn)行開發(fā)和調(diào)試，其對(duì)照算法的超參數(shù)可以直接獲得。采用ＳＭＡＣ 環(huán)境中名稱為“３ｍ”的多智能體同構(gòu)場(chǎng)景進(jìn)行驗(yàn)證。

３． ２ 實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)過程共設(shè)置步長(zhǎng)為１０６ ，分為訓(xùn)練階段和評(píng)估階段，以５ ０００ 步為周期循環(huán)。在訓(xùn)練階段，設(shè)置種群訓(xùn)練門限為５ ０００ 步。在該階段內(nèi)，對(duì)種群內(nèi)個(gè)體進(jìn)行適應(yīng)度并行計(jì)算和交叉變異。當(dāng)每種群運(yùn)行步數(shù)超過５ ０００ 步進(jìn)行一次性能評(píng)估。在性能評(píng)估階段，與基線策略對(duì)抗２４ 回合。衡量對(duì)抗策略的有效性，最根本在于評(píng)估勝率，故在實(shí)驗(yàn)中用勝率作為評(píng)估指標(biāo)。對(duì)于勝率而言，計(jì)算２４ 回合內(nèi)與“３ｍ”場(chǎng)景的基線策略對(duì)抗獲勝的次數(shù)，再除以總回合數(shù)得到勝率。除此之外，在實(shí)驗(yàn)過程中，將ＱＭＩＸ和ＶａｌｕｅＤｅｃｏｍｐｏｓｉｔｉｏｎ Ｎｅｔｗｏｒｋｓ （ＶＤＮ ）方法在“３ｍ”場(chǎng)景中的勝率和平均獎(jiǎng)賞作為對(duì)照組，驗(yàn)證本方法的性能。除此之外，ＶＤＮ 和ＱＭＩＸ 方法分別使用以結(jié)果作為獎(jiǎng)賞的非獎(jiǎng)賞塑形和ＳＭＡＣ 環(huán)境提供的獎(jiǎng)賞塑形。在判斷勝負(fù)的基礎(chǔ)上，ＳＭＡＣ 環(huán)境提供的塑形獎(jiǎng)賞通過受控體之間的位置關(guān)系和生命值等特征構(gòu)建了獎(jiǎng)賞函數(shù)。通過設(shè)置對(duì)照實(shí)驗(yàn)，用于展示獎(jiǎng)賞稀疏對(duì)于典型算法的影響，突出該問題解決的必要性，并驗(yàn)證了本方法在解決該問題上的有效性。

３． ３ 參數(shù)設(shè)置

本文實(shí)驗(yàn)所用到的算法參數(shù)如下表１ 所示。

３． ４ 結(jié)果分析

策略效果如圖３ 所示，展示了本方法、ＶＤＮ 和ＱＭＩＸ 隨訓(xùn)練步長(zhǎng)增加的勝率變化趨勢(shì)。在圖３中，“ＶＤＮ－獎(jiǎng)賞塑形”和“ＱＭＩＸ－獎(jiǎng)賞塑形”表示采用ＳＭＡＣ 提供的獎(jiǎng)賞塑形進(jìn)行訓(xùn)練得到的博弈策略，而ＶＤＮ 和ＱＭＩＸ 表示僅通過勝負(fù)關(guān)系構(gòu)建獎(jiǎng)賞得到的博弈策略。從對(duì)比采用獎(jiǎng)賞塑形和非獎(jiǎng)賞塑形的２ 種方法可以看出，采用獎(jiǎng)賞塑形的方法勝率提升趨勢(shì)較為穩(wěn)定，而采用非獎(jiǎng)賞塑形的由于獎(jiǎng)賞反饋稀疏，在實(shí)驗(yàn)初期勝率提升較慢，且在實(shí)驗(yàn)中后期出現(xiàn)明顯的勝率衰退現(xiàn)象。雖然通過保存最大勝率對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)參數(shù)的方法使其不至于出現(xiàn)嚴(yán)重衰退，但是勝率無法與塑形獎(jiǎng)賞相比。相比之下，雖然本文方法、“ＶＤＮ －獎(jiǎng)賞塑形”和“ＱＭＩＸ －獎(jiǎng)賞塑形”都能夠達(dá)到最大勝率，但是本文方法速度快且穩(wěn)定，且能夠有效避免由于獎(jiǎng)賞稀疏導(dǎo)致的性能衰退。

為了進(jìn)一步量化對(duì)比方法性能，對(duì)５ 種方法的勝率求取均值和最大值，如表２ 所示。５ 種方法均能夠達(dá)到最大勝率，但是通過勝率均值可以發(fā)現(xiàn)，本文方法相比于其他方法的勝率均值最大，表明本文方法相對(duì)穩(wěn)定。

綜合圖３ 和表２ 的勝率趨勢(shì)和量化勝率，可見本文方法在針對(duì)特定對(duì)手策略時(shí)，在獎(jiǎng)賞稀疏的情況下，能夠快速且穩(wěn)定地生成對(duì)抗策略。

４ 結(jié)束語

針對(duì)特定策略如何快速產(chǎn)生對(duì)抗策略這一問題，結(jié)合博弈論中的靜態(tài)博弈理論和遺傳算法，提出了一種改進(jìn)的多智能體博弈策略生成方法。在理論層面，基于靜態(tài)博弈理念，對(duì)馬爾科夫決策過程演化，將策略映射為一串動(dòng)作組成，簡(jiǎn)化策略映射原理。在理論基礎(chǔ)上，對(duì)策略優(yōu)化問題數(shù)學(xué)建模。以對(duì)抗結(jié)果作為目標(biāo)函數(shù)，基于動(dòng)作集合優(yōu)化目標(biāo)函數(shù)，通過優(yōu)化的方法能夠獲得對(duì)抗結(jié)果最優(yōu)的策略。在實(shí)現(xiàn)層面，設(shè)計(jì)策略優(yōu)化框架，并改進(jìn)遺傳算法實(shí)現(xiàn)對(duì)于多智能體博弈策略的快速并行尋優(yōu)。在實(shí)驗(yàn)中，將典型多智能體強(qiáng)化學(xué)習(xí)方法作為基線，通過與基線方法對(duì)比，表明了本方法產(chǎn)生策略的高效性，并且展現(xiàn)了本文方法基于并行方法能夠有效提高策略生成與優(yōu)化速度。

參考文獻(xiàn)

［１］ ＭＮＩＨ Ｖ，ＫＡＶＵＫＣＵＯＧＬＵ Ｋ，ＳＩＬＶＥＲ Ｄ，ｅｔ ａｌ． ＨｕｍａｎＬｅｖｅｌ Ｃｏｎｔｒｏｌ ｔｈｒｏｕｇｈ Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ［Ｊ］．Ｎａｔｕｒｅ，２０１５，５１８：５２９－５３３．

［２］ ＦＥＮＧ Ｓ，ＳＵＮ Ｈ Ｗ，ＹＡＮ Ｘ Ｔ，ｅｔ ａｌ． Ｄｅｎｓｅ ＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇ ｆｏｒ Ｓａｆｅｔｙ Ｖａｌｉｄａｔｉｏｎ ｏｆ Ａｕｔｏｎｏｍｏｕｓ Ｖｅｈｉｃｌｅｓ［Ｊ］． Ｎａｔｕｒｅ，２０２３，６１５：６２０－６２７．

［３］ ＺＨＵ Ｙ，ＬＩＡＮＧ Ｘ Ｆ，ＷＡＮＧ Ｔ Ｔ，ｅｔ ａｌ． ＭｕｌｔｉｉｎｆｏｒｍａｔｉｏｎＦｕｓｉｏｎ Ｆａｕｌｔ Ｄｉａｇｎｏｓｉｓ ｏｆ Ｂｏｇｉｅ Ｂｅａｒｉｎｇ ｕｎｄｅｒ Ｓｍａｌｌ Ｓａｍｐｌｅｓ ｖｉａ Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ Ａｌｉｇｎｍｅｎｔ Ｄｅｅｐ Ｑｌｅａｒｎｉｎｇ ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｓｔｒｕｍｅｎｔａｔｉｏｎ ａｎｄＭｅａｓｕｒｅｍｅｎｔ，２０２２，７２：３５０３３１５．

［４］ ＺＨＵ Ｍ Ｘ，ＺＨＵ Ｈ Ｇ． Ｌｅａｒｎｉｎｇ ａ Ｄｉａｇｎｏｓｔｉｃ Ｓｔｒａｔｅｇｙ ｏｎＭｅｄｉｃａｌ Ｄａｔａ ｗｉｔｈ Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ ［Ｊ ］．ＩＥＥＥ Ａｃｃｅｓｓ，２０２１，９：８４１２２－８４１３３．

［５］ ＭＮＩＨ Ｖ，ＫＡＶＵＫＣＵＯＧＬＵ Ｋ，ＳＩＬＶＥＲ Ｄ，ｅｔ ａｌ． ＰｌａｙｉｎｇＡｔａｒｉ ｗｉｔｈ Ｄｅｅｐ ＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇ ［ＥＢ ／ ＯＬ ］．（２０１３－１２－１９）［２０２４－０３－０６］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／１３１２． ５６０２．

［６］ ＨＡＳＳＥＬＴ Ｈ Ｖ，ＧＵＥＺ Ａ，ＳＩＬＶＥＲ Ｄ． Ｄｅｅｐ ＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇ ｗｉｔｈ Ｄｏｕｂｌｅ Ｑｌｅａｒｎｉｎｇ ［Ｃ］∥ Ｐｒｏｃｅｄｉｎｇ ｏｆ ｔｈｅＴｈｉｒｔｉｅｔｈ ＡＡＡＩ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ． Ｐｈｏｅｎｉｘ：ＡＡＡＩ Ｐｒｅｓｓ，２０１６：２０９４－２１００．

［７］ ＳＣＨＡＵＬ Ｔ，ＱＵＡＮ Ｊ，ＡＮＴＯＮＯＧＬＯＵ Ｉ，ｅｔ ａｌ． ＰｒｉｏｒｉｔｉｚｅｄＥｘｐｅｒｉｅｎｃｅ Ｒｅｐｌａｙ［ＥＢ ／ ＯＬ］． （２０１５ － １１ － １８ ）［２０２４ －０３－０６］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ １５１１． ０５９５２．

［８］ ＨＡＡＲＮＯＪＡ Ｔ，ＺＨＯＵ Ａ，ＡＢＢＥＥｌ Ｐ，ｅｔ ａｌ． Ｓｏｆｔ Ａｃｔｏｒｃｒｉｔｉｃ：Ｏｆｆｐｏｌｉｃｙ Ｍａｘｉｍｕｍ Ｅｎｔｒｏｐｙ Ｄｅｅｐ ＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇ ｗｉｔｈ ａ Ｓｔｏｃｈａｓｔｉｃ Ａｃｔｏｒ［ＥＢ ／ ＯＬ］． （２０１８ － ０１ －０４）［２０２４－０３－０６］． ｈｔｔｐｓ：∥ａｒＸｉｖ：１８０１． ０１２９０ｖ２．

［９］ ＨＡＡＲＮＯＪＡ Ｔ，ＺＨＯＵ Ａ，ＨＡＲＴＩＫＡＩＮＥＮ Ｋ，ｅｔ ａｌ． ＳｏｆｔＡｃｔｏｒｃｒｉｔｉｃ Ａｌｇｏｒｉｔｈｍｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ［ＥＢ／ ＯＬ］． （２０１８－１２－１３）［２０２３－０９－０６］． ｈｔｔｐｓ：∥ ａｒＸｉｖ：１７０７． ０６３４７ｖ２．

［１０］ ＷＡＮＧ Ｚ Ｙ，ＳＣＨＡＵＬ Ｔ，ＨＥＳＳＥＬ Ｍ，ｅｔ ａｌ． Ｄｕｅｌｉｎｇ ＮｅｔｗｏｒｋＡｒｃｈｉｔｅｃｔｕｒｅｓ ｆｏｒ Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ｔｈｅ ３３ｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＭａｃｈｉｎｅＬｅａｒｎｉｎｇ． Ｎｅｗ Ｙｏｒｋ：ＪＭＬＲ． ｏｒｇ，２０１６：１９９５－２００３．

［１１］ＲＡＳＨＩＤ Ｔ，ＳＡＭＶＥＬＹＡＮ Ｍ，ＷＩＴＴ Ｃ Ｓ Ｄ，ｅｔ ａｌ． ＭｏｎｏｔｏｎｉｃＶａｌｕｅ Ｆｕｎｃｔｉｏｎ Ｆａｃｔｏｒｉｓａｔｉｏｎ ｆｏｒ Ｄｅｅｐ Ｍｕｌｔｉａｇｅｎｔ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ，２０２０，２１（１）：７２３４－７２８４．

［１２］ＳＯＮ Ｋ，ＫＩＭ Ｄ，ＫＡＮＧ Ｗ Ｊ，ｅｔ ａｌ． ＱＴＲＡＮ：Ｌｅａｒｎｉｎｇ ｔｏ Ｆａｃｔｏｒｉｚｅ ｗｉｔｈ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｆｏｒ Ｃｏｏｐｅｒａｔｉｖｅ Ｍｕｌｔｉａｇｅｎｔ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ ［ＥＢ／ ＯＬ］． （２０１９ －０５ －１４）［２０２４ －０３ －０６］． ｈｔｔｐ：∥ａｒＸｉｖ． ｏｒｇ／ ａｂｓ／ １９０５． ０５４０８．

［１３］ＷＡＮＧ Ｘ，ＣＨＥＮ Ｙ Ｄ，ＺＨＵ Ｗ Ｗ． Ａ Ｓｕｒｖｅｙ ｏｎ ＣｕｒｒｉｃｕｌｕｍＬｅａｒｎｉｎｇ ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄＭａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２０２２，４４（９）：４５５５－４５７６．

［１４］ ＯＫＵＤＯ Ｔ，ＹＡＭＡＤＡ Ｓ． Ｌｅａｒｎｉｎｇ Ｐｏｔｅｎｔｉａｌ ｉｎ Ｓｕｂｇｏａｌｂａｓｅｄ Ｒｅｗａｒｄ Ｓｈａｐｉｎｇ ［Ｊ ］． ＩＥＥＥ Ａｃｃｅｓｓ，２０２３，１１：１７１１６－１７１３７．

［１５］ 暢鑫，李艷斌，趙研，等． 基于ＭＡ２ＩＤＤＰＧ 算法的異構(gòu)多無人機(jī)協(xié)同突防方法［Ｊ］． 河北工業(yè)科技，２０２２，３９（４）：３２８－３３４．

［１６］ ＹＩＮ Ｈ，ＧＵＯ Ｓ Ｘ，ＬＩ Ａ，ｅｔ ａｌ． Ａ Ｄｅｅｐ ＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇｂａｓｅｄ Ｄｅｃｅｎｔｒａｌｉｚｅｄ Ｈｉｅｒａｒｃｈｉｃａｌ Ｍｏｔｉｏｎ ＣｏｎｔｒｏｌＳｔｒａｔｅｇｙ ｆｏｒ Ｍｕｌｔｉｐｌｅ Ａｍｐｈｉｂｉｏｕｓ Ｓｐｈｅｒｉｃａｌ Ｒｏｂｏｔ Ｓｙｓｔｅｍｓｗｉｔｈ Ｔｉｌｔｉｎｇ Ｔｈｒｕｓｔｅｒｓ ［Ｊ］． ＩＥＥＥ Ｓｅｎｓｏｒｓ Ｊｏｕｒｎａｌ，２０２４，２４（１）：７６９－７７９．

［１７］ ＣＨＡＮＧ Ｘ，ＬＩ Ｙ Ｂ，ＺＨＡＯ Ｙ，ｅｔ ａｌ． Ａ ＭｕｌｔｉｐｌｅｊａｍｍｅｒＤｅｃｅｐｔｉｖｅ Ｊａｍｍｉｎｇ Ｍｅｔｈｏｄ Ｂａｓｅｄ ｏｎ Ｐａｒｔｉｃｌｅ Ｓｗａｒｍ Ｏｐｔｉｍｉｚａｔｉｏｎ ａｇａｉｎｓｔ Ｔｈｒｅｅｃｈａｎｎｅｌ ＳＡＲ ＧＭＴＩ ［Ｊ］． ＩＥＥＥＡｃｃｅｓｓ，２０２１，９：１３８３８５－１３８３９３．

［１８］ ＬＩＵ Ｓ Ｙ，ＸＵ Ｙ Ｆ，ＣＨＥＮ Ｘ Ｑ，ｅｔ ａｌ． Ｐａｔｔｅｒｎａｗａｒｅ Ｉｎｔｅｌｌｉｇｅｎｔ Ａｎｔｉｊａｍｍｉｎｇ Ｃｏｍｍｕｎｉｃａｔｉｏｎ：Ａ Ｓｅｑｕｅｎｔｉａｌ ＤｅｅｐＲｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ Ａｐｐｒｏａｃｈ ［Ｊ ］． ＩＥＥＥ Ａｃｃｅｓｓ，２０１９，７：１６９２０４－１６９２１６．

［１９］ 阿維亞德·海菲茲． 博弈論［Ｍ］． 劉勇，譯． 上海：上海人民出版社，２０１５．

［２０］ ＥＮＧＥＬＢＲＥＣＨＴＡ Ｐ． Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ：Ａｎ Ｉｎｔｒｏｄｕｃｔｉｏｎ［Ｍ］． Ｎｅｗ Ｊｅｒｓｅｙ：Ｗｉｌｅｙ，２００７．

［２１］ ＳＡＭＶＥＬＹＡＮ Ｍ，ＲＡＳＨＩＤ Ｔ，ＷＩＴＴ Ｃ Ｓ Ｄ，ｅｔ ａｌ． ＴｈｅＳｔａｒＣｒａｆｔ Ｍｕｌｔｉａｇｅｎｔ Ｃｈａｌｌｅｎｇｅ［Ｃ］∥ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ１８ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｎｏｍｏｕｓ Ａｇｅｎｔｓ ａｎｄＭｕｌｔｉ Ａｇｅｎｔ Ｓｙｓｔｅｍｓ． Ｍｏｎｔｒｅａｌ：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｆｏｕｎｄｕｔｉｏｎｆｏｒ Ａｕｔｏｎｏｍｏｕｓ Ａｇｅｎｔｓ ａｎｄ Ｍｕｌｔｉａｇｅｎｔ Ｓｙｓｔｅｍｓ，２０１９：２１８６－２１８８．

作者簡(jiǎn)介

劉東輝 女，（１９９０—），博士，講師。主要研究方向：復(fù)雜系統(tǒng)管理、策略優(yōu)化等。

鄭贏營(yíng) 女，（１９９８—），碩士研究生。主要研究方向：復(fù)雜系統(tǒng)管理。

暢 鑫 男，（１９９０—），博士，高級(jí)工程師。

基金項(xiàng)目：國(guó)家自然科學(xué)基金（７１９９１４８５，７１９９１４８１，７１９９１４８０）；中國(guó)博士后科學(xué)基金（２０２１Ｍ６９３００２）