基于DE-MADDPG的多無人機(jī)協(xié)同追捕策略

符小衛(wèi)，王輝，徐哲

西北工業(yè)大學(xué) 電子信息學(xué)院，西安 710129

未來空戰(zhàn)對抗的主要模式之一是無人機(jī)集群體系對抗，集群中的多無人機(jī)如何通過協(xié)同決策對單一逃逸無人機(jī)進(jìn)行協(xié)作追捕，力求在最短的時間內(nèi)捕獲逃逸無人機(jī)，對于增強(qiáng)多無人機(jī)協(xié)同空戰(zhàn)對抗能力具有關(guān)鍵作用，因此無人機(jī)集群空戰(zhàn)對抗中多無人機(jī)追捕對抗問題研究具有非常重要的實踐意義。

文獻(xiàn)[2-7]分別研究了多機(jī)器人追逃對抗中追捕策略與逃逸策略的機(jī)動建模，包括基于微分對策、最優(yōu)控制等方法的求解模型和基于雙方對抗條件和運(yùn)動機(jī)制分析的追捕任務(wù)和逃逸任務(wù)成功必要條件、不同速度約束下的雙方機(jī)動策略、連續(xù)系統(tǒng)模型和棋盤環(huán)境柵格離散模型下的機(jī)動決策。但是目前圍捕問題場景中大多都是設(shè)定追捕無人機(jī)速度優(yōu)于逃逸無人機(jī)，而針對追捕無人機(jī)速度相對于逃逸無人機(jī)處于劣勢的場景還是研究比較少。需要研究更為復(fù)雜和精確的模型，能夠基于集群智能的優(yōu)勢，處理這種非同等運(yùn)動參數(shù)條件下的追捕問題，即就是追捕無人機(jī)的速度相比逃逸無人機(jī)處于劣勢時，如何通過多無人機(jī)數(shù)量的優(yōu)勢和相互有效合作完成對高速目標(biāo)的追捕任務(wù)。

在傳統(tǒng)的方法中，基于數(shù)學(xué)模型的方法設(shè)計的無人機(jī)控制策略，對敵方運(yùn)動往往作了假定約束或者需要知道對方的控制策略，但是在戰(zhàn)場環(huán)境下己方很難獲知敵方的控制策略，同時基于數(shù)學(xué)模型設(shè)置的控制器參數(shù)往往是人工設(shè)定或者需要借助其他算法進(jìn)行優(yōu)化，一旦環(huán)境模型發(fā)生改變，原來舊的控制器參數(shù)可能就不是最優(yōu)的，具有一定的局限性。基于無模型的強(qiáng)化學(xué)習(xí)則可以讓無人機(jī)在環(huán)境中自主學(xué)習(xí)控制策略，而不用完全獲取敵方的控制策略。

多無人機(jī)協(xié)同智能追捕可以驗證多無人機(jī)的學(xué)習(xí)策略能力優(yōu)劣。多智能體強(qiáng)化學(xué)習(xí)(Multi Agent Reinforcement Learning, MARL)結(jié)合了對策論和馬爾可夫決策過程，研究隨機(jī)框架下的對抗、合作和非完全合作系統(tǒng)中的學(xué)習(xí)，提供了一種可行的多無人機(jī)協(xié)同追捕對抗機(jī)動決策求解模型和方法。本文基于多智能體強(qiáng)化學(xué)習(xí)方法針對現(xiàn)有研究存在的問題設(shè)計多無人機(jī)的協(xié)同追捕策略。

本文研究作戰(zhàn)空域存在4個追捕無人機(jī)與一個逃逸無人機(jī)，逃逸無人機(jī)的速度上限和追捕無人機(jī)不同，追捕無人機(jī)與逃逸者的移動范圍不可超出作戰(zhàn)空域(為了簡化問題研究難度，設(shè)定對戰(zhàn)空域)，基于解耦多智能體深度確定性策略梯度算法DE-MADDPG設(shè)計了多無人機(jī)的協(xié)同追捕對抗策略。

1 問題描述與建模

1.1 多無人機(jī)追逃對抗問題

多對一追捕對抗場景中，不僅雙方無人機(jī)之間要對抗，而且多無人機(jī)之間需要任務(wù)協(xié)同，場景更加復(fù)雜、對抗性更強(qiáng)。多無人機(jī)的追捕對抗場景研究作戰(zhàn)空域內(nèi)無人機(jī)多對一空戰(zhàn)的情況，對抗場景可以描述如下：作戰(zhàn)空域內(nèi)存在多個追捕無人機(jī)和逃逸無人機(jī)，兩方無人機(jī)具有相反的戰(zhàn)術(shù)目的，追捕無人機(jī)要追擊捕獲逃逸無人機(jī)，而逃逸無人機(jī)要躲避遠(yuǎn)離追捕無人機(jī)。多無人機(jī)的追逃對抗場景如圖1所示。

圖1 多無人機(jī)追捕對抗場景Fig.1 Pursuit-evasion game of multi pursuit-UAVs and single evasion-UAV

考慮二維平面區(qū)域的追逃博弈，構(gòu)造笛卡爾直角坐標(biāo)系，表示追捕無人機(jī)和逃逸無人機(jī)運(yùn)動狀態(tài)，數(shù)學(xué)幾何模型如圖2所示。

圖2 二維平面追逃博弈幾何模型Fig.2 Geometric model of two-dimensional plane pursuit-evasion game

追捕無人機(jī)的目標(biāo)是以最短的時間捕獲目標(biāo)，逃逸無人機(jī)的目標(biāo)是遠(yuǎn)離追捕無人機(jī)，避免在預(yù)設(shè)的作戰(zhàn)時間段被捕獲或者最大化延遲被追捕無人機(jī)捕獲的時間，追逃博弈標(biāo)準(zhǔn)微分博弈數(shù)學(xué)描述為。

追捕無人機(jī)的最優(yōu)化控制目標(biāo)為

(1)

逃逸無人機(jī)的最優(yōu)化控制目標(biāo)為

(2)

式中：(=1,2,…,)為追捕無人機(jī)到逃逸無人機(jī)的距離；為追捕無人機(jī)捕獲逃逸無人機(jī)的時刻。

1.2 無人機(jī)運(yùn)動學(xué)模型

無人機(jī)的運(yùn)動學(xué)方程為

(3)

式中：=p,e;為追捕無人機(jī)或逃逸無人機(jī)的角速度的大?。?span id="j5i0abt0b" class="subscript">為追捕無人機(jī)或逃逸無人機(jī)的速度大小，是一個固定的值，即在飛行過程中不改變。

無人機(jī)的運(yùn)動控制變量約束為

(4)

式中：、分別為追捕無人機(jī)和逃逸無人機(jī)的最大角速度，其計算方程為

(5)

式中：=p,e;Δ為仿真的時間步長；為轉(zhuǎn)彎半徑；min為最小轉(zhuǎn)彎半徑；Δ為Δ時間內(nèi)的航向角最大轉(zhuǎn)彎角；max為無人機(jī)的最大側(cè)向過載。因此，由式(5)可得最大角速度的確定公式為

max=arcsin(Δmax(2))Δ

(6)

捕獲條件為式(7)，即敵我距離在追捕無人機(jī)的捕獲半徑范圍內(nèi)，捕獲半徑可以是無人機(jī)的載荷作用范圍或者武器攻擊范圍。

(7)

由于本文假定追捕問題是在有限的二維平面內(nèi)進(jìn)行的，因此無人機(jī)在設(shè)定的環(huán)境邊界內(nèi)運(yùn)動需要滿足式(8):

(8)

式中：=1,2,3,4;、分別為環(huán)境邊界的最小橫坐標(biāo)和最大橫坐標(biāo)；、分別為環(huán)境邊界的最小縱坐標(biāo)和最大縱坐標(biāo)。

在研究中，定義速度比為追捕無人機(jī)的最大速度和逃逸無人機(jī)最大速度之比:

=

(9)

雙方無人機(jī)各占優(yōu)勢，追捕無人機(jī)數(shù)量多于逃逸無人機(jī)，逃逸無人機(jī)的最大速度大于追捕無人機(jī)。文獻(xiàn)[3]基于阿波羅奧尼斯圓(Apollonius Circle)和幾何規(guī)律研究了多追捕者-單逃跑者追逃問題實現(xiàn)成功捕獲的約束條件，即速度比

∈[sin(π),1)

(10)

2 DE-MADDPG算法

2.1 多智能體強(qiáng)化學(xué)習(xí)算法

多智能體強(qiáng)化學(xué)習(xí)是多無人機(jī)協(xié)同控制優(yōu)化的一種求解模型框架，每個環(huán)境實體的策略輸出都有各自的神經(jīng)網(wǎng)絡(luò)控制。它是一種多智能體系統(tǒng)研究領(lǐng)域的分布式計算技術(shù)，結(jié)合了強(qiáng)化學(xué)習(xí)技術(shù)與博弈論技術(shù)，可以使多個智能體在高維、動態(tài)的真實環(huán)境下通過通信交互和協(xié)同決策完成錯綜復(fù)雜的任務(wù)，具有自主性、分布性、協(xié)調(diào)性的特點，具備學(xué)習(xí)能力、推理能力、自組織能力，是分布式人工智能的演變。

多智能體強(qiáng)化學(xué)習(xí)算法是以馬爾可夫決策過程為基礎(chǔ)的隨機(jī)博弈框架，可以表示為式(11)的高維度元組。

(11)

式中：為馬爾可夫決策過程模型的狀態(tài)集；為智能體的數(shù)量；=××…×，為所有智能體聯(lián)合動作集；為每個智能體的獎勵回報，××→；狀態(tài)轉(zhuǎn)移函數(shù):××→[0,1]；為累計折扣獎勵的衰減系數(shù)。

多智能體系統(tǒng)中，狀態(tài)轉(zhuǎn)移是所有智能體共同執(zhí)行行動的結(jié)果，獲得的獎勵取決于聯(lián)合策略，聯(lián)合策略：(|)=∏∈(|)為所有智能體的聯(lián)合決策策略和，×→,每個智能體的獎勵為

(12)

狀態(tài)值函數(shù)和狀態(tài)-動作值函數(shù)在多智能體下的貝爾曼方程如式(13)和式(14)所示:

(13)

=]

(14)

一般來說，根據(jù)多智能體強(qiáng)化學(xué)習(xí)要完成的任務(wù)類型，可分為完全合作、完全競爭和混合類型，本文的多追捕無人機(jī)協(xié)同決策屬于完全合作類型。完全合作類型各智能體的目標(biāo)就是最大化共同回報，所有智能體的獎勵函數(shù)都是相同的。其他類型情況下，獎勵函數(shù)通常不同且相關(guān)，獨立最大化的難度比較大。因此完全合作類型智能體的獎勵函數(shù)，很適合做MARL的目標(biāo)，此時學(xué)習(xí)目標(biāo)可以表述為

+1(,)=(,)+[+1+

(15)

式中：為學(xué)習(xí)率參數(shù)。

2.2 MADDPG算法

MADDPG是DDPG(Deep Deterministic Policy Gradient)在MARL的擴(kuò)展，各智能體都采用DDPG框架，各智能體策略參數(shù)為=(,,…,),聯(lián)合策略為:=((),(),…,())。它的核心思想是通過集中訓(xùn)練、分布執(zhí)行的框架來尋找最優(yōu)聯(lián)合策略，可以解決MARL環(huán)境的非平穩(wěn)性及經(jīng)驗回放(Experience Replay, ER)方法失效的問題。MADDPG能解決環(huán)境不穩(wěn)定性的原因在于如果已知所有智能體策略，即使智能體的策略發(fā)生變化了，環(huán)境的穩(wěn)定性不受影響。多智能體系統(tǒng)動力學(xué)模型為

(′|,,,…,,,,…,)=(′|,

,,…,)=(′|,,,…,,′,

′,…,′)

(16)

因為≠′時，式(16)仍然成立，所以環(huán)境仍然是穩(wěn)定的。

MADDPG的經(jīng)驗池設(shè)計為

(17)

所謂“集中訓(xùn)練，分散執(zhí)行”，指的是中心化訓(xùn)練、去中心化執(zhí)行，即通過訓(xùn)練學(xué)習(xí)得到的最優(yōu)策略，應(yīng)用的時候僅需要利用智能體的觀測信息-局部信息就能輸出最優(yōu)動作。集中訓(xùn)練時，在基礎(chǔ)DDPG算法上疊加一些額外的信息得到更準(zhǔn)確的Q值計算，反饋Actor網(wǎng)絡(luò)，這些值可以是其他智能體的狀態(tài)、動作，每個智能體不僅根據(jù)自己的觀測值、動作，還根據(jù)其他智能體的動作來評估當(dāng)前Actor輸出動作的價值。值計算為

=(,,,…,,)

(18)

式中：為Critic網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)。

每個智能體的Critic網(wǎng)絡(luò)輸入相同，損失函數(shù)計算為

(19)

相當(dāng)于建立了一個中心化的Critic網(wǎng)絡(luò)，并給出對應(yīng)的值函數(shù)，也一定程度緩解環(huán)境不穩(wěn)定的問題。但是Actor僅需要局部信息，實現(xiàn)了分布式控制。

Actor網(wǎng)絡(luò)的參數(shù)更新為

(20)

分散執(zhí)行指訓(xùn)練完成后，每個Actor可以根據(jù)自己的觀測值采取合適動作，不需要其他智能體的動作。MADDPG算法中的Actor網(wǎng)絡(luò)和Critic網(wǎng)絡(luò)協(xié)同配合如圖3所示，每個智能體使用獨自的Actor，輸出確定的動作，但是Critic網(wǎng)絡(luò)輸入除過自身的觀測狀態(tài)信息、動作信息外，還包括其他智能體的動作信息。每個智能體對應(yīng)一個中心化Critic網(wǎng)絡(luò),該網(wǎng)絡(luò)同時接受所有智能體Actor網(wǎng)絡(luò)產(chǎn)生的數(shù)據(jù)。

圖3 MADDPG的中心化訓(xùn)練和去中心化執(zhí)行Fig.3 Centralized training and decentralized execution of MADDPG

基礎(chǔ)的MADDPG算法框架圖如圖4所示。訓(xùn)練過程中，每個智能體依靠自身策略得到當(dāng)前時刻狀態(tài)對應(yīng)的動作，然后執(zhí)行動作與環(huán)境進(jìn)行交互，獲得經(jīng)驗后存入公眾經(jīng)驗池。當(dāng)所有智能體都和環(huán)境進(jìn)行交互后，每個智能體從公眾經(jīng)驗池中隨機(jī)抽取批數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。MADDPG通過全局的值更新局部的策略，但是需要全局的狀態(tài)信息和所有智能體的動作信息。OpenAI將MADDPG算法放在游戲場景中進(jìn)行驗證，游戲決策中狀態(tài)和動作是離散的，實際的問題一般狀態(tài)和動作是連續(xù)的，本文研究將MADDPG應(yīng)用于較為接近真實的多無人機(jī)追逃對抗場景中，所用環(huán)境模型充分考慮了無人機(jī)的動力學(xué)特性和物理特性，相比較理想的游戲環(huán)境更為復(fù)雜。

圖4 MADPPG基本框架示意圖Fig.4 Basic framework of MADDPG

2.3 DE-MADDPG算法

DE-MADDPG算法是一種MADDPG的改進(jìn)算法，能夠同時以解耦的方式最大化全局獎勵和局部獎勵，而不用在每個智能體的獎勵設(shè)計中考慮全局獎勵和局部獎勵。從MADDPG算法的介紹可以看出，MADDPG是通過全局的中心化Critic網(wǎng)絡(luò)實現(xiàn)集中訓(xùn)練，DE-MADDPG算法則改進(jìn)了網(wǎng)絡(luò)架構(gòu)，除了一個全局的Critic網(wǎng)絡(luò)，還同時為每個智能體構(gòu)建了一個局部的Critic網(wǎng)絡(luò)，如圖5所示。全局Critic網(wǎng)絡(luò)的作用是最大化全局獎勵，局部Critic網(wǎng)絡(luò)的作用是最大化局部獎勵。

圖5 DE-MADDPG的中心化訓(xùn)練和去中心化執(zhí)行[21]Fig.5 Centralized training and decentralized execution of DE-MADDPG[21]

DE-MADDPG算法的創(chuàng)新之處在于結(jié)合了MADDPG算法和DDPG算法，同時也是一個“集中訓(xùn)練，分散執(zhí)行”的架構(gòu)，僅在訓(xùn)練階段需要額外的其他智能體狀態(tài)和動作信息，應(yīng)用執(zhí)行時只需要智能體自身的狀態(tài)就可以輸出策略動作。MADDPG算法中，智能體的策略梯度為

)|=()]

(21)

DE-MADDPG引進(jìn)了局部的critic網(wǎng)絡(luò)，智能體的策略梯度計算會變?yōu)?/p>

(22)

(23)

式中：的定義為

(24)

式中：′={′,′,…,′}為網(wǎng)絡(luò)參數(shù)′={′,′,…,′}定義的目標(biāo)策略。

(25)

式中：的定義為

(26)

3 多無人機(jī)協(xié)同追捕策略設(shè)計

多無人機(jī)協(xié)同追捕問題是控制每個無人機(jī)協(xié)同去完成同一個任務(wù)，所以存在無人機(jī)的整體目標(biāo)與個體目標(biāo)，很適合用DE-MADDPG算法來進(jìn)行多無人機(jī)的協(xié)同追捕策略訓(xùn)練。本文從多無人機(jī)的具體追捕任務(wù)出發(fā)，設(shè)置了解耦型獎勵回報函數(shù)，然后基于DE-MADDPG算法對多無人機(jī)進(jìn)行了訓(xùn)練。

3.1 解耦型獎勵回報函數(shù)設(shè)計

獎勵函數(shù)設(shè)計采用引導(dǎo)性獎勵和稀疏獎勵相結(jié)合的方式，主要考慮無人機(jī)的協(xié)同要求和目標(biāo)任務(wù)要求，具體來說就是2個要求，一是各無人機(jī)之間要考慮避碰，即無人機(jī)之間不能互相碰撞，二是要協(xié)同以最快時間追捕逃逸無人機(jī)。多追捕無人機(jī)的任務(wù)目標(biāo)，是追求任一架追捕無人機(jī)成功捕獲逃逸無人機(jī)，因此獎勵函數(shù)的設(shè)計中，主要考慮距離因素。

解耦性獎勵函數(shù)需要設(shè)計全局獎勵函數(shù)和局部獎勵函數(shù)。對于多追捕無人機(jī)的協(xié)同追捕對抗策略訓(xùn)練，全局獎勵考慮多無人機(jī)的任務(wù)目標(biāo)，即追求最快讓多無人機(jī)中某一架無人機(jī)完成追捕捕獲任務(wù)；局部獎勵中完成對每個無人機(jī)的避碰控制和任務(wù)目標(biāo)控制。這樣的全局獎勵函數(shù)和局部獎勵函數(shù)相結(jié)合的方式，會很快引導(dǎo)無人機(jī)的決策網(wǎng)絡(luò)更新到較優(yōu)參數(shù)。

3.1.1 全局獎勵函數(shù)設(shè)計

追捕無人機(jī)的整體獎勵設(shè)計為

=-

(27)

式中：和為控制獎勵幅度的系數(shù)；為與逃逸無人機(jī)位置(,)距離最近的追捕無人機(jī)到逃逸無人機(jī)的距離；的確定方式為

(28)

3.1.2 局部獎勵函數(shù)設(shè)計

無人機(jī)的局部獎勵函數(shù)設(shè)計，分為以下3個模塊。

1) 定義無人機(jī)互相碰撞的懲罰回報獎勵為

c=

(29)

式中：為無人機(jī)之間的最近安全距離；為第架追捕無人機(jī)與第架追捕無人機(jī)之間的距離。

2) 當(dāng)追捕無人機(jī)編隊成功捕獲逃逸無人機(jī)時，給予正獎勵回報。

(30)

式中:(=1,2,…,)為追捕無人機(jī)到逃逸無人機(jī)的距離;為獎賞值。

3) 定義任務(wù)引導(dǎo)獎勵為

p=-

(31)

所以，每個無人機(jī)的獎勵為上述3個獎勵函數(shù)的加權(quán)和:

=p+c+f

(32)

式中：、、為加權(quán)系數(shù)，并且滿足++=1。

3.2 訓(xùn)練算法流程

基于DE-MADDPG的多無人機(jī)協(xié)同追捕對抗策略訓(xùn)練算法流程如算法1所示。

算法1 基于DE-MADDPG的多追捕無人機(jī)協(xié)同追捕策略訓(xùn)練算法Algorithm 1 Multi-UAVs cooperative pursuit strategy using DE-MADDPG

為了方便算法的實現(xiàn)和使用，這里將訓(xùn)練算法中間用到的超參數(shù)及其物理意義做下介紹，訓(xùn)練算法參數(shù)表如表1所示。

表1 訓(xùn)練算法參數(shù)Table 1 Training algorithm parameter

4 仿真驗證

4.1 實驗設(shè)置

實驗采用圖1場景想定，同時采用常見的紅藍(lán)對抗作戰(zhàn)法，設(shè)定紅方為追捕無人機(jī)，藍(lán)方為逃逸無人機(jī)。仿真環(huán)境全部基于Python語言編寫，利用Pycharm Community 2020.2和Anaconda3平臺，深度學(xué)習(xí)環(huán)境采用Tensorflow 1.14.0，計算機(jī)配置為CPU Inter i7-9700F@3.00 GHz，內(nèi)存16 GB。

無人機(jī)通過觀察環(huán)境狀態(tài)，根據(jù)設(shè)定的控制策略得到控制量，再利用環(huán)境的反饋調(diào)整控制策略，形成一個閉環(huán)訓(xùn)練過程。實驗設(shè)定的訓(xùn)練參數(shù)表如表2所示。

表2 訓(xùn)練超參Table 2 Training hyperparameters

對多追捕無人機(jī)單逃逸無人機(jī)追逃對抗仿真實驗設(shè)置作以下說明：

1) 所有的追捕無人機(jī)為同構(gòu)無人機(jī)，即追捕無人機(jī)的性能參數(shù)完全相同，并且追捕無人機(jī)之間采用全連通通信網(wǎng)絡(luò)。

2) 為了增加研究的難度，設(shè)定追捕無人機(jī)和逃逸無人機(jī)的運(yùn)動性能不同，即研究多低速追捕無人機(jī)和高速逃逸無人機(jī)的追逃對抗。

3) 這種場景下追逃博弈的結(jié)果與初始時追捕無人機(jī)的初始陣位、逃逸無人機(jī)的位置緊密相關(guān)，同時考慮深度強(qiáng)化學(xué)習(xí)算法的應(yīng)用特點，設(shè)置多無人機(jī)協(xié)同追逃對抗實驗處在二維有限的正方形區(qū)域內(nèi)，即[-700,700] m×[-700,700] m，該環(huán)境包括4個追捕無人機(jī)和1個逃逸無人機(jī)。

4) 為了進(jìn)行有效的高速訓(xùn)練，設(shè)定逃逸無人機(jī)的初始位置為原點(0,0),4個追捕無人機(jī)的位置分別位于[-200,200] m×[-200,200] m的4個象限，如圖6所示，其中紅色的是追捕無人機(jī)，藍(lán)色的是逃逸無人機(jī)。

圖6 多追捕無人機(jī)單逃逸無人機(jī)追逃對抗初始狀態(tài)Fig.6 Initial state of pursuit-evasion game with multi pursuit-UAVs and single evasion-UAV

5) 實驗中環(huán)境參數(shù)設(shè)置如表3所示。

表3 多無人機(jī)追逃對抗環(huán)境實驗參數(shù)Table 3 Initial parameters of simulation experiment of multi-UAVs pursuit-evasion game

4.2 方法有效性實驗

為了驗證DE-MADDPG的訓(xùn)練效果，將DE-MADDPG算法同MADDPG算法、IL-DDPG(Independent Learning-DDPG, IL-DDPG)算法進(jìn)行對比，同時應(yīng)用3種算法于多追捕無人機(jī)的協(xié)同追捕對抗策略，觀察對比3種算法的訓(xùn)練效果。其中，IL-DDPG指各追捕無人機(jī)的訓(xùn)練學(xué)習(xí)和控制過程都用獨自的DDPG網(wǎng)絡(luò)，每個無人機(jī)僅能獲得自己的信息和逃逸無人機(jī)的信息，擁有一套Actor網(wǎng)絡(luò)和Critic網(wǎng)絡(luò)，使用基本的DDPG網(wǎng)絡(luò)訓(xùn)練。MADDPG算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖7(a)所示，DE-MADDPG算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖7(b) 所示。

圖7 MADDPG和DE-MADDPG網(wǎng)絡(luò)結(jié)構(gòu)Fig.7 Network architecture of MADDPG and DE-MADDPG

訓(xùn)練時逃逸無人機(jī)的運(yùn)動控制策略根據(jù)具體對抗場景而定。設(shè)定敵機(jī)運(yùn)動控制策略為隨機(jī)運(yùn)動策略控制方式時，4架無人機(jī)在3種算法下的平均獎勵曲線如圖8所示。

圖8 無人機(jī)的平均獎勵曲線Fig.8 Average reward curves of UAVs

根據(jù)實驗數(shù)據(jù)觀測，所有無人機(jī)的平均獎勵都取得收斂效果，訓(xùn)練之初無人機(jī)的總獎勵比較小且是負(fù)獎勵，這說明訓(xùn)練之初無人機(jī)采取的策略是不合法的，隨后的訓(xùn)練學(xué)習(xí)中無人機(jī)逐漸學(xué)到了提高總獎勵的策略。對比DE-MADDPG、MADDPG、IL-DDPG算法的訓(xùn)練效果，可以得到2個結(jié)論，一個是基于多智能體強(qiáng)化學(xué)習(xí)(DE-MADDPG、MADDPG)算法相比單智能體強(qiáng)化學(xué)習(xí)(IL-DDPG)算法取得了更好的收斂效果；另外一個是DE-MADDPG算法相比MADDPG算法取得了更快的收斂效果，從訓(xùn)練曲線證明了DE-MADDPG算法的優(yōu)勢。另外一方面，部分無人機(jī)的DE-MADDPG算法收斂穩(wěn)定性比MA-DDPG算法差，這是由于DE-MADDPG算法同時要兼顧整體目標(biāo)與個體目標(biāo)，而MADDPG算法只考慮個體目標(biāo)，導(dǎo)致的DE-MADDPG算法收斂穩(wěn)定性相對較差。

為了驗證基于DE-MADDPG算法的追捕無人機(jī)協(xié)同追捕策略的優(yōu)劣，設(shè)置3種對抗場景來驗證設(shè)計的協(xié)同追捕策略訓(xùn)練算法。

多追捕無人機(jī)圍捕隨機(jī)運(yùn)動逃逸無人機(jī)

設(shè)置逃逸無人機(jī)采用隨機(jī)運(yùn)動策略控制方式。對應(yīng)的仿真實驗結(jié)果如圖9所示。

圖9 場景1：DE-MADDPG vs隨機(jī)運(yùn)動策略Fig.9 Scene 1: DE-MADDPG vs random strategy

場景1仿真結(jié)果表明，這是一個典型的成功實驗樣本，逃逸無人機(jī)并不具備對抗策略，只是隨機(jī)選擇運(yùn)動方向，逃逸無人機(jī)在14.78 s時被4號追捕無人機(jī)所抓捕，由于采用隨機(jī)運(yùn)動策略的逃逸無人機(jī)具有隨機(jī)機(jī)動性并且不可預(yù)測，所以花費(fèi)的時間還是相對較多。通過第一種場景的訓(xùn)練測試表明了所設(shè)計算法的有效性。

多追捕無人機(jī)圍捕靈活逃逸策略的逃逸無人機(jī)

逃逸無人機(jī)采用如下的靈活逃逸對抗策略，即將對戰(zhàn)態(tài)勢綜合簡單考慮，當(dāng)被追捕無人機(jī)包圍的時候，逃逸無人機(jī)向著追捕無人機(jī)構(gòu)成的多邊形所有邊長中點中最遠(yuǎn)距離的中點逃逸，如圖10(a)所示方向，為、、、中距離最遠(yuǎn)的點；當(dāng)沒被逃逸無人機(jī)包圍時，采取人工勢場法的思想，向所有追捕無人機(jī)給予的斥力矢量綜合后的斥力方向逃逸，即圖10(b) 所示,其中綜合斥力矢量的方向計算如式(33)所示

圖10 逃逸策略示意圖Fig.10 Schematic of escape strategy

方向,為斥力、、和的矢量合力方向。

(33)

圖11 場景2：DE-MADDPG vs靈活逃逸策略Fig.11 Scene2: DE-MADDPG vs flexible escape strategy

場景2仿真結(jié)果表明，逃逸無人機(jī)采用圖10中的逃逸方向進(jìn)行逃跑，先機(jī)動變化航向至3號和4號追捕無人機(jī)的中心，但面臨圍堵后進(jìn)行快速機(jī)動，再快速逃逸，最后在21.66 s被1號無人機(jī)抓捕。通過第2種場景的訓(xùn)練測試表明了所設(shè)計算法的有效性。

多追捕無人機(jī)圍捕轉(zhuǎn)義策略的逃逸無人機(jī)設(shè)置逃逸無人機(jī)采用訓(xùn)練出來的逃逸策略，也稱為轉(zhuǎn)義逃逸策略，逃逸策略的訓(xùn)練算法參考文獻(xiàn)[27]。對應(yīng)的仿真實驗結(jié)果如圖12所示。

圖12 場景3：DE-MADDPG vs轉(zhuǎn)義逃逸策略Fig.12 Scene 3: DE-MADDPG vs learned strategy

場景3仿真結(jié)果表明，訓(xùn)練出來的轉(zhuǎn)義策略通過初始的狀態(tài)和條件判斷，右上方應(yīng)該為自己的首先逃逸方向，但是追捕無人機(jī)也通過自己的態(tài)勢感知快速地進(jìn)行圍堵，隊形收縮，在逃逸無人機(jī)連續(xù)逃脫3號、4號、1號無人機(jī)的圍堵后，1號無人機(jī)和2號無人機(jī)的相互協(xié)作，成功在29.10 s圍堵抓捕逃逸無人機(jī)。通過場景3的訓(xùn)練測試表明了所設(shè)計算法的有效性。

從以上仿真可以得出結(jié)論，訓(xùn)練出來的協(xié)同追捕策略具有明顯的合作行為，追捕無人機(jī)不僅簡單地跟蹤逃逸無人機(jī)，而且表現(xiàn)出一些高級的協(xié)同行為，極大地提高了追捕任務(wù)的執(zhí)行效率，同時所設(shè)計訓(xùn)練算法對于不同逃逸策略的快速逃逸無人機(jī)也能夠較好地適用。為了驗證所設(shè)計訓(xùn)練算法得到的多無人機(jī)協(xié)同追捕策略實際使用時的穩(wěn)定性和魯棒性，將DE-MADDPG、MADDPG、IL-DDPG算法訓(xùn)練得到的多無人機(jī)協(xié)同追捕策略分別在3種逃逸無人機(jī)智能程度不同的場景中進(jìn)行10 000次的蒙特卡洛仿真，統(tǒng)計最終的成功率，如圖13所示(場景1、場景2、場景3)。蒙特卡洛仿真中每次追捕無人機(jī)的初始位置和初始航向、逃逸無人機(jī)的初始位置和初始航向都采用隨機(jī)生成方式。

圖13 多無人機(jī)協(xié)同追捕逃逸訓(xùn)練效果成功率Fig.13 Success rate of training result of multi-UAVs cooperative pursuit-evasion strategy

從圖13可以看出，隨著敵機(jī)逃逸無人機(jī)智能程度的提高，對戰(zhàn)場景的復(fù)雜程度提高，無論是基于哪種強(qiáng)化學(xué)習(xí)算法，訓(xùn)練效果的成功率都會隨之降低；DE-MADDPG訓(xùn)練算法相比MADDPG、ILDDPG能得到更高的追捕對抗任務(wù)成功率，IL-DDPG由于是無人機(jī)獨立地進(jìn)行學(xué)習(xí)，學(xué)習(xí)訓(xùn)練階段沒有多無人機(jī)的協(xié)同，取得的追捕任務(wù)成功率最低。對戰(zhàn)是否成功不僅取決于訓(xùn)練效果的好壞，同時取決于追捕無人機(jī)和逃逸無人機(jī)的初始態(tài)勢，有些態(tài)勢下再好的訓(xùn)練效果也無法讓多追捕無人機(jī)成功完成追捕任務(wù)。本文所設(shè)計的多追捕無人機(jī)協(xié)同追捕策略是針對固定數(shù)量的4架追捕無人機(jī)，如果對抗場景中有更多的追捕無人機(jī)或者速度比設(shè)定更大，則取得的任務(wù)成功率會更高。

綜上所述，仿真實驗驗證了所提出的方法在多追捕無人機(jī)對快速的單逃逸無人機(jī)追逃對抗中的有效性和計算效率。不同于其他微分對策或者基于幾何的控制律方法，不需要針對對戰(zhàn)過程進(jìn)行精確的物理建模和推導(dǎo)，只需要對多無人機(jī)的作戰(zhàn)任務(wù)進(jìn)行獎勵函數(shù)設(shè)計，在多智能體深度強(qiáng)化學(xué)習(xí)框架下進(jìn)行足夠的訓(xùn)練，就可以得到接近于傳統(tǒng)控制方法的控制效果，同時神經(jīng)網(wǎng)絡(luò)的參數(shù)可以提前訓(xùn)練學(xué)習(xí)，運(yùn)行時直接端到端執(zhí)行就可以，算法的運(yùn)行時間也有所提高。本文所用DE-MADDPG算法具有廣泛的使用場景，針對其他多無人機(jī)協(xié)同控制任務(wù)，稍微修改后就可以進(jìn)行實際的使用。

5 結(jié) 論

本文圍繞面向快速目標(biāo)的多無人機(jī)協(xié)同追捕問題，提出了一種基于解耦型的多智能體強(qiáng)化學(xué)習(xí)算法，使得多無人機(jī)具有較強(qiáng)的協(xié)同圍捕能力，主要結(jié)論如下：

1) 提出了多無人機(jī)任務(wù)學(xué)習(xí)的局部獎勵函數(shù)和全局獎勵函數(shù)設(shè)計方法，使得無人機(jī)將個體和總體的獎勵目標(biāo)得以解耦，從而讓無人機(jī)向更明確的任務(wù)進(jìn)行訓(xùn)練學(xué)習(xí)。

2) 提出了基于DE-MADDPG算法的多無人機(jī)協(xié)同追捕策略，能夠通過協(xié)同決策完成對快速目標(biāo)的捕獲。

3) 設(shè)計逃逸無人機(jī)的多種逃逸控制策略并進(jìn)行算法測試，實驗結(jié)果表明本文提出基于DE-MADDPG的多無人機(jī)協(xié)同追捕策略有著不錯的應(yīng)用效果，相比IL-DDPG、MADDPG算法的應(yīng)用效果有著更好的訓(xùn)練表現(xiàn)。

在進(jìn)一步的研究工作中，可以將本文的算法拓展到三維環(huán)境的多無人機(jī)追逃博弈問題中，能夠更接近真實空戰(zhàn)狀況。