基于LSTM-PPO算法的無人作戰(zhàn)飛機(jī)近距空戰(zhàn)機(jī)動(dòng)決策

丁 維， 王 淵， 丁達(dá)理， 謝 磊， 周 歡， 譚目來， 呂丞輝

(空軍工程大學(xué)航空工程學(xué)院，西安，710038)

隨著無人作戰(zhàn)飛機(jī)(unmanned combat aerial vehicles，UCAV)的自主化、智能化水平不斷提高，由其自主完成空戰(zhàn)任務(wù)獲取制空權(quán)已成為未來戰(zhàn)場(chǎng)發(fā)展的必然趨勢(shì)。其中，空戰(zhàn)機(jī)動(dòng)決策方法一直是自主空戰(zhàn)領(lǐng)域研究的重要一環(huán)[1-2]。目前無人機(jī)空戰(zhàn)機(jī)動(dòng)決策常用方法主要分為兩類，一類是基于對(duì)策理論的方法，另一類是基于數(shù)據(jù)驅(qū)動(dòng)的方法?；趯?duì)策理論的方法應(yīng)用在近距空戰(zhàn)機(jī)動(dòng)決策上主要有微分對(duì)策法[3]、矩陣對(duì)策法和影響圖法[4]，基于數(shù)據(jù)驅(qū)動(dòng)的近距空戰(zhàn)機(jī)動(dòng)決策方法主要有神經(jīng)網(wǎng)絡(luò)及強(qiáng)化學(xué)習(xí)方法。

文獻(xiàn)[5]將微分對(duì)策法應(yīng)用于空戰(zhàn)追逃問題，構(gòu)建了微分對(duì)策模型，現(xiàn)階段雖然應(yīng)用較為廣泛，但其計(jì)算量太大、實(shí)時(shí)性差，且其目標(biāo)函數(shù)設(shè)定非常困難，因此不適用于復(fù)雜的空戰(zhàn)環(huán)境；文獻(xiàn)[6]應(yīng)用矩陣對(duì)策法獲得我機(jī)最優(yōu)選擇策略的大致范圍，雖然算法容易理解，但是其結(jié)果精度不高且實(shí)時(shí)性較差，因此較難應(yīng)用于無人機(jī)自主空戰(zhàn)中；文獻(xiàn)[7]將影響圖法應(yīng)用于機(jī)動(dòng)決策，雖然能有效引導(dǎo)UCAV戰(zhàn)斗，但是模型結(jié)構(gòu)復(fù)雜，計(jì)算繁瑣且實(shí)時(shí)性較差，很難求解出較復(fù)雜的決策問題。對(duì)于基于數(shù)據(jù)驅(qū)動(dòng)空戰(zhàn)機(jī)動(dòng)決策方法而言，文獻(xiàn)[8]應(yīng)用神經(jīng)網(wǎng)絡(luò)方法，雖然魯棒性強(qiáng)、實(shí)時(shí)性好，但是需要大量樣本進(jìn)行訓(xùn)練且產(chǎn)生的數(shù)據(jù)不真實(shí)；文獻(xiàn)[9]運(yùn)用強(qiáng)化學(xué)習(xí)方法由環(huán)境反饋出的信息來展開學(xué)習(xí)，雖然無需提供訓(xùn)練樣本，但是卻存在訓(xùn)練時(shí)間長、執(zhí)行效率低的缺點(diǎn)。

針對(duì)UCAV近距空戰(zhàn)機(jī)動(dòng)決策問題，本文首先在UCAV三自由度模型的基礎(chǔ)上構(gòu)建飛行驅(qū)動(dòng)模塊，以此來實(shí)現(xiàn)深度強(qiáng)化學(xué)習(xí)過程中與環(huán)境的不斷交互，并形成一種狀態(tài)轉(zhuǎn)移更新機(jī)制。在算法層面，針對(duì)現(xiàn)有常用方法存在的無法滿足實(shí)時(shí)性、收斂速度慢、容易陷入局部最優(yōu)等不足，本文以近端策略優(yōu)化(proximal policy optimization，PPO)算法[10]為基礎(chǔ)，充分發(fā)揮神經(jīng)網(wǎng)絡(luò)離線訓(xùn)練的可塑性和在線使用的實(shí)時(shí)性，通過引入OU隨機(jī)噪聲進(jìn)一步提升算法在訓(xùn)練過程中的探索性能，引入長短時(shí)記憶網(wǎng)絡(luò)(long short term memory，LSTM)[11]將空戰(zhàn)狀態(tài)轉(zhuǎn)化為高維感知態(tài)勢(shì)，加強(qiáng)網(wǎng)絡(luò)對(duì)時(shí)序性空戰(zhàn)數(shù)據(jù)的學(xué)習(xí)能力，從而提出基于長短時(shí)記憶-近端策略優(yōu)化(long short term memory-proximal policy optimization， LSTM-PPO)算法的UCAV近距空戰(zhàn)機(jī)動(dòng)決策方法。通過設(shè)計(jì)不同的近距空戰(zhàn)仿真實(shí)驗(yàn)，并與PPO算法作性能對(duì)比，驗(yàn)證該方法的有效性和優(yōu)越性。

1 空戰(zhàn)環(huán)境設(shè)計(jì)

1.1 UCAV三自由度模型設(shè)計(jì)

UCAV三自由度模型是對(duì)UCAV運(yùn)動(dòng)狀態(tài)的具體描述，為了降低控制量之間的耦合關(guān)系，并充分考慮平臺(tái)氣動(dòng)特性對(duì)飛行狀態(tài)的影響，使模型更加貼近實(shí)際，飛行軌跡更為真實(shí)，增加其工程利用價(jià)值，其三自由度質(zhì)點(diǎn)運(yùn)動(dòng)、動(dòng)力學(xué)模型如下：

(1)

式中：(x,y,z)分別代表速度v在坐標(biāo)系各個(gè)軸上的分量；γ為航跡傾角；ψ為偏航角；m為UCAV總體質(zhì)量；g為重力加速度；(α，μ，T)為模型的控制量，分別表示當(dāng)前時(shí)刻UCAV的攻角、滾轉(zhuǎn)角及推力；L和D分別表示升力參量和阻力參量，具體可以表示為：

(2)

1.2 狀態(tài)轉(zhuǎn)移更新機(jī)制設(shè)計(jì)

為實(shí)現(xiàn)算法與空戰(zhàn)環(huán)境不斷交互，從而輸出控制量對(duì)UCAV的運(yùn)動(dòng)進(jìn)行控制，將上述三自由度模型設(shè)置成飛行驅(qū)動(dòng)模塊。假設(shè)UCAV與敵機(jī)使用相同的平臺(tái)模型，通過飛行驅(qū)動(dòng)模塊實(shí)現(xiàn)敵我雙方空戰(zhàn)狀態(tài)的更新，即通過當(dāng)前時(shí)刻狀態(tài)與控制量實(shí)時(shí)計(jì)算出下一時(shí)刻UCAV與敵機(jī)所處的新狀態(tài)，以此形成一種狀態(tài)轉(zhuǎn)移更新機(jī)制，見圖1。

圖1 狀態(tài)轉(zhuǎn)移更新機(jī)制

1.3 獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)

基于強(qiáng)化學(xué)習(xí)的近距空戰(zhàn)機(jī)動(dòng)決策的目標(biāo)是找到一個(gè)最優(yōu)機(jī)動(dòng)策略使UCAV完成攻擊占位，從而使完成當(dāng)前任務(wù)的累計(jì)獎(jiǎng)勵(lì)最大。獎(jiǎng)勵(lì)是評(píng)價(jià)策略的唯一量化指標(biāo)，決定智能體最終學(xué)到策略的優(yōu)劣，并直接影響算法的收斂性和學(xué)習(xí)速度。UCAV通過深度強(qiáng)化學(xué)習(xí)進(jìn)行空戰(zhàn)決策時(shí)，除完成任務(wù)的獎(jiǎng)勵(lì)外，中間過程無法獲得獎(jiǎng)勵(lì)，存在著稀疏獎(jiǎng)勵(lì)[12]的問題，因此在復(fù)雜的空戰(zhàn)任務(wù)中不僅需要設(shè)計(jì)完成任務(wù)的勝負(fù)獎(jiǎng)勵(lì)，對(duì)于每一回合中每一步的輔助獎(jiǎng)勵(lì)設(shè)計(jì)也至關(guān)重要。為了有助于驗(yàn)證算法的有效性，本文以機(jī)動(dòng)決策難度較大的使用近距空空導(dǎo)彈后半球攻擊策略為例，分別設(shè)計(jì)角度、高度、距離獎(jiǎng)勵(lì)函數(shù)。

1.3.1 角度獎(jiǎng)勵(lì)函數(shù)

(3)

1.3.2 距離獎(jiǎng)勵(lì)函數(shù)

(4)

式中：相對(duì)距離

1.3.3 高度獎(jiǎng)勵(lì)函數(shù)

高度獎(jiǎng)勵(lì)的設(shè)置應(yīng)充分考慮不同武器的作戰(zhàn)性能，主要體現(xiàn)為通過高度獎(jiǎng)勵(lì)使UCAV與敵機(jī)的高度差保持在理想范圍內(nèi)，充分發(fā)揮武器性能。設(shè)計(jì)高度獎(jiǎng)勵(lì)函數(shù)rH如下：

(5)

式中：ΔH代表UCAV與目標(biāo)的相對(duì)高度；ΔHup和ΔHdown分別表示理想高度差的上下限。

1.3.4 勝負(fù)獎(jiǎng)勵(lì)函數(shù)

空戰(zhàn)勝負(fù)判定主要分為3種情況：①飛行高度過低導(dǎo)致墜毀；②態(tài)勢(shì)占據(jù)劣勢(shì)被敵機(jī)擊中回合失??；③占據(jù)態(tài)勢(shì)優(yōu)勢(shì)滿足導(dǎo)彈發(fā)射條件，空戰(zhàn)勝利。

勝負(fù)回報(bào)獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)如下：

(6)

其中end為UCAV勝負(fù)判定結(jié)果，可以表示為：

(7)

1.3.5 單步綜合獎(jiǎng)勵(lì)設(shè)計(jì)

空戰(zhàn)中需要綜合考慮角度、距離、高度對(duì)空戰(zhàn)態(tài)勢(shì)的影響，即在空戰(zhàn)中設(shè)置每一步的綜合獎(jiǎng)勵(lì)。綜合獎(jiǎng)勵(lì)的設(shè)計(jì)是將角度、距離、高度等因素設(shè)置權(quán)重值，并與勝負(fù)獎(jiǎng)勵(lì)函數(shù)相加計(jì)算單步綜合獎(jiǎng)勵(lì)。具體設(shè)計(jì)如下：

rtotal=W1rA+W2rR+W3rH+rend

(8)

式中：W1、W2、W3分別表示角度、距離、高度獎(jiǎng)勵(lì)對(duì)應(yīng)的權(quán)重，在近距空空導(dǎo)彈后半球攻擊策略中由于對(duì)角度獎(jiǎng)勵(lì)要求較高，因此設(shè)置W1=0.5,W2+W3=0.5。

2 LSTM-PPO算法

2.1 PPO算法

PPO算法是由學(xué)者Schulman提出的一種新型的深度強(qiáng)化學(xué)習(xí)算法，在策略梯度算法的基礎(chǔ)上以演員-評(píng)論家(actor-critic，AC)算法為架構(gòu)演化而來，可以應(yīng)用在連續(xù)的狀態(tài)和動(dòng)作空間中[14]。它和其他基于深度強(qiáng)化學(xué)習(xí)算法相比優(yōu)勢(shì)如下：①將新舊策略的更新步長限制在一個(gè)合理區(qū)間上，讓其策略變化不要太劇烈，這樣就解決了策略梯度算法無法解決的步長難以選擇的問題；②PPO算法的參數(shù)更新方式能夠保證其策略一直上升即在訓(xùn)練過程中值函數(shù)單調(diào)不減；③利用重要性采樣原理來離線更新策略，避免浪費(fèi)更新完的數(shù)據(jù)。

PPO算法的目標(biāo)函數(shù)為：

(9)

其中：

(10)

2.2 LSTM網(wǎng)絡(luò)

LSTM網(wǎng)絡(luò)的每個(gè)單元可以被劃分為遺忘門ft、輸入門it、以及輸出門ot[15]見圖2所示。

鄉(xiāng)土樹種具有適應(yīng)當(dāng)?shù)貧夂驐l件，成活率高、生長快，充分代表了當(dāng)?shù)氐奈幕厣偷赜蛱厣?，且鄉(xiāng)土樹種是經(jīng)過長時(shí)間沉淀積累下來的適宜本土生長的植物種類；鄉(xiāng)土樹種運(yùn)輸費(fèi)用以及種植費(fèi)用低，維護(hù)管理成本也低。為此在綠化樹種選擇上，要堅(jiān)持以鄉(xiāng)土樹種為主，實(shí)踐得知，美麗鄉(xiāng)村綠化綠化鄉(xiāng)土樹種占綠化苗總量應(yīng)把握在65%左右。除此之外，為增加生物多樣性及觀賞性，適當(dāng)引進(jìn)一些優(yōu)良適生樹種，豐富植物種類。

圖2 LSTM單元結(jié)構(gòu)圖

其中，遺忘門主要利用sigmoid函數(shù)，決定上一時(shí)刻網(wǎng)絡(luò)的輸出ht-1和上一時(shí)刻網(wǎng)絡(luò)的單元狀態(tài)Ct-1是否繼續(xù)存在于當(dāng)前時(shí)刻網(wǎng)絡(luò)的單元狀態(tài)Ct中。遺忘門計(jì)算公式如下：

ft=σ(Wf·g[ht-1,xt]+bf)

(11)

式中：Wf為權(quán)值矩陣;bf為偏置量;xt為當(dāng)前網(wǎng)絡(luò)的輸入;g表示向量拼接。

輸入門利用sigmoid函數(shù)輸出的信息與tach函數(shù)輸出的信息相乘，決定當(dāng)前時(shí)刻的輸入xt有多少要傳到單元狀態(tài)Ct中。輸入門計(jì)算公式如下：

it=σ(Wi·g[ht-1,x1]+bi)tach(Wc·g[ht-1,xt]+bc)

(12)

輸出門也是利用sigmoid函數(shù)與tach函數(shù)輸出的信息相乘，決定單元狀態(tài)Ct中有多少可以傳到當(dāng)前輸出ht中。輸出門的計(jì)算公式如下：

ht=σ(W0·g[ht-1,xt]+b0)·tach(Ct)

(13)

2.3 OU隨機(jī)噪聲

在訓(xùn)練過程中，平衡算法的探索能力和開發(fā)能力至關(guān)重要，探索的目的在于尋找到更優(yōu)的策略。作為引入的隨機(jī)噪聲，OU噪聲在時(shí)序上具備較高斯噪聲更好的相關(guān)性，能夠較好地探索具備動(dòng)量屬性的環(huán)境，在進(jìn)一步提升動(dòng)作決策隨機(jī)性的同時(shí)可以更好地約束探索的區(qū)間，減少超出閾值機(jī)動(dòng)的產(chǎn)生。圖3為基于OU隨機(jī)噪聲探索策略示意圖。OU噪聲的微分方程形式如下：

圖3 基于OU噪聲探索策略

dxt=-θ(xt-μ)dt+σdWt

(14)

式中：xt表示狀態(tài)；Wt代表維納過程；θ、μ、σ均為參數(shù)。

2.4 LSTM-PPO算法

為了增強(qiáng)PPO算法的探索性，本文通過在輸出動(dòng)作上加入OU隨機(jī)噪聲來提升UCAV對(duì)未知狀態(tài)空間的探索能力。又因?yàn)榭諔?zhàn)環(huán)境具有高動(dòng)態(tài)、高維度的博弈性和復(fù)雜性，因此單純采用PPO算法中的全連接神經(jīng)網(wǎng)絡(luò)來逼近策略函數(shù)和價(jià)值函數(shù)已無法滿足其復(fù)雜性的需求。本文的策略網(wǎng)絡(luò)及價(jià)值網(wǎng)絡(luò)使用LSTM網(wǎng)絡(luò)架構(gòu)，首先引入LSTM網(wǎng)絡(luò)從高維空戰(zhàn)態(tài)勢(shì)中提取特征，輸出有用的感知信息，增強(qiáng)對(duì)序列樣本數(shù)據(jù)的學(xué)習(xí)能力，再通過全連接神經(jīng)網(wǎng)絡(luò)來逼近策略函數(shù)及價(jià)值函數(shù)。LSTM-PPO算法的架構(gòu)見圖4。

圖4 LSTM-PPO算法架構(gòu)圖

2.4.1 策略網(wǎng)絡(luò)設(shè)計(jì)

針對(duì)策略網(wǎng)絡(luò)部分，輸入層設(shè)置12個(gè)節(jié)點(diǎn)，對(duì)應(yīng)著UCAV和敵機(jī)的12個(gè)狀態(tài)量s=[x,y,z,v,γ,ψ,xe,ye,ze,ve,γe,ψe],其中(x,y,z)表示UCAV的坐標(biāo)，v為UCAV的速度，γ、ψ分別代表UCAV的航跡傾角及偏航角，(xe,ye,ze)表示敵機(jī)的坐標(biāo)，ve為敵機(jī)的速度，γe、ψe分別表示敵機(jī)的航跡傾角及偏航角；隱藏層分別設(shè)置LSTM網(wǎng)絡(luò)層及全連接層，LSTM網(wǎng)絡(luò)層設(shè)置3個(gè)網(wǎng)絡(luò)單元，全連接層設(shè)計(jì)為3層，均采用tach為激活函數(shù)；輸出層有3個(gè)節(jié)點(diǎn)，分別對(duì)應(yīng)著UCAV滾轉(zhuǎn)角變化量Δμt、攻角變化量Δαt及推力變化量ΔTt，采用softmax為激活函數(shù)。策略網(wǎng)絡(luò)結(jié)構(gòu)圖見圖5。

圖5 策略網(wǎng)絡(luò)結(jié)構(gòu)圖

2.4.2 價(jià)值網(wǎng)絡(luò)設(shè)計(jì)

針對(duì)價(jià)值網(wǎng)絡(luò)部分，輸入層設(shè)置了15個(gè)節(jié)點(diǎn)，對(duì)應(yīng)著UCAV和敵機(jī)的12個(gè)狀態(tài)量s=[x,y,z,v,γ,ψ,xe,ye,ze,ve,γe,ψe]及當(dāng)前策略網(wǎng)絡(luò)生成的控制量變化量at=[Δμ,Δα,ΔTt]的合并；隱藏層中的LSTM網(wǎng)絡(luò)層設(shè)置3個(gè)網(wǎng)絡(luò)單元，全連接層設(shè)計(jì)為3層，均采用tach為激活函數(shù)；輸出層設(shè)置一個(gè)節(jié)點(diǎn)，對(duì)應(yīng)著狀態(tài)值函數(shù)，采用Linear為激活函數(shù)。價(jià)值網(wǎng)絡(luò)結(jié)構(gòu)圖見圖6。

圖6 價(jià)值網(wǎng)絡(luò)結(jié)構(gòu)圖

3 仿真實(shí)驗(yàn)

3.1 場(chǎng)景設(shè)計(jì)

本文以UCAV與敵機(jī)一對(duì)一近距空戰(zhàn)為背景進(jìn)行仿真分析，設(shè)置3組仿真實(shí)驗(yàn)，分別為敵機(jī)采取隨機(jī)機(jī)動(dòng)策略，基于專家規(guī)則庫的機(jī)動(dòng)策略和基于優(yōu)化算法的機(jī)動(dòng)策略。設(shè)每個(gè)epoch包含200個(gè)訓(xùn)練回合，每回合的仿真步長設(shè)為30步，每一步的決策時(shí)間為0.05 s，UCAV與敵機(jī)對(duì)抗900個(gè)epoch后停止學(xué)習(xí)。UCAV的速度為300 m/s，航跡傾角和航跡偏角均為0°，敵機(jī)的速度為250 m/s，航跡傾角為0°，航跡偏角為180°。參數(shù)設(shè)置如表1所示，利用表1中的參數(shù)結(jié)合LSTM-PPO算法對(duì)所設(shè)計(jì)的空戰(zhàn)場(chǎng)景進(jìn)行仿真。

表1 參數(shù)設(shè)置

3.2 仿真結(jié)果

3.2.1實(shí)驗(yàn)1:敵機(jī)采取隨機(jī)機(jī)動(dòng)策略

該策略下，針對(duì)敵機(jī)選擇緩慢向上爬升的隨機(jī)機(jī)動(dòng)動(dòng)作，UCAV首先平飛再通過緩慢爬升接近敵機(jī)，形成后半球攻擊態(tài)勢(shì)并使敵機(jī)進(jìn)入我機(jī)導(dǎo)彈攻擊區(qū)，進(jìn)而取得空戰(zhàn)勝利。圖7為UCAV與敵機(jī)空戰(zhàn)對(duì)抗軌跡圖。

圖7 空戰(zhàn)對(duì)抗軌跡圖(實(shí)驗(yàn)1)

圖8為反映兩機(jī)對(duì)抗相對(duì)優(yōu)勢(shì)的累計(jì)獎(jiǎng)勵(lì)曲線，橫坐標(biāo)每個(gè)epoch包含了200個(gè)訓(xùn)練回合，縱坐標(biāo)為200個(gè)訓(xùn)練回合所獲得累計(jì)獎(jiǎng)勵(lì)的平均值。從圖中可以看出，訓(xùn)練初期由于UCAV學(xué)習(xí)不到任何有效策略導(dǎo)致墜毀或被敵機(jī)擊落，使得累計(jì)獎(jiǎng)勵(lì)不斷減小，到了訓(xùn)練中期由于我機(jī)能夠保持平飛，避免了訓(xùn)練前期墜毀的情況，因此累計(jì)獎(jiǎng)勵(lì)值逐步增大，最終在約400個(gè)epoch的訓(xùn)練下能夠?qū)W習(xí)到有效的機(jī)動(dòng)動(dòng)作，形成后半球攻擊態(tài)勢(shì)，此時(shí)累計(jì)獎(jiǎng)勵(lì)值收斂。

圖8 累計(jì)獎(jiǎng)勵(lì)曲線(實(shí)驗(yàn)1)

3.2.2實(shí)驗(yàn)2：敵機(jī)采取基于專家規(guī)則庫的機(jī)動(dòng)策略

該策略下，針對(duì)敵機(jī)采取迂回盤旋機(jī)動(dòng)動(dòng)作[16]，我方UCAV首先通過緩慢爬升接近敵機(jī)，再采取突然俯沖機(jī)動(dòng)跟隨敵機(jī)，當(dāng)敵機(jī)采取左轉(zhuǎn)緩慢俯沖動(dòng)作欲完成逃逸時(shí)，UCAV通過小過載爬升機(jī)動(dòng)形成后半球攻擊態(tài)勢(shì)，并使敵機(jī)進(jìn)入我機(jī)導(dǎo)彈攻擊區(qū)進(jìn)而取得空戰(zhàn)勝利。圖9為該場(chǎng)景下的空戰(zhàn)對(duì)抗軌跡圖。

圖9 空戰(zhàn)對(duì)抗軌跡圖(實(shí)驗(yàn)2)

從圖10的累計(jì)獎(jiǎng)勵(lì)曲線中可以看出，初始階段由于我機(jī)對(duì)環(huán)境認(rèn)知不足，學(xué)習(xí)不到較好策略導(dǎo)致出現(xiàn)高懲罰值行為，之后通過訓(xùn)練逐步掌握了能夠尾隨敵機(jī)的策略,最終在約600個(gè)epoch的訓(xùn)練下策略不再大幅變化，此時(shí)獎(jiǎng)勵(lì)值收斂。

圖10 累計(jì)獎(jiǎng)勵(lì)曲線

3.2.3實(shí)驗(yàn)3：敵機(jī)采取基于優(yōu)化算法的機(jī)動(dòng)策略

由于敵機(jī)具有一定的策略[17]，因此對(duì)抗博弈程度較實(shí)驗(yàn)1劇烈很多。開始由于UCAV高度處于劣勢(shì)，因此敵機(jī)欲采取筋斗機(jī)動(dòng)完成逃逸，此時(shí)UCAV交替執(zhí)行平飛與爬升機(jī)動(dòng)接近敵機(jī)并與敵機(jī)搶占高度優(yōu)勢(shì)。當(dāng)敵機(jī)抵達(dá)最高點(diǎn)開始向下俯沖，UCAV完成爬升獲得高度優(yōu)勢(shì)后，UCAV跟隨敵機(jī)進(jìn)行俯沖，從而在獲得后半球角度優(yōu)勢(shì)的情況下達(dá)到武器發(fā)射條件，最終取得空戰(zhàn)勝利。圖11為該場(chǎng)景下的空戰(zhàn)對(duì)抗軌跡圖。

圖11 空戰(zhàn)對(duì)抗軌跡圖(實(shí)驗(yàn)3)

從圖12的曲線變化趨勢(shì)可以看出由于敵機(jī)飛行具有一定的策略，因此收斂速度比較慢且獎(jiǎng)勵(lì)值曲線波動(dòng)較為劇烈，體現(xiàn)出了空戰(zhàn)任務(wù)的復(fù)雜性，在大約720個(gè)epoch的訓(xùn)練下累計(jì)獎(jiǎng)勵(lì)值收斂，完成學(xué)習(xí)。

圖12 累計(jì)獎(jiǎng)勵(lì)曲線(實(shí)驗(yàn)3)

3.3 算法對(duì)比分析

將PPO算法和LSTM-PPO算法設(shè)置相同的超參數(shù)，并使用相同的空戰(zhàn)環(huán)境，經(jīng)過900個(gè)epoch訓(xùn)練后選取前800個(gè)epoch進(jìn)行測(cè)試。以平均獎(jiǎng)勵(lì)值、收斂時(shí)間、空戰(zhàn)獲勝概率作為衡量兩種算法性能的重要指標(biāo)，進(jìn)行兩種算法在實(shí)驗(yàn)1和實(shí)驗(yàn)2下的性能對(duì)比分析，見表2～3?？梢钥闯?，LSTM-PPO算法平均獎(jiǎng)勵(lì)值和獲勝概率均大于PPO算法，收斂速度LSTM-PPO算法快于PPO算法。

表2 實(shí)驗(yàn)1算法性能的對(duì)比

表3 實(shí)驗(yàn)2算法性能的對(duì)比

4 結(jié)語

由于空戰(zhàn)環(huán)境復(fù)雜、格斗態(tài)勢(shì)高速變化，因此本文針對(duì)UCAV與敵機(jī)一對(duì)一近距空戰(zhàn)引入了基于LSTM-PPO算法的UCAV機(jī)動(dòng)決策方法，設(shè)計(jì)了敵機(jī)采取隨機(jī)機(jī)動(dòng)策略、基于專家規(guī)則庫的機(jī)動(dòng)策略和基于優(yōu)化算法的機(jī)動(dòng)策略3組仿真實(shí)驗(yàn)。3組實(shí)驗(yàn)下的結(jié)果表明，不論敵機(jī)采取何種機(jī)動(dòng)策略，UCAV均可以很好地感知空戰(zhàn)態(tài)勢(shì)，做出合理的機(jī)動(dòng)動(dòng)作，進(jìn)而取得空戰(zhàn)勝利。與PPO算法作性能對(duì)比也可以發(fā)現(xiàn)，基于LSTM-PPO算法的UCAV空戰(zhàn)機(jī)動(dòng)決策方法具有獲得平均獎(jiǎng)勵(lì)值大、收斂速度快、獲勝概率高的優(yōu)點(diǎn)。