一種深度強化學習與模仿學習結(jié)合的突防策略

王曉芳，顧焜仁

(北京理工大學宇航學院，北京 100081)

0 引 言

隨著電子雷達以及機載武器等技術(shù)的發(fā)展,戰(zhàn)斗機的作戰(zhàn)能力提高使得其成為獲取制空權(quán)的重要力量,是現(xiàn)在及未來空戰(zhàn)的主力。隨著機載雷達系統(tǒng)、中遠距空空防御彈等技術(shù)的發(fā)展,防御力量不斷增強,這給我方戰(zhàn)機突破防御、打擊目標帶來了很大的挑戰(zhàn)[1-2]。因此,研究我方戰(zhàn)機在新形勢下的機動突防技術(shù)具有重要的意義。

早期戰(zhàn)斗機通常采用蛇形機動、螺旋機動等預制[3-5]的機動模式突防,這種突防模式容易被敵方探測并辨識出,缺乏靈活性。近年來,基于戰(zhàn)斗機或第三方探測得到的防御方信息而設(shè)計的主動突防策略得到了發(fā)展,其主要可分為基于威脅區(qū)規(guī)避的軌跡優(yōu)化算法和基于現(xiàn)代控制理論的突防制導律設(shè)計。基于威脅區(qū)規(guī)避的突防方法中,戰(zhàn)斗機首先對防御方的可達區(qū)進行預估,作為己方所不能經(jīng)過的威脅區(qū),之后,設(shè)計能夠規(guī)避威脅區(qū)的算法對飛行軌跡進行規(guī)劃,以保存生命力并到達目的地。飛行器避障航跡規(guī)劃算法研究成果眾多,主要有基于A*算法[6]、Gauss偽譜法[7]、Dubins路徑[8]以及分段預測校正法[9]等傳統(tǒng)方法以及基于改進蟻群算法[10]、粒子群算法[11]、蜂群算法[12]及灰狼算法[13]等群智能算法。但是基于威脅區(qū)規(guī)避的這種從空間上完全避開的突防方法對戰(zhàn)斗機來講是一種非常保守的方法,戰(zhàn)斗機可能會繞很遠的路,付出很多的能量。基于現(xiàn)代控制理論的突防制導律則同時考慮戰(zhàn)斗機和防御彈相遇的時間和空間問題,依據(jù)探測得到的信息設(shè)計制導律,又主要有基于最優(yōu)控制理論[14-16]和基于微分對策理論[17-18]的突防制導律。Shima[14]推導出能夠使突防彈在誘餌彈護衛(wèi)下突防的單邊最優(yōu)制導律,王寧宇等[15]提出了基于誘導碰撞策略實現(xiàn)突防的多彈最優(yōu)協(xié)同誘導突防制導律,王曉芳等[16]在考慮降低戰(zhàn)斗機控制能量前提下設(shè)計出考慮突防攔截和打擊目標的一對一最優(yōu)突防制導律。文獻[17-18]不再假設(shè)防御彈的制導律已知,而是假設(shè)突防飛行器和防御彈進行博弈對抗,采用微分對策理論推導得到突防制導律。Weiss等[17]和Shalumov[18]均以最大化防御彈脫靶量和最小化突防彈機動消耗作為性能指標設(shè)計末制導律。但無論是基于最優(yōu)控制還是基于微分對策的突防制導律,都需要建立精確的數(shù)學模型,對于環(huán)境中具有復雜未知干擾的情況的適用性較差,而且這類制導律中關(guān)鍵參數(shù)的設(shè)定非常重要,如果設(shè)計不好,直接影響到突防效果。

隨著人工智能技術(shù)的發(fā)展,深度強化學習理論在許多領(lǐng)域得到了成功應用。深度強化學習由深度學習和強化學習結(jié)合,在不斷與環(huán)境交互的試錯中優(yōu)化決策網(wǎng)絡直至收斂[19],它不依賴于精確的數(shù)學模型,并且能夠適用于復雜環(huán)境中的決策。目前已經(jīng)有學者將深度強化學習技術(shù)應用于飛行器制導[20-21]、姿態(tài)控制[22]及航跡規(guī)劃[23]中?；趶娀瘜W習的飛行器突防技術(shù)的研究相對比較少,文獻[23]采用深度確定性的策略梯度算法(Deep deter-ministic policy gradient,DDPG)設(shè)計了躲避威脅區(qū)的飛行器軌跡規(guī)劃方法從而實現(xiàn)突防,文獻[24]采用決斗雙深度Q網(wǎng)絡(Dueling double DQN,D3QN)算法訓練出彈道導彈的最優(yōu)側(cè)推發(fā)動機點火策略從而實現(xiàn)中段突防,文獻[25]基于DDPG算法成功實現(xiàn)低速無人機協(xié)同突防動態(tài)攔截器。但由于強化學習是無教師無經(jīng)驗學習,因此,在復雜戰(zhàn)場環(huán)境中,基于深度強化學習的突防策略存在著訓練時間長、收斂速度慢的問題。由前述可見,目前基于精確數(shù)學模型的突防策略和基于深度強化學習的突防策略均存在不足,但如果能夠把兩者的優(yōu)勢結(jié)合,則可得到既能夠快速收斂又能適用于復雜戰(zhàn)場環(huán)境的突防方法。本文將在忽略環(huán)境中未知擾動的數(shù)學模型基礎(chǔ)上設(shè)計的突防策略作為專家策略,對深度強化學習突防策略進行前期的引導,以避免強化學習完全的無經(jīng)驗學習,從而加速其收斂。隨著網(wǎng)絡訓練回合數(shù)的增大,逐漸過渡到強化學習中在獎勵函數(shù)的引導下對考慮未知擾動復雜環(huán)境的探索,因而最后得到收斂速度快且能適應復雜環(huán)境的突防策略。同時,目前的方法大都只考慮飛行器成功突防的問題,而對于突防后飛行器是否偏離目標太遠而無法命中目標、在突防過程中如何同時考慮目標打擊問題為突防后的目標打擊創(chuàng)造有利條件等問題,則考慮得不多。

本文同時考慮戰(zhàn)斗機的突防和打擊問題,提出一種模仿學習和深度強化學習結(jié)合的智能突防算法,構(gòu)造了突防策略網(wǎng)絡的獎勵函數(shù)和損失函數(shù),并通過調(diào)整損失函數(shù)中的權(quán)重參數(shù)實現(xiàn)了前期專家策略引導后期強化學習探索的功能。本文首先建立攻防對抗雙方的數(shù)學模型,之后建立了突防問題的馬爾科夫決策模型,設(shè)定了狀態(tài)空間、動作空間、獎勵函數(shù)等。然后構(gòu)建了基于深度強化學習PPO算法的決策網(wǎng)絡,同時通過結(jié)合生成對抗模仿學習(Generative antagonistic imitation learning,GAIL)[26],最終設(shè)計了能夠使戰(zhàn)斗機機動突防策略網(wǎng)絡快速收斂的GAIL-PPO算法。通過仿真對多種突防策略進行了對比分析。

1 戰(zhàn)斗機突防問題強化學習建模

1.1 攻防雙方飛行器相對運動模型

假設(shè)戰(zhàn)斗機攻擊空中目標,敵方探測到我方戰(zhàn)機并發(fā)射防御導彈攔截戰(zhàn)斗機,且空戰(zhàn)發(fā)生在某一高度的水平面內(nèi),此時,戰(zhàn)斗機、目標和防御彈的相對運動關(guān)系如圖1所示。

圖1 戰(zhàn)斗機-目標-防御彈相對運動關(guān)系

圖1中,XOZ為地面坐標系,F,T和D分別表示戰(zhàn)斗機、目標和防御彈,Vi(i=F,D)為各飛行器的速度;ψVi(i=F,D)為各飛行器的彈道偏角;rFT和rFD分別為戰(zhàn)斗機與目標、戰(zhàn)斗機與防御彈之間的距離;qFT,qFD分別為戰(zhàn)斗機-目標、防御彈-戰(zhàn)斗機的視線角,均以基準線逆時針轉(zhuǎn)至視線連線為正方向;ai(i=F,D)為各飛行器垂直于速度的法向加速度。

由圖1可知,戰(zhàn)斗機與靜止目標之間的相對運動方程組為

(1)

防御彈與戰(zhàn)斗機之間的相對運動方程組為

(2)

同時,由圖1還可知,戰(zhàn)斗機的運動模型為

(3)

(4)

1.2 戰(zhàn)斗機突防馬爾科夫決策模型構(gòu)建

為了采用深度強化學習理論解決戰(zhàn)斗機的突防問題,需將突防問題轉(zhuǎn)化到強化學習框架中,首先構(gòu)建戰(zhàn)斗機突防的馬爾可夫決策過程(Markov decision process, MDP),其由元組(S,A,P,R,γ)描述。其中,S為有限的狀態(tài)空間,且任意狀態(tài)s∈S;A為有限動作空間,且任意動作a∈A;P為狀態(tài)轉(zhuǎn)移概率;R為回報函數(shù);γ為折扣因子且γ∈[0,1],用來計算累積回報。在本文的戰(zhàn)斗機突防問題中,狀態(tài)轉(zhuǎn)移概率P=1。因此,接下來給出狀態(tài)空間、動作空間和獎勵函數(shù)的定義。

1.2.1狀態(tài)空間定義

由于突防涉及到戰(zhàn)斗機與目標、戰(zhàn)斗機與防御彈之間的相對運動,考慮突防以及打擊目標的要求,構(gòu)建歸一化的狀態(tài)空間為

(5)

1.2.2動作空間定義

在戰(zhàn)斗機突防問題的MDP中,選取戰(zhàn)斗機的法向過載作為動作,考慮到飛行器可用過載的有限性,設(shè)定其范圍為[-2,2]。

1.2.3獎勵函數(shù)定義

獎勵函數(shù)將引導智能體的訓練方向,對于智能突防決策的生成具有重要的意義。因此需綜合考慮突防、打擊目標要求合理設(shè)計獎勵函數(shù)。同時考慮到不至于使問題太復雜,在滿足要求的前提下,獎勵函數(shù)應盡量簡單。

子獎勵函數(shù)R1主要根據(jù)戰(zhàn)斗機與目標的接近情況設(shè)置,有

R1=KR1cosη

(6)

式中:KR1為大于零的常數(shù)。由式(6)可知,當速度前置角η越接近于0,即戰(zhàn)斗機接近目標時,給予的獎勵越大。

(7)

式中:KR2為大于零的常數(shù)。R2的目的在于引導戰(zhàn)斗機成功突防。

同時考慮突防任務、打擊目標要求的總的獎勵函數(shù)設(shè)計為

R=

(8)

式中:第一行表示當戰(zhàn)斗機完成突防任務時滿足速度前置角不大于10°的要求時,此時給予較大獎勵;第二行表示戰(zhàn)斗機突防防御彈后但不滿足速度前置角要求時,不給獎勵;第三行表示戰(zhàn)斗機被敵方防御彈攔截時,給予嚴重懲罰;第四行表示在戰(zhàn)斗機突防過程中的獎勵函數(shù)由子獎勵函數(shù)構(gòu)成。其中,K+與K-為常值系數(shù),下標i表示第i個子獎勵函數(shù),i=1,2。獎勵函數(shù)中的各參數(shù)見表1。

表1 獎勵函數(shù)參數(shù)

2 基于深度強化學習-模仿學習的突防方法設(shè)計

基于深度強化學習的智能突防算法在面對復雜作戰(zhàn)場景時存在著訓練時間長、收斂速度慢的問題,通過引入專家策略并進行模仿學習能夠達到快速收斂的目的。因此,本文研究基于深度強化學習PPO算法及模仿學習GAIL算法的作戰(zhàn)飛機機動突防方法。該方法在突防策略網(wǎng)絡訓練初期側(cè)重于通過模仿學習擬合專家經(jīng)驗,減少盲目、冗余的探索,之后再通過PPO在環(huán)境中進行進一步的探索,達到突防的目的。PPO和GAIL算法互相結(jié)合能夠在保證戰(zhàn)斗機成功突防防御彈的前提下顯著地提升突防網(wǎng)絡的訓練速度。

2.1 基于PPO的突防策略網(wǎng)絡構(gòu)建

PPO通過梯度下降的方法對戰(zhàn)斗機突防策略網(wǎng)絡進行優(yōu)化,從而得到使戰(zhàn)斗機在與防御彈攻防對抗過程中基于獎勵函數(shù)的總收益期望最大化的神經(jīng)網(wǎng)絡參數(shù),該算法在訓練中同時訓練更新Actor的參數(shù)θ和Critic網(wǎng)絡的參數(shù)φ。其中,Actor網(wǎng)絡為戰(zhàn)斗機突防策略網(wǎng)絡,承擔生成突防加速度指令的作用,Critic網(wǎng)絡是基于強化學習理論構(gòu)建出用于估計狀態(tài)值的網(wǎng)絡,依據(jù)獎勵函數(shù)引導戰(zhàn)斗機突防策略網(wǎng)絡的學習方向。為了利于該網(wǎng)絡收斂,訓練過程中Actor網(wǎng)絡輸出戰(zhàn)斗機的加速度指令均值,將構(gòu)造動作采樣的高斯分布中的方差σ作為固定超參數(shù)。

PPO算法中引入了基于新舊策略差異的比值nt對訓練步長進行動態(tài)調(diào)整,并且利用采樣數(shù)據(jù)多次訓練使突防策略網(wǎng)絡訓練效率顯著提升。為了避免步長過大影響訓練效果,需對比值進行裁剪,表示為

(9)

(10)

(11)

式中:rt為獎勵函數(shù);V(·)表示為狀態(tài)估計值函數(shù)。

綜上,Actor網(wǎng)絡訓練的損失函數(shù)為

(12)

而Critic網(wǎng)絡損失函數(shù)則使用均方誤差函數(shù)構(gòu)造

(13)

PPO算法具有解決序列決策問題的巨大潛力,但是對獎勵函數(shù)的設(shè)計要求非常嚴苛,如果設(shè)計不好,則會使得突防策略網(wǎng)絡在前期進行諸多冗余的探索導致收斂速度很慢,甚至無法收斂,因此本文中將結(jié)合模仿學習理論與深度強化學習算法進行構(gòu)建突防策略網(wǎng)絡及訓練。

2.2 模仿專家策略的生成對抗網(wǎng)絡

GAIL結(jié)合了生成對抗網(wǎng)絡(Generative adversa-rial network, GAN)與逆強化學習(Inverse reinforce-ment learning, IRL)的模仿學習方法,在生成對抗網(wǎng)絡的結(jié)構(gòu)框架上對逆強化學習進行拓展,改進了IRL表征能力差和計算效率低的缺陷。GAIL結(jié)構(gòu)如圖2所示,由飛行器突防策略網(wǎng)絡Actor和判別網(wǎng)絡(Discrimination network,以下簡稱D網(wǎng)絡)兩部分組成,設(shè)D網(wǎng)絡參數(shù)為ξ。Actor網(wǎng)絡基于狀態(tài)量st生成突防動作指令at。D網(wǎng)絡則作為一種二分類器,以狀態(tài)量-動作指令對作為輸入量,輸出該動作指令是源自專家策略的判別概率。

圖2 GAIL結(jié)構(gòu)框圖

圖中,aEt表示t時刻突防決策網(wǎng)絡根據(jù)狀態(tài)量st生成的專家動作指令;D(·)表示判別網(wǎng)絡的輸出,通常以(st,aEt)作為正樣本,因此該輸出越接近1則表示該動作指令來自專家策略的概率越大。

其訓練目的為提高D網(wǎng)絡區(qū)分來自專家策略與網(wǎng)絡生成策略的突防指令的概率,而突防策略網(wǎng)絡在訓練中不斷向?qū)＜也呗詳M合。因此,可以將GAIL算法的損失函數(shù)LGAIL表示為

ln(1-D(st,at))

(14)

式(14)說明D網(wǎng)絡通過最大化損失函數(shù)LGAIL進行梯度更新參數(shù)ξ,Actor網(wǎng)絡通過最小化損失函數(shù)LGAIL進行更新參數(shù)θ,在訓練過程中可以視為兩者的博弈過程。

由于考慮損失函數(shù)中專家策略項對突防策略網(wǎng)絡訓練影響小,更新Actor網(wǎng)絡時可忽略與專家策略相關(guān)項,同時考慮利用專家策略基于突防策略網(wǎng)絡的采樣概率從而加速使Actor網(wǎng)絡學習專家經(jīng)驗,因此訓練中Actor網(wǎng)絡的損失函數(shù)可以改寫為式(15)所示

(15)

式中:P(aEt|st,θ)表示為從突防策略網(wǎng)絡基于狀態(tài)量st構(gòu)造的分布中采樣突防專家動作指令aEt的概率。當P(aEt|st,θ)值越接近0時,說明根據(jù)Actor網(wǎng)絡生成的指令越遠離專家策略,此時將使損失函數(shù)LGAIL(θ)幅值越大,更新Actor網(wǎng)絡的步長更大,使其能夠更有效的向?qū)＜也呗詳M合。

GAIL算法有較強的表征能力和計算效率,將其應用于戰(zhàn)斗機的機動突防問題中能夠起到加快智能突防網(wǎng)絡收斂的作用。

2.3 基于GAIL-PPO的突防策略網(wǎng)絡構(gòu)建及訓練

GAIL-PPO算法將GAIL與PPO網(wǎng)絡結(jié)構(gòu)相結(jié)合,兼具了兩者的優(yōu)點,能夠?qū)崿F(xiàn)在復雜環(huán)境中戰(zhàn)斗機的智能突防并且網(wǎng)絡具有較快的收斂速度?；贕AIL-PPO的戰(zhàn)斗機突防策略網(wǎng)絡(GAIL-PPO突防策略網(wǎng)絡)主要由Actor、Critic和D網(wǎng)絡三類網(wǎng)絡構(gòu)成,總的網(wǎng)絡結(jié)構(gòu)如圖3所示。

圖3 GAIL-PPO網(wǎng)絡結(jié)構(gòu)框圖

圖3展示了從經(jīng)驗池中獲取數(shù)據(jù)從而計算各網(wǎng)絡損失函數(shù)并更新網(wǎng)絡參數(shù)的關(guān)系。其中,在戰(zhàn)斗機使用突防策略網(wǎng)絡與防御彈對抗過程時,經(jīng)驗池同時儲存了馬爾可夫決策數(shù)據(jù)(st,at,rt,st+1)與專家指令數(shù)據(jù)aEt。從圖3中可見,戰(zhàn)斗機突防決策網(wǎng)絡的訓練損失函數(shù)L(θ)由LPPO(θ)與LGAIL(θ)兩部分組成,因此GAIL-PPO算法的重點在于如何在機動突防智能體訓練過程中通過調(diào)整權(quán)重參數(shù)ω來調(diào)節(jié)LPPO(θ)與LGAIL(θ)對Actor網(wǎng)絡的影響,從而進行平穩(wěn)訓練形成快速有效的智能突防策略。權(quán)重參數(shù)ω遵循GAIL-PPO算法前期訓練以模仿學習為主,然后過渡至后期以強化學習訓練為主的思想,進行非線性衰減,如式(16)所示。

(16)

式中:i表示為當前訓練回合數(shù);NGAIL表示基于戰(zhàn)斗機突防專家經(jīng)驗與模仿學習構(gòu)造的損失函數(shù)LGAIL(θ)參與訓練的回合數(shù)。

在GAIL-PPO突防策略網(wǎng)絡的訓練過程中,當戰(zhàn)斗機連續(xù)200回合成功實現(xiàn)突防任務時停止網(wǎng)絡的訓練。需要說明的是,由于模仿學習訓練速度較快,因而固定了模仿學習參與訓練的回合數(shù)NGAIL,但是存在戰(zhàn)斗機突防策略網(wǎng)絡向?qū)＜覜Q策學習后仍未停止訓練的情況,考慮到此時權(quán)重參數(shù)趨于0,為了減少計算量可以減少模仿學習的相關(guān)參數(shù)計算,因此GAIL-PPO中突防策略網(wǎng)絡的損失函數(shù)設(shè)置成如式(17)所示

(17)

GAIL-PPO突防策略網(wǎng)絡訓練過程可分為數(shù)據(jù)收集和網(wǎng)絡訓練兩部分,突防策略網(wǎng)絡在攻防對抗場景中不斷采集數(shù)據(jù)并以此進行迭代更新。GAIL-PPO突防策略網(wǎng)絡更新步驟如圖4所見。其中,訓練各網(wǎng)絡時,從經(jīng)驗池中重復nre次抽取ndata組數(shù)據(jù)用于計算損失函數(shù)更新網(wǎng)絡參數(shù),nre與ndata為常數(shù)。

圖4 GAIL-PPO突防策略網(wǎng)絡訓練流程

3 仿真校驗及分析

3.1 仿真環(huán)境參數(shù)與訓練參數(shù)設(shè)定

3.1.1攻防雙方參數(shù)設(shè)置

假設(shè)空戰(zhàn)對抗發(fā)生在水平面內(nèi),目標處于懸停狀態(tài)。戰(zhàn)斗機采用比例系數(shù)NF=3的比例導引律抵近目標,敵方識別戰(zhàn)斗機并發(fā)射一枚防御彈,防御彈采用比例系數(shù)ND=3的比例導引律攔截戰(zhàn)斗機。仿真初始時刻戰(zhàn)斗機、防御彈、目標的位置,戰(zhàn)斗機和防御彈的速度大小、方向及可用過載見表2。

表2 攻防雙方仿真初始參數(shù)

3.1.2GAIL-PPO網(wǎng)絡參數(shù)設(shè)定

GAIL-PPO算法包含Actor、Critic與D網(wǎng)絡共3類網(wǎng)絡。由于多層前向全連接神經(jīng)網(wǎng)絡具有從狀態(tài)量中有效提取特征并用于擬合非線性函數(shù)的特點,因此,本文Actor、Critic和D網(wǎng)絡設(shè)計為全連接神經(jīng)網(wǎng)絡結(jié)構(gòu)。3類網(wǎng)絡的結(jié)構(gòu)參數(shù)見表3。GAIL-PPO突防策略網(wǎng)絡訓練參數(shù)設(shè)置見表4。

表3 GAIL-PPO網(wǎng)絡結(jié)構(gòu)參數(shù)

表4 GAIL-PPO算法訓練相關(guān)參數(shù)

需要說明的是,GAIL-PPO算法基于PPO改進而來,存在功能相同的網(wǎng)絡,而在本文的仿真部分中將對兩者進行對比,因此PPO突防策略網(wǎng)絡采用部分表3參數(shù)構(gòu)建和表4所示的訓練。

3.1.3專家策略設(shè)定

本文采用文獻[16]中的最優(yōu)突防制導律作為專家經(jīng)驗參與戰(zhàn)斗機突防策略網(wǎng)絡的前期訓練,突防制導律指令為

aEt=

(18)

為了對比,接下來分別采用專家策略、PPO突防策略和GAIL-PPO突防策略進行仿真。

3.2 GAIL-PPO突防策略、PPO突防策略及專家策略仿真對比

基于PPO與GAIL-PPO算法的戰(zhàn)斗機突防策略網(wǎng)絡的訓練過程中的獎勵曲線如圖5所示。圖中的平均獎勵指最近30回合內(nèi)的單回合累計獎勵的平均值。

圖5 突防網(wǎng)絡獎勵曲線

由圖5可見,PPO突防策略網(wǎng)絡在1 300回合之前的獎勵值一直都很小,表明戰(zhàn)斗機在與防御彈對抗過程中均被其攔截,在前期探索的基礎(chǔ)上1 300回合之后突防成功,獲得較大的單回合獎勵,在1 330回合后單回合獎勵和平均獎勵曲線重合,網(wǎng)絡收斂;而采用GAIL-PPO突防策略網(wǎng)絡由于首先向?qū)＜医?jīng)驗學習,所以能夠較快地獲得較好的獎勵值,但在訓練前期戰(zhàn)斗機在突防防御彈后會出現(xiàn)未能夠滿足的要求而導致獎勵曲線波動,在280回合時單回合累計獎勵曲線和平均獎勵曲線重合,網(wǎng)絡收斂。由上可見,GAIL-PPO突防策略網(wǎng)絡收斂所需訓練回合數(shù)是PPO突防策略網(wǎng)絡的21.1%,網(wǎng)絡收斂速度大幅提高。同時,從圖中可知,兩種突防策略網(wǎng)絡收斂后的獎勵值相差不大,因此可知GAIL-PPO突防策略網(wǎng)絡在和PPO突防策略網(wǎng)絡性能基本相同的前提下具有更快的收斂速度。

仿真開始時,戰(zhàn)斗機和防御彈各自按照比例導引律攻擊相應的目標,在11.81 s時,兩者之間的距離小于18 km,戰(zhàn)斗機開始突防。圖6給出了訓練過程中D網(wǎng)絡基于不同狀態(tài)-動作指令對輸入而輸出的專家策略平均判別率曲線,圖7給出了分別采用專家策略、訓練100回合的PPO突防策略和GAIL-PPO突防策略的戰(zhàn)斗機突防過載指令以及相應的防御彈過載。

圖6 平均判別率曲線

圖7 訓練100回合時戰(zhàn)斗機和防御彈過載

由圖6可見,訓練100回合時,將GAIL-PPO突防策略指令和專家策略指令分別與對應的狀態(tài)量一起輸入D網(wǎng)絡中,得到的輸出值均接近0.5,說明GAIL-PPO突防策略已經(jīng)向?qū)＜也呗詳M合,使得判別網(wǎng)絡認為兩種輸入的動作指令均源自專家策略;之后,由于ω的逐漸減小,因此,突防網(wǎng)絡由模仿專家策略逐漸轉(zhuǎn)向基于強化學習的探索訓練,因此其突防指令不再和專家策略類似,因此D網(wǎng)絡中判別率曲線逐漸分離。由圖7也可見,前期GAIL-PPO突防策略指令與專家策略指令近似重合,而PPO突防策略網(wǎng)絡由于沒有引導在不斷進行低獎勵回報的探索,法向過載幅值減小,不利于突防。

圖8給出了戰(zhàn)斗機分別采用專家策略、訓練結(jié)束(連續(xù)200回合成功突防)后的GAIL-PPO突防策略與PPO突防策略與防御彈對抗的運動軌跡,圖9給出了雙方的過載指令。

圖8 戰(zhàn)斗機和防御彈運動軌跡

圖9 戰(zhàn)斗機和防御彈過載

由圖8和仿真數(shù)據(jù)可知,戰(zhàn)斗機采用三種突防策略,均成功突防,其中最優(yōu)突防制導專家策略時飛行軌跡最彎曲,PPO突防策略時的飛行軌跡彎曲度最小,而GAIL-PPO突防策略的飛行軌跡彎曲度介于兩者之間。由圖9可知,戰(zhàn)斗機采用專家策略時,使得防御彈最早滿過載飛行,相應地戰(zhàn)斗機的過載幅值也最大,PPO突防策略時戰(zhàn)斗機的過載幅值最小,其也使得防御彈最晚達到滿過載飛行,GAIL-PPO突防策略的戰(zhàn)斗機過載幅值和使得防御彈滿過載飛行的時間介于兩者之間。

表5 不同突防策略的突防效果與控制能量對比

由表5可知,三種策略下,最小機彈距離均大于導彈毀傷半徑20 m,因此戰(zhàn)斗機均成功突防且持續(xù)突防時間相差不大;突防終止時,機彈距離均小于30 km,速度前置角均小于10°,滿足突防和打擊任務要求。同時可以看到,在均成功突防的前提下,GAIL-PPO突防策略的控制能量相比專家策略減少了49.5%,突防結(jié)束時的rFDm和η相比專家策略較小,說明GAIL-PPO策略并沒有使戰(zhàn)斗機過多繞飛,在保證戰(zhàn)斗機成功突防的前提下比專家策略更有利于打擊目標。由于GAIL-PPO突防策略借鑒了專家策略,而PPO突防策略完全由探索得到,因此PPO突防策略時的rFDm和控制能量均小于GAIL-PPO突防策略,但由前可知,其收斂回合數(shù)為GAIL-PPO突防策略的4.75倍。

戰(zhàn)斗機采用三種突防策略時,機彈距離及相對于戰(zhàn)斗機-目標連線的速度前置角隨時間變化如圖10和圖11所示。

圖10 機彈距離變化

圖11 戰(zhàn)斗機速度前置角

由圖10和圖11可知,三種策略下,機彈距離均在不斷減小,但rFDm均大于20 m,戰(zhàn)斗機成功突防;突防過程中,戰(zhàn)斗機速度相對于戰(zhàn)斗機-目標視線的速度前置角不斷增大,但最終η均小于10°。

另外需要說明的是,對于單獨PPO突防策略網(wǎng)絡來講,超參數(shù)的選擇很重要,直接影響網(wǎng)絡的性能,而在GAIL-PPO網(wǎng)絡中,由于前期借鑒了專家策略,因此一定程度上降低了網(wǎng)絡性能對超參數(shù)的敏感性,使得網(wǎng)絡更加穩(wěn)健。

3.3 不同干擾下GAIL-PPO突防策略性能分析

在具有不同干擾的復雜戰(zhàn)場環(huán)境中,采用本文方法對戰(zhàn)斗機突防策略網(wǎng)絡進行訓練并將其用于與防御彈的對抗仿真。設(shè)式(3)中戰(zhàn)斗機受到的有界干擾如表6所示。

表6 不同類型的環(huán)境干擾

表中,N(0,1)表示服從均值為0、方差為1的正態(tài)分布。

在不同干擾情況下, GAIL-PPO突防策略網(wǎng)絡的平均累計獎勵變化如圖12所示。

圖12 不同干擾下突防網(wǎng)絡平均獎勵曲線

由圖12可見,無干擾和隨機干擾情況下,GAIL-PPO突防策略網(wǎng)絡的收斂速度相差不大,分別在280、284回合收斂并獲得較高的平均累計獎勵值;常值干擾和綜合干擾情況下,網(wǎng)絡的收斂速度相差不大,分別為430和434回合。在常值干擾下,由于戰(zhàn)斗機持續(xù)受到正向干擾,使得速度矢量方向持續(xù)向一個方向偏轉(zhuǎn),此時不利于滿足戰(zhàn)斗機在突防結(jié)束時相對機目視線的速度前置角η的要求,因此,其網(wǎng)絡收斂速度要比無干擾和隨機干擾慢。而綜合干擾由于包含常值干擾,因此,其收斂速度類似于常值干擾。由圖還可知,不同干擾情況下的突防策略網(wǎng)絡收斂后的獎勵值相差不大,說明突防網(wǎng)絡在滿足突防和打擊要求方面性能相差不大。

圖13給出了不同干擾情況下戰(zhàn)斗機采用訓練結(jié)束后的GAIL-PPO突防策略與防御彈對抗的運動軌跡,圖14給出了戰(zhàn)斗機的過載指令。不同干擾情況下GAIL-PPO突防策略的突防效果及控制能量情況見表7。

表7 不同干擾下的突防效果與控制能量對比

圖13 不同干擾下戰(zhàn)斗機和防御彈運動軌跡

圖14 不同干擾下戰(zhàn)斗機過載

由圖13和表7可知,三種干擾情況下,戰(zhàn)斗機采用GAIL-PPO突防策略時的rFDm均大于20 m,速度前置角η均小于10°,因此戰(zhàn)斗機均成功突防且滿足有利于后續(xù)攻擊目標的要求。由圖14可知,由于正向常值干擾的存在,這種情況下戰(zhàn)斗機的過載指令幅值小于無干擾的情況,因此控制能量較小,由表6可見。綜合干擾包含常值干擾,因此其過載指令類似于常值干擾的情況,同樣由圖14和表6可見。由于隨機干擾的隨機性,因此相比無干擾情況,其對應的過載指令和控制能量并無確定的規(guī)律可循。需要注意的是,如果戰(zhàn)斗機持續(xù)受到負的常值干擾,則其控制能量將會增大。由上可知,GAIL-PPO突防策略具有較強的魯棒性。

4 結(jié) 論

本文針對復雜戰(zhàn)場環(huán)境下戰(zhàn)斗機打擊目標過程中遭遇防御彈攔截進行突防的問題,提出一種深度強化學習PPO算法與模仿學習GAIL算法結(jié)合的智能突防方法,并對突防方法的性能進行了仿真分析。本文的結(jié)論如下:

1) 通過將模仿學習和深度強化學習相結(jié)合,實現(xiàn)了突防網(wǎng)絡前期學習專家經(jīng)驗、后期在復雜環(huán)境中充分探索的目的,得到了既能夠在復雜環(huán)境中成功突防又具有較快收斂速度的智能突防策略網(wǎng)絡。

2) 同時考慮戰(zhàn)斗機的突防與打擊問題設(shè)置了獎勵函數(shù),使得戰(zhàn)斗機在成功突防的前提下不至于繞飛太遠,為后續(xù)打擊目標提供了良好的條件。

3) 通過對專家策略、PPO突防策略和GAIL-PPO突防策略進行仿真對比,可知:在成功突防的前提下,GAIL-PPO突防策略相比專家策略來講,戰(zhàn)斗機的繞飛程度更小、更有利于打擊目標;相比PPO突防策略來講,其收斂速度更快。另外,仿真結(jié)果還顯示,在具有不同干擾的復雜戰(zhàn)場環(huán)境中,GAIL-PPO突防策略均能實現(xiàn)突防并滿足有利于攻擊目標的要求,具有魯棒性。