基于DRL 與微分對(duì)策的無(wú)人機(jī)空戰(zhàn)決策研究*

楊 霄，李曉婷，趙彥東，張亞星

（1.北方自動(dòng)控制技術(shù)研究所，太原 030006；2.中國(guó)科學(xué)院自動(dòng)化研究所融合創(chuàng)新中心，北京 100190）

0 引言

現(xiàn)代無(wú)人機(jī)空戰(zhàn)朝著信息化、綜合化、智能化方向發(fā)展，實(shí)時(shí)提供的戰(zhàn)場(chǎng)信息爆炸性增加，決策過(guò)程和決策復(fù)雜程度日益增加。無(wú)人機(jī)戰(zhàn)術(shù)自主決策能力較弱，為了更好地處理分布式多源情報(bào)信息，完成空戰(zhàn)對(duì)抗時(shí)戰(zhàn)術(shù)自主決策，對(duì)智能化的無(wú)人機(jī)空戰(zhàn)對(duì)抗自主決策系統(tǒng)的需求日益突出，亟需研究新技術(shù)，以使無(wú)人機(jī)空戰(zhàn)對(duì)抗決策變得更加“智能化、自主化”［1］。

空戰(zhàn)決策（Air Combat Decision，ACD）一直是研究熱點(diǎn)。由于空戰(zhàn)過(guò)程中敵我雙方態(tài)勢(shì)動(dòng)態(tài)變化，且有很多難以確定的其他因素，使得空戰(zhàn)決策研究困難重重。左家亮等［2］針對(duì)空戰(zhàn)決策序列的實(shí)時(shí)動(dòng)態(tài)性，提出了基于啟發(fā)式強(qiáng)化學(xué)習(xí)的空戰(zhàn)機(jī)動(dòng)智能決策方法；鄧可等［3］針對(duì)無(wú)人機(jī)空戰(zhàn)決策的實(shí)時(shí)性，提出遺傳算法與矩陣對(duì)策法相結(jié)合的混合決策算法；王曉光等［4］針對(duì)無(wú)人機(jī)空戰(zhàn)格斗，將微分對(duì)策與機(jī)器博弈論結(jié)合，使空戰(zhàn)決策更合理、智能。

無(wú)人機(jī)空戰(zhàn)對(duì)抗是一個(gè)實(shí)時(shí)的博弈過(guò)程，博弈時(shí)，敵我雙方通過(guò)采用自己的策略達(dá)到利益的最大化或者懲罰最小化。本文提出結(jié)合微分對(duì)策的深度強(qiáng)化學(xué)習(xí)方法，有效提高無(wú)人機(jī)空戰(zhàn)決策對(duì)于實(shí)時(shí)性的要求，實(shí)現(xiàn)快速?zèng)Q策。

1 無(wú)人機(jī)空戰(zhàn)態(tài)勢(shì)建模

無(wú)人機(jī)作戰(zhàn)作為一種未來(lái)的新作戰(zhàn)模式，目前還處于研究狀態(tài)，本文重點(diǎn)考慮戰(zhàn)術(shù)決策過(guò)程。本文敵我雙方的無(wú)人機(jī)均采用固定翼、帶有彈載荷的無(wú)人機(jī)，考慮到無(wú)人機(jī)空戰(zhàn)主要對(duì)抗要素，主要對(duì)無(wú)人機(jī)、無(wú)人機(jī)機(jī)載雷達(dá)探測(cè)范圍、機(jī)載導(dǎo)彈殺傷范圍進(jìn)行建模。

假設(shè)我方無(wú)人機(jī)（紅方）與敵方無(wú)人機(jī)（藍(lán)方）空戰(zhàn)對(duì)抗處于一個(gè)三維的戰(zhàn)場(chǎng)環(huán)境，初始狀態(tài)設(shè)定為紅藍(lán)方無(wú)人機(jī)的自身狀態(tài)信息、相對(duì)位置、速度關(guān)系等，即輸入向量為S=（qr，qb，d，β，Δh，ΔV2，V2，h）。如圖1 所示，qr為偏離角，qb為脫離角，d 為相對(duì)距離，Δh 為紅藍(lán)雙方無(wú)人機(jī)的高度差，ΔV2為紅藍(lán)雙方無(wú)人機(jī)速度的平方差，V2為紅方無(wú)人機(jī)速度的平方，h 為紅方無(wú)人機(jī)的飛行高度［5］。

飛行方程為：

圖1 無(wú)人機(jī)模型

式中，x，y，h 分別表示大地坐標(biāo)系下的坐標(biāo)，表示雙方無(wú)人機(jī)的空間位置為航向角，表示無(wú)人機(jī)飛行方向與x 軸的夾角；為航跡傾斜角，反應(yīng)無(wú)人機(jī)爬升或是下降。

選取普通脈沖雷達(dá)作為無(wú)人機(jī)的機(jī)載雷達(dá)，并對(duì)其建模，其最大探測(cè)距離給定如下：

式中，σ 為雷達(dá)散射截面，Pt為探測(cè)概率，其余參數(shù)為確定值，建模如圖2 所示。

圖2 雷達(dá)探測(cè)范圍模型

選取某型典型導(dǎo)彈，考慮機(jī)載導(dǎo)彈的攻擊區(qū)近界AB、攻擊區(qū)遠(yuǎn)界CD、攻擊區(qū)側(cè)界AD、CB 以及進(jìn)入角q，機(jī)載導(dǎo)彈攻擊范圍建模如下頁(yè)圖3 所示。

我方無(wú)人機(jī)（紅方）與敵方無(wú)人機(jī)（藍(lán)方）針對(duì)無(wú)人機(jī)空戰(zhàn)對(duì)抗過(guò)程，深度強(qiáng)化學(xué)習(xí)算法的參數(shù)主要包括無(wú)人機(jī)動(dòng)作的戰(zhàn)術(shù)決策結(jié)果，以及回報(bào)函數(shù)的設(shè)定。結(jié)合美國(guó)國(guó)家航空航天局提出的7 個(gè)基本機(jī)動(dòng)動(dòng)作，設(shè)定輸入為狀態(tài)S=（qr，qb，d，β，Δh，ΔV2，V2，h），輸出的戰(zhàn)術(shù)決策結(jié)果包括7 種：盤旋等候、擺脫敵方、確保對(duì)抗優(yōu)勢(shì)、搜索、迎面攻擊低于我機(jī)目標(biāo)、攻擊低速目標(biāo)、追擊快速目標(biāo)。強(qiáng)化學(xué)習(xí)就是不斷地根據(jù)環(huán)境的實(shí)時(shí)反饋信息進(jìn)行試錯(cuò)學(xué)習(xí)，調(diào)整自身的狀態(tài)，旨在找到最優(yōu)策略或者說(shuō)是最大獎(jiǎng)勵(lì)。對(duì)于無(wú)人機(jī)空戰(zhàn)對(duì)抗決策來(lái)說(shuō)，獎(jiǎng)勵(lì)函數(shù)的設(shè)定需要考慮紅藍(lán)雙方無(wú)人機(jī)狀態(tài)實(shí)時(shí)的對(duì)抗態(tài)勢(shì)。

圖3 機(jī)載導(dǎo)彈攻擊范圍模型

對(duì)于本文建立的空戰(zhàn)模擬，紅方無(wú)人機(jī)獲得攻擊機(jī)會(huì)即獲得獎(jiǎng)勵(lì)，定義為紅方無(wú)人機(jī)到達(dá)攻擊區(qū)域，可以給予獎(jiǎng)勵(lì)+10。攻擊區(qū)域設(shè)定：紅藍(lán)無(wú)人機(jī)之間距離小于10 km；紅方無(wú)人機(jī)速度矢量方向和雙方質(zhì)心方向夾角小于30°；速度矢量夾角小于40°；

紅方無(wú)人機(jī)的獎(jiǎng)勵(lì)函數(shù)R（s）可以定義為：

式中，qr為紅方無(wú)人機(jī)的偏離角，qb為紅方無(wú)人機(jī)的脫離角，vr為紅方無(wú)人機(jī)的飛行速度，r 為紅藍(lán)無(wú)人機(jī)距離，Δh 為相對(duì)高度。

由于無(wú)人機(jī)空戰(zhàn)對(duì)抗是實(shí)時(shí)變化的，量化為實(shí)時(shí)的威脅程度，用來(lái)對(duì)無(wú)人機(jī)的每一個(gè)機(jī)動(dòng)動(dòng)作進(jìn)行評(píng)估。對(duì)于空中態(tài)勢(shì)威脅評(píng)估模型，學(xué)術(shù)界至今沒(méi)有形成比較統(tǒng)一的方法，本文參考魏航等建立的由方向、距離、速度、相對(duì)高度組成的威脅評(píng)估函數(shù)［5-6］。

1）角度威脅函數(shù)：

2）距離威脅函數(shù)：

圖4 無(wú)人機(jī)態(tài)勢(shì)關(guān)系圖

式中，rr、rb分別表示紅方無(wú)人機(jī)、藍(lán)方無(wú)人機(jī)的攻擊范圍，rr為雷達(dá)探測(cè)范圍。

3）速度威脅函數(shù)：

式中，vb表示藍(lán)方無(wú)人機(jī)的飛行速度。

4）高度威脅函數(shù)：

基于角度、距離、速度和高度4 個(gè)方面的空中態(tài)勢(shì)威脅指數(shù)的分析，不考慮武器性能等的影響，用加權(quán)求得總的威脅指數(shù)T：

式中，a，b，c，d 的值分別為0.2，0.4，0.2，0.2。

威脅指數(shù)越大，威脅越大。為了體現(xiàn)空中態(tài)勢(shì)對(duì)于空戰(zhàn)態(tài)勢(shì)的影響，本文將威脅指數(shù)擴(kuò)大10 倍作為強(qiáng)化學(xué)習(xí)獎(jiǎng)勵(lì)的依據(jù)，即將威脅指數(shù)和獎(jiǎng)勵(lì)規(guī)則相結(jié)合，得到修正后的回報(bào)函數(shù)：

2 深度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

基于強(qiáng)化學(xué)習(xí)的無(wú)人機(jī)空戰(zhàn)對(duì)抗，需要表示的狀態(tài)空間維數(shù)較高，借鑒DBN 網(wǎng)絡(luò)結(jié)構(gòu)擬合Q 值函數(shù)，設(shè)計(jì)一個(gè)8 層的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)［7］，各層的定義如下：

第1 層是無(wú)人機(jī)空戰(zhàn)對(duì)抗輸入層，包含表征無(wú)人機(jī)當(dāng)前狀態(tài)的8 個(gè)節(jié)點(diǎn)，即向量S=（qr，qb，d，β，Δh，ΔV2，V2，h）；

第2 層至第4 層為2 個(gè)受限波爾茲曼機(jī)（RBM）堆疊而成，每個(gè)RBM 有顯層和隱層兩層，第1 個(gè)RBM 的隱層即為第2 個(gè)RBM 的顯層；

第5 層為隱藏層，第4 層與第5、6 層構(gòu)成BP網(wǎng)絡(luò)，激活函數(shù)采用sigmoid 函數(shù)；

第6 層為輸出層，輸出狀態(tài)戰(zhàn)術(shù)的Q 值；

第7 層為映射層，在該層完成戰(zhàn)術(shù)到機(jī)動(dòng)動(dòng)作的映射；

第8 層為狀態(tài)輸出層，系統(tǒng)執(zhí)行相應(yīng)的機(jī)動(dòng)動(dòng)作后，和環(huán)境交互，獲得環(huán)境反饋。

DBN 網(wǎng)絡(luò)共有7 個(gè)參數(shù)：h、v、b、c、d、w1、w2，其中，h、v 分別為RBM 輸入向量和輸出向量，b、c 分別為RBM 顯層神經(jīng)元和隱層神經(jīng)元的偏置，w1為RBM 權(quán)重，w2、d 分別為BP 網(wǎng)絡(luò)結(jié)構(gòu)權(quán)重及偏置［8］。

3 微分對(duì)策參數(shù)設(shè)計(jì)

微分對(duì)策是基于經(jīng)典對(duì)策論，引入現(xiàn)代控制理論，旨在解決動(dòng)態(tài)決策問(wèn)題［4］。微分對(duì)策的實(shí)質(zhì)是：局中人進(jìn)行競(jìng)爭(zhēng)或?qū)够顒?dòng)時(shí)，借助數(shù)學(xué)方式即微分方程或微分方程組來(lái)描述這一現(xiàn)象和規(guī)律［9］。無(wú)人機(jī)空戰(zhàn)實(shí)際上是一個(gè)動(dòng)態(tài)決策的問(wèn)題，本文通過(guò)微分對(duì)策求解戰(zhàn)術(shù)層到機(jī)動(dòng)動(dòng)作層。

設(shè)計(jì)機(jī)動(dòng)決策空間a 的集合為A，由于采用微分對(duì)策方法得到無(wú)人機(jī)的機(jī)動(dòng)，所以機(jī)動(dòng)空間為微分對(duì)策模型輸出的速度、角度、距離以及高度機(jī)動(dòng)參數(shù)［10］。針對(duì)戰(zhàn)術(shù)決策結(jié)果建立微分對(duì)策模型：

式中，Rv為我方無(wú)人機(jī)速度，Rφ為我方無(wú)人機(jī)進(jìn)入以及航向角度，Rd為我方無(wú)人機(jī)與目標(biāo)距離，RH為我方無(wú)人機(jī)高度。

3.1 加權(quán)系數(shù)的確定

a1，a2，a3在不同戰(zhàn)術(shù)決策下取值不同，需根據(jù)各因素對(duì)總體優(yōu)勢(shì)函數(shù)的影響程度，利用層次分析法確定［11］。

1）建立評(píng)估矩陣，通過(guò)計(jì)算求得各參數(shù)的重要性，即加權(quán)參數(shù)a1，a2，a3；

2）參考隨機(jī)一致性指標(biāo)（RI），進(jìn)行求得參數(shù)的一致性檢驗(yàn)；

3）求出隨機(jī)一致性CR。

通過(guò)以上步驟，求得不同戰(zhàn)術(shù)決策下的取值：

表1 加權(quán)系數(shù)表

3.2 微分方程求解

在加權(quán)系數(shù)確定的情況下，采用單步預(yù)測(cè)的方式取得模型支付函數(shù)的最優(yōu)決策值，即將空戰(zhàn)決策問(wèn)題轉(zhuǎn)化為該函數(shù)的數(shù)學(xué)求極值問(wèn)題［4，11-12］。

例如在確保對(duì)抗優(yōu)勢(shì)戰(zhàn)術(shù)時(shí)：

該函數(shù)取得極值時(shí)，可以得到最優(yōu)空戰(zhàn)決策集。因此，

構(gòu)建Hamiltonian 函數(shù)，

根據(jù)微分對(duì)策極大值原理，支付函數(shù)J 和Hamiltonian 函數(shù)同時(shí)都取得極值，即支付函數(shù)的J極值點(diǎn)可通過(guò)求出H 極值得到，我方無(wú)人機(jī)最佳飛行控制量得到。對(duì)我方無(wú)人機(jī)來(lái)說(shuō)H 取得極大值，對(duì)敵方無(wú)人機(jī)來(lái)說(shuō)H 取得極小值。

一般情況下，求解微分對(duì)策模型的解析解困難重重，甚至得不到結(jié)果。數(shù)值求解方法屬于成熟的技術(shù)，本文采用梯度法對(duì)模型求數(shù)值解。

對(duì)應(yīng)伴隨方程：

對(duì)應(yīng)控制方程；

對(duì)應(yīng)狀態(tài)方程：

優(yōu)勢(shì)值沿著梯度方向變化最大，所以繼續(xù)沿著（ui，vi）為起點(diǎn)，沿著梯度方向求解新的控制向量u，v：

重復(fù)迭代上述過(guò)程，直到滿足支付函數(shù)：

式中，ui，vi即為求得的最優(yōu)決策動(dòng)作值。

所得到的微分方程最優(yōu)解滿足：

式中，tf為結(jié)束時(shí)間。

根據(jù)微分對(duì)策求解戰(zhàn)術(shù)到動(dòng)作，根據(jù)地面坐標(biāo)等可以求出前文提到的無(wú)人機(jī)狀態(tài)S=（qr，qb，d，β，Δh，ΔV2，V2，h），即得到戰(zhàn)術(shù)到動(dòng)作的映射關(guān)系。

4 結(jié)合微分對(duì)策的深度強(qiáng)化學(xué)習(xí)方法實(shí)現(xiàn)

本文結(jié)合微分對(duì)策的深度強(qiáng)化學(xué)習(xí)的動(dòng)作選擇分為兩步，第1 步根據(jù)狀態(tài)選擇戰(zhàn)術(shù)，第2 步根據(jù)戰(zhàn)術(shù)引導(dǎo)機(jī)動(dòng)動(dòng)作執(zhí)行。狀態(tài)到戰(zhàn)術(shù)的映射關(guān)系可以用深度強(qiáng)化學(xué)習(xí)求得，戰(zhàn)術(shù)到機(jī)動(dòng)動(dòng)作的映射關(guān)系可以用微分對(duì)策來(lái)給定。在戰(zhàn)術(shù)的設(shè)定方式上，根據(jù)先驗(yàn)知識(shí)和環(huán)境特點(diǎn)設(shè)置一些復(fù)雜戰(zhàn)術(shù)策略。強(qiáng)化學(xué)習(xí)的結(jié)構(gòu)中添加一層戰(zhàn)術(shù)層，通過(guò)引入先驗(yàn)知識(shí)，有效加快算法的收斂速度［13-14］。

這里無(wú)人機(jī)在實(shí)時(shí)空戰(zhàn)對(duì)抗的任一時(shí)刻內(nèi)，根據(jù)無(wú)人機(jī)當(dāng)前所處的狀態(tài)，用Q 學(xué)習(xí)中動(dòng)作選擇的方法產(chǎn)生戰(zhàn)術(shù)m，然后根據(jù)戰(zhàn)術(shù)m，依據(jù)微分對(duì)策求解戰(zhàn)術(shù)決策到動(dòng)作決策，產(chǎn)生動(dòng)作a，并得到實(shí)時(shí)環(huán)境獎(jiǎng)勵(lì)r，最后更新Q 值函數(shù)［15-16］。

DBN 網(wǎng)絡(luò)中，每個(gè)戰(zhàn)術(shù)對(duì)應(yīng)DBN 的一個(gè)輸出結(jié)果，將樣本的實(shí)際輸出fm（X）擬合為執(zhí)行動(dòng)作前的Q 值，即Q 估計(jì)值，期望輸出Im擬合為執(zhí)行動(dòng)作之后的Q 值，即Q 現(xiàn)實(shí)值，TD 誤差即為：Im-fm（X），反向傳播對(duì)BP 網(wǎng)絡(luò)的權(quán)值進(jìn)行更新，以及對(duì)RBM的權(quán)重微調(diào)。

?結(jié)合微分對(duì)策的深度強(qiáng)化學(xué)習(xí)算法流程1：初始化強(qiáng)化學(xué)習(xí)參數(shù)以及DBN 神經(jīng)網(wǎng)絡(luò)的權(quán)重初始化2：采用CD-k 算法進(jìn)行RBM 的無(wú)監(jiān)督預(yù)訓(xùn)練，離線確定其權(quán)重以及偏置3：隨機(jī)選擇一個(gè)狀態(tài)St=（qr，qb，d，β，Δh，ΔV2，V2，h），作為網(wǎng)絡(luò)輸入4：計(jì)算該狀態(tài)下所有戰(zhàn)術(shù)對(duì)應(yīng)的Q 估計(jì)值5：采用ε-greedy 策略，選擇戰(zhàn)術(shù)m 6：微分對(duì)策求解戰(zhàn)術(shù)到動(dòng)作，得到動(dòng)作ar 7：執(zhí)行ar，計(jì)算St+1，求解獎(jiǎng)勵(lì)值R（St+1）8：計(jì)算采取動(dòng)作之后的Q 現(xiàn)實(shí)值，得到誤差9：更新網(wǎng)絡(luò)權(quán)重10：St→St+1，t→t+1 11：判斷無(wú)人機(jī)是否進(jìn)入攻擊狀態(tài)、被攻擊狀態(tài)或觸碰邊界，否則繼續(xù)循環(huán)步驟3

5 仿真研究

以敵我無(wú)人機(jī)1V1 空戰(zhàn)對(duì)抗為背景，建立200 km*200 km*15 km 的空戰(zhàn)空間環(huán)境，Q 學(xué)習(xí)速度為0.3，折扣因子為0.9?？紤]到無(wú)人機(jī)裝備、武器差異的影響，設(shè)置仿真雙方無(wú)人機(jī)性能處于相同空戰(zhàn)水平，對(duì)抗過(guò)程中敵方無(wú)人機(jī)的戰(zhàn)術(shù)以固定的想定為背景，采用預(yù)先規(guī)劃的戰(zhàn)術(shù)進(jìn)行機(jī)動(dòng)、進(jìn)攻和規(guī)避，我方無(wú)人機(jī)依據(jù)本文確定的戰(zhàn)術(shù)決策方法進(jìn)行決策。雙方對(duì)抗軌跡圖如圖5 所示。

圖5 空戰(zhàn)模擬圖

根據(jù)給出的決策結(jié)果看出，敵機(jī)我機(jī)空戰(zhàn)過(guò)程中，敵方無(wú)人機(jī)被發(fā)現(xiàn)后，通過(guò)采用盤旋的方式擺脫我方無(wú)人機(jī)的追擊，我方無(wú)人機(jī)對(duì)態(tài)勢(shì)進(jìn)行感知計(jì)算，快速追擊高速目標(biāo)，通過(guò)微分對(duì)策快速計(jì)算相應(yīng)的機(jī)動(dòng)參數(shù)，緊追其后以創(chuàng)造機(jī)會(huì)，經(jīng)過(guò)對(duì)抗，我方無(wú)人機(jī)通過(guò)快速計(jì)算優(yōu)勢(shì)鎖定敵方無(wú)人機(jī)，對(duì)抗結(jié)束。通過(guò)實(shí)驗(yàn)統(tǒng)計(jì)，決策平均時(shí)間為18.937 ms，滿足實(shí)時(shí)性的要求，且高于同類算法，該決策方法有效可行。

6 結(jié)論

針對(duì)無(wú)人機(jī)空戰(zhàn)決策，本文提出結(jié)合微分對(duì)策的深度強(qiáng)化學(xué)習(xí)方法，實(shí)現(xiàn)戰(zhàn)術(shù)決策到機(jī)動(dòng)決策，在1V1 空戰(zhàn)模擬中，我方無(wú)人機(jī)根據(jù)敵方無(wú)人機(jī)態(tài)勢(shì)即時(shí)做出合理有效的機(jī)動(dòng)動(dòng)作，并取得優(yōu)勢(shì)。