基于EAS+MADRL的多無人車體系效能評估方法研究

高 昂, 郭齊勝,*, 董志明, 楊紹卿

(1. 陸軍裝甲兵學(xué)院演訓(xùn)中心, 北京 100072; 2. 國防科技創(chuàng)新研究院, 北京 100071)

0 引 言

無人作戰(zhàn)系統(tǒng)通過優(yōu)異的戰(zhàn)場表現(xiàn)獲得了巨大的發(fā)展動(dòng)力,無人作戰(zhàn)開始步入戰(zhàn)爭舞臺[1]。美陸軍首套下一代戰(zhàn)車由6臺試驗(yàn)原型機(jī)組成,于2019年底交付,2020年初開始試驗(yàn),2028～2035年之間實(shí)現(xiàn)下一代戰(zhàn)車的正式應(yīng)用[2]。美國陸軍認(rèn)為,下一代戰(zhàn)車在與實(shí)力相當(dāng)?shù)膶κ珠_展的近戰(zhàn)中必須具有優(yōu)勢和決定性殺傷力。為達(dá)到這一目的,美軍開始運(yùn)用人工智能技術(shù)發(fā)展戰(zhàn)車自主能力,不僅要求作戰(zhàn)人員遙控駕駛戰(zhàn)車向目標(biāo)實(shí)施火力打擊,同時(shí)要求戰(zhàn)車具備優(yōu)秀的自主作戰(zhàn)能力。多無人車(multi unmanned ground vehicle,MUGV) 協(xié)同作戰(zhàn)具有增加信息感知量、提高任務(wù)完成率、縮短任務(wù)完成時(shí)間等優(yōu)勢,將成為未來作戰(zhàn)的主要樣式[3]。效能是武器裝備體系在特定作戰(zhàn)約束條件(包括作戰(zhàn)環(huán)境、作戰(zhàn)條件、作戰(zhàn)威脅等)下,完成規(guī)定作戰(zhàn)使命任務(wù)效果的度量,對應(yīng)的是其能力的匹配程度。能力描述的是體系固有的本領(lǐng),是靜態(tài)的概念,效能是能力發(fā)揮出來的效果。體系效能與作戰(zhàn)過程有關(guān),具有整體性、動(dòng)態(tài)性、對抗性,是體系在對抗條件下完成具體任務(wù)的效能[4-5]。武器裝備需求論證是為裝備發(fā)展提供決策依據(jù)的研究工作,研究對象是未來要發(fā)展的裝備要求,輸入是作戰(zhàn)單元的使命任務(wù),輸出是滿足使命任務(wù)需求的裝備需求方案。武器裝備體系效能評估是基于對抗進(jìn)行武器裝備體系論證研究的核心問題。本文基于未來作戰(zhàn)場景設(shè)想,開展近戰(zhàn)場景下的MUGV要點(diǎn)奪控、定點(diǎn)清剿等進(jìn)攻戰(zhàn)斗任務(wù)體系效能評估問題研究。

1 相關(guān)工作

體系效能評估方法包括分為數(shù)學(xué)解析、不確定性推理、復(fù)雜網(wǎng)絡(luò)、作戰(zhàn)環(huán)、探索性分析、建模仿真等方法[6],表1為6類典型評估方法對比。近戰(zhàn)場景下的MUGV要點(diǎn)奪控、定點(diǎn)清剿等進(jìn)攻戰(zhàn)斗任務(wù)屬于高動(dòng)態(tài)、交互復(fù)雜、狀態(tài)空間與動(dòng)作空間維度高的體系對抗問題,以上方法難以適用。

表1 體系效能評估方法對比

探索性分析仿真(exploratory analysis simulation,EAS)是將探索性分析與建模仿真相結(jié)合的方法,是基于計(jì)算機(jī)仿真實(shí)驗(yàn)最大限度的模擬體系作戰(zhàn)對抗?fàn)顟B(tài),利用大樣本空間和定性/定量分析方法探索裝備體系作戰(zhàn)效能的方法[7],為MUGV體系效能評估提供了可行途徑。虛擬實(shí)體行為建模方法可分為兩大類,一是將戰(zhàn)術(shù)對抗復(fù)雜系統(tǒng)運(yùn)行規(guī)律的理解模型化,并使用公式將各種因素綜合權(quán)衡的傳統(tǒng)方法[8-9],二是直接對戰(zhàn)術(shù)對抗復(fù)雜系統(tǒng)運(yùn)行規(guī)律的認(rèn)知進(jìn)行建模的自主學(xué)習(xí)方法,該方法以多智能體深度強(qiáng)化學(xué)習(xí)類(multi agent deep reinforcement learning,MADRL)方法為代表,構(gòu)建認(rèn)知智能體,讓智能體自動(dòng)學(xué)習(xí)和獲取復(fù)雜系統(tǒng)深層次的規(guī)律,相較于傳統(tǒng)方法更能體現(xiàn)體系的整體性、動(dòng)態(tài)性、對抗性等特點(diǎn)[10]。

體系效能的發(fā)揮不僅與裝備性能和裝備在作戰(zhàn)環(huán)境中的可用性、可靠性相關(guān),而且與裝備作戰(zhàn)過程中使用的策略、完成使命任務(wù)所涉及的作戰(zhàn)環(huán)境、作戰(zhàn)對手密切相關(guān),作戰(zhàn)對手又包括敵方兵力部署、裝備性能、作戰(zhàn)使用的策略等。MADRL方法是將MUGV作戰(zhàn)過程看作為多個(gè)智能體在多種狀態(tài)下進(jìn)行的動(dòng)態(tài)博弈,將MUGV體系置于作戰(zhàn)仿真環(huán)境中,使用隨機(jī)博弈(stochastic game,SG)框架來形式化多智能體與環(huán)境的交互。由于戰(zhàn)爭的不可重復(fù)性,不同的作戰(zhàn)過程、體系效能會(huì)有所變化,智能體通過與環(huán)境交互探索,演化出大量不同的作戰(zhàn)過程,從中學(xué)習(xí)MUGV最優(yōu)聯(lián)合策略,最大化多智能體累積聯(lián)合獎(jiǎng)勵(lì),探索體系能夠發(fā)揮出的最大效能。

如圖1所示,本文基于探索性仿真分析框架,以自主學(xué)習(xí)方法為基礎(chǔ),提出EAS+MADRL的MUGV體系效能評估方法。該方法以MUGV最大體系效能為學(xué)習(xí)對象,以體系效能度量因素確定條件下,MUGV最優(yōu)聯(lián)合策略為學(xué)習(xí)目標(biāo),最大化累積聯(lián)合獎(jiǎng)勵(lì)。通過設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù),使最大化累積聯(lián)合獎(jiǎng)勵(lì)與體系效能成正相關(guān)關(guān)系,考察在輸入因素不確定條件下體系效能的變化情況,發(fā)現(xiàn)體系效能與輸入因素之間的重要關(guān)系,探索滿足約束條件時(shí)各因素的變化情況,探索MUGV最大體系效能。

圖1 ESA+MADRL方法思路圖Fig.1 Thought diagram of ESA+MADRL method

EAS+MADRL方法步驟如圖2所示,從待評估的武器裝備體系入手,明確問題背景,武器裝備具體應(yīng)用,建立體系效能指標(biāo),構(gòu)建探索性分析模型,進(jìn)行仿真實(shí)驗(yàn)與探索計(jì)算,最后對仿真數(shù)據(jù)分析,得出高價(jià)值評估結(jié)論,建立更可信、可用的體系效能評估方法。

圖2 ESA+MADRL方法框架Fig.2 ESA+MADRL method framework

2 基于零和隨機(jī)博弈的MUGV探索性分析建模

圖3 隨機(jī)博弈過程示意圖Fig.3 Schematic diagram of stochastic game process

S為當(dāng)前博弈的狀態(tài)空間;Ai為藍(lán)方UGVi的動(dòng)作空間,A=A1×A2×…×Am表示藍(lán)方m個(gè)UGV聯(lián)合動(dòng)作空間,i∈[1,m];Bi為紅方UGVi的動(dòng)作空間,B=Bm+1×Bm+2×…×Bn表示紅方n-m個(gè)UGV聯(lián)合動(dòng)作空間,i∈[m+1,n];動(dòng)作是指UGV在戰(zhàn)斗行動(dòng)中,為完成任務(wù)而在一段時(shí)間內(nèi)持續(xù)進(jìn)行的最小操作,是UGV狀態(tài)轉(zhuǎn)換中分辨率最高、最基本的行為要素。這里動(dòng)作均指戰(zhàn)術(shù)動(dòng)作?？臻g是由向量組成的一個(gè)非空集合。動(dòng)作空間是一個(gè)用來表示UGV戰(zhàn)術(shù)動(dòng)作的向量的集合,通過向量間的組合,可以表示出UGV的任何戰(zhàn)術(shù)動(dòng)作。聯(lián)合動(dòng)作空間是一個(gè)用來表示MUGV聯(lián)合戰(zhàn)術(shù)動(dòng)作的向量的集合,通過向量間的組合,可以表示出MUGV的任何聯(lián)合戰(zhàn)術(shù)動(dòng)作。

P∶S×A×B→Δ(S),為狀態(tài)轉(zhuǎn)移函數(shù),決定了給定任意聯(lián)合動(dòng)作a∈A,b∈B,從任意狀態(tài)s∈S到任意狀態(tài)s′∈S的狀態(tài)轉(zhuǎn)移概率。在對抗過程中,P是未知的;ri∶S×A×B→R,為UGVi的獎(jiǎng)勵(lì)函數(shù),定義了當(dāng)UGV在狀態(tài)s下,藍(lán)方UGV執(zhí)行動(dòng)作a,紅方UGV執(zhí)行動(dòng)作b,狀態(tài)s被轉(zhuǎn)換為s′時(shí),獲得的瞬時(shí)獎(jiǎng)勵(lì)。在t時(shí)刻,UGVi根據(jù)狀態(tài)st執(zhí)行動(dòng)作ai,t(i∈[1,m])或bi,t(i∈[m+1,n]),系統(tǒng)狀態(tài)轉(zhuǎn)移至st+1,UGVi獲得獎(jiǎng)勵(lì)值ri(st,a(t),b(t)),a(t)=(a1t,a2t,…,ant),b(t)=(bm+1,t,bm+2,t,…,bn,t)。UGVi的目標(biāo)都是通過找到一個(gè)策略πi∶S→Δ(Ai),即ai,t～πi(·|st),來最優(yōu)化自己的長期獎(jiǎng)勵(lì)。隨機(jī)博弈中的多個(gè)UGV需要選擇動(dòng)作,形成聯(lián)合動(dòng)作,并且下一個(gè)狀態(tài)和獎(jiǎng)勵(lì)取決于該聯(lián)合動(dòng)作,每輛UGV有自己獨(dú)立的獎(jiǎng)勵(lì)函數(shù)。

2.1 狀態(tài)空間設(shè)計(jì)

MUGV的聯(lián)合狀態(tài)空間S應(yīng)包括戰(zhàn)場環(huán)境、紅藍(lán)雙方兵力數(shù)量、狀態(tài)等信息,需要從中選擇有限維數(shù)的關(guān)鍵狀態(tài)作為S的元素。MUGV保持較好的位置關(guān)系并根據(jù)對方情況適時(shí)進(jìn)行隊(duì)形變換、進(jìn)攻、防御,隨時(shí)保持在相對于對方最佳的位置進(jìn)行戰(zhàn)斗,方能發(fā)揮體系的最大作戰(zhàn)效能。因此,將S分為共享狀態(tài)空間Sshared和局部狀態(tài)空間Slocal兩部分,即S={Sshared,Slocal}。Sshared在UGVS間共享,使得每輛UGV具有全局視野,具體包含表2所示信息。

表2 MUGV共享狀態(tài)空間設(shè)計(jì)

Slocal通過UGV探測感知得到,輔助UGV具體動(dòng)作實(shí)施、調(diào)整,以UGVi為例,包含表3所示信息。其中,i=1,2,…,m,j=1,2,…,n。

表3 MUGV局部狀態(tài)空間設(shè)計(jì)

以上元素值需要進(jìn)一步規(guī)范化,使得聯(lián)合狀態(tài)值在合理范圍內(nèi)變動(dòng)。

2.2 動(dòng)作空間設(shè)計(jì)

UGV的動(dòng)作主要是機(jī)動(dòng)和射擊兩類,細(xì)化為單位時(shí)間步長內(nèi)機(jī)動(dòng)的方向和距離,射擊瞄準(zhǔn)點(diǎn)的方向和距離。因此,UGV動(dòng)作空間采用[-1,1]的連續(xù)實(shí)數(shù)變量描述,Ai={p,θ,ρ},p表示執(zhí)行攻擊或移動(dòng)動(dòng)作的概率,θ,ρ分別表示執(zhí)行動(dòng)作的角度和距離,θ,ρ用極坐標(biāo)形式表示,用來描述UGV從當(dāng)前位置執(zhí)行射擊或機(jī)動(dòng)動(dòng)作的目標(biāo)點(diǎn),如圖4所示。

圖4 動(dòng)作空間設(shè)計(jì)思路圖Fig.4 Action space design idea diagram

以UGVi為例,具體表述如表4所示。

表4 UGV動(dòng)作空間設(shè)計(jì)

在執(zhí)行攻擊動(dòng)作時(shí),選擇離目標(biāo)點(diǎn)最近的紅方UGV作為藍(lán)方UGV的攻擊目標(biāo)進(jìn)行攻擊。MUGV聯(lián)合戰(zhàn)術(shù)動(dòng)作包括隊(duì)形展開、發(fā)起沖擊、集火射擊等,為了避免動(dòng)作空間過大,動(dòng)作空間設(shè)計(jì)的原則是用盡可能少的向量參數(shù),表示出盡可能多的戰(zhàn)術(shù)動(dòng)作。圖5(a)所示為MUGV隊(duì)形展開戰(zhàn)術(shù)動(dòng)作,ρ1,ρ2,ρ3均小于1,說明MUGV此時(shí)處于一個(gè)較小的范圍內(nèi);p1,p2,p3均小于0,說明UGV處于機(jī)動(dòng)狀態(tài);θ1=30°,θ2=90°,θ3=150°表示車體角度為3個(gè)不同的方向。因此,聯(lián)合動(dòng)作(a1,a2,a3)表示MUGV正在隊(duì)形展開。同理可知圖5(b)所示為MUGV集火射擊動(dòng)作。

圖5 聯(lián)合戰(zhàn)術(shù)動(dòng)作空間設(shè)計(jì)思路圖Fig.5 Diagram of joint tactical action space design

2.3 獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)

定義藍(lán)方時(shí)變?nèi)知?jiǎng)勵(lì)函數(shù)如下所示：

(1)

3 面向MUGV體系效能評估的探索性算法

本節(jié)分別對MUGV作戰(zhàn)效能評估探索性算法原理進(jìn)行分析和設(shè)計(jì)。

3.1 算法原理

(2)

式中：π-i=[π1,…,πi-1,πi+1,…,πn]表示除去i之外的UGV的聯(lián)合策略。在NE,每個(gè)UGV的策略是其他UGV聯(lián)合策略下的最優(yōu)策略。MUGV控制本質(zhì)上可以看作是尋找對整個(gè)體系的最優(yōu)控制策略。通過探索不同紅方MUGV規(guī)模條件下,藍(lán)方MUGV ZSG模型的NE解,以及分析NE條件下參戰(zhàn)雙方戰(zhàn)損比、作戰(zhàn)時(shí)長等約束,完成MUGV體系效能評估,圖6所示為體系效能評估探索性算法步驟圖。

圖6 體系效能評估探索性算法步驟圖Fig.6 Exploratory algorithm step diagram for system effectiveness evaluation

零和隨機(jī)博弈屬于隨機(jī)博弈,同時(shí),零和隨機(jī)博弈的所有狀態(tài)必須定義為一個(gè)零和矩陣博弈。隨機(jī)博弈的解,可以描述為一組關(guān)聯(lián)特定狀態(tài)矩陣博弈中的NE策略,零和博弈的NE是一種最大化值函數(shù)策略。因此,在每個(gè)特定狀態(tài)矩陣博弈的NE策略的集合為零和隨機(jī)博弈最優(yōu)策略[14-15]。圖7所示為零和隨機(jī)博弈最優(yōu)策略求解思路圖,通過強(qiáng)化學(xué)習(xí)方法架起多智能體系統(tǒng)與尋找NE的橋梁。

圖7 零和隨機(jī)博弈最優(yōu)策略求解思路圖Fig.7 Optimal strategy solution diagram of zero sum stochastic game

(3)

(4)

3.2 算法設(shè)計(jì)

步驟 1初始化紅方UGVS規(guī)模,藍(lán)方UGVS Actor網(wǎng)絡(luò)θ和Critic網(wǎng)絡(luò)ξ,目標(biāo)Actor網(wǎng)絡(luò)θ′←θ和Critic網(wǎng)絡(luò)ξ′←ξ,經(jīng)驗(yàn)緩存池D。設(shè)置最大探索批次(maxepoch),每批次(epoch)包括N次作戰(zhàn)過程演化,每次作戰(zhàn)過程最大仿真步長T。

步驟 2針對每次作戰(zhàn)過程演化,執(zhí)行以下操作:

步驟 2.2初始化隨機(jī)過程μ用于動(dòng)作探索;

步驟 2.3接收初始觀察空間s1;

步驟 2.4針對每個(gè)仿真步長t,執(zhí)行以下操作:

步驟 2.4.1針對每輛UGV,選擇和執(zhí)行動(dòng)作ai,t=ai,θ(st)+μt;

步驟 2.4.4從D中隨機(jī)采樣M個(gè)狀態(tài)轉(zhuǎn)換過程;

步驟 2.4.5使用雙向循環(huán)神經(jīng)網(wǎng)絡(luò)計(jì)算每個(gè)轉(zhuǎn)換過程中每個(gè)智能體的目標(biāo)值,對M個(gè)狀態(tài)轉(zhuǎn)換過程,執(zhí)行下式操作:

(5)

步驟 2.5計(jì)算UGVCritic網(wǎng)絡(luò)梯度估計(jì),如下所示:

(6)

步驟 2.6計(jì)算UGV Actor網(wǎng)絡(luò)梯度估計(jì),并采用Critic網(wǎng)絡(luò)梯度估計(jì)代替Q值,如下所示:

(7)

步驟 2.7采用Δξ,Δθ梯度估計(jì)和Adam方法更新UGV Actor、Critic網(wǎng)絡(luò)。

步驟 2.8更新UGV目標(biāo)網(wǎng)絡(luò),如下所示:

ξ′=γξ+(1-γ)ξ′,θ′=γθ+(1-γ)θ′

(8)

步驟 3紅方UGVS是否被完全擊毀,如果是,轉(zhuǎn)入步驟4,否則,調(diào)整UGVS規(guī)模,轉(zhuǎn)入步驟1。

步驟 4輸出作戰(zhàn)效能指標(biāo)。

4 應(yīng)用示例

如圖8所示,場景設(shè)想在2030年,美俄爭霸在敘利亞地區(qū)沖突再起,雙方將大量新型武器投入戰(zhàn)場。在美國的支援下,反政府武裝(藍(lán)軍)占領(lǐng)了敘利亞政府廣場,宣告勝利,并操控?zé)o人戰(zhàn)車(6臺)組成了嚴(yán)密的火力網(wǎng)。政府軍(紅方)在俄羅斯的支援下,決定整建制使用自主作戰(zhàn)無人戰(zhàn)車連進(jìn)行攻堅(jiān)戰(zhàn),目的是消滅藍(lán)軍戰(zhàn)車,奪回藍(lán)軍占領(lǐng)要點(diǎn)?，F(xiàn)要求論證紅方無人戰(zhàn)車連在未來場景設(shè)想下的UGV規(guī)模。

圖8 MUGV對抗場景示意圖Fig.8 Schematic diagram of MUGV confrontation scene

4.1 實(shí)驗(yàn)設(shè)置

(9)

表 5 UAV屬性值設(shè)置

圖9 距離要素量化示意圖Fig.9 Distance element quantification schematic diagram

體系效能是針對對手裝備體系及其采用的策略μ來說的,是一個(gè)相對量。設(shè)置藍(lán)方的策略μ為“就近攻擊”,即在每次行動(dòng)決策時(shí),總是操控UGV選擇離其最近的目標(biāo)先敵開火,單位時(shí)間步長內(nèi)最多可同時(shí)控制6臺UGV。

4.2 實(shí)驗(yàn)結(jié)果與分析

由epoch=150,N=20可知,總共進(jìn)行了3 000次作戰(zhàn)過程的演化探索,其中圖10～圖12所示分別為紅方體系效能區(qū)間分布、紅方勝率區(qū)間分布、紅方最大體系效能值隨其UGV規(guī)模變化情況。通過對實(shí)驗(yàn)結(jié)果分析,可得出以下結(jié)論。

(1) 體系效能更可能服從一個(gè)分布,而不是一個(gè)固定值。復(fù)雜系統(tǒng)結(jié)構(gòu)動(dòng)態(tài)可變,過程涌現(xiàn)不可預(yù)測,結(jié)果不重復(fù),但又表現(xiàn)出總體的規(guī)律性,不以人的意志為轉(zhuǎn)移。給體系效能指標(biāo)一個(gè)最終量化值可能無法完全概括體系的性能,或者無法完全說明問題,體系效能的指標(biāo)量化更有可能是從推演產(chǎn)生的數(shù)據(jù)中得出的一個(gè)概率分布。由于基于自主學(xué)習(xí)的虛擬實(shí)體具有作戰(zhàn)能力等級,并且產(chǎn)生的行動(dòng)序列具有多樣性,因此可以模擬出復(fù)雜系統(tǒng)的適應(yīng)性、涌現(xiàn)性、不確定性,進(jìn)而產(chǎn)生的數(shù)據(jù)更貼近復(fù)雜系統(tǒng)運(yùn)行規(guī)律?；谝?guī)則的虛擬實(shí)體生成方法,作戰(zhàn)行動(dòng)序列較為固定,能力等級不明確,因此,產(chǎn)生的數(shù)據(jù)無法很好反應(yīng)復(fù)雜系統(tǒng)規(guī)律。

(2) 體系中并是不裝備的數(shù)量越多越好,隨著裝備數(shù)量的增加,體系能力增強(qiáng),同時(shí)也意味著更多戰(zhàn)損,指控難度增加。由圖10可以看出,當(dāng)UGV數(shù)量為6時(shí),釋放的體系效能值大部分在[20,30)區(qū)間,當(dāng)UGV數(shù)量為7時(shí),釋放的體系效能值大部分在[0,10)區(qū)間。同時(shí),由圖11可知,當(dāng)UGV數(shù)量為6時(shí),落在[0.8,1]勝率區(qū)間有80個(gè)批次,UGV數(shù)量為7時(shí)有50個(gè)批次,圖10與圖11相互印證。

圖10 紅方體系效能區(qū)間分布圖Fig.10 Distribution diagram of efficiency interval of the red side

圖11 紅方勝率區(qū)間分布圖Fig.11 Distribution diagram of winning rate interval of the red side

(3) 最大體系效能值隨UGV數(shù)量呈非線性變化,當(dāng)UGV達(dá)到一定數(shù)量時(shí),釋放的最大體系效能會(huì)發(fā)生由量變到質(zhì)變的變化。由圖12可知,當(dāng)UGV數(shù)量由4輛增加至5輛時(shí),釋放的最大體系效能增加4.27,當(dāng)UGV數(shù)量由5輛增加至6輛時(shí),釋放的最大體系效能增加25.57,此時(shí),最大體系效能發(fā)生了驟增,1輛UGV之差,最大體系效能增加至約是原來的3.12倍。當(dāng)UGV數(shù)量由6輛增加至7輛時(shí),釋放的最大體系效能增加1.87,最大體系效能達(dá)到了“瓶頸期”,沒有發(fā)生太大變化。

圖12 紅方最大體系效能變化圖Fig.12 Changes of maximum system efficacy of the red side

圖13為UGV數(shù)量為5時(shí)的一些典型戰(zhàn)斗場景,圖13(a)為MUGV集火攻擊戰(zhàn)術(shù)場景,圖13(b)為MUGV邊打邊撤的游擊戰(zhàn)術(shù)場景,無論哪種戰(zhàn)術(shù),釋放的體系效能都無法戰(zhàn)勝對手MUGV體系。這與圖10紅方勝率區(qū)間分布圖中,UGV數(shù)量為5時(shí),勝率分布全部在[0,0.2)區(qū)間相互印證。圖14為UGV數(shù)量為6時(shí)的集火攻擊戰(zhàn)術(shù)典型戰(zhàn)斗場景,圖15為UGV數(shù)量為7時(shí)的包圍戰(zhàn)術(shù)典型戰(zhàn)斗場景,可以看出,此時(shí)釋放的體系效能完全可以戰(zhàn)勝對手MUGV體系。

圖13 UGV數(shù)量為5時(shí)的戰(zhàn)斗場景Fig.13 Combat scene when UGV number is 5

圖14 UGV數(shù)量為6時(shí)的集火攻擊戰(zhàn)術(shù)戰(zhàn)斗場景Fig.14 Concentrated fire attack tactical combat scene when UGV number is 6

圖15 UGV數(shù)量為7時(shí)的包圍戰(zhàn)術(shù)Fig.15 Surrounding tactical combat scene when UGV number is 7

綜上分析可知,紅方UGV連在未來場景設(shè)想中,藍(lán)軍遙控遠(yuǎn)程6輛M型UGV,采用矩陣隊(duì)形進(jìn)攻,以及就近攻擊策略條件下,規(guī)模為6輛M型UGV。

5 結(jié) 論

本文針對MUGV體系效能評估問題,建立了一套以自主學(xué)習(xí)方法為基礎(chǔ)的探索性仿真分析方法。由于方法以零和隨機(jī)博弈模型為基礎(chǔ),雙方UGV為完全競爭對抗關(guān)系,因此,方法適用于未來UGV要點(diǎn)奪控、定點(diǎn)清剿等進(jìn)攻戰(zhàn)斗近戰(zhàn)場景下的體系效能評估問題。通過探索不同UGV規(guī)模條件下,模型一方的NE解,以及分析納什均衡條件下參戰(zhàn)雙方戰(zhàn)損比,作戰(zhàn)時(shí)長等約束,完成MUGV體系效能分析。由于是探索模型一方的NE解,因此,假想敵一方的策略需要服從固定分布。這要求在裝備體系論證過程中,對假想敵UGV的技術(shù)路線、作戰(zhàn)條令等有所了解,從而對策略做出合理假設(shè),例如假想敵的UGV采用就近攻擊、先敵開火的作戰(zhàn)條令原則,或UGV是采用了某種算法。由于實(shí)際作戰(zhàn)過程是非完全信息博弈,本文采用的模型假設(shè)作戰(zhàn)過程是完全信息博弈,雙方裝備對抗體系已知,因此,方法主要面向裝備論證領(lǐng)域,不適用于實(shí)際作戰(zhàn)領(lǐng)域。