基于貝葉斯優(yōu)化的作戰(zhàn)仿真方法

常 強(qiáng)，姚 雯，李 群，周煒恩*

(1. 軍事科學(xué)院國防科技創(chuàng)新研究院，北京 100000；2. 國防科學(xué)技術(shù)大學(xué)系統(tǒng)工程學(xué)院，湖南 長沙 410073)

1 引言

仿真是研究戰(zhàn)爭的重要手段，受到各國軍事研究人員的重視。開展作戰(zhàn)仿真大致包括確定仿真目的、設(shè)計(jì)作戰(zhàn)想定、建立仿真模型、仿真設(shè)計(jì)、作戰(zhàn)推演、仿真結(jié)果分析與評估等步驟。

隨著人工智能技術(shù)的發(fā)展，戰(zhàn)爭形態(tài)將朝著智能化、多域化、體系化方向發(fā)展，開展作戰(zhàn)仿真涉及的實(shí)體規(guī)模越來越龐大、每個仿真實(shí)體行為越來越復(fù)雜，影響仿真結(jié)果的因素也越來越多。仿真方案會隨著影響因素的增多呈指數(shù)級增長。例如，某次仿真目的是探索某型無人機(jī)各項(xiàng)性能參數(shù)如何取值可最佳達(dá)成作戰(zhàn)意圖。假設(shè)該無人機(jī)有10個性能指標(biāo)，每個指標(biāo)有10個變化水平，則總的仿真方案將達(dá)到1010個。假設(shè)每次仿真只需要1秒鐘，為了提高仿真結(jié)果的有可靠性，每個方案運(yùn)行100次，則總的作戰(zhàn)推演時間將長達(dá)317年。另一方面，仿真方案的指數(shù)級增長，還會生成海量的仿真結(jié)果，為仿真數(shù)據(jù)分析與評估帶來巨大的挑戰(zhàn)。

因此，智能時代的作戰(zhàn)仿真對實(shí)驗(yàn)設(shè)計(jì)提出新的挑戰(zhàn)。本文提出貝葉斯優(yōu)化仿真方法：基于少量實(shí)驗(yàn)構(gòu)建高斯回歸模型，通過高斯回歸模型指導(dǎo)后續(xù)仿真方案設(shè)計(jì)并開展實(shí)驗(yàn)，不斷擴(kuò)充數(shù)據(jù)集，迭代更新回歸模型，從而優(yōu)化試驗(yàn)方案。與現(xiàn)有實(shí)驗(yàn)方案設(shè)計(jì)方法不同之處在于試驗(yàn)方案事先并不確定，而是通過回歸模型給出。該方法的優(yōu)點(diǎn)在于可顯著減少仿真次數(shù)，提高仿真效率。

2 常用實(shí)驗(yàn)設(shè)計(jì)方法

實(shí)驗(yàn)設(shè)計(jì)是指制定合理的實(shí)驗(yàn)方案，對實(shí)驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì)分析的理論與方法[1]，實(shí)驗(yàn)設(shè)計(jì)的目標(biāo)是使用盡可能少的實(shí)驗(yàn)方案取得盡可能好的實(shí)驗(yàn)結(jié)果。常用的實(shí)驗(yàn)設(shè)計(jì)方法包括：完全隨機(jī)實(shí)驗(yàn)設(shè)計(jì)、正交實(shí)驗(yàn)設(shè)計(jì)、均勻?qū)嶒?yàn)設(shè)計(jì)、析因?qū)嶒?yàn)設(shè)計(jì)、拉丁方實(shí)驗(yàn)設(shè)計(jì)、正交拉丁超立方實(shí)驗(yàn)設(shè)計(jì)以及近正交拉丁超立方實(shí)驗(yàn)設(shè)計(jì)等。下面首先簡單介紹現(xiàn)有典型實(shí)驗(yàn)設(shè)計(jì)方法優(yōu)點(diǎn)及不足，隨后重點(diǎn)介紹與本文算法進(jìn)行對比的近正交拉丁超立方實(shí)驗(yàn)設(shè)計(jì)方法。

2.1 典型實(shí)驗(yàn)設(shè)計(jì)方法

2.1.1 完全隨機(jī)實(shí)驗(yàn)設(shè)計(jì)

完全隨機(jī)實(shí)驗(yàn)設(shè)計(jì)是指隨機(jī)確定各影響因子水平，并進(jìn)行實(shí)驗(yàn)與數(shù)據(jù)分析的方法[2]。這種實(shí)驗(yàn)設(shè)計(jì)方法保證每個因子的不同水平都有相同的機(jī)會進(jìn)行取值，而不受實(shí)驗(yàn)人員主觀傾向影響，又稱單因素實(shí)驗(yàn)設(shè)計(jì)。完全隨機(jī)實(shí)驗(yàn)設(shè)計(jì)適用于條件、環(huán)境差異較小的實(shí)驗(yàn)，可以采用t分布或者方差分析對結(jié)果進(jìn)行統(tǒng)計(jì)分析，但是由于只分析一個因素，不考慮因素之間的差異，因而要求實(shí)驗(yàn)對象具有較好的同質(zhì)性。且未考慮非實(shí)驗(yàn)因素的影響，因而實(shí)驗(yàn)誤差較大，結(jié)果的精確性較低。

2.1.2 正交實(shí)驗(yàn)設(shè)計(jì)

正交實(shí)驗(yàn)設(shè)計(jì)[3]基于均勻分散性和正交性的數(shù)學(xué)思想，采用“充滿空間”的抽樣方法，從全樣本空間中挑選出部分有典型代表的點(diǎn)進(jìn)行實(shí)驗(yàn)。均勻分散性確保樣本點(diǎn)有代表性，正交性則使得實(shí)驗(yàn)數(shù)據(jù)便于分析。正交實(shí)驗(yàn)設(shè)計(jì)的主要過程是利用標(biāo)準(zhǔn)化的正交表和交互作用表，對影響因素進(jìn)行合理安排，并采用方差分析方法對實(shí)驗(yàn)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)處理。正交實(shí)驗(yàn)設(shè)計(jì)是一種高效、快速的研究多因素多水平的設(shè)計(jì)方法，但是在方案空間很大的情況下設(shè)計(jì)出的實(shí)驗(yàn)方案并不能很好的代表整個空間，容易陷入局部最優(yōu)。

2.1.3 均勻?qū)嶒?yàn)設(shè)計(jì)

均勻?qū)嶒?yàn)設(shè)計(jì)由王元、方開泰于1978年最早提出[4]，同樣采用“充滿空間”的抽樣方法。與正交實(shí)驗(yàn)設(shè)計(jì)相比，均勻設(shè)計(jì)摒棄正交性的要求，只考慮樣本點(diǎn)在實(shí)驗(yàn)范圍內(nèi)均勻散布，可大幅減少樣本點(diǎn)個數(shù)，從而有可能用較少的試驗(yàn)次數(shù)獲得預(yù)期結(jié)果。當(dāng)樣本空間較小時，均勻?qū)嶒?yàn)設(shè)計(jì)的效率和準(zhǔn)確率很高。但是，均勻?qū)嶒?yàn)設(shè)計(jì)沒有消除變量之間的相關(guān)性，可能導(dǎo)致重復(fù)實(shí)驗(yàn)；且當(dāng)變量數(shù)很多時，設(shè)計(jì)出的方案較多，實(shí)驗(yàn)效率不高。

2.1.4 析因?qū)嶒?yàn)設(shè)計(jì)

析因?qū)嶒?yàn)設(shè)計(jì)[5]將多因素不同水平交叉分組進(jìn)行實(shí)驗(yàn)，可使用方差分析的方法對實(shí)驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì)分析。析因?qū)嶒?yàn)設(shè)計(jì)可以準(zhǔn)確估計(jì)各因素的主效應(yīng)大小，還能估計(jì)因素間交互作用的大小，是一種高效的實(shí)驗(yàn)設(shè)計(jì)方法。但是，當(dāng)因素和水平較多時，所需要的試驗(yàn)次數(shù)過多。因此，有人提出部分析因設(shè)計(jì)[6](Fractional Factorial Design)，選取高低兩個水平，根據(jù)需要考察交互作用，采取CCD(Central Composite Design)等方法進(jìn)行實(shí)驗(yàn)設(shè)計(jì)，該方法可有效減少因素和水平較多時的實(shí)驗(yàn)次數(shù)。

2.2 近正交拉丁超立方實(shí)驗(yàn)設(shè)計(jì)

NOLH[7]源于拉丁超立方實(shí)驗(yàn)設(shè)計(jì)[8](Latin Hypercube Experimental Design， LHC)，LHC是拉丁方實(shí)驗(yàn)設(shè)計(jì)[9](Latin Squares Experimental Design)的改進(jìn)。

拉丁方實(shí)驗(yàn)設(shè)計(jì)是一種采用拉丁方(Latin Square)安排實(shí)驗(yàn)方案的實(shí)驗(yàn)設(shè)計(jì)方法。拉丁方是指由拉丁字母組成的正方形排列，每個字母在每一列與每一行的中只能出現(xiàn)一次。采用該方法進(jìn)行實(shí)驗(yàn)時，實(shí)驗(yàn)精確性比隨機(jī)實(shí)驗(yàn)設(shè)計(jì)高，結(jié)果分析簡便。但是，當(dāng)實(shí)驗(yàn)同時研究的因子多于三個，或者三個因子水平數(shù)不同時，無法采用完整的拉丁方設(shè)計(jì)方法，人們提出改進(jìn)方法，包括不完全拉丁方設(shè)計(jì)[10](Incomplete Latin Squares)、LHC等。不完全拉丁方設(shè)計(jì)是一種用尤登方(Youden Square)安排實(shí)驗(yàn)方案的實(shí)驗(yàn)設(shè)計(jì)方法。尤登方的行列數(shù)不相等，可用于處理因素較多的實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果分析與拉廠方設(shè)計(jì)類似。拉丁超立方實(shí)驗(yàn)設(shè)計(jì)則是一種修正的蒙特卡洛方法，適用于影響因素較多的情況，可顯著減少實(shí)驗(yàn)規(guī)模。但是，當(dāng)影響因子較多時，該方法設(shè)計(jì)的實(shí)驗(yàn)方案空間填充性較差。

基于上述不足，Cioppa等人于2002年基于均勻分散性和正交性要求，對LHC進(jìn)行了擴(kuò)展并提出NOLH[7]，該方法不僅在一定程度上滿足正交性，還具有很好的均勻性。Sanchez等已將該方法編成工具可免費(fèi)下載使用[11]。Travis[12]、周威[13]、李群[14]分別基于該方法開展仿真，結(jié)果表明，采用NOLH方法僅需要少量實(shí)驗(yàn)就能得到較好的方案。

然而，隨著仿真規(guī)模的擴(kuò)大，現(xiàn)有實(shí)驗(yàn)設(shè)計(jì)方法仍難以滿足研究需求。以文獻(xiàn)[13]中的仿真想定為例，該論文采用NOLH方法可將1.145萬億規(guī)模的樣本空間縮減到512個方案，且能夠保證正交性和均勻性。為排除隨機(jī)因素影響，保證結(jié)果的有效性，每個方案采用不同隨機(jī)數(shù)種子運(yùn)行100次，假設(shè)每次想定運(yùn)行時間約為2秒鐘，則完成一次實(shí)驗(yàn)約需30個小時。為了提高仿真效率，基于貝葉斯優(yōu)化理論，提出一種新的實(shí)驗(yàn)方法，在保證結(jié)果有效性基礎(chǔ)上，進(jìn)一步減少仿真運(yùn)行次數(shù)。

3 基于貝葉斯優(yōu)化的作戰(zhàn)仿真方法

通過作戰(zhàn)仿真在海量樣本空間尋找最優(yōu)方案過程中，面臨著目標(biāo)函數(shù)形式未知而無法利用梯度信息或者目標(biāo)函數(shù)的計(jì)算帶有不確定性而無法準(zhǔn)確估計(jì)等問題，難以找到最優(yōu)實(shí)驗(yàn)方案，因此通常會使用均勻設(shè)計(jì)、正交設(shè)計(jì)、析因設(shè)計(jì)、拉丁方設(shè)計(jì)等實(shí)驗(yàn)設(shè)計(jì)方法，對全空間進(jìn)行搜索。然而，作戰(zhàn)仿真涉及的實(shí)體規(guī)模越來越龐大、每個仿真實(shí)體行為越來越復(fù)雜、影響仿真結(jié)果的因素越來越多，傳統(tǒng)方法設(shè)計(jì)的實(shí)驗(yàn)方案仍十分龐大，難以快速、準(zhǔn)確找到最優(yōu)實(shí)驗(yàn)方案。

貝葉斯優(yōu)化方法常應(yīng)用于求解高維復(fù)雜黑箱優(yōu)化問題[15]，即問題具有下列特點(diǎn)：

1)目標(biāo)函數(shù)形式未知，無法利用梯度信息；

2)目標(biāo)函數(shù)的計(jì)算需要花費(fèi)大量資源；

3)目標(biāo)函數(shù)的計(jì)算帶有不確定性。

上述三個特點(diǎn)符合仿真過程中最優(yōu)方案選擇問題的特點(diǎn)，本文基于貝葉斯優(yōu)化提出新的作戰(zhàn)仿真方法。

貝葉斯優(yōu)化實(shí)驗(yàn)方法：

輸入：目標(biāo)函數(shù)f，采集函數(shù)A，迭代次數(shù)T

初始采樣得到數(shù)據(jù)集D

for i=|D|:T do

利用高斯回歸模型求預(yù)測分布p(y|x，D)

利用采集函數(shù)與高斯回歸模型進(jìn)行采樣

xi←arg maxx∈XA(x)

計(jì)算函數(shù)值yi=f(xi)

擴(kuò)充數(shù)據(jù)集D←D∪(xi，yi)

end for

采集函數(shù)選用EI(Expected Improvement) 函數(shù)：

A(x)=Ey～p(y|x，D)[max(0，y*-y)]

(1)

其中y* 為當(dāng)前最優(yōu)函數(shù)值。下面，以文獻(xiàn)[13]中的仿真想定為例，對本文提出的算法進(jìn)行驗(yàn)證。

4 仿真驗(yàn)證

文獻(xiàn)[13]中的想定是：藍(lán)方航母戰(zhàn)斗群(Carrier Strike Group， CSG)通過有人、無人機(jī)協(xié)同，突破紅方空中巡邏區(qū)域，對岸艦導(dǎo)彈陣地進(jìn)行打擊，仿真目標(biāo)是如何配置無人機(jī)各項(xiàng)指標(biāo)使陣地毀傷率最高，且自身損失率最低。論文采用近正交拉丁超立方實(shí)驗(yàn)設(shè)計(jì)方法，將1.145萬億個實(shí)驗(yàn)方案壓縮到512個，每個方案運(yùn)行100次。為了便于分析，本文首先基于51200組實(shí)驗(yàn)數(shù)據(jù)，采用梯度提升回歸樹(Gradient Boosting Regression Tree， GBRT)[16]，對CSG損失率、藍(lán)方生存率分別建立代理模型。代理模型中的誤差函數(shù)為均方誤差 (Mean Square Error， MSE)，超參數(shù)運(yùn)用 10-fold 交叉驗(yàn)證(Cross Validation)配合貝葉斯優(yōu)化進(jìn)行選取。對兩個代理模型分別考慮每個因素的加權(quán) Gini 指數(shù)，得到各因素重要性視圖，如圖1所示。

圖1 因素重要度排序

可以看到，對CSG損失率影響最大的因素為 GBU31 命中概率，隨后是藍(lán)方飛行速度、AIM120命中概率、無人機(jī)數(shù)量、對無人機(jī)探測概率，其它因素影響較小。對藍(lán)方生存概率影響最大的因素為AIM120命中概率，隨后是AIM120攻擊距離、F35數(shù)量、藍(lán)方飛行速度、對無人機(jī)探測概率，其它因素影響較小。

隨后，將本文提出的貝葉斯優(yōu)化試驗(yàn)方法和近正交拉丁超立方實(shí)驗(yàn)設(shè)計(jì)方法進(jìn)行對比。貝葉斯優(yōu)化目標(biāo)綜合考慮CSG損失率、藍(lán)方生存率，同時人為設(shè)定武器裝備的使用代價：無人機(jī)數(shù)量=1，F(xiàn)18數(shù)量=5，F(xiàn)35數(shù)量=10，UCAS武器數(shù)量=1， 單架飛機(jī)攜帶AIM120數(shù)量=1.5，單架飛機(jī)攜帶AIM9數(shù)量=1。目標(biāo)函數(shù)形式為

(2)

其中C(x)為CSG損失率函數(shù)，S(x)為藍(lán)方生存率函數(shù)，cost(x)為使用代價，cos tMax為代價歸一化因子，λ為調(diào)整系數(shù)。

基于Seas平臺開展仿真驗(yàn)證，該平臺與文獻(xiàn)[13]使用的平臺相同，由國防科技大學(xué)系統(tǒng)工程學(xué)院軍事建模與仿真系開發(fā)。實(shí)驗(yàn)比較了GBRT代理模型與貝葉斯優(yōu)化試驗(yàn)方法，對裝備性能概率參數(shù)選取如下：GBU31命中概率=0.5，AIM120命中概率=0.5，AIM9命中概率=0.5，對無人機(jī)探測概率=0.05，對F18探測概率=0.4，對F35探測概率=0.05，目標(biāo)函數(shù)下降曲線如圖2所示。

圖2 目標(biāo)函數(shù)曲線

從圖2可以看出，相對于近正交拉丁超立方實(shí)驗(yàn)設(shè)計(jì)方法，尋找相同作戰(zhàn)效能的試驗(yàn)方案，貝葉斯優(yōu)化試驗(yàn)方法所需的實(shí)驗(yàn)次數(shù)減少約90%；在相同時間條件(運(yùn)行100次)，新方法找到的實(shí)驗(yàn)方案作戰(zhàn)效能提高約6%。

5 結(jié)論

針對作戰(zhàn)仿真規(guī)模越來越大，影響因素越來越多的問題，人們提出了很多實(shí)驗(yàn)設(shè)計(jì)方法盡可能減少實(shí)驗(yàn)次數(shù)，獲取更好的實(shí)驗(yàn)結(jié)果。

本文基于序貫實(shí)驗(yàn)設(shè)計(jì)思路，提出貝葉斯優(yōu)化實(shí)驗(yàn)方法：首先，基于少量實(shí)驗(yàn)構(gòu)建高斯回歸模型；隨后，利用回歸模型預(yù)測仿真結(jié)果的分布，基于結(jié)果分布，確定下一次實(shí)驗(yàn)方案；最后，利用預(yù)測的試驗(yàn)方案進(jìn)行實(shí)驗(yàn)并將實(shí)驗(yàn)結(jié)果用于更新高斯回歸模型。通過上述三個步驟反復(fù)迭代，可有效降低實(shí)驗(yàn)方案個數(shù)，快速找到最佳實(shí)驗(yàn)方案。

仿真結(jié)果顯示，尋找相同作戰(zhàn)效能的試驗(yàn)方案，新方法所需的實(shí)驗(yàn)次數(shù)減少約90%；在相同實(shí)驗(yàn)次數(shù)約束下，新方法所找到的實(shí)驗(yàn)方案作戰(zhàn)效能高約6%。未來，將在更大規(guī)模仿真場景中，對新方法進(jìn)行驗(yàn)證并改進(jìn)。