基于對抗推演的訓(xùn)練樣本生成框架

周 芳，丁 冉，毛少杰，金 欣

（中國電子科技集團(tuán)公司第二十八研究所，南京 210007）

0 引言

隨著人工智能（AI）技術(shù)正在加快推動軍事智能化技術(shù)的發(fā)展與應(yīng)用，在軍事智能無人平臺、目標(biāo)圖像處理、自然語言處理等領(lǐng)域的應(yīng)用成效初見端倪，AI 技術(shù)的深化發(fā)展也將對未來戰(zhàn)爭形態(tài)和作戰(zhàn)樣式產(chǎn)生重大的變革和影響。然而，在分析了目前軍事智能化技術(shù)水平，以及國內(nèi)外軍事智能指揮控制上的智能化發(fā)展現(xiàn)狀后，不難得出制約軍事智能化技術(shù)發(fā)展的核心是訓(xùn)練樣本數(shù)據(jù)，缺乏高質(zhì)量強(qiáng)對抗的訓(xùn)練樣本數(shù)據(jù)支撐。

為了有效解決上述問題，本文提出了基于對抗推演的訓(xùn)練樣本數(shù)據(jù)生成框架，建立了訓(xùn)練樣本分類體系，提出了軍事目標(biāo)圖像、目標(biāo)航跡等典型訓(xùn)練樣本表征模型；建立了基于對抗推演的的訓(xùn)練樣本生成框架，提出了基于規(guī)則與微分方程求解相結(jié)合的智能空戰(zhàn)訓(xùn)練樣本生成方法，依據(jù)紅藍(lán)雙方的行為決策模型，開展對抗式仿真推演，積累訓(xùn)練樣本數(shù)據(jù)。生成的訓(xùn)練樣本數(shù)據(jù)一方面，用于軍事智能目標(biāo)識別、情報(bào)處理、智能態(tài)勢認(rèn)知、智能指揮決策等監(jiān)督類AI 算法的學(xué)習(xí)訓(xùn)練；另一方面，用于軍事智能AI 算法的測試集，用于測試評估AI 算法的魯棒性、泛化性和適應(yīng)性等能力指標(biāo)。

1 相關(guān)研究

一直以來，美軍希望構(gòu)建AI 學(xué)習(xí)應(yīng)用程序，為指揮和參謀決策提供支持，但是缺少構(gòu)建程序所需的數(shù)據(jù)，作戰(zhàn)演習(xí)等數(shù)據(jù)庫儲存的數(shù)據(jù)，并不適用于實(shí)現(xiàn)機(jī)器學(xué)習(xí)以及其他AI 算法。為此，美國海軍陸戰(zhàn)隊(duì)將現(xiàn)有商業(yè)兵棋推演游戲引擎進(jìn)行改造，研制雅典娜推演平臺，為獲取測試用于軍事決策的人工智能應(yīng)用程序的大量數(shù)據(jù)提供必要的環(huán)境，專門用于訓(xùn)練、測試未來人工智能在軍事決策領(lǐng)域的應(yīng)用。在任務(wù)推演中，雅典娜平臺通過語音的形式與用戶交互，搜集各種推演數(shù)據(jù)，對用戶的推演計(jì)劃進(jìn)行評級，同時(shí)搜集的數(shù)據(jù)也有助于構(gòu)建更大的關(guān)于美國軍事人員如何戰(zhàn)斗的數(shù)據(jù)庫，并通過評估數(shù)據(jù)，提出建設(shè)性建議。通過雅典娜推演平臺，用戶可了解自身在決策方面的不足之處，予以改進(jìn)；同時(shí)，雅典娜為測試新的AI 應(yīng)用程序、觀察人機(jī)合作效果提供了支撐平臺；最后，在積累了大量數(shù)據(jù)之后，雅典娜平臺可生成利用新戰(zhàn)術(shù)的智能敵方AI，并通過人人對抗以及機(jī)- 機(jī)自博弈的方式進(jìn)行新戰(zhàn)術(shù)的測試。

美國國防部創(chuàng)新試驗(yàn)小組（DIUx）指出：現(xiàn)在限制AI 在軍事領(lǐng)域應(yīng)用的關(guān)鍵就在于：短時(shí)間、強(qiáng)對抗的交戰(zhàn)環(huán)境能夠提供的機(jī)器學(xué)習(xí)樣本數(shù)量太少，導(dǎo)致AI 難以在對抗環(huán)境中施展。

此外，美軍某人工智能實(shí)驗(yàn)室利用“生成對抗網(wǎng)絡(luò)”技術(shù)，主要采用對抗思想和深度學(xué)習(xí)的模式來生成數(shù)據(jù)?！吧蓪咕W(wǎng)絡(luò)”實(shí)際上是由兩個神經(jīng)網(wǎng)絡(luò)組成，即生成器和鑒別器。生成器通過接受輸入的內(nèi)容，不斷生成某一樣本，而鑒別器則隨著時(shí)間的推移越來越詳盡地告知生成器怎樣修正。也即生成器不斷嘗試創(chuàng)建新樣本，鑒別器盡可能地確定樣本是否真實(shí)。雙方在訓(xùn)練過程中都不斷優(yōu)化自己，直至達(dá)到平衡——雙方都無法再變得更好，也就是假樣本與真樣本完全不可區(qū)分。在模擬仿真方面，可將仿真圖像轉(zhuǎn)換為真實(shí)風(fēng)格的圖像，模擬真實(shí)的光照和天氣條件，由二維圖像生成物體的三維模型等，從而積累仿真圖像樣本。

國內(nèi)在訓(xùn)練樣本生成研究方面，主要集中于民用圖像、視頻類訓(xùn)練樣本的生成，提出了多種數(shù)據(jù)增強(qiáng)方法來滿足訓(xùn)練時(shí)對大樣本數(shù)據(jù)量的需求。在飛行數(shù)據(jù)預(yù)處理的基礎(chǔ)上，采用離散序列生成式對抗網(wǎng)絡(luò)對飛行數(shù)據(jù)進(jìn)行增強(qiáng)，擴(kuò)大飛行數(shù)據(jù)樣本。目前國內(nèi)訓(xùn)練樣本生成主要以視頻、語音類樣本為主，缺乏對軍事類目標(biāo)圖像、目標(biāo)航跡、目標(biāo)作戰(zhàn)行動等樣本生成，未充分考慮訓(xùn)練樣本的對抗性，難以真實(shí)應(yīng)用到軍事智能籌劃AI 算法學(xué)習(xí)訓(xùn)練與測試評估中。

2 軍事智能訓(xùn)練樣本建模

2.1 訓(xùn)練樣本分類體系構(gòu)建

隨著人工智能技術(shù)在軍事作戰(zhàn)領(lǐng)域的廣泛應(yīng)用，迫切需要訓(xùn)練樣本輸入對各級各類軍事智能體進(jìn)行學(xué)習(xí)。通過訓(xùn)練樣本對訓(xùn)練集的擴(kuò)充作用，能夠使智能算法具有更強(qiáng)的適應(yīng)性。目前，訓(xùn)練樣本比較成熟的領(lǐng)域有圖像識別、語音分析、文本挖掘、噪聲源識別多個研究方向。在軍事智能領(lǐng)域缺少統(tǒng)一規(guī)范的訓(xùn)練樣本分類體系研究，已成為軍事智能化應(yīng)用快速發(fā)展的瓶頸限制。本文將嘗試從訓(xùn)練樣本的分類、訓(xùn)練樣本產(chǎn)生分類、訓(xùn)練樣本的管理應(yīng)用等幾個方面，對軍事智能訓(xùn)練樣本分類體系進(jìn)行研究，通過分類整理，促進(jìn)提升智能算法訓(xùn)練的效果和能力。

軍事智能訓(xùn)練樣本用于對智能算法模型的訓(xùn)練能力與學(xué)習(xí)能力進(jìn)行測試與評估，確保智能化能力水平的置信度。訓(xùn)練樣本可以從指控業(yè)務(wù)、數(shù)據(jù)格式等不同的層次進(jìn)行分類，具體如下頁圖1 所示。

圖1 軍事訓(xùn)練樣本分類體系

從指控業(yè)務(wù)角度，依據(jù)軍事作戰(zhàn)指揮控制的OODA（觀察、研判、決策、行動）環(huán)的角度，提出了涵蓋軍事目標(biāo)智能識別、智能情報(bào)處理、智能態(tài)勢感知、智能指揮決策類等樣本構(gòu)成的訓(xùn)練樣本分類體系，將通過對抗仿真推演方法生成樣本。例如，針對軍事目標(biāo)智能識別算法，其訓(xùn)練樣本包括：飛機(jī)、艦船、坦克等遙感影像類圖像樣本、可見光圖像樣本等。

從數(shù)據(jù)格式角度，針對圖像、視頻、文本、語音等4 類具備結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化不同模態(tài)的訓(xùn)練數(shù)據(jù)及其生產(chǎn)的特點(diǎn)開展分類研究。針對圖像類樣本，按照數(shù)據(jù)格式的不同，主要包括可見光圖像、紅外圖像等。針對視頻類樣本，主要包括航拍無人機(jī)視頻、演習(xí)視頻、實(shí)兵對抗視頻等樣本。

2.2 訓(xùn)練樣本表征

針對上述訓(xùn)練樣本，通過分析軍事智能對抗訓(xùn)練樣本的約束條件，提取訓(xùn)練樣本特征，設(shè)計(jì)訓(xùn)練樣本標(biāo)簽，分別建立了軍事目標(biāo)圖像、智能情報(bào)處理、智能態(tài)勢感知、智能指揮決策等4 類訓(xùn)練樣本的表征模型。

2.2.1 軍事目標(biāo)圖像類訓(xùn)練樣本表征

軍事目標(biāo)圖像類訓(xùn)練樣本主要來自于無人機(jī)/ 衛(wèi)星偵察SAR 圖像等非結(jié)構(gòu)數(shù)據(jù)。本文將從特征、標(biāo)簽兩個維度，對軍事目標(biāo)圖像類訓(xùn)練樣本進(jìn)行表征。其中，訓(xùn)練樣本特征包括：目標(biāo)圖像形狀、目標(biāo)圖像尺度、方位、紋理材質(zhì)、輪廓、灰度值等要素。設(shè)計(jì)的訓(xùn)練樣本標(biāo)簽包括：目標(biāo)圖像類型、型號、位置、格式與文件存儲位置。

2.2.2 智能情報(bào)處理類訓(xùn)練樣本表征

智能情報(bào)處理是在戰(zhàn)場目標(biāo)融合、動向情報(bào)處理的基礎(chǔ)上，采用大數(shù)據(jù)、深度學(xué)習(xí)等智能化技術(shù)，提供智能化的情報(bào)廣義關(guān)聯(lián)、文本實(shí)體自主識別與事件自動抽取、異構(gòu)情報(bào)的語義關(guān)聯(lián)與融合等智能情報(bào)處理算法模型，實(shí)現(xiàn)對戰(zhàn)場目標(biāo)的智能識別和規(guī)律分析能力。

2.2.3 智能態(tài)勢感知類訓(xùn)練樣本表征

智能態(tài)勢感知完成對戰(zhàn)場目標(biāo)行為意圖估計(jì)、威脅時(shí)間告警分析、敵作戰(zhàn)目標(biāo)威脅等級估計(jì)等，并基于當(dāng)前態(tài)勢信息，實(shí)時(shí)預(yù)測未來不同時(shí)刻的態(tài)勢趨勢演化與走向，輔助指揮員及時(shí)準(zhǔn)確掌控戰(zhàn)場態(tài)勢。

針對目標(biāo)航跡訓(xùn)練樣本，提出的訓(xùn)練樣本特征包括：目標(biāo)類型、目標(biāo)名稱、目標(biāo)航線等；設(shè)計(jì)的訓(xùn)練樣本標(biāo)簽包括目標(biāo)行為意圖、目標(biāo)行為發(fā)生概率等。

針對目標(biāo)價(jià)值排序訓(xùn)練樣本，提出的訓(xùn)練樣本特征包括：任務(wù)類型、作戰(zhàn)階段、目標(biāo)類別、目標(biāo)能力等要素，設(shè)計(jì)的訓(xùn)練樣本標(biāo)簽包括：目標(biāo)任務(wù)、目標(biāo)排序等級。

2.2.4 智能指揮決策類訓(xùn)練樣本表征

在智能指揮決策方面，其典型智能算法模型為智能博弈對抗模型，如美國辛辛那提大學(xué)的空戰(zhàn)AI中采用遺傳模糊樹智能算法模型，通過開展博弈對抗試驗(yàn)積累樣本數(shù)據(jù)，學(xué)習(xí)并優(yōu)化戰(zhàn)術(shù)戰(zhàn)法，為實(shí)時(shí)指揮提供決策支持。

智能指揮決策類訓(xùn)練樣本特征與標(biāo)簽，將從智能空戰(zhàn)對抗模型、智能海戰(zhàn)對抗模型、智能陸戰(zhàn)對抗模型等維度進(jìn)行提取，例如智能空戰(zhàn)對抗模型的訓(xùn)練樣本的特征包括：紅藍(lán)雙方的初始兵力部署、相對距離、相對方位、攔截點(diǎn)位置等。

3 基于對抗推演的訓(xùn)練樣本生成

3.1 訓(xùn)練樣本生成框架

美海軍陸戰(zhàn)隊(duì)研制的“雅典娜”對抗推演測試平臺思想，通過構(gòu)建智能對抗推演試驗(yàn)環(huán)境，為軍事智能AI 算法學(xué)習(xí)訓(xùn)練積累訓(xùn)練樣本數(shù)據(jù)，開展機(jī)器學(xué)習(xí)，驗(yàn)證AI 算法，最終用于方案推演、態(tài)勢預(yù)測、戰(zhàn)法創(chuàng)新、指揮訓(xùn)練。雖然美軍報(bào)告研制除了AI 算法訓(xùn)練與測試平臺，但其具體平臺功能性能與相關(guān)技術(shù)未見任何報(bào)道。本文借鑒美軍產(chǎn)生訓(xùn)練樣本的思路，設(shè)計(jì)了基于對抗推演的訓(xùn)練樣本生成框架，其核心思想是：通過構(gòu)建虛擬對抗仿真環(huán)境，設(shè)計(jì)面向訓(xùn)練樣本的智能對抗試驗(yàn)場景，驅(qū)動紅方、藍(lán)方開展智能對抗推演，在虛擬對抗仿真環(huán)境下推演紅藍(lán)雙方的自主對抗行為和裁決行動結(jié)果，實(shí)時(shí)采集智能對抗試驗(yàn)數(shù)據(jù)，對試驗(yàn)數(shù)據(jù)進(jìn)行清洗預(yù)處理，從中抽取出訓(xùn)練樣本特征，生成訓(xùn)練樣本。具體生成架構(gòu)如圖2 所示。

圖2 基于對抗推演的訓(xùn)練樣本生成框架

3.1.1 智能對抗推演平臺

智能對抗推演平臺用于負(fù)責(zé)智能對抗想定設(shè)計(jì)、智能對抗推演環(huán)境生成、智能對抗推演運(yùn)行過程的管控，實(shí)時(shí)監(jiān)控推演運(yùn)行狀態(tài)，對交戰(zhàn)效果進(jìn)行實(shí)時(shí)裁決與評估等任務(wù)，具體涵蓋智能對抗場景設(shè)計(jì)、仿真推演引擎、智能對抗推演導(dǎo)調(diào)控制、智能對抗交戰(zhàn)效果裁決、訓(xùn)練樣本生成，以及探測仿真模型、單元決策模型、指揮決策模型、交戰(zhàn)裁決模型及戰(zhàn)場環(huán)境模型等核心組成部分。具體描述如下：

1）仿真推演引擎：為智能對抗推演平臺的核心部分，主要負(fù)責(zé)智能對抗推演過程驅(qū)動、推演過程中時(shí)間管理、事件管理、模型調(diào)度運(yùn)行和數(shù)據(jù)管理等，調(diào)度紅藍(lán)雙方仿真模型運(yùn)轉(zhuǎn)，完成仿真模型之間的信息交互。同時(shí)為仿真運(yùn)行過沖的態(tài)勢顯示、導(dǎo)調(diào)控制等提供推演態(tài)勢數(shù)據(jù)，是開展智能對抗推演的基礎(chǔ)。

2）智能對抗推演導(dǎo)調(diào)控制：負(fù)責(zé)智能對抗推演運(yùn)行進(jìn)程控制、仿真狀態(tài)監(jiān)控與導(dǎo)調(diào)干預(yù)等，對推演運(yùn)行過程進(jìn)行全程管控。其中，智能對抗推演運(yùn)行進(jìn)程控制功能主要涵蓋：推演運(yùn)行初始化、暫停、恢復(fù)、結(jié)束、加減速、復(fù)盤、回放等控制。

仿真狀態(tài)監(jiān)控功能主要負(fù)責(zé)監(jiān)控推演運(yùn)行過程中的紅藍(lán)雙方實(shí)體運(yùn)行狀態(tài)、實(shí)體交互信息、交戰(zhàn)事件等要素，收集仿真實(shí)體狀態(tài)、模型數(shù)據(jù)、實(shí)體交互等信息，用于建立仿真日志和仿真過程數(shù)據(jù)，為事后分析、復(fù)盤、回放等提供必要的支持。

導(dǎo)調(diào)干預(yù)功能主要負(fù)責(zé)智能對抗推演過程中自然環(huán)境、對抗兵力、作戰(zhàn)任務(wù)、末端等導(dǎo)調(diào)，使得推演過程和推演效果朝著預(yù)定方向演進(jìn)。

3）智能對抗交戰(zhàn)效果裁決：依據(jù)智能對抗實(shí)時(shí)推演態(tài)勢數(shù)據(jù)，對紅藍(lán)雙方交戰(zhàn)效果進(jìn)行實(shí)時(shí)計(jì)算與判決，包括探測效果、毀傷效果、干擾效果等。同時(shí)，將交戰(zhàn)效果裁決結(jié)果反饋至仿真推演引擎，實(shí)時(shí)更新仿真模型狀態(tài)。

4）模型庫：模型庫主要包括單元決策模型、指揮決策模型、交戰(zhàn)裁決模型、戰(zhàn)場環(huán)境模型、作戰(zhàn)實(shí)體模型等。其中，單元自主決策模型模擬的是武器平臺級、群體/編隊(duì)級的自主決策行為與動作，在接受到事件激勵下對自身行為作出決策，包括來自上級的命令、來自傳感器或下級的告警，以及系統(tǒng)自身系統(tǒng)產(chǎn)生的告警等激勵。

指揮決策模型模擬的紅藍(lán)雙方的決策行為，是在掌握了一定指揮決策知識的基礎(chǔ)上，用于代替一方/雙方指揮員開展人-機(jī)/機(jī)-機(jī)對抗博弈實(shí)驗(yàn)。

裁決模型庫模擬的是白方的裁判員，是在機(jī)器掌握了一定裁決知識的基礎(chǔ)上，用于代替白方裁判員，自動化地完成裁決任務(wù)，包括單元行為產(chǎn)生的效果，以及隨機(jī)事件發(fā)生的概率等。

3.1.2 紅方模擬環(huán)境

紅方模擬環(huán)境為被試驗(yàn)的軍事智能指控算法模型提供典型作戰(zhàn)體系模擬能力，與藍(lán)方作戰(zhàn)體系模擬一起構(gòu)成一個對抗的試驗(yàn)環(huán)境。通過部署和調(diào)度對抗試驗(yàn)基礎(chǔ)支撐環(huán)境中的相關(guān)紅方仿真模型資源，包括紅方的探測模型、單元決策模型與指揮決策模型等，快速生成紅方模擬環(huán)境。

3.1.3 藍(lán)方模擬環(huán)境

藍(lán)方模擬環(huán)境為被試驗(yàn)的軍事智能指控算法模型提供典型的作戰(zhàn)對手模擬，通過部署和調(diào)度對抗試驗(yàn)基礎(chǔ)支撐環(huán)境中的相關(guān)藍(lán)方仿真模型資源，包括紅方的探測模型、單元決策模型與指揮決策模型等，快速生成藍(lán)方模擬環(huán)境。

3.1.4 白方

白方充當(dāng)“裁判員”的角色，可以任意設(shè)定對抗試驗(yàn)場景與對抗試驗(yàn)規(guī)則，具體涵蓋：紅藍(lán)雙方對抗試驗(yàn)的兵力編成與部署、作戰(zhàn)區(qū)域、兵力行動計(jì)劃、交戰(zhàn)規(guī)則，以及交戰(zhàn)過程中裁決規(guī)則和評判標(biāo)準(zhǔn)等。此外，白方還有一些裁判員，負(fù)責(zé)博弈過程中一些具體的裁決任務(wù)，如探測是否發(fā)現(xiàn)、打擊是否命中等?？砂础俺鲱}人”的要求臨時(shí)改變狀態(tài)、生成交戰(zhàn)事件、控制暫停繼續(xù)等，來引導(dǎo)智能對抗推演運(yùn)行進(jìn)程。

3.2 訓(xùn)練樣本生成案例

依據(jù)上述基于對抗推演的訓(xùn)練樣本生成框架，以空中智能對抗為典型應(yīng)用案例，設(shè)計(jì)了面向空中智能對抗決策算法的訓(xùn)練樣本生成流程，通過構(gòu)建空中智能對抗推演仿真環(huán)境，在仿真環(huán)境中模擬紅藍(lán)雙方對抗行動，藍(lán)方作戰(zhàn)行動以預(yù)定規(guī)則生成，紅方作戰(zhàn)行動以AI 算法來模擬。通過收集海量的智能對抗推演數(shù)據(jù)，對試驗(yàn)數(shù)據(jù)進(jìn)行清洗與特征抽取，生成可用于空中智能對抗算法學(xué)習(xí)訓(xùn)練的樣本數(shù)據(jù)，具體如圖3 所示。

圖3 空中智能對抗算法的訓(xùn)練樣本生成案例

在對空中智能對抗算法進(jìn)行訓(xùn)練之前，需要根據(jù)算法模型訓(xùn)練訓(xùn)練的能力需求，分析影響訓(xùn)練樣本的關(guān)鍵因素，針對每一種輸入因素進(jìn)行組合列出對應(yīng)的全面可能輸出結(jié)果。設(shè)置智能對抗試驗(yàn)想定，包括紅藍(lán)雙方目標(biāo)運(yùn)行狀態(tài)、機(jī)動能力、火力打擊能力等信息。通過智能對抗推演引擎，加載試驗(yàn)想定，調(diào)度紅藍(lán)雙方仿真模型，驅(qū)動紅藍(lán)雙方目標(biāo)行動模擬、雷達(dá)探測功能模擬等。通過交戰(zhàn)裁決模型對紅藍(lán)雙方交戰(zhàn)效果、對抗勝負(fù)結(jié)果進(jìn)行實(shí)時(shí)裁決，根據(jù)對抗裁決結(jié)果對當(dāng)前策略進(jìn)行評分，并根據(jù)評分結(jié)果對該條策略的權(quán)重進(jìn)行更新，重復(fù)這一過程，在迭代過程中對全部策略的權(quán)重進(jìn)行更新。在上述過程重復(fù)一定次數(shù)后，對樣本數(shù)據(jù)進(jìn)行采集與清洗處理，過濾異常帶有噪聲的樣本數(shù)據(jù)，通過對樣本數(shù)據(jù)進(jìn)行標(biāo)注，生成本輪智能對抗場景下的訓(xùn)練樣本。

4 結(jié)論

針對軍事AI 算法學(xué)習(xí)訓(xùn)練缺乏大量訓(xùn)練樣本的難題，探索一種基于對抗推演的訓(xùn)練樣本生成框架，通過構(gòu)建智能博弈對抗場景和自主對抗模擬產(chǎn)生訓(xùn)練樣本數(shù)據(jù)，支撐軍事AI 算法的學(xué)習(xí)訓(xùn)練。后續(xù)，將重點(diǎn)圍繞著生成高質(zhì)量的訓(xùn)練樣本目標(biāo)，開展可覆蓋各種對抗場景的智能對抗訓(xùn)練環(huán)境構(gòu)建技術(shù)攻關(guān)研究。