面向兵棋推演認(rèn)知建模的交戰(zhàn)火力單元智能預(yù)測方法

趙文棟,張明智,賀筱媛,郭圣明

(1. 國防大學(xué)聯(lián)合作戰(zhàn)學(xué)院,北京 100091;2. 中國人民解放軍61267部隊,北京 101114)

計算機(jī)兵棋系統(tǒng)作為研究戰(zhàn)爭和訓(xùn)練指揮員的重要平臺,正朝著智能化的方向發(fā)展。火力打擊行動作為信息化戰(zhàn)爭中的主要作戰(zhàn)行動之一,往往貫穿作戰(zhàn)全程,指揮員運(yùn)用兵棋系統(tǒng)進(jìn)行對抗推演時,兵棋系統(tǒng)如果能夠在一定程度上智能地預(yù)測出對手實(shí)施火力打擊行動所運(yùn)用的火力單元,可輔助己方推演人員全面掌握戰(zhàn)場態(tài)勢,做出最優(yōu)決策,實(shí)施先制作戰(zhàn)。當(dāng)前,對敵方行動進(jìn)行預(yù)測的推理方法主要有D-S證據(jù)理論、模板匹配、貝葉斯網(wǎng)絡(luò)和神經(jīng)網(wǎng)絡(luò)等方法,它們主要應(yīng)用于單一軍兵種的戰(zhàn)術(shù)和戰(zhàn)斗層級作戰(zhàn),通過獲得實(shí)時、準(zhǔn)確、完整的態(tài)勢信息進(jìn)行推理。然而,當(dāng)運(yùn)用兵棋系統(tǒng)進(jìn)行大規(guī)模的諸軍兵種聯(lián)合作戰(zhàn)推演時,推演過程中充滿了“戰(zhàn)爭迷霧”,獲得的態(tài)勢信息通常不及時、不準(zhǔn)確、不完整,導(dǎo)致上述方法難以奏效。

人類指揮員的經(jīng)驗知識和指揮行為蘊(yùn)含在兵棋推演的歷史數(shù)據(jù)中,對“人在回路”的兵棋推演歷史數(shù)據(jù)的挖掘和利用是實(shí)現(xiàn)兵棋智能化的有效途徑。文獻(xiàn)[7]運(yùn)用深度學(xué)習(xí)方法對戰(zhàn)役級兵棋演習(xí)數(shù)據(jù)進(jìn)行特征提取,取得了較好的效果;文獻(xiàn)[8]運(yùn)用關(guān)聯(lián)規(guī)則算法對陸軍合同戰(zhàn)術(shù)兵棋演習(xí)數(shù)據(jù)進(jìn)行挖掘,獲取了指揮員對武器的運(yùn)用規(guī)律;文獻(xiàn)[9]從戰(zhàn)術(shù)兵棋演習(xí)數(shù)據(jù)中提取多項關(guān)鍵評價屬性,并利用多屬性評價算法和兵棋規(guī)則智能地確定棋子的行動。知識圖譜作為一種可計算模型,可用于智能化兵棋系統(tǒng)模型的構(gòu)建。文獻(xiàn)[10]指出智能化兵棋的主要特征是“神經(jīng)元網(wǎng)絡(luò)+認(rèn)知計算”,將基于決策場景構(gòu)建的知識圖譜與實(shí)時態(tài)勢相結(jié)合進(jìn)行推理,可提高兵棋智能體的認(rèn)知能力;文獻(xiàn)[11]提出基于兵棋推演場景構(gòu)建的知識圖譜，可以為智能體認(rèn)知決策提供類腦化服務(wù)。

受上述文獻(xiàn)的啟發(fā),為滿足兵棋推演智能化發(fā)展和認(rèn)知建模的需要,本文嘗試引入知識圖譜表示學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)技術(shù),提出兩種交戰(zhàn)火力單元智能預(yù)測方法,分別為基于知識圖譜表示學(xué)習(xí)的交戰(zhàn)火力單元預(yù)測方法(簡稱FKG)和融合火力單元運(yùn)用行為的交戰(zhàn)火力單元預(yù)測方法(簡稱FKG-GA)。基于知識圖譜表示學(xué)習(xí)的預(yù)測方法以想定場景下的“人在回路”戰(zhàn)役級兵棋推演歷史數(shù)據(jù)為基礎(chǔ),并結(jié)合軍事專家知識構(gòu)建火力單元知識圖譜,運(yùn)用圖表示學(xué)習(xí)算法獲得火力單元的特征表示,通過計算目標(biāo)與火力單元之間的相關(guān)性進(jìn)行預(yù)測。融合火力單元運(yùn)用行為的預(yù)測方法將知識圖譜作為輔助信息,采用循環(huán)神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制來建?；鹆卧倪\(yùn)用行為,將火力單元知識圖譜表示學(xué)習(xí)得到的火力單元特征向量輸入行為模型得到更為合理的特征表示,預(yù)測每個火力單元與目標(biāo)交戰(zhàn)的概率。

1 基于知識圖譜表示學(xué)習(xí)的預(yù)測方法

利用知識圖譜預(yù)測交戰(zhàn)火力單元的關(guān)鍵在于如何從大量的異構(gòu)信息中確定火力單元與目標(biāo)的相關(guān)性。為解決這一關(guān)鍵問題,首先，從兵棋推演歷史數(shù)據(jù)中抽取火力單元數(shù)據(jù)，構(gòu)建具有不同屬性類別的火力單元知識圖譜;然后，將火力單元知識圖譜分為不同的屬性子圖,運(yùn)用深度學(xué)習(xí)方法進(jìn)行表示學(xué)習(xí),得到火力單元的特征表示;最后，將不同屬性子圖上得到的火力單元特征表示進(jìn)行集成，并計算出目標(biāo)與火力單元的相關(guān)性。

1.1 構(gòu)建知識圖譜

知識圖譜是以圖的形式展現(xiàn)實(shí)體、概念及其之間的相互關(guān)系的語義網(wǎng),網(wǎng)絡(luò)中的節(jié)點(diǎn)表示實(shí)體或概念,邊表示關(guān)系或?qū)傩?蘊(yùn)含豐富的知識。運(yùn)用知識圖譜對各火力單元及其之間的多種關(guān)系建模,可以為交戰(zhàn)火力單元的預(yù)測提供豐富的信息。知識圖譜的構(gòu)建應(yīng)和具體的應(yīng)用相結(jié)合,從兵棋推演歷史數(shù)據(jù)中抽取指揮員運(yùn)用火力單元的各種信息后,根據(jù)軍事專家經(jīng)驗知識將火力單元所屬的部(分)隊專業(yè)類型、使用的彈藥類型和打擊的目標(biāo)類型作為火力單元的屬性類別,部(分)隊專業(yè)類型的屬性值包括無人攻擊機(jī)部(分)隊、轟炸機(jī)部(分)隊和岸艦導(dǎo)彈部(分)隊等數(shù)十種,彈藥類型的屬性值包括巡航導(dǎo)彈、空地導(dǎo)彈和遠(yuǎn)程火箭彈等數(shù)十種,目標(biāo)類型的屬性值包括部隊、作戰(zhàn)工事和武器平臺等數(shù)十種。將火力單元和屬性值作為知識圖譜中的節(jié)點(diǎn),屬性類別作為連接火力單元節(jié)點(diǎn)和屬性值節(jié)點(diǎn)之間的邊,構(gòu)建如圖1所示的知識圖譜。構(gòu)建的知識圖譜用符號可描述為=(,),為節(jié)點(diǎn)集合,代表圖中的火力單元和具體的屬性值;為邊集合,代表圖中火力單元的屬性類別。

圖1 知識圖譜示例

1.2 知識圖譜表示學(xué)習(xí)

知識圖譜表示學(xué)習(xí)的目的是將其中的火力單元節(jié)點(diǎn)映射到稠密低維的向量空間,從而有效地計算出火力單元之間的語義關(guān)聯(lián),提升對交戰(zhàn)火力單元的預(yù)測能力。本文構(gòu)建的知識圖譜具有三種不同的屬性類型,不同的類型屬性具有不同的語義值,不同程度地影響節(jié)點(diǎn)的特征表示,參考文獻(xiàn),將知識圖譜分為部隊專業(yè)類型屬性子圖、彈藥類型屬性子圖和目標(biāo)類型屬性子圖分別進(jìn)行表示學(xué)習(xí)。

本文采用Node2vec方法對屬性子圖進(jìn)行表示學(xué)習(xí),它可以把具有相同屬性和相似結(jié)構(gòu)的節(jié)點(diǎn)聚合在一起。首先，通過隨機(jī)游走生成子圖中的節(jié)點(diǎn)序列,然后，運(yùn)用神經(jīng)網(wǎng)絡(luò)語言模型得到火力單元在對應(yīng)屬性類空間下的特征向量,子圖中擁有更多相同屬性的火力單元在特征空間中的距離更為相近。子圖表示學(xué)習(xí)的過程如圖2所示。

圖2 子圖表示學(xué)習(xí)過程

1)節(jié)點(diǎn)序列生成

本文采用有偏的隨機(jī)游走的方法生成子圖中的節(jié)點(diǎn)序列。在子圖=(,)中，給定一個起始火力單元節(jié)點(diǎn)∈開始隨機(jī)游走,如果在第步從(-1)游走至節(jié)點(diǎn)(),那么，下一個游走的節(jié)點(diǎn)將從()的鄰居節(jié)點(diǎn)中以如下概率選出:

((+1)|())=

(1)

式中,(())表示節(jié)點(diǎn)()的鄰居節(jié)點(diǎn)集合,為正則化常數(shù),((+1)|(-1),())為從鄰居節(jié)點(diǎn)中選擇下一個節(jié)點(diǎn)的概率,可表示為

(2)

式中,dist((-1),(+1))表示節(jié)點(diǎn)的最短路徑,、為超參數(shù),二者分別控制立刻訪問節(jié)點(diǎn)以及訪問節(jié)點(diǎn)鄰居的概率。若較小,則傾向于返回之前訪問過的節(jié)點(diǎn),若較大,則傾向于游走至其他節(jié)點(diǎn)。若>1,傾向于游走至接近(-1)的節(jié)點(diǎn),若<1,傾向于遠(yuǎn)離(-1)的節(jié)點(diǎn)。

2)節(jié)點(diǎn)特征學(xué)習(xí)

對隨機(jī)游走生成的序列中的節(jié)點(diǎn)進(jìn)行One-Hot編碼后，輸入神經(jīng)網(wǎng)絡(luò)語言處理模型Skip-gram模型,通過最大化兩個火力單元節(jié)點(diǎn)在生成序列中的共現(xiàn)概率，來得到節(jié)點(diǎn)的特征向量。節(jié)點(diǎn)向量化問題轉(zhuǎn)化為如下最優(yōu)化問題:

(3)

式中,表示火力單元序列中上文窗口的大小,表示給定一個節(jié)點(diǎn),存在節(jié)點(diǎn)序列中某節(jié)點(diǎn)的條件概率?；谛蛄兄泄?jié)點(diǎn)獨(dú)立性假設(shè),可得

(4)

運(yùn)用負(fù)采樣方法,將式(4)轉(zhuǎn)化為

(5)

式中,()′為節(jié)點(diǎn)的負(fù)采樣;()為sigmoid函數(shù),()=1(1+exp(-))。

采用梯度下降法求解上式,即可得到火力單元節(jié)點(diǎn)的特征向量。

1.3 相關(guān)性計算

在獲得每個屬性子圖中的火力單元特征向量后,使用公式(6)將每個火力單元在3個屬性子圖中的特征向量進(jìn)行集成,可得到最終的火力單元特征向量。

(6)

(7)

當(dāng)?shù)玫交鹆卧湍繕?biāo)的特征向量后,采用公式(8)計算目標(biāo)與不同交戰(zhàn)火力單元之間的相關(guān)性,從而預(yù)測出交戰(zhàn)的火力單元。sim()函數(shù)可以是歐氏距離、皮爾遜相關(guān)系數(shù)和余弦相似度等計算公式。

(,)=sim(,)

(8)

2 融合火力單元運(yùn)用行為的預(yù)測

雖然基于知識圖譜表示學(xué)習(xí)可以預(yù)測出交戰(zhàn)的火力單元,但沒有考慮聯(lián)合作戰(zhàn)中火力單元的運(yùn)用行為的特點(diǎn),因此，存在一些不足。聯(lián)合作戰(zhàn)中對目標(biāo)實(shí)施打擊時,單一的火力單元往往難以達(dá)到打擊效果,因此，需要根據(jù)所要達(dá)到的打擊效果，將立體分布的不同類型火力單元優(yōu)化組合,按時序區(qū)分多個波次對目標(biāo)實(shí)施連續(xù)打擊,具有序列性特征。具有不同屬性的目標(biāo)的毀傷機(jī)理不同,需要使用與目標(biāo)特征相匹配的火力單元進(jìn)行打擊，才能達(dá)到最佳打擊效果,因此，在對目標(biāo)實(shí)施打擊過程中會重點(diǎn)使用特定類型的火力單元,具有傾向性特征。

2.1 火力單元運(yùn)用行為建模

循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)具有記憶功能,適合處理序列數(shù)據(jù)并利用其中的信息。門控循環(huán)單元(GRU)網(wǎng)絡(luò)是在循環(huán)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，引入門控機(jī)制進(jìn)行改進(jìn)的一種網(wǎng)絡(luò),其有效地改善了循環(huán)神經(jīng)網(wǎng)絡(luò)存在的長程依賴問題,并且結(jié)構(gòu)簡單,需要訓(xùn)練的參數(shù)少,訓(xùn)練速度快,因此，本文采用門控循環(huán)單元(GRU)網(wǎng)絡(luò)對火力單元運(yùn)用的序列進(jìn)行建模,以獲得火力單元運(yùn)用序列之間的依賴關(guān)系。注意力機(jī)制借鑒人類大腦對信息的處理方式,通過分配權(quán)重系數(shù)從多種信息中突出與當(dāng)前任務(wù)更相關(guān)的關(guān)鍵信息,抑制無用信息,因此，采用注意力機(jī)制衡量各個火力單元的重要程度,以提取不同火力單元運(yùn)用的傾向性。網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 網(wǎng)絡(luò)結(jié)構(gòu)

(9)

(10)

(11)

(12)

為提取不同火力單元的重要程度,引入注意力機(jī)制為每一個GRU輸出的狀態(tài)分配權(quán)重系數(shù),表達(dá)式如下:

(13)

(14)

式中,為隨機(jī)初始化向量;為GRU的輸出狀態(tài);為權(quán)重系數(shù);為采用注意力機(jī)制后輸出的特征向量,即打擊某目標(biāo)的火力單元的最終特征向量。

2.2 損失函數(shù)

(15)

(16)

本文將預(yù)測任務(wù)定義為分類問題,采用負(fù)對數(shù)似然函數(shù)作為損失函數(shù)來優(yōu)化模型,可表示為

(17)

3 實(shí)驗分析

3.1 實(shí)驗條件及數(shù)據(jù)準(zhǔn)備

3.2 評價指標(biāo)

本文采用命中率(@)指標(biāo)和平均倒數(shù)排名(@)來評估火力單元預(yù)測方法的有效性,預(yù)測方法的效果與二者數(shù)值大小成正相關(guān)關(guān)系。@是正確的火力單元在預(yù)測結(jié)果排序列表前項所占的比例;@是正確的火力單元在預(yù)測結(jié)果排序列表前項中排名的倒數(shù)之和的平均值,如果正確的火力單元未出現(xiàn)在前項中,將該項的倒數(shù)設(shè)為0。計算公式如(18)、(19)所示,實(shí)驗中，值設(shè)定為15。

(18)

(19)

式中,表示樣本集合;||表示樣本的個數(shù);表示第個樣本正確結(jié)果在預(yù)測結(jié)果排序列表前項的排名,如果≤,則()=1,否則()=0。

3.3 比較方法及實(shí)驗參數(shù)設(shè)定

本文采取的比較方法有POP、LSTM和Node2vec,POP方法直接從訓(xùn)練集中選取出現(xiàn)次數(shù)最多的火力單元作為預(yù)測結(jié)果;LSTM方法不利用知識圖譜作為輔助信息,僅從火力單元的運(yùn)用行為中提取出序列特征進(jìn)行預(yù)測;Node2vec方法未將知識圖譜根據(jù)屬性類別分解為屬性子圖,在整個知識圖譜上提取節(jié)點(diǎn)的特征表示進(jìn)行預(yù)測。

在實(shí)驗中設(shè)置隨機(jī)游走的長度=30,=05,=025,設(shè)置滑動窗口大小=15,設(shè)置向量維度=150,學(xué)習(xí)率=001,批量訓(xùn)練樣本數(shù)=50。

3.4 預(yù)測效果分析

1)方法比較

不同方法的預(yù)測效果如表1所示。從表中可以看到,本文所提的方法均優(yōu)于對比方法,并且FKG-GA方法優(yōu)于FKG方法,這是因為FKG-GA方法在FKG方法的基礎(chǔ)上對火力單元的運(yùn)用行為進(jìn)行了建模。POP方法僅根據(jù)火力單元運(yùn)用的頻繁程度進(jìn)行預(yù)測,效果最差。LSTM方法效果較差,它雖然能捕捉到火力單元運(yùn)用的序列特征,但沒有利用知識圖譜提供的語義信息,難以達(dá)到很好的效果。Node2vec方法雖然運(yùn)用了知識圖譜中的語義信息,但它是在整個知識圖譜上提取火力單元的特征表示,獲得的語義信息不如本文所提的FKG方法全面,因此，效果不理想。

2)不同序列長度下預(yù)測效果分析

火力單元序列不同長度的預(yù)測結(jié)果如圖4和圖5所示。從圖中可以看出,隨著序列長度的增加,5種方法的預(yù)測效果均有所提升。POP方法預(yù)測效果的提升是因為在兵棋推演過程中,指揮員針對某一目標(biāo),會更加頻繁地運(yùn)用某些特定的火力單元,在序列長度為4時,POP方法與LSTM方法預(yù)測結(jié)果的差距較小,是因為在序列長度較短時,無法為序列模型提供足夠的信息。不同序列長度下,Node2vec方法和FKG方法預(yù)測結(jié)果均優(yōu)于LSTM方法,并且在序列長度為12時,FKG方法的@15值與FKG-GA方法差距較小,說明知識圖譜提供的信息在交戰(zhàn)火力單元預(yù)測中起了重要的作用。

表1 實(shí)驗結(jié)果對比

圖4 不同序列長度下的Hit@15

圖5 不同序列長度下的MRR@15

4 結(jié)束語

本文提出了基于知識圖譜表示學(xué)習(xí)和融合火力單元運(yùn)用行為的交戰(zhàn)火力單元預(yù)測方法。前者將知識圖譜分解為屬性子圖分別進(jìn)行表示學(xué)習(xí),有效地提取了知識圖譜中火力單元的特征,通過計算目標(biāo)與火力單元的相關(guān)性進(jìn)行預(yù)測;后者對火力單元的運(yùn)用行為進(jìn)行建模,將知識圖譜作為火力單元運(yùn)用行為模型的輔助信息進(jìn)行預(yù)測。實(shí)驗結(jié)果表明,本文所提兩種方法提高了預(yù)測的準(zhǔn)確度。下一步將從兩方面進(jìn)行深入研究，以進(jìn)一步提高預(yù)測的準(zhǔn)確度：一是考慮火力單元的更多屬性類型,構(gòu)建信息更加豐富的知識圖譜進(jìn)行預(yù)測;二是結(jié)合火力單元的實(shí)時動態(tài)信息進(jìn)行預(yù)測。