基于馬爾科夫鏈的平臺(tái)生存任務(wù)模型與航路評(píng)估

李小兵，周新志，寧 芊

(1.四川大學(xué) 電子信息學(xué)院， 成都 610065; 2.中國(guó)電子科技集團(tuán)公司第29研究所 電子信息控制重點(diǎn)實(shí)驗(yàn)室， 成都 610036)

0 引言

在雷達(dá)武器威脅環(huán)境里，飛行平臺(tái)通常都需要執(zhí)行一些任務(wù)，比如偵查敵方雷達(dá)部署情況，因此飛行平臺(tái)不僅需要關(guān)注自身生存率，同時(shí)還要考慮能任務(wù)完成的概率。平臺(tái)的生存率定義為無(wú)傷害返回的的概率[1]，對(duì)于如何有效求解航路上飛行平臺(tái)的生存率問(wèn)題，目前的研究還較少，已有的方法主要是直接從平臺(tái)與雷達(dá)武器的距離關(guān)系模型來(lái)建立生存模型，并在此基礎(chǔ)上計(jì)算飛行平臺(tái)的生存率[2-3]。這種方法只考慮了被發(fā)現(xiàn)和被打擊兩種狀態(tài)，并且模型一旦建立就不容易擴(kuò)展和修改，更重要的是忽略了狀態(tài)之間隨時(shí)間的依賴關(guān)系。在任務(wù)方面，目前的研究也主要集中在任務(wù)規(guī)劃方面[4-5]，在計(jì)算任務(wù)完成率方面，已有的方法也是使用飛行平臺(tái)與任務(wù)中心的距離來(lái)建立任務(wù)模型，并在此基礎(chǔ)上得到任務(wù)完成的概率。

傳統(tǒng)方法沒(méi)能有效刻畫(huà)生存模型和任務(wù)模型，也沒(méi)能將生存模型和任務(wù)模型有機(jī)地統(tǒng)一起來(lái)，并且無(wú)法直觀地關(guān)注到平臺(tái)能完成任務(wù)且無(wú)傷害返回的概率。另外傳統(tǒng)方法不能有效地在生存和任務(wù)之間權(quán)衡，對(duì)航路的好壞進(jìn)行有效評(píng)估。近年來(lái)，為了突破傳統(tǒng)方法的制約，有些學(xué)者開(kāi)始嘗試從隨機(jī)過(guò)程的角度來(lái)對(duì)飛行平臺(tái)的生存和任務(wù)建立模型，其中最有效地便是使用馬爾科夫鏈模型來(lái)建立飛行平臺(tái)的生存模型。

基于馬爾科夫鏈的方法，在最初只建立了來(lái)兩個(gè)狀態(tài)的生存模型[6],后來(lái)發(fā)展出了一種五狀態(tài)的生存模型[7-8]?；隈R爾科夫鏈的生存模型能直觀地展現(xiàn)，航路上飛行平臺(tái)的生存狀態(tài)概率的變化。但是飛行平臺(tái)在關(guān)注生存的同時(shí)還需要考慮完成任務(wù)的概率，并且還能關(guān)注到不同航路的好壞。為此本文在基于馬爾科夫鏈的生存模型的基礎(chǔ)上加入任務(wù)模型，并建立生存任務(wù)聯(lián)合模型。在生存任務(wù)模型中，能得到無(wú)傷害完成任務(wù)的概率計(jì)算模型。為了度量航路的好壞，在生存任務(wù)聯(lián)合模型的基礎(chǔ)上，引入生存代價(jià)和任務(wù)獎(jiǎng)勵(lì)，從而得到航路的代價(jià)，并以此代價(jià)度量航路好壞。

1 生存任務(wù)模型

1.1 生存模型

為了既能體現(xiàn)飛行平臺(tái)生存狀態(tài)的真實(shí)性和完整性，又能使建模簡(jiǎn)單，在此選擇5個(gè)生存狀態(tài)。這5個(gè)狀態(tài)分別是未被發(fā)現(xiàn)U、被發(fā)現(xiàn)D、被跟蹤T、參與作戰(zhàn)E、被打擊H，通常未被發(fā)現(xiàn)狀態(tài)U作為初始狀態(tài)。H狀態(tài)是吸收態(tài)，因?yàn)轱w行平臺(tái)被打擊后會(huì)一直處于這個(gè)狀態(tài)。生存狀態(tài)之間是隨時(shí)間相互依賴的，當(dāng)平臺(tái)被跟蹤之前需先被雷達(dá)發(fā)現(xiàn)，平臺(tái)從被跟蹤到被武器擊中這一過(guò)程中還需經(jīng)歷參與作戰(zhàn)這一狀態(tài)。飛行平臺(tái)還可以逃離雷達(dá)和武器區(qū)，逃離時(shí)的狀態(tài)也只能是依次進(jìn)行，從參與作戰(zhàn)狀態(tài)到未被發(fā)現(xiàn)需要依次經(jīng)歷跟蹤和被發(fā)現(xiàn)兩個(gè)狀態(tài)。

刻畫(huà)生存狀態(tài)之間的依賴關(guān)系，需要用時(shí)間連續(xù)狀態(tài)離散的馬爾科夫鏈{X(t)|t>0},其中X(t)代表平臺(tái)在時(shí)刻t的生存狀態(tài)。時(shí)間連續(xù)狀態(tài)離散的馬爾科夫鏈具有馬爾科夫性，即過(guò)程的將來(lái)狀態(tài)與過(guò)程的歷史狀態(tài)無(wú)關(guān)，只與過(guò)程的現(xiàn)在狀態(tài)有關(guān)，其具體定義為式(1):

P[X(t+Δ)=j|X(t)=i]=λijΔ,

(1)

其中:i,j表示生存狀態(tài)，P是轉(zhuǎn)移概率，λij為轉(zhuǎn)移強(qiáng)度，Δ為無(wú)限小時(shí)間。馬爾科夫性與平臺(tái)的前后狀態(tài)轉(zhuǎn)移關(guān)系保持了一致。由于馬爾科夫性的存在，因此連續(xù)時(shí)間離散狀態(tài)的馬爾科夫鏈可充分刻畫(huà)飛行平臺(tái)生存狀態(tài)之間的關(guān)系，具體模型如圖1所示。在圖1中，S表示雷達(dá)環(huán)境，W表示武器環(huán)境，O表示雷達(dá)武器之外的環(huán)境。

圖1 五狀態(tài)生存模型

1.2 生存任務(wù)聯(lián)合模型

平臺(tái)完成任務(wù)狀態(tài)也是隨機(jī)的，對(duì)于完成任務(wù)狀態(tài)的模型如圖2所示。在圖2中，I表示平臺(tái)還未完成任務(wù)，F(xiàn)表示平臺(tái)完成任務(wù)。F是吸收態(tài)，因?yàn)槠脚_(tái)一旦完成任務(wù)后就會(huì)一直在這個(gè)狀態(tài)，因此不存在從F到I的轉(zhuǎn)移強(qiáng)度。平臺(tái)在任務(wù)執(zhí)行區(qū)域M之外一般不可能完成任務(wù)，因此在任務(wù)執(zhí)行區(qū)之外λIF=0。

圖2 任務(wù)模型

為了能使平臺(tái)關(guān)注到完成任務(wù)且無(wú)傷害返回的概率psm，為此需要將生存模型和任務(wù)模型聯(lián)合起來(lái)，具體聯(lián)合形式如圖3所示。圖3中包含了所有可能存在的聯(lián)合狀態(tài)及狀態(tài)間的轉(zhuǎn)移關(guān)系，總共包含十個(gè)狀態(tài)，UI、DI、TI、EI和HI分別為未被發(fā)現(xiàn)、被發(fā)現(xiàn)、被跟蹤、參與作戰(zhàn)和被打擊時(shí)還未完成任務(wù)的狀態(tài)，同樣UF、DF、TF、EF和HF表示為相應(yīng)生存狀態(tài)時(shí)已完成任務(wù)的狀態(tài)。在聯(lián)合模型中，狀態(tài)UI一般作為起始狀態(tài)。

圖3 生存-任務(wù)模型

在圖3水平方向上，生存狀態(tài)并不取決于是否完成任務(wù)，那么此方向的狀態(tài)轉(zhuǎn)移與生存模型里的狀態(tài)轉(zhuǎn)移保持一致。在垂直方向上，完成任務(wù)的概率并不取決于生存狀態(tài)，那么此方向的狀態(tài)轉(zhuǎn)移與任務(wù)模型里的狀態(tài)轉(zhuǎn)移保持一致。當(dāng)平臺(tái)處于HI狀態(tài)時(shí)仍有機(jī)會(huì)轉(zhuǎn)移到HF狀態(tài)，除非平臺(tái)完全被擊毀。于是在生存-任務(wù)模型里，平臺(tái)完成任務(wù)且無(wú)傷害返回的概率可表達(dá)為式(2):

psm=pUF+pDF+pTF+pEF

(2)

1.3 轉(zhuǎn)移強(qiáng)度與環(huán)境

生存任務(wù)模型中的轉(zhuǎn)移關(guān)系由轉(zhuǎn)移強(qiáng)度λ來(lái)刻畫(huà)。轉(zhuǎn)移強(qiáng)度由飛行平臺(tái)所在的環(huán)境提供，未被標(biāo)識(shí)的轉(zhuǎn)移強(qiáng)度為0，表示此環(huán)境下?tīng)顟B(tài)轉(zhuǎn)移不可能發(fā)生。不同的環(huán)境提供不同的轉(zhuǎn)移強(qiáng)度。在環(huán)境O里λET>0，λTD>0，λDU>0，其他為0，表示離開(kāi)雷達(dá)武器區(qū)域，朝著更安全的狀態(tài)轉(zhuǎn)移。在環(huán)境O的基礎(chǔ)上，環(huán)境S里增加了λUD>0，λDT>0，表示有被雷達(dá)發(fā)現(xiàn)和跟蹤的可能。環(huán)境W在環(huán)境S的基礎(chǔ)上還提供了λTE>0，λEH>0，表示有參與作戰(zhàn)和被打擊的可能。

狀態(tài)轉(zhuǎn)移強(qiáng)度的大小可由1/τij來(lái)衡量。在生存模型中，τij反映了地面雷達(dá)武器系統(tǒng)的平均反應(yīng)時(shí)間或狀態(tài)切換時(shí)間。在任務(wù)模型中，τij表示完成任務(wù)所需的平均時(shí)間。雷達(dá)武器威脅環(huán)境，提供的轉(zhuǎn)移強(qiáng)度模型使用三種模型[9]中的常數(shù)模型，實(shí)際具體的取值應(yīng)由領(lǐng)域?qū)＜医o出。

雷達(dá)、武器及任務(wù)的物理模型，可抽象為二維圓域或三維球域，這樣不僅建模簡(jiǎn)潔，又不會(huì)失去對(duì)雷達(dá)武器主要性質(zhì)的把握，更多關(guān)于雷達(dá)武器的模型可參考一些專家的建議[1]。武器通常被探測(cè)雷達(dá)包圍，因?yàn)槲淦餍枰走_(dá)來(lái)探測(cè)、跟蹤及鎖定飛行目標(biāo)。當(dāng)然雷達(dá)與雷達(dá)以及武器與武器之間還可以相互重疊，以表示雷達(dá)之間以及武器之間能相互合作，對(duì)于在重疊區(qū)域的轉(zhuǎn)移強(qiáng)度的計(jì)算，可使用已有的方法[9]。另外飛行平臺(tái)能執(zhí)行任務(wù)的區(qū)域，通常被雷達(dá)武器包圍著，這是符合實(shí)際情況的。

2 航路評(píng)估

2.1 狀態(tài)概率計(jì)算

為了能評(píng)估航路上飛行平臺(tái)每個(gè)狀態(tài)概率隨時(shí)間的變化，需要求解狀態(tài)概率，連續(xù)時(shí)間離散狀態(tài)的馬爾科夫鏈框架為求解狀態(tài)概率提供了解決思路。首先構(gòu)造轉(zhuǎn)移強(qiáng)度矩陣Λ(t)，然后通過(guò)求解(3)式所示的微分方程，以此得到狀態(tài)概率向量p(t)。

(3)

其中狀態(tài)概率向量p(t)的第j個(gè)元素為狀態(tài)j的概率pj(t)，且狀態(tài)概率向量的初始形式為:

若以Λij(t)來(lái)表示轉(zhuǎn)移強(qiáng)度矩陣Λ(t)第i行第j列的元素，則Λij(t)的具體形式為:

由于飛行平臺(tái)在不同時(shí)間可能處于不同的威脅環(huán)境里，因此整個(gè)飛行航路上的轉(zhuǎn)移強(qiáng)度矩陣Λ(t)是隨時(shí)間變化的。設(shè)威脅環(huán)境k里的轉(zhuǎn)移強(qiáng)度矩陣為Λk，時(shí)間長(zhǎng)度為tn，因而在航路上Λ(t)的取值為:

由于生存任務(wù)模型的狀態(tài)只有十個(gè)，是有限數(shù)量的，而且Λ(t)在某一時(shí)間段里為常矩陣，因此(3)式可用式(4)方法來(lái)求解。

p(tn) =eΛn-1 T·(tn -tn-1 )p(tn-1)

(4)

在(4)式中需要求解矩陣指數(shù)，對(duì)于矩陣Λ的矩陣指數(shù)的求解方法為:

2.2 航路代價(jià)計(jì)算

在得到飛行平臺(tái)狀態(tài)概率的基礎(chǔ)上，為了在生存和任務(wù)兩方面度量航路的好壞，在此引入兩類代價(jià)，一類是單位時(shí)間狀態(tài)保持代價(jià)bi，一類是單位時(shí)間狀態(tài)轉(zhuǎn)移代價(jià)cij。用v(t)表示在時(shí)刻t飛行平臺(tái)在航路上的期望累積代價(jià)，累積代價(jià)量化了航路對(duì)于飛行平臺(tái)在生存和任務(wù)兩方面的好壞。記x(t)=[p(t),v(t)]T,于是有關(guān)期望累積代價(jià)的微分方程如式(5)和式(6)所示：

(5)

(6)

式(6)中A(t)是一個(gè)矩陣，其具體形式為:

求解式(6)使用式(7)所示的迭代方法。

x(tn) =eAn-1 ·(tn -tn-1 )x(tn-1)

(7)

代價(jià)參數(shù)bi是關(guān)于平臺(tái)生存狀態(tài)的代價(jià)。bH*=0,因?yàn)镠是吸收態(tài)，當(dāng)平臺(tái)處于此狀態(tài)便不再離開(kāi)。當(dāng)平臺(tái)處于U狀態(tài)時(shí)，這時(shí)對(duì)于平臺(tái)來(lái)說(shuō)是很安全的，因此bU*=0。當(dāng)平臺(tái)處于其他生存狀態(tài)時(shí)，應(yīng)當(dāng)假定bE*≥bT*≥bD*≥0,因?yàn)槠脚_(tái)處于狀態(tài)D、T和E時(shí)，受到的威脅逐漸增強(qiáng)。代價(jià)參數(shù)cij是關(guān)于生存狀態(tài)轉(zhuǎn)移的代價(jià)參數(shù)，其中cE*,H*≥0,其他生存狀態(tài)轉(zhuǎn)移的代價(jià)為0，因?yàn)槠渌鏍顟B(tài)轉(zhuǎn)移代價(jià)可歸于狀態(tài)代價(jià)。對(duì)于任務(wù)狀態(tài)轉(zhuǎn)移來(lái)說(shuō)，平臺(tái)從未完成任務(wù)轉(zhuǎn)移到完成任務(wù)狀態(tài)的過(guò)程，應(yīng)當(dāng)?shù)玫絛F的獎(jiǎng)勵(lì)，dF的大小衡量了任務(wù)的重要性。于是航路評(píng)估就可以在生存和任務(wù)之間進(jìn)行權(quán)衡，比如在任務(wù)區(qū)，即使生存率會(huì)很低，如果任務(wù)很重要，則可能dF>cE*,H*。代價(jià)參數(shù)具體描述如式(8)和式(9):

b=[0,bD*,bT*,bE*,0]

(8)

(9)

3 仿真設(shè)計(jì)與結(jié)果分析

3.1 場(chǎng)景設(shè)置與仿真結(jié)果

圖4展示了一個(gè)二維場(chǎng)景，在此場(chǎng)景中放置了三個(gè)雷達(dá)和兩個(gè)武器，并放置了兩條航路和兩個(gè)任務(wù)區(qū)，任務(wù)和武器都被雷達(dá)覆蓋。兩條航路的起點(diǎn)均為(0,0),終點(diǎn)均為(300,-25)，航路2是由航路1通過(guò)改變有限個(gè)路標(biāo)點(diǎn)的Y方向的值得到，并以兩條航路中間的公共點(diǎn)作為分界點(diǎn)將航路分成前段和后段。

圖4 包含航路、雷達(dá)武器及任務(wù)的場(chǎng)景

環(huán)境O、S、W及M中的轉(zhuǎn)移強(qiáng)度設(shè)置如表1所示，平臺(tái)生存代價(jià)參數(shù)的設(shè)置如表2所示。平臺(tái)在0.3個(gè)單位時(shí)間(min)里以1.2 km的航程速度飛行。仿真結(jié)果中，圖5至圖8分別顯示了平臺(tái)在航路1和航路2上狀態(tài)概率隨時(shí)間的變化，圖中的曲線代表狀態(tài)概率面積圖的外側(cè)輪廓線。圖9顯示了兩條航路上完成任務(wù)且無(wú)傷害返回概率的變化。圖10顯示了完成任務(wù)的獎(jiǎng)勵(lì)值dF分別取0、50、300和600時(shí)兩條航路上的代價(jià)變化。

表1 轉(zhuǎn)移強(qiáng)度設(shè)置

表2 生存代價(jià)參數(shù)設(shè)置

圖5 航路1有關(guān)任務(wù)未完成狀態(tài)的概率

圖6 航路1有關(guān)任務(wù)完成狀態(tài)的概率

圖7 航路2有關(guān)任務(wù)未完成狀態(tài)的概率

圖8 航路2有關(guān)任務(wù)完成狀態(tài)的概率

圖9 完成任務(wù)且無(wú)傷害返回概率

圖10 不同dF值時(shí)航路1(黑色)和 航路2(灰色)的代價(jià)變化

3.2 結(jié)果分析

圖5至圖8的狀態(tài)概率變化反映了兩條航路所經(jīng)過(guò)的環(huán)境。最開(kāi)始平臺(tái)處于環(huán)境O，這時(shí)只有UI狀態(tài)，當(dāng)飛行平臺(tái)進(jìn)入雷達(dá)環(huán)境S時(shí)，有關(guān)生存狀態(tài)D和T的概率迅速增加，而關(guān)于作戰(zhàn)E和被打擊H狀態(tài)只在平臺(tái)進(jìn)入武器環(huán)境W里發(fā)生。當(dāng)平臺(tái)經(jīng)過(guò)任務(wù)區(qū)M時(shí)，關(guān)于完成任務(wù)F狀態(tài)的概率開(kāi)始增加。

在航路的前一段，航路2比航路1關(guān)于DI和TI的狀態(tài)概率增加得更多。這與航路2的前段經(jīng)過(guò)兩雷達(dá)的重疊區(qū)相一致，因?yàn)樵诶走_(dá)重疊區(qū)具有更強(qiáng)發(fā)現(xiàn)和跟蹤能力。在航路的后一段，雖然航路2經(jīng)過(guò)了武器重疊區(qū)，但最終航路2與航路1的被打擊時(shí)已完成任務(wù)HF狀態(tài)概率相差不大，這與兩條航路后段經(jīng)過(guò)相同的任務(wù)區(qū)，且兩武器區(qū)有相同的最好武器相一致。

從任務(wù)狀態(tài)概率來(lái)看，在圖6和圖8中，航路2比航路1關(guān)于完成任務(wù)F的狀態(tài)概率多一次增加的過(guò)程。這與航路2比航路1在前段多經(jīng)過(guò)一個(gè)任務(wù)區(qū)相一致。從圖9中的完成任務(wù)且無(wú)傷害返回的概率上看，航路2比航路1多一次上升過(guò)程，這與航路2的前半段經(jīng)過(guò)了一個(gè)任務(wù)區(qū)區(qū)相一致。在終點(diǎn)時(shí)，航路2的psm明顯大于航路1的psm，從這個(gè)角度來(lái)說(shuō)，航路2好于航路1。如果平臺(tái)很注重能完成任務(wù)且能無(wú)傷害返回，那么此時(shí)就可為飛行平臺(tái)提供決策支持。

從psm的角度不能完全衡量航路的好壞，因?yàn)椴荒茉谌蝿?wù)和生存之間進(jìn)行權(quán)衡。圖10顯示了不同dF值時(shí)兩條航路累積代價(jià)的變化，其中較粗的黑實(shí)線是航路2的代價(jià)曲線，灰色曲線代表航路1的代價(jià)曲線。dF的不同取值衡量了任務(wù)相對(duì)生存的重要性。當(dāng)不考慮任務(wù)只考慮生存時(shí)，航路2的累積代價(jià)更高，此時(shí)航路1優(yōu)于航路2。當(dāng)dF=50時(shí)，航路2與航路1的代價(jià)都有所降低，且它們之間的差距在縮小，但航路2的代價(jià)依然高于航路1的代價(jià)。當(dāng)dF=300時(shí)，兩條航路最終的代價(jià)幾乎一樣，此時(shí)兩條航路無(wú)明顯好壞。當(dāng)dF=600時(shí)，航路2的代價(jià)明顯比航路1的代價(jià)低，這時(shí)航路2反而比航路1更好。

4 結(jié)論

本文采用馬爾科夫鏈的方法，將飛行平臺(tái)的生存和任務(wù)看作是隨機(jī)過(guò)程，并分別對(duì)生存和任務(wù)來(lái)建立模型，然后有效統(tǒng)一生存模型和任務(wù)模型。在生存任務(wù)模型的基礎(chǔ)上，對(duì)計(jì)算航路代價(jià)，并以此代價(jià)有效地衡量了航路有關(guān)生存和任務(wù)兩方面的好壞?；隈R爾科夫鏈的方法能直觀地展現(xiàn)了狀態(tài)和航路代價(jià)隨時(shí)間的變化，也展現(xiàn)了不同航路上能完成任務(wù)且無(wú)傷害返回的概率變化，并對(duì)航路進(jìn)行有效評(píng)估。狀態(tài)概率、航路代價(jià)都可為飛行平臺(tái)在生存和任務(wù)兩方面提供決策支持。

[1] Helldin T,Erlandsson T. Automation guidelines for introducing survivability analysis in future fighter aircraft[A]. Proceedings 28th Congress of International Council of the Aeronautical Sciences[C]. Brisbane,Australia:ICAS,2012:1-10.

[2] 郭鳳娟,張 安,張耀中,等. 高空無(wú)人偵察機(jī)生存力仿真研究[J]. 西北工業(yè)大學(xué)學(xué)報(bào),2009,27(6):827-832.

[3] 李壽安,宋筆鋒,李東霞. 飛機(jī)在單個(gè)射彈打擊下的生存概率分析[J].哈爾濱工業(yè)大學(xué)學(xué)報(bào),2009,41(3):121-124.

[4] 蔡凌峰,傅愛(ài)萍,成海東. 無(wú)人機(jī)任務(wù)動(dòng)態(tài)重規(guī)劃方法[J].指揮信息系統(tǒng)與技術(shù),2013,4(6):31-36,79.

[5] 羅 賀,秦英祥,王國(guó)強(qiáng),等. 一種無(wú)人機(jī)偵察能力評(píng)估模型[J].火力與控制指揮,2016,41(2):7-12.

[6] Erlandsson T,Niklasson L. An air-to-ground combat survivability model[J]. Journal of Defense Modeling and Simulation: Applications,Methodology,Technology,2015,12(3):273-287.

[7] Erlandsson T,Niklasson L. Comparing Air Mission Routes from a Combat Survial Perspective[A]. Proceedings of the 26th International Florida Artificial Intelligence Research Society Conference[C]. Palo Alto,California:AAAI Press,2013:58-63.

[8] Erlandsson T,Niklasson L. Automatic evaluation of air mission routes with respect to combat survial[J]. Information Fusion,2014,20(11):88-98.