基于隨機空間網(wǎng)絡(luò)的無人機集群協(xié)同對抗模型

王爾申，郭靖，宏晨，任虹帆，陳艾東，商新娜

(1. 沈陽航空航天大學(xué) 電子信息工程學(xué)院，沈陽 110136； 2. 沈陽航空航天大學(xué) 遼寧通用航空研究院，沈陽 110136；3. 北京聯(lián)合大學(xué) 北京市信息服務(wù)工程重點實驗室，北京 100101； 4. 北京聯(lián)合大學(xué) 機器人學(xué)院，北京 100101)

目前，無人機在戰(zhàn)場中發(fā)揮越來越重要的作用。無人機正在重新定義戰(zhàn)爭。無人機集群以難防御、強進攻、低成本、協(xié)同對抗、使用靈活等優(yōu)勢越來越受到重視[1]。Grassé[2]通過研究蟲群的群體行為，最早提出了“集群”的概念。無人機集群可以模仿生物集群行為，通過無人機間的信息傳遞與協(xié)同，能在各種復(fù)雜險惡的環(huán)境下完成多樣性任務(wù)。無人機集群技術(shù)將成為一項足以改變戰(zhàn)爭模式和戰(zhàn)爭規(guī)則的顛覆性技術(shù)。

無人機集群技術(shù)已成為主要軍事強國角逐的熱點。在無人機集群協(xié)同方面，文獻[3]將博弈論應(yīng)用于多智能體協(xié)同合作問題，設(shè)計了一個分布式優(yōu)化算法。文獻[4]針對未知空域中的無人機路徑規(guī)劃問題研究了基于遺傳算法的操作條件概率自動機(genetic algorithm-operant conditioning probabilistic automaton, GA-OCPA)學(xué)習(xí)系統(tǒng)。文獻[5]通過對無人機歷史搜索信息、節(jié)點重要性和運動學(xué)約束等條件的綜合分析完成無人機運動規(guī)劃。文獻[6]研究了一種無人機在線協(xié)同航跡規(guī)劃方法，可以快速生成符合協(xié)同時序要求的協(xié)同航跡。文獻[7]研究了基于耦合度的啟發(fā)式優(yōu)先規(guī)劃方法(couplingdegree-based heuristic prioritized planning, CDH-PP)，提高了無人機集群協(xié)同路徑生成的效率和魯棒性。文獻[8]針對已知地形下的無人機集群避撞問題，研究了一種多目標(biāo)最優(yōu)路徑分配算法。文獻[9]研究了一種基于Lyapunov 穩(wěn)定性理論的無人機規(guī)避或跟蹤目標(biāo)運動導(dǎo)引方法。文獻[10]針對無人機集群偵察任務(wù)研究基于離散粒子群優(yōu)化(discrete particle swarm optimization, DPSO)的路徑規(guī)劃算法。文獻[11]針對無人機集群網(wǎng)絡(luò)協(xié)同通信的節(jié)點布局問題，研究了多跳優(yōu)先隊列方法，引入強化學(xué)習(xí)得到了基于深度Q 學(xué)習(xí)(deep Q-learing，DQN)的無人機網(wǎng)絡(luò)鏈路優(yōu)化模型。文獻[12]針對無人機集群網(wǎng)絡(luò)的協(xié)同通信問題，研究了自適應(yīng)多集群leaderfollower 的協(xié)同優(yōu)化模型。

在無人機集群對抗方面，文獻[13]提出了基于博弈論的面向多無人機追逃的最優(yōu)機動決策算法。文獻[14]采用兩步裁定法模擬無人機雙方對戰(zhàn)，并利用文化基因算法模擬目標(biāo)匹配，實現(xiàn)了超視距無人機目標(biāo)對抗。文獻[15]在單無人機有限控制算法的基礎(chǔ)上，提出了一種多無人機自主控制算法，以提高無人機集群在對抗中的成功率。文獻[16]利用蜂群算法提出了一套完整的無人機集群協(xié)同對抗軟件體系架構(gòu)。文獻[17]針對不同機動能力的無人機群體的攻防對抗，提出了基于強化學(xué)習(xí)的多無人機強化學(xué)習(xí)方法，無人機可通過自主學(xué)習(xí)提升協(xié)同對抗決策效能。

無人機集群協(xié)同對抗是一個高維度、強動態(tài)的非線性復(fù)雜系統(tǒng)。復(fù)雜網(wǎng)絡(luò)是研究復(fù)雜系統(tǒng)的有力工具。復(fù)雜空間網(wǎng)絡(luò)指節(jié)點位于具有度量的空間中，是受一定幾何形狀限制的嵌入到空間中的網(wǎng)絡(luò)[18]?？臻g網(wǎng)絡(luò)中的節(jié)點具有空間位置屬性，邊具有空間距離屬性。隨機空間網(wǎng)絡(luò)是指網(wǎng)絡(luò)中節(jié)點被隨機生成在一個空間坐標(biāo)位置，節(jié)點間的空間距離也是隨機生成的[19]。

現(xiàn)有的無人機集群模型大多基于群體內(nèi)部協(xié)同[5-7]，大規(guī)模無人機集群協(xié)同對抗的模型相對較少。使用隨機空間網(wǎng)絡(luò)模擬無人機集群對抗場景，可以充分利用現(xiàn)有的復(fù)雜網(wǎng)絡(luò)理論，具有算法簡單、空間布局靈活、戰(zhàn)場初始態(tài)勢隨機、更接近于多無人機混戰(zhàn)場景等優(yōu)點。本文將隨機空間網(wǎng)絡(luò)引入到無人機集群協(xié)同對抗場景中，將對抗的無人機集群區(qū)分為紅藍雙方，每架無人機為網(wǎng)絡(luò)中的一個節(jié)點，無人機間的協(xié)同對抗關(guān)系抽象為網(wǎng)絡(luò)中的邊，邊的長度代表無人機間的空間距離，構(gòu)建無人機集群協(xié)同對抗 網(wǎng) 絡(luò)(cooperative confrontation networks of UAVs,CCN-UAVs），基于網(wǎng)絡(luò)級聯(lián)效應(yīng)分析無人機集群協(xié)同網(wǎng)絡(luò)的魯棒性，并通過仿真驗證無人機集群協(xié)同對抗模型的有效性。

1 作戰(zhàn)場景與網(wǎng)絡(luò)模型

1.1 作戰(zhàn)場景

藍方無人機為察打一體型無人機，任務(wù)為協(xié)同偵察，主要探測敵方防御情況與偵察敵方地面部隊，需要將偵察得到的大量信息帶回基地。紅方無人機為打擊型無人機，任務(wù)為巡視是否有敵方潛入，并在發(fā)現(xiàn)敵軍后進行攻擊。紅藍無人機集群對抗場景如圖1 所示。

圖1 對抗場景示意圖Fig. 1 Diagram of confrontation scenario

隨機空間網(wǎng)絡(luò)具有2 個重要參數(shù)：空間維度和空間中節(jié)點的距離閾值。初始時，n個節(jié)點被隨機生成在一個可設(shè)定維度的空間中，同時可根據(jù)需要設(shè)定節(jié)點的位置與分布方式。如果d(u,v)≤R，則節(jié)點u與 節(jié)點v之間將存在連邊。其中，d為2 個節(jié)點之間的歐氏距離，R為節(jié)點間的距離閾值。

在二維空間與三維空間中，分別采用全連接方式構(gòu)建紅藍雙方的無人機集群協(xié)同對抗網(wǎng)絡(luò)。網(wǎng)絡(luò)中的每個節(jié)點視為無人機，一定空間距離內(nèi)的無人機間存在連邊表示其協(xié)同或?qū)龟P(guān)系，互為友機間的連邊為協(xié)同關(guān)系，互為敵機間的連邊為對抗關(guān)系；設(shè)定網(wǎng)絡(luò)總節(jié)點數(shù)為n，在空間中節(jié)點位置分布服從X～N(0,4)高斯分布，各節(jié)點屬性隨機分配，紅藍雙方節(jié)點數(shù)均為n/2，得到紅藍雙方無人機集群協(xié)同對抗網(wǎng)絡(luò)CCN-UAVs；將藍方節(jié)點組成的網(wǎng)絡(luò)單獨提取出來并保存，此網(wǎng)絡(luò)為藍方無人機集群協(xié)同網(wǎng)絡(luò)(cooperative network of UAVs, CN-UAVs)；將紅藍雙方無人機集群協(xié)同對抗網(wǎng)絡(luò)中所有互為友機間的連邊(即相同顏色節(jié)點之間的連邊)刪除，構(gòu)成紅藍雙方無人機集群對抗網(wǎng)絡(luò)。以10 個節(jié)點為例展示了構(gòu)建紅藍雙方無人機集群網(wǎng)絡(luò)的過程，如圖2 所示，藍方節(jié)點用藍色實心點表示，紅方節(jié)點用紅色空心點表示。

圖2 網(wǎng)絡(luò)結(jié)構(gòu)Fig. 2 Network structure

考慮雙方的殺傷率受空間距離的影響，2 個對抗無人機的空間距離越大，殺傷率就越低。引入衰減因子 γ，其表達式為

1.2 協(xié)同對抗網(wǎng)絡(luò)模型

1.3 殺傷率的衰減

式中：dmax為網(wǎng)絡(luò)中對抗節(jié)點的空間距離閾值，超過該距離將不再對攻；drb為2 個對抗無人機的實際空間距離；dmin為無殺傷率衰減的最小空間距離。

雙方對抗過程中的真實殺傷率rreal為

式中：r為無衰減的初始殺傷率。

可 以 看 出，drb=dmin時 ， γ=1，即 不 衰 減。當(dāng)drb=dmax時 ， γ=0，2 個無人機將無法殺傷對方。

1.4 網(wǎng)絡(luò)魯棒性評價指標(biāo)

魯棒性[20-21]是復(fù)雜網(wǎng)絡(luò)的一項重要特征，指網(wǎng)絡(luò)在受到外界攻擊或內(nèi)部結(jié)構(gòu)由于某種原因發(fā)生變化時，還可以保持其功能的能力。如果網(wǎng)絡(luò)中的部分節(jié)點(邊)被移除后，該網(wǎng)絡(luò)中的大部分節(jié)點(邊)仍然可以保持正常功能，則稱這個網(wǎng)絡(luò)是魯棒的。復(fù)雜網(wǎng)絡(luò)的級聯(lián)效應(yīng)是指網(wǎng)絡(luò)中一個或者少數(shù)幾個節(jié)點或邊的失效會通過節(jié)點之間的耦合關(guān)系引發(fā)其他節(jié)點也發(fā)生失效，進而產(chǎn)生連鎖反應(yīng)，導(dǎo)致網(wǎng)絡(luò)中相當(dāng)一部分節(jié)點甚至整個網(wǎng)絡(luò)的崩潰[22]。

為了分析藍方CN-UAVs 的魯棒性，引入無人機數(shù)據(jù)攜帶量與數(shù)據(jù)容量上限參數(shù)，通過被擊落無人機在墜毀前的數(shù)據(jù)分配過程來觸發(fā)網(wǎng)絡(luò)的級聯(lián)效應(yīng)。使用網(wǎng)絡(luò)失效大小作為評價藍方CN-UAVs魯棒性的指標(biāo)，其中網(wǎng)絡(luò)失效大小S定義為

式中：N′為 藍方CN-UAVs 中當(dāng)前剩余節(jié)點數(shù)；N為初始藍方CN-UAVs 總節(jié)點數(shù)。

仿真開始時，設(shè)置雙方無人機各自的能力參數(shù)并分配任務(wù)殺傷率；對抗過程中，設(shè)置每架無人機選擇單個敵機進行對抗，對抗結(jié)束后，藍方無人機撤離，記錄被擊落的無人機；在對抗結(jié)束后，觀察藍方無人機集群對探測數(shù)據(jù)的分配及因被分配超出可容量(可容量指數(shù)據(jù)容限減自身數(shù)據(jù)攜帶量)的數(shù)據(jù)而觸發(fā)的級聯(lián)效應(yīng)。計算藍方CN-UAVs 失效大小S?？傮w步驟如下：

步驟1 基于隨機空間網(wǎng)絡(luò)構(gòu)建紅藍雙方的CN-UAVs。

步驟2 雙方進行對抗，被擊落的藍方無人機在墜毀前分配探測數(shù)據(jù)。

步驟3 在藍方CN-UAVs 中尋找是否有被分配數(shù)據(jù)量超出其可容量的無人機，若存在，則該部分無人機將因為滿載而在網(wǎng)絡(luò)中被視為失效，并將其被分配的超出可容量的數(shù)據(jù)平均分配給其他相鄰友機。

步驟4 重復(fù)步驟3，直至藍方CN-UAVs 中不存在被分配超出可容量數(shù)據(jù)的無人機或全部無人機失效，計算藍方CN-UAVs 失效大小，整個過程結(jié)束。

2 仿真結(jié)果

在仿真實驗中，設(shè)定整體空間足夠大，總節(jié)點數(shù)設(shè)置為100，其中50 個節(jié)點為紅方無人機，另外50 個節(jié)點為藍方無人機；藍方每架無人機初始執(zhí)行協(xié)同偵察任務(wù)探測到的數(shù)據(jù)量為5；時間步從第10 步開始，第11 步為雙方無人機對抗過程，第12步及之后為因數(shù)據(jù)容限所觸發(fā)的級聯(lián)效應(yīng)過程。

2.1 二維空間下仿真結(jié)果

在二維空間中，不考慮殺傷率衰減，真實殺傷率為設(shè)定值，以藍方CN-UAVs 為主體，繪制紅方無人機具備不同殺傷率的情況下，時間步t和藍方網(wǎng)絡(luò)失效大小S的關(guān)系，如圖3 所示。設(shè)置藍方無人機數(shù)據(jù)容量上限為7，紅方無人機殺傷率分別為0.2、0.4、0.6、0.8。圖中結(jié)果為200 次獨立實驗取得的平均值，誤差棒表示標(biāo)準(zhǔn)差。

由圖3 可以明顯看出，紅方無人機的殺傷率越高，藍方在第11 時間步時被擊落的無人機數(shù)量越多，且后續(xù)觸發(fā)的級聯(lián)效應(yīng)越強，即成功帶回基地的數(shù)據(jù)越少。因此，針對紅方CN-UAVs 來說，若要盡可能多得攔截敵方無人機，阻止敵方將數(shù)據(jù)帶回，則應(yīng)盡力提高攻擊的殺傷率。

圖3 二維空間中不同紅方殺傷率下網(wǎng)絡(luò)失效大小與時間步的關(guān)系Fig. 3 Relationship between failed size and time step underdifferent hit rates of red UAVs in 2D

無人機具備的數(shù)據(jù)容量上限是觸發(fā)級聯(lián)效應(yīng)的根源，藍方無人機為確保將更多數(shù)據(jù)帶回基地，其在墜毀前會將自身攜帶的全部數(shù)據(jù)平均分配給相鄰友機，正因為此過程，一部分無人機可能會被分配到超出其可容量的數(shù)據(jù)，這部分無人機將因滿載而在網(wǎng)絡(luò)中被視為失效。為了探尋無人機數(shù)量容限對此過程的影響，繪制了藍方網(wǎng)絡(luò)失效大小S和 時間步t的關(guān)系，如圖4 所示。設(shè)置紅方無人機殺傷率為0.5，藍方無人機數(shù)據(jù)容量上限分別為6、8、10、12、16。仿真結(jié)果為200 次獨立實驗取得的平均值，誤差棒表示標(biāo)準(zhǔn)差。

當(dāng)容量上限達到一定值時(圖4 中容量上限為16，為容量上限臨界值，即容量上限16 的網(wǎng)絡(luò)失效大小S基本不變)，對抗后的級聯(lián)效應(yīng)基本不會再使藍方CN-UAVs 失效大小S發(fā)生改變。因此，針對藍方CN-UAVs 來說，應(yīng)盡力提高數(shù)據(jù)容量上限直至達到臨界值，這樣既可以將更多的數(shù)據(jù)安全帶回基地，也可節(jié)約成本。

圖4 二維空間中不同藍方容量上限下網(wǎng)絡(luò)失效大小與時間步的關(guān)系Fig. 4 Relationship between failed size and time step under different capacity-limitation of blue UAVs in 2D

2.2 三維空間下仿真結(jié)果

在三維空間中考慮殺傷率衰減，設(shè)定空間距離閾值dmax=3， 無殺傷率衰減的空間距離dmin=0.5。以藍方CN-UAVs 為主體，同樣從紅方殺傷率改變和藍方容量上限改變2 個方面進行研究。首先，考慮紅方殺傷率改變的情況，通過比較二維和三維場景下的級聯(lián)效應(yīng)（見表1 和圖5），2 種情況下藍方無人機容量上限相同，所得數(shù)據(jù)為25 次獨立實驗的平均值。可以發(fā)現(xiàn)，紅方殺傷率相同的情況下，三維場景在對抗過程中被擊落的無人機架數(shù)明顯減少，并且后續(xù)觸發(fā)的級聯(lián)效應(yīng)也相應(yīng)減弱。

圖5 二維與三維空間中不同紅方殺傷率下網(wǎng)絡(luò)失效大小對比Fig. 5 Comparison of failed size under different hit rates of red UAVs in 2D and 3D

表1 不同紅方殺傷率下的級聯(lián)效果Table 1 Cascading effects under different hit rates of red UAVs

圖6 繪制了紅方無人機具備不同殺傷率的情況下，時間步t和藍方網(wǎng)絡(luò)失效大小S的關(guān)系。設(shè)置藍方無人機數(shù)據(jù)容量上限為7，紅方無人機殺傷率分別為0.2、0.4、0.6、0.8，圖中結(jié)果為100 次獨立實驗的平均值，誤差棒表示標(biāo)準(zhǔn)差。通過與圖3 對比，結(jié)果顯示，二維場景與三維場景的級聯(lián)效應(yīng)變化規(guī)律基本一致，即紅方殺傷率越高，藍方在對抗過程中被擊落無人機數(shù)量越多，且后續(xù)觸發(fā)的級聯(lián)效應(yīng)更強。但無論殺傷率為多少，藍方被擊落無人機架數(shù)都比同等條件下二維空間中少，且觸發(fā)的級聯(lián)效應(yīng)相應(yīng)減弱。

圖6 三維空間中不同紅方殺傷率下網(wǎng)絡(luò)失效大小與時間步的關(guān)系Fig. 6 Relationship between failed size and time step under different hit rates of red UAVs in 3D

考慮藍方容量上限改變的情況，圖7 繪制了藍方無人機在具備不同容量上限的情況下，時間步t和藍方網(wǎng)絡(luò)失效大小S的關(guān)系。設(shè)置紅方無人機殺傷率為0.5，藍方無人機數(shù)據(jù)容量上限分別為6、8、10、12。實驗結(jié)果為200 次獨立實驗的平均值，誤差棒表示標(biāo)準(zhǔn)差。圖7 中，藍方無人機數(shù)據(jù)容量上限越大，所觸發(fā)的級聯(lián)效應(yīng)越弱，數(shù)據(jù)容量上限臨界值得到了降低，并且容量上限為12 時級聯(lián)效應(yīng)趨于穩(wěn)定。

同樣對二維場景和三維場景的結(jié)果進行比較（見表2 和圖8），2 種情況下紅方無人機殺傷率相同，所得數(shù)據(jù)為25 次獨立實驗取得的平均值。結(jié)果顯示，藍方容量上限相同時，三維場景比二維場景在被擊落無人機數(shù)量、級聯(lián)效應(yīng)及容量上限臨界值等數(shù)值上均有所降低。例如，二維場景下容量上限臨界值為16（見圖4），三維場景下容量上限臨界值為12（見圖7）。

圖7 三維空間中不同藍方容量上限下網(wǎng)絡(luò)失效大小與時間步的關(guān)系Fig. 7 Relationship between failed size and time step under different capacity-limitation of blue UAVs in 3D

圖8 二維與三維空間中不同藍方容量上限下網(wǎng)絡(luò)失效大小對比Fig. 8 Comparison of failed size under different capacitylimitation of blue UAVs in 2D and 3D

表2 不同藍方容量上限下的級聯(lián)效果Table 2 Cascading effects under different capacity-limitation of blue UAVs

3 結(jié) 論

本文基于復(fù)雜網(wǎng)絡(luò)理論，構(gòu)建了紅藍對抗場景及無人機集群協(xié)同對抗網(wǎng)絡(luò)模型，研究在二維、三維場景下的網(wǎng)絡(luò)魯棒性及級聯(lián)效應(yīng)的影響。二維與三維對抗場景的研究結(jié)果表明：

1） 藍方容量上限值越大，級聯(lián)效應(yīng)越弱，網(wǎng)絡(luò)魯棒性越強。

2） 初始殺傷率相同時，三維場景中殺傷率的衰減使得藍方網(wǎng)絡(luò)產(chǎn)生的級聯(lián)效應(yīng)更弱，網(wǎng)絡(luò)魯棒性更強。