干擾環(huán)境下基于博弈論的無人機群部署與組網(wǎng)方法

韓 晨 劉愛軍 安 康 童新海 梁小虎③

①(國防科技大學(xué)第六十三研究所 南京 210007)

②(陸軍工程大學(xué)通信工程學(xué)院 南京 210007)

③(東南大學(xué)信息科學(xué)與工程學(xué)院 南京 210018)

1 引言

空天地互聯(lián)網(wǎng)絡(luò)是6G通信的重要研究內(nèi)容，其中，無人機群是空中接入網(wǎng)絡(luò)的重要組成部分[1]。由于部署靈活、成本低廉等優(yōu)勢，無人機群在緊急救援、環(huán)境監(jiān)測、數(shù)據(jù)采集、D2D(Device-to-Device)通信等多方面發(fā)揮著重要作用，其應(yīng)用研究引起了學(xué)者廣泛的關(guān)注[2–6]。但是，無人機通信的視距傳輸特點和無線廣播特性使其容易受到干擾攻擊[7,8]。文獻[9]針對頻率域的惡意干擾，提出一種基于差分博弈的無人機抗干擾算法。文獻[10,11]應(yīng)用強化學(xué)習(xí)和博弈理論研究了無人機通信網(wǎng)絡(luò)的抗干擾問題，通過優(yōu)化發(fā)射功率提高抗干擾性能。文獻[12]應(yīng)用斯坦伯格博弈和多臂賭博機模型提出一種針對無人機通信網(wǎng)絡(luò)的聯(lián)合抗干擾算法，實現(xiàn)功率和頻率的聯(lián)合優(yōu)化。文獻[13]研究了無人機在干擾場景下的中繼問題，通過抗干擾博弈分析，得到其穩(wěn)定的納什均衡策略。文獻[14]研究了面向無人機輔助的蜂窩通信網(wǎng)絡(luò)的抗干擾框架，應(yīng)用強化學(xué)習(xí)為受擾的移動用戶選擇中繼節(jié)點。文獻[15]研究了干擾環(huán)境中的無人機軌跡規(guī)劃問題，以增強無人機傳感器網(wǎng)絡(luò)的傳輸可靠性。文獻[16]研究了無人機與干擾機之間的對抗博弈，通過合理的對抗策略增強無人機飛行控制的可靠性。干擾環(huán)境下無人機網(wǎng)絡(luò)的高動態(tài)、強對抗等特點加劇了無人機群抗干擾的技術(shù)難度。因而，在干擾威脅下執(zhí)行數(shù)據(jù)采集任務(wù)的無人機群需要具備靈活自主的部署方法和組網(wǎng)策略，以提高數(shù)據(jù)采集量，并增強抗干擾能力。

現(xiàn)有文獻中，已有許多工作對無人機的位置部署問題展開研究。通過高效的部署優(yōu)化，無人機群可以對目標(biāo)區(qū)域提供無線覆蓋并執(zhí)行數(shù)據(jù)采集任務(wù)。文獻[17]通過優(yōu)化多架無人機的位置部署，提高了對物聯(lián)網(wǎng)設(shè)備的數(shù)據(jù)采集量。文獻[18]提出一種無人機快速部署方案，應(yīng)用動態(tài)規(guī)劃理論提高對地覆蓋性能。文獻[19]綜合考慮了無人機的飛行距離和高度，提出一種啟發(fā)式算法以優(yōu)化無人機群的位置部署。文獻[20]考慮了地面終端的密度變化，研究了多架無人機的最優(yōu)部署和運動問題。文獻[21]提出一種基于連續(xù)凸近似的算法，以優(yōu)化無人機群的位置部署。文獻[22]應(yīng)用Circle packing理論研究無人機基站的無線覆蓋及部署問題。文獻[23]基于K均值聚類算法，研究了NOMA(Non-Orthogonal Multiple Access)系統(tǒng)中的無人機位置部署和數(shù)據(jù)中繼問題。然而上述工作主要關(guān)注集中式的優(yōu)化方案，需要一定的先驗信息和全局信息。同時，惡意干擾威脅以及敵對環(huán)境的高動態(tài)性要求無人機群具備靈活自主的部署方式，并加強抗干擾能力[24]。

作為一種新型的無人智能系統(tǒng)，無人機通常以集群的形式執(zhí)行任務(wù)，并通過合適的組網(wǎng)策略，提高通信效率[5,25]。文獻[26]研究了面向無人機自組織網(wǎng)的編隊控制策略，及其對通信組網(wǎng)技術(shù)的不同需求。文獻[27]針對災(zāi)害救援場景，提出一種基于5G和無人機智能組網(wǎng)的應(yīng)急通信系統(tǒng)。文獻[28]研究了改進貪婪算法在無人機組網(wǎng)路由技術(shù)中的應(yīng)用。文獻[29]應(yīng)用網(wǎng)絡(luò)動力學(xué)知識，研究了無人機組網(wǎng)中的同步問題。文獻[30]依照雁群行為機制研究了無人機群的仿生飛行控制方法，實現(xiàn)多無人機編隊的保持及控制。文獻[31]應(yīng)用平均場理論將無人機集群對抗問題，建模為單機與集群平均效果之間的交互過程，以建模無人機群的網(wǎng)絡(luò)動態(tài)?，F(xiàn)有文獻中對于無人機群在干擾環(huán)境中的組網(wǎng)技術(shù)研究相對較少。但是惡意干擾環(huán)境下的強對抗和高動態(tài)特性對無人機組網(wǎng)技術(shù)提出了更高的要求。因此，研究無人機群自主智能的組網(wǎng)策略，對于增強無人機通信網(wǎng)絡(luò)的魯棒性和可靠性具有重要意義。

本文研究干擾環(huán)境下基于博弈論的無人機群部署與組網(wǎng)方法。在地面干擾機的影響下，針對無人機群執(zhí)行對地的數(shù)據(jù)采集問題，無人機群通過優(yōu)化部署策略在躲避干擾區(qū)域的基礎(chǔ)上最大化覆蓋范圍，并提高數(shù)據(jù)采集量。其次，針對無人機群上傳數(shù)據(jù)到升空平臺編隊時受空中干擾機影響的問題，采用將無人機群形成聯(lián)盟分組實現(xiàn)協(xié)作傳輸?shù)姆桨浮Ｍ宦?lián)盟分組內(nèi)的無人機將各自采集得到的數(shù)據(jù)傳輸給簇頭無人機，簇頭無人機將匯總的數(shù)據(jù)上傳給鄰近的升空平臺。在選擇簇頭無人機時，本文同時考慮空中干擾機的影響以及本地的數(shù)據(jù)采集量和傳輸能力之間的相對關(guān)系。

2 系統(tǒng)模型與問題建模

本文考慮的系統(tǒng)模型如圖1所示，M架無人機以編隊形式執(zhí)行對地的數(shù)據(jù)采集及上傳任務(wù)，通過協(xié)同位置部署實現(xiàn)數(shù)據(jù)采集，并將采集數(shù)據(jù)上傳給升空平臺編隊。敵對環(huán)境中同時存在地面干擾機和空中干擾機。地面干擾機會影響無人機對目標(biāo)區(qū)域的覆蓋部署和信息采集，空中干擾機會影響無人機之間的協(xié)作組網(wǎng)，以及無人機群與升空平臺編隊之間的視距傳輸。因此，考慮到地面干擾機的影響，無人機群通過協(xié)同位置部署以提高數(shù)據(jù)采集量，并有效規(guī)避干擾區(qū)域。同時，為了抵御空中干擾機的影響，各無人機形成聯(lián)盟分組，同一聯(lián)盟內(nèi)的無人機將各自采集數(shù)據(jù)傳輸給簇頭無人機。簇頭無人機將匯總數(shù)據(jù)上傳給鄰近的升空平臺。如圖1所示，無人機群的數(shù)據(jù)采集任務(wù)可分為3個階段：數(shù)據(jù)采集階段、組網(wǎng)階段、數(shù)據(jù)上傳階段。在數(shù)據(jù)采集階段，無人機群通過位置部署優(yōu)化，規(guī)避干擾區(qū)域，并提高數(shù)據(jù)采集量。在組網(wǎng)階段，無人機群形成聯(lián)盟子網(wǎng)，各無人機將采集數(shù)據(jù)傳輸給子網(wǎng)內(nèi)的簇頭無人機。最后，在數(shù)據(jù)上傳階段，簇頭無人機將匯總數(shù)據(jù)上傳給升空平臺。

圖1 干擾威脅下的無人機集群部署及組網(wǎng)問題

2.1 干擾環(huán)境下無人機群部署優(yōu)化問題

2.2 無人機群抗干擾組網(wǎng)問題

3 博弈建模

如圖1所示，本文研究干擾威脅下無人機集群部署及組網(wǎng)問題，并在第2節(jié)將其建模為以下兩個問題：(P1)干擾環(huán)境下無人機群部署優(yōu)化問題；(P2)無人機群抗干擾組網(wǎng)問題。本節(jié)應(yīng)用博弈理論，從分布式優(yōu)化的角度分析無人機群的部署及組網(wǎng)問題。3.1節(jié)將問題P1建模為無人機覆蓋擁塞博弈。3.2節(jié)將問題P2建模為聯(lián)盟形成博弈。

3.1 無人機覆蓋擁塞博弈

3.2 無人機聯(lián)盟形成博弈

根據(jù)2.2節(jié)構(gòu)建的系統(tǒng)模型，本節(jié)將無人機群的動態(tài)子網(wǎng)形成問題建模為聯(lián)盟形成博弈[36]。定義如下。

定理2 所提聯(lián)盟形成博弈可以得到穩(wěn)定的聯(lián)盟形成結(jié)果，該結(jié)果為納什均衡解。

證明 按照雙贏準(zhǔn)則的定義，無人機每次改變聯(lián)盟選擇，都會進一步增加新舊聯(lián)盟的總的上傳數(shù)據(jù)量，從而進一步增加整個無人機群總的上傳數(shù)據(jù)量。由于無人機數(shù)量和可上傳的數(shù)據(jù)量都是有限的。因此最終所有無人機的實際上傳數(shù)據(jù)量會收斂到極大值，并得到穩(wěn)定的聯(lián)盟形成策略。

接下來，借助精確勢能博弈理論證明所得到的穩(wěn)定聯(lián)盟形成策略是納什均衡解。定義勢能函數(shù)為所有聯(lián)盟總的上傳數(shù)據(jù)量

4 干擾環(huán)境下無人機群部署與組網(wǎng)方案

4.1 無人機群分布式位置部署算法

按照3.1節(jié)的分析結(jié)果，無人機群的部署問題可建模為擁塞博弈。各無人機通過分布式的優(yōu)化方式最大化己方的數(shù)據(jù)采集量。最終，無人機群可以得到穩(wěn)定的位置部署。按照前述的問題建模及博弈分析，本文提出一種基于隨機優(yōu)化的無人機群分布式部署算法，如表1所示。根據(jù)當(dāng)前無人機群的位置，各個網(wǎng)格更新可采集數(shù)據(jù)量，重復(fù)覆蓋的網(wǎng)格可采集數(shù)據(jù)量降低。隨機選擇1架無人機，根據(jù)其動作空間(上、下、左、右、左前、左后、右前、右后)，隨機選擇1個運動方向，如果變更后的位置可以采集更多數(shù)據(jù)，則變更該無人機位置，否則維持現(xiàn)狀。在有限的步驟內(nèi)，該算法能以迭代優(yōu)化的方式得到穩(wěn)定的收斂結(jié)果。

T個時隙內(nèi)，無人機u應(yīng)用表1進行位置部署的計算復(fù)雜度主要集中于u在每個時隙的運動方向的選擇。每個時隙，各無人機有8個可選方向。因此，T個時隙內(nèi)無人機u應(yīng)用表1的標(biāo)量乘法開銷為O(8T)。

表1 基于擁塞博弈的無人機群部署算法(Congestion-game based UAV swarm Deployment algorithm, CUD)

4.2 無人機群聯(lián)盟形成算法

經(jīng)過部署優(yōu)化之后，無人機群可以實現(xiàn)高效的對地覆蓋和數(shù)據(jù)采集。此時，各無人機采集的數(shù)據(jù)量各不相同。同時考慮到空中干擾機的影響，每架無人機與升空平臺之間的傳輸速率也不盡相同。因此，無人機群之間形成聯(lián)盟分組，組內(nèi)無人機將各自采集的數(shù)據(jù)傳給簇頭無人機，并通過簇頭無人機實現(xiàn)數(shù)據(jù)上傳。本文提出一種無人機群抗干擾聯(lián)盟形成算法，各無人機根據(jù)3.2節(jié)定義的聯(lián)盟效用和雙贏準(zhǔn)則進行聯(lián)盟選擇。具體算法流程如表2所示。

無人機u應(yīng)用表2形成聯(lián)盟分組的計算復(fù)雜度主要在于無人機u的聯(lián)盟選擇過程，其標(biāo)量乘法開銷為O(|Au|)，其中|Au|為無人機u鄰近的其他無人機數(shù)量。

表2 無人機群聯(lián)盟形成算法(UAV Swarm Anti-jamming Coalition Formation algorithm, USACF)

5 仿真實驗

本節(jié)通過仿真驗證所提算法的有效性，仿真參數(shù)如表3所示。

表3 仿真參數(shù)

5.1 無人機對地覆蓋性能

無人機群以分布式的方式執(zhí)行對地的數(shù)據(jù)采集任務(wù)，干擾機隨機分布在目標(biāo)區(qū)域。各無人機需要通過鄰近無人機之間的信息交互，優(yōu)化各自的位置部署，提升整個無人機群的數(shù)據(jù)采集性能。

圖2(a)所示為無人機群的初始位置。由圖可知，當(dāng)前位置部署下，部分無人機(例如U5, U8,U10, U11以及U4、U6)的數(shù)據(jù)采集范圍存在重疊，因而重疊區(qū)域內(nèi)，各無人機可采集的數(shù)據(jù)量將隨著重疊無人機數(shù)量的增加而減少，造成數(shù)據(jù)采集效率降低。同時，無人機U4, U6的采集范圍內(nèi)存在干擾機，存在干擾機的網(wǎng)格內(nèi)的數(shù)據(jù)無法被采集，且此時無人機U4, U6面臨嚴(yán)重的干擾威脅。

各無人機按照所提CUD算法對各自的位置進行優(yōu)化，所得結(jié)果如圖2(b)所示。經(jīng)過無人機群的擁塞博弈，各無人機會避開存在干擾機的網(wǎng)格，并趨向數(shù)據(jù)量更多的熱點區(qū)域。同時，各無人機之間會盡量避免重疊的采集區(qū)域，從而提升整個集群的數(shù)據(jù)采集效率。

圖2 無人機群部署位置

在無人機群的擁塞博弈過程中，整個集群的采集數(shù)據(jù)總量的變化如圖3所示。可見隨著迭代的進行，無人機群的采集數(shù)據(jù)總量逐漸增加，并最終趨于穩(wěn)定值。所得結(jié)果與3.1節(jié)的博弈分析吻合。

圖3 擁塞博弈過程中無人機群采集數(shù)據(jù)總量變化情況

圖4展示了所提算法與隨機位置部署算法和均勻部署算法的性能比較。如果無人機的采集范圍內(nèi)存在干擾機，則該無人機將面臨嚴(yán)重的干擾或者致毀威脅，此時該無人機無法完成數(shù)據(jù)采集。由圖4(a)可知，所提算法相比隨機部署方案有明顯的性能提升。當(dāng)無人機數(shù)量不足以完成對地完全部署時(即無人機數(shù)量少于25架)，所提算法的性能明顯優(yōu)于均勻部署算法。當(dāng)無人機數(shù)量大于25架次時，均勻部署有可能獲得略高的數(shù)據(jù)采集總量。但是此時的均勻部署方案會面臨嚴(yán)重的干擾威脅。因為必然存在部分無人機位于干擾機的攻擊范圍之內(nèi)，從而對無人機群的安全性造成嚴(yán)重威脅。然而，對抗環(huán)境中的數(shù)據(jù)采集任務(wù)以無人機群的安全性為首要前提，在該前提下，無人機群通過位置部署以提高集群的數(shù)據(jù)采集量。如圖4(b)所示，隨著無人機數(shù)量的增加，各無人機平均可采集的數(shù)據(jù)量逐漸降低，所提算法相比于對比算法有較為明顯的性能優(yōu)勢。

圖4 擁塞博弈算法性能對比

5.2 無人機聯(lián)盟形成性能

各無人機收集的數(shù)據(jù)需要上傳給升空平臺編隊。如圖5所示，各無人機的采集數(shù)據(jù)量各不相同，同時由于空中干擾機的影響，無人機群上傳數(shù)據(jù)的傳輸能力也有較大差別。

圖5 各無人機采集數(shù)據(jù)量及數(shù)據(jù)上傳能力

為了最大化無人機群采集數(shù)據(jù)的總上傳量，各無人機之間通過聯(lián)盟分組實現(xiàn)協(xié)作傳輸。形成聯(lián)盟分組的無人機將各自的采集數(shù)據(jù)傳輸給簇頭無人機，簇頭無人機將數(shù)據(jù)統(tǒng)一上傳給鄰近的升空平臺。簇頭無人機的選擇不僅需要考慮空中干擾機位置分布的影響，還需要綜合考慮該無人機的數(shù)據(jù)上傳能力和本地數(shù)據(jù)量的相對關(guān)系。當(dāng)無人機的數(shù)據(jù)上傳能力大于本地的采集數(shù)據(jù)量時，其他無人機的數(shù)據(jù)可以通過該無人機實現(xiàn)協(xié)作數(shù)據(jù)上傳。無人機群(U)、空中干擾機(J)、升空平臺(A)等各個節(jié)點，以及聯(lián)盟分組及簇頭無人機的選擇結(jié)果如圖6所示(黑色實心點為簇頭無人機，同一顏色連線為同一個聯(lián)盟分組，圖6(b)為俯視平面圖)。無人機群的聯(lián)盟形成對比如圖7所示。相比于基于帕累托準(zhǔn)則的聯(lián)盟形成算法，所提算法可以實現(xiàn)更高的數(shù)據(jù)上傳量。

圖6 無人機群聯(lián)盟分組結(jié)果

圖7 聯(lián)盟形成算法對比

由于所提基于聯(lián)盟分組的協(xié)作傳輸由聯(lián)盟組網(wǎng)形成和簇頭無人機數(shù)據(jù)上傳兩個階段組成。因而，兩個階段傳輸時隙的分配，也會影響系統(tǒng)總的數(shù)據(jù)上傳性能。如圖8所示，當(dāng)聯(lián)盟組網(wǎng)階段的分配時隙較少時(總時隙T=10)，由于聯(lián)盟內(nèi)各無人機的數(shù)據(jù)沒有完全傳輸給簇頭無人機，因而數(shù)據(jù)上傳量較低。同時，如果聯(lián)盟分組階段的分配時隙過多，則會因為簇頭無人機的數(shù)據(jù)上傳時間不夠，導(dǎo)致傳輸性能降低。因而，合適的時隙分配同樣會影響所提方案的傳輸性能。

圖8 組網(wǎng)階段與數(shù)據(jù)上傳階段分配時間的影響

6 結(jié)束語

本文研究了干擾威脅下，基于博弈理論的無人機群部署與組網(wǎng)問題。無人機群采用基于擁塞博弈的部署算法，可以實現(xiàn)對目標(biāo)區(qū)域高效的數(shù)據(jù)采集，并以分布式優(yōu)化的方式實現(xiàn)干擾躲避，提高數(shù)據(jù)采集量。各無人機采集完數(shù)據(jù)后，應(yīng)用基于聯(lián)盟形成博弈的抗干擾子網(wǎng)形成算法實現(xiàn)協(xié)作傳輸。聯(lián)盟內(nèi)無人機將采集數(shù)據(jù)傳輸給簇頭無人機，簇頭無人機將數(shù)據(jù)上傳給升空平臺編隊，以增強無人機網(wǎng)絡(luò)的魯棒性和可靠性。最后，仿真結(jié)果表明，所提算法相較于傳統(tǒng)算法有明顯的性能提升。