利用部分重疊信道的多無人機自主協(xié)同優(yōu)化抗干擾*

姚昌華，程 康，張建照，劉 鑫，胡程程

(1.南京信息工程大學(xué) 電子與信息工程學(xué)院,南京 210044；2.國防科技大學(xué)第六十三研究所,南京 210007；3.桂林理工大學(xué) 信息科學(xué)與工程學(xué)院,廣西 桂林 541007)

0 引 言

近年來，無人機技術(shù)發(fā)展迅猛，成本低、靈活和反應(yīng)迅速的優(yōu)點使得無人機應(yīng)用在軍事、交通和農(nóng)業(yè)等多個領(lǐng)域，其中多無人機協(xié)同技術(shù)更是備受關(guān)注。多無人機協(xié)同技術(shù)是人們根據(jù)自然界中蜂群和魚群等生物行為模仿得到的。多無人機協(xié)同技術(shù)通過協(xié)同作戰(zhàn)、共享信息和分工合作完成目標任務(wù)[1]，實現(xiàn)群體利益最大化。然而，多無人機通信網(wǎng)絡(luò)容易受到惡意干擾，導(dǎo)致無人機的通信數(shù)據(jù)缺失、中斷，因此多無人機通信網(wǎng)絡(luò)的抗干擾問題是亟待解決的問題。

在多無人機通信網(wǎng)絡(luò)場景中，無人機的目標是實現(xiàn)最優(yōu)信息傳輸速率，干擾機的目標是實現(xiàn)干擾效果最大化。因此，考慮到無人機和干擾機的決策分層結(jié)構(gòu)，博弈論是解決多無人機通信網(wǎng)絡(luò)抗干擾問題的主流方法之一。針對不同用戶之間的相互干擾問題，文獻[2]提出了一種MAC層干擾博弈模型，實現(xiàn)了用戶之間干擾的最小化。針對通信網(wǎng)絡(luò)中干擾環(huán)境下的分布式信道分配問題，文獻[3]提出了一種非合作博弈的方法，實現(xiàn)了最優(yōu)信道資源分配。針對認知無線網(wǎng)絡(luò)中用戶控制信道被干擾問題，文獻[4]提出了一種隨機博弈的方法，實現(xiàn)了動態(tài)信道變化和不完全感知的情況下減弱干擾的效果。

部分研究采用Stackelberg博弈模型解決抗干擾問題。針對多無人機通信網(wǎng)絡(luò)中不完全信息下功率控制問題，文獻[5]提出了基于Bayesian-Stackelberg博弈的抗干擾模型，實現(xiàn)了博弈雙方獲得最佳傳輸功率。針對多無人機通信網(wǎng)絡(luò)中的同頻互擾和惡意干擾問題，文獻[6]提出了基于Stackelberg博弈的抗干擾模型，利用對偶優(yōu)化理論，優(yōu)化博弈雙方的傳輸功率，提高多無人機通信網(wǎng)絡(luò)性能。

然而，上述文獻的研究重點是同信道抗干擾場景，主要關(guān)注干擾機對無人機的惡意干擾。針對多無人機通信網(wǎng)絡(luò)中相互干擾與信息交換成本之間的關(guān)系問題，文獻[7]利用部分重疊信道的特性,提出了雙向共識博弈的模型，從而最大化多無人機通信網(wǎng)絡(luò)的效用。針對具有部分重疊信道的機會頻譜接入問題，文獻[8]利用博弈論證明了部分重疊信道可以提高頻率利用率，減輕干擾，提高通信網(wǎng)絡(luò)吞吐量。

綜上所述，對于同信道抗干擾場景，利用博弈論優(yōu)化用戶傳輸參數(shù)，確保多無人機通信網(wǎng)絡(luò)的性能的研究已經(jīng)取得較多成果，但同信道抗干擾場景的應(yīng)用范圍具有單一性和局限性。因此，本文研究了多無人機通信網(wǎng)絡(luò)抗干擾中的傳輸功率和信道聯(lián)合優(yōu)化問題，利用部分重疊信道的特性，優(yōu)化多無人機通信網(wǎng)絡(luò)的抗干擾性能?？紤]多無人機通信網(wǎng)絡(luò)面臨外部惡意干擾、用戶間互擾，以及與部分重疊信道切換問題，構(gòu)建了利用部分重疊信道條件下進行信道和功率聯(lián)合選擇優(yōu)化的Stackelberg博弈抗干擾模型；對博弈參與者設(shè)計不同的效用函數(shù)，利用凸優(yōu)化與對偶理論證明所提博弈具有唯一博弈均衡解，并提出了基于次梯度迭代的算法求解博弈均衡解，獲得無人機用戶在干擾條件下的部分重疊信道選擇和功率優(yōu)化解。通過仿真對比分析了用戶與干擾機在同信道、部分重疊信道場景下功率收斂值，不同數(shù)量用戶對多無人機通信網(wǎng)絡(luò)抗干擾性能的影響，以及信道增益和干擾增益等參數(shù)對收斂功率值的影響。

1 系統(tǒng)模型和問題建模

1.1 多無人機通信網(wǎng)絡(luò)抗干擾系統(tǒng)模型

在多無人機通信網(wǎng)絡(luò)中存在3個無人機用戶和1個干擾機，其中每個無人機用戶包括1個發(fā)送端無人機和1個接收端無人機。如圖1所示，無人機用戶和干擾機起初在相同信道工作，通過博弈對抗，無人機用戶和干擾機獲得最優(yōu)的工作功率。功率較大的無人機用戶i為獲得更高的傳輸效用，切換到部分重疊2信道躲避干擾機的干擾效果。

圖1 多無人機通信網(wǎng)絡(luò)抗干擾模型

對于干擾機而言，它能感知無人機用戶的動態(tài)，跟蹤無人機用戶i切換到部分重疊2信道并且同時發(fā)射干擾信號干擾1信道的無人機用戶，動態(tài)調(diào)整攻擊策略，實現(xiàn)對無人機用戶破壞效果最大化。對于無人機用戶而言，動態(tài)調(diào)整無人機用戶的抗干擾策略，確保整個無人機群通信網(wǎng)絡(luò)性能。

為了提高多無人機通信網(wǎng)絡(luò)的頻譜利用效率，采用如圖2所示的部分重疊信道。在IEEE 802.11b頻帶中提供11個部分重疊的信道，信道1、6和11互不重疊(正交)。常見的無線通信網(wǎng)絡(luò)采用非重疊信道，即正交信道，以避免相鄰信道中頻譜泄露造成的相互干擾。然而，文獻[8]認為用戶的發(fā)送機與接收機可以在部分重疊信道進行通信；同時文獻[9]與文獻[10]認為部分重疊信道可以減弱通信干擾、提高頻譜利用率并優(yōu)化網(wǎng)絡(luò)吞吐量。因此，利用部分重疊信道減少同信道干擾機帶來的惡意干擾是可行的。

圖2 802.11b頻帶中分布的信道

由于相鄰信道存在重疊部分會對接收機接收數(shù)據(jù)造成干擾，根據(jù)文獻[11]，重疊程度可以用干擾因子H(δni)表述：

(1)

式中：n,i表示用戶或干擾機所處的信道；δni表示用戶之間的信道差數(shù)或干擾機與用戶之間的信道差數(shù)。

1.2 問題建模

根據(jù)文獻[12]與文獻[13]可知Stackelberg博弈具有分層特性，對無人機用戶和干擾機設(shè)計效用函數(shù)，同時考慮同頻互擾和惡意干擾。首先就用戶而言，它的目標是通過抗干擾策略實現(xiàn)傳輸效用最大化。無人機用戶i(i=1,2,…,n)的效用函數(shù)表示為

EiPi-ζidiPi-diN。

(2)

式中：B表示信道帶寬；αi表示無人機用戶i發(fā)送機到接收機的信道增益；β表示干擾機對無人機用戶i接收機的干擾增益；θm表示無人機用戶m對無人機用戶i接收機的同頻互擾系數(shù)；N0表示信道噪聲功率；Ei和ζi分別表示無人機用戶i的傳輸代價與切換信道代價；di表示無人機用戶i切換信道后與之前信道的間隔;ui和v分別表示無人機用戶i與干擾機的信道位置；N表示無人機用戶i探尋相鄰信道消耗的能量。

對于干擾機而言，它的目標是實現(xiàn)對無人機用戶的干擾效果最大化。因此，考慮干擾機在干擾過程中的傳輸代價與切換信道代價，干擾機的效用函數(shù)表示為

CJ-ζdJ-M。

(3)

式中：求和公式表示所有無人機用戶的總傳輸信息量，在公式前增加負號表示干擾機的干擾效果；C與ζ分別表示干擾機的傳輸代價與切換代價；d表示干擾機切換信道后與之前信道的間隔；M表示干擾機探尋無人機用戶時消耗的能量。

此外，為了能更好地體現(xiàn)無線通信系統(tǒng)的性能變化，設(shè)置了系統(tǒng)效用函數(shù)W：

(4)

2 抗干擾博弈優(yōu)化分析

本節(jié)采用Stackelberg博弈對多無人機通信網(wǎng)絡(luò)抗干擾進行分析。假設(shè)博弈的領(lǐng)導(dǎo)者是干擾機，優(yōu)先干擾行動，而作為博弈跟隨者的無人機用戶隨后采取抗干擾策略，在多次迭代后，領(lǐng)導(dǎo)者博弈和跟隨者博弈達到納什均衡解。圖3是Stackelberg博弈過程示意圖，為避免求解Stackelberg均衡解過于復(fù)雜，分析過程中使用3個無人機用戶，采用逆向遞推法分析，先分析跟隨者博弈，再分析領(lǐng)導(dǎo)者博弈。

圖3 Stackelberg博弈過程

2.1 Stackelberg均衡求解

在Stackelberg博弈中，作為跟隨者的無人機用戶，通過感知干擾機的干擾策略后，會對自身的傳輸功率調(diào)整，因此，對于無人機用戶而言，其優(yōu)化目標可以表示為

(5)

式中：PM表示無人機用戶的最大功率。在博弈過程中，干擾機的干擾功率優(yōu)先給出，無人機用戶i不斷對自身功率調(diào)整，得出最優(yōu)傳輸功率為

(6)

由無人機用戶的效用函數(shù)可知，Ui是關(guān)于Pi的函數(shù)且二階導(dǎo)數(shù)小于0，即

(7)

因此，效用函數(shù)Ui是關(guān)于Pi的凹函數(shù)。本節(jié)構(gòu)建拉格朗日函數(shù)優(yōu)化問題，引入約束條件和非負對偶變量λi，將效用函數(shù)優(yōu)化問題認為是凸優(yōu)化問題。無人機用戶i的拉格朗日函數(shù)為

EiPi-ζidiPi-diN+λi(PM-Pi) ，

(8)

那么對應(yīng)的拉格朗日對偶函數(shù)可以表示為

(9)

通過文獻[14]中的KKT條件

Ei-ζidi-λi

(10)

作為領(lǐng)導(dǎo)者的干擾機優(yōu)先采取干擾策略，通過博弈對抗，獲得干擾機的最優(yōu)策略。因此，可以確定干擾機的優(yōu)化目標為

J*=argmaxV(P1(J),…,Pi(J),…,Pn(J),J)
s.t.J≤JM。

(11)

式中：JM表示干擾機的最大功率。通過對跟隨者博弈的分析，能確定干擾機的效用函數(shù)為

V(P1(J),…,Pi(J),…,Pn(J),J)=

(12)

(13)

由公式(14)可知，干擾機的效用函數(shù)V是一個關(guān)于J的凹函數(shù)：

J≤Ωmin,n=3 。

(14)

干擾機的拉格朗日函數(shù)為

L(P1(J),…,Pi(J),…,Pn(J),J)=

(15)

通過對干擾機的拉格朗日函數(shù)求偏導(dǎo)，令一階偏導(dǎo)數(shù)為零，則

C-ζd-μ。

(16)

最終，能得到干擾機的最優(yōu)干擾功率

J*=J，

(17)

其中J可由計算機求解。

上面研究了3個無人機用戶的場景，下面考慮多無人機通信網(wǎng)絡(luò)中無人機用戶數(shù)為n(n≥3)時的情況，總能獲得以下最優(yōu)策略：

(18)

其中，優(yōu)先獲得無人機用戶i的最優(yōu)抗干擾策略Pi(J)，通過Pi(J)能獲得干擾機的最優(yōu)干擾策略J，但J需要滿足以下條件：

(19)

式中：i=1,2,3,…,n。

2.2 Stackelberg均衡的存在性和唯一性證明

定理1 所構(gòu)建的Stackelberg博弈中的Stackelberg均衡一定存在。

證明：根據(jù)對跟隨者博弈和領(lǐng)導(dǎo)者博弈的分析，由公式(7)可知，任意無人機用戶的效用函數(shù)都是關(guān)于Pi的凹函數(shù)。同理，由公式(15)可知，干擾機的效用函數(shù)是關(guān)于J的凹函數(shù)。由文獻[15]可知，所構(gòu)建的Stackelberg博弈至少存在一個納什均衡解，領(lǐng)導(dǎo)者博弈與跟隨者博弈的最優(yōu)策略構(gòu)成了Stackelberg均衡。

定理2 所構(gòu)建的Stackelberg博弈中的Stackelberg均衡解是唯一的。

證明：由公式(7)和公式(15)可知，無人機用戶和干擾機的效用函數(shù)是凹函數(shù)，可以將效用函數(shù)優(yōu)化問題看成凸優(yōu)化問題。根據(jù)凸優(yōu)化理論和對偶優(yōu)化理論可知，跟隨者博弈與領(lǐng)導(dǎo)者博弈的最優(yōu)策略是唯一的，即

(20)

證畢。

2.3 優(yōu)化算法

通過上述分析，本文利用次梯度迭代算法求解Stackelberg均衡解。

次梯度迭代算法如下：

輸出：Stackelberg均衡解P1,P2,…,Pn,J，即無人機用戶與干擾機的最優(yōu)功率。

循環(huán)：fork=0 tokmax;

1k=k+1;

2 根據(jù)無人機用戶的效用函數(shù)求解功率表達式：

Pn(k+1)=Pn(J)，n=1,2,…,n；

3 根據(jù)P1(k+1)，P2(k+1)…Pn(k+1)，求解干擾機功率J(k+1);

4 更新拉格朗日乘子：

6k=kmax,結(jié)束循環(huán)。

3 仿真分析

3.1 參數(shù)設(shè)置

假設(shè)無人機用戶隨機分布在50 m×50 m的網(wǎng)格區(qū)域中，如圖4所示。區(qū)域內(nèi)存在7個無人機節(jié)點，其中6個無人機節(jié)點代表3個無人機用戶，即每個無人機用戶包含發(fā)送機與接收機。仿真參數(shù)如表1所示。

圖4 無人機用戶與干擾機的位置分布

表1 通信參數(shù)

3.2 收斂性分析

通過Stackelberg博弈和次梯度迭代優(yōu)化算法，可以分析得到無人機用戶與干擾機在同信道與部分重疊信道的Stackelberg均衡解，如圖5所示(圖中重疊信道指干擾機與用戶2、3的信道關(guān)系)。從圖中可以看到，當(dāng)無人機用戶與干擾機處于同信道時，雙方的博弈要比部分重疊信道的博弈激烈，這是由于無人機用戶與干擾機處于部分重疊信道時，會產(chǎn)生干擾因子，從而減弱了雙方博弈的起伏程度。

圖5 3用戶同信道與部分重疊信道的傳輸功率收斂曲線

其次，在同信道與重疊信道的傳輸功率收斂曲線對比圖中可以發(fā)現(xiàn)，當(dāng)用戶1和干擾機同時處于部分重疊信道時，干擾機的收斂功率值與同信道場景相比有所下降，3個無人機用戶的收斂功率值與同信道場景相比有所提升，這說明本文提出利用部分重疊信道的特性降低干擾的想法得到驗證。

同時，為了研究不同數(shù)量無人機用戶的傳輸功率收斂情況，本文設(shè)計了部分重疊信道用戶2、用戶3的場景。如圖6所示，通過對比部分重疊信道用戶2與用戶3的傳輸功率收斂曲線圖可以發(fā)現(xiàn)，部分重疊信道用戶3達到傳輸功率收斂需要更多次數(shù)的迭代，并且干擾機與無人機用戶的雙方博弈更加激烈。因此，可以得出結(jié)論：在多無人機通信網(wǎng)絡(luò)中，隨著無人機用戶數(shù)量的增加，干擾機與無人機用戶的博弈愈加激烈，需要更多的迭代次數(shù)才能達到收斂。

圖6 部分重疊信道用戶2與用戶3傳輸功率收斂曲線圖

此外，從圖6中還可以發(fā)現(xiàn)，在部分重疊信道用戶2的場景中增加1個無人機用戶后，干擾機的收斂功率值會相對降低，無人機用戶的收斂功率值會相對增加。因此，可以得出在多無人機通信網(wǎng)絡(luò)中，隨著無人機用戶數(shù)量的增加，多無人機通信網(wǎng)絡(luò)的抗干擾能力越強。

為了研究用戶的信道增益對干擾機和用戶的收斂功率值的影響，本文選擇部分重疊信道用戶3的場景，嘗試改變用戶1的信道增益α1，仿真結(jié)果如圖7所示。從圖中可以看到，隨著用戶1的信道增益α1的增加，用戶1的收斂功率值逐漸增加，干擾機的收斂功率值逐漸降低，其余用戶的收斂功率值相對降低。因此，可以得出用戶1與干擾機之間存在競爭關(guān)系，用戶1與其余用戶之間也并非是合作關(guān)系，甚至存在競爭關(guān)系。

圖7 信道增益α1的變化對干擾機和用戶收斂功率值的影響

同理，為了研究干擾機的干擾增益對干擾機和用戶的收斂功率值的影響，嘗試改變干擾機的干擾增益β，仿真結(jié)果如圖8所示。從圖中可以看到，隨著干擾機的干擾增益β的增加，用戶1、2、3的收斂功率值逐漸減少，干擾機的收斂功率值逐漸增加。因此，可以得出結(jié)論：干擾機與用戶群之間存在競爭關(guān)系。

圖8 干擾增益β的變化對干擾機和用戶收斂功率值的影響

3.3 系統(tǒng)效用分析

3.2節(jié)分析了用戶、干擾機在同信道與部分重疊信道的功率收斂性，本節(jié)將分析用戶與干擾機在同信道與部分重疊信道的效用值變化，如圖9與圖10所示。從圖中可以看到，與同信道場景相比，部分重疊信道場景下用戶的效用值相對增加，干擾機的效用值相對減少。因此，可以得出結(jié)論：利用部分重疊信道能夠提高無人機用戶的效用值，優(yōu)化多無人機通信網(wǎng)絡(luò)性能。

圖9 無人機用戶在同信道與部分重疊信道的效用值

圖10 干擾機在同信道與部分重疊信道的效用值

為了進一步研究干擾機對無人機用戶的干擾影響，本文研究了部分重疊信道場景下干擾距離l的影響。干擾增益與干擾距離l的關(guān)系β=l-ρ， 其中ρ為路徑衰落因子。圖11給出了干擾距離l對用戶和干擾機效用值的影響。

圖11 干擾機到無人機用戶的距離l對效用值的影響

從圖11可以看到，隨著干擾距離l增加，用戶的效用值逐漸增加，干擾機的效用值逐漸降低，并且用戶與干擾機的效用值增速會減緩。因此，可以得出結(jié)論：隨著干擾機對用戶干擾距離l的增加，干擾機對用戶的干擾效果減弱。

4 結(jié)束語

本文利用部分重疊信道的特性，考慮多無人機通信網(wǎng)絡(luò)中的外部惡意干擾與網(wǎng)絡(luò)內(nèi)部互擾，通過構(gòu)建Stackelberg博弈抗干擾模型，設(shè)計無人機和干擾機的效用函數(shù)，對Stackelberg均衡解的存在性和唯一性進行了分析。在此基礎(chǔ)上提出基于次梯度迭代的算法求解Stackelberg均衡解，并分析其收斂性能。仿真結(jié)果表明，利用部分重疊信道降低了干擾機對用戶的惡意干擾、用戶對用戶的同頻干擾，優(yōu)化多無人機通信網(wǎng)絡(luò)性能。此外，在仿真結(jié)果部分，分析了信道增益和干擾增益等參數(shù)對博弈雙方收斂功率值的影響。

本文研究了多無人機通信網(wǎng)絡(luò)抗干擾中的傳輸功率和信道聯(lián)合優(yōu)化問題，仍有許多挑戰(zhàn)和問題值得分析和研究：一是實際應(yīng)用中地形、隨機干擾等不確定因素影響信道狀態(tài)，從而降低多無人機通信網(wǎng)絡(luò)性能，需要考慮更多的影響因素；二是現(xiàn)階段博弈論和強化學(xué)習(xí)等理論被廣泛應(yīng)用在通信抗干擾領(lǐng)域，但學(xué)習(xí)能力強大的深度學(xué)習(xí)還未廣泛應(yīng)用在抗干擾領(lǐng)域，未來應(yīng)對更加智能的干擾源，深度學(xué)習(xí)可以學(xué)習(xí)不同的干擾規(guī)律，主動規(guī)避干擾；三是現(xiàn)階段無人機通信抗干擾處于理論分析階段，實物驗證尚少[16]，未來考慮將博弈論、強化學(xué)習(xí)和深度學(xué)習(xí)算法應(yīng)用在無人機通信抗干擾，并通過軟件無線電外設(shè)(Universal Software Radio Peripheral，USRP)實物驗證算法性能。