分布式多無人機(jī)編隊(duì)控制與博弈算法研究*

馬特，鄭致遠(yuǎn)，趙軍虎

(火箭軍工程大學(xué)，陜西 西安 710025)

0 引言

多無人機(jī)(unmanned aerial vehicles,UAVs)系統(tǒng)的編隊(duì)隊(duì)形控制問題多年來一直是研究熱點(diǎn)[1-3]。對(duì)于多無人機(jī)編隊(duì)問題，分布式控制方法相較于集中式的控制有很大的優(yōu)勢(shì)[4]，主要體現(xiàn)在：①實(shí)現(xiàn)“去中心化”，每個(gè)智能體和鄰居智能體進(jìn)行單向或者雙向通信，不需要一個(gè)中心智能體，因此，節(jié)約了通信成本。②每個(gè)智能體都能進(jìn)行獨(dú)立計(jì)算并決策，具有良好的自主性，同時(shí)保護(hù)了個(gè)體隱私。③系統(tǒng)具有良好的拓展性和魯棒性。在軍事斗爭(zhēng)中，甚至單個(gè)智能體遭到破壞，其他智能體仍然能夠照常完成目標(biāo)任務(wù)。④單個(gè)智能體都可以獨(dú)立控制自身行為，因而系統(tǒng)具有很好的適應(yīng)性。近年來，為了實(shí)現(xiàn)多智能體的自主編隊(duì)，不少學(xué)者提出了分布式控制算法。例如，文獻(xiàn)[5]研究了只需要測(cè)量相對(duì)位置實(shí)現(xiàn)多智能體編隊(duì)的分布式控制算法；文獻(xiàn)[6]研究了有限時(shí)間多智能體系統(tǒng)的一致性分布式控制算法；文獻(xiàn)[7]利用相對(duì)位置反饋實(shí)現(xiàn)縮放尺寸的分布式編隊(duì)控制算法；文獻(xiàn)[8]研究了多機(jī)器人的分布式自適應(yīng)一致性追蹤控制算法。以上研究都針對(duì)編隊(duì)問題展開，實(shí)際上，多無人機(jī)的編隊(duì)可以轉(zhuǎn)化為分布式博弈問題來解決。

近年來，由于其在金融[9]、環(huán)境工程[10]、能源領(lǐng)域[11]以及軍事斗爭(zhēng)領(lǐng)域[12]的廣泛應(yīng)用，博弈問題即納什均衡點(diǎn)(Nash equilibrium)的求解問題得到了廣泛關(guān)注。很多學(xué)者在博弈問題的理論研究和工程實(shí)踐應(yīng)用都做出了相關(guān)的研究。例如，文獻(xiàn)[13]研究了博弈論在投標(biāo)決策過程中的影響；文獻(xiàn)[14]結(jié)合神經(jīng)網(wǎng)絡(luò)研究了博弈論在數(shù)字土壤映射中的應(yīng)用。文獻(xiàn)[15]基于博弈論研究了艦載無人機(jī)編隊(duì)協(xié)同目標(biāo)分配問題；文獻(xiàn)[16]基于納什議價(jià)研究了無人機(jī)自主編隊(duì)自主重構(gòu)控制方法。

目前，很少有人將多無人機(jī)的編隊(duì)隊(duì)形問題與博弈論相結(jié)合的研究。本文研究了多無人機(jī)的編隊(duì)隊(duì)形控制問題，將無人機(jī)的編隊(duì)問題轉(zhuǎn)化為博弈問題即納什均衡點(diǎn)的求解問題，基于狀態(tài)反饋控制和梯度下降，設(shè)計(jì)了分布式控制算法。在飛行編隊(duì)中，每個(gè)無人機(jī)個(gè)體并不需要其他所有無人機(jī)的位置信息，只需要鄰居無人機(jī)的信息，最終實(shí)現(xiàn)無人機(jī)的編隊(duì)。

1 多無人機(jī)編隊(duì)與分布式博弈

1.1 多無人機(jī)編隊(duì)

考慮架四旋翼無人機(jī)系統(tǒng)的編隊(duì)隊(duì)形控制問題，其中無人機(jī)的動(dòng)態(tài)系統(tǒng)可以表示為

(1)

無人機(jī)編隊(duì)控制的目的是設(shè)計(jì)無人機(jī)的控制輸入ui，實(shí)現(xiàn)多無人機(jī)的自主編隊(duì)。

1.2 分布式博弈問題

在分布式博弈中，博弈個(gè)體之間存在博弈關(guān)系，每個(gè)博弈個(gè)體的目標(biāo)不但和自己有關(guān)還和其他博弈個(gè)體相關(guān)，每個(gè)博弈個(gè)體都想通過改變自己的決策來達(dá)到自己的目的。

1.2.1 圖論

1.2.2 博弈問題描述

在博弈問題中，每一個(gè)博弈個(gè)體都有一個(gè)代價(jià)函數(shù)，這個(gè)代價(jià)函數(shù)不但和自己的行為決策有關(guān)，還和其他所有的博弈個(gè)體的行為決策有關(guān)。Ji(qi,q-i)∶RNm→R表示個(gè)體i的代價(jià)函數(shù)，其中qi∈Rm代表個(gè)體i的決策，q-i=col(q1,q2,…,qi-1,qi+1,…qN)代表其他博弈個(gè)體的決策，每一個(gè)博弈個(gè)體的目標(biāo)都是最小化：

(2)

(3)

從式(3)可以得出，當(dāng)博弈個(gè)體處于納什平衡點(diǎn)的時(shí)候，任意一方個(gè)體都不能單獨(dú)改變自己的決策來減小自己的代價(jià)函數(shù)，也就是說每個(gè)博弈個(gè)體都處于最差情況下的最優(yōu)狀態(tài)。

1.2.3 問題轉(zhuǎn)化

多旋翼無人機(jī)系統(tǒng)(1)的編隊(duì)使多無人機(jī)的位置達(dá)到理想值，而博弈問題的目標(biāo)在于通過分布式算法使決策收斂到納什均衡點(diǎn)。那么通過為無人機(jī)設(shè)計(jì)合理的目標(biāo)函數(shù)使得納什均衡點(diǎn)為無人機(jī)編隊(duì)飛行的解。具體為無人機(jī)如下目標(biāo)方程：

(4)

(5)

定理1.在無向連通圖的通信拓?fù)湎拢琿*=col(q1,q2,…,qN)是博弈問題(2)的納什均衡點(diǎn)，當(dāng)且僅當(dāng)下列條件成立：

(6)

定理2.博弈問題(2)的解，即納什均衡點(diǎn)滿足多無人機(jī)理想編隊(duì)要求，且編隊(duì)的幾何中心為

證.根據(jù)目標(biāo)方程式(4)以及定理1，納什均衡點(diǎn)滿足

(7)

2 控制器設(shè)計(jì)

首先，旋翼無人機(jī)的動(dòng)態(tài)模型可以被寫成歐拉-拉格朗日系統(tǒng)的形式[19]，即

(8)

式中:gi(qi)=[0,0,mig,0,0,0]T，τi=[Fi,Ni]T∈R6，F(xiàn)i=R[0,0,ui]T，

(9)

R為由機(jī)體系轉(zhuǎn)變到慣性系的轉(zhuǎn)換矩陣，可以表達(dá)為

綜上所述，無人機(jī)的動(dòng)態(tài)模型轉(zhuǎn)化為歐拉拉格朗日形式為

其中，Ez=[0,0,1]T。

基于狀態(tài)反饋和梯度下降為多無人機(jī)系統(tǒng)設(shè)計(jì)如下分布式控制算法：

(10)

式中:k1,k2為控制增益；yij為輔助變量;y-i=col(yi1,yi2,…,yi(i-1),yi(i+1),…,yiN)。

定理3.旋翼無人機(jī)系統(tǒng)式(1)通過分布式控制算法式(10)可以實(shí)現(xiàn)博弈問題(2)的納什均衡點(diǎn)的求解，即實(shí)現(xiàn)理想的編隊(duì)。

證.首先，結(jié)合無人機(jī)系統(tǒng)式(1)和分布式控制算法式(10),得到：

(11)

寫成緊湊的形式如下：

(12)

當(dāng)系統(tǒng)達(dá)到平衡點(diǎn)的時(shí)候，得到：

(13)

3 仿真校驗(yàn)

考慮6架旋翼無人機(jī)理想編隊(duì)問題。通信拓?fù)溥x擇環(huán)形圖1所示。

圖1 通信拓?fù)鋱DFig.1 Communication topology

即它的拉普拉斯矩陣為

(14)

6架無人機(jī)的系統(tǒng)參數(shù)如表1所示。

表1 旋翼無人機(jī)系統(tǒng)參數(shù)Table 1 Parameters of the six quadrotor UAVs

6架無人機(jī)的初始位置和初始?xì)W拉角如表2所示。

Δ1=[-2.5,-2.5,-2.5,0,0,0]T，
Δ2=[-2.5,2.5,-2.5,0,0,0]T，
Δ3=[-2.5,2.5,2.5,0,0,0]T，Δ4=[-2.5,-2.5,2.5,0,0,0]T，
Δ5=[22.5,0,0,0,0,0]T，
Δ6=[10,0,0,0,0,0]T.

表2 無人機(jī)的初始位置和初始?xì)W拉角Table 2 Initial positions and attitudes

理想的編隊(duì)模型如圖2所示。

圖2 理想編隊(duì)模型Fig.2 Desired formation

如圖3所示為6架無人機(jī)由初始位置運(yùn)動(dòng)到編隊(duì)位置的軌跡。圖4～6分別為無人機(jī)的滾動(dòng)、偏航、俯仰角。仿真結(jié)果顯示無人機(jī)姿態(tài)角幅值變化均未超出一般旋翼無人機(jī)的姿態(tài)角的約束要求。6架旋翼無人機(jī)從初始位置出發(fā)，通過改變姿態(tài)角運(yùn)動(dòng)至理想編隊(duì)位置，而后姿態(tài)角恢復(fù)為0并保持此平衡狀態(tài)。仿真結(jié)果充分驗(yàn)證了本文提出算法的有效性。

圖3 旋翼無人機(jī)的編隊(duì)飛行軌跡Fig.3 Position trajectories of UAVs

圖4 無人機(jī)的滾轉(zhuǎn)角Fig.4 Roll angles of UAVs

圖5 無人機(jī)的偏航角Fig.5 Yaw angles of UAVs

圖6 旋翼無人機(jī)的俯仰角Fig.6 Pitch angles of UAVs

為了進(jìn)一步驗(yàn)證算法的拓展性和魯棒性，本文進(jìn)一步考慮在編隊(duì)過程中，任意通信中斷情況下(無人機(jī)通信拓?fù)淙匀粷M足無向連通的要求)，無人機(jī)群完成理想編隊(duì)的情況。

考慮原始無人機(jī)群理想編隊(duì)問題，但在編隊(duì)過程中時(shí)間t=25 s時(shí)，編號(hào)1,6的無人機(jī)之間的通信中斷，在此狀況下驗(yàn)證無人機(jī)群能否仍然完成理想編隊(duì)任務(wù)。

仿真結(jié)果如圖7所示，在時(shí)間t=25 s時(shí)，編號(hào)1,6的無人機(jī)之間的通信中斷，雖然仿真實(shí)驗(yàn)中無人機(jī)的軌跡存在微弱抖動(dòng)，但無人機(jī)群仍然較好完成了編隊(duì)任務(wù)，證明了算法的魯棒性。

圖7 部分通信中斷下旋翼無人機(jī)的編隊(duì)飛行軌跡Fig.7 Position trajectories of UAVs under communication interruption

4 結(jié)束語(yǔ)

針對(duì)多無人機(jī)的編隊(duì)問題，本文將分布式控制與博弈論相結(jié)合，提出一種基于博弈的分布式控制算法。將多無人機(jī)的編隊(duì)問題轉(zhuǎn)化成博弈問題，利用一致性方法實(shí)現(xiàn)對(duì)多無人機(jī)的全局信息進(jìn)行估計(jì)，通過梯度下降實(shí)現(xiàn)納什均衡點(diǎn)的求解，最終實(shí)現(xiàn)理想編隊(duì)。文中給出的仿真實(shí)例說明了該方法的有效性。