基于動態(tài)非零和博弈的無人機(jī)集群協(xié)同對抗方法研究

劉莎 張碩 劉祿

摘要：無人機(jī)集群協(xié)同對抗是當(dāng)今國內(nèi)外學(xué)術(shù)研究的熱點(diǎn)問題，動態(tài)機(jī)動決策是無人機(jī)對抗最重要的研究領(lǐng)域之一。本文提出了一種基于動態(tài)非零和博弈的無人機(jī)集群協(xié)同對抗決策算法。首先，確定對抗雙方的決策集，并通過角度、速度和距離等機(jī)動因素構(gòu)造對抗雙方的態(tài)勢優(yōu)勢。其次，對無人機(jī)集群機(jī)動可選方案進(jìn)行多屬性評價(jià)，進(jìn)一步計(jì)算雙方的動態(tài)收益矩陣，建立動態(tài)非零和納什均衡機(jī)動決策模型。隨后，提出了改進(jìn)的粒子群算法，高效求解動態(tài)非零和納什均衡機(jī)動決策模型，得到最優(yōu)的混合策略。最后，通過仿真試驗(yàn)驗(yàn)證了所提出的協(xié)同動態(tài)機(jī)動決策算法的優(yōu)越性，有效提升了無人機(jī)集群協(xié)同對抗能力，為無人機(jī)集群指揮、決策及控制的智能化發(fā)展提供了理論及應(yīng)用基礎(chǔ)。

關(guān)鍵詞：無人機(jī)集群；協(xié)同對抗；動態(tài)博弈；非零和博弈；納什均衡

中圖分類號：O225文獻(xiàn)標(biāo)識碼：ADOI：10.19452/j.issn1007-5453.2022.02.012

隨著無人機(jī)技術(shù)的快速發(fā)展，無人機(jī)已廣泛應(yīng)用于農(nóng)業(yè)、航拍、測繪、運(yùn)輸、救援甚至是軍事領(lǐng)域。在此基礎(chǔ)上，無人機(jī)集群技術(shù)也得到了一定的發(fā)展，如無人機(jī)集群燈火表演、野生動植物觀察等[1-6]。在無人機(jī)集群對抗領(lǐng)域，目前相關(guān)研究仍處在初期發(fā)展階段，其主要的難點(diǎn)在于如何擺脫傳統(tǒng)人為的路徑規(guī)劃，進(jìn)而實(shí)現(xiàn)集群自身的智能化決策和自適應(yīng)協(xié)同。此外，如何在動態(tài)的對抗過程中實(shí)現(xiàn)協(xié)同機(jī)動對抗智能決策的優(yōu)化也是無人機(jī)集群協(xié)同對抗中的一個重要問題。

目前，無人機(jī)集群對抗領(lǐng)域已取得一些建設(shè)性的研究成果?；菀婚萚7]利用不完全信息動態(tài)博弈模型，使用免疫進(jìn)化算法求解模型的貝葉斯納什均衡解，得到無人機(jī)的最優(yōu)策略序列。姚宗信[8]通過建立基于多智能體的多機(jī)協(xié)同作戰(zhàn)任務(wù)決策方法結(jié)構(gòu)模型，運(yùn)用基于神經(jīng)網(wǎng)絡(luò)和靜態(tài)博弈模型的多機(jī)協(xié)同對抗多目標(biāo)任務(wù)決策方法，實(shí)現(xiàn)了多機(jī)協(xié)同對抗多目標(biāo)任務(wù)決策方法仿真研究。近幾年，無人機(jī)集群協(xié)同對抗開始使用態(tài)勢實(shí)時分析和動態(tài)博弈的思想開展研究。邵將等[9]通過建立多無人機(jī)協(xié)同空戰(zhàn)連續(xù)決策過程，使用貝葉斯推論對空戰(zhàn)態(tài)勢進(jìn)行實(shí)時評估，并以此設(shè)計(jì)的決策規(guī)則進(jìn)行機(jī)動決策。陳俠等[10-11]通過建立無人機(jī)的能力函數(shù)，建立多無人機(jī)協(xié)同打擊任務(wù)的攻防博弈模型，給出了有限策略靜態(tài)博弈模型與純策略納什均衡的求解方法。由上述研究可以看出，針對無人機(jī)集群的能力和實(shí)時態(tài)勢分析是集群動態(tài)協(xié)同對抗的模型基礎(chǔ)[12]。但由于對抗雙方目標(biāo)策略的不同，實(shí)際上雙方的對抗并不是零和博弈，而更符合非零和博弈的特征。

基于上述分析，本文針對無人機(jī)集群協(xié)同對抗問題，通過雙方的態(tài)勢分析對決策集進(jìn)行多屬性評價(jià)和目標(biāo)策略選擇，建立雙方的動態(tài)非零和納什均衡機(jī)動決策模型。進(jìn)一步通過改進(jìn)的粒子群算法，實(shí)現(xiàn)非零和博弈模型的納什均衡解的高效計(jì)算，得出雙方的最優(yōu)混合策略。最后，通過數(shù)值仿真試驗(yàn)驗(yàn)證所提方法的有效性。

1動態(tài)非零和納什均衡機(jī)動決策建模

1.1機(jī)動策略

1.3.3動態(tài)納什均衡決策模型

上兩節(jié)給出了F和G雙方單位時間的非零和博弈過程。由于雙方的博弈為動態(tài)過程，因此需要建立動態(tài)的納什均衡決策模型。主要的步驟分為以下幾步：（1）在給定雙方初始位置姿態(tài)和性能參數(shù)后，確定雙方對抗的總時長T、當(dāng)前時間t以及單次博弈的單位時長Δt；（2）根據(jù)當(dāng)前雙方的位置姿態(tài)，在不同的策略組合下，計(jì)算雙方個體間距離優(yōu)勢、速度優(yōu)勢以及角度優(yōu)勢，得到整體的總體態(tài)勢函數(shù)，根據(jù)當(dāng)前的集群策略目標(biāo)計(jì)算雙方的收益矩陣，建立非零和博弈模型；（3）求解非零和博弈模型的納什均衡解得出雙方的最優(yōu)混合策略；（4）根據(jù)求得的混合策略隨機(jī)得出下一步的策略，得到下一步的位置和姿態(tài)；（5）將時間更新為t +Δt，判斷是否t +Δt > T或雙方已達(dá)到停止博弈條件（如一方以實(shí)現(xiàn)絕對優(yōu)勢條件）；如果是，進(jìn)行第（6）步；如果不是，進(jìn)行第（2）步；（6）博弈對抗結(jié)束，判斷博弈結(jié)果。

2動態(tài)非零和納什均衡策略的優(yōu)化

上一節(jié)已經(jīng)給出了無人機(jī)集群協(xié)同對抗的動態(tài)非零和納什均衡機(jī)動決策模型及其具體步驟。如1.3.3節(jié)所示，步驟中最核心的問題是第3項(xiàng)“求解非零和博弈模型的納什均衡解得出雙方的最優(yōu)混合策略”，即為求解最優(yōu)化問題式（20）。

在實(shí)踐中，粒子常常陷入局部最優(yōu)，所提出的參數(shù)優(yōu)化算法應(yīng)該能夠改變其原始軌跡，以適應(yīng)性地探索新的解空間。式（23）中所用的rand1，rand2隨機(jī)數(shù)，無法克服隨機(jī)進(jìn)化搜索中的盲目性，無法進(jìn)一步實(shí)現(xiàn)粒子的高效搜索。近年來，許多研究表明，如果粒子收斂太快，它們將在幾代內(nèi)局部最優(yōu)收縮[15]。這種現(xiàn)象將導(dǎo)致個人之間相似的搜索行為，并導(dǎo)致多樣性的喪失。如果粒子被困在局部區(qū)域，則由于它們相似的搜索行為和缺乏自適應(yīng)檢測能力，它們將很難跳出局部最優(yōu)。為了提高隨機(jī)搜索的多樣性，在改進(jìn)的粒子群算法中我們使用Levy過程作為隨機(jī)搜索的隨機(jī)過程。Levy過程是比Brownian運(yùn)動、Poisson運(yùn)動更廣泛的一類隨機(jī)過程，屬于一類重尾過程，現(xiàn)已廣泛應(yīng)用于搜索、經(jīng)濟(jì)、金融等數(shù)學(xué)模型，具有較強(qiáng)的漂移搜索能力。因此，在已有的模型中加入Levy過程能提高算法的隨機(jī)搜索能力，改善PSO算法的性能，引導(dǎo)粒子移動到希望成為全局最優(yōu)值的不同區(qū)域，并更廣泛地探索求解空間。

綜上所述，在本節(jié)中，提出了一種具有Levy搜索的改進(jìn)方法，該方法為

3無人機(jī)協(xié)同動態(tài)機(jī)動決策算法的仿真試驗(yàn)

前兩節(jié)提出無人機(jī)協(xié)同動態(tài)機(jī)動決策算法模型及優(yōu)化方法。這一部分將給出一項(xiàng)仿真數(shù)值試驗(yàn)，并通過試驗(yàn)驗(yàn)證所提方法的有效性。該仿真試驗(yàn)運(yùn)用1.3.3節(jié)中的對抗博弈步驟，其中第3項(xiàng)“求解非零和博弈模型的納什均衡解得出雙方的最優(yōu)混合策略”使用是第二部分提出的改進(jìn)粒子群優(yōu)化（MPSO）方法。

從初始條件可以看出，對抗開始階段G在角度態(tài)勢上具有優(yōu)勢。在隨后的40步對抗中，可分為如下有三個階段，其對應(yīng)的三維對抗過程如圖1～圖7所示。紅色實(shí)線表示F1的路徑軌跡，紅色虛線表示F2的路徑軌跡，藍(lán)色實(shí)線表示G1的路徑軌跡，藍(lán)色虛線表示G2的路徑軌跡?！?”顯示初始位置，“△”顯示當(dāng)前位置。當(dāng)一方的達(dá)到絕對優(yōu)勢或到達(dá)40步對抗上限時，對抗結(jié)束。

第一階段是態(tài)勢均衡階段（見圖1、圖2），雙方從初始位置出發(fā)在第5步出現(xiàn)對抗態(tài)勢，其中F1和G1相互靠近對抗，F(xiàn)2和G2相互靠近對抗，如圖1所示。

第一階段從第5步～第11步的過程中，F(xiàn)1和G1相互靠近對抗，其中G1的態(tài)勢優(yōu)勢更大；F2和G2相互靠近對抗，其中F2的態(tài)勢優(yōu)勢更大。第11步的對抗過程圖如圖2所示。

第二階段是協(xié)同對抗階段（見圖3～圖5）。在第16步時，和G1對抗中的F1仍處在劣勢，并做出了協(xié)同F(xiàn)2靠近對抗G2的決策，如圖3所示。

圖4為第21步時，F(xiàn)1協(xié)同F(xiàn)2加速靠近G2的過程。而G1在靠近F1的過程中被后者擺脫。這也導(dǎo)致G1在之后的對抗過程中一直處在距離態(tài)勢的劣勢。

圖5為第28步時，F(xiàn)1徹底擺脫G2，并協(xié)同F(xiàn)2靠近對抗G2的過程。此時G1距離態(tài)勢的劣勢仍未能彌補(bǔ)，局部F以二敵一夾擊G2，形成了總體態(tài)勢的優(yōu)勢。

第三階段是絕對優(yōu)勢階段（見圖6、圖7），這一階段F一直保持總體態(tài)勢的絕對優(yōu)勢。圖6為第32步的對抗過程，其中F持續(xù)高速以二敵一夾擊G2，G1仍存在較大的距離態(tài)勢，F(xiàn)保持著總體態(tài)勢的絕對優(yōu)勢。

圖7為第35步時雙方的對抗過程，從圖中的整體態(tài)勢可以看出，雙方的形勢和圖6近似，F(xiàn)仍然保持著總體態(tài)勢的絕對優(yōu)勢。因此，對抗過程結(jié)束。

從如上的仿真對抗過程可以看出，F(xiàn)在初始位置狀態(tài)不占優(yōu)勢的情況下，利用本文提出的協(xié)同動態(tài)機(jī)動決策算法實(shí)現(xiàn)了無人機(jī)集群協(xié)同對抗決策的優(yōu)化，并從16步開始主動改變策略逐步扭轉(zhuǎn)了雙方的對抗態(tài)勢。這也驗(yàn)證了所提出的無人機(jī)協(xié)同動態(tài)機(jī)動決策算法的有效性和優(yōu)越性。

為進(jìn)一步驗(yàn)證本文模型及方法的有效性，本文采取5對5的集群對抗試驗(yàn)仿真。F使用的是本文提出的決策算法，G使用基于最大最小的純策略法。圖8～圖10給出了雙方5對5協(xié)同機(jī)動對抗的仿真結(jié)果。第一階段是態(tài)勢均衡階段，雙方具有態(tài)勢相同的初始條件，圖8為第6步的對抗過程，F(xiàn)和G在第一次交鋒之后調(diào)整姿態(tài)進(jìn)行下一階段的對抗。第二階段是協(xié)同對抗階段，圖9為第12步的對抗過程，G采用純策略重點(diǎn)追擊F的劣勢個體，兩架無人機(jī)追擊F4，3架無人機(jī)追擊F5；F采用混合策略，保持策略的靈活性和對抗的協(xié)同性，處在劣勢的F4和F5相互靠攏，將G無人機(jī)吸引集中后，F(xiàn)1、F2、F3協(xié)同從后方夾擊G，形成如圖10第25步的對抗態(tài)勢。第25步及之后即為第三階段絕對優(yōu)勢階段，F(xiàn)對G實(shí)現(xiàn)后方及側(cè)方的夾擊，形成了絕對的態(tài)勢優(yōu)勢。該仿真結(jié)果驗(yàn)證了本文無人機(jī)協(xié)同動態(tài)機(jī)動決策算法的有效性和優(yōu)越性。

4結(jié)論

本文針對無人機(jī)集群協(xié)同對抗問題，基于實(shí)時態(tài)勢分析建立了動態(tài)非零和納什均衡機(jī)動決策模型，給出了動態(tài)決策步驟和改進(jìn)的粒子群優(yōu)化方法，實(shí)現(xiàn)了無人機(jī)集群協(xié)同對抗的仿真和驗(yàn)證。首先，針對無人機(jī)集群建立決策集，并通過距離、速度、角度優(yōu)勢建立總體態(tài)勢函數(shù)，根據(jù)不同目標(biāo)策略實(shí)現(xiàn)了集群博弈收益函數(shù)的確立；其次，建立了動態(tài)非零和納什均衡機(jī)動決策模型，給出了動態(tài)決策過程的步驟；再次，為了實(shí)現(xiàn)最優(yōu)混合策略對應(yīng)的納什均衡解的求取，提出了改進(jìn)的粒子群優(yōu)化算法，提高了算法的計(jì)算效率；最后，運(yùn)用動態(tài)非零和納什均衡機(jī)動決策模型，本文給出了一個2對2無人機(jī)集群協(xié)同對抗仿真試驗(yàn)，驗(yàn)證了所提方法的有效性。

本文在研究中使用的是完全信息，即集群雙方均可以實(shí)時獲取對方位置和狀態(tài)，然而在實(shí)際對抗過程中會出現(xiàn)不完全信息的情況，這將是我們下一步研究的重點(diǎn)問題。

參考文獻(xiàn)

[1]Zong Q，Wang D，Shao S，et al. Research status and develop-ment of multi UAV coordinated formation flight control[J]. Journal of Harbin Institute of Technology，2017，49（3）：1-14.

[2]Wang Y，Zhang W，Li Y. An efficient clonal selection algorithm to solve dynamic weapon-target assignment game model in UAV cooperative aerial combat[C]// 2016 35th Chinese Control Conference（CCC）. IEEE，2016.

[3]Zhou S，Yin G，Wu Q. UAV cooperative multiple task assignment based on discrete particle swarm optimization[C]// 2015 7th International Conference on Intelligent HumanMachine Systems and Cybernetics. IEEE，2015.

[4]谷青范，鄧平煜，董海勇，等.面向協(xié)同飛行的航空電子系統(tǒng)安全性分析技術(shù)研究[J].航空科學(xué)技術(shù)， 2019， 30（12）： 59-65. Gu Qingfan， Deng Pingyu， Dong Haiyong， et al. Research on safety analysis technology of avionics system oriented for collaborative flight[J]. Aeronautical Science & Technology， 2019， 30（12）： 59-65. （in Chinese）

[5]楊春寧，杜黎明，李春.未知區(qū)域無人機(jī)協(xié)同搜索方法及效率分析[J].航空科學(xué)技術(shù)， 2019，30（10）： 56-63. Yang Chunning， Du Liming， Li Chun. Methods and efficiency comparison of UAV swarms collaborative search in unknown area[J]. Aeronautical Science & Technology， 2019， 30（10）： 56-63. （in Chinese）

[6]姜延歡，楊永軍，李新良，等.智能無人系統(tǒng)環(huán)境感知計(jì)量評價(jià)研究[J].航空科學(xué)技術(shù)， 2020， 31（12）： 80-85. Jiang Yanhuan， Yang Yongjun， Li Xinliang， et al. Research on environmental perception metrology and evaluation technology of intelligent unmanned system[J]. Aeronautical Science & Technology， 2020， 31（12）： 80-85. （in Chinese）

[7]惠一楠，朱華勇，沈林成.無人機(jī)攻防對抗不完全信息動態(tài)博弈方法研究[J].兵工自動化， 2009（1）：4-7. Hui Yinan， Zhu Huayong， Shen Lincheng. Study on dynamic game method with incomplete information in UAV attackdefends campaign [J].Ordnance Industry Automation， 2009（1）： 4-7. （in Chinese）

[8]姚宗信.基于多智能體的無人作戰(zhàn)平臺多機(jī)協(xié)同對抗多目標(biāo)任務(wù)決策方法[J].航空科學(xué)技術(shù)， 2008， 19（3）： 20-24. Yao Zongxin. Mission decision method of multi-aircraft cooperative attack multi-object in UCAV based on multi-agent[J]. Aeronautical Science & Technology， 2008， 19（3）： 20-24.（in Chinese）

[9]邵將，徐揚(yáng)，羅德林.無人機(jī)多機(jī)協(xié)同對抗決策研究[J].信息與控制， 2018， 47（3）：93-100. Shao Jiang， Xu Yang， Luo Delin. Cooperative combat decisionmaking research for multi UAVs[J]. Information and Control， 2018， 47 （3）： 93-100. （in Chinese）

[10]陳俠，李光耀，趙諒.多無人機(jī)協(xié)同打擊任務(wù)的攻防博弈策略研究[J].火力與指揮控制， 2018， 43（11）： 17-23. Chen Xia， Li Guangyao， Zhao Liang. Research on UCAV game strategy of cooperative air combat task[J]. Fire Control and Command Control， 2018， 43 （11）： 17-23. （in Chinese）

[11]陳俠，劉敏，胡永新.基于不確定信息的無人機(jī)攻防博弈策略研究[J].兵工學(xué)報(bào)， 2012， 33（12）： 1510-1515. Chen Xia， Liu Min， Hu Yongxin. Research on attack defense game strategy of UAV based on uncertain information[J]. Acta Armamentarii， 2012， 33 （12）： 1510-1515. （in Chinese）

[12]李寶森，王浩軍，穆仕博.基于本體建模的態(tài)勢推理[J].航空科學(xué)技術(shù)， 2021， 32（2）： 80-90. Li Baosen， Wang Haojun， Mu Shibo. Situation reasoning based on ontology modeling[J]. Aeronautical Science & Technology， 2021， 32（2）： 80-90. （in Chinese）

[13]王昱，章衛(wèi)國，傅莉，等.基于精英改選機(jī)制的粒子群算法的空戰(zhàn)納什均衡策略逼近[J].控制理論與應(yīng)用， 2015， 32（7） ： 857-865. Wang Yu， Zhang Weiguo， Fu Li， et al. Nash equilibrium strategies approach for aerial combat based on elite re-election particleswarmoptimization[J].ControlTheoryand Applications， 2015， 32（7）： 857-865. （ in Chinese）

[14]Zhang Q，Jia H，Predictive current control based on improved particleswarmoptimization[J].Information Technology，2019，66（5）：66-70.

[15]Marchesoni M，Calvini M，Carpita M，et al. PSO-based selfcommissioning of electrical motor drives[J]. IEEE Transactions on Industrial Electronics，2015，62（2）：768-776.

[16]Zulqarnain R M，Saeed M，Ali B，et al. Application of interval valued fuzzy soft max-min decision making method[J]. International Journal of Mathematics Research，2020，9（1）：11-19.

Research on Cooperative Confrontation of UAV Cluster Based on Dynamic Non-Zero-Sum Game

Liu Sha1，Zhang Shuo2，Liu Lu2

1. Equipment Project Management Center of Air Force Equipment Department，Beijing 100038，China

2. Northwestern Polytechnical University，Xi’an 710072，China

Abstract： UAV cluster cooperative confrontation is a hot issue in domestic and international academic research， and dynamic maneuver decision-making is one of the most important research fields of UAV confrontation. In this paper， a decision algorithm based on dynamic non-zero-sum game for UAV cluster cooperative confrontation is proposed. Firstly， the decision set of both sides is determined， and the situation advantage of both sides is constructed by the maneuver factors such as angle， speed and distance. Secondly， the multi-attribute evaluation of UAV cluster maneuver options is carried out， and the dynamic return matrix of both sides is further calculated， and the dynamic non-zero-sum Nash equilibrium maneuver decision-making model is established. Then， an improved particle swarm optimization （PSO） algorithm is proposed to efficiently solve the dynamic non-zero-sum Nash equilibrium maneuver decision-making model and obtain the optimal hybrid strategy. Finally， the superiority of the proposed algorithm is verified by simulation. This paper effectively improves the cooperative confrontation ability of UAV cluster， and provides a theoretical and application basis for the intelligent development of UAV cluster within command， decision and control.

Key Words： UAV cluster； cooperative confrontation； dynamic game； non-zero-sum game； Nash equilibrium

Received： 2021-05-10；Revised： 2021-09-20；Accepted： 2021-11-30 Foundation item： Aeronautical Science Foundation of China （201955053003）