具有防撞安全約束的無人機集群智能協(xié)同控制

蔡云鵬，周大鵬，丁江川

航空工業(yè)沈陽飛機設計研究所，沈陽 110035

隨著科學技術的發(fā)展進步，無人機（Unmanned Aerial Vehicle，UAV）已在軍事和民用方面發(fā)揮著重要的作用。相比于單個無人機，由多架無人機組成的無人機集群具備更強的生存能力與環(huán)境適應能力，可以執(zhí)行協(xié)同搜索、目標跟蹤、目標圍捕［1］、集群對抗等更加復雜的任務。無人機集群協(xié)同控制技術作為實現(xiàn)無人機集群協(xié)同能力的關鍵技術，已受到廣泛的關注研究［2］。在無人機集群協(xié)同控制方法的研究中，已形成了傳統(tǒng)協(xié)同控制方法、基于群體智能算法的協(xié)同控制方法以及基于深度強化學習的協(xié)同控制方法［3］等多種方法體系。

傳統(tǒng)的無人機集群協(xié)同控制方法主要側重于無人機集群的編隊控制，比較成熟的方法包括基于領-從架構的編隊控制方法［4］、基于虛擬結構的無人機編隊軌跡跟蹤控制方法，基于滑模編隊控制方法［5］、基于一致性理論的編隊控制方法［6］等。文獻［7］基于領-從式架構提出一種四旋翼控制方法實現(xiàn)了從機的隊形控制器，其基于積分反步法設計了領機的軌跡跟蹤控制器，基于滑?？刂品椒▽崿F(xiàn)了從機的隊形控制器。文獻［8］通過設計“長機層”和“僚機層”實現(xiàn)了對大規(guī)模無人機集群的協(xié)同控制，其中通過控制集群中各群組中的長機跟蹤期望路徑實現(xiàn)群組間的協(xié)同，群組內的協(xié)同通過控制群組內僚機跟隨其長機實現(xiàn)。文獻［9］基于虛擬結構法設計了無人機編隊控制器，通過非線性模型預測控制方法實現(xiàn)了無人機的編隊控制與安全避障。

基于群體智能算法的協(xié)同控制方法受到自然界中鳥群、魚群等群居生物的啟發(fā)，形成了更為靈活的集群協(xié)同控制方法［10-11］。文獻［12］基于寒鴉群配對飛行行為機制提出一種無人機集群編隊控制方法，通過設計無人機配對交互時的鄰居選擇機制，能有效解決無人機集群運動的一致性問題并且減小無人機集群的通信負載。文獻［13］基于量子行為改進的鴿群優(yōu)化算法實現(xiàn)了無人機集群的緊密編隊控制器。文獻［14］提出了一種復合的無人機集群控制方法，其基于人工勢場法設計了3 種集群行為，并且建立了基于狀態(tài)的集群行為模式切換邏輯，可有效解決無人機集群控制中面臨的不完全約束、速度限制、機間避碰等問題。文獻［15］通過考慮聚合、避碰等影響集群效果的序參數(shù)設計了無人機集群控制模型，并且采用進化算法對其進行了求解，獲得的集群控制器可有效應用到實際的無人機集群控制中。

雖然以上傳統(tǒng)協(xié)同控制方法和基于群體智能算法的協(xié)同控制方法可在較為簡單的場景中對無人機集群進行有效的控制，但是受限于其規(guī)則化的控制策略，其難以應用于復雜的任務環(huán)境，還需進一步提升無人機集群控制策略的智能自主性。近年來，隨著深度強化學習（Deep Reinforcement Learning，DRL）［16］在各個領域表現(xiàn)出一定的智能性及較好的應用效果［17］，其在集群控制領域也備受關注。文獻［18］結合領-從式架構和Q-學習（Q-Learning）方法提出一種固定翼無人機集群控制方法，構建的控制策略使得從機與主機保持一定的范圍，并且滿足分離、聚合以及對齊的集群規(guī)則。但是構建的控制策略并沒有考慮機間避碰，無人機之間的避碰通過高度分層實現(xiàn)。文獻［19］基于深度策略梯度算法構建了四旋翼無人機集群的控制策略，可使得無人機集群在大規(guī)模復雜環(huán)境中導航。文獻［20］基于演員-評論家算法在連續(xù)空間下構建了無人機的集群控制策略，其可以將從機控制在主機的一定范圍內。然而這種方法僅通過設計獎勵函數(shù)的方式考慮機間避碰約束，是一種“軟”約束，無人機之間仍然有較大的可能發(fā)生碰撞。

綜上所述，目前傳統(tǒng)的無人機集群協(xié)同控制方法與基于群體智能算法的協(xié)同控制方法較為依賴無人機模型與環(huán)境模型，其規(guī)則化的集群控制策略缺乏較好的智能自主性，難以應用于復雜動態(tài)的任務環(huán)境。雖然以深度強化學習為代表的基于學習的無人機集群協(xié)同控制方法可不依賴模型構建較為靈活自主的集群控制策略，但其構建的基于深度神經網絡的集群控制策略為一黑箱模型，缺乏安全性保證，無法應用于實際任務中。針對以上問題，本文將基于深度強化學習方法構建無人機集群的協(xié)同控制策略，通過強化學習［21］的交互式訓練方法構建出較為靈活的協(xié)同控制策略。同時，基于固定規(guī)則設計無人機防撞策略實現(xiàn)無人機的機間避碰與環(huán)境障礙避碰能力，為無人機集群的安全性提供較為可靠的保障。通過這種方式，可構建出具有一定智能自主性且具有安全性保障的無人機集群控制策略。

1 問題描述

1.1 集群協(xié)同控制問題

本文針對固定翼無人機集群的協(xié)同控制問題展開研究，重點關注無人機集群協(xié)同控制過程中的智能性與安全性。具體地，考慮一個由N個無人機組成的無人機集群，在具有多個威脅區(qū)的環(huán)境中飛行，需要構建無人機集群控制策略，使得無人機集群在飛行過程中智能自主地形成緊密編隊，并且躲避開環(huán)境中存在的威脅區(qū)以及避免發(fā)生機間避碰。該問題的主要難點在于如何在緊密編隊與無人機集群的安全性之間達到平衡，并且設計一種分布式的方法，使得各無人機智能自主地形成一個緊密編隊，在不需要額外指定隊形的情況下使得無人機集群具備更好的魯棒性與適應性。

1.2 無人機模型

本文考慮無人機集群在三維空間中的集群控制問題，由于不涉及無人機的內環(huán)控制過程，因此采用以下簡化的無人機運動模型模擬無人機在三維空間中的運動過程：

式中：(x，y，z)表示無人機在三維直角坐標系O-XYZ下的位置；vH表示無人機在水平面O-XY上的投影速度，即水平速度；vz表示無人機在OZ軸上的分量速度；ψ表示速度vH與OX軸的夾角；表示無人機水平速度的控制指令；ψc表示無人機的航向控制指令；zc表示無人機的高度控制指令；表示與無人機動力學特性相關的時間常數(shù)。

2 集群協(xié)同控制方法

2.1 集群協(xié)同控制架構

針對第1 節(jié)提出的無人機集群協(xié)同控制問題，本文采用深度強化學習方法與基于規(guī)則的機間防撞策略構建無人機集群的協(xié)同控制策略。其中，基于深度強化學習的自學習自訓練架構構建較為智能的無人機集群協(xié)同控制策略，基于規(guī)則的機間防撞策略為無人機集群的安全性提供較為可靠的保障。圖1 為本文提出的集群協(xié)同控制架構。其中，采用深度神經網絡構建無人機集群的協(xié)同控制策略，其輸入為無人機觀測到的環(huán)境狀態(tài)s，輸出為控制無人機運動的控制指令a，在每一步與環(huán)境的交互過程中，首先判斷無人機是否處于安全狀態(tài)，若無人機處于安全狀態(tài)，則采用深度神經網絡輸出的控制指令控制無人機運動，反之則采取機間防撞策略給出的控制指令as控制無人機，避免無人機發(fā)生碰撞。這種方式一方面可在訓練過程中為無人機集群控制策略的訓練提供較高質量的交互經驗，另一方面可在實際飛行過程中為無人機提供可靠的安全保障。

圖1 無人機集群協(xié)同控制架構Fig.1 UAV swarm collaborative control architecture

2.2 基于深度強化學習的集群協(xié)同控制策略

在基于深度強化學習方法構建集群協(xié)同控制策略的過程中，首先將集群協(xié)同控制策略構建為參數(shù)為θ的深度神經網絡πθ，其次通過強化學習的交互式訓練方式訓練網絡參數(shù)θ，使得集群控制策略的能力滿足需求。在交互式訓練過程中，無人機首先從飛行環(huán)境中獲得觀測狀態(tài)s，然后根據(jù)策略πθ選擇執(zhí)行動作a～πθ(s)，執(zhí)行動作a之后，無人機觀測到改變之后的環(huán)境狀態(tài)s′并且獲得對其動作的獎勵值r。在強化學習框架下，集群控制策略訓練的目標是學習到最優(yōu)策略a～πθ?(s)，使得無人機在一個任務周期中獲得的累積折扣獎勵最大。其中，累積折扣獎勵值計算公式為

式中：Gt表示t時刻無人機可獲得的累積折扣獎勵；rt+k+1表示在t+k+1 時刻無人機獲得的獎勵值；γ(0<γ<1)為折扣因子。

2.2.1 觀測空間與動作空間

集群協(xié)同控制策略的網絡結構與無人機的觀測狀態(tài)和動作指令密切相關，因此，在介紹集群協(xié)同控制策略的網絡結構之前，先介紹無人機的觀測空間與動作空間。

無人機的觀測狀態(tài)s主要包含3 個部分：無人機與目標點的相對位置關系sg；無人機與其鄰近無人機之間的相對運動狀態(tài)sn；以及無人機與環(huán)境中威脅區(qū)的相對位置關系so。

sg=其中表示無人機與目標點的水平距離；Δ?g表示無人機航向與無人機指向目標點的方向的夾角；Δzg表示無人機與目標點的高度差。

綜上所述，無人機的觀測狀態(tài)s(s∈R24)為24 維的高維向量。

2.2.2 網絡結構

集群協(xié)同控制策略網絡πθ將無人機觀察狀態(tài)s映射為無人機的控制指令a，其網絡結構如圖2 所示。由圖2（a）可知，網絡πθ共有3 層網絡，前兩層網絡為分別具有128 節(jié)點與256 個節(jié)點的全連接網絡，激活函數(shù)均為線性整流函數(shù)（Rectified Linear Unit，ReLU）。第3 層網絡具有2 路結構，第1 路具有3 個線性處理節(jié)點，這一路輸出控制指令的平均值；第2 路具有3 個線性處理節(jié)點，輸出控制指令的對數(shù)標準差alnstd。

圖2 網絡結構Fig.2 Networks structure

式中：“⊙”表示向量對應元素相乘。

2.2.3 獎勵函數(shù)

由式（2）可知，獎勵函數(shù)對策略的訓練過程至關重要，其決定著訓練出的策略所具備的能力?？紤]1.1 節(jié)描述的集群協(xié)同控制問題，本文據(jù)此建立的無人機集群協(xié)同控制策略的獎勵函數(shù)為

2.2.4 訓練算法

鑒于軟演員-評論家（Soft Actor-Critic，SAC）［22］算法在一系列連續(xù)控制任務中具有很好的性能表現(xiàn)，本文采用SAC 算法訓練無人機集群協(xié)同控制策略。SAC 算法是一種基于最大熵強化學習方法的算法，智能體在最大化累積獎勵的同時在最大化策略熵，即通過最大化以下性能函數(shù)獲得最優(yōu)的策略：

式中：ρπ表示在策略π下的動作狀態(tài)軌跡分布；H(π(?|st))表示策略π 的熵；α為調節(jié)參數(shù)；用于平衡獎勵與策略熵之間的權重。

在SAC 架構下，t時刻的狀態(tài)值函數(shù)計算式為

式中：Q(st，at)表示狀態(tài)-動作對(st，at)的值函數(shù)，也稱為Q 值函數(shù)，表示在狀態(tài)為st時執(zhí)行動作at之后可獲得的回報值，計算式為

在本文的集群協(xié)同控制策略訓練過程中，將Q 值函數(shù)通過參數(shù)為?的深度神經網絡表示為Q?(s，a)，如圖2（b）所示。

在策略訓練過程中，策略網絡參數(shù)θ通過最小化以下?lián)p失函數(shù)更新：

式中：D表示收集到的無人機與環(huán)境的交互數(shù)據(jù)集。

Q 值函數(shù)的參數(shù)?可通過最小化以下?lián)p失函數(shù)更新：

2.3 防撞策略

在以上深度強化學習架構下訓練無人機集群控制策略以及實際使用訓練好的無人機集群控制策略時，由于無人機集群控制策略的計算過程包含深度神經網絡計算過程以及式（4）所示的采樣過程，其計算出的集群控制指令具有一定的不確定性。因此在策略訓練以及實際應用策略的過程中無法可靠地保障無人機的安全性。不具備安全性保障是嚴重制約深度強化學習方法實際應用的一個主要原因［23-24］。為此，本文在以上基于深度強化學習架構的基礎上增加基于規(guī)則的防撞策略，如算法1 所示，為無人機集群控制策略的實際應用提供可靠保障。

首先，考慮無人機之間的防撞策略。不失一般性地，以當前無人機的位置為原點O，飛行速度v所在方向為x軸，與速度v所在的水平面垂直且指向上的方向為z軸，由右手坐標系構建y軸，以此構建當前無人機的速度坐標系，如圖3 所示。在當前無人機速度坐標系O-xyz下使用pi和vi表示無人機i相對當前無人機的位置與速度矢量，則無人機i對應的避碰指令計算式為

圖3 無人機相對運動狀態(tài)示意圖Fig.3 Schematic diagram of relative motion states of UAVs

由式（18）可知，當機間有相互靠近的趨勢時，kvr為<0 的數(shù)值，反之為0，這樣可以避免在機間沒有相互靠近趨勢時計算由機間相對速度引起的避碰指令。

其次，對于環(huán)境中的威脅區(qū)，可以將無人機距離其邊界最近的點視為一個假想無人機，這樣可通過式（17）將無人機之間的防撞與無人機和威脅區(qū)的防撞進行統(tǒng)一。此外，考慮到無人機躲避威脅區(qū)時需要提前進行規(guī)避，因此設定的對于威脅區(qū)的安全距離一般要大于機間安全距離因此，同時考慮無人機集群與環(huán)境中存在的各威脅區(qū)時，當前無人機的防撞指令為

式中：i和j分別表示在設定的安全范圍之內的無人機下標與威脅區(qū)對應的假想無人機下標。

最后，通過下式將無人機防撞指令Δc映射到控制無人機的速度、航向以及高度指令：

式中：Δcx、Δcy、Δcz分別表示防撞指令Δc在無人機速度坐標系O-xyz下各軸的分量分別表示控制無人機防撞的水平速度、航向與高度幅值大小。

綜上所述，本文構建的具有防撞策略的無人機集群控制器結構如圖4 所示。在每一步控制過程中，首先對無人機的狀態(tài)進行安全監(jiān)督，若無人機處于安全狀態(tài)，則采用基于深度神經網絡的集群控制策略輸出的控制指令構建無人機的控制指令，反之則采取防撞策略給出的控制指令構建無人機的控制指令。

圖4 無人機集群控制器結構Fig.4 Structure of the UAV swarm controller

3 仿真與分析

3.1 仿真場景及參數(shù)設置

本文通過仿真的方式驗證提出的無人機集群控制策略的控制效果。

在構建的仿真場景中，無人機集群的飛行范圍大小為1 000 m×1 000 m×130 m，其中分布著大小不同的圓柱形威脅區(qū)，每個威脅區(qū)的高度均為130 m，因此，無人機只能通過調整航向躲避這些威脅區(qū)。此外，無人機的最大飛行速度為20 m/s，最小飛行速度為12 m/s，動力學常數(shù)分別設置為：τvH=1.0 s，τψ=0.75 s，τz=1.0 s，τvz=0.3 s。集群控制方法中涉及的參數(shù)取值如表1 所示。

表1 集群控制方法參數(shù)取值Table 1 Parameter values of swarm control method

3.2 訓練結果

無人機集群協(xié)同控制策略的訓練過程持續(xù)了1 000 個訓練周期，為了對比，本文同時訓練了沒有防撞策略與具有防撞策略兩種集群控制策略。在沒有防撞策略時，集群控制策略在訓練過程中不會進行安全性判斷，并且僅執(zhí)行集群控制策略網絡輸出的動作指令。圖5 所示為訓練過程中2 種策略在一個訓練周期內獲得的累積獎勵值隨訓練周期變化的曲線，圖中曲線在原值基礎上經過了2 階指數(shù)平滑，平滑參數(shù)為0.01。

圖5 獎勵值變化曲線Fig.5 Curves of reward

如圖5 可知，在訓練前期，沒有防撞策略的無人機集群控制策略反而可以獲得更多的獎勵，產生這個現(xiàn)象的主要原因是在訓練前期集群控制策略與防撞策略相互沖突，沒有達到平衡。因此，防撞策略會影響無人機集群的緊密一致性并且?guī)砜刂浦噶畹亩秳樱瑥亩鴷p小無人機獲得的獎勵值。隨著訓練周期的增加，在訓練后期，無人機集群控制策略對防撞策略的工作機制已經熟悉，并且適應了在防撞策略下的集群控制過程，防撞策略會避免無人機發(fā)生碰撞，從而避免了無人機獲得碰撞懲罰獎勵。因此，在訓練后期，具有防撞策略的無人機集群控制策略可以獲得更多的獎勵。

3.3 集群控制效果對比分析

由圖5 的結果可知，最后訓練出來的具有防撞策略的無人機集群控制策略應具有更好的集群控制效果。下面對圖5 中訓練出的2 種集群控制策略的控制效果做進一步的對比分析，同時，與文獻［15，20］中的集群控制策略進行對比。文獻［15］考慮了聚合、避碰等影響集群控制效果的序參數(shù)設計了無人機集群控制策略，文獻［20］基于深度強化學習在連續(xù)空間下構建了無人機的集群控制策略，但沒有設置防撞策略。

圖6［15，20］所示為4 種集群控制策略控制5 架無人機組成的集群所產生的飛行軌跡。由圖6（a）可以看出，在沒有防撞策略時，無人機集群在飛行過程中雖然可以躲避環(huán)境中的威脅區(qū)，但是集群較為分散，在飛行過程中沒有始終保持緊密的集群。相比之下，由圖6（b）可以看出，在具有防撞策略時，無人機集群在整個飛行過程中可以保持緊密的集群，并且飛行時間更短。此外，由圖6（c）可知，在考慮聚合、避碰等影響因素時，參考文獻［15］中構建的集群控制策略控制的無人機集群隊形保持的相對較好且飛行時間相對較短。與圖6（b）相比，圖6（d）所示的沒有考慮防撞的無人機集群飛行軌跡相對較為松散。

圖6 無人機集群飛行軌跡Fig.6 Flight trajectories of UAV swarm

為了深入分析4 種集群控制策略的控制效果，從安全性與集群緊密一致性兩方面出發(fā)，以機間最小距離無人機集群中各無人機飛行速度大小與集群平均飛行速度大小的偏差平均值verror，無人機集群中各無人機的飛行方向與集群中心飛行方向的偏差平均值ψerror，無人機集群中各無人機距離集群中心的平均距離dc這4 個指標對圖6 所示的集群飛行過程進行分析，結果如圖7［15，20］所示。

圖7 無人機集群安全性與集群緊密一致性指標變化曲線Fig.7 Curves of indicators of safety，tightness and consistency of UAV swarm

在verror指標上，文獻［20］中的方法表現(xiàn)最好，其具有最小的verror指標，其他3 種方法的表現(xiàn)相當，并沒有明顯的區(qū)別。產生這一結果的主要原因是文獻［20］中的集群控制策略是一種確定性策略，并且沒有考慮防撞機制，這樣引起的集群控制指令的抖動較小。這一現(xiàn)象同樣可在ψerror指標上體現(xiàn)出來，即相對于其他3 種方法，文獻［20］中方法控制的無人機集群的ψerror指標抖動較小。

在dc指標上，在無人機集群的后期飛行過程中，在本文提出的沒有防撞策略的集群控制策略下以及文獻［15］中的控制策略下，無人機距離集群中心的平均距離超過了30 m，表明無人機集群非常分散，無法形成緊密集群。相比之下，在本文提出的具有防撞策略的集群控制策略下，可以使得無人機距離集群中心的平均距離保持在20 m 以下，使得無人機集群形成緊密集群，而文獻［20］中的方法控制下的無人機集群的dc指標相對較大，其控制的無人機集群相對較為分散。

由以上結果可知，相比于傳統(tǒng)基于深度強化學習的集群控制策略以及基于群體智能算法的集群控制策略，本文在傳統(tǒng)深度強化學習方法基礎上增加防撞策略之后，構建的集群控制策略可緊密控制無人機集群，并且具有較高的安全性保障。

最后，對本文提出的具有防撞策略的集群控制策略的單步運行耗時進行測試，分析其在實際應用中的可行性。采用的測試平臺與目前市面上的機載計算機的性能基本相當，CPU 為i5-1240P，內存為16GB DDR4 內存，沒有獨立顯卡。對集群控制策略運行500 步，記錄單步的運行時長，結果如圖8 所示?？芍嚎刂撇呗缘膯尾竭\行時間均在2 ms 以下，可以滿足實時運行的需求。因此，在采用與本文測試平臺性能相當?shù)臋C載計算機時，本文提出的具有防撞策略的集群控制策略可以在無人機的機載計算機上運行，實時解算出無人機的集群控制指令。

圖8 集群控制策略運行耗時測試結果Fig.8 Test results of running time of the UAV swarm control strategy

4 結論

本文針對無人機集群協(xié)同控制問題展開了研究，提出了一種結合深度強化學習方法與防撞策略的無人機集群協(xié)同控制方法，可在保障無人機集群安全性的同時控制無人機集群形成緊密集群。具體結論如下所示：

1）在深度強化學習方法基礎上引入防撞策略可以避免無人機之間發(fā)生碰撞的風險，提高無人機集群的安全性，并且可以使得無人機集群形成緊密的集群。

2）本文提出的具有防撞策略的集群控制策略單步運行耗時較短，可在無人機的機載計算機上實時運行。