Markov 切換拓撲下二階非線性多智能體編隊容錯控制

歐陽凌叢，楊凱軍，張志雄

（陜西科技大學(xué) 電氣與控制工程學(xué)院，西安 710021）

0 概述

近年來，系統(tǒng)編隊控制作為多智能體系統(tǒng)的一個重要的研究問題一直吸引著學(xué)者們的關(guān)注，其目標(biāo)是在運動過程中僅通過局部交互來保持多智能體系統(tǒng)預(yù)先指定的幾何形狀［1］，主要的應(yīng)用場景是在持久性監(jiān)測［2］、航天器編隊［3］、無人機（UAV）群［4］、移動機器人協(xié)作［4］等領(lǐng)域。

目前大量學(xué)者致力于多智能體編隊控制問題領(lǐng)域的研究，關(guān)于編隊控制的研究大致可以分為基于領(lǐng)導(dǎo)者-追隨者、基于行為和基于虛擬結(jié)構(gòu)的方法［5-6］。此外，對共識問題的深入廣泛研究也為編隊控制問題提供了新的研究靈感。文獻［7］利用自適應(yīng)神經(jīng)網(wǎng)絡(luò)，研究了具有多個領(lǐng)導(dǎo)者的非線性多智能體系統(tǒng)的時變編隊跟蹤問題。文獻［8］通過構(gòu)建一種迭代學(xué)習(xí)分布式算法，獲得了具有非線性動力學(xué)的多智能體編隊控制問題的充分條件。文獻［9］研究了固定拓撲和切換拓撲情況下的非線性多智能體系統(tǒng)的領(lǐng)導(dǎo)者-跟隨者編隊控制問題。文獻［10］研究了具有時變通信延遲的多智能體系統(tǒng)的時變編隊跟蹤問題，利用相對鄰接信息制定了一個具有時變延遲的編隊跟蹤協(xié)議。事實上，現(xiàn)有文獻大多針對一階問題進行研究，只有少數(shù)成果用于解決具有二階非線性動力學(xué)的多智能體系統(tǒng)的編隊控制問題。

在實際應(yīng)用場景中，多智能體系統(tǒng)常受到復(fù)雜外部環(huán)境干擾，易導(dǎo)致系統(tǒng)通信信號丟失。針對此問題，可將通信拓撲結(jié)構(gòu)之間的切換過程建模為馬爾可夫過程，以確保多智能體之間的穩(wěn)定信息交流。在馬爾可夫切換通信拓撲結(jié)構(gòu)下，文獻［11-12］分別研究了一階和二階多智能體系統(tǒng)的共識問題，文獻［13］研究了具有馬爾可夫切換拓撲結(jié)構(gòu)的離散二階多智能體系統(tǒng)的共識跟蹤問題，文獻［14-15］分別考慮了連續(xù)時間和離散時間多智能體系統(tǒng)的共識問題，并得出了共識的充分條件。目前，多數(shù)文獻僅研究隨機切換過程中的共識跟蹤問題，較少研究具有隨機切換通信拓撲的多智能體系統(tǒng)編隊跟蹤問題。

隨著多智能體系統(tǒng)規(guī)模及其復(fù)雜性的增加，控制器性能也日益提升，但系統(tǒng)的穩(wěn)定性卻難以提高，控制器故障［16-17］頻發(fā)會影響到系統(tǒng)編隊效果。為確保閉環(huán)系統(tǒng)的穩(wěn)定，文獻［18］研究了非線性隨機切換系統(tǒng)的故障檢測過濾問題，文獻［19］研究了多智能體系統(tǒng)的分布式自適應(yīng)事件觸發(fā)的容錯控制問題，文獻［20］通過設(shè)計異構(gòu)多智能體系統(tǒng)的魯棒性自適應(yīng)FTC 協(xié)議，解決了執(zhí)行器故障和外部干擾的問題。

本文研究隨機通信拓撲多智能體編隊控制問題，提出一種馬爾可夫切換拓撲下二階非線性領(lǐng)導(dǎo)者-跟隨者多智能體編隊容錯控制方案，主要進行以下研究：1）將馬爾可夫隨機切換拓撲與二階非線性多智能體編隊控制進行結(jié)合研究，使得多智能體編隊系統(tǒng)具有更為廣泛的適用性和拓展性；2）將容錯控制和通信拓撲隨機切換編隊控制相結(jié)合，使得系統(tǒng)具有更強的魯棒性。

1 問題描述

1.1 圖論

多智能體系統(tǒng)的信息交換拓撲結(jié)構(gòu)被建模為一個拓撲圖G=(V，E，A)，其 中：V={1，2，…，N}和E ?{(j，i)：j，i∈V，j≠i}分別是節(jié)點和邊的集合，Ni={j∈V：(j，i)∈E} 表示智能體i的鄰居集合；A=[aij]N×N表示鄰接矩陣，當(dāng)且僅當(dāng)j∈Ni時aij＞0，否則aij=0；D=diag{dii} ∈RN×N表示圖的度矩陣，其中相應(yīng)地，拉普拉斯矩陣用L=D-A表示。從節(jié)點j到節(jié)點i的有向路徑是一串有序的邊，形式為(j，i1)，(i1，i2)，…，(iq-1，iq)，其中的節(jié)點ik∈V，k=1，2，…，q是不同的。有向樹是一個二維圖，其中每個節(jié)點都有一個父節(jié)點，只有根節(jié)點沒有父節(jié)點，但有一個直接通往其他節(jié)點的路徑。有向生成樹是一個有向樹，它由G中的所有節(jié)點和一些邊組成。如果一個有向圖的一個子圖是一個有向生成樹，那么就可以說它包含有向生成樹。

1.2 馬爾可夫過程

設(shè)Gi(t)=Pr(hn+1≤t|Rn=i)為停留在狀態(tài)i時的駐留時間分布函數(shù)。對于i，j∈S，i≠j，n∈N，馬爾可夫過程{Rn}的轉(zhuǎn)移概率被定義為qij=Pr(Rn+1=j|Rn=i)。由于Gi(t)只取決于當(dāng)前狀態(tài)i，因此可以得出下式：

將切換拓撲的狀態(tài)轉(zhuǎn)移概率定義為：

其中：gi(h)是Gi(h)的轉(zhuǎn)移概率密度。整理可得馬爾可夫模型的狀態(tài)轉(zhuǎn)移過程為：

1.3 引理與假設(shè)

為了推導(dǎo)出本文的主要結(jié)果，給出以下假設(shè)和引理。

假設(shè)1 假設(shè)在G所描述的拓撲結(jié)構(gòu)中，領(lǐng)導(dǎo)者對所有追隨者都是可到達的，也就是說，對于每個追隨者來說，至少存在一條從領(lǐng)導(dǎo)者到它的有向路徑。

假設(shè)2 存在非負的常數(shù)ρ1和ρ2，使非線性函數(shù)f滿足以下不等式：

引理1［17］假設(shè)正定矩陣P和矩陣S滿足，常數(shù)h＞0，0 ＜τ(t)＜h，則以下積分不等式成立：

其中：

引理2［21］設(shè)V(x(t)，t，m)和LV(x(t)，t，m)分別為李雅普諾夫函數(shù)和帶有弱無窮小算子的李雅普諾夫函數(shù)并且他們是有界的，根據(jù)Dynkin公式可以得出：

引理3［22］假設(shè)f(t)是可測量的，對于i∈S并且E[f(t)1r(t)=i]存在，則有：

1.4 模型構(gòu)建

考慮一組具有N個跟隨者和1 個領(lǐng)導(dǎo)者的非線性多智能體系統(tǒng)，其跟隨者的動力學(xué)模型描述為：

其中：xp(t)∈RN×N和vp(t)∈RN×N分別為領(lǐng)導(dǎo)者的位置和速度。為了進一步分析，令εi(t)=[xi(t)，vi(t)]T和εp(t)=[xp(t)，vp(t)]T分別代表跟隨者和領(lǐng)導(dǎo)者。因此，領(lǐng)導(dǎo)者的動力學(xué)模型可以通過克羅內(nèi)克積形式表示：

其中：Ap∈R2m×2m、C∈Rl×2m和y(t)∈Rl分別是系統(tǒng)矩陣、輸出矩陣和領(lǐng)導(dǎo)者的輸出信息。此外，F(xiàn)(εp(t)，t)=[0m，f(xp(t)，vp(t)，t)]T∈R2m表示多智能體系統(tǒng)的非線性項。

多智能體系統(tǒng)的執(zhí)行器在現(xiàn)實情況中存在發(fā)生故障的可能性，因此令fi描述智能體i的故障狀態(tài)，其中，0 ＜fi(t)＜1 表示控制輸入有損失情況，fi(t)=0表示完全故障情況，fi(t)=1 表示無故障情況。

在下一節(jié)中將研究多智能體系統(tǒng)在隨機切換拓撲下的編隊控制和容錯控制。

2 控制協(xié)議設(shè)計和穩(wěn)定性分析與證明

在本節(jié)中，將提供線性矩陣不等式方面的充分條件，以確保通過設(shè)計反饋控制增益矩陣，在規(guī)定的性能指標(biāo)下實現(xiàn)領(lǐng)導(dǎo)者-跟隨者的編隊控制。

對于式（2）所示的二階非線性多智能體無控制器故障系統(tǒng)，本文設(shè)計如下控制律：

其中：k為控制增益矩陣；yi為智能體i相對于領(lǐng)導(dǎo)者的位置和速度；yp為領(lǐng)導(dǎo)者的當(dāng)前位置和速度；aij為智能體i到j(luò)的連通關(guān)系；rt表示在t時刻下系統(tǒng)的通信拓撲關(guān)系。在式（5）所示的控制律中，第一部分表示多智能體系統(tǒng)中的跟隨者之間保持預(yù)期隊形的控制，第二部分表示跟隨者與領(lǐng)導(dǎo)者的一致性控制。由于智能體i的故障狀態(tài)fi是一個隨機變量，其數(shù)學(xué)期望值為η，0 ＜η＜1，可以得到E[fi(t)]=η，因此跟隨者i的容錯控制表示為：

跟隨者的克羅內(nèi)克積表示形式如式（7）所示：

根據(jù)領(lǐng)導(dǎo)者、跟隨者的定義可以得到拉普拉斯矩陣的結(jié)構(gòu)如下：

其中：L1∈RN×N表示追隨者之間的關(guān)系；L2∈RN×1表示從領(lǐng)導(dǎo)者到追隨者的關(guān)系。L1的所有特征值都有正實部，是一個非負的矩陣，-2=0。由此，式（2）可以寫成一個緊湊的形式，如式（8）所示：

其中：

假設(shè)式（2）和式（3）所示多智能體系統(tǒng)的初始狀態(tài)是有界的，如果存在和則多智能體系統(tǒng)形成編隊，其中，hix(t)是跟隨者i和式（3）所示領(lǐng)導(dǎo)者之間的相對位置，hi(t)=[hix(t)，hiv]T是對應(yīng)的連續(xù)可微分的編隊，它描述了期望的編隊隊形。位置和速度跟蹤誤差變量定義為：

根據(jù)式（10）和式（11）可得：

定義1 如果以下條件成立，則稱式（12）所示多智能體編隊系統(tǒng)在隨機故障和切換拓撲結(jié)構(gòu)下能實現(xiàn)均方意義下的一致性：

式（13）成立說明式（2）、式（3）所示系統(tǒng)在均方意義下的編隊穩(wěn)定，并且保證穩(wěn)態(tài)誤差大幅度減少，即當(dāng)任何誤差δ(t)存在時，多智能體系統(tǒng)依然可以在較短的時間內(nèi)形成并保持期望編隊隊形。

2.1 切換通信拓撲結(jié)構(gòu)下的編隊控制

在本小節(jié)中重點討論非線性多智能體系統(tǒng)在隨機切換通信拓撲下的編隊控制。通過證明定理1 成立，可以實現(xiàn)在隨機通信拓撲下無控制器故障多智能體系統(tǒng)預(yù)期編隊。

定理1 在假設(shè)1 和控制器無故障的情況下，如果存在矩陣Q＞0，R＞0和S＞0，對于?i∈N，使得滿足式（14）和式（15）所示條件，則隨機切換通信拓撲二階非線性多智能體系統(tǒng)在均方意義下能夠形成編隊。

證明

首先構(gòu)造李雅普諾夫候選函數(shù)：

帶有弱無窮小算子的李雅普諾夫函數(shù)可以定義為：

定義L 為沿式（12）所示軌跡的弱無窮小算子，根據(jù)式（17）能夠得到：

根據(jù)相同的步驟可以得到：

結(jié)合式（19）和式（20），式（18）能夠化簡為：

同理，式（17）能夠化簡為：

值得注意的是，非線性函數(shù)F(δ，t)在假設(shè)2 的基礎(chǔ)上滿足以下條件：

當(dāng)存在一個對角矩陣Ψ＞0時，以下不等式成立：

然后，通過對式（22）～式（24）李雅普諾夫函數(shù)的求和，得到：

顯然，Φi＜0 成立，從而得出LV(δ(t)，t，r(t))＜0，考慮一個足夠小的?＞0：

顯然，可以得出式（32）對任何t＞0 都成立，當(dāng)t趨向無窮大時存在式（33）。

因此，從定義1 可以得出結(jié)論：式（9）所示閉環(huán)誤差系統(tǒng)在均方意義上是穩(wěn)定的，這意味著式（2）和式（3）所示隨機切換拓撲網(wǎng)絡(luò)的領(lǐng)導(dǎo)-跟隨多智能體系統(tǒng)的編隊控制問題得到解決，證畢。

根據(jù)定理1 可以得出多智能體編隊系統(tǒng)滿足均方穩(wěn)定，系統(tǒng)能夠?qū)崿F(xiàn)預(yù)期得編隊效果，接下來進行多智能體編隊誤差精度分析。

利用文獻［25］中的類似方法，則存在一個標(biāo)量ρ＞0，使得T≥0 時有：

式（36）表示多智能體編隊誤差能夠滿足指數(shù)收斂。當(dāng)多智能體系統(tǒng)存在編隊誤差時，系統(tǒng)能夠快速收斂到穩(wěn)定狀態(tài)，因此系統(tǒng)具有較高的控制精度，能夠?qū)崿F(xiàn)對誤差更為精確的調(diào)整。

其中：

對式（39）使用舒爾補定理，可以推導(dǎo)出式（39）等同于式（37），因此定理2 成立，證畢。

在定理1中，式（14）所示矩陣不等式由于存在耦合項，因此要得到合適的控制參數(shù)需要利用大量的非線性數(shù)值計算，增加了控制算法的計算量。定理2 通過解耦式（14）所示矩陣不等式降低了算法計算量并簡化了控制算法流程，提高了所設(shè)計的控制算法的可操作性。

2.2 多智能體系統(tǒng)編隊容錯控制

本節(jié)研究馬爾可夫拓撲隨機切換下所設(shè)計的編隊容錯控制協(xié)議能夠使得多智能體系統(tǒng)形成編隊。

定理3 設(shè)假設(shè)1 和假設(shè)2 成立，則式（6）所示編隊容錯控制器使得式（7）所示具有隨機切換通信拓撲結(jié)構(gòu)的多智能體系統(tǒng)形成并保持參考編隊。

證明

設(shè)李雅普諾夫候選函數(shù)為：

其中：Θ∈RN×N來自引理3。為了處理控制器帶有隨機故障的馬爾可夫過程r(t)，定義李雅普諾夫函數(shù)的候選函數(shù)如下：

沿著子系統(tǒng)的軌跡對Vi(t)進行時間求導(dǎo)，可以得到：

而P是一個正定矩陣并且是不等式的唯一解。有了正定矩陣Θ和式（43）的求解矩陣P，進而得到LV≤0。對其兩邊進行積分并取期望值得到：

3 仿真實驗

在這一節(jié)中，給出一個數(shù)值例子來證明理論結(jié)果的有效性。

考慮一個由8 個追隨者和1 個領(lǐng)導(dǎo)者組成的多智能體系統(tǒng)。假定用1 或者0 分別表示通信拓撲圖G的智能體之間存在信息交流和無信息交流。設(shè)F={1，2，3，4，5，6，7，8}和H={0}分 別為跟隨者集合和領(lǐng)導(dǎo)者集合，S={1，2，3}為通信拓撲結(jié)構(gòu)的集合。令δi(t)=[xix(t)，xiy(t)，vix(t)，viy(t)]T，假設(shè)每個智能體的非線性內(nèi)在動力方程由以下列形式給出：

顯然，非線性函數(shù)f滿足假設(shè)1。利用定理1，可以找到K的可行方案。每個跟隨者與領(lǐng)導(dǎo)者的相對位置如下：

其中：半徑可以選擇為R=10。可以很容易地推斷出，跟隨者的位置將形成一個封閉的隊形，而領(lǐng)導(dǎo)者將位于圓形隊形的中心，領(lǐng)導(dǎo)者的運動方向是隊形的前進方向。跟隨者和領(lǐng)導(dǎo)者的最終狀態(tài)（位置狀態(tài)和編隊狀態(tài)）分別由不同顏色的線表示。

假設(shè)拓撲結(jié)構(gòu)滿足馬爾可夫隨機切換，有3 種拓撲結(jié)構(gòu)模式選擇，如圖1 所示。

圖1 3 種可能網(wǎng)絡(luò)拓撲Fig.1 Three possible network topologies

圖2 顯示了領(lǐng)導(dǎo)者和追隨者之間的相對位置關(guān)系（彩色效果見《計算機工程》官網(wǎng)HTML版，下同）。從圖中可以看出，追隨者在圍繞位于圓形中心的領(lǐng)導(dǎo)者移動，同時保持了一個圓形隊形跟蹤。經(jīng)過一段時間編隊形成，驗證了定理的正確性。

圖2 編隊軌跡Fig.2 Formation trajectory

圖3 顯示了在水平和豎直方向上的控制信號。從圖中可以看出，圖中曲線存在不平滑的現(xiàn)象反映在當(dāng)前時刻控制器存在故障的情況。

圖3 控制器輸入Fig.3 Controller input

圖4 顯示了30 s 內(nèi)9 個智能體的隨機通信拓撲切換，從圖中可以看出，智能體之間的通信拓撲是由馬爾可夫隨機過程選擇的。

圖4 通信拓撲網(wǎng)絡(luò)編號Fig.4 Number of communication topology network

圖5 顯示了跟隨者和領(lǐng)導(dǎo)者之間沿水平和豎直方向的跟蹤誤差，從圖中可以看出，所提方法實現(xiàn)了時變的編隊跟蹤控制。

圖5 領(lǐng)導(dǎo)者與跟隨者的相對誤差Fig.5 The relative error of leaders and followers

圖6 分別顯示了執(zhí)行器隨機故障的情況。圖中數(shù)值越小代表故障越嚴重。

圖6 故障情況Fig.6 Failure situation

由表1 可知，當(dāng)系統(tǒng)執(zhí)行器不發(fā)生故障時系統(tǒng)達到穩(wěn)態(tài)所用時間較短，且調(diào)節(jié)時間較短。在多智能體系統(tǒng)發(fā)生執(zhí)行器故障情況下，系統(tǒng)需要的調(diào)節(jié)時間有所增加但是依然可以以較快的速度達到穩(wěn)定狀態(tài)，實現(xiàn)預(yù)期編隊效果，而峰值時間則主要受到系統(tǒng)拓撲網(wǎng)絡(luò)影響，受執(zhí)行故障的影響較小。

表1 執(zhí)行器有無故障用時對比Table 1 Time comparison of actuator with or without faults 單位：s

4 結(jié)束語

本文考慮隨機切換通信拓撲的二階非線性多智能體系統(tǒng)編隊控制問題，提出基于馬爾可夫過程的領(lǐng)導(dǎo)-跟隨分布式控制協(xié)議。設(shè)計一種隨機切換拓撲編隊容錯控制算法，并利用李雅普諾夫穩(wěn)定性定理和最優(yōu)控制理論證明系統(tǒng)在均方意義下編隊穩(wěn)定，在控制器故障情況下能夠準確穩(wěn)定的形成編隊。MATLAB 數(shù)值仿真結(jié)果驗證了控制算法的有效性。后續(xù)將把本文所形成的理論成果與實際應(yīng)用相結(jié)合，同時根據(jù)實際應(yīng)用的需求，在理論研究上進一步考慮通信時延、編隊避撞等現(xiàn)實約束。