• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    弱通信下無(wú)人潛航器事件觸發(fā)一致性協(xié)同控制

    2025-03-20 00:00:00趙萬(wàn)兵夏元清戴荔張?jiān)?/span>
    關(guān)鍵詞:強(qiáng)化學(xué)習(xí)

    摘 要:針對(duì)水下無(wú)人潛航器(unmanned underwater vehicle, UUV)集群在弱通信條件下的一致性協(xié)同控制問(wèn)題,考慮水下群間通信存在的高延時(shí)、低帶寬、需具有隱蔽性等弱通信特點(diǎn),設(shè)計(jì)基于強(qiáng)化學(xué)習(xí)的事件觸發(fā)智能一致性協(xié)同控制架構(gòu),以實(shí)現(xiàn)UUV集群在弱通信條件下的有效協(xié)同。首先,設(shè)計(jì)一個(gè)事件觸發(fā)分布式觀測(cè)器,該觀測(cè)器利用領(lǐng)導(dǎo)者與鄰居的動(dòng)態(tài)交互信息,來(lái)估計(jì)弱通信條件下UUV所需的跟蹤參考信號(hào)。隨后,采用強(qiáng)化學(xué)習(xí)方法直接從系統(tǒng)交互中學(xué)習(xí)最優(yōu)控制策略。最后,通過(guò)仿真結(jié)果驗(yàn)證了所提方法的有效性。

    關(guān)鍵詞: 弱通信; 事件觸發(fā); 一致性協(xié)同控制; 強(qiáng)化學(xué)習(xí)

    中圖分類號(hào): TP 13

    文獻(xiàn)標(biāo)志碼: ADOI:10.12305/j.issn.1001 506X.2025.02.25

    Event triggered consensus cooperative control of unmanned underwater

    vehicle under adverse communication condition

    ZHAO Wanbing, XIA Yuanqing*, DAI Li, ZHANG Yuan

    (School of Automation, Beijing Institute of Technology, Beijing 100081, China)

    Abstract:Aiming at the problem of consensus collaborative control of unmanned underwater vehicle (UUV) clusters under adverse communication conditions, considering the adverse communication characteristics of high latency, low bandwidth, and the need for stealth in underwater inter cluster communication, a reinforcement learning based event triggered intelligent consensus collaborative control architecture is designed to achieve effective collaboration of UUV clusters under adverse communication conditions. Firstly, an event triggered distributed observer is devised which utilizes dynamic interaction information between leaders and neighbors to estimate the tracking reference signal required for UUVs under adverse communication conditions. Subsequently, reinforcement learning methods are used to directly learn the optimal control strategy from system interactions. Finally, the effectiveness of the proposed method is validated through simulation results.

    Keywords:adverse communication condition; event triggered; consensus cooperative control; reinforce ment learning

    0 引 言

    相比于傳統(tǒng)有人單兵作戰(zhàn),無(wú)人集群協(xié)同作戰(zhàn)具有成本低、規(guī)模高、響應(yīng)快等降維打擊優(yōu)勢(shì),成為各軍事強(qiáng)國(guó)爭(zhēng)先搶占的新一輪戰(zhàn)略制高點(diǎn)。

    然而,與刀光劍影的水上無(wú)人集群作戰(zhàn)不同,暗潮洶涌的水下無(wú)人集群作戰(zhàn)具有其自身難點(diǎn)。首先,受復(fù)雜海洋環(huán)境影響,傳統(tǒng)電磁波通信無(wú)法在水下實(shí)現(xiàn),聲波通信雖然被廣泛采用,但其存在延時(shí)長(zhǎng)、不可靠、帶寬低等問(wèn)題1。另外,考慮到實(shí)際水下作戰(zhàn)中,隱蔽性是無(wú)人潛航器(unmanned underwater vehicle, UUV)威懾力的重要抓手2,集群間的通信被嚴(yán)格限制。因此,受到客觀惡劣環(huán)境和實(shí)際水下作戰(zhàn)隱蔽性需求雙重影響,UUV間協(xié)同具有嚴(yán)重的弱通信特點(diǎn)3。如何在弱通信條件影響下實(shí)現(xiàn)UUV集群有效協(xié)同成為亟待解決的問(wèn)題。

    近年來(lái),研究學(xué)者提出很多針對(duì)UUV協(xié)同控制的方法4-6。Li等7研究具有簡(jiǎn)化動(dòng)態(tài)模型的UUV協(xié)同控制問(wèn)題。Li等8研究基于自適應(yīng)神經(jīng)網(wǎng)絡(luò)的控制方法,用于簡(jiǎn)化UUV系統(tǒng)分布式編隊(duì)協(xié)同控制任務(wù)。Yang等9將UUV動(dòng)態(tài)模型解耦,并設(shè)計(jì)典型的內(nèi)外環(huán)控制方案,以實(shí)現(xiàn)具有恒定通信延遲的多個(gè)UUV的編隊(duì)協(xié)同控制。Yan等10考慮UUV之間的有界通信延遲,將非線性UUV模型轉(zhuǎn)換為二階線性模型,以設(shè)計(jì)協(xié)調(diào)控制器。Suryendu 等11為具有有界時(shí)變通信延遲的UUV設(shè)計(jì)領(lǐng)導(dǎo)者-跟隨者協(xié)同控制器。Liu等12為受任意大通信延遲影響的多智能體系統(tǒng)設(shè)計(jì)分布式觀測(cè)器。然而,上述工作依賴于UUV之間的連續(xù)時(shí)間通信,這對(duì)有限通信帶寬的UUV來(lái)說(shuō)是不適用的。

    事件觸發(fā)協(xié)同控制被證明是一種解決有限通信帶寬問(wèn)題的有效方法,該方法可以通過(guò)僅在設(shè)計(jì)的觸發(fā)條件下更新通信信號(hào)來(lái)減少UUV的通信資源需求13-14。Xu等15研究UUV的事件觸發(fā)分布式一致性控制,并設(shè)計(jì)模糊跟蹤控制器以實(shí)現(xiàn)UUV的形成。Meng等16研究一種基于滑模控制方法的事件觸發(fā)控制方案,以實(shí)現(xiàn)無(wú)領(lǐng)導(dǎo)的UUV編隊(duì)協(xié)同控制。Yan等17利用位置/速度狀態(tài)為多個(gè)UUV設(shè)計(jì)一種分布式事件觸發(fā)協(xié)同控制方法。然而,上述事件觸發(fā)協(xié)同控制方案并未考慮UUV之間的時(shí)變通信延遲。此外,上述工作的控制器設(shè)計(jì)依賴于UUV的動(dòng)態(tài)模型,這對(duì)于存在未知?jiǎng)討B(tài)的UUV來(lái)說(shuō)是具有挑戰(zhàn)性的。

    為了解決UUV的未知?jiǎng)討B(tài)問(wèn)題,一些研究學(xué)者利用強(qiáng)化學(xué)習(xí)方法,通過(guò)僅使用系統(tǒng)環(huán)境交互數(shù)據(jù)來(lái)學(xué)習(xí)UUV的最優(yōu)控制策略18。Wu等19設(shè)計(jì)一種無(wú)模型強(qiáng)化學(xué)習(xí)算法,用于實(shí)現(xiàn)具有未知?jiǎng)討B(tài)模型的UUV的深度控制。Cui等20引入神經(jīng)網(wǎng)絡(luò)來(lái)近似使用強(qiáng)化學(xué)習(xí)方法的控制策略,以實(shí)現(xiàn)UUV的軌跡跟蹤。Cao等21使用積分強(qiáng)化學(xué)習(xí)方法獲得一種考慮模型不確定性影響的UUV通信感知形成控制器。Wang等22通過(guò)使用強(qiáng)化學(xué)習(xí)方法求解哈密頓-雅可比-貝爾曼(Hamilton Jacobi Bellman, HJB)方程,實(shí)現(xiàn)UUV的分布式最優(yōu)協(xié)同跟蹤控制。然而,上述研究?jī)H考慮單個(gè)UUV的控制任務(wù),或在協(xié)同任務(wù)中并未考慮弱通信影響。

    針對(duì)上述難點(diǎn),本文提出一種事件觸發(fā)的UUV一致性協(xié)同控制方法,該方法考慮了水下弱通信以及未知?jiǎng)討B(tài)對(duì)協(xié)同控制性能的影響。為了解決水下弱通信問(wèn)題,首先構(gòu)建了一個(gè)事件觸發(fā)的分布式觀測(cè)器,利用群間共享的延遲信息觀測(cè)每個(gè)UUV的跟蹤參考點(diǎn)。然后,基于強(qiáng)化學(xué)習(xí)方法學(xué)習(xí)到了最優(yōu)控制策略,實(shí)現(xiàn)多UUV的姿態(tài)一致性協(xié)同控制。本文對(duì)所提協(xié)同控制器的穩(wěn)定性以及所提事件觸發(fā)函數(shù)的芝諾行為進(jìn)行分析,主要貢獻(xiàn)如下。

    首先,本文考慮實(shí)際UUV集群協(xié)同面臨的弱通信特點(diǎn),結(jié)合可用的領(lǐng)導(dǎo)者動(dòng)態(tài)和集群間局部交互信息,設(shè)計(jì)事件觸發(fā)的分布式觀測(cè)器,實(shí)現(xiàn)UUV集群對(duì)于領(lǐng)導(dǎo)者狀態(tài)的實(shí)時(shí)估計(jì),通過(guò)理論分析保證所設(shè)計(jì)的分布式觀測(cè)器的收斂性。其次,本文考慮到UUV在水下動(dòng)態(tài)環(huán)境中受到高非線性與強(qiáng)耦合性影響,傳統(tǒng)最優(yōu)控制方法無(wú)法通過(guò)理論推導(dǎo)獲得其解析解。本文設(shè)計(jì)強(qiáng)化學(xué)習(xí)方法獲得逼近的最優(yōu)控制策略。最后,本文考慮到UUV在實(shí)際水下環(huán)境中會(huì)受到未知?jiǎng)討B(tài)影響,控制策略應(yīng)能夠隨著動(dòng)態(tài)變化進(jìn)行自適應(yīng)調(diào)整。通過(guò)設(shè)計(jì)一種非策略強(qiáng)化學(xué)習(xí)方法,利用原有穩(wěn)態(tài)控制量數(shù)據(jù)與分布式觀測(cè)器輸出數(shù)據(jù),迭代更新并自適應(yīng)地學(xué)習(xí)最優(yōu)控制策略,提升控制策略的自適應(yīng)性。

    1 問(wèn)題描述

    1.1 通信拓?fù)涿枋?/p>

    在本文的協(xié)同控制任務(wù)中,UUV之間的信息流通過(guò)一個(gè)通信圖G=(V,E)進(jìn)行描述,其中V={vi|i=1,2,…,N}和EV×V分別表示節(jié)點(diǎn)和邊的集合。定義鄰接矩陣A=[aij]∈RN×N,如果節(jié)點(diǎn)i和節(jié)點(diǎn)j之間存在邊,則aijgt;0,否則aij=0。令Ni={vj|(vi,vj)∈E}表示節(jié)點(diǎn)i的鄰居集合。定義Φ={1,2,…,N}。從節(jié)點(diǎn)i到節(jié)點(diǎn)j的路徑可以描述為一系列的邊(vlm,vlm+1),其中m=1,2,…,k。如果集群中存在信息流,從領(lǐng)導(dǎo)者可聯(lián)通所有節(jié)點(diǎn)的路徑,那么可以說(shuō)通信圖G存在生成樹(shù),其中領(lǐng)導(dǎo)者為根節(jié)點(diǎn)。定義LG=D-A,其中D=diag(di,d2,…,dN),di=∑Nj=0aij。

    1.2 UUV姿態(tài)動(dòng)力學(xué)模型

    本文設(shè)定UUV系統(tǒng)的浮力中心與其重心重合。令EB={eBx,eBy,eBz}表示UUV的機(jī)體固定坐標(biāo)系,其中eBx,eBy,eBz分別表示機(jī)體固定坐標(biāo)系的x軸、y軸和z軸。定義vi=[ωxi,ωyi,ωzi]T∈R3為UUV在EB中的角速度,而ξi=[i,θi,i]T∈R3是UUV的姿態(tài)歐拉角。其中,i為滾轉(zhuǎn)角,θi為俯仰角,i為偏航角。則UUV姿態(tài)運(yùn)動(dòng)學(xué)模型23可表述為

    ξ·i=Ti(ξi)vi(1)

    式中:Ti(ξi)表示坐標(biāo)轉(zhuǎn)換矩陣24。根據(jù)文獻(xiàn)[9],UUV姿態(tài)動(dòng)力學(xué)模型可表述為

    Miv·i+Ci(vi)vi+Di(vi)vi=τi(2)

    式中:Mi∈R3×3為慣性矩陣25;Ci(vi)∈R3×3表示非線性科里奧利力和離心力矩陣25;Di(vi)∈R3×3表示水動(dòng)力阻尼矩陣25;τi∈R3表示扭矩輸入。Mi和Di(vi)可表述為

    Di(vi)=-diag{βωxi,βωyi,βωzi}

    Mi=diag{Ixi,Iyi,Izi}(3)

    式中:Ixi,Iyi,Izi為慣性矩陣;βωxi,βωyi,βωzi表示水動(dòng)力阻尼系數(shù)。Ci(vi)可表述為

    Ci(vi)=CRi(vi)+CAi(vi),

    CRi(vi)=

    0Iziωzi-Iyiωyi

    -Iziωzi0Ixiωxi

    Iyiωyi-Ixiωxi0;

    CAi(vi)=0-βω·ziωziβω·yiωyi

    βω·ziωzi0-βω·xiωxi

    -βω·yiωyiβω·xiωxi0(4)

    式中:βω·xi,βω·yi,βω·zi表示文獻(xiàn)[25]中提到的流體動(dòng)力學(xué)相關(guān)參數(shù)。

    從式(1)~式(4)可知,UUV是一個(gè)高度非線性和耦合的系統(tǒng),具有多個(gè)系統(tǒng)參數(shù)。此外,由于復(fù)雜的水下環(huán)境,難以獲得準(zhǔn)確的UUV系統(tǒng)參數(shù)。因此,為了實(shí)現(xiàn)期望的協(xié)同控制,為UUV系統(tǒng)設(shè)計(jì)基于模型的最優(yōu)控制器具有挑戰(zhàn)性。

    1.3 一致性控制問(wèn)題描述

    本文的目標(biāo)是設(shè)計(jì)一個(gè)事件觸發(fā)的一致性協(xié)同控制器,以實(shí)現(xiàn)UUV在時(shí)變通信延遲、帶寬受限和未知?jiǎng)討B(tài)下的姿態(tài)一致性協(xié)同。定義UUV集群需要跟蹤的領(lǐng)導(dǎo)者動(dòng)態(tài)為

    r·Θ0=SΘ0rΘ0(5)

    式中:rΘ0=[ξT0,ξ·T0]∈R6表示領(lǐng)導(dǎo)者狀態(tài)且SΘ0∈R6×6表示領(lǐng)導(dǎo)者動(dòng)態(tài)矩陣。本文所采用的領(lǐng)導(dǎo)者動(dòng)態(tài)模型是一般協(xié)同控制研究中普遍采用的線性動(dòng)態(tài)模型26,能夠生成的典型軌跡有振蕩軌跡(如本文仿真中所示)、勻速/加速直線運(yùn)動(dòng)軌跡、指數(shù)增長(zhǎng)/衰減運(yùn)動(dòng)軌跡等。

    假設(shè) 1 在UUV集群的實(shí)際水下協(xié)同任務(wù)中,通信拓?fù)鋱D中至少存在一棵生成樹(shù),連接著領(lǐng)導(dǎo)者和所有后續(xù)的UUV,其中領(lǐng)導(dǎo)者是根節(jié)點(diǎn)。

    假設(shè)1是實(shí)現(xiàn)多智能體系統(tǒng)分布式協(xié)同的常見(jiàn)條件27。本文的目標(biāo)是設(shè)計(jì)一種自適應(yīng)事件觸發(fā)控制方案,利用局部交互信息,保證每個(gè)UUV跟蹤領(lǐng)導(dǎo)者狀態(tài),以實(shí)現(xiàn)在弱通信影響下、具有完全非線性動(dòng)力學(xué)的UUV的分布式一致性協(xié)同控制。

    本文通過(guò)設(shè)計(jì)強(qiáng)化學(xué)習(xí)策略和分布式觀測(cè)器,以解決水下UUV在非線性動(dòng)態(tài)、未知?jiǎng)討B(tài)和弱通信條件下的一致性協(xié)同控制問(wèn)題。本文將一致性協(xié)同問(wèn)題分解為領(lǐng)導(dǎo)者狀態(tài)估計(jì)問(wèn)題和參考軌跡的跟蹤控制問(wèn)題。通過(guò)鄰居間數(shù)據(jù)交互進(jìn)行領(lǐng)導(dǎo)者狀態(tài)估計(jì),然后利用領(lǐng)導(dǎo)者狀態(tài)信息和UUV自身狀態(tài)信息設(shè)計(jì)控制器。

    2 協(xié)同控制器設(shè)計(jì)

    本文針對(duì)領(lǐng)導(dǎo)者狀態(tài)估計(jì)問(wèn)題,通過(guò)設(shè)計(jì)事件驅(qū)動(dòng)分布式觀測(cè)器,從而在弱通信條件影響下,利用鄰居間交互的延時(shí)信息,對(duì)領(lǐng)導(dǎo)者狀態(tài)進(jìn)行估計(jì)。之后,本文利用估計(jì)出來(lái)的領(lǐng)導(dǎo)者狀態(tài)信息,設(shè)計(jì)基于強(qiáng)化學(xué)習(xí)的最優(yōu)控制器,達(dá)到對(duì)領(lǐng)導(dǎo)者狀態(tài)的跟蹤,最終實(shí)現(xiàn)UUV集群的一致性協(xié)同控制。圖1所示為UUV控制器的設(shè)計(jì)框架。

    2.1 事件觸發(fā)分布式觀測(cè)器設(shè)計(jì)

    定義rΘi=[ξrTi,ξ·rTi]T∈R6為觀測(cè)器狀態(tài)量。令εΘi∈R6為局部觀測(cè)誤差且滿足εΘi=∑Nj=0aij(rΘj-rΘi)。類似于文獻(xiàn)[28],本文假設(shè)集群擬跟蹤的領(lǐng)導(dǎo)者動(dòng)態(tài)矩陣SΘ0沒(méi)有具有負(fù)實(shí)部的特征值。本文的事件觸發(fā)分布式觀測(cè)器設(shè)計(jì)如下:

    r·Θi=SΘirΘi+μiε′Θi, μ·i=ε′TΘiε′Θi(6)

    式中:μi為觀測(cè)器設(shè)計(jì)參數(shù)且滿足μi>0;ε′Θi∈R6表示εΘi的觀測(cè)值且滿足ε′Θi=∑Nj=0aij(r′Θj-r′Θi);r′Θi為參考信號(hào)rΘi的觀測(cè)值且滿足

    r′Θj(t)=eSΘ0(t-tk′Θj)rΘj(tkΘj), t∈[tkΘi,tk+1Θi)(7)

    式中:tkΘj表示UUV i在tkΘi時(shí)刻接收到的UUV j最新信息的時(shí)間。類似于文獻(xiàn)[12],本文考慮在UUV i與UUV j之間存在任意大的時(shí)變通信延遲τ~ij,滿足tkΘj=tkΘi-τ~ij(j∈Ni)且tkΘi=tkΘi,其中觸發(fā)時(shí)間tkΘi的觸發(fā)函數(shù)設(shè)計(jì)為

    fΘi=r~′Θi2-1i(ε′Θi2+βΘie-αΘit)(8)

    式中:r~′Θi=r′Θi-rΘi;αΘi,βΘigt;0,即βΘi為正實(shí)數(shù);i=μi+∑Nj=1aijμj。μj為第j個(gè)UUV的觀測(cè)器設(shè)計(jì)參數(shù)。從式(8)可以看到,通過(guò)提高αΘi并降低βΘi,可以減少βΘie-αΘit閾值,從而提高對(duì)觀測(cè)誤差r~′Θi的精度要求,使得事件觸發(fā)函數(shù)的通信觸發(fā)頻率相應(yīng)提高。

    正如文獻(xiàn)[29]所述,每個(gè)UUV在信息發(fā)送時(shí)可以進(jìn)行時(shí)間戳標(biāo)記,這意味著通信延遲τ~ij可以從UUV之間的時(shí)間戳信息中獲取。本文通過(guò)利用領(lǐng)導(dǎo)動(dòng)態(tài)和通信延遲信息,在式(6)~式(8)中設(shè)計(jì)一個(gè)事件觸發(fā)的觀測(cè)器,預(yù)測(cè)鄰近信息并主動(dòng)補(bǔ)償通信延遲帶來(lái)的影響。

    定理 1 定義估計(jì)誤差r~Θi=rΘi-rΘ0。設(shè)定假設(shè)1成立,利用式(6)設(shè)計(jì)的分布式觀測(cè)器,可得到以下性質(zhì)。

    性質(zhì) 1 估計(jì)誤差r~Θi逼近于0。即limt→∞r(nóng)~Θi(t)=0。

    性質(zhì) 2 事件觸發(fā)函數(shù)式(8)不存在芝諾行為。

    證明

    (1) 證明limt→∞r(nóng)~Θi(t)=0

    由r~′Θi與ε′Θi的定義可知:

    ε′Θ=-(LGI6)(r~Θ+r~′Θ)(9)

    式中:ε′Θ=[ε′TΘ1,ε′TΘ2,…,ε′TΘN]T;r~Θ=[r~TΘ1,r~TΘ2,…,r~TΘN]T;r~′Θ=[r~′TΘ1,r~′TΘ2,…,r~′TΘN]T;表示克羅內(nèi)克積。從式(9)可得

    r~Θ=-(L-1GI6)ε′Θ-r~′Θ(10)

    定義如下李雅普諾夫函數(shù):

    VΘ=12r~TΘ(LGI6)r~Θ(11)

    由式(6)可知:

    r~·Θi=r·Θi-r·Θ0=SΘ0rΘi+μiε′Θi-SΘ0rΘ0=

    SΘ0r~Θi+μiε′Θi(12)

    由以上可得

    r~·Θ=(INSΘ0)r~Θ+(μI6)ε′Θ(13)

    式中:μ=diag{μ1,μ2,…,μN(yùn)}。由式(11)和式(13)可得

    V·Θ=r~TΘ(LGI6)r~·Θ=

    r~TΘ(LGSΘ0)r~Θ+r~TΘ(LGμI6)ε′Θ(14)

    由式(10)和式(14)可知

    V·Θ=r~′TΘ(INSΘ0)ε′Θ+r~′TΘ(LGSΘ0)r~′Θ+

    ε′TΘ(L-1GSΘ0)ε′Θ+ε′TΘ(INSΘ0)r~′Θ-

    r~′TΘ(LGμI6)ε′Θ-ε′TΘ(μI6)ε′Θ(15)

    值得注意的是

    -r~′TΘ(LGμI6)ε′Θ≤14∑Ni=1μiε′Θi2+

    2d-max∑Ni=1∑Nj=1aijμir~′Θj2+

    2d-2max∑Ni=1μir~′Θi2(16)

    式中:d-maxmaxi∈N(d-i)≥1??紤]到aij=aji,i,j∈N,可得

    ∑Ni=1∑Nj=1aijμir~′Θj2=∑Ni=1∑Nj=1aijμjr~′Θi2(17)

    由式(16)和式(17)可得

    -r~′TΘ(LGμI6)ε′Θ≤

    14∑Ni=1μiε′Θi2+2d-2max∑Ni=1ir~′Θi2(18)

    基于楊氏不等式30,可得

    r~′TΘ(INSΘ0)ε′Θ≤12λθ1r~′Θ2+12λθ1ε′Θ2(19)

    式中:λθ1=σ2max(INSΘ0)。從式(15)、式(16)和式(19)可得

    V·Θ≤(λθ1+λθ2)r~′Θ2+(λθ1+λθ3)ε′Θ2-

    34∑Ni=1μiε′Θi2+2d-2max∑Ni=1ir~′Θi2(20)

    式中:λθ2=σ2max(LGSΘ0);λθ3=σ2max(L-1GSΘ0)。

    由觸發(fā)函數(shù)式(8)可得

    V·Θ≤∑Ni=1(λθ1+λθ2+2d-2maxi)i(ε′Θi2+βΘie-αΘit)+

    ∑Ni=1λθ1+λθ3-34μiε′Θi2=

    ∑Ni=1λθ1+λθ2i+2d-2max+λθ1+λθ3-34μiε′Θi2+

    ∑Ni=1λθ1+λθ2i+2d-2maxβΘie-αΘit(21)

    μi≥4λθ1+4λθ23i+83d-2max+43λθ1+43λθ3+43

    λα=mini∈N(αΘi)

    λβ=maxi∈N(λθ1+λθ2+2d-2max)βΘi(22)

    由式(21)和式(22)可得

    V·Θ≤-∑Ni=1ε′Θi2+λβNe-λαt(23)

    令WΘ=VΘ+1λαλβNe-λαt。由式(23)可得

    W·Θ≤-∑Ni=1ε′Θi2≤0(24)

    由WΘ的定義和式(24)可知,估計(jì)誤差r~Θi逼近于0,即limt→∞r(nóng)~Θi(t)=0。

    (2) 證明事件觸發(fā)函數(shù)式(8)無(wú)芝諾行為

    由以上可知,r~Θi和ε′Θi將逼近于0。注意到r~′Θi滿足r~·′Θi=SΘ0r~′Θi-μiε′Θi,可得r~·′Θi有界且滿足

    D+r~′Θi2≤r~·′Θi2≤σ-Θi(25)

    式中:σ-Θigt;0表示上界。由式(25)可得

    r~′Θi(tk+1Θi)2-r~′Θi(tk+Θi)2tk+1Θi-tk+Θi≤σ-Θi(26)

    r~′Θi(tk+1Θi)2≤σ-Θi(tk+1Θi-tk+Θi)(27)

    由事件觸發(fā)函數(shù)式(8)可知:

    r~′Θi(tk+1Θi)2≥1i(ε′Θi(tk+1Θi)2+βΘie-αΘitk+1Θi)(28)

    由式(27)和式(28)可得

    tk+1Θi-tk+Θi≥(ε′Θi(tk+1Θi)2+βΘie-αΘitk+1Θi)σ-Θiigt;0 (29)

    由式(29)可知,事件觸發(fā)函數(shù)式(8)不存在芝諾行為。證畢

    2.2 最優(yōu)控制器設(shè)計(jì)

    設(shè)計(jì)控制量ui,使得τi=T-1i(ξi)ui,則UUV動(dòng)態(tài)模型式(2)可轉(zhuǎn)換為

    x·i=Fixi+Biui(30)

    式中:xi=[ξTi,ξ·Ti]T∈R6;Bi=[03×3,M-1i]T;Fi=03×3I3

    03×3fξi,fξi=fTi+fvi,fTi=T-i(ξi)T-1i(ξi),且fvi=Ti(ξi)M-1i(Ci(vi)T-1i(ξi)+Di(vi)T-1i(ξi))。由式(6)和式(30)可得

    X·i=F-iXi+B-iui+Tiε′Θi(31)

    式中:Xi=[xTi,rTΘi];F-i=diag(Fi,SΘ0);B-i=[BTi,03×6]T;Ti=[03×6,μiI6]T。定義UUV跟蹤誤差eΘi=ξi-ξri。為實(shí)現(xiàn)最優(yōu)控制,定義性能函數(shù)如下:

    VΘi=∫∞t(eTΘiQieΘi+ui2)dτ(32)

    式中:Qigt;0。根據(jù)傳統(tǒng)最優(yōu)控制理論31,可得最優(yōu)控制策略u(píng)i為

    ui=-B-TiΔVΘi2(33)

    式中:ΔVΘi=VΘi/Xi。VΘi為以下方程的解:

    eTΘiQieΘi-(ΔVΘi)TB-iB-TiΔVΘi4+

    (ΔVΘi)T(F-iXi+Tiε′Θi)=0(34)

    由式(33)和式(34)可知,傳統(tǒng)最優(yōu)控制理論完全依賴于模型推導(dǎo)。然而,精確的動(dòng)力學(xué)模型對(duì)處于復(fù)雜動(dòng)態(tài)環(huán)境中的UUV來(lái)說(shuō)是無(wú)法獲得的。

    本文為解決上述問(wèn)題,基于強(qiáng)化學(xué)習(xí),提出一種數(shù)據(jù)驅(qū)動(dòng)的最優(yōu)控制策略智能學(xué)習(xí)算法。

    2.3 基于強(qiáng)化學(xué)習(xí)的最優(yōu)控制策略學(xué)習(xí)方法

    首先,構(gòu)建神經(jīng)網(wǎng)絡(luò),以逼近性能函數(shù)和控制策略:

    V^nΘi(Xi)=Wnvivi(Xi)

    u^ni(Xi)=Wnuiui(Xi),i∈Φ(35)

    式中:vi(Xi)∈Rl1,ui(Xi)∈Rl2表示激勵(lì)函數(shù);Wnvi∈R1×l1,Wnui∈R3×l2表示第n次迭代中的神經(jīng)網(wǎng)絡(luò)權(quán)重,l1,l2表示神經(jīng)網(wǎng)絡(luò)個(gè)數(shù)。

    針對(duì)UUV系統(tǒng)(式(31)),引入穩(wěn)態(tài)控制器u0i以采集學(xué)習(xí)數(shù)據(jù),則系統(tǒng)動(dòng)力學(xué)方程變?yōu)?/p>

    X·i=F-iXi+B-i(u0i-Wnuiui+Wnuiui)+Tiε′Θi(36)

    由式(33)、式(34)和式(36)可得

    Wnvi·vi=-eTΘiQieΘi-TuiWnTuiWnuiui-

    2TuiW(n+1)Tui(u0i-Wnuiui)(37)

    通過(guò)對(duì)式(37)兩端積分,可得貝爾曼方程:

    Wnvi(vi(t+T)-vi(t))=

    t+Tt(-eTΘiQieΘi-TuiWnTuiWnuiui)dτ-

    t+Tt2TuiW(n+1)Tui(u0i-Wnuiui)dτ(38)

    與式(34)相比,式(38)中不包含系統(tǒng)動(dòng)態(tài)模型,因此可構(gòu)建強(qiáng)化學(xué)習(xí)方法,利用數(shù)據(jù)學(xué)習(xí)最優(yōu)控制策略,步驟如算法1所示。

    算法 1 UUV強(qiáng)化學(xué)習(xí)控制策略學(xué)習(xí)框架

    步驟 1 (生成系統(tǒng)數(shù)據(jù))將初始穩(wěn)態(tài)控制量u0i和隨機(jī)探索策略u(píng)0ei應(yīng)用到UUV中,收集系統(tǒng)狀態(tài)數(shù)據(jù)Xi(t)和控制量數(shù)據(jù)ui(t)。

    步驟 2 (利用系統(tǒng)數(shù)據(jù))利用第一步產(chǎn)生的系統(tǒng)數(shù)據(jù),求解貝爾曼方程(式(38)),獲得Wnvi和Wn+1ui。

    步驟 3 (更新控制策略)更新控制策略Wnui=Wn+1ui,并重復(fù)步驟2,直至參數(shù)收斂。

    利用以上得到的迭代學(xué)習(xí)框架,式(35)中的神經(jīng)網(wǎng)絡(luò)將迭代逼近最優(yōu)控制策略(式(33)),該算法逼近性可參考文獻(xiàn)[32]。在實(shí)際應(yīng)用中,神經(jīng)網(wǎng)絡(luò)V^nΘi(Xi)和u^ni(Xi)與實(shí)際最優(yōu)策略V*Θi(Xi)和u*i(Xi)的關(guān)系如下:

    V*Θi(Xi)=V^nΘi(Xi)+σi(Xi)

    u*i(Xi)=u^ni(Xi)+εi(Xi),i∈Φ(39)

    式中:σi(Xi)表示V^nΘi(Xi)對(duì)V*Θi(Xi)的逼近誤差;εi(Xi)表示u^ni(Xi)對(duì)u*i(Xi)的逼近誤差。正如文獻(xiàn)[33]所述,采用神經(jīng)網(wǎng)絡(luò)逼近最優(yōu)控制策略(式(33))會(huì)存在一定的逼近誤差,然而當(dāng)采用足夠多的神經(jīng)網(wǎng)絡(luò)激勵(lì)函數(shù)時(shí),該逼近誤差可變得任意小。因此,存在0lt;ηilt;1和0lt;γilt;1,使得

    ηiu^ni(Xi)≥εi(Xi)

    γiV^nΘi(Xi)≥σi(Xi)(40)

    下面將給出利用本文設(shè)計(jì)的強(qiáng)化學(xué)習(xí)控制策略學(xué)習(xí)框架得到的控制策略u(píng)^ni(Xi)的穩(wěn)定性定理。

    定理 2 采用本文UUV強(qiáng)化學(xué)習(xí)控制策略學(xué)習(xí)框架迭代學(xué)習(xí)出的控制量u^ni(Xi)可保證UUV控制系統(tǒng)的穩(wěn)定性。

    證明 由式(39)可知,與控制器u^ni(Xi)相對(duì)應(yīng)的性能函數(shù)V^ni(Xi)導(dǎo)數(shù)滿足

    V^·nΘi(Xi)=V·*Θi(Xi)-σ·i(Xi)(41)

    其中性能函數(shù)VΘi滿足:

    V·Θi=ΔVΘiX·i=

    ΔVTΘi(F-iXi+B-iu^ni+Tiε′Θi)(42)

    將式(34)代入式(42),可得

    V·Θi=-eTΘiQieΘi-ΔVTΘiB-iB-TiΔVΘi4-

    ΔVTΘiB-iεi(Xi)=

    -eTΘiQieΘi-(u^ni(Xi))Tu^ni(Xi)+

    εTi(Xi)εi(Xi)(43)

    由式(40)可得

    (u^ni(Xi))Tu^ni(Xi)gt;εTi(Xi)εi(Xi)(44)

    因此,由式(40)、式(41)、式(43)、式(44)可得

    (1±γi)V^·nΘi(Xi)≤-eTΘiQieΘi(45)

    由式(45)可知,利用本文UUV強(qiáng)化學(xué)習(xí)控制策略學(xué)習(xí)框架迭代學(xué)習(xí)出的控制量為u^ni(Xi),UUV穩(wěn)定性能夠得到保證。證畢

    3 仿真實(shí)驗(yàn)

    為驗(yàn)證本文所提事件驅(qū)動(dòng)協(xié)同控制方法的有效性,基于文獻(xiàn)[25]中的系統(tǒng)參數(shù),本節(jié)構(gòu)建由4個(gè)UUV協(xié)同組成的仿真系統(tǒng),其中UUV系統(tǒng)參數(shù)設(shè)置如下:βωxi=-0.8,βωyi=-0.9,βωzi=-0.4,βω·xi=-200,βω·yi=-350,βω·zi=-500,Ixi=203 Nm· s2,Iyi=587 Nm· s2,Izi=687 Nm· s2。領(lǐng)導(dǎo)者動(dòng)態(tài)設(shè)置為SΘ0=[-c6,4,-c6,5,-c6,6,c6,1,c6,2,c6,3],cm,n表示第n個(gè)元素為1且其他元素為0的m×1維列向量。領(lǐng)導(dǎo)者和各UUV的初始狀態(tài)設(shè)置為ξ0=[40°,-20°,10°]T,ξ1=[20°,5°,15°]T,ξ2=[20°,10°,5°]T,ξ3=[-20°,5°,-15°]T,ξ4=[20°,-10°,5°]T,ξ·i=03×1" °/s。時(shí)間延時(shí)τ滿足當(dāng)時(shí)間t∈[0,5)時(shí),τ=|sin(0.1t)|;當(dāng)t∈[5,∞)時(shí),τ=|5 cos(0.1 t)|。通信拓?fù)浣Y(jié)構(gòu)設(shè)置為w10=w21=w32=w41=1。分布式觀測(cè)器式(6)的初始參數(shù)設(shè)置為αΘi=0.1βΘi=1.1。為了探索環(huán)境并采集系統(tǒng)數(shù)據(jù),將比例-微分(proportion differentiation, PD)控制器和一個(gè)正弦控制信號(hào)一起應(yīng)用到UUV系統(tǒng)中,其中PD控制器的結(jié)構(gòu)為

    uPDi=KiEi(46)

    式中:Ei∈R6表示跟蹤誤差,Ei=[eTΘi,e·TΘi]T;Ki∈R3×6表示PD控制參數(shù)。仿真中,Ki的取值為

    Ki=

    -10000-7000

    0-10000-700

    00-10000-70

    (47)

    另外,正弦控制信號(hào)的結(jié)構(gòu)為

    u0ei=100∑100m=1sin(mt)(48)

    式中:m為隨機(jī)生成。

    采集完系統(tǒng)數(shù)據(jù)后,利用本文提出的強(qiáng)化學(xué)習(xí)算法進(jìn)行數(shù)據(jù)學(xué)習(xí),學(xué)習(xí)參數(shù)設(shè)置為Qi=50I3且T=0.1 s,神經(jīng)網(wǎng)絡(luò)設(shè)置為多個(gè)多項(xiàng)式累積和。神經(jīng)網(wǎng)絡(luò)權(quán)重逼近效果如圖2所示。

    從圖2中可以看到,利用本文強(qiáng)化學(xué)習(xí)算法可成功實(shí)現(xiàn)控制策略神經(jīng)網(wǎng)絡(luò)權(quán)重的學(xué)習(xí)與收斂。將學(xué)習(xí)收斂的控制策略應(yīng)用到UUV集群中,UUV集群姿態(tài)一致性協(xié)同軌跡圖如圖3所示。UUV集群姿態(tài)跟蹤誤差圖如圖4所示。UUV之間的通信觸發(fā)時(shí)間如圖5所示。從圖3~圖5可以看到,利用本文所提事件觸發(fā)控制框架,可實(shí)現(xiàn)UUV集群在非線性、未知系統(tǒng)參數(shù)、有限通信帶寬和時(shí)變通信延遲影響下的姿態(tài)一致性協(xié)同控制任務(wù)。但是,從圖4可以看到,UUV跟蹤誤差仍有較大誤差,這是由于集群間信息未及時(shí)更新造成。本文將分布式觀測(cè)器參數(shù)αΘi從0.1提升到1.0,將βΘi從1.1降低到0.05,從而降低事件觸發(fā)函數(shù)(式(8))中誤差的可接受閾值,UUV集群協(xié)同結(jié)果如圖6~圖8所示。通過(guò)對(duì)比圖3~圖5與圖6~圖8可以看到,調(diào)整事件觸發(fā)函數(shù)參數(shù),可提升UUV集群協(xié)同控制性能,但最高通信間隔從1.5 s降為1 s。因此,在實(shí)際UUV集群事件觸發(fā)一致性協(xié)同控制中,需通過(guò)調(diào)節(jié)事件觸發(fā)參數(shù),權(quán)衡通信頻率和協(xié)同性能。

    4 結(jié) 論

    本文針對(duì)UUV集群在水下弱通信和動(dòng)態(tài)環(huán)境影響下的協(xié)同控制問(wèn)題,提出一種基于強(qiáng)化學(xué)習(xí)的事件觸發(fā)一致性協(xié)同控制方案。主要研究?jī)?nèi)容如下:① 事件觸發(fā)機(jī)制的構(gòu)建。為應(yīng)對(duì)水下通信的帶寬和延遲限制,設(shè)計(jì)一種事件觸發(fā)分布式觀測(cè)器,以有效處理通信延遲和有限帶寬等問(wèn)題,減少集群間數(shù)據(jù)傳輸量。② 強(qiáng)化學(xué)習(xí)方法的應(yīng)用。利用強(qiáng)化學(xué)習(xí)技術(shù),設(shè)計(jì)一種數(shù)據(jù)驅(qū)動(dòng)的最優(yōu)控制策略學(xué)習(xí)方法,該方法能夠在高非線性、強(qiáng)耦合性和不確定性動(dòng)態(tài)環(huán)境下動(dòng)態(tài)學(xué)習(xí)最優(yōu)控制策略,提高了控制的自適應(yīng)性。③ 穩(wěn)定性分析與芝諾行為排除。對(duì)所提協(xié)同控制器進(jìn)行穩(wěn)定性分析,并通過(guò)數(shù)學(xué)證明排除觸發(fā)函數(shù)的芝諾行為,確保系統(tǒng)的穩(wěn)定性和可靠性。④ 仿真實(shí)驗(yàn)的驗(yàn)證。通過(guò)仿真實(shí)驗(yàn),驗(yàn)證了所提控制方案的有效性,結(jié)果表明本文方案能夠?qū)崿F(xiàn)UUV集群在復(fù)雜水下環(huán)境中的有效協(xié)同控制。

    參考文獻(xiàn)

    [1]閆敬, 關(guān)新平, 羅小元, 等. 水下信息物理系統(tǒng)探測(cè)-通信-控制一體化: 挑戰(zhàn)與進(jìn)展[J]. 控制理論與應(yīng)用, 2022, 39(11): 1996-2008.

    YAN J, GUAN X P, LUO X Y, et al. Integration of detection, communication, and control in underwater information physical systems: challenges and progress[J]. Control Theory and App lications, 2022, 39(11): 1996-2008.

    [2]曾斌, 張鴻強(qiáng), 李厚樸. 針對(duì)無(wú)人潛航器的反潛策略研究[J]. 系統(tǒng)工程與電子技術(shù), 2022, 44(10): 3174-3181.

    ZENG B, ZHANG H Q, LI H P. Research on anti submarine strategy for unmanned underwater vehicles[J]. Systems Engineering and Electronics, 2022, 44(10): 3174-3181.

    [3]韓東, 賀寅, 陳立軍, 等. 水下通信技術(shù)及其難點(diǎn)[J]. 科技創(chuàng)新與應(yīng)用, 2021(1): 155-159.

    HAN D, HE Y, CHEN L J, et al. Underwater communication technology and its challenges[J]. Science and Technology Innovation and Application, 2021(1): 155-159.

    [4]胡橋, 趙振軼, 馮豪博, 等. AUV智能集群協(xié)同任務(wù)研究進(jìn)展[J]. 水下無(wú)人系統(tǒng)學(xué)報(bào), 2023, 31(2): 189-200.

    HU Q, ZHAO Z Y, FENG H B, et al. Research progress on collaborative missions of AUV intelligent swarms[J]. Journal of Underwater Unmanned Systems, 2023, 31(2): 189-200.

    [5]LIANG H T, CAO H, FU Y F. Decentralized adaptive flocking control algorithm with avoiding collision and preserving connectivity for crowded UUV swarm with uncertainties and input satu ration[J]. Ocean Engineering, 2021, 237: 109545.

    [6]WEI W, WANG J J, FANG Z R, et al. 3U: joint design of UAV USV UUV networks for cooperative target hunting[J]. IEEE Trans.on Vehicular Technology, 2023, 72(3): 4085-4090.

    [7]LI H P, XIE P, YAN W S. Receding horizon formation tracking control of constrained underactuated autonomous underwater vehi cles[J]. IEEE Trans.on Industrial Electronics, 2017, 64(6): 5004-5013.

    [8]LI X, ZHU D Q. An adaptive SOM neural network method for distributed formation control of a group of AUVs[J]. IEEE Trans.on Industrial Electronics, 2018, 65(10): 8260-8270.

    [9]YANG H Z, WANG C F, ZHANG F M. A decoupled controller design approach for formation control of autonomous underwater vehicles with time delays[J]. IET Control Theory amp; Applications, 2013, 7(15): 1950-1958.

    [10]YAN Z P, YANG Z W, YUE L D, et al. Discrete time coordinated control of leader following multiple AUVs under switch ing topologies and communication delays[J]. Ocean Engineering, 2019, 172: 361-372.

    [11]SURYENDU C, SUBUDHI B. Formation control of multiple autonomous underwater vehicles under communication delays[J]. IEEE Trans.on Circuits and Systems II: Express Briefs, 2020, 67(12): 3182-3186.

    [12]LIU K X, LU J H, LIN Z L. Design of distributed observers in the presence of arbitrarily large communication delays[J]. IEEE Trans.on Neural Networks and Learning Systems, 2018, 29(9): 4447-4461.

    [13]SU B, WANG H B, WANG Y L. Dynamic event triggered formation control for AUVs with fixed time integral sliding mode distur bance observer[J]. Ocean Engineering, 2021, 240: 109893.

    [14]SHI Y, XIE W, ZHANG G Q, et al. Event triggered saturation tolerant control for autonomous underwater vehicles with quantitative transient behaviors[J]. IEEE Trans.on Vehicular Technology, 2023, 72(8): 9857-9867.

    [15]XU Y Y, LI T S, TONG S C. Event triggered adaptive fuzzy bipartite consensus control of multiple autonomous underwater vehicles[J]. IET Control Theory amp; Applications, 2020, 14(20): 3632-3642.

    [16]MENG C C, ZHANG W, DU X. Finite time extended state observer based collision free leaderless formation control of multiple AUVs via event triggered control[J]. Ocean Engineering, 2023, 268: 113605.

    [17]YAN Z P, ZHANG C, ZHANG M Y, et al. Distributed event triggered formation control for multi AUV system via asynchronous periodic sampling control approach[J]. Ocean Engineering, 2022, 256: 111561.

    [18]許雅筑, 武輝, 游科友, 等. 強(qiáng)化學(xué)習(xí)方法在自主水下機(jī)器人控制任務(wù)中的應(yīng)用[J]. 中國(guó)科學(xué)(信息科學(xué)), 2020, 50(12): 1798-1816.

    XU Y Z, WU H, YOU K Y, et al. A selected review of reinforcement learning based control for autonomous underwater vehicles[J]. Science in China (Information Sciences), 2020, 50(12): 1798-1816.

    [19]WU H, SONG S J, YOU K Y, et al. Depth control of model free AUVs via reinforcement learning[J]. IEEE Trans.on Systems, Man, and Cybernetics: Systems, 2019, 49(12): 2499-2510.

    [20]CUI R X, YANG C G, LI Y, et al. Adaptive neural network control of AUVs with control input nonlinearities using reinforcement learning[J]. IEEE Trans.on Systems, Man, and Cybernetics: Systems, 2017, 47(6): 1019-1029.

    [21]CAO W Q, YAN J, YANG X, et al. Communication aware formation control of AUVs with model uncertainty and fading channel via integral reinforcement learning[J]. IEEE/CAA Journal of Automatica Sinica, 2023, 10(1): 159-176.

    [22]WANG Z K, ZHANG L J. Distributed optimal formation tracking control based on reinforcement learning for underactuated AUVs with asymmetric constraints[J]. Ocean Engineering, 2023, 280: 114491.

    [23]ZHAO W B, XIA Y Q, ZHAI D H, et al. Adaptive event tri ggered coordination control of unknown autonomous underwater vehicles under communication link faults[J]. Automatica, 2023, 158: 111277.

    [24]HOU S P, CHEAH C C. Can a simple control scheme work for a formation control of multiple autonomous underwater vehicles?[J]. IEEE Trans.on Control Systems Technology, 2011, 19(5): 1090-1101.

    [25]LIU H, WANG Y H, LEWIS F L. Robust distributed formation controller design for a group of unmanned underwater vehicles[J]. IEEE Trans.on Systems, Man, and Cybernetics: Systems, 2021, 51(2): 1215-1223.

    [26]CAI H, HUANG J. The leader following consensus for multiple uncertain euler lagrange systems with an adaptive distributed observer[J]. IEEE Trans.on Automatic Control, 2016, 61(10): 3152-3157.

    [27]MU B X, ZHANG K W, SHI Y. Integral sliding mode flight controller design for a quadrotor and the application in a heterogeneous multi agent system[J]. IEEE Trans.on Industrial Electronics, 2017, 64(12): 9389-9398.

    [28]HU W F, LIU L, FENG G. Cooperative output regulation of linear multi agent systems by intermittent communication: a unified framework of time and event triggering strategies[J]. IEEE Trans.on Automatic Control, 2018, 63(2): 548-555.

    [29]ZHANG W, ZENG J, YAN Z P, et al. Leader following consensus of discrete time multi AUV recovery system with time varying delay[J]. Ocean Engineering, 2021, 219: 108258.

    [30]QIAN Y Y, LIU L, FENG G. Distributed dynamic event triggered control for cooperative output regulation of linear multi agent systems[J]. IEEE Trans.on Cybernetics, 2020, 50(7): 3023-3032.

    [31]MODARES H, LEWIS F L, NAGHIBI SISTANI M. Integral reinforcement learning and experience replay for adaptive optimal control of partially unknown constrained input continuous time systems[J]. Automatica, 2014, 50(1): 193-202.

    [32]ZHAO W B, LIU H, LEWIS F L. Robust formation control for cooperative underactuated quadrotors via reinforcement learning[J]. IEEE Trans.on Neural Networks and Learning Systems, 2021, 32(10): 4577-4587.

    [33]MODARES H, LEWIS F L, KANG W, et al. Optimal synchronization of heterogeneous nonlinear systems with unknown dynamics[J]. IEEE Trans.on Automatic Control, 2018, 63(1): 117-131.

    作者簡(jiǎn)介

    趙萬(wàn)兵(1993—),男,副教授,博士,主要研究方向?yàn)槎嘀悄荏w智能協(xié)同控制、事件驅(qū)動(dòng)控制、魯棒容錯(cuò)控制。

    夏元清(1971—),男,教授,博士,主要研究方向?yàn)闊o(wú)人移動(dòng)平臺(tái)協(xié)同控制、空天地海一體化網(wǎng)絡(luò)環(huán)境下多運(yùn)動(dòng)體系統(tǒng)跨越協(xié)同控制與智能決策、云控制與決策。

    戴 荔(1988—),女,教授,博士,主要研究方向?yàn)槎嘀悄荏w控制理論與應(yīng)用、模型預(yù)測(cè)控制理論及應(yīng)用。

    張 元(1993—),男,副教授,博士,主要研究方向?yàn)榫W(wǎng)絡(luò)化系統(tǒng)分析與優(yōu)化、數(shù)據(jù)驅(qū)動(dòng)理論及其應(yīng)用。

    猜你喜歡
    強(qiáng)化學(xué)習(xí)
    基于強(qiáng)化學(xué)習(xí)的無(wú)線網(wǎng)絡(luò)智能接入控制技術(shù)
    機(jī)器學(xué)習(xí)發(fā)展現(xiàn)狀及應(yīng)用的研究
    未來(lái)人工智能自主學(xué)習(xí)網(wǎng)絡(luò)的構(gòu)建
    轉(zhuǎn)觀念 強(qiáng)服務(wù) 樹(shù)立用電檢查新價(jià)值
    智能車自主避障路徑規(guī)劃研究綜述
    一種記憶可修剪型仿生機(jī)器人的速度跟蹤算法研究
    基于強(qiáng)化學(xué)習(xí)的在線訂單配送時(shí)隙運(yùn)能分配
    論“以讀促寫”在初中英語(yǔ)寫作教學(xué)中的應(yīng)用
    智能交通車流自動(dòng)導(dǎo)引系統(tǒng)
    分布式系統(tǒng)中基于非合作博弈的調(diào)度算法
    国产精品.久久久| 国产蜜桃级精品一区二区三区 | 欧美精品av麻豆av| 国产97色在线日韩免费| 美女扒开内裤让男人捅视频| 熟女少妇亚洲综合色aaa.| 久久久国产一区二区| 欧美日韩一级在线毛片| 在线av久久热| 久久这里只有精品19| 免费在线观看亚洲国产| 国产精品永久免费网站| 免费观看精品视频网站| 一本综合久久免费| 亚洲自偷自拍图片 自拍| 精品国产国语对白av| a级毛片黄视频| 亚洲国产精品合色在线| 在线观看www视频免费| 大型黄色视频在线免费观看| 国产一区在线观看成人免费| 天堂动漫精品| 日韩欧美免费精品| 最新的欧美精品一区二区| 别揉我奶头~嗯~啊~动态视频| 亚洲精品乱久久久久久| 欧美久久黑人一区二区| 久久精品亚洲熟妇少妇任你| 亚洲专区中文字幕在线| 91麻豆精品激情在线观看国产 | 亚洲欧美日韩高清在线视频| 精品国内亚洲2022精品成人 | 欧美乱色亚洲激情| 久久婷婷成人综合色麻豆| 国产99白浆流出| 一级a爱片免费观看的视频| 人妻一区二区av| 女人久久www免费人成看片| 亚洲精品中文字幕一二三四区| 久久99一区二区三区| 中文字幕人妻熟女乱码| 丰满人妻熟妇乱又伦精品不卡| 久久青草综合色| 老司机亚洲免费影院| 国产99白浆流出| 日韩成人在线观看一区二区三区| 国产午夜精品久久久久久| 亚洲av熟女| 亚洲一卡2卡3卡4卡5卡精品中文| 欧洲精品卡2卡3卡4卡5卡区| av网站在线播放免费| 一级片'在线观看视频| 热99国产精品久久久久久7| 91字幕亚洲| 三上悠亚av全集在线观看| 伦理电影免费视频| 亚洲性夜色夜夜综合| 午夜福利免费观看在线| 亚洲五月婷婷丁香| 一级片'在线观看视频| 9191精品国产免费久久| 日本黄色视频三级网站网址 | 一级片免费观看大全| 精品无人区乱码1区二区| 人人妻人人添人人爽欧美一区卜| 老司机在亚洲福利影院| 嫩草影视91久久| 国产精品国产av在线观看| 视频区欧美日本亚洲| 成人手机av| 校园春色视频在线观看| 在线国产一区二区在线| 国产视频一区二区在线看| 亚洲精品久久成人aⅴ小说| 欧美激情高清一区二区三区| 久久性视频一级片| 久久久久久人人人人人| 嫩草影视91久久| 精品一品国产午夜福利视频| 久久国产精品大桥未久av| 亚洲人成电影观看| 久久久久久亚洲精品国产蜜桃av| 亚洲情色 制服丝袜| 亚洲一区二区三区不卡视频| 女人高潮潮喷娇喘18禁视频| 中文字幕人妻丝袜制服| 男女高潮啪啪啪动态图| 国产成人欧美| 亚洲九九香蕉| 午夜久久久在线观看| 国产精品免费视频内射| 亚洲熟妇熟女久久| 免费不卡黄色视频| 777久久人妻少妇嫩草av网站| 人妻 亚洲 视频| 一边摸一边抽搐一进一小说 | 国产欧美亚洲国产| 女人被狂操c到高潮| 两性午夜刺激爽爽歪歪视频在线观看 | 欧美性长视频在线观看| 99re在线观看精品视频| 一区二区三区精品91| 黄色怎么调成土黄色| 午夜精品国产一区二区电影| 丝袜美腿诱惑在线| 国产男女内射视频| 国产精品久久久久久精品古装| 欧美日本中文国产一区发布| 很黄的视频免费| 一本大道久久a久久精品| 巨乳人妻的诱惑在线观看| 欧美精品人与动牲交sv欧美| 精品第一国产精品| 天天躁夜夜躁狠狠躁躁| 99国产精品一区二区蜜桃av | 精品乱码久久久久久99久播| 在线观看免费午夜福利视频| 中文字幕精品免费在线观看视频| 久久精品国产亚洲av香蕉五月 | 国产精品电影一区二区三区 | 一进一出抽搐gif免费好疼 | av国产精品久久久久影院| 在线观看66精品国产| 久久人人97超碰香蕉20202| 99国产精品免费福利视频| 桃红色精品国产亚洲av| 欧美黄色淫秽网站| 久久热在线av| 又黄又粗又硬又大视频| 精品一区二区三区视频在线观看免费 | 成人av一区二区三区在线看| 男女之事视频高清在线观看| 午夜免费鲁丝| 国产一区在线观看成人免费| 久9热在线精品视频| 在线国产一区二区在线| 他把我摸到了高潮在线观看| 美女 人体艺术 gogo| 成人永久免费在线观看视频| 久久天堂一区二区三区四区| 黄色片一级片一级黄色片| 中文字幕精品免费在线观看视频| 欧美午夜高清在线| 久99久视频精品免费| 欧美国产精品一级二级三级| 三级毛片av免费| 久久久久精品人妻al黑| 国产欧美日韩精品亚洲av| 成人黄色视频免费在线看| av网站在线播放免费| 欧美久久黑人一区二区| a级毛片黄视频| 韩国精品一区二区三区| 99re6热这里在线精品视频| 亚洲国产欧美一区二区综合| 欧美丝袜亚洲另类 | 亚洲色图av天堂| 午夜福利欧美成人| 夜夜爽天天搞| 中文字幕色久视频| 成人永久免费在线观看视频| 精品亚洲成国产av| videosex国产| bbb黄色大片| 黑人操中国人逼视频| videos熟女内射| 99国产综合亚洲精品| 日韩有码中文字幕| 丁香六月欧美| 身体一侧抽搐| 精品人妻在线不人妻| 美女高潮到喷水免费观看| 日本a在线网址| 国产欧美日韩综合在线一区二区| 看免费av毛片| 久久久久精品国产欧美久久久| 亚洲在线自拍视频| av网站在线播放免费| 精品国产乱子伦一区二区三区| 亚洲国产精品合色在线| 国产xxxxx性猛交| 久久人妻熟女aⅴ| 国产区一区二久久| xxx96com| 岛国在线观看网站| 成人av一区二区三区在线看| 久久精品aⅴ一区二区三区四区| 宅男免费午夜| 午夜亚洲福利在线播放| 别揉我奶头~嗯~啊~动态视频| 黑人猛操日本美女一级片| 中文字幕高清在线视频| 老熟妇仑乱视频hdxx| 波多野结衣av一区二区av| 狠狠婷婷综合久久久久久88av| 人人妻人人澡人人看| 91大片在线观看| 国产在视频线精品| 身体一侧抽搐| 久久中文看片网| 黄片大片在线免费观看| 高清在线国产一区| 中文字幕精品免费在线观看视频| 精品亚洲成国产av| 国产成人精品在线电影| 18禁黄网站禁片午夜丰满| 精品国产乱子伦一区二区三区| 国产无遮挡羞羞视频在线观看| 99精品欧美一区二区三区四区| 大香蕉久久成人网| 亚洲欧洲精品一区二区精品久久久| 亚洲精品成人av观看孕妇| 久久天堂一区二区三区四区| 中国美女看黄片| av天堂久久9| 新久久久久国产一级毛片| 欧美亚洲 丝袜 人妻 在线| 欧美日韩国产mv在线观看视频| 欧美激情 高清一区二区三区| 亚洲成a人片在线一区二区| 国产视频一区二区在线看| 国产精品九九99| 后天国语完整版免费观看| а√天堂www在线а√下载 | 久久中文字幕一级| 一级,二级,三级黄色视频| 亚洲一卡2卡3卡4卡5卡精品中文| 成人精品一区二区免费| 巨乳人妻的诱惑在线观看| 一级,二级,三级黄色视频| √禁漫天堂资源中文www| 成人特级黄色片久久久久久久| 亚洲精品在线观看二区| 国产不卡一卡二| 18在线观看网站| 免费一级毛片在线播放高清视频 | 欧美日韩一级在线毛片| 99精品在免费线老司机午夜| 曰老女人黄片| 好男人电影高清在线观看| 国产不卡av网站在线观看| 久久精品国产亚洲av高清一级| 99热网站在线观看| 精品久久久久久久久久免费视频 | 成人精品一区二区免费| 中文字幕制服av| www.999成人在线观看| 久久精品成人免费网站| 欧洲精品卡2卡3卡4卡5卡区| 欧美日韩精品网址| 天天影视国产精品| 黑丝袜美女国产一区| 精品久久蜜臀av无| 悠悠久久av| 亚洲精华国产精华精| 久久精品国产综合久久久| 高清视频免费观看一区二区| 亚洲精品国产色婷婷电影| 日韩成人在线观看一区二区三区| 一级作爱视频免费观看| 亚洲精品中文字幕在线视频| 桃红色精品国产亚洲av| 在线观看66精品国产| 免费观看人在逋| 精品国内亚洲2022精品成人 | 精品欧美一区二区三区在线| 乱人伦中国视频| 国产精华一区二区三区| 欧美日韩精品网址| 亚洲av第一区精品v没综合| 少妇猛男粗大的猛烈进出视频| 国产欧美日韩一区二区三| 国产单亲对白刺激| 精品亚洲成a人片在线观看| 国产欧美日韩一区二区精品| 天堂俺去俺来也www色官网| 亚洲av熟女| 亚洲国产欧美网| 99精品欧美一区二区三区四区| √禁漫天堂资源中文www| 久久国产乱子伦精品免费另类| 亚洲一卡2卡3卡4卡5卡精品中文| 黑人巨大精品欧美一区二区mp4| 18禁美女被吸乳视频| 美女福利国产在线| 啦啦啦 在线观看视频| 欧美精品av麻豆av| 精品人妻在线不人妻| 久久精品国产99精品国产亚洲性色 | 麻豆国产av国片精品| 久久国产精品影院| 人成视频在线观看免费观看| 国产精品久久久久成人av| 午夜福利免费观看在线| 热re99久久国产66热| www.999成人在线观看| 国产片内射在线| 精品一区二区三卡| 一级片'在线观看视频| 国产野战对白在线观看| 日韩一卡2卡3卡4卡2021年| 国产一区二区三区视频了| 视频在线观看一区二区三区| 下体分泌物呈黄色| av网站免费在线观看视频| 国产免费男女视频| 精品国产乱码久久久久久男人| 看片在线看免费视频| 国产精品免费一区二区三区在线 | 村上凉子中文字幕在线| 一进一出抽搐动态| 飞空精品影院首页| 高清黄色对白视频在线免费看| 两个人看的免费小视频| 欧美午夜高清在线| 女人精品久久久久毛片| 建设人人有责人人尽责人人享有的| 天天操日日干夜夜撸| 久久精品国产综合久久久| 亚洲精品粉嫩美女一区| 日日夜夜操网爽| 日本精品一区二区三区蜜桃| 夜夜躁狠狠躁天天躁| 国产不卡av网站在线观看| 国产成人啪精品午夜网站| 国产一区有黄有色的免费视频| 极品人妻少妇av视频| 一区二区三区激情视频| 中文欧美无线码| 国产精品99久久99久久久不卡| 满18在线观看网站| 欧美日韩av久久| 满18在线观看网站| 亚洲色图av天堂| 亚洲av日韩在线播放| 老司机深夜福利视频在线观看| 色94色欧美一区二区| 啦啦啦视频在线资源免费观看| 亚洲国产精品合色在线| 香蕉丝袜av| 亚洲国产欧美网| videosex国产| 色综合婷婷激情| 岛国毛片在线播放| 国产在线精品亚洲第一网站| 日韩欧美三级三区| xxxhd国产人妻xxx| 99re6热这里在线精品视频| 国产在线精品亚洲第一网站| 老汉色av国产亚洲站长工具| 啦啦啦视频在线资源免费观看| 日本黄色日本黄色录像| 看片在线看免费视频| 欧美激情极品国产一区二区三区| 男男h啪啪无遮挡| 国产亚洲欧美在线一区二区| 国产在线精品亚洲第一网站| 国产精品久久久av美女十八| 欧美成人午夜精品| 热99久久久久精品小说推荐| 午夜精品久久久久久毛片777| 亚洲av片天天在线观看| 久久精品国产清高在天天线| 十分钟在线观看高清视频www| 丰满饥渴人妻一区二区三| 香蕉丝袜av| 人妻丰满熟妇av一区二区三区 | 久久精品国产清高在天天线| 在线观看免费日韩欧美大片| 亚洲成人手机| 久久精品国产亚洲av香蕉五月 | 飞空精品影院首页| 亚洲av欧美aⅴ国产| 99久久99久久久精品蜜桃| 国产精品国产av在线观看| 久久草成人影院| 韩国精品一区二区三区| 欧美日韩成人在线一区二区| 欧美人与性动交α欧美软件| 亚洲精品一二三| 国产精品亚洲av一区麻豆| 日韩中文字幕欧美一区二区| 叶爱在线成人免费视频播放| 久久午夜综合久久蜜桃| 免费少妇av软件| 亚洲欧美激情综合另类| 美女视频免费永久观看网站| 天天操日日干夜夜撸| 免费一级毛片在线播放高清视频 | xxxhd国产人妻xxx| 国产主播在线观看一区二区| 午夜老司机福利片| 一区二区三区激情视频| 亚洲aⅴ乱码一区二区在线播放 | 一区二区三区精品91| 热re99久久国产66热| 精品国产美女av久久久久小说| 日韩一卡2卡3卡4卡2021年| 成人特级黄色片久久久久久久| 黄频高清免费视频| 高潮久久久久久久久久久不卡| 精品国产一区二区三区四区第35| 日本一区二区免费在线视频| 欧美性长视频在线观看| 99在线人妻在线中文字幕 | 丁香欧美五月| 精品无人区乱码1区二区| 欧美精品啪啪一区二区三区| 女人久久www免费人成看片| 国产精品欧美亚洲77777| 亚洲少妇的诱惑av| 1024视频免费在线观看| 久久婷婷成人综合色麻豆| 操出白浆在线播放| 女人高潮潮喷娇喘18禁视频| 久久久国产一区二区| av视频免费观看在线观看| 国产日韩一区二区三区精品不卡| 岛国毛片在线播放| 成人永久免费在线观看视频| 国产精品 国内视频| 亚洲中文字幕日韩| 久99久视频精品免费| 亚洲少妇的诱惑av| 国产激情久久老熟女| 1024香蕉在线观看| 亚洲色图综合在线观看| 国产av精品麻豆| 亚洲国产精品合色在线| 一区二区三区精品91| 悠悠久久av| 亚洲人成伊人成综合网2020| 巨乳人妻的诱惑在线观看| 欧美国产精品一级二级三级| 精品人妻熟女毛片av久久网站| 窝窝影院91人妻| 黄色视频,在线免费观看| 又黄又粗又硬又大视频| 久久精品成人免费网站| 中文字幕制服av| 国产区一区二久久| 国产av一区二区精品久久| 黄色a级毛片大全视频| 大香蕉久久网| 亚洲va日本ⅴa欧美va伊人久久| 交换朋友夫妻互换小说| 天堂俺去俺来也www色官网| 免费在线观看黄色视频的| 国产亚洲精品第一综合不卡| 成人18禁在线播放| 亚洲熟女精品中文字幕| 国产99白浆流出| 欧美精品一区二区免费开放| 午夜免费成人在线视频| 日韩欧美在线二视频 | 国精品久久久久久国模美| 国产av精品麻豆| 老司机亚洲免费影院| av超薄肉色丝袜交足视频| 激情视频va一区二区三区| 美女 人体艺术 gogo| 搡老岳熟女国产| 欧美国产精品一级二级三级| 在线天堂中文资源库| 美国免费a级毛片| 一级片免费观看大全| 国产精品久久久久久精品古装| 极品人妻少妇av视频| 久久精品熟女亚洲av麻豆精品| 久久影院123| 国产午夜精品久久久久久| 又黄又粗又硬又大视频| 十八禁人妻一区二区| 自线自在国产av| 色综合欧美亚洲国产小说| 日韩欧美一区二区三区在线观看 | 亚洲成人国产一区在线观看| 热re99久久国产66热| 国产成人精品无人区| 久久久精品区二区三区| 精品无人区乱码1区二区| 日韩精品免费视频一区二区三区| xxx96com| 丝袜美腿诱惑在线| 在线观看免费视频日本深夜| 无人区码免费观看不卡| 国产淫语在线视频| 怎么达到女性高潮| 中文字幕人妻丝袜制服| 黄网站色视频无遮挡免费观看| 日本一区二区免费在线视频| avwww免费| 高潮久久久久久久久久久不卡| 久久中文字幕人妻熟女| 在线观看免费视频日本深夜| 很黄的视频免费| 一区二区日韩欧美中文字幕| 啦啦啦视频在线资源免费观看| 久久精品国产亚洲av高清一级| 国产亚洲一区二区精品| 亚洲成a人片在线一区二区| 日韩欧美一区二区三区在线观看 | 高清视频免费观看一区二区| 国产亚洲精品一区二区www | 好男人电影高清在线观看| 国产成人欧美在线观看 | 国精品久久久久久国模美| 精品免费久久久久久久清纯 | 日本一区二区免费在线视频| 精品视频人人做人人爽| 国精品久久久久久国模美| 男女免费视频国产| 国产成人欧美| 大码成人一级视频| 中文字幕人妻丝袜一区二区| 国产免费男女视频| 成年人黄色毛片网站| 波多野结衣av一区二区av| 最近最新中文字幕大全电影3 | 99精品在免费线老司机午夜| 在线看a的网站| 欧美亚洲日本最大视频资源| 久久久久视频综合| 亚洲熟妇中文字幕五十中出 | 国产又爽黄色视频| xxxhd国产人妻xxx| 国产成人精品久久二区二区91| 超碰97精品在线观看| 两人在一起打扑克的视频| 1024香蕉在线观看| 韩国av一区二区三区四区| 亚洲一区二区三区欧美精品| 日本五十路高清| 国产高清国产精品国产三级| 丝袜美腿诱惑在线| 热re99久久精品国产66热6| 国产成人免费观看mmmm| 亚洲男人天堂网一区| av电影中文网址| 桃红色精品国产亚洲av| 在线视频色国产色| 免费在线观看日本一区| 亚洲av日韩在线播放| 欧美 日韩 精品 国产| 亚洲avbb在线观看| 久久久国产精品麻豆| 国产乱人伦免费视频| 国产成人av教育| 80岁老熟妇乱子伦牲交| 91在线观看av| 青草久久国产| 精品一区二区三卡| 在线观看免费高清a一片| 一级,二级,三级黄色视频| 久久精品国产a三级三级三级| 国内久久婷婷六月综合欲色啪| 成人免费观看视频高清| 亚洲精品成人av观看孕妇| 夜夜夜夜夜久久久久| 高清视频免费观看一区二区| 757午夜福利合集在线观看| 99精品久久久久人妻精品| 一区二区日韩欧美中文字幕| 91在线观看av| 中文欧美无线码| 国产真人三级小视频在线观看| 一级毛片精品| 亚洲精华国产精华精| 日本五十路高清| 人人澡人人妻人| 国产成人精品无人区| 嫩草影视91久久| 最新美女视频免费是黄的| 久久人妻福利社区极品人妻图片| 757午夜福利合集在线观看| 国产黄色免费在线视频| 久久精品国产综合久久久| 侵犯人妻中文字幕一二三四区| 男女免费视频国产| 国产乱人伦免费视频| 精品免费久久久久久久清纯 | 丁香欧美五月| 少妇的丰满在线观看| 精品一区二区三卡| 久久影院123| 亚洲视频免费观看视频| 淫妇啪啪啪对白视频| 91精品三级在线观看| 免费一级毛片在线播放高清视频 | 国产亚洲av高清不卡| 香蕉国产在线看| 日本五十路高清| 欧美日韩亚洲国产一区二区在线观看 | 国产淫语在线视频| 男女高潮啪啪啪动态图| 亚洲熟妇熟女久久| 精品久久久精品久久久| 一级片免费观看大全| 老司机靠b影院| 欧美黄色淫秽网站| 国产免费av片在线观看野外av| 看免费av毛片| 国内毛片毛片毛片毛片毛片| 在线观看免费视频日本深夜| 99热网站在线观看| 99re6热这里在线精品视频| 九色亚洲精品在线播放| 无人区码免费观看不卡| 亚洲第一青青草原| 手机成人av网站| 性少妇av在线| 欧美激情 高清一区二区三区| 一边摸一边抽搐一进一出视频| 久久这里只有精品19| 十八禁网站免费在线|