• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    弱通信下無(wú)人潛航器事件觸發(fā)一致性協(xié)同控制

    2025-03-20 00:00:00趙萬(wàn)兵夏元清戴荔張?jiān)?/span>
    關(guān)鍵詞:強(qiáng)化學(xué)習(xí)

    摘 要:針對(duì)水下無(wú)人潛航器(unmanned underwater vehicle, UUV)集群在弱通信條件下的一致性協(xié)同控制問(wèn)題,考慮水下群間通信存在的高延時(shí)、低帶寬、需具有隱蔽性等弱通信特點(diǎn),設(shè)計(jì)基于強(qiáng)化學(xué)習(xí)的事件觸發(fā)智能一致性協(xié)同控制架構(gòu),以實(shí)現(xiàn)UUV集群在弱通信條件下的有效協(xié)同。首先,設(shè)計(jì)一個(gè)事件觸發(fā)分布式觀測(cè)器,該觀測(cè)器利用領(lǐng)導(dǎo)者與鄰居的動(dòng)態(tài)交互信息,來(lái)估計(jì)弱通信條件下UUV所需的跟蹤參考信號(hào)。隨后,采用強(qiáng)化學(xué)習(xí)方法直接從系統(tǒng)交互中學(xué)習(xí)最優(yōu)控制策略。最后,通過(guò)仿真結(jié)果驗(yàn)證了所提方法的有效性。

    關(guān)鍵詞: 弱通信; 事件觸發(fā); 一致性協(xié)同控制; 強(qiáng)化學(xué)習(xí)

    中圖分類號(hào): TP 13

    文獻(xiàn)標(biāo)志碼: ADOI:10.12305/j.issn.1001 506X.2025.02.25

    Event triggered consensus cooperative control of unmanned underwater

    vehicle under adverse communication condition

    ZHAO Wanbing, XIA Yuanqing*, DAI Li, ZHANG Yuan

    (School of Automation, Beijing Institute of Technology, Beijing 100081, China)

    Abstract:Aiming at the problem of consensus collaborative control of unmanned underwater vehicle (UUV) clusters under adverse communication conditions, considering the adverse communication characteristics of high latency, low bandwidth, and the need for stealth in underwater inter cluster communication, a reinforcement learning based event triggered intelligent consensus collaborative control architecture is designed to achieve effective collaboration of UUV clusters under adverse communication conditions. Firstly, an event triggered distributed observer is devised which utilizes dynamic interaction information between leaders and neighbors to estimate the tracking reference signal required for UUVs under adverse communication conditions. Subsequently, reinforcement learning methods are used to directly learn the optimal control strategy from system interactions. Finally, the effectiveness of the proposed method is validated through simulation results.

    Keywords:adverse communication condition; event triggered; consensus cooperative control; reinforce ment learning

    0 引 言

    相比于傳統(tǒng)有人單兵作戰(zhàn),無(wú)人集群協(xié)同作戰(zhàn)具有成本低、規(guī)模高、響應(yīng)快等降維打擊優(yōu)勢(shì),成為各軍事強(qiáng)國(guó)爭(zhēng)先搶占的新一輪戰(zhàn)略制高點(diǎn)。

    然而,與刀光劍影的水上無(wú)人集群作戰(zhàn)不同,暗潮洶涌的水下無(wú)人集群作戰(zhàn)具有其自身難點(diǎn)。首先,受復(fù)雜海洋環(huán)境影響,傳統(tǒng)電磁波通信無(wú)法在水下實(shí)現(xiàn),聲波通信雖然被廣泛采用,但其存在延時(shí)長(zhǎng)、不可靠、帶寬低等問(wèn)題1。另外,考慮到實(shí)際水下作戰(zhàn)中,隱蔽性是無(wú)人潛航器(unmanned underwater vehicle, UUV)威懾力的重要抓手2,集群間的通信被嚴(yán)格限制。因此,受到客觀惡劣環(huán)境和實(shí)際水下作戰(zhàn)隱蔽性需求雙重影響,UUV間協(xié)同具有嚴(yán)重的弱通信特點(diǎn)3。如何在弱通信條件影響下實(shí)現(xiàn)UUV集群有效協(xié)同成為亟待解決的問(wèn)題。

    近年來(lái),研究學(xué)者提出很多針對(duì)UUV協(xié)同控制的方法4-6。Li等7研究具有簡(jiǎn)化動(dòng)態(tài)模型的UUV協(xié)同控制問(wèn)題。Li等8研究基于自適應(yīng)神經(jīng)網(wǎng)絡(luò)的控制方法,用于簡(jiǎn)化UUV系統(tǒng)分布式編隊(duì)協(xié)同控制任務(wù)。Yang等9將UUV動(dòng)態(tài)模型解耦,并設(shè)計(jì)典型的內(nèi)外環(huán)控制方案,以實(shí)現(xiàn)具有恒定通信延遲的多個(gè)UUV的編隊(duì)協(xié)同控制。Yan等10考慮UUV之間的有界通信延遲,將非線性UUV模型轉(zhuǎn)換為二階線性模型,以設(shè)計(jì)協(xié)調(diào)控制器。Suryendu 等11為具有有界時(shí)變通信延遲的UUV設(shè)計(jì)領(lǐng)導(dǎo)者-跟隨者協(xié)同控制器。Liu等12為受任意大通信延遲影響的多智能體系統(tǒng)設(shè)計(jì)分布式觀測(cè)器。然而,上述工作依賴于UUV之間的連續(xù)時(shí)間通信,這對(duì)有限通信帶寬的UUV來(lái)說(shuō)是不適用的。

    事件觸發(fā)協(xié)同控制被證明是一種解決有限通信帶寬問(wèn)題的有效方法,該方法可以通過(guò)僅在設(shè)計(jì)的觸發(fā)條件下更新通信信號(hào)來(lái)減少UUV的通信資源需求13-14。Xu等15研究UUV的事件觸發(fā)分布式一致性控制,并設(shè)計(jì)模糊跟蹤控制器以實(shí)現(xiàn)UUV的形成。Meng等16研究一種基于滑模控制方法的事件觸發(fā)控制方案,以實(shí)現(xiàn)無(wú)領(lǐng)導(dǎo)的UUV編隊(duì)協(xié)同控制。Yan等17利用位置/速度狀態(tài)為多個(gè)UUV設(shè)計(jì)一種分布式事件觸發(fā)協(xié)同控制方法。然而,上述事件觸發(fā)協(xié)同控制方案并未考慮UUV之間的時(shí)變通信延遲。此外,上述工作的控制器設(shè)計(jì)依賴于UUV的動(dòng)態(tài)模型,這對(duì)于存在未知?jiǎng)討B(tài)的UUV來(lái)說(shuō)是具有挑戰(zhàn)性的。

    為了解決UUV的未知?jiǎng)討B(tài)問(wèn)題,一些研究學(xué)者利用強(qiáng)化學(xué)習(xí)方法,通過(guò)僅使用系統(tǒng)環(huán)境交互數(shù)據(jù)來(lái)學(xué)習(xí)UUV的最優(yōu)控制策略18。Wu等19設(shè)計(jì)一種無(wú)模型強(qiáng)化學(xué)習(xí)算法,用于實(shí)現(xiàn)具有未知?jiǎng)討B(tài)模型的UUV的深度控制。Cui等20引入神經(jīng)網(wǎng)絡(luò)來(lái)近似使用強(qiáng)化學(xué)習(xí)方法的控制策略,以實(shí)現(xiàn)UUV的軌跡跟蹤。Cao等21使用積分強(qiáng)化學(xué)習(xí)方法獲得一種考慮模型不確定性影響的UUV通信感知形成控制器。Wang等22通過(guò)使用強(qiáng)化學(xué)習(xí)方法求解哈密頓-雅可比-貝爾曼(Hamilton Jacobi Bellman, HJB)方程,實(shí)現(xiàn)UUV的分布式最優(yōu)協(xié)同跟蹤控制。然而,上述研究?jī)H考慮單個(gè)UUV的控制任務(wù),或在協(xié)同任務(wù)中并未考慮弱通信影響。

    針對(duì)上述難點(diǎn),本文提出一種事件觸發(fā)的UUV一致性協(xié)同控制方法,該方法考慮了水下弱通信以及未知?jiǎng)討B(tài)對(duì)協(xié)同控制性能的影響。為了解決水下弱通信問(wèn)題,首先構(gòu)建了一個(gè)事件觸發(fā)的分布式觀測(cè)器,利用群間共享的延遲信息觀測(cè)每個(gè)UUV的跟蹤參考點(diǎn)。然后,基于強(qiáng)化學(xué)習(xí)方法學(xué)習(xí)到了最優(yōu)控制策略,實(shí)現(xiàn)多UUV的姿態(tài)一致性協(xié)同控制。本文對(duì)所提協(xié)同控制器的穩(wěn)定性以及所提事件觸發(fā)函數(shù)的芝諾行為進(jìn)行分析,主要貢獻(xiàn)如下。

    首先,本文考慮實(shí)際UUV集群協(xié)同面臨的弱通信特點(diǎn),結(jié)合可用的領(lǐng)導(dǎo)者動(dòng)態(tài)和集群間局部交互信息,設(shè)計(jì)事件觸發(fā)的分布式觀測(cè)器,實(shí)現(xiàn)UUV集群對(duì)于領(lǐng)導(dǎo)者狀態(tài)的實(shí)時(shí)估計(jì),通過(guò)理論分析保證所設(shè)計(jì)的分布式觀測(cè)器的收斂性。其次,本文考慮到UUV在水下動(dòng)態(tài)環(huán)境中受到高非線性與強(qiáng)耦合性影響,傳統(tǒng)最優(yōu)控制方法無(wú)法通過(guò)理論推導(dǎo)獲得其解析解。本文設(shè)計(jì)強(qiáng)化學(xué)習(xí)方法獲得逼近的最優(yōu)控制策略。最后,本文考慮到UUV在實(shí)際水下環(huán)境中會(huì)受到未知?jiǎng)討B(tài)影響,控制策略應(yīng)能夠隨著動(dòng)態(tài)變化進(jìn)行自適應(yīng)調(diào)整。通過(guò)設(shè)計(jì)一種非策略強(qiáng)化學(xué)習(xí)方法,利用原有穩(wěn)態(tài)控制量數(shù)據(jù)與分布式觀測(cè)器輸出數(shù)據(jù),迭代更新并自適應(yīng)地學(xué)習(xí)最優(yōu)控制策略,提升控制策略的自適應(yīng)性。

    1 問(wèn)題描述

    1.1 通信拓?fù)涿枋?/p>

    在本文的協(xié)同控制任務(wù)中,UUV之間的信息流通過(guò)一個(gè)通信圖G=(V,E)進(jìn)行描述,其中V={vi|i=1,2,…,N}和EV×V分別表示節(jié)點(diǎn)和邊的集合。定義鄰接矩陣A=[aij]∈RN×N,如果節(jié)點(diǎn)i和節(jié)點(diǎn)j之間存在邊,則aijgt;0,否則aij=0。令Ni={vj|(vi,vj)∈E}表示節(jié)點(diǎn)i的鄰居集合。定義Φ={1,2,…,N}。從節(jié)點(diǎn)i到節(jié)點(diǎn)j的路徑可以描述為一系列的邊(vlm,vlm+1),其中m=1,2,…,k。如果集群中存在信息流,從領(lǐng)導(dǎo)者可聯(lián)通所有節(jié)點(diǎn)的路徑,那么可以說(shuō)通信圖G存在生成樹(shù),其中領(lǐng)導(dǎo)者為根節(jié)點(diǎn)。定義LG=D-A,其中D=diag(di,d2,…,dN),di=∑Nj=0aij。

    1.2 UUV姿態(tài)動(dòng)力學(xué)模型

    本文設(shè)定UUV系統(tǒng)的浮力中心與其重心重合。令EB={eBx,eBy,eBz}表示UUV的機(jī)體固定坐標(biāo)系,其中eBx,eBy,eBz分別表示機(jī)體固定坐標(biāo)系的x軸、y軸和z軸。定義vi=[ωxi,ωyi,ωzi]T∈R3為UUV在EB中的角速度,而ξi=[i,θi,i]T∈R3是UUV的姿態(tài)歐拉角。其中,i為滾轉(zhuǎn)角,θi為俯仰角,i為偏航角。則UUV姿態(tài)運(yùn)動(dòng)學(xué)模型23可表述為

    ξ·i=Ti(ξi)vi(1)

    式中:Ti(ξi)表示坐標(biāo)轉(zhuǎn)換矩陣24。根據(jù)文獻(xiàn)[9],UUV姿態(tài)動(dòng)力學(xué)模型可表述為

    Miv·i+Ci(vi)vi+Di(vi)vi=τi(2)

    式中:Mi∈R3×3為慣性矩陣25;Ci(vi)∈R3×3表示非線性科里奧利力和離心力矩陣25;Di(vi)∈R3×3表示水動(dòng)力阻尼矩陣25;τi∈R3表示扭矩輸入。Mi和Di(vi)可表述為

    Di(vi)=-diag{βωxi,βωyi,βωzi}

    Mi=diag{Ixi,Iyi,Izi}(3)

    式中:Ixi,Iyi,Izi為慣性矩陣;βωxi,βωyi,βωzi表示水動(dòng)力阻尼系數(shù)。Ci(vi)可表述為

    Ci(vi)=CRi(vi)+CAi(vi),

    CRi(vi)=

    0Iziωzi-Iyiωyi

    -Iziωzi0Ixiωxi

    Iyiωyi-Ixiωxi0;

    CAi(vi)=0-βω·ziωziβω·yiωyi

    βω·ziωzi0-βω·xiωxi

    -βω·yiωyiβω·xiωxi0(4)

    式中:βω·xi,βω·yi,βω·zi表示文獻(xiàn)[25]中提到的流體動(dòng)力學(xué)相關(guān)參數(shù)。

    從式(1)~式(4)可知,UUV是一個(gè)高度非線性和耦合的系統(tǒng),具有多個(gè)系統(tǒng)參數(shù)。此外,由于復(fù)雜的水下環(huán)境,難以獲得準(zhǔn)確的UUV系統(tǒng)參數(shù)。因此,為了實(shí)現(xiàn)期望的協(xié)同控制,為UUV系統(tǒng)設(shè)計(jì)基于模型的最優(yōu)控制器具有挑戰(zhàn)性。

    1.3 一致性控制問(wèn)題描述

    本文的目標(biāo)是設(shè)計(jì)一個(gè)事件觸發(fā)的一致性協(xié)同控制器,以實(shí)現(xiàn)UUV在時(shí)變通信延遲、帶寬受限和未知?jiǎng)討B(tài)下的姿態(tài)一致性協(xié)同。定義UUV集群需要跟蹤的領(lǐng)導(dǎo)者動(dòng)態(tài)為

    r·Θ0=SΘ0rΘ0(5)

    式中:rΘ0=[ξT0,ξ·T0]∈R6表示領(lǐng)導(dǎo)者狀態(tài)且SΘ0∈R6×6表示領(lǐng)導(dǎo)者動(dòng)態(tài)矩陣。本文所采用的領(lǐng)導(dǎo)者動(dòng)態(tài)模型是一般協(xié)同控制研究中普遍采用的線性動(dòng)態(tài)模型26,能夠生成的典型軌跡有振蕩軌跡(如本文仿真中所示)、勻速/加速直線運(yùn)動(dòng)軌跡、指數(shù)增長(zhǎng)/衰減運(yùn)動(dòng)軌跡等。

    假設(shè) 1 在UUV集群的實(shí)際水下協(xié)同任務(wù)中,通信拓?fù)鋱D中至少存在一棵生成樹(shù),連接著領(lǐng)導(dǎo)者和所有后續(xù)的UUV,其中領(lǐng)導(dǎo)者是根節(jié)點(diǎn)。

    假設(shè)1是實(shí)現(xiàn)多智能體系統(tǒng)分布式協(xié)同的常見(jiàn)條件27。本文的目標(biāo)是設(shè)計(jì)一種自適應(yīng)事件觸發(fā)控制方案,利用局部交互信息,保證每個(gè)UUV跟蹤領(lǐng)導(dǎo)者狀態(tài),以實(shí)現(xiàn)在弱通信影響下、具有完全非線性動(dòng)力學(xué)的UUV的分布式一致性協(xié)同控制。

    本文通過(guò)設(shè)計(jì)強(qiáng)化學(xué)習(xí)策略和分布式觀測(cè)器,以解決水下UUV在非線性動(dòng)態(tài)、未知?jiǎng)討B(tài)和弱通信條件下的一致性協(xié)同控制問(wèn)題。本文將一致性協(xié)同問(wèn)題分解為領(lǐng)導(dǎo)者狀態(tài)估計(jì)問(wèn)題和參考軌跡的跟蹤控制問(wèn)題。通過(guò)鄰居間數(shù)據(jù)交互進(jìn)行領(lǐng)導(dǎo)者狀態(tài)估計(jì),然后利用領(lǐng)導(dǎo)者狀態(tài)信息和UUV自身狀態(tài)信息設(shè)計(jì)控制器。

    2 協(xié)同控制器設(shè)計(jì)

    本文針對(duì)領(lǐng)導(dǎo)者狀態(tài)估計(jì)問(wèn)題,通過(guò)設(shè)計(jì)事件驅(qū)動(dòng)分布式觀測(cè)器,從而在弱通信條件影響下,利用鄰居間交互的延時(shí)信息,對(duì)領(lǐng)導(dǎo)者狀態(tài)進(jìn)行估計(jì)。之后,本文利用估計(jì)出來(lái)的領(lǐng)導(dǎo)者狀態(tài)信息,設(shè)計(jì)基于強(qiáng)化學(xué)習(xí)的最優(yōu)控制器,達(dá)到對(duì)領(lǐng)導(dǎo)者狀態(tài)的跟蹤,最終實(shí)現(xiàn)UUV集群的一致性協(xié)同控制。圖1所示為UUV控制器的設(shè)計(jì)框架。

    2.1 事件觸發(fā)分布式觀測(cè)器設(shè)計(jì)

    定義rΘi=[ξrTi,ξ·rTi]T∈R6為觀測(cè)器狀態(tài)量。令εΘi∈R6為局部觀測(cè)誤差且滿足εΘi=∑Nj=0aij(rΘj-rΘi)。類似于文獻(xiàn)[28],本文假設(shè)集群擬跟蹤的領(lǐng)導(dǎo)者動(dòng)態(tài)矩陣SΘ0沒(méi)有具有負(fù)實(shí)部的特征值。本文的事件觸發(fā)分布式觀測(cè)器設(shè)計(jì)如下:

    r·Θi=SΘirΘi+μiε′Θi, μ·i=ε′TΘiε′Θi(6)

    式中:μi為觀測(cè)器設(shè)計(jì)參數(shù)且滿足μi>0;ε′Θi∈R6表示εΘi的觀測(cè)值且滿足ε′Θi=∑Nj=0aij(r′Θj-r′Θi);r′Θi為參考信號(hào)rΘi的觀測(cè)值且滿足

    r′Θj(t)=eSΘ0(t-tk′Θj)rΘj(tkΘj), t∈[tkΘi,tk+1Θi)(7)

    式中:tkΘj表示UUV i在tkΘi時(shí)刻接收到的UUV j最新信息的時(shí)間。類似于文獻(xiàn)[12],本文考慮在UUV i與UUV j之間存在任意大的時(shí)變通信延遲τ~ij,滿足tkΘj=tkΘi-τ~ij(j∈Ni)且tkΘi=tkΘi,其中觸發(fā)時(shí)間tkΘi的觸發(fā)函數(shù)設(shè)計(jì)為

    fΘi=r~′Θi2-1i(ε′Θi2+βΘie-αΘit)(8)

    式中:r~′Θi=r′Θi-rΘi;αΘi,βΘigt;0,即βΘi為正實(shí)數(shù);i=μi+∑Nj=1aijμj。μj為第j個(gè)UUV的觀測(cè)器設(shè)計(jì)參數(shù)。從式(8)可以看到,通過(guò)提高αΘi并降低βΘi,可以減少βΘie-αΘit閾值,從而提高對(duì)觀測(cè)誤差r~′Θi的精度要求,使得事件觸發(fā)函數(shù)的通信觸發(fā)頻率相應(yīng)提高。

    正如文獻(xiàn)[29]所述,每個(gè)UUV在信息發(fā)送時(shí)可以進(jìn)行時(shí)間戳標(biāo)記,這意味著通信延遲τ~ij可以從UUV之間的時(shí)間戳信息中獲取。本文通過(guò)利用領(lǐng)導(dǎo)動(dòng)態(tài)和通信延遲信息,在式(6)~式(8)中設(shè)計(jì)一個(gè)事件觸發(fā)的觀測(cè)器,預(yù)測(cè)鄰近信息并主動(dòng)補(bǔ)償通信延遲帶來(lái)的影響。

    定理 1 定義估計(jì)誤差r~Θi=rΘi-rΘ0。設(shè)定假設(shè)1成立,利用式(6)設(shè)計(jì)的分布式觀測(cè)器,可得到以下性質(zhì)。

    性質(zhì) 1 估計(jì)誤差r~Θi逼近于0。即limt→∞r(nóng)~Θi(t)=0。

    性質(zhì) 2 事件觸發(fā)函數(shù)式(8)不存在芝諾行為。

    證明

    (1) 證明limt→∞r(nóng)~Θi(t)=0

    由r~′Θi與ε′Θi的定義可知:

    ε′Θ=-(LGI6)(r~Θ+r~′Θ)(9)

    式中:ε′Θ=[ε′TΘ1,ε′TΘ2,…,ε′TΘN]T;r~Θ=[r~TΘ1,r~TΘ2,…,r~TΘN]T;r~′Θ=[r~′TΘ1,r~′TΘ2,…,r~′TΘN]T;表示克羅內(nèi)克積。從式(9)可得

    r~Θ=-(L-1GI6)ε′Θ-r~′Θ(10)

    定義如下李雅普諾夫函數(shù):

    VΘ=12r~TΘ(LGI6)r~Θ(11)

    由式(6)可知:

    r~·Θi=r·Θi-r·Θ0=SΘ0rΘi+μiε′Θi-SΘ0rΘ0=

    SΘ0r~Θi+μiε′Θi(12)

    由以上可得

    r~·Θ=(INSΘ0)r~Θ+(μI6)ε′Θ(13)

    式中:μ=diag{μ1,μ2,…,μN(yùn)}。由式(11)和式(13)可得

    V·Θ=r~TΘ(LGI6)r~·Θ=

    r~TΘ(LGSΘ0)r~Θ+r~TΘ(LGμI6)ε′Θ(14)

    由式(10)和式(14)可知

    V·Θ=r~′TΘ(INSΘ0)ε′Θ+r~′TΘ(LGSΘ0)r~′Θ+

    ε′TΘ(L-1GSΘ0)ε′Θ+ε′TΘ(INSΘ0)r~′Θ-

    r~′TΘ(LGμI6)ε′Θ-ε′TΘ(μI6)ε′Θ(15)

    值得注意的是

    -r~′TΘ(LGμI6)ε′Θ≤14∑Ni=1μiε′Θi2+

    2d-max∑Ni=1∑Nj=1aijμir~′Θj2+

    2d-2max∑Ni=1μir~′Θi2(16)

    式中:d-maxmaxi∈N(d-i)≥1??紤]到aij=aji,i,j∈N,可得

    ∑Ni=1∑Nj=1aijμir~′Θj2=∑Ni=1∑Nj=1aijμjr~′Θi2(17)

    由式(16)和式(17)可得

    -r~′TΘ(LGμI6)ε′Θ≤

    14∑Ni=1μiε′Θi2+2d-2max∑Ni=1ir~′Θi2(18)

    基于楊氏不等式30,可得

    r~′TΘ(INSΘ0)ε′Θ≤12λθ1r~′Θ2+12λθ1ε′Θ2(19)

    式中:λθ1=σ2max(INSΘ0)。從式(15)、式(16)和式(19)可得

    V·Θ≤(λθ1+λθ2)r~′Θ2+(λθ1+λθ3)ε′Θ2-

    34∑Ni=1μiε′Θi2+2d-2max∑Ni=1ir~′Θi2(20)

    式中:λθ2=σ2max(LGSΘ0);λθ3=σ2max(L-1GSΘ0)。

    由觸發(fā)函數(shù)式(8)可得

    V·Θ≤∑Ni=1(λθ1+λθ2+2d-2maxi)i(ε′Θi2+βΘie-αΘit)+

    ∑Ni=1λθ1+λθ3-34μiε′Θi2=

    ∑Ni=1λθ1+λθ2i+2d-2max+λθ1+λθ3-34μiε′Θi2+

    ∑Ni=1λθ1+λθ2i+2d-2maxβΘie-αΘit(21)

    μi≥4λθ1+4λθ23i+83d-2max+43λθ1+43λθ3+43

    λα=mini∈N(αΘi)

    λβ=maxi∈N(λθ1+λθ2+2d-2max)βΘi(22)

    由式(21)和式(22)可得

    V·Θ≤-∑Ni=1ε′Θi2+λβNe-λαt(23)

    令WΘ=VΘ+1λαλβNe-λαt。由式(23)可得

    W·Θ≤-∑Ni=1ε′Θi2≤0(24)

    由WΘ的定義和式(24)可知,估計(jì)誤差r~Θi逼近于0,即limt→∞r(nóng)~Θi(t)=0。

    (2) 證明事件觸發(fā)函數(shù)式(8)無(wú)芝諾行為

    由以上可知,r~Θi和ε′Θi將逼近于0。注意到r~′Θi滿足r~·′Θi=SΘ0r~′Θi-μiε′Θi,可得r~·′Θi有界且滿足

    D+r~′Θi2≤r~·′Θi2≤σ-Θi(25)

    式中:σ-Θigt;0表示上界。由式(25)可得

    r~′Θi(tk+1Θi)2-r~′Θi(tk+Θi)2tk+1Θi-tk+Θi≤σ-Θi(26)

    r~′Θi(tk+1Θi)2≤σ-Θi(tk+1Θi-tk+Θi)(27)

    由事件觸發(fā)函數(shù)式(8)可知:

    r~′Θi(tk+1Θi)2≥1i(ε′Θi(tk+1Θi)2+βΘie-αΘitk+1Θi)(28)

    由式(27)和式(28)可得

    tk+1Θi-tk+Θi≥(ε′Θi(tk+1Θi)2+βΘie-αΘitk+1Θi)σ-Θiigt;0 (29)

    由式(29)可知,事件觸發(fā)函數(shù)式(8)不存在芝諾行為。證畢

    2.2 最優(yōu)控制器設(shè)計(jì)

    設(shè)計(jì)控制量ui,使得τi=T-1i(ξi)ui,則UUV動(dòng)態(tài)模型式(2)可轉(zhuǎn)換為

    x·i=Fixi+Biui(30)

    式中:xi=[ξTi,ξ·Ti]T∈R6;Bi=[03×3,M-1i]T;Fi=03×3I3

    03×3fξi,fξi=fTi+fvi,fTi=T-i(ξi)T-1i(ξi),且fvi=Ti(ξi)M-1i(Ci(vi)T-1i(ξi)+Di(vi)T-1i(ξi))。由式(6)和式(30)可得

    X·i=F-iXi+B-iui+Tiε′Θi(31)

    式中:Xi=[xTi,rTΘi];F-i=diag(Fi,SΘ0);B-i=[BTi,03×6]T;Ti=[03×6,μiI6]T。定義UUV跟蹤誤差eΘi=ξi-ξri。為實(shí)現(xiàn)最優(yōu)控制,定義性能函數(shù)如下:

    VΘi=∫∞t(eTΘiQieΘi+ui2)dτ(32)

    式中:Qigt;0。根據(jù)傳統(tǒng)最優(yōu)控制理論31,可得最優(yōu)控制策略u(píng)i為

    ui=-B-TiΔVΘi2(33)

    式中:ΔVΘi=VΘi/Xi。VΘi為以下方程的解:

    eTΘiQieΘi-(ΔVΘi)TB-iB-TiΔVΘi4+

    (ΔVΘi)T(F-iXi+Tiε′Θi)=0(34)

    由式(33)和式(34)可知,傳統(tǒng)最優(yōu)控制理論完全依賴于模型推導(dǎo)。然而,精確的動(dòng)力學(xué)模型對(duì)處于復(fù)雜動(dòng)態(tài)環(huán)境中的UUV來(lái)說(shuō)是無(wú)法獲得的。

    本文為解決上述問(wèn)題,基于強(qiáng)化學(xué)習(xí),提出一種數(shù)據(jù)驅(qū)動(dòng)的最優(yōu)控制策略智能學(xué)習(xí)算法。

    2.3 基于強(qiáng)化學(xué)習(xí)的最優(yōu)控制策略學(xué)習(xí)方法

    首先,構(gòu)建神經(jīng)網(wǎng)絡(luò),以逼近性能函數(shù)和控制策略:

    V^nΘi(Xi)=Wnvivi(Xi)

    u^ni(Xi)=Wnuiui(Xi),i∈Φ(35)

    式中:vi(Xi)∈Rl1,ui(Xi)∈Rl2表示激勵(lì)函數(shù);Wnvi∈R1×l1,Wnui∈R3×l2表示第n次迭代中的神經(jīng)網(wǎng)絡(luò)權(quán)重,l1,l2表示神經(jīng)網(wǎng)絡(luò)個(gè)數(shù)。

    針對(duì)UUV系統(tǒng)(式(31)),引入穩(wěn)態(tài)控制器u0i以采集學(xué)習(xí)數(shù)據(jù),則系統(tǒng)動(dòng)力學(xué)方程變?yōu)?/p>

    X·i=F-iXi+B-i(u0i-Wnuiui+Wnuiui)+Tiε′Θi(36)

    由式(33)、式(34)和式(36)可得

    Wnvi·vi=-eTΘiQieΘi-TuiWnTuiWnuiui-

    2TuiW(n+1)Tui(u0i-Wnuiui)(37)

    通過(guò)對(duì)式(37)兩端積分,可得貝爾曼方程:

    Wnvi(vi(t+T)-vi(t))=

    t+Tt(-eTΘiQieΘi-TuiWnTuiWnuiui)dτ-

    t+Tt2TuiW(n+1)Tui(u0i-Wnuiui)dτ(38)

    與式(34)相比,式(38)中不包含系統(tǒng)動(dòng)態(tài)模型,因此可構(gòu)建強(qiáng)化學(xué)習(xí)方法,利用數(shù)據(jù)學(xué)習(xí)最優(yōu)控制策略,步驟如算法1所示。

    算法 1 UUV強(qiáng)化學(xué)習(xí)控制策略學(xué)習(xí)框架

    步驟 1 (生成系統(tǒng)數(shù)據(jù))將初始穩(wěn)態(tài)控制量u0i和隨機(jī)探索策略u(píng)0ei應(yīng)用到UUV中,收集系統(tǒng)狀態(tài)數(shù)據(jù)Xi(t)和控制量數(shù)據(jù)ui(t)。

    步驟 2 (利用系統(tǒng)數(shù)據(jù))利用第一步產(chǎn)生的系統(tǒng)數(shù)據(jù),求解貝爾曼方程(式(38)),獲得Wnvi和Wn+1ui。

    步驟 3 (更新控制策略)更新控制策略Wnui=Wn+1ui,并重復(fù)步驟2,直至參數(shù)收斂。

    利用以上得到的迭代學(xué)習(xí)框架,式(35)中的神經(jīng)網(wǎng)絡(luò)將迭代逼近最優(yōu)控制策略(式(33)),該算法逼近性可參考文獻(xiàn)[32]。在實(shí)際應(yīng)用中,神經(jīng)網(wǎng)絡(luò)V^nΘi(Xi)和u^ni(Xi)與實(shí)際最優(yōu)策略V*Θi(Xi)和u*i(Xi)的關(guān)系如下:

    V*Θi(Xi)=V^nΘi(Xi)+σi(Xi)

    u*i(Xi)=u^ni(Xi)+εi(Xi),i∈Φ(39)

    式中:σi(Xi)表示V^nΘi(Xi)對(duì)V*Θi(Xi)的逼近誤差;εi(Xi)表示u^ni(Xi)對(duì)u*i(Xi)的逼近誤差。正如文獻(xiàn)[33]所述,采用神經(jīng)網(wǎng)絡(luò)逼近最優(yōu)控制策略(式(33))會(huì)存在一定的逼近誤差,然而當(dāng)采用足夠多的神經(jīng)網(wǎng)絡(luò)激勵(lì)函數(shù)時(shí),該逼近誤差可變得任意小。因此,存在0lt;ηilt;1和0lt;γilt;1,使得

    ηiu^ni(Xi)≥εi(Xi)

    γiV^nΘi(Xi)≥σi(Xi)(40)

    下面將給出利用本文設(shè)計(jì)的強(qiáng)化學(xué)習(xí)控制策略學(xué)習(xí)框架得到的控制策略u(píng)^ni(Xi)的穩(wěn)定性定理。

    定理 2 采用本文UUV強(qiáng)化學(xué)習(xí)控制策略學(xué)習(xí)框架迭代學(xué)習(xí)出的控制量u^ni(Xi)可保證UUV控制系統(tǒng)的穩(wěn)定性。

    證明 由式(39)可知,與控制器u^ni(Xi)相對(duì)應(yīng)的性能函數(shù)V^ni(Xi)導(dǎo)數(shù)滿足

    V^·nΘi(Xi)=V·*Θi(Xi)-σ·i(Xi)(41)

    其中性能函數(shù)VΘi滿足:

    V·Θi=ΔVΘiX·i=

    ΔVTΘi(F-iXi+B-iu^ni+Tiε′Θi)(42)

    將式(34)代入式(42),可得

    V·Θi=-eTΘiQieΘi-ΔVTΘiB-iB-TiΔVΘi4-

    ΔVTΘiB-iεi(Xi)=

    -eTΘiQieΘi-(u^ni(Xi))Tu^ni(Xi)+

    εTi(Xi)εi(Xi)(43)

    由式(40)可得

    (u^ni(Xi))Tu^ni(Xi)gt;εTi(Xi)εi(Xi)(44)

    因此,由式(40)、式(41)、式(43)、式(44)可得

    (1±γi)V^·nΘi(Xi)≤-eTΘiQieΘi(45)

    由式(45)可知,利用本文UUV強(qiáng)化學(xué)習(xí)控制策略學(xué)習(xí)框架迭代學(xué)習(xí)出的控制量為u^ni(Xi),UUV穩(wěn)定性能夠得到保證。證畢

    3 仿真實(shí)驗(yàn)

    為驗(yàn)證本文所提事件驅(qū)動(dòng)協(xié)同控制方法的有效性,基于文獻(xiàn)[25]中的系統(tǒng)參數(shù),本節(jié)構(gòu)建由4個(gè)UUV協(xié)同組成的仿真系統(tǒng),其中UUV系統(tǒng)參數(shù)設(shè)置如下:βωxi=-0.8,βωyi=-0.9,βωzi=-0.4,βω·xi=-200,βω·yi=-350,βω·zi=-500,Ixi=203 Nm· s2,Iyi=587 Nm· s2,Izi=687 Nm· s2。領(lǐng)導(dǎo)者動(dòng)態(tài)設(shè)置為SΘ0=[-c6,4,-c6,5,-c6,6,c6,1,c6,2,c6,3],cm,n表示第n個(gè)元素為1且其他元素為0的m×1維列向量。領(lǐng)導(dǎo)者和各UUV的初始狀態(tài)設(shè)置為ξ0=[40°,-20°,10°]T,ξ1=[20°,5°,15°]T,ξ2=[20°,10°,5°]T,ξ3=[-20°,5°,-15°]T,ξ4=[20°,-10°,5°]T,ξ·i=03×1" °/s。時(shí)間延時(shí)τ滿足當(dāng)時(shí)間t∈[0,5)時(shí),τ=|sin(0.1t)|;當(dāng)t∈[5,∞)時(shí),τ=|5 cos(0.1 t)|。通信拓?fù)浣Y(jié)構(gòu)設(shè)置為w10=w21=w32=w41=1。分布式觀測(cè)器式(6)的初始參數(shù)設(shè)置為αΘi=0.1βΘi=1.1。為了探索環(huán)境并采集系統(tǒng)數(shù)據(jù),將比例-微分(proportion differentiation, PD)控制器和一個(gè)正弦控制信號(hào)一起應(yīng)用到UUV系統(tǒng)中,其中PD控制器的結(jié)構(gòu)為

    uPDi=KiEi(46)

    式中:Ei∈R6表示跟蹤誤差,Ei=[eTΘi,e·TΘi]T;Ki∈R3×6表示PD控制參數(shù)。仿真中,Ki的取值為

    Ki=

    -10000-7000

    0-10000-700

    00-10000-70

    (47)

    另外,正弦控制信號(hào)的結(jié)構(gòu)為

    u0ei=100∑100m=1sin(mt)(48)

    式中:m為隨機(jī)生成。

    采集完系統(tǒng)數(shù)據(jù)后,利用本文提出的強(qiáng)化學(xué)習(xí)算法進(jìn)行數(shù)據(jù)學(xué)習(xí),學(xué)習(xí)參數(shù)設(shè)置為Qi=50I3且T=0.1 s,神經(jīng)網(wǎng)絡(luò)設(shè)置為多個(gè)多項(xiàng)式累積和。神經(jīng)網(wǎng)絡(luò)權(quán)重逼近效果如圖2所示。

    從圖2中可以看到,利用本文強(qiáng)化學(xué)習(xí)算法可成功實(shí)現(xiàn)控制策略神經(jīng)網(wǎng)絡(luò)權(quán)重的學(xué)習(xí)與收斂。將學(xué)習(xí)收斂的控制策略應(yīng)用到UUV集群中,UUV集群姿態(tài)一致性協(xié)同軌跡圖如圖3所示。UUV集群姿態(tài)跟蹤誤差圖如圖4所示。UUV之間的通信觸發(fā)時(shí)間如圖5所示。從圖3~圖5可以看到,利用本文所提事件觸發(fā)控制框架,可實(shí)現(xiàn)UUV集群在非線性、未知系統(tǒng)參數(shù)、有限通信帶寬和時(shí)變通信延遲影響下的姿態(tài)一致性協(xié)同控制任務(wù)。但是,從圖4可以看到,UUV跟蹤誤差仍有較大誤差,這是由于集群間信息未及時(shí)更新造成。本文將分布式觀測(cè)器參數(shù)αΘi從0.1提升到1.0,將βΘi從1.1降低到0.05,從而降低事件觸發(fā)函數(shù)(式(8))中誤差的可接受閾值,UUV集群協(xié)同結(jié)果如圖6~圖8所示。通過(guò)對(duì)比圖3~圖5與圖6~圖8可以看到,調(diào)整事件觸發(fā)函數(shù)參數(shù),可提升UUV集群協(xié)同控制性能,但最高通信間隔從1.5 s降為1 s。因此,在實(shí)際UUV集群事件觸發(fā)一致性協(xié)同控制中,需通過(guò)調(diào)節(jié)事件觸發(fā)參數(shù),權(quán)衡通信頻率和協(xié)同性能。

    4 結(jié) 論

    本文針對(duì)UUV集群在水下弱通信和動(dòng)態(tài)環(huán)境影響下的協(xié)同控制問(wèn)題,提出一種基于強(qiáng)化學(xué)習(xí)的事件觸發(fā)一致性協(xié)同控制方案。主要研究?jī)?nèi)容如下:① 事件觸發(fā)機(jī)制的構(gòu)建。為應(yīng)對(duì)水下通信的帶寬和延遲限制,設(shè)計(jì)一種事件觸發(fā)分布式觀測(cè)器,以有效處理通信延遲和有限帶寬等問(wèn)題,減少集群間數(shù)據(jù)傳輸量。② 強(qiáng)化學(xué)習(xí)方法的應(yīng)用。利用強(qiáng)化學(xué)習(xí)技術(shù),設(shè)計(jì)一種數(shù)據(jù)驅(qū)動(dòng)的最優(yōu)控制策略學(xué)習(xí)方法,該方法能夠在高非線性、強(qiáng)耦合性和不確定性動(dòng)態(tài)環(huán)境下動(dòng)態(tài)學(xué)習(xí)最優(yōu)控制策略,提高了控制的自適應(yīng)性。③ 穩(wěn)定性分析與芝諾行為排除。對(duì)所提協(xié)同控制器進(jìn)行穩(wěn)定性分析,并通過(guò)數(shù)學(xué)證明排除觸發(fā)函數(shù)的芝諾行為,確保系統(tǒng)的穩(wěn)定性和可靠性。④ 仿真實(shí)驗(yàn)的驗(yàn)證。通過(guò)仿真實(shí)驗(yàn),驗(yàn)證了所提控制方案的有效性,結(jié)果表明本文方案能夠?qū)崿F(xiàn)UUV集群在復(fù)雜水下環(huán)境中的有效協(xié)同控制。

    參考文獻(xiàn)

    [1]閆敬, 關(guān)新平, 羅小元, 等. 水下信息物理系統(tǒng)探測(cè)-通信-控制一體化: 挑戰(zhàn)與進(jìn)展[J]. 控制理論與應(yīng)用, 2022, 39(11): 1996-2008.

    YAN J, GUAN X P, LUO X Y, et al. Integration of detection, communication, and control in underwater information physical systems: challenges and progress[J]. Control Theory and App lications, 2022, 39(11): 1996-2008.

    [2]曾斌, 張鴻強(qiáng), 李厚樸. 針對(duì)無(wú)人潛航器的反潛策略研究[J]. 系統(tǒng)工程與電子技術(shù), 2022, 44(10): 3174-3181.

    ZENG B, ZHANG H Q, LI H P. Research on anti submarine strategy for unmanned underwater vehicles[J]. Systems Engineering and Electronics, 2022, 44(10): 3174-3181.

    [3]韓東, 賀寅, 陳立軍, 等. 水下通信技術(shù)及其難點(diǎn)[J]. 科技創(chuàng)新與應(yīng)用, 2021(1): 155-159.

    HAN D, HE Y, CHEN L J, et al. Underwater communication technology and its challenges[J]. Science and Technology Innovation and Application, 2021(1): 155-159.

    [4]胡橋, 趙振軼, 馮豪博, 等. AUV智能集群協(xié)同任務(wù)研究進(jìn)展[J]. 水下無(wú)人系統(tǒng)學(xué)報(bào), 2023, 31(2): 189-200.

    HU Q, ZHAO Z Y, FENG H B, et al. Research progress on collaborative missions of AUV intelligent swarms[J]. Journal of Underwater Unmanned Systems, 2023, 31(2): 189-200.

    [5]LIANG H T, CAO H, FU Y F. Decentralized adaptive flocking control algorithm with avoiding collision and preserving connectivity for crowded UUV swarm with uncertainties and input satu ration[J]. Ocean Engineering, 2021, 237: 109545.

    [6]WEI W, WANG J J, FANG Z R, et al. 3U: joint design of UAV USV UUV networks for cooperative target hunting[J]. IEEE Trans.on Vehicular Technology, 2023, 72(3): 4085-4090.

    [7]LI H P, XIE P, YAN W S. Receding horizon formation tracking control of constrained underactuated autonomous underwater vehi cles[J]. IEEE Trans.on Industrial Electronics, 2017, 64(6): 5004-5013.

    [8]LI X, ZHU D Q. An adaptive SOM neural network method for distributed formation control of a group of AUVs[J]. IEEE Trans.on Industrial Electronics, 2018, 65(10): 8260-8270.

    [9]YANG H Z, WANG C F, ZHANG F M. A decoupled controller design approach for formation control of autonomous underwater vehicles with time delays[J]. IET Control Theory amp; Applications, 2013, 7(15): 1950-1958.

    [10]YAN Z P, YANG Z W, YUE L D, et al. Discrete time coordinated control of leader following multiple AUVs under switch ing topologies and communication delays[J]. Ocean Engineering, 2019, 172: 361-372.

    [11]SURYENDU C, SUBUDHI B. Formation control of multiple autonomous underwater vehicles under communication delays[J]. IEEE Trans.on Circuits and Systems II: Express Briefs, 2020, 67(12): 3182-3186.

    [12]LIU K X, LU J H, LIN Z L. Design of distributed observers in the presence of arbitrarily large communication delays[J]. IEEE Trans.on Neural Networks and Learning Systems, 2018, 29(9): 4447-4461.

    [13]SU B, WANG H B, WANG Y L. Dynamic event triggered formation control for AUVs with fixed time integral sliding mode distur bance observer[J]. Ocean Engineering, 2021, 240: 109893.

    [14]SHI Y, XIE W, ZHANG G Q, et al. Event triggered saturation tolerant control for autonomous underwater vehicles with quantitative transient behaviors[J]. IEEE Trans.on Vehicular Technology, 2023, 72(8): 9857-9867.

    [15]XU Y Y, LI T S, TONG S C. Event triggered adaptive fuzzy bipartite consensus control of multiple autonomous underwater vehicles[J]. IET Control Theory amp; Applications, 2020, 14(20): 3632-3642.

    [16]MENG C C, ZHANG W, DU X. Finite time extended state observer based collision free leaderless formation control of multiple AUVs via event triggered control[J]. Ocean Engineering, 2023, 268: 113605.

    [17]YAN Z P, ZHANG C, ZHANG M Y, et al. Distributed event triggered formation control for multi AUV system via asynchronous periodic sampling control approach[J]. Ocean Engineering, 2022, 256: 111561.

    [18]許雅筑, 武輝, 游科友, 等. 強(qiáng)化學(xué)習(xí)方法在自主水下機(jī)器人控制任務(wù)中的應(yīng)用[J]. 中國(guó)科學(xué)(信息科學(xué)), 2020, 50(12): 1798-1816.

    XU Y Z, WU H, YOU K Y, et al. A selected review of reinforcement learning based control for autonomous underwater vehicles[J]. Science in China (Information Sciences), 2020, 50(12): 1798-1816.

    [19]WU H, SONG S J, YOU K Y, et al. Depth control of model free AUVs via reinforcement learning[J]. IEEE Trans.on Systems, Man, and Cybernetics: Systems, 2019, 49(12): 2499-2510.

    [20]CUI R X, YANG C G, LI Y, et al. Adaptive neural network control of AUVs with control input nonlinearities using reinforcement learning[J]. IEEE Trans.on Systems, Man, and Cybernetics: Systems, 2017, 47(6): 1019-1029.

    [21]CAO W Q, YAN J, YANG X, et al. Communication aware formation control of AUVs with model uncertainty and fading channel via integral reinforcement learning[J]. IEEE/CAA Journal of Automatica Sinica, 2023, 10(1): 159-176.

    [22]WANG Z K, ZHANG L J. Distributed optimal formation tracking control based on reinforcement learning for underactuated AUVs with asymmetric constraints[J]. Ocean Engineering, 2023, 280: 114491.

    [23]ZHAO W B, XIA Y Q, ZHAI D H, et al. Adaptive event tri ggered coordination control of unknown autonomous underwater vehicles under communication link faults[J]. Automatica, 2023, 158: 111277.

    [24]HOU S P, CHEAH C C. Can a simple control scheme work for a formation control of multiple autonomous underwater vehicles?[J]. IEEE Trans.on Control Systems Technology, 2011, 19(5): 1090-1101.

    [25]LIU H, WANG Y H, LEWIS F L. Robust distributed formation controller design for a group of unmanned underwater vehicles[J]. IEEE Trans.on Systems, Man, and Cybernetics: Systems, 2021, 51(2): 1215-1223.

    [26]CAI H, HUANG J. The leader following consensus for multiple uncertain euler lagrange systems with an adaptive distributed observer[J]. IEEE Trans.on Automatic Control, 2016, 61(10): 3152-3157.

    [27]MU B X, ZHANG K W, SHI Y. Integral sliding mode flight controller design for a quadrotor and the application in a heterogeneous multi agent system[J]. IEEE Trans.on Industrial Electronics, 2017, 64(12): 9389-9398.

    [28]HU W F, LIU L, FENG G. Cooperative output regulation of linear multi agent systems by intermittent communication: a unified framework of time and event triggering strategies[J]. IEEE Trans.on Automatic Control, 2018, 63(2): 548-555.

    [29]ZHANG W, ZENG J, YAN Z P, et al. Leader following consensus of discrete time multi AUV recovery system with time varying delay[J]. Ocean Engineering, 2021, 219: 108258.

    [30]QIAN Y Y, LIU L, FENG G. Distributed dynamic event triggered control for cooperative output regulation of linear multi agent systems[J]. IEEE Trans.on Cybernetics, 2020, 50(7): 3023-3032.

    [31]MODARES H, LEWIS F L, NAGHIBI SISTANI M. Integral reinforcement learning and experience replay for adaptive optimal control of partially unknown constrained input continuous time systems[J]. Automatica, 2014, 50(1): 193-202.

    [32]ZHAO W B, LIU H, LEWIS F L. Robust formation control for cooperative underactuated quadrotors via reinforcement learning[J]. IEEE Trans.on Neural Networks and Learning Systems, 2021, 32(10): 4577-4587.

    [33]MODARES H, LEWIS F L, KANG W, et al. Optimal synchronization of heterogeneous nonlinear systems with unknown dynamics[J]. IEEE Trans.on Automatic Control, 2018, 63(1): 117-131.

    作者簡(jiǎn)介

    趙萬(wàn)兵(1993—),男,副教授,博士,主要研究方向?yàn)槎嘀悄荏w智能協(xié)同控制、事件驅(qū)動(dòng)控制、魯棒容錯(cuò)控制。

    夏元清(1971—),男,教授,博士,主要研究方向?yàn)闊o(wú)人移動(dòng)平臺(tái)協(xié)同控制、空天地海一體化網(wǎng)絡(luò)環(huán)境下多運(yùn)動(dòng)體系統(tǒng)跨越協(xié)同控制與智能決策、云控制與決策。

    戴 荔(1988—),女,教授,博士,主要研究方向?yàn)槎嘀悄荏w控制理論與應(yīng)用、模型預(yù)測(cè)控制理論及應(yīng)用。

    張 元(1993—),男,副教授,博士,主要研究方向?yàn)榫W(wǎng)絡(luò)化系統(tǒng)分析與優(yōu)化、數(shù)據(jù)驅(qū)動(dòng)理論及其應(yīng)用。

    猜你喜歡
    強(qiáng)化學(xué)習(xí)
    基于強(qiáng)化學(xué)習(xí)的無(wú)線網(wǎng)絡(luò)智能接入控制技術(shù)
    機(jī)器學(xué)習(xí)發(fā)展現(xiàn)狀及應(yīng)用的研究
    未來(lái)人工智能自主學(xué)習(xí)網(wǎng)絡(luò)的構(gòu)建
    轉(zhuǎn)觀念 強(qiáng)服務(wù) 樹(shù)立用電檢查新價(jià)值
    智能車自主避障路徑規(guī)劃研究綜述
    一種記憶可修剪型仿生機(jī)器人的速度跟蹤算法研究
    基于強(qiáng)化學(xué)習(xí)的在線訂單配送時(shí)隙運(yùn)能分配
    論“以讀促寫”在初中英語(yǔ)寫作教學(xué)中的應(yīng)用
    智能交通車流自動(dòng)導(dǎo)引系統(tǒng)
    分布式系統(tǒng)中基于非合作博弈的調(diào)度算法
    最近的中文字幕免费完整| 亚洲综合色惰| 男女下面进入的视频免费午夜| 亚洲成人精品中文字幕电影| 不卡视频在线观看欧美| 日韩亚洲欧美综合| 舔av片在线| 男女国产视频网站| www.色视频.com| 亚洲18禁久久av| 视频中文字幕在线观看| 91在线精品国自产拍蜜月| 色综合站精品国产| 在线观看一区二区三区| 五月伊人婷婷丁香| 婷婷六月久久综合丁香| 中文欧美无线码| 日日撸夜夜添| 夫妻午夜视频| 校园人妻丝袜中文字幕| 国精品久久久久久国模美| 国产亚洲最大av| 一级毛片久久久久久久久女| 成人特级av手机在线观看| 国产成人91sexporn| 91aial.com中文字幕在线观看| 2022亚洲国产成人精品| 男女下面进入的视频免费午夜| 亚洲av成人av| 一级毛片黄色毛片免费观看视频| 22中文网久久字幕| 国产高清不卡午夜福利| 国产在线男女| 国产日韩欧美在线精品| 久久97久久精品| 中文字幕av成人在线电影| 成年女人看的毛片在线观看| 免费观看av网站的网址| 寂寞人妻少妇视频99o| 神马国产精品三级电影在线观看| 国产极品天堂在线| 草草在线视频免费看| 久久人人爽人人爽人人片va| 久久精品夜夜夜夜夜久久蜜豆| 日韩欧美三级三区| 有码 亚洲区| 一二三四中文在线观看免费高清| 嫩草影院入口| 最后的刺客免费高清国语| 国产精品久久久久久精品电影小说 | 国产亚洲av嫩草精品影院| 国产精品一区www在线观看| 麻豆乱淫一区二区| 日韩亚洲欧美综合| 国模一区二区三区四区视频| 非洲黑人性xxxx精品又粗又长| 夜夜爽夜夜爽视频| 麻豆久久精品国产亚洲av| 国产成年人精品一区二区| 大香蕉97超碰在线| 丝袜喷水一区| 你懂的网址亚洲精品在线观看| 久久久久久久久大av| videossex国产| 亚洲人成网站在线播| 国产午夜精品论理片| 人人妻人人澡欧美一区二区| 深爱激情五月婷婷| 成年免费大片在线观看| 91狼人影院| 2021天堂中文幕一二区在线观| 国产真实伦视频高清在线观看| 人妻一区二区av| 最近视频中文字幕2019在线8| 狂野欧美激情性xxxx在线观看| 国产黄片视频在线免费观看| 久久久精品欧美日韩精品| or卡值多少钱| 午夜福利在线观看吧| 亚洲精品第二区| av线在线观看网站| 欧美高清成人免费视频www| 免费av不卡在线播放| 亚洲av国产av综合av卡| 色综合亚洲欧美另类图片| 狂野欧美激情性xxxx在线观看| 插阴视频在线观看视频| 久久99热6这里只有精品| 乱码一卡2卡4卡精品| 欧美激情国产日韩精品一区| 91久久精品电影网| 日韩制服骚丝袜av| 精品久久久久久久久av| 国产精品一区www在线观看| 中文字幕av在线有码专区| 午夜日本视频在线| 乱人视频在线观看| 麻豆av噜噜一区二区三区| 国产精品不卡视频一区二区| 丝袜喷水一区| av.在线天堂| 亚洲av福利一区| 国产精品熟女久久久久浪| 成人综合一区亚洲| 在线观看av片永久免费下载| 国产精品精品国产色婷婷| 女人被狂操c到高潮| 大香蕉久久网| 免费av毛片视频| 亚洲综合精品二区| 欧美一级a爱片免费观看看| 身体一侧抽搐| 色综合站精品国产| 免费看av在线观看网站| 亚洲最大成人中文| 成人国产麻豆网| 国产在视频线精品| 国产探花在线观看一区二区| 精品人妻偷拍中文字幕| 亚洲最大成人av| 女人被狂操c到高潮| 欧美不卡视频在线免费观看| 精品久久久久久电影网| 2021少妇久久久久久久久久久| 精品一区二区三卡| 亚洲精品视频女| 乱人视频在线观看| 久久久久久久国产电影| 欧美最新免费一区二区三区| 日韩三级伦理在线观看| 乱系列少妇在线播放| 亚洲欧美成人精品一区二区| 久久99蜜桃精品久久| 久久97久久精品| 精品久久久久久久久久久久久| 免费观看在线日韩| 国产亚洲午夜精品一区二区久久 | 建设人人有责人人尽责人人享有的 | 99九九线精品视频在线观看视频| 18禁动态无遮挡网站| 人体艺术视频欧美日本| 一边亲一边摸免费视频| 三级国产精品片| 久久久久国产网址| 日日撸夜夜添| 亚洲欧美一区二区三区国产| 99re6热这里在线精品视频| 久久这里只有精品中国| 2021少妇久久久久久久久久久| 中文字幕av在线有码专区| 美女主播在线视频| 国模一区二区三区四区视频| 国产淫语在线视频| 日本与韩国留学比较| av卡一久久| 亚洲在线观看片| 亚洲av国产av综合av卡| 日韩av在线大香蕉| 国产免费又黄又爽又色| 国产极品天堂在线| 亚洲精品影视一区二区三区av| 国产综合懂色| 在线观看av片永久免费下载| 久久精品久久精品一区二区三区| 国产高清三级在线| 免费高清在线观看视频在线观看| 一二三四中文在线观看免费高清| 欧美一级a爱片免费观看看| 免费看a级黄色片| 男女视频在线观看网站免费| 日日啪夜夜爽| ponron亚洲| 日本爱情动作片www.在线观看| 中文字幕人妻熟人妻熟丝袜美| 久久热精品热| av在线播放精品| 最近最新中文字幕大全电影3| 国产爱豆传媒在线观看| 久久精品久久精品一区二区三区| 国产色爽女视频免费观看| 亚洲精品久久久久久婷婷小说| 成人午夜高清在线视频| 国产日韩欧美在线精品| 日韩欧美精品v在线| 插阴视频在线观看视频| 97超碰精品成人国产| 亚洲av成人精品一二三区| 久久久久精品性色| 欧美人与善性xxx| 国产成人免费观看mmmm| 三级国产精品片| 大陆偷拍与自拍| 国国产精品蜜臀av免费| 午夜福利成人在线免费观看| 两个人的视频大全免费| 校园人妻丝袜中文字幕| 成人美女网站在线观看视频| 街头女战士在线观看网站| 亚洲婷婷狠狠爱综合网| 中文字幕av在线有码专区| 久久这里只有精品中国| 狂野欧美白嫩少妇大欣赏| 白带黄色成豆腐渣| 国产精品三级大全| 中文字幕免费在线视频6| av在线蜜桃| 久久99热这里只频精品6学生| 老女人水多毛片| 久久99蜜桃精品久久| 亚洲欧美清纯卡通| 伦精品一区二区三区| 免费电影在线观看免费观看| 99热全是精品| 国产高清不卡午夜福利| 91久久精品国产一区二区三区| 99久久人妻综合| 国产精品综合久久久久久久免费| 国产av国产精品国产| 成人一区二区视频在线观看| eeuss影院久久| 亚洲国产精品成人久久小说| 九草在线视频观看| 九色成人免费人妻av| 特大巨黑吊av在线直播| 两个人的视频大全免费| 久久韩国三级中文字幕| 少妇的逼水好多| 亚洲欧美成人综合另类久久久| 国产美女午夜福利| 成人亚洲精品一区在线观看 | 亚洲av中文av极速乱| 欧美xxxx黑人xx丫x性爽| 在线播放无遮挡| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 欧美 日韩 精品 国产| 成人毛片60女人毛片免费| 一区二区三区四区激情视频| 成人欧美大片| 色综合亚洲欧美另类图片| 麻豆精品久久久久久蜜桃| 美女脱内裤让男人舔精品视频| 青春草亚洲视频在线观看| 99热这里只有是精品50| 深夜a级毛片| 成人无遮挡网站| 国产伦一二天堂av在线观看| 午夜激情久久久久久久| av线在线观看网站| 亚洲乱码一区二区免费版| 午夜免费激情av| 搞女人的毛片| 男女边吃奶边做爰视频| av线在线观看网站| 街头女战士在线观看网站| 亚洲精品日本国产第一区| 九草在线视频观看| 狂野欧美激情性xxxx在线观看| 久久久a久久爽久久v久久| 精华霜和精华液先用哪个| 久99久视频精品免费| 欧美最新免费一区二区三区| 久久综合国产亚洲精品| 久久精品熟女亚洲av麻豆精品 | 婷婷色av中文字幕| 成人毛片60女人毛片免费| 美女内射精品一级片tv| 国产伦理片在线播放av一区| 国产一区亚洲一区在线观看| 免费黄网站久久成人精品| 国产极品天堂在线| 男人爽女人下面视频在线观看| 一个人看的www免费观看视频| av一本久久久久| 日本一本二区三区精品| eeuss影院久久| 韩国av在线不卡| 天堂中文最新版在线下载 | 五月天丁香电影| 国产精品1区2区在线观看.| av在线天堂中文字幕| 成年女人在线观看亚洲视频 | 婷婷色综合www| 国产精品一区二区三区四区免费观看| 99九九线精品视频在线观看视频| 美女被艹到高潮喷水动态| 色吧在线观看| 免费黄网站久久成人精品| 国产精品福利在线免费观看| 国产成人aa在线观看| 免费观看在线日韩| 亚洲高清免费不卡视频| 尾随美女入室| 丰满乱子伦码专区| 男女那种视频在线观看| 九九久久精品国产亚洲av麻豆| 女人被狂操c到高潮| 亚洲精品自拍成人| 春色校园在线视频观看| 网址你懂的国产日韩在线| 欧美性感艳星| 亚洲人成网站在线观看播放| 亚洲18禁久久av| 精品亚洲乱码少妇综合久久| 少妇丰满av| 免费看av在线观看网站| 久久久午夜欧美精品| 亚洲国产色片| 日本免费在线观看一区| 性插视频无遮挡在线免费观看| 不卡视频在线观看欧美| 偷拍熟女少妇极品色| 秋霞伦理黄片| 777米奇影视久久| 精品人妻一区二区三区麻豆| 日韩精品有码人妻一区| 国产精品伦人一区二区| 国产黄频视频在线观看| 国产黄色视频一区二区在线观看| 1000部很黄的大片| 男插女下体视频免费在线播放| 亚洲成色77777| 久久97久久精品| 欧美激情国产日韩精品一区| 成人漫画全彩无遮挡| 天堂av国产一区二区熟女人妻| 黑人高潮一二区| 色尼玛亚洲综合影院| 少妇丰满av| 99久国产av精品| 亚洲乱码一区二区免费版| 少妇人妻精品综合一区二区| 精品人妻偷拍中文字幕| 午夜爱爱视频在线播放| 国产免费一级a男人的天堂| 99久久精品国产国产毛片| 精品不卡国产一区二区三区| 一二三四中文在线观看免费高清| 久久久久国产网址| 一夜夜www| 色5月婷婷丁香| 一级毛片电影观看| 欧美变态另类bdsm刘玥| 国产一区二区亚洲精品在线观看| 免费少妇av软件| 免费不卡的大黄色大毛片视频在线观看 | 免费高清在线观看视频在线观看| 最近的中文字幕免费完整| 国产精品综合久久久久久久免费| 亚洲国产精品成人久久小说| 午夜福利网站1000一区二区三区| 亚洲av免费高清在线观看| 熟女电影av网| 午夜老司机福利剧场| 亚洲成色77777| 毛片一级片免费看久久久久| 欧美不卡视频在线免费观看| 少妇猛男粗大的猛烈进出视频 | 国产精品av视频在线免费观看| 亚洲精品国产av蜜桃| 美女主播在线视频| 欧美极品一区二区三区四区| 精品久久久久久久久亚洲| 美女高潮的动态| 国产黄频视频在线观看| 韩国高清视频一区二区三区| 国产三级在线视频| 天堂俺去俺来也www色官网 | 狂野欧美白嫩少妇大欣赏| 久久久久久九九精品二区国产| 成年人午夜在线观看视频 | 亚洲国产最新在线播放| 在线a可以看的网站| 国模一区二区三区四区视频| 99视频精品全部免费 在线| av国产久精品久网站免费入址| 国产男女超爽视频在线观看| 国语对白做爰xxxⅹ性视频网站| 欧美日韩综合久久久久久| 亚洲婷婷狠狠爱综合网| 精品不卡国产一区二区三区| 亚洲精品国产av成人精品| av.在线天堂| 大香蕉97超碰在线| 永久免费av网站大全| 亚洲国产精品成人久久小说| 日韩一本色道免费dvd| 亚洲精品第二区| 亚洲真实伦在线观看| 久久精品久久久久久久性| av在线观看视频网站免费| 国产69精品久久久久777片| 亚洲精品久久久久久婷婷小说| 麻豆精品久久久久久蜜桃| av播播在线观看一区| 国产一级毛片在线| 又大又黄又爽视频免费| 国产在视频线在精品| 97超视频在线观看视频| 成人美女网站在线观看视频| 国产黄a三级三级三级人| 成人一区二区视频在线观看| 国产精品爽爽va在线观看网站| 尾随美女入室| 日日干狠狠操夜夜爽| 少妇熟女aⅴ在线视频| 91久久精品国产一区二区成人| 九草在线视频观看| 欧美xxxx黑人xx丫x性爽| 国产熟女欧美一区二区| 中文乱码字字幕精品一区二区三区 | 欧美成人a在线观看| 大陆偷拍与自拍| 久久国内精品自在自线图片| 国产免费一级a男人的天堂| 水蜜桃什么品种好| 亚洲精品,欧美精品| 一级av片app| 男女下面进入的视频免费午夜| 久久精品国产亚洲av天美| av免费在线看不卡| 免费少妇av软件| 国产一区二区亚洲精品在线观看| 人妻一区二区av| 成人午夜高清在线视频| 亚洲成人av在线免费| 亚洲最大成人手机在线| 亚洲性久久影院| 一个人免费在线观看电影| 日韩,欧美,国产一区二区三区| 女人十人毛片免费观看3o分钟| 人人妻人人澡人人爽人人夜夜 | 亚洲色图av天堂| 插阴视频在线观看视频| 国产精品综合久久久久久久免费| 久久99热6这里只有精品| 欧美日韩精品成人综合77777| 直男gayav资源| av又黄又爽大尺度在线免费看| 日韩欧美一区视频在线观看 | 最近中文字幕2019免费版| 男人和女人高潮做爰伦理| 中文字幕av成人在线电影| 美女高潮的动态| 国内揄拍国产精品人妻在线| 十八禁国产超污无遮挡网站| 一级a做视频免费观看| 国产亚洲精品av在线| 女人十人毛片免费观看3o分钟| 最近中文字幕2019免费版| 国产老妇伦熟女老妇高清| 婷婷色麻豆天堂久久| 免费看日本二区| 99久久精品热视频| 日韩电影二区| 亚洲av一区综合| 伦理电影大哥的女人| 亚洲av一区综合| 亚洲在久久综合| 国产精品久久视频播放| 1000部很黄的大片| 女人被狂操c到高潮| 九九久久精品国产亚洲av麻豆| 国产日韩欧美在线精品| 一级二级三级毛片免费看| 国产白丝娇喘喷水9色精品| 午夜免费激情av| 日韩av不卡免费在线播放| 国产一级毛片在线| 日韩欧美三级三区| 亚洲精华国产精华液的使用体验| 欧美激情在线99| 熟女电影av网| 非洲黑人性xxxx精品又粗又长| 欧美日韩精品成人综合77777| 乱码一卡2卡4卡精品| 97在线视频观看| 久久鲁丝午夜福利片| 能在线免费看毛片的网站| 久久久久久九九精品二区国产| 成人二区视频| 在线免费观看的www视频| 国产伦精品一区二区三区四那| 嫩草影院新地址| 99视频精品全部免费 在线| 欧美xxxx性猛交bbbb| 精华霜和精华液先用哪个| 国产 一区 欧美 日韩| 淫秽高清视频在线观看| 国产黄片美女视频| 中文乱码字字幕精品一区二区三区 | 精品欧美国产一区二区三| 久久久午夜欧美精品| 九九爱精品视频在线观看| 777米奇影视久久| 色5月婷婷丁香| 国模一区二区三区四区视频| 亚洲精品乱码久久久久久按摩| 成年人午夜在线观看视频 | 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 三级男女做爰猛烈吃奶摸视频| 国产av国产精品国产| 欧美日本视频| 乱人视频在线观看| 97超碰精品成人国产| 搡老乐熟女国产| a级一级毛片免费在线观看| 国产精品日韩av在线免费观看| 美女被艹到高潮喷水动态| 高清av免费在线| 日韩视频在线欧美| 亚洲av免费在线观看| 又黄又爽又刺激的免费视频.| 精品一区二区免费观看| 中文字幕免费在线视频6| 又大又黄又爽视频免费| 蜜桃久久精品国产亚洲av| 少妇丰满av| 丝瓜视频免费看黄片| 久久99热这里只有精品18| 久久久久久久久久久丰满| 亚洲欧洲国产日韩| 内地一区二区视频在线| 国内揄拍国产精品人妻在线| 丝瓜视频免费看黄片| 菩萨蛮人人尽说江南好唐韦庄| 亚洲天堂国产精品一区在线| 亚洲精品乱久久久久久| 午夜精品一区二区三区免费看| 2018国产大陆天天弄谢| 美女被艹到高潮喷水动态| 久久久久久久午夜电影| 免费av观看视频| 亚洲av电影在线观看一区二区三区 | 蜜桃亚洲精品一区二区三区| 婷婷色综合大香蕉| 精品久久久久久成人av| 麻豆国产97在线/欧美| 欧美不卡视频在线免费观看| 国产精品美女特级片免费视频播放器| 26uuu在线亚洲综合色| 亚洲三级黄色毛片| 免费观看无遮挡的男女| 男的添女的下面高潮视频| 99热这里只有精品一区| 激情五月婷婷亚洲| 色网站视频免费| a级毛色黄片| 高清日韩中文字幕在线| 亚洲,欧美,日韩| 男人和女人高潮做爰伦理| 哪个播放器可以免费观看大片| 午夜精品一区二区三区免费看| 日本爱情动作片www.在线观看| 我的老师免费观看完整版| 午夜精品国产一区二区电影 | 丝袜美腿在线中文| 久久精品人妻少妇| 中文字幕人妻熟人妻熟丝袜美| 美女xxoo啪啪120秒动态图| 日本-黄色视频高清免费观看| 成人二区视频| 2018国产大陆天天弄谢| 一个人看的www免费观看视频| 非洲黑人性xxxx精品又粗又长| 国产成人免费观看mmmm| 久久久久久久久久成人| 精品一区二区三区视频在线| 久久精品国产自在天天线| 波多野结衣巨乳人妻| 精品久久久精品久久久| 久久99蜜桃精品久久| 亚洲在线观看片| 亚洲aⅴ乱码一区二区在线播放| 国内少妇人妻偷人精品xxx网站| 国产在线一区二区三区精| 日韩强制内射视频| 国产有黄有色有爽视频| 超碰97精品在线观看| 精品午夜福利在线看| 色综合色国产| 日韩一区二区三区影片| av又黄又爽大尺度在线免费看| 国产毛片a区久久久久| 狂野欧美白嫩少妇大欣赏| 日日撸夜夜添| 日本熟妇午夜| 国产成人aa在线观看| 七月丁香在线播放| 免费看光身美女| 国产麻豆成人av免费视频| av免费在线看不卡| 日韩,欧美,国产一区二区三区| 亚洲欧美一区二区三区国产| 七月丁香在线播放| 国产成人freesex在线| 国产美女午夜福利| 日韩大片免费观看网站| 国产一区二区三区综合在线观看 | 好男人在线观看高清免费视频| 欧美bdsm另类| 中文字幕av在线有码专区| 免费观看的影片在线观看| 男人舔女人下体高潮全视频| 91精品一卡2卡3卡4卡| 老司机影院成人| 日韩不卡一区二区三区视频在线| 日韩成人伦理影院| 在现免费观看毛片| 亚洲怡红院男人天堂| 国产精品99久久久久久久久| 国产精品美女特级片免费视频播放器| 国产 亚洲一区二区三区 | 国产精品99久久久久久久久| 午夜爱爱视频在线播放| 国产 亚洲一区二区三区 |