無人水下航行器編隊(duì)控制研究現(xiàn)狀及技術(shù)綜述?

楊 洋 王 征 胡致遠(yuǎn) 尹 洋

（海軍工程大學(xué)電氣工程學(xué)院 武漢 430033）

1 引言

無人水下航行器（UUV）是一種小體積，具有良好操縱性，能搭載各種傳感器和強(qiáng)續(xù)航力的水下移動(dòng)載體，無人乘坐、成本低的特點(diǎn)使其可以服務(wù)于海洋科技、海洋軍事和海洋經(jīng)濟(jì)等不同領(lǐng)域［1］。隨著對(duì)UUV的技術(shù)研究逐漸成熟，多智能體協(xié)同執(zhí)行任務(wù)已經(jīng)成為UUV發(fā)展的必由之路。相較于單體UUV，集群運(yùn)動(dòng)控制的優(yōu)勢(shì)顯而易見，比如更高的可拓展性與穩(wěn)定性、更強(qiáng)的魯棒性等［2］。

UUV集群系統(tǒng)在作業(yè)時(shí)常以編隊(duì)形式移動(dòng)，這對(duì)其編隊(duì)控制提出了較高要求。多UUV的編隊(duì)控制是指在多艘航行器抵達(dá)目的地的過程中受到環(huán)境中多種約束條件的限制基礎(chǔ)上保持某種特定的隊(duì)形行進(jìn)的控制技術(shù)，其必要性主要由目標(biāo)搜索、地形勘探等覆蓋性的任務(wù)要求以及隊(duì)形中UUV之間信息交互的便捷性所體現(xiàn)。

在集群系統(tǒng)中，編隊(duì)航行相較于隨機(jī)分散航行又具有以下優(yōu)勢(shì)：

1）更高的資源利用率；

2）有效抵御多個(gè)方向的威脅，增強(qiáng)安全性；

3）大大降低集群成本；

4）具有較高的可靠性和生存能力［3］；

5）增強(qiáng)集群的搜索力，提高搜索任務(wù)的發(fā)現(xiàn)概率［4］。

目前，受阻于特殊的海流、近水面海浪等水下干擾和惡劣的水下通信條件，前期發(fā)展較為完備的空中無人機(jī)編隊(duì)控制理論無法直接運(yùn)用于UUV集群系統(tǒng)，這一方面限制了UUV編隊(duì)控制的迅速發(fā)展，另一方面也激發(fā)了國內(nèi)外學(xué)者的科研熱情，改善已有成果或者探索全新理論，用于解決水下無人系統(tǒng)的特殊難題［5］。

本文將從編隊(duì)的國內(nèi)外應(yīng)用成果、任務(wù)類型、關(guān)鍵技術(shù)和研究展望等方面，在理解UUV集群研究現(xiàn)狀的基礎(chǔ)上，系統(tǒng)總結(jié)UUV集群編隊(duì)控制的研究進(jìn)展，以期為日后UUV集群技術(shù)的發(fā)展提供參考與思路。

2 國內(nèi)外應(yīng)用成果

2.1 國外應(yīng)用成果

自20世紀(jì)60年代第一臺(tái)UUV誕生以來，其控制技術(shù)已經(jīng)過了明顯的發(fā)展，集群編隊(duì)控制領(lǐng)域也在近幾年大放異彩［6～7］。國外UUV編隊(duì)控制現(xiàn)有研究成果由美國領(lǐng)軍，葡萄牙、英國等緊隨其后，均已取得了長足的發(fā)展。

自主海洋采樣網(wǎng)絡(luò)（Autonomous Ocean Sam?pling Network，AOSN）由美國海洋研究局資助，多水下滑翔機(jī)系統(tǒng)運(yùn)轉(zhuǎn)實(shí)現(xiàn)，其搭載的多種傳感器可同時(shí)完成多深度層次的海洋參數(shù)采集任務(wù)［8］。該項(xiàng)目下AOSN-II子項(xiàng)目采用了一組五種類型的水下滑翔機(jī)構(gòu)成自適應(yīng)采樣網(wǎng)絡(luò)編隊(duì)行進(jìn)，采用利于結(jié)構(gòu)調(diào)整的隊(duì)形控制策略，系統(tǒng)中每個(gè)成員機(jī)器人各得其所，利用適配傳感器在蒙特利爾海灣進(jìn)行了約30天的海洋數(shù)據(jù)采集試驗(yàn)，任務(wù)中涉及的參數(shù)包括溫度、深度、鹽度、葉綠素等數(shù)據(jù)，并將這些數(shù)據(jù)在編隊(duì)成員之間，下位機(jī)與上位機(jī)之間進(jìn)行傳輸處理。

英國由Nekton研究機(jī)構(gòu)牽頭開發(fā)了一種水下多智能體平臺(tái)（Underwater Multi-agent Platform，UMAP），它由四臺(tái)低成本、可操縱性強(qiáng)的小型AUV及其配套軟件構(gòu)成。日漸成熟的UMAP現(xiàn)可以開展分布式搜索算法、海洋學(xué)調(diào)查、編隊(duì)控制等相關(guān)研究，并已被用于美國Sandia國家實(shí)驗(yàn)室開發(fā)的多智能體合作熱流柱定位算法，以及用以繪制北卡羅萊納州海岸線上紐波特河口灣一帶的鹽度移動(dòng)情況［9～10］。UMAP已成為UUV編隊(duì)系統(tǒng)可完成多種類型使命任務(wù)的典型案例。

圖1 三臺(tái)水下滑翔機(jī)編隊(duì)示意圖

美國國防高級(jí)研究計(jì)劃局（DARPA）自2009年開始就已在著手部署網(wǎng)絡(luò)協(xié)同無人水下航行器（CNAV）系統(tǒng)，它通過一定數(shù)量的UUV在共享水聲網(wǎng)絡(luò)中互相發(fā)送數(shù)據(jù)，進(jìn)行水下目標(biāo)的探測(cè)、定位、跟蹤任務(wù)，同時(shí)能減弱因目標(biāo)位置、戰(zhàn)斗因素和環(huán)境條件的變化引起的干擾，如圖2所示。結(jié)合使用具有固定的被動(dòng)聲納節(jié)點(diǎn)后，該系統(tǒng)將應(yīng)用在分布式敏捷獵潛系統(tǒng)（DASH）中，用于廣闊海域搜尋檢測(cè)作戰(zhàn)對(duì)象。通過該技術(shù)，水下無人系統(tǒng)的自主控制等級(jí)將向7級(jí)（多機(jī)編隊(duì)控制、航路重規(guī)劃、指揮、執(zhí)行重規(guī)劃戰(zhàn)術(shù)）發(fā)展［11］。

圖2 CNAV項(xiàng)目示意圖

為了協(xié)調(diào)處理多無人水下航行器系統(tǒng)，法國、意大利等五國多家科研機(jī)構(gòu)在歐盟第六框架計(jì)劃（6th framework programme of the European Union，F(xiàn)P6）的資助下創(chuàng)建了GREX研究項(xiàng)目［12］。該項(xiàng)目開發(fā)的技術(shù)較為通用，可通過接口連接到已存在的異構(gòu)系統(tǒng)，同時(shí)其足夠的魯棒性可用以解決故障通信等引起的問題。GREX項(xiàng)目核心研究包括了“異構(gòu)多水下無人系統(tǒng)在未知環(huán)境中的協(xié)調(diào)控制研究”在內(nèi)的多項(xiàng)成果。最后階段的一系列海上試驗(yàn)于2019年底完成，最終目的是驗(yàn)證異構(gòu)AUV集群系統(tǒng)的操縱理論，其第二步便測(cè)試了編隊(duì)機(jī)動(dòng)任務(wù)，該過程與帶有時(shí)變形成模式的協(xié)調(diào)路徑跟隨任務(wù)相同。AUV在部署后四散成編隊(duì)隊(duì)形，并在無沖突的前提下計(jì)算出抵達(dá)終點(diǎn)的路徑，順利完成了多AUV系統(tǒng)的編隊(duì)行進(jìn)試驗(yàn)。

圖3 四臺(tái)AUV協(xié)調(diào)轉(zhuǎn)彎的GPS軌跡

觀測(cè)系統(tǒng)仿真實(shí)驗(yàn)（Observing System Simula?tion Experiment，OSSE）項(xiàng)目作為由美國國家科學(xué)基金會(huì)資助的海洋觀測(cè)站計(jì)劃（Ocean Observatories Initiative，OOI）的先期啟動(dòng)項(xiàng)目，主要的研究內(nèi)容共涉及到四個(gè)方面，其中三項(xiàng)是關(guān)于多UUV使命規(guī)劃與編隊(duì)協(xié)調(diào)控制的研究［13］。截止2009年底，針對(duì)多UUV仿真平臺(tái)的調(diào)試工作已然完成，并且在2010年中大西洋海灣進(jìn)行的多滑翔式水下機(jī)器人試驗(yàn)取得了令人矚目的成績。

在歐盟第七框架計(jì)劃（7th framework pro?gramme of the European Union，F(xiàn)P7）的資助下，由德國、意大利、法國、葡萄牙及西班牙的相關(guān)科研機(jī)構(gòu)在2016年聯(lián)合完成了名為“海洋機(jī)器人系統(tǒng)的自組織與基于邏輯的節(jié)點(diǎn)連接”（Marine robotic sys?tem of self-organizing，logically linked physical nodes）的研究項(xiàng)目，簡稱MORPH。該項(xiàng)目旨在為嚴(yán)苛海洋環(huán)境下的海底探測(cè)與標(biāo)圖提供有效的方法和工具，并在2012年～2015年間完成了多次海上試驗(yàn)。MORPH項(xiàng)目集成現(xiàn)有的多個(gè)AUV并設(shè)計(jì)了適用于協(xié)同作業(yè)的體系結(jié)構(gòu)和通信系統(tǒng)，在此基礎(chǔ)上研究了多AUV系統(tǒng)的協(xié)調(diào)編隊(duì)控制［14～15］、協(xié)同定位與協(xié)同導(dǎo)航問題。圖4為MORPH海試場景。

圖4 MORPH海上試驗(yàn)

2.2 國內(nèi)應(yīng)用成果

國內(nèi)在UUV集群編隊(duì)控制研究方面雖然起步較晚，且以仿真研究為主，但在哈爾濱工程大學(xué)、北京航空航天大學(xué)機(jī)器人研究所、中國科學(xué)院沈陽自動(dòng)化研究所等組織的帶領(lǐng)下正在迎頭趕上，近些年已取得了豐碩成果，較為典型的成果包含UUV編隊(duì)反水雷、監(jiān)視敵對(duì)潛艇、水下目標(biāo)搜索等任務(wù)。

哈爾濱工程大學(xué)的學(xué)者們?cè)缒暌殉醪介_發(fā)了多智能體系統(tǒng)協(xié)調(diào)路徑規(guī)劃的仿真環(huán)境以及多UUV系統(tǒng)的實(shí)物［16］。而后在這一套平臺(tái)系統(tǒng)的基礎(chǔ)上進(jìn)行了雙UUV編隊(duì)航行試驗(yàn)，但由于前期研究的不完備性，該試驗(yàn)未能深入探討可實(shí)際應(yīng)用的體系結(jié)構(gòu)和控制策略［17］。從結(jié)果上來看，這次實(shí)驗(yàn)完成的UUV設(shè)計(jì)和多UUV系統(tǒng)搭建工作為以后更為完善的集群研究打下了堅(jiān)實(shí)的基礎(chǔ)。

2014年～2015年，哈爾濱工程大學(xué)的水下機(jī)器人技術(shù)重點(diǎn)實(shí)驗(yàn)室綜合考慮海洋環(huán)境與可用設(shè)備因素，合理選取了威海老港和榮成西霞口附近海域，利用三臺(tái)AUV完成了一系列異構(gòu)多AUV系統(tǒng)的協(xié)調(diào)控制海試［18］。該系列試驗(yàn)分別驗(yàn)證了水聲通信設(shè)備的通信性能、制導(dǎo)-控制系統(tǒng)的設(shè)計(jì)可行性，以及協(xié)調(diào)路徑跟隨、目標(biāo)跟蹤、基于行為的編隊(duì)控制算法的有效性。試驗(yàn)過程中雖未考慮和處理領(lǐng)航者失效的極端情況，但妥善解決了水聲組網(wǎng)通信系統(tǒng)出現(xiàn)的故障，轉(zhuǎn)而采用無線電開展水面編隊(duì)航行以模擬水聲通信［19］。圖5為基于路徑跟隨的多AUV編隊(duì)控制海試場景。

圖5 基于路徑跟隨的多AUV編隊(duì)控制海試

鑒于UUV編隊(duì)在水下網(wǎng)絡(luò)中心戰(zhàn)（UWNCW）中的運(yùn)用已經(jīng)有相當(dāng)?shù)木窒扌?，王圣潔等將人工智能引入U(xiǎn)UV編隊(duì)控制，設(shè)計(jì)了一種潛艇與AUV相結(jié)合的協(xié)同編隊(duì)系統(tǒng)，并詳細(xì)分析了系統(tǒng)的優(yōu)點(diǎn)及其復(fù)雜性，針對(duì)系統(tǒng)控制體系結(jié)構(gòu)及決策問題等關(guān)鍵技術(shù)進(jìn)行了研究探討，對(duì)系統(tǒng)在突發(fā)威脅情況下的航跡規(guī)劃過程進(jìn)行了仿真，仿真結(jié)果表明潛艇與智能UUV協(xié)同系統(tǒng)能夠有效地實(shí)現(xiàn)避障并能躲避突發(fā)威脅，顯著提升了整個(gè)系統(tǒng)的應(yīng)急能力［20］。

2014年中國科學(xué)院沈陽自動(dòng)化研究所的機(jī)器人學(xué)國家重點(diǎn)實(shí)驗(yàn)室研究團(tuán)隊(duì)在基于無線通信的多AUV編隊(duì)湖上試驗(yàn)的基礎(chǔ)上，接續(xù)開展了基于水聲通信的AUV編隊(duì)試驗(yàn)［21］。試驗(yàn)采用了研究所研制的便攜式AUV——“探索100”，可搭載溫鹽深儀、側(cè)掃聲吶、DVL等傳感器，并加裝了水聲通信機(jī)模塊，以便編隊(duì)成員交換信息。試驗(yàn)任務(wù)設(shè)計(jì)為兩臺(tái)AUV成“一”字型，按照預(yù)定軌跡編隊(duì)行進(jìn)，編隊(duì)過程中通過水聲通信機(jī)交互信息，實(shí)現(xiàn)隊(duì)形保持。最終編隊(duì)成員在動(dòng)態(tài)平衡中完成了試驗(yàn)任務(wù)。圖6為隊(duì)形生成過程中的AUV成員。

圖6 隊(duì)形生成中的AUV

綜合比較國內(nèi)外應(yīng)用成果可以得出結(jié)論：多UUV集群系統(tǒng)的研究越來越受到眾多專家學(xué)者的重視，而編隊(duì)控制作為集群運(yùn)動(dòng)控制的重要一環(huán)，在主要項(xiàng)目成果中從未缺席。近二十年以來美國眾多相關(guān)機(jī)構(gòu)已將UUV編隊(duì)控制應(yīng)用于各大集群項(xiàng)目中，在世界各地均有部署其水下勘測(cè)與數(shù)據(jù)采集系統(tǒng)設(shè)施。歐盟國家借助其框架計(jì)劃，在多UUV編隊(duì)控制領(lǐng)域也有了長足的發(fā)展。而國內(nèi)的UUV編隊(duì)控制研究起步晚于國外，從理論仿真轉(zhuǎn)入海上試驗(yàn)階段的時(shí)間也并不長，但目前正在已構(gòu)建好的試驗(yàn)系統(tǒng)基礎(chǔ)上加速發(fā)展。

3 技術(shù)研究現(xiàn)狀

多UUV系統(tǒng)編隊(duì)控制的研究受到單體UUV自身結(jié)構(gòu)與軟件設(shè)計(jì)、UUV成員之間通信質(zhì)量、系統(tǒng)體系機(jī)構(gòu)等多方面影響，控制架構(gòu)層次較多。在實(shí)際研究過程中，通常將UUV編隊(duì)控制問題解耦為單體UUV路徑跟蹤控制子問題和多UUV隊(duì)形控制子問題。編隊(duì)任務(wù)的解耦分層為理解控制架構(gòu)和將編隊(duì)控制用于完成水下實(shí)際任務(wù)提供了極大便利，同時(shí)大大簡化了研究流程，降低了科研難度。

3.1 路徑跟蹤控制

UUV的路徑跟蹤控制是指單體UUV從給定初始狀態(tài)開始運(yùn)動(dòng)，在某一光滑路徑上運(yùn)行其路徑跟蹤控制器，并在其持續(xù)激勵(lì)下完成跟蹤任務(wù)。系統(tǒng)中每臺(tái)UUV均包含一個(gè)獨(dú)立的路徑跟蹤控制器，以實(shí)現(xiàn)UUV實(shí)時(shí)位置與期望路徑位置誤差為零的目標(biāo)。路徑跟蹤任務(wù)的提出是基于單體UUV角度的，在集群領(lǐng)域?qū)儆谖⒂^層面。路徑跟蹤控制隨著UUV控制技術(shù)的發(fā)展已經(jīng)有了相當(dāng)豐碩的研究成果。

2000年文獻(xiàn)［22］首次證明了UUV實(shí)現(xiàn)路徑跟蹤控制的等價(jià)條件為控制UUV的艏向角速度，使得UUV的速度向量與路徑曲線的切線方向相一致且向量大小相等。侯恕萍等［23］研究了海流干擾下多UUV的空間曲線路徑跟蹤控制問題，針對(duì)單個(gè)UUV的路徑跟蹤控制，基于Lyapunov穩(wěn)定性理論設(shè)計(jì)了一種海流觀測(cè)器來估計(jì)未知恒定的海流速度，并利用LaSalle不變集原理對(duì)路徑跟蹤子系統(tǒng)的收斂性進(jìn)行了分析。文獻(xiàn)［24］基于Lyapunov直接法和反步法設(shè)計(jì)了編隊(duì)成員的位置和航向跟蹤控制器，并考慮了質(zhì)量矩陣中非零非對(duì)角線項(xiàng)和未知流體動(dòng)力阻尼項(xiàng)的影響。邊信黔等［25］在單個(gè)UUV的路徑跟蹤控制中引入視距導(dǎo)航（Line of sight guidance）算法設(shè)計(jì)路徑跟蹤控制器，使得跟蹤誤差漸近收斂到零。

單體UUV路徑跟蹤控制器的設(shè)計(jì)大多基于級(jí)聯(lián)系統(tǒng)理論，在以速度和姿態(tài)角為虛擬控制變量設(shè)計(jì)UUV運(yùn)動(dòng)學(xué)控制器的基礎(chǔ)上，使用backstepping的遞推方法結(jié)合UUV動(dòng)力學(xué)模型設(shè)計(jì)動(dòng)力學(xué)控制器［26～27］。但由于UUV路徑跟蹤控制處于單體研究層面，且仿真設(shè)計(jì)思路較為單一，本文不再贅述。

3.2 隊(duì)形控制

多UUV隊(duì)形控制是指編隊(duì)系統(tǒng)內(nèi)UUV根據(jù)其他成員的狀態(tài)，調(diào)整自身速度、航向、位姿以達(dá)到多UUV協(xié)調(diào)編隊(duì)航行的控制技術(shù)。隊(duì)形控制任務(wù)是在多個(gè)UUV協(xié)同進(jìn)行任務(wù)的情況下提出的，在集群領(lǐng)域?qū)儆诤暧^層面。由于UUV的集群編隊(duì)概念提出較晚，該任務(wù)目前也是一眾學(xué)者攻克研究的主要方向，如何實(shí)現(xiàn)智能化是其重點(diǎn)，融合多種已知算法或開發(fā)新算法已成為主要解決途徑。

邊信黔等通過引入代數(shù)圖論知識(shí)，得到多個(gè)UUV復(fù)雜網(wǎng)絡(luò)通信拓?fù)涞臄?shù)學(xué)表達(dá)，根據(jù)通信得到相鄰UUV的狀態(tài)來調(diào)整自身的航速，設(shè)計(jì)協(xié)調(diào)控制器，使得多UUV沿期望路徑的位置和速度在規(guī)定隊(duì)形下達(dá)到一致，實(shí)現(xiàn)多UUV間的協(xié)調(diào)，而不影響空間域上的路徑跟蹤性能［28］。文獻(xiàn)［29］將隊(duì)形控制器設(shè)計(jì)過程分解為運(yùn)動(dòng)學(xué)控制和動(dòng)力學(xué)控制：運(yùn)動(dòng)學(xué)控制部分實(shí)現(xiàn)動(dòng)目標(biāo)跟蹤、UUV間避碰及UUV偏航角誤差為零的控制目標(biāo)；動(dòng)力學(xué)控制部分應(yīng)用反步法設(shè)計(jì)實(shí)際的控制輸入。隊(duì)形控制器的控制目標(biāo)是在多UUV編隊(duì)跟蹤并圍捕動(dòng)態(tài)目標(biāo)過程中，避免UUV成員之間，UUV與障礙物以及UUV與目標(biāo)之間的碰撞并以穩(wěn)定的編隊(duì)結(jié)構(gòu)圍捕動(dòng)態(tài)目標(biāo)。

在已有的UUV集群控制技術(shù)中，隊(duì)形控制算法一直是國內(nèi)外學(xué)者研究的重點(diǎn)、焦點(diǎn)。主流的UUV隊(duì)形控制算法涵蓋了人工勢(shì)場法、領(lǐng)航者-跟隨者法、虛擬結(jié)構(gòu)法、基于行為法、強(qiáng)化學(xué)習(xí)等方法。多UUV隊(duì)形控制中的關(guān)鍵技術(shù)包含隊(duì)形生成、隊(duì)形保持、隊(duì)形重構(gòu)與協(xié)同避障［30］。

人工勢(shì)場法最早由Khatib在1985年提出［31］，其指導(dǎo)思想是將智能體在外界環(huán)境中的運(yùn)動(dòng)擬作在一種虛擬勢(shì)場中的運(yùn)動(dòng)，該勢(shì)場中的目標(biāo)點(diǎn)對(duì)智能體施加引力作用，障礙物和其他威脅施加斥力作用，智能體在兩種虛擬勢(shì)場力的合力中產(chǎn)生加速度而運(yùn)動(dòng)。文獻(xiàn)［32］在主從式編隊(duì)形式下，將自組織神經(jīng)網(wǎng)絡(luò)（SOM）和人工勢(shì)場法結(jié)合起來進(jìn)行隊(duì)形控制設(shè)計(jì)，綜合互補(bǔ)了SOM的自適應(yīng)性和人工勢(shì)場法的避障可行性優(yōu)勢(shì)。文獻(xiàn)［33］在二維空間中使用人工勢(shì)場法用于路徑規(guī)劃和協(xié)同避障，同時(shí)考慮了機(jī)器人移動(dòng)空間的邊界斥力。同時(shí)有研究將人工勢(shì)場法與虛擬領(lǐng)航者法結(jié)合，設(shè)計(jì)人工勢(shì)場用于編隊(duì)控制，虛擬領(lǐng)航者作為編隊(duì)領(lǐng)導(dǎo)者用于隊(duì)形生成。二者結(jié)合使編隊(duì)控制在保證簡單結(jié)構(gòu)的前提下增強(qiáng)了系統(tǒng)的可靠性［34］。人工勢(shì)場法易于實(shí)現(xiàn)，能有效解決隊(duì)形重構(gòu)與協(xié)同避障問題，但也存在勢(shì)場函數(shù)較難設(shè)計(jì)和易陷入局部極值的缺點(diǎn)。

領(lǐng)航者-跟隨者法是UUV集群編隊(duì)控制中最常用的算法之一，其思想是將UUV編隊(duì)中的某一成員定義為領(lǐng)航者，其他成員作為跟隨者，領(lǐng)航者運(yùn)行其路徑跟蹤控制器，跟隨者根據(jù)相對(duì)于領(lǐng)航者的位置誤差與速度誤差進(jìn)行編隊(duì)控制［35］。為了使跟隨者能夠更好地跟蹤上領(lǐng)航者，李娟等利用領(lǐng)航者的位置與速度信息進(jìn)行編隊(duì)控制器設(shè)計(jì)，增加系統(tǒng)的魯棒性的同時(shí)，分別對(duì)跟隨者的縱向速度誤差和橫向速度誤差進(jìn)行了積分滑模面的設(shè)計(jì)［36］。李娟等還提出了一種AUV路徑控制和編隊(duì)協(xié)調(diào)控制相結(jié)合的新型編隊(duì)控制器，在路徑跟蹤控制基礎(chǔ)上，編隊(duì)協(xié)調(diào)控制器將領(lǐng)航者與跟隨者的位置誤差控制轉(zhuǎn)化為跟隨者的速度誤差控制，使跟隨者能快速達(dá)到期望位置，從而使所有AUV實(shí)現(xiàn)期望的隊(duì)形并保持［37］。薛多銳基于虛擬領(lǐng)航者的編隊(duì)控制策略，在有向通信拓?fù)湎?，結(jié)合歐拉一拉格朗日誤差系統(tǒng)無源性提出了一種基于領(lǐng)航者-跟隨者的制導(dǎo)-控制結(jié)構(gòu)多AUV編隊(duì)軌跡跟蹤控制方法［38］。但是領(lǐng)航者-跟隨者法的缺陷也顯而易見：領(lǐng)航者較難得到跟隨者的速度、位姿等信息；領(lǐng)航者與跟隨者相對(duì)獨(dú)立，一旦領(lǐng)航者出現(xiàn)故障或與跟隨者失去聯(lián)系，UUV編隊(duì)系統(tǒng)將無法正常運(yùn)行——故其魯棒性與系統(tǒng)可靠性往往不強(qiáng)。針對(duì)該缺點(diǎn)，有研究提出了建立虛擬領(lǐng)航者的觀點(diǎn)，即領(lǐng)航者作為一虛擬參考點(diǎn)參與編隊(duì)控制。其優(yōu)勢(shì)在于，領(lǐng)航者是虛擬的，因而不會(huì)影響整個(gè)系統(tǒng)的性能，明顯提高系統(tǒng)的可靠性，且更容易實(shí)現(xiàn)分布式的控制結(jié)構(gòu)［39～40］。

基于行為的控制方法即將UUV的協(xié)調(diào)編隊(duì)控制器分解為若干簡單的子行為，包括但不限于向目的地移動(dòng)、保持隊(duì)形、協(xié)同避障。通過對(duì)各個(gè)UUV子行為的控制即可完成對(duì)UUV集群的編隊(duì)控制。文獻(xiàn)［41］探討了基于行為的方法在未知環(huán)境中執(zhí)行編隊(duì)控制任務(wù)的多個(gè)移動(dòng)機(jī)器人的路徑規(guī)劃中的應(yīng)用。根據(jù)任務(wù)和環(huán)境，采用五種原始行為，設(shè)計(jì)了一系列的生成函數(shù)來生成行為組合的控制參數(shù)。由于可以根據(jù)當(dāng)前情況調(diào)整這些功能的輸出，因此機(jī)器人可以通過合理地組合行為來實(shí)現(xiàn)運(yùn)動(dòng)策略，從而提高了對(duì)環(huán)境的適應(yīng)性。而對(duì)于各個(gè)子行為的處理，可采用兩種方法：一是Brooks的行為抑制法，即同一時(shí)間點(diǎn)UUV的子行為僅進(jìn)行一種，不同子行為無法同時(shí)運(yùn)行；二是Arkin控制變量的矢量累加方法，即同一時(shí)刻多種子行為可通過自定義的權(quán)重進(jìn)行矢量相加，UUV進(jìn)行復(fù)合行為的運(yùn)轉(zhuǎn)。顯然，前者每一時(shí)刻的控制行為較為精確，但控制任務(wù)并不平滑且任務(wù)完成時(shí)間較長；后者在各個(gè)子行為之間容易出現(xiàn)干擾，但完成任務(wù)速度較快，且平滑銜接。

虛擬結(jié)構(gòu)法的主要思想是將UUV的編隊(duì)模擬為一個(gè)虛擬的剛性結(jié)構(gòu)，移動(dòng)時(shí)該結(jié)構(gòu)中每臺(tái)UUV成員的相對(duì)位置固定，并參照虛擬結(jié)構(gòu)的幾何中心設(shè)計(jì)路徑跟蹤控制器，該方法由Lewis等最早提出［42］。袁健等［43］基于虛擬結(jié)構(gòu)思想采用坐標(biāo)變換將各AUV相對(duì)于虛擬領(lǐng)航者的相對(duì)位置轉(zhuǎn)換為各自的期望位置，并設(shè)計(jì)了一種有限時(shí)間跟蹤控制律以確保各AUV能在有限時(shí)間內(nèi)跟蹤上其期望軌跡，從而實(shí)現(xiàn)了多AUV的小尺度有限時(shí)間編隊(duì)控制。文獻(xiàn)［44］提出了虛擬結(jié)構(gòu)和虛擬領(lǐng)航者相結(jié)合的隊(duì)形控制方法，利用隊(duì)形向量實(shí)現(xiàn)UUV編隊(duì)的隊(duì)形保持和隊(duì)形變換。虛擬結(jié)構(gòu)法優(yōu)點(diǎn)在于僅通過虛擬結(jié)構(gòu)的中心點(diǎn)就可以進(jìn)行編隊(duì)控制的路徑設(shè)計(jì)，便于完成隊(duì)形生成，但由于其剛性的結(jié)構(gòu)，算法的靈活性并不高，不適合用于解決協(xié)同避障與隊(duì)形重構(gòu)。

強(qiáng)化學(xué)習(xí)的概念最早由Minsky在20世紀(jì)60年代提出的［45］。隨著UUV集群產(chǎn)業(yè)的快速發(fā)展，如何將強(qiáng)化學(xué)習(xí)應(yīng)用在UUV編隊(duì)系統(tǒng)中得到了各路學(xué)者越來越多的重視。強(qiáng)化學(xué)習(xí)是在環(huán)境激勵(lì)中不斷強(qiáng)化或弱化使用某種行為策略的可能性，無教師信號(hào)。雖然針對(duì)編隊(duì)控制的強(qiáng)化學(xué)習(xí)研究還未完全將目光轉(zhuǎn)移至UUV控制領(lǐng)域，但強(qiáng)化學(xué)習(xí)方法仍然將是UUV編隊(duì)控制的重要發(fā)展方向。徐健等［46］設(shè)計(jì)了一個(gè)用于UUV集群的強(qiáng)化學(xué)習(xí)算法研究平臺(tái)，其強(qiáng)化學(xué)習(xí)模塊讀取環(huán)境仿真模塊參數(shù)后進(jìn)行強(qiáng)化學(xué)習(xí)的訓(xùn)練，輸出集群系統(tǒng)的行為策略，并將得到的策略結(jié)果傳輸給每一個(gè)UUV成員的任務(wù)處理模塊，完成集群動(dòng)作，包含了編隊(duì)控制。文獻(xiàn)［47］設(shè)計(jì)了一種基于代價(jià)函數(shù)的新型強(qiáng)化學(xué)習(xí)方法，可以集中式端到端方式訓(xùn)練分散策略，其采用了一種將每個(gè)智能體聯(lián)合行為值估算為僅基于本地觀測(cè)條件值的非線性組合的網(wǎng)絡(luò)，聯(lián)合行為值在各智能體中均單調(diào)，這保證了離線學(xué)習(xí)中聯(lián)合行為值的易處理性最大化。李波等［48］提出了一種基于分層強(qiáng)化學(xué)習(xí)及CMAC神經(jīng)網(wǎng)絡(luò)的多agent動(dòng)態(tài)編隊(duì)方法，在多agent動(dòng)態(tài)編隊(duì)中引入“抽象機(jī)制”把任務(wù)分為三個(gè)層次，其次利用CMAC神經(jīng)網(wǎng)絡(luò)可以作為狀態(tài)泛化方法和分層強(qiáng)化學(xué)習(xí)中的Q-學(xué)習(xí)方法相結(jié)合，加快算法的學(xué)習(xí)速率。強(qiáng)化學(xué)習(xí)作為當(dāng)今熱門的領(lǐng)域之一，其迅猛的發(fā)展將改變UUV編隊(duì)控制研究的現(xiàn)狀。在有足夠的環(huán)境交互數(shù)據(jù)的前提下，強(qiáng)化學(xué)習(xí)可以提供十分完善的UUV編隊(duì)解決方案，適用于解決所有的編隊(duì)控制關(guān)鍵技術(shù)。

4 結(jié)語

本文從UUV編隊(duì)控制的國內(nèi)外應(yīng)用成果、技術(shù)研究現(xiàn)狀和研究展望等方面，在理解UUV集群研究現(xiàn)狀的基礎(chǔ)上，系統(tǒng)總結(jié)了UUV集群編隊(duì)的研究進(jìn)展，為日后UUV集群技術(shù)的發(fā)展提供了參考思路。

近些年來UUV的編隊(duì)控制研究雖已經(jīng)過多年研究，目前卻也存在多處可以展望的前進(jìn)方向。

1）前人的研究，特別在國內(nèi)，大多基于理論層面，各類文獻(xiàn)中記載海上試驗(yàn)過程較少，僅有仿真驗(yàn)證，而無實(shí)物考察。而在實(shí)際任務(wù)中，海洋環(huán)境復(fù)雜多變、測(cè)距和測(cè)向傳感器的精度通常較低、水聲通信也有可能出現(xiàn)誤碼甚至中斷，這些非理想因素均可使常規(guī)編隊(duì)控制算法失效。對(duì)于UUV編隊(duì)的研究，最終目的都應(yīng)是實(shí)現(xiàn)其實(shí)用性，這是編隊(duì)控制的必經(jīng)之路。

2）在實(shí)用性的思想前提下，UUV編隊(duì)結(jié)構(gòu)必將是異構(gòu)的，以便編隊(duì)系統(tǒng)完成更為復(fù)雜的任務(wù)。而現(xiàn)有文獻(xiàn)大部分停留在對(duì)同構(gòu)系統(tǒng)的解析，異構(gòu)系統(tǒng)編隊(duì)控制仍有空缺。有必要針對(duì)異構(gòu)UUV集群系統(tǒng)設(shè)計(jì)其編隊(duì)控制算法。

3）本文所引用的文獻(xiàn)大多在編隊(duì)任務(wù)解耦之后將幾種算法改進(jìn)或結(jié)合，而對(duì)于新興算法的研究尚少。目前UUV編隊(duì)控制算法的使用主要集中于使用飛行器編隊(duì)控制算法的移植或者將傳統(tǒng)編隊(duì)控制算法進(jìn)行改進(jìn)，鮮有提出UUV編隊(duì)控制的全新算法。新穎算法的空缺，勢(shì)必將激起各學(xué)者的研究熱情［49～50］。