多機器人智能化協(xié)同技術(shù)研究進展

張迎雪， 陳 萌，2*， 陳金寶， 陳傳志

(1.南京航空航天大學(xué)航天學(xué)院， 南京 211106； 2.上海宇航系統(tǒng)工程研究所， 上海 201109)

1 引言

機器人技術(shù)多機系統(tǒng)突破了單個機器人負載和數(shù)據(jù)處理等方面的瓶頸，可加快執(zhí)行速度，提高效率，并具有更強的環(huán)境適應(yīng)能力和容錯能力。協(xié)作是多機系統(tǒng)特色，系統(tǒng)中多個機器人既相互制約又相互配合[1]，實現(xiàn)了“1+1>2”的效果。 團隊中的異構(gòu)機器人通過優(yōu)勢互補，為系統(tǒng)提供更豐富的解決方案，不僅滿足多變的環(huán)境和嚴苛的需求，還可以降低整體制造成本，目前已被應(yīng)用于工業(yè)自動化、軍事國防、救援搶險、深空探測等眾多領(lǐng)域[2-3]。

多機協(xié)同的系統(tǒng)架構(gòu)主要分為集中式、分布式和混合式共3 種，詳細對比見表1。

表1 多機協(xié)同體系結(jié)構(gòu)Table 1 Architecture of multi-robot cooperative system

多機協(xié)同是集合多種功能于一體的復(fù)雜系統(tǒng)。 其中，同步定位與地圖構(gòu)建(Simultaneous Localization And Mapping，SLAM)是多機系統(tǒng)完成全自主移動的前提條件和復(fù)雜探索的必要基礎(chǔ)；路徑規(guī)劃、任務(wù)分配是異構(gòu)多機器人實現(xiàn)智能化探測和作業(yè)的核心關(guān)鍵技術(shù)；多機系統(tǒng)與強化學(xué)習(xí)的結(jié)合是未來多機協(xié)同發(fā)展的必然路徑。 本文從以上4 個方面對多機協(xié)同系統(tǒng)進行分析和總結(jié)，歸納關(guān)鍵技術(shù)，探討該領(lǐng)域目前存在的主要問題，并展望多機器人智能化協(xié)同技術(shù)未來的發(fā)展趨勢。

2 多機器人系統(tǒng)的發(fā)展概況

多機系統(tǒng)的研究可以追溯到20 世紀(jì)80 年代。 日本對于多機系統(tǒng)的研究起步最早。 1988年基于分布式體系架構(gòu)的CEBOT (Cellular Robotic System)[4]通過重構(gòu)，組成能夠?qū)崿F(xiàn)學(xué)習(xí)的復(fù)雜機器人系統(tǒng)。 1989 年研制的Actress[5]異構(gòu)機器人具備自主操作能力，并利用通信協(xié)議實現(xiàn)多機協(xié)同。

1994 年，美國加州大學(xué)開發(fā)的大規(guī)模分布式SWARM 系統(tǒng)通過機器人之間的交流獲得群體智能[6]。 1998 年美國的ALLIANCE 異構(gòu)機器人團隊[7]，利用焦躁和默許2 種類型的動機以此調(diào)節(jié)機器人的工作狀態(tài)。 同年，歐盟研制出MARTHA混合式系統(tǒng)結(jié)構(gòu)[8]，通過相互協(xié)調(diào)進行路線規(guī)劃和軌跡生成。

進入21 世紀(jì)，各國紛紛投身于多機系統(tǒng)的研究，并不斷加大對該領(lǐng)域的投入。 2004 年美國DARPA 中MARS-2020 計劃[9]的研究目標(biāo)之一，就是在動態(tài)及危險環(huán)境中，通過地面與空中多機器人的團隊協(xié)作實現(xiàn)通信偵查作業(yè)。 2006年該機構(gòu)的另一個項目SDR[10]開發(fā)了由大約80 個機器人組成的異構(gòu)機器人團隊，旨在大型室內(nèi)環(huán)境中探索，繪制空間地圖并檢測有價值的目標(biāo)物體，實現(xiàn)保護等特定任務(wù)。 2013 年歐盟的AVERT 項目[11]研發(fā)用于搜救和干預(yù)危險行動的多機器人團隊，在協(xié)同過程中完成緊耦合任務(wù)。 2014 年美國 NASA 研制的名為Swarmie 小型機器人[12]，模擬蟻群的工作方式，用于搜救和偵查，并有望用于深空探測中尋找水源，如圖1 所示。

圖1 NASA 研制的Swarmie 小型機器人[12]Fig.1 Swarmie robot developed by NASA[12]

2015 年俄羅斯開始打造機器人衛(wèi)星部隊[13]，以“整體打包，太空釋放”的方式將其部署到近地軌道完成太空裝配及檢修任務(wù)。 2018 年美國明尼蘇達大學(xué)MARS 實驗室通過在不同機器人建立的地圖之間增加點和線特征的幾何約束構(gòu)成大規(guī)模3D 環(huán)境地圖[14]。

中國最早開展多機系統(tǒng)研究的是上海交通大學(xué)和中科院沈陽自動化研究所，研制的DAMAS[15]利用Petri 網(wǎng)建立了分布式的集中裝配系統(tǒng)。 蔡自興等[16]系統(tǒng)地闡述了多機系統(tǒng)，并提出利用遺傳算法提升地圖構(gòu)建的效率和精確度，引入離散PSO 解決多機協(xié)同分配，并針對異構(gòu)多機器人不同感知能力的特點設(shè)計了協(xié)同定位算法，增強系統(tǒng)位置預(yù)測能力[17]。 王浩等[18]提出分層追逃算法來處理多機系統(tǒng)中出現(xiàn)的追捕，以及如何解決追逃過程中的約束條件、追捕聯(lián)盟等問題。 魏明珠[19]通過一致步長迭代和更新，實現(xiàn)了月面多機器人分布式協(xié)同定位，提升了月面定位的效率和精度。 于曉強[20]提出基于擴展一致性的拍賣算法，利用多航天器之間的協(xié)同，完成在軌裝配的任務(wù)分配問題。

為提升空間探索效率，國際空間站的機械臂也由單臂向多臂協(xié)同發(fā)展。 國際空間站靈巧機械手SPDM 與機器人航天員R2 采用雙臂構(gòu)型，協(xié)同實現(xiàn)空間站裝配與維修[21]。 日本實驗艙機械臂JEMRMS[22]，在小臂工作時由主臂接收能源和數(shù)據(jù)，形成串聯(lián)構(gòu)型，協(xié)同完成復(fù)雜靈巧操作任務(wù)，如圖2 所示。

圖2 日本實驗艙機械臂JEMRMS[22]Fig.2 Japanese robotic arm JEMRMS[22]

天宮二號機械臂系統(tǒng)在空間實驗室任務(wù)中順利完成人機協(xié)同、在軌維修等關(guān)鍵技術(shù)的驗證[23]，見圖3。 中國空間站為核心艙和實驗艙分別配備2 套機械臂，2 套機械臂可獨立或協(xié)同執(zhí)行任務(wù)，也可串聯(lián)成組合臂，擴大空間作業(yè)范圍[24]，如圖4 所示。

圖3 天宮二號航天員與機械手的人機協(xié)同試驗Fig.3 Man-Machine Collaboration Test between astronauts and manipulator in Tiangong-2

圖4 中國空間站核心艙與實驗艙機械臂級聯(lián)Fig.4 The core module and experimental module manipulator cascade in the Chinese space station

多機協(xié)同理念已被應(yīng)用于中國空間站的建造，輔助或替代航天員完成在軌組裝及維修等任務(wù)，大幅提高了空間操作的安全性，對于未來開展大規(guī)模集群操作，深空探測復(fù)雜任務(wù)等均具有重要意義。

3 多機器人同步定位與地圖構(gòu)建

SLAM 即機器人對其所在環(huán)境構(gòu)建空間模型，并在該環(huán)境中迅速定位。 2004 年美國NASA發(fā)射的機遇號和勇氣號火星探測器以基于視覺的SLAM(Visual-based SLAM)為主，完成了高精度的定位。 2021 年毅力號火星車搭載機智號火星直升機成功降落在火星表面，火星直升機將實時創(chuàng)建的地圖發(fā)送給火星車，實現(xiàn)天地協(xié)同SLAM，如圖5 所示。

圖5 機智號火星直升機和毅力號火星車Fig. 5 Ingenuity helicopter and Perseverance Mars rover

目前，已將單機器人的SLAM 成功擴展至多機協(xié)同SLAM，通過融合各機器人觀測信息，提升SLAM 的精度。 本文按照數(shù)據(jù)處理的主要方式，將多機器人SLAM 分為以下3 類。

3.1 基于濾波器的SLAM

基于濾波器的SLAM 常以擴展卡爾曼濾波(Extended Kalman Filter，EKF)算法通過更新以及預(yù)測不斷迭代，解決地圖和位姿估計。 隨著機器人數(shù)量和所在環(huán)境逐漸擴大，累積誤差會嚴重影響濾波效果。 Roumeliotis[25]將地圖重疊問題轉(zhuǎn)換成地標(biāo)約束，減少地圖對齊過程中因噪聲引起的位置估計誤差。 Huang[26]提出新的信息感知方法，用可觀測性約束提升EKF 的一致性。 然而基于濾波的方法，其時間和空間復(fù)雜度均為o(n2)，因此更適用于小規(guī)模地圖環(huán)境的構(gòu)建。

將協(xié)方差矩陣變?yōu)樾畔⒕仃嚕傻玫綌U展信息濾波器(Extended Information Filter，EIF)EIFSLAM 算法。 奔粵陽等[27]利用聯(lián)合分布狀態(tài)和信息濾波參數(shù)的稀疏性，從時間和計算兩方面減少復(fù)雜度，確保協(xié)同定位的精度和有效性。

不同于EKF-SLAM，粒子濾波器(Particle Filter，PF)可以處理任意噪聲模型。 Roh[28]利用多假設(shè)分析的地圖合并技術(shù)和粒子群優(yōu)化算法，解決缺乏特征或局部極大值的多機器人地圖合并，提高地圖融合精度。 但是粒子的多樣性會隨時間推移而發(fā)生退化。 因此Havangi[29]提出了無跡Fast SLAM 算法，改進重采樣步驟，讓粒子集向概率密度函數(shù)值較大的區(qū)域移動，克服粒子貧化。

EKF-SLAM 是解決該問題的經(jīng)典方法，然而受到算法一致性、數(shù)據(jù)關(guān)聯(lián)問題以及計算成本三方面限制。 EIF-SLAM 由于信息的可加特性，更適合擴展至多機器人系統(tǒng)。 PF-SLAM 在處理非線性、非高斯系統(tǒng)上魯棒性強，運算精度更高。

3.2 基于優(yōu)化的SLAM

基于優(yōu)化的方法中，圖優(yōu)化SLAM(Graphbased SLAM)利用約束條件和目標(biāo)函數(shù)，把問題變?yōu)榛趫D的構(gòu)建和優(yōu)化。 Campos R[30]利用水下編隊機器人，通過融合地理參考光和導(dǎo)航數(shù)據(jù)建立空間地圖，并加入光學(xué)約束對地圖進行優(yōu)化。然而Graph-based SLAM 需要建立在正確數(shù)據(jù)關(guān)聯(lián)的基礎(chǔ)上，計算要求較高。

Submap-SLAM 中[31]，子地圖的匹配將局部地圖融合，組成大規(guī)模全局地圖，有效抑制了全局誤差的累積。 Vidal-Calleja[32]利用濾波和平滑方法將協(xié)同地空多機系統(tǒng)中各自生成的3D 子地圖進行組合拼接，成功解決了大型戶外環(huán)境的SLAM 問題。 但是在利用Submap-SLAM 得到整體地圖時，需要調(diào)整子地圖的尺寸。

不同于濾波方法僅利用當(dāng)前較少數(shù)據(jù)進行軌跡更新，基于優(yōu)化的方法分析所有觀測數(shù)據(jù)，更新整條軌跡。 通過對關(guān)鍵節(jié)點的維護，優(yōu)化SLAM問題，具有計算量小且精度高等優(yōu)點。

3.3 基于人工智能的SLAM

隨著人工智能的興起，利用智能化方法解決有關(guān)濾波和優(yōu)化，提升SLAM 算法得到了快速發(fā)展。神經(jīng)網(wǎng)絡(luò)對于非線性模型具有強大的擬合能力。Omid 等[33]利用徑向基網(wǎng)絡(luò)彌補噪聲假設(shè)和線性化過程中的系統(tǒng)誤差，降低SLAM 的不確定性。Havangi 等[34]將模糊運算與濾波器相結(jié)合，用模糊推理系統(tǒng)監(jiān)督無跡卡爾曼濾波的性能，用于特征位置估計，使算法具有更高的精度和魯棒性。

近年來已有學(xué)者利用深度學(xué)習(xí)解決多機器人SLAM 中如閉環(huán)檢測、語義地圖的生成等問題。閉環(huán)檢測的目標(biāo)是識別移動機器人之前曾達到的場景，可顯著降低隨時間累加的位置誤差，建立一致性地圖。 張浩然[35]借鑒深度學(xué)習(xí)能夠提取復(fù)雜圖像中的抽象特征，將循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)用于閉合檢測，提升檢測準(zhǔn)確率的同時降低了運算量。 為繪制更加精確的空間地圖，在包含環(huán)境的幾何信息之外，還會加入語義信息的描述。 Mccormac[36]從多個視點中得到的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)語義預(yù)測融合到地圖中，不僅能夠建立稠密的3D 語義地圖，而且可以改善僅使用單幀執(zhí)行分割的基線方法。 將深度學(xué)習(xí)與SLAM 結(jié)合，展示了深度學(xué)習(xí)在精確度和復(fù)雜性方面的強大優(yōu)勢，提升了系統(tǒng)的學(xué)習(xí)能力和智能化水平，未來極具發(fā)展?jié)摿Α?多機SLAM 方法對比如表2 所示。

表2 多機SLAM 方法對比表Table 2 Comparison of multi-robot SLAM

在多機SLAM 中，機器人構(gòu)建環(huán)境地圖與協(xié)同定位相輔相成，高精度的定位手段搭配不同地圖創(chuàng)建方式，是未來多機器人SLAM 的重要方向。目前多機協(xié)同SLAM 存在的問題有:

1)協(xié)同SLAM 中，需要較大的通訊量，如何降低通訊代價和復(fù)雜度；

2)如何提供更可靠、安全、抗干擾的定位服務(wù)，提高定位精度和實時性；

3)如何更好地利用人工智能、深度學(xué)習(xí)等手段，提升SLAM 的智能化水平，實現(xiàn)更高程度的人機交互。

4 多機器人任務(wù)分配

隨著系統(tǒng)在規(guī)模和功能上的愈加復(fù)雜，多機器人任務(wù)分配(Multi-Robot Task Allocation，MRTA)成為多機協(xié)同研究的熱點問題之一，其策略的優(yōu)劣會對任務(wù)執(zhí)行效果產(chǎn)生直接的影響。 MRTA 最初注重系統(tǒng)對任務(wù)的完成情況；近年來，在完成任務(wù)的前提下，更關(guān)注分配過程中的協(xié)調(diào)與合作。

早期任務(wù)分配方法多以集中式分配為主，基于運籌學(xué)的匈牙利算法、單純形法等傳統(tǒng)方法被應(yīng)用于機器人之間的任務(wù)分配。 當(dāng)任務(wù)規(guī)模和機器人數(shù)量不斷擴大，遺傳算法、蟻群算法等進化算法充分發(fā)揮了啟發(fā)式算法的優(yōu)勢。 其中，蟻群算法[37]通過感知環(huán)境中信息素濃度，利用正負反饋機制來尋找最短路徑，是一種全局優(yōu)化算法。Zheng 等[38]提出了一種基于蟻群算法的集中式、離線優(yōu)化策略，利用2 種信息素記錄任務(wù)分配的傾向性和任務(wù)處理順序，從而實現(xiàn)任務(wù)優(yōu)化分配和調(diào)度。 遺傳算法通過模擬生物進化過程，通過自然選擇以及遺傳學(xué)機理，最終得到系統(tǒng)最優(yōu)解。Jose[39]面對復(fù)雜任務(wù)分配的組合優(yōu)化問題時，在遺傳算法中加入了兩種貪婪策略，提高全局搜索能力。

集中式任務(wù)分配中，中小規(guī)模的分配問題可通過枚舉得到全局最優(yōu)，其最優(yōu)解的獲取大多以犧牲機器人的自主性為代價。 然而，MRTA 是一個非確定性多項式困難(Non-deterministic Polynomial-hard，NP-hard)組合優(yōu)化問題，計算復(fù)雜度隨機器人數(shù)量的遞增，呈指數(shù)型增長，因此集中式分配不利于解決大規(guī)模任務(wù)分配。 此外，該方法普遍適用于機器人和環(huán)境均保持不變的情況，由于任務(wù)分配通常是一個動態(tài)的決策過程，因此在實際應(yīng)用中存在一定的局限性。

分布式任務(wù)分配依靠各機器人自身傳感器規(guī)劃其行為，對動態(tài)變化環(huán)境適應(yīng)性更強，反應(yīng)速度更快。 基于行為和基于市場機制是較為常用的兩種分布式分配方法。 基于行為的分配方式在狀態(tài)信息與行為之間構(gòu)成映射，通過設(shè)定的刺激，觸發(fā)相應(yīng)的行為。 Parker 提出的ALLIANCE 就是典型的采用激勵行為的任務(wù)分配系統(tǒng)。 以利益最大化為準(zhǔn)則，用更少的通訊實現(xiàn)協(xié)作屬于市場機制的任務(wù)分配模式[40]，其經(jīng)典代表為合同網(wǎng)模型。Wang 等[41]在傳統(tǒng)合同網(wǎng)方法中加入焦慮模型，提高任務(wù)分配效率。

拍賣算法使用更加明確的市場規(guī)則確定任務(wù)的分配，近年來用以改進傳統(tǒng)合同網(wǎng)模型。 根據(jù)算法需要競拍的回合數(shù)、每個回合能夠參與機器人的數(shù)量以及參與競拍的任務(wù)數(shù)量，可主要分為3 種類型[42]:組合拍賣(Combinatorial Auction)、并行拍賣(Parallel Auction)以及單項順序拍賣(Sequential-Single-Item Auction， SSI)算法。

在組合拍賣中，每一個機器人都可以對目標(biāo)子集進行投標(biāo)，是唯一能夠獲得最佳解決方案的拍賣手段[43]。 Cui 等[44]將平衡判斷公式和平衡評價因子引入到在線任務(wù)分配方法中，用于處理動態(tài)任務(wù)分配中的不平衡問題。

在并行拍賣中，拍賣只持續(xù)一輪，任務(wù)同時競標(biāo)，并立即分配。 Zhang 等[45]在并行拍賣的收益矩陣中加入修正函數(shù)，使得該算法在總成本和完成時間上取得更好的性能。

初始條件已知的情況下，標(biāo)準(zhǔn)的單項順序拍賣算法考慮了目標(biāo)之間的協(xié)同作用，通過多輪拍賣進行分配[46]。 Wei 等[47]為解決任務(wù)執(zhí)行過程中出現(xiàn)的拍賣順序約束條件，將SSI 算法擴展到動態(tài)分配。 由于分配任務(wù)的性質(zhì)逐漸由傳統(tǒng)單次、確定性向動態(tài)、再分配、不確定性轉(zhuǎn)變，以分布式為主的任務(wù)分配結(jié)構(gòu)適用范圍更廣。

基于行為和基于市場機制的策略均需要利用一定的先驗知識來完成。 強化學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等智能任務(wù)分配理論減少了對先驗知識的依賴，因此得到了快速發(fā)展與廣泛應(yīng)用。 Dai[48]在合同網(wǎng)算法中加入BP 神經(jīng)網(wǎng)絡(luò)，用于融合多機器人拍賣時的競標(biāo)價格，提升動態(tài)任務(wù)分配的快速性和實時性。 強化學(xué)習(xí)在應(yīng)用于多機器人時高維度的狀態(tài)空間有時會引發(fā)維度災(zāi)難。 Kawano[49]采用分層強化學(xué)習(xí)巧妙解決了維度爆炸問題，逐步進行子任務(wù)的分解和學(xué)習(xí)。

表3 分析對比了不同分配方法的任務(wù)規(guī)模、適用類型以及優(yōu)缺點等，可針對不同應(yīng)用環(huán)境、任務(wù)需求，選擇適當(dāng)?shù)姆峙浞绞?，或組合其中算法，優(yōu)化性能。 目前任務(wù)規(guī)劃仍存在如下幾個方面的問題:

表3 不同任務(wù)分配方法對比Table 3 Comparison of different task allocation methods

1)如何對異構(gòu)機器人的能力進行定義和分類，任務(wù)分配時，如何根據(jù)異構(gòu)機器人的能力劃分任務(wù)。

2)面對機器人突發(fā)故障，或無法完成既定任務(wù)，如何撤銷并及時調(diào)整任務(wù)；如何處理動態(tài)任務(wù)以及任務(wù)的再分配過程。

3)如何更好地平衡分配過程中的通訊成本，解決通訊延時與約束。

目前在該領(lǐng)域主要采取的是理論研究和仿真分析，實驗驗證正在逐步建立與豐富。 未來的研究方向如圖6 所示。

圖6 多機器人任務(wù)分配發(fā)展需求Fig.6 Development needs of multi-robot task allocation

5 多機器人路徑規(guī)劃

多機器人路徑規(guī)劃(Multi-Robot Path Planning，MRPP)不僅需要保證機器人均能順利安全抵達目標(biāo)點，還需要滿足一定的優(yōu)化標(biāo)準(zhǔn)[50]，這是多目標(biāo)、多約束的組合優(yōu)化問題，體現(xiàn)了系統(tǒng)在復(fù)雜環(huán)境自主規(guī)劃與組織協(xié)調(diào)能力。

集中式路徑規(guī)劃通過統(tǒng)一調(diào)度為每個機器人構(gòu)造最佳無碰路徑。 這種結(jié)構(gòu)整體的協(xié)調(diào)性較好，但是容錯性、柔性較差。 人工勢場充分利用斥力場和引力場的相互作用力，尋找無碰自由路徑，是一種實時考慮空間構(gòu)型的規(guī)劃手段。Matoui 等[51]采用集中式方法，用改進的人工勢場解決多機器人在線避碰，提升對動態(tài)環(huán)境的適應(yīng)性。

分布式路徑規(guī)劃中單個機器人均可自行安排運動路線，實現(xiàn)更加復(fù)雜的協(xié)同任務(wù)。 盡管系統(tǒng)整體柔性以及靈活性更強，但是全局規(guī)劃能力較差。 夏清松等[52]將基于蟻群算法的全局路徑規(guī)劃與局部作業(yè)避障規(guī)則相結(jié)合，設(shè)計出較短、無碰的組合路徑。 粒子群算法可用于多約束組合優(yōu)化問題的求解，運行效率高，但是無法保證全局最優(yōu)解。 Bilbeisi 等[53]設(shè)計了優(yōu)化粒子群算法，無需先驗知識，實現(xiàn)動態(tài)避障的同時，通過協(xié)同合作到達目標(biāo)點。 D*算法是通過遍歷全部節(jié)點，實現(xiàn)最短路徑的全局規(guī)劃算法。 Peng 等[54]利用改進的D*算法，通過機器人之間的交互快速重新規(guī)劃，找到時間最短路徑。 然而，該方法不適用于較大的空間搜索范圍。 人工蜂群算法根據(jù)對蜜蜂覓食過程的觀察，利用正負反饋機制尋找到更優(yōu)質(zhì)的食物源。 Wang 等[55]改進了蜂群算法中覓食和淘汰機制，保證能夠同時實現(xiàn)多目標(biāo)優(yōu)化，提高了算法的運行效率。 該算法自組織能力強，能與其他啟發(fā)式算法相結(jié)合，實現(xiàn)優(yōu)勢互補。 Zhao 等[56]開發(fā)了2 種模糊控制器，分別用于避障和目標(biāo)定向，實現(xiàn)了多機系統(tǒng)未知動態(tài)障礙物環(huán)境下的路徑選擇。 將神經(jīng)網(wǎng)絡(luò)用于路徑規(guī)劃中，使系統(tǒng)擁有自學(xué)習(xí)能力，可應(yīng)對動態(tài)變化環(huán)境以及較多障礙物情況，魯棒性強。Zhang 等[57]將最短路徑表示為線性規(guī)劃問題，采用有偏一致性神經(jīng)網(wǎng)絡(luò)進行有效的分布式求解，得到最短的軌跡路線。

混合式路徑規(guī)劃中單個機器人不具備完全的自主能力，仍會依賴中央處理單元。 張丹露等[58]采用集中和分布控制相結(jié)合的方法，利用交通規(guī)則、預(yù)約表和改進的A*算法解決碰撞和死鎖。其中A*算法是目前使用較多的一種啟發(fā)式搜索算法，可用于全局路徑規(guī)劃。

表4 歸納總結(jié)了不同的規(guī)劃算法。 通過融合多種路徑規(guī)劃，并引入智能及優(yōu)化方法，以獲得更強大的性能是新的發(fā)展趨勢。

表4 路徑規(guī)劃方法對比表Table 4 Comparison of path planning methods

目前路徑規(guī)劃存在的問題主要體現(xiàn)在如下幾點:

1)復(fù)雜環(huán)境下，全局路徑規(guī)劃實時性差，可能導(dǎo)致行動滯后于環(huán)境變化，導(dǎo)致避障失敗。

2)大部分路徑規(guī)劃難以處理好可達性、安全性等性能指標(biāo)的約束以及計算量、求解時間之間的平衡。

3)大多數(shù)的路徑規(guī)劃僅在仿真平臺上進行驗證，實物系統(tǒng)的發(fā)展有待加強。

因此，路徑規(guī)劃研究方向總結(jié)如圖7。

圖7 多機器人路徑規(guī)劃發(fā)展需求Fig.7 The development needs of multi-robot path planning

6 多機協(xié)同與強化學(xué)習(xí)結(jié)合的理論與方法

傳統(tǒng)的機器人控制對先驗知識的依賴性較強，這類機器人無法應(yīng)對復(fù)雜變化或未知的環(huán)境。強化學(xué)習(xí)(Reinforcement Learning，RL)作為一種在線學(xué)習(xí)的方法，能夠在智能體與環(huán)境的交互中，不斷修正行為，獲得對環(huán)境的適應(yīng)性。 將RL 應(yīng)用于多機系統(tǒng)，無疑會帶來新的突破，進一步擴展其應(yīng)用范圍[59]。

多機協(xié)同的強化學(xué)習(xí)不僅是對獨立機器人學(xué)習(xí)情況的簡單疊加，更要考慮信息交互，協(xié)商與信度分配等問題[60]。 學(xué)習(xí)的難度和復(fù)雜度將遠大于單機器人的學(xué)習(xí)。 多機強化學(xué)習(xí)系統(tǒng)按照結(jié)構(gòu)劃分，可分為集中和分布兩種模式。

集中式RL 利用中央單元進行協(xié)同目標(biāo)的統(tǒng)一學(xué)習(xí)。 群體中的單個機器人僅用作數(shù)據(jù)采集和執(zhí)行任務(wù)的載體，并不具備獨立學(xué)習(xí)的能力。 隨著機器人數(shù)量增加而出現(xiàn)的靈活性差、維度災(zāi)難、難以收斂等問題，限制了集中式強化學(xué)習(xí)的發(fā)展。

在分布式RL 中，機器人自身即為一個獨立主體，在相互通訊、協(xié)作中，不僅需要學(xué)習(xí)有利于個體的最優(yōu)策略，也要兼顧全局的學(xué)習(xí)目標(biāo)[61]，實現(xiàn)更高層次的智能化。 分布式RL 學(xué)習(xí)中包含:中央RL、獨立RL、群體RL 和社會RL。

在中央RL 系統(tǒng)中[62]，單個機器人無法采取主動學(xué)習(xí)的方式，只能被動地接受學(xué)習(xí)結(jié)果，而由中央機器人承擔(dān)全局性的學(xué)習(xí)任務(wù)(圖8)。

圖8 中央強化學(xué)習(xí)Fig.8 RL Centrally

獨立RL 如圖9 所示[62]，雖然單個機器人可以感知周圍環(huán)境，選擇能夠?qū)崿F(xiàn)最大回報的動作策略。但是系統(tǒng)中的機器人僅依據(jù)自身利益選擇動作，而不考慮團體的發(fā)展，因此這種學(xué)習(xí)方式很難實現(xiàn)全局最優(yōu)的目標(biāo)。 適合解決系統(tǒng)中包含個體數(shù)目較多并且松散耦合的任務(wù)情況。 其中根據(jù)智能體強化信號分配結(jié)構(gòu)信度是亟待解決的難點問題。

圖9 獨立強化學(xué)習(xí)[63]Fig.9 RL Individually[63]

群體RL 系統(tǒng)如圖10 所示[63]，每個機器人在進行動作策略的選擇時，都在維護系統(tǒng)的整體利益。 因此，該種學(xué)習(xí)方式中狀態(tài)空間或動作空間的規(guī)模龐大，是機器人數(shù)目的指數(shù)倍，交互關(guān)系和學(xué)習(xí)難度會隨之增加變得復(fù)雜，出現(xiàn)學(xué)習(xí)速度緩慢的情況。 群體強化學(xué)習(xí)系統(tǒng)還需要進一步優(yōu)化數(shù)據(jù)結(jié)構(gòu)，加快運算速度及收斂過程。 然而，狀態(tài)空間和動作空間的維度災(zāi)難問題仍是群體強化學(xué)習(xí)的弱點之一。

圖10 群體強化學(xué)習(xí)Fig.10 RL in Groups

社會RL 在系統(tǒng)里引入了社會或經(jīng)濟模型，從管理學(xué)、社會學(xué)的角度調(diào)節(jié)機器人之間的關(guān)系，實現(xiàn)系統(tǒng)整體的學(xué)習(xí)，以此提高智能化水平，其本質(zhì)上是獨立強化學(xué)習(xí)的擴展。 然而社會強化學(xué)習(xí)克服了獨立強化學(xué)習(xí)中機器人之間自私的缺點，可以建立更加復(fù)雜的系統(tǒng)結(jié)構(gòu)，動作策略選擇更優(yōu)。 不同強化學(xué)習(xí)之間的對比匯總?cè)绫? 所示。

表5 多機器人強化學(xué)習(xí)對比Table 5 Comparison of multi-robot RL

未來多機協(xié)同會更加注重群體智能、對最優(yōu)策略的自學(xué)習(xí)以及對環(huán)境的自適應(yīng)能力。 強化學(xué)習(xí)與多機器人的融合具有更為廣闊的發(fā)展前景，未來該領(lǐng)域的發(fā)展趨勢有:

1)有效化解機器人執(zhí)行任務(wù)時的沖突，獲得更合理的結(jié)構(gòu)信度分配。

2)充分利用不同機器人的知識和經(jīng)驗，提升團隊協(xié)作的效率。

3)設(shè)計在線強化學(xué)習(xí)算法，保證多機器人均能實現(xiàn)有限時間收斂，提升算法的實時性和快速性。

4)團隊中開展多目標(biāo)學(xué)習(xí)。 目標(biāo)之間可以相互關(guān)聯(lián)或存在沖突，不僅需要研究機器人之間的協(xié)同效應(yīng)，還需研究目標(biāo)之間的協(xié)調(diào)與決策。

7 總結(jié)與展望

多機器人協(xié)同系統(tǒng)利用機器人的相互協(xié)作實現(xiàn)更多復(fù)雜功能，在眾多領(lǐng)域給人類社會帶來巨大變革。 對于中國未來高效開展航天探測任務(wù)，實現(xiàn)大規(guī)模集群操作等目標(biāo)影響深遠。 未來多機系統(tǒng)的總體趨勢體現(xiàn)在如下方面:

1)團隊中的機器人能夠形成更加緊密的協(xié)作，從單一功能向多功能發(fā)展，滿足復(fù)雜多變的任務(wù)需求，不斷提高系統(tǒng)整體性能，降低開發(fā)成本。

2)處理好異構(gòu)機器人之間的通信，平衡好團隊數(shù)量及工作質(zhì)量，進一步提升團隊協(xié)作效率。

3)充分應(yīng)用人工智能、強化學(xué)習(xí)等技術(shù)提升團隊自主判斷、智能分析規(guī)劃以及操作的能力是未來重要的發(fā)展方向。