多智能體系統(tǒng)中的幾個問題

文 陳 杰

近年來，陸、海、空、天等領(lǐng)域?qū)o人系統(tǒng)的需求與日俱增。隨著人工智能技術(shù)以及智能控制理論研究的不斷發(fā)展，無人系統(tǒng)智能自主控制的創(chuàng)新研究出現(xiàn)在人類視野范圍內(nèi)?；凇爸圃鞆妵钡膽?zhàn)略目標，無人系統(tǒng)已成為社會重點研究對象，而多無人系統(tǒng)中的協(xié)同控制問題無疑是未來無人系統(tǒng)發(fā)展的核心研究內(nèi)容之一。

無人系統(tǒng)發(fā)展歷程

無人系統(tǒng)由單個無人平臺或多個無人平臺構(gòu)成，能夠自主或通過遠程操控完成指定任務(wù)，該系統(tǒng)高度融合機械化、信息化和智能化平臺形成智能無人系統(tǒng)，包括單個的無人飛行器、無人車輛、無人艦船、無人潛器等典型對象。多機器人、多運動體以及多系統(tǒng)之間的協(xié)同操作將分布式的多無人平臺連接起來，形成一個基于網(wǎng)絡(luò)空間有機聯(lián)系的復(fù)雜系統(tǒng)。這個復(fù)雜系統(tǒng)能夠?qū)崿F(xiàn)時間、空間、模式和任務(wù)等多維度的有效協(xié)同，最終形成對目標的探測、跟蹤、識別、智能決策和行為及評估的完整的鏈條，我們稱之為多系統(tǒng)協(xié)調(diào)能力。

早在上世紀30年代美國發(fā)明了第一款地面無人爆破車輛，之后，地面無人系統(tǒng)呈現(xiàn)一個螺旋式的發(fā)展趨勢。截至2010年9月，美軍在伊拉克和阿富汗戰(zhàn)場上一共投入了大量的地面無人作戰(zhàn)平臺，完成了多項作戰(zhàn)任務(wù)。整個戰(zhàn)爭過程中，暴露出協(xié)同問題主要有3個：指揮無序、故障頻發(fā)、控制不利。之所以存在這一類問題，是由于多運動體與運動平臺之間缺乏協(xié)同控制和優(yōu)化的有效機制。有人/無人間的有效協(xié)同，將成為未來地面戰(zhàn)爭主要的模式。

截至2013年美國已經(jīng)完成開放式架構(gòu)體系的開發(fā)。美國的有人、無人系統(tǒng)的協(xié)同，前期經(jīng)歷了從有人到無人的遙控、有人無人協(xié)同階段，目前正處于開展全自主協(xié)同的研究階段。1916年3月美國推進了分群式的無人機研究，即多個無人機能夠協(xié)同飛行作業(yè)；2017年3月美國的相關(guān)部門啟動終身學(xué)習機器項目，以推動人工智能機器人在實際行動中的應(yīng)用；2017年6月，美國在“真北”的神經(jīng)元系統(tǒng)上研究開發(fā)類腦超算系統(tǒng)；2017年12月，美國開始研究人工智能芯片，提出通過將人工智能芯片植入到大腦以改變?nèi)说幕厩榫w的設(shè)想；2018年3月，美國無人機項目采用谷歌人工智能技術(shù)來提高無人機識別精度。2018年4月25日，美國在未來地面人機組合計劃中，專門研究了機器人和人工智能如何與人類協(xié)同行動問題。

2015年12月，俄羅斯亮相了天王星-9無人車輛系統(tǒng)，通過有人和無人協(xié)同作戰(zhàn)擊斃了70余名武裝分子并占領(lǐng)陣地，這個戰(zhàn)爭被視為有人和無人協(xié)同作戰(zhàn)系統(tǒng)中協(xié)同作戰(zhàn)的一個典范。在智能交通中，有人/無人協(xié)同可以提高無人車的自主性、安全性，這也是目前無人車研究的一個重要發(fā)展方向。谷歌公司已經(jīng)有50輛智能車安全行駛了20萬公里，截至2018年1月，美國全境有40多家企業(yè)拿到了無人車的上路牌照。目前有4個州通過了有關(guān)的允許無人車上路的法律，駕駛無人車已經(jīng)成為一個勢不可擋的重要發(fā)展趨勢。

據(jù)預(yù)測，到2035年，全球無人車的銷售量將達到1200萬輛，其中有相當?shù)臄?shù)量將在中國銷售，由此多車之間的協(xié)同將成為無人車的一個主要的運營模式?；诙嘬噮f(xié)同的新運營模式，值得思考的是今后的交通設(shè)施是否還需要像現(xiàn)在這樣的紅綠燈管控，是否需要靠左行駛，是否需要學(xué)習駕駛車輛，如何來界定事故責任等的一系列問題。

目前，我國在智能化無人系統(tǒng)方面進行了大量研究工作。2018年3月，中央電視臺首次公布了無人行動系統(tǒng)的實驗室。同年5月，電科集團有200架固定翼編程的無人機進行飛行，雖然目前仍停留在編程飛行過程中，但是成功實現(xiàn)了小型窄翼、折疊翼無人機雙機低空的投放和模態(tài)轉(zhuǎn)換的試驗。

我國在人工智能2.0的研究規(guī)劃中，將自主式智能無人系統(tǒng)作為人工智能發(fā)展的一個重要內(nèi)容，其中人工智能2.0的八大基礎(chǔ)理論研究之一，就有智能無人系統(tǒng)自主協(xié)同控制優(yōu)化與決策的方法。自主無人系統(tǒng)的智能技術(shù)成為八大關(guān)鍵技術(shù)之一，同時，自主智能無人系統(tǒng)支撐的平臺成為五大基礎(chǔ)支撐平臺之一。我國智能化無人系統(tǒng)關(guān)鍵技術(shù)的發(fā)展路線圖，描繪了各個相關(guān)的技術(shù)領(lǐng)域在每個階段的發(fā)展水平，分別按照智能無人系統(tǒng)、智能自主控制等6個等級進行劃分。

多無人系統(tǒng)協(xié)同控制技術(shù)面臨的挑戰(zhàn)及應(yīng)對方法

在該技術(shù)領(lǐng)域，面臨諸多挑戰(zhàn)，其中最為主要的有如下4個：

第一，多無人系統(tǒng)需要具備智能化的指揮與決策能力，以此解決指揮無序的問題。

第二，多無人系統(tǒng)需要設(shè)計分布式的控制算法，以完成復(fù)雜的控制任務(wù)、解決任務(wù)復(fù)雜性問題。

第三，多無人系統(tǒng)應(yīng)該具備自主故障監(jiān)測和容錯控制能力，由此解決無人系統(tǒng)中的故障頻發(fā)問題。

第四，如何借助人的行為進行人為干預(yù)以提升協(xié)同控制能力，以無人系統(tǒng)中控制不力的問題。

俄羅斯天王星-9（Uran-9）無人戰(zhàn)車

針對這4個挑戰(zhàn)，可以凝練成4個科學(xué)問題，包括：協(xié)同中的智能指揮與決策；分布式協(xié)同控制；協(xié)同的故障監(jiān)測和診斷；共享控制。

智能指揮與決策。對于決策與控制所面臨的挑戰(zhàn)，首先是要考慮無人系統(tǒng)所處的環(huán)境不確定，決策信息不完備，以及通信是受限制的情況下，如何提高多智能體協(xié)同決策的智能化程度，從而實現(xiàn)對任務(wù)完成更加有效和高效，這是我們面臨的根本問題。由此，解決問題思路是將角色的概念引入到多智能體中，以解決復(fù)雜條件對多智能體協(xié)同任務(wù)的影響，包含以下幾個內(nèi)容：

第一，協(xié)同決策模型的構(gòu)建。該模型的構(gòu)建主要利用部分可觀的馬爾科夫決策過程，對不確定的觀測信息和不確定的行為效果進行分析，以建立起多智能體的角色模型。

第二，基于角色模型，考慮角色的分析和指派問題，針對多指標動態(tài)態(tài)勢下多智能體角色指派問題，提出了角色評估和指派方法，該方法能夠根據(jù)環(huán)境態(tài)勢變化和武器平臺、運動平臺性能的差別得到不同的角色分配，從而形成角色的動態(tài)調(diào)節(jié)能力。

第三，隱式協(xié)同決策。特別是智能體交互通訊條件比較受限的情況下，仿照人類協(xié)同的方式提出了不依賴直接交互，而是通過一種基于角色的隱式協(xié)同框架來實現(xiàn)多智能體的隱式協(xié)同決策。

第四，基于時序邏輯約束下的多智能體協(xié)同規(guī)劃問題。假設(shè)存在兩個機器人，要求用最短的時間、最小的能耗走遍所有房間。房間是黑的，而且房間門是關(guān)閉狀態(tài)，但是某個房間有兩個按鈕，一個綠色一個黑色，分別用來控制開燈和開門。可以看到，所描述的是基于時序邏輯約束下的協(xié)同，能夠通過使用兩個或三個機器人，將所有的黑屋子、關(guān)了門的屋子在最短的時間內(nèi)走一遍。

第五，決策中的優(yōu)化問題。我們提出了控制思想驅(qū)動的協(xié)同決策優(yōu)化方法，智能體僅利用自身的指標和協(xié)同的通信就可以得到整體任務(wù)最優(yōu)的決策策略，利用自身信息來得到整體任務(wù)指標最優(yōu)的決策策略。我們主要采用輸出/導(dǎo)數(shù)反饋的方法來設(shè)計決策優(yōu)化算法，使得算法更具有良好的收斂性。相應(yīng)地給出了一個基本收斂速度的定義。

分布式協(xié)同控制。由于系統(tǒng)模型是強非線性的，所以在分布式協(xié)同控制時，會存在通信受限以及通信信息不可測等問題。針對以上問題，通過利用坐標變化和狀態(tài)重構(gòu)來簡化系統(tǒng)的模型，借助分布式來實現(xiàn)多智能體任務(wù)，解決信息不完整對多智能體系協(xié)同任務(wù)的影響。

首先是輸出反饋的狀態(tài)控制方法，由此設(shè)計狀態(tài)觀測器和控制器的框架，具有實現(xiàn)跟蹤控制能力。其次是編隊控制問題，主要通過設(shè)計分布式控制策略以解決在交互信息比較薄弱環(huán)節(jié)下的編隊控制問題?；诖司庩牐?個機器人編隊在遇到障礙物之后，其搜索隊形能夠快速的通過障礙物。相應(yīng)可以考慮5個機器人是如何實行編隊控制問題，從而能夠規(guī)避障礙物和規(guī)避相互之間的碰撞問題。然后是分布式控制器問題，保證多智能體系統(tǒng)能夠集聚。未來考慮在未知通信的情況下，實現(xiàn)多智能體系統(tǒng)的穩(wěn)健協(xié)同控制問題。

協(xié)同的故障監(jiān)測和診斷。協(xié)同的故障監(jiān)測和診斷問題，即所構(gòu)成的多智能體網(wǎng)絡(luò)，在某個節(jié)點出現(xiàn)故障的情況下，整個網(wǎng)絡(luò)出現(xiàn)異常的問題。解決這一問題的主要方法是協(xié)同檢測方法設(shè)計，簡單來說就是針對一個多節(jié)點的系統(tǒng)模型，利用觀測到的輸入輸出信號來進行檢測設(shè)計。例如當某個智能體出現(xiàn)故障時，整個多智能體系統(tǒng)就得考慮如何對該故障智能體實現(xiàn)隔離余下的智能體依然能完成原指定的任務(wù)。在協(xié)同的故障監(jiān)測和診斷問題方面，未來主要考慮多智能體網(wǎng)絡(luò)拓撲結(jié)構(gòu)對于故障監(jiān)測算法的影響。

共享控制。面向共享控制，如何利用人為干預(yù)來輔助機器人系統(tǒng)，利用機器的自主算法來簡化人為的干預(yù)，降低人機的比例是我們需要解決的重點問題。提出從智能體控制層面對人、群機器人交互進行改善的方法，并通過共享控制實現(xiàn)完全自主化和完全遙控之間的切換。簡而言之，人能夠拉著機器人去公園溜彎、散步，之后再進行交互。當然，就現(xiàn)在的發(fā)展水平，實現(xiàn)這一控制的難度還是非常大的。

首先是人為干預(yù)意圖的理解和建模，建立起人的干預(yù)意圖到干預(yù)行為的映射關(guān)系。其中，把人的干預(yù)意圖進行建模，這是意圖模型。其次，基于干預(yù)模型優(yōu)化的共享控制問題，即在最優(yōu)性能力保證下，保證人為干預(yù)的穩(wěn)定性問題。然后，基于意圖場的共享控制，要求構(gòu)成一個人與多機器人交互干預(yù)意圖的干預(yù)場，其共享控制能夠通過意圖場和自主行為控制的意圖實現(xiàn)，建立起一個人為干預(yù)場，利用共享控制來實現(xiàn)一對多的靈活的干預(yù)控制，這給出了一個意圖場模型穩(wěn)定性的定義和共享控制器穩(wěn)定性的定義。未來的發(fā)展，對干預(yù)的指標應(yīng)該是可調(diào)可控，實現(xiàn)魯棒的共享控制問題。

總結(jié)與展望

陳杰院士在2019國家機器人發(fā)展論壇上發(fā)言

基于剛才提到的無人系統(tǒng)發(fā)展問題分析以及所提出的解決方法，我們初步構(gòu)建了陸用智能體分布式指揮與控制系統(tǒng)，該系統(tǒng)基于協(xié)同作戰(zhàn)特征自動生成3個任務(wù)小組，允許指揮席在特定情況下產(chǎn)生人為干預(yù)，從而對自主生成的協(xié)同機制進行調(diào)整，以獲取最佳行為力量。另外，系統(tǒng)可以通過主控終端下達集結(jié)任務(wù)，各任務(wù)小組向各個集結(jié)點靠攏，其中各無人平臺在利用分布式運動規(guī)劃技術(shù)，完成向某區(qū)域的路徑規(guī)劃與協(xié)調(diào)運動。期間，可以通過判斷式?jīng)Q策干預(yù)技術(shù)迅速生成，以協(xié)助任務(wù)小組快速穿越雷區(qū)并完成集結(jié)。最后各無人平臺利用多平臺協(xié)同編隊控制技術(shù)，向目標區(qū)域快速前進。

在面對復(fù)雜、惡劣環(huán)境的情況下，智能化、無人化是今后的重要發(fā)展方向。本文主要對陸用多無人系統(tǒng)協(xié)同中的智能指揮決策、多無人系統(tǒng)的分布式協(xié)同控制、多無人系統(tǒng)的協(xié)同故障/攻擊檢測、以及多無人系統(tǒng)共享控制等幾個重要的科學(xué)問題進行分析，旨在從信息科學(xué)的角度將控制論計算機科學(xué)、通信科學(xué)和多智能體協(xié)同的理論發(fā)展相結(jié)合起來，實現(xiàn)未來多無人系統(tǒng)的發(fā)展。未來多無人系統(tǒng)協(xié)同控制發(fā)展的研究的著力點在穩(wěn)健協(xié)同控制、故障監(jiān)測算法以及提升共享機制問題的魯棒性等方面。