異構(gòu)Agent協(xié)作的研究進展

王 晶，劉 瑋，吳 坤，李 爽

武漢工程大學(xué)計算機科學(xué)與工程學(xué)院，湖北 武漢 430205

異構(gòu)Agent協(xié)作的研究進展

王 晶，劉 瑋*，吳 坤，李 爽

武漢工程大學(xué)計算機科學(xué)與工程學(xué)院，湖北 武漢 430205

首先在介紹多Agent協(xié)作的研究背景以及國內(nèi)外研究現(xiàn)狀的基礎(chǔ)上，對多Agent理論及其協(xié)作機制分別進行了分類和總結(jié)；然后，在研究多Agent協(xié)作框架的基礎(chǔ)上，分析了當(dāng)前最具代表性的幾種多Agent協(xié)作模型，如黑板模型、合同網(wǎng)模型、熟人模型、關(guān)系網(wǎng)模型以及承諾模型，闡述各模型特點并在動態(tài)性、異構(gòu)性、靈活性和反應(yīng)性等方面進行比較，突出承諾模型與其它協(xié)作模型相比的優(yōu)勢；最后，介紹了異構(gòu)Agent協(xié)作模型在智能足球機器人、協(xié)同決策以及虛擬訓(xùn)練等領(lǐng)域的具體應(yīng)用.在Agent協(xié)作模型的比較與具體應(yīng)用中，突出了承諾模型在異構(gòu)Agent協(xié)作過程中所展現(xiàn)的較好的動態(tài)性、靈活性和反應(yīng)性等特征，并提出了在開放環(huán)境下，當(dāng)前Agent承諾模型在動態(tài)生成承諾協(xié)議方面的不足與改進方向.

多Agent系統(tǒng)；異構(gòu)；協(xié)作；機制；框架；模型

多Agent系統(tǒng)（multi-agent systems，MAS）是由多個Agent組成，通過各Agent間相互協(xié)作，形成擁有豐富知識庫和強大功能的系統(tǒng)［1］.在該系統(tǒng)中，為完成一個共同全局目標(biāo)，各Agent之間相互合作、協(xié)調(diào)、共享知識和資源并最終解決問題.同構(gòu)Agent系統(tǒng)（homogeneous multi-agent systems）是由多個具有相同行為能力、相同組織結(jié)構(gòu)的Agent組成；而異構(gòu) Agent系統(tǒng)［2］（heterogeneous multi-agentsystems）則是由多個具有相似或不同行為能力的、相互獨立的Agent組成，它們之間存在可以相互理解和協(xié)作的接口，根據(jù)一定的邏輯關(guān)系進行協(xié)作和資源共享.

由于各個系統(tǒng)間的數(shù)據(jù)是動態(tài)、異構(gòu)、有限的數(shù)據(jù)共享，因此實現(xiàn)不同系統(tǒng)間協(xié)作顯得格外重要.面向異構(gòu)Agent的協(xié)作技術(shù)，是MAS研究亟待解決的問題之一.

在一些典型的多Agent研究領(lǐng)域中，比如智能機器人足球大賽［3］、醫(yī)療機構(gòu)中基于無人駕駛小車（AGV）的醫(yī)療垃圾運輸問題［4］以及股票投資決策［5］等領(lǐng)域，復(fù)雜、動態(tài)變化的環(huán)境都要求Agent為完成任務(wù)而必須采取協(xié)作行為，即把多個Agent看做一個團體，通過建立多Agent之間合作、協(xié)調(diào)、通信等機制來提高整個系統(tǒng)效率和性能.異構(gòu)Agent由于組織結(jié)構(gòu)、行為能力的不同能夠彌補在完成任務(wù)時同構(gòu)Agent的不足，降低系統(tǒng)的構(gòu)建成本，提高Agent的使用效率.

Agent協(xié)作是指多Agent間協(xié)作、保持一致性以及聯(lián)合行動的過程.一致性意味著團體中的多Agent是作為一個整體行動而不是某個Agent的個體行為.MAS環(huán)境從封閉到開放，從可預(yù)知到不確定的變化，導(dǎo)致Agent協(xié)作經(jīng)歷了從同構(gòu)Agent協(xié)作到異構(gòu)Agent協(xié)作、從靜態(tài)協(xié)作到動態(tài)協(xié)作的過程，這種變化趨勢對當(dāng)前Agent協(xié)作模型提出了新的難題和挑戰(zhàn).

筆者針對MAS面臨的變化和挑戰(zhàn)，首先在介紹多Agent協(xié)作的研究背景以及國內(nèi)外研究現(xiàn)狀的基礎(chǔ)上，對MAS理論和協(xié)作機制分別進行了分類和總結(jié)；然后，在研究多Agent協(xié)作框架的基礎(chǔ)上，總結(jié)了當(dāng)前最具代表性的幾種多Agent協(xié)作模型，闡述其特點并進行比較，突出了承諾模型在異構(gòu)Agent協(xié)作性能上的優(yōu)勢；最后，介紹了異構(gòu)Agent協(xié)作模型的具體應(yīng)用，在分析當(dāng)前承諾模型性能的基礎(chǔ)上，提出了當(dāng)前Agent承諾模型的不足與改進方向.

1 異構(gòu)Agent相關(guān)理論概述

1.1 異構(gòu)Agent系統(tǒng)協(xié)作機制

與同構(gòu)Agent相比，異構(gòu)Agent由于組織結(jié)構(gòu)、行為能力的不同，能夠彌補在完成任務(wù)時同構(gòu)Agent的不足，降低系統(tǒng)的構(gòu)建成本，提高Agent的使用效率；同時在當(dāng)前網(wǎng)絡(luò)信息量急劇增長的情況下，由于不同系統(tǒng)間數(shù)據(jù)共享非常有限，因此迫切需要異構(gòu)Agent系統(tǒng)來加速系統(tǒng)間信息的傳遞和共享［6］.

當(dāng)前異構(gòu)Agent協(xié)作解決的問題主要是集中在承諾、規(guī)劃、協(xié)商和學(xué)習(xí)這四個方面，它們共同作用于Agent協(xié)作的整個過程.

承諾是保證Agent完成接受任務(wù)的一種機制.在一個MAS中，每一個Agent僅僅擁有其它Agent行為的部分知識［7］.所以，為使各主體之間協(xié)調(diào)合作，系統(tǒng)中的每個Agent內(nèi)部需要建立起一種機制去解決由于只知道部分Agent的知識庫而影響到它們之間協(xié)作的問題.當(dāng)Agent承諾某個活動時，它實際上就保證了實現(xiàn)整個活動需要的全部資源.若Agent執(zhí)行一個特定的動作，那么在環(huán)境不發(fā)生改變的情況下，它將努力遵循這一保證.可以看出，承諾機制是各Agent之間相互協(xié)調(diào)、合作和通訊的必要保證，它確保Agent擁有足夠的能力完成它所承諾的任務(wù).

規(guī)劃是Agent進行決策的主要途徑，它是控制Agent執(zhí)行動作的基礎(chǔ).Agent通過推理從而產(chǎn)生實現(xiàn)目標(biāo)的有效動作.在規(guī)劃的經(jīng)典理論中，Agent擁有自己的領(lǐng)域知識，它可以描述目標(biāo)狀態(tài)、環(huán)境狀態(tài)和已知的自身動作集合.Agent會通過一種特定方法執(zhí)行一個動作序列，當(dāng)該動作序列完成之后會達到設(shè)定的最終目標(biāo)狀態(tài)，這就是Agent的規(guī)劃過程.多Agent規(guī)劃可以分為集中式規(guī)劃和分布式規(guī)劃兩種，當(dāng)選擇好規(guī)劃方式之后，就需要解決規(guī)劃算法和規(guī)劃沖突這兩個核心問題.

協(xié)商過程需要進行信息的交換處理，從而使整個系統(tǒng)的行為保持一致，其目的是解決在多Agent協(xié)作的過程中發(fā)生的沖突問題.傳統(tǒng)的協(xié)商是基于納什的平衡理論，當(dāng)然也可以通過引入Agent對象的偏好來進行協(xié)商.根據(jù)已有的協(xié)商理論，可以將協(xié)商過程概括為三個部分，即協(xié)商協(xié)議、協(xié)商策略和協(xié)商處理［8］.協(xié)商協(xié)議是 Agent通信交流的基礎(chǔ)，它可以規(guī)范協(xié)商雙方的數(shù)據(jù)表示；協(xié)商決策可支撐Agent內(nèi)部協(xié)商交互處理過程，目的是產(chǎn)生協(xié)商結(jié)果；協(xié)商處理包含協(xié)商交互分析，以及關(guān)于對結(jié)果一致性的認可.協(xié)商過程的三個部分將決定Agent協(xié)商的能力強弱，也是協(xié)商方法的核心內(nèi)容.

學(xué)習(xí)是在Agent完成任務(wù)的基礎(chǔ)上進行歸納和自優(yōu)化的過程［9］.而機器學(xué)習(xí)（machine learning）是提高Agent智力的有效方法，從連接主義的角度可分為非監(jiān)督學(xué)習(xí)、監(jiān)督學(xué)習(xí)和強化學(xué)習(xí)三種.而強化學(xué)習(xí)方法則是其中一種非常重要的機器學(xué)習(xí)方法.在協(xié)作Agent之間，強化學(xué)習(xí)主要是采用交換方式，如交換狀態(tài)、交換策略、交換經(jīng)驗以及建議等方式進行學(xué)習(xí).但由于學(xué)習(xí)方法的復(fù)雜性，其需要大量的記憶空間以及復(fù)雜的邏輯推理，因此使得其在實際應(yīng)用中具有很大局限性.

1.2 異構(gòu)Agent協(xié)作框架

異構(gòu)Agent協(xié)作體系主要采用混合式結(jié)構(gòu)，即集中式和分布式的混合組合.它分為3個層次，即交互層、管理執(zhí)行層和資源層，每一層至少含有一個或多個Agent，這些Agent會根據(jù)自身能力來完成各自承擔(dān)的任務(wù).基于異構(gòu)Agent協(xié)作的體系結(jié)構(gòu)如圖1所示，它由多種具有不同功能的Agent組成.

圖1 異構(gòu)Agent協(xié)作的體系結(jié)構(gòu)Fig.1 Framework of heterogeneous agent collaboration

在交互層，交互Agent主要負責(zé)與用戶進行交互并將用戶發(fā)送的請求轉(zhuǎn)化為系統(tǒng)可以識別的指令，并將其發(fā)送給管理執(zhí)行層.

在管理執(zhí)行層，管理協(xié)作Agent統(tǒng)一管理和調(diào)用所有執(zhí)行Agent，然后將任務(wù)分配給不同的Agent.當(dāng)管理協(xié)作Agent接收到來自用戶的任務(wù)請求后，首先會對其進行逐步分解，然后將分解后的子任務(wù)分配給相應(yīng)的執(zhí)行Agent來執(zhí)行.

在資源層，主要是為管理執(zhí)行層提供相對應(yīng)的數(shù)據(jù)服務(wù)功能，并對執(zhí)行過程中產(chǎn)生的新知識、新數(shù)據(jù)進行分類保存，實時更新相應(yīng)數(shù)據(jù)庫，相當(dāng)于一個本地知識庫.當(dāng)管理執(zhí)行層Agent需要某數(shù)據(jù)服務(wù)時，可從資源層調(diào)用，當(dāng)執(zhí)行完某任務(wù)后，也可將執(zhí)行過程中產(chǎn)生的新數(shù)據(jù)存儲到資源層，以便下次調(diào)用.

參考異構(gòu) Agent協(xié)作框架［10］，以及交互層、管理執(zhí)行層與資源層三層之間的交互可以看到異構(gòu)Agent協(xié)作包含以下特征：

1）每一個Agent都呈模塊化結(jié)構(gòu)，方便研究人員獨立開發(fā)和設(shè)計，它們可以根據(jù)環(huán)境變化迅速做出反應(yīng)，并可以根據(jù)需要靈活增減Agent的數(shù)量；

2）Agent之間相互獨立，一個Agent失效不會對其它Agent產(chǎn)生影響；

3）數(shù)據(jù)服務(wù)Agent會對新到來的數(shù)據(jù)進行分類和存儲，有助于系統(tǒng)學(xué)習(xí)新的知識并優(yōu)化自身模型，豐富系統(tǒng)知識庫；

4）每一個Agent都可以使用自身的知識庫獨立解決問題，從而提高整個系統(tǒng)解決問題的效率.

2 異構(gòu)Agent協(xié)作研究及其進展

2.1 異構(gòu)Agent協(xié)作的研究方向

當(dāng)前關(guān)于異構(gòu)Agent協(xié)作的研究主要分為兩種研究方向.

一種是借鑒其他領(lǐng)域研究協(xié)作的技術(shù)和方法（如馬爾可夫模型，遺傳算法，博弈論等）應(yīng)用于Agent協(xié)作研究中［11］.以馬爾可夫模型［12］為例，它通常被認為是快速精確實現(xiàn)語音識別的最好方法之一，其復(fù)雜的語音識別問題可通過隱含馬爾可夫模型簡單地描述與解決.然而這種方法所運用的各種理論主要適用于語音識別、音字轉(zhuǎn)換和詞性標(biāo)注，適用范圍較小，一旦環(huán)境復(fù)雜度上升，學(xué)習(xí)周期將變得很長，很難發(fā)揮作用.

另一種是從 Agent的信念（belief）、期望（de?sire）、意圖（intention）（即BDI）等方面出發(fā)來研究多Agent之間的協(xié)作［13-14］，這種方法從邏輯論的角度，注重分析Agent的目標(biāo)、能力以及需求.在共享計劃理論［15］方面，這種協(xié)調(diào)方法是以BDI理論作為基礎(chǔ)，采用人工智能領(lǐng)域中的符號推理，通過建立相對完整的符號體系進行知識推理，因而使Agent具有自主思考、決策和協(xié)調(diào)的能力.此方法的適用范圍較前者更加廣泛，側(cè)重于問題的規(guī)劃與求解.

在當(dāng)前人工智能領(lǐng)域尤其是自適應(yīng)系統(tǒng)方面，基于BDI的推理模型有非常廣泛的應(yīng)用.由于這種方法從邏輯角度出發(fā)，注重分析Agent的目標(biāo)、能力、需求以及環(huán)境變化，具有開放性和動態(tài)性，因此，也成為近年來Agent協(xié)作研究的熱門方向.

2.2 異構(gòu)Agent協(xié)作研究進展

隨著Agent系統(tǒng)環(huán)境從封閉到開放，從可預(yù)知到不確定變化，導(dǎo)致Agent協(xié)作經(jīng)歷了從靜態(tài)到動態(tài)交互，從同構(gòu)到異構(gòu)變化的過程.

1）從靜態(tài)到動態(tài)交互.早期的Agent協(xié)作研究認為Agent之間不會產(chǎn)生沖突，因為Agent被認為是唯一的，可兼容的個體.隨著Agent技術(shù)發(fā)展的愈加深入，需要Agent能夠在有目標(biāo)沖突的情況下，通過Agent之間的不斷交互，以此逐步協(xié)調(diào)Agent與環(huán)境之間的關(guān)系及各自行為，從而達到共同的目標(biāo).于是Rosenschein［16］在其博士論文中深入研究目標(biāo)沖突下的Agent交互過程，應(yīng)用博弈論建立了理性Agent靜態(tài)交互模型，奠定了解決多Agent協(xié)作問題的基礎(chǔ).

近年來，由于現(xiàn)實世界的開放性和動態(tài)性，傳統(tǒng)的Agent靜態(tài)交互模型已經(jīng)不能滿足研究需要.Hewitt等人［17］指出系統(tǒng)的協(xié)作應(yīng)該是開放和動態(tài)的，并在此基礎(chǔ)上提出了開放分布式人工智能系統(tǒng)思想，即Agent的動態(tài)交互思想.而后來的研究在協(xié)作求解方面提出了一些Agent協(xié)作模型，比如：聯(lián)合意圖模型、聯(lián)合承諾模型，共同計劃模型等［2］.隨后在對協(xié)作問題的研究中，又將MAS間主要協(xié)作模型分為：黑板模型［18-19］、合同網(wǎng)模型［20］、關(guān)系網(wǎng)模型［21］、熟人模型［22］.之后在此基礎(chǔ)上將Agent協(xié)作與語義技術(shù)相結(jié)合，進一步提出承諾模型［23］的概念.關(guān)于承諾模型的研究也是當(dāng)前Agent協(xié)作領(lǐng)域最新的研究方向之一.

2）從同構(gòu)到異構(gòu)變化.隨著網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，研究適應(yīng)于互聯(lián)網(wǎng)的異構(gòu)Agent技術(shù)和協(xié)作模型逐漸成為MAS領(lǐng)域的熱點［24］.一方面，有關(guān)開放環(huán)境下的Agent語言、交互協(xié)議、體系結(jié)構(gòu)等標(biāo)準和規(guī)范不斷被提出；另一方面，由于Internet的動態(tài)開放等特性，傳統(tǒng)的各種協(xié)作技術(shù)和協(xié)作模型也在進行修改和擴展，使之能適用于互聯(lián)網(wǎng)環(huán)境.與此同時，MAS與其它新興網(wǎng)絡(luò)技術(shù)的密切結(jié)合日益成為一種新的發(fā)展趨勢.語義Web技術(shù)、自治計算技術(shù)、面向服務(wù)的計算技術(shù)、網(wǎng)格計算、P2P計算等新興計算技術(shù)已經(jīng)引起國內(nèi)外學(xué)術(shù)界的廣泛關(guān)注.

在最近幾年里，開放環(huán)境下異構(gòu)Agent協(xié)作發(fā)展趨勢是Agent技術(shù)與語義技術(shù)的結(jié)合［25-28］，目前語義技術(shù)的核心就是使用本體論中的概念、屬性和關(guān)系給出一個機器可理解的明確的規(guī)范說明，從而通過Agent團隊管理和協(xié)作求解來促進和管理異構(gòu)Agent的協(xié)作.而承諾模型［29-31］是異構(gòu)Agent協(xié)作與語義技術(shù)結(jié)合的最具代表性模型之一，也是當(dāng)前異構(gòu)Agent協(xié)作研究的重點.

2012 年，Singh和 Telang［32-34］從語義學(xué)（seman?tics）的角度將目標(biāo)（goal）和承諾（commitment）結(jié)合起來，提出了承諾的生命周期理論，并從語義學(xué)上定義了Agent的目標(biāo)和承諾，同時定義了一系列基于承諾的推理規(guī)則.

2013 年，Meneguzzi［35-36］在 Telang的承諾理論基礎(chǔ)上提出了基于承諾和目標(biāo)的一階線性表達式，并使用 HTN（hierarchical task networks，HTN）來描述如何將一個等級較高的任務(wù)分解成一個個小的、離散的任務(wù)，并生成解決方案的過程.

2014 年，Akin Gunay［37］在結(jié)合 Telang和 Singh關(guān)于Agent承諾研究的基礎(chǔ)上進一步簡化了承諾的生命周期模型，并提出了在開放系統(tǒng)中動態(tài)生成承諾協(xié)議的實現(xiàn)方法.

2015 年 ，Matteo Baldoni［38］在 JaCaMo（一 種Agent程序設(shè)計框架）開發(fā)平臺的基礎(chǔ)上提出了JaCaMo+，并從程序設(shè)計的角度闡述了如何動態(tài)生成Agent承諾和目標(biāo)的過程.

3 多Agent協(xié)作模型比較

3.1 多Agent協(xié)作模型

比較具有代表性的Agent協(xié)作模型主要包括：黑板模型、合同網(wǎng)模型、關(guān)系網(wǎng)模型和熟人模型.后來的很多研究在此基礎(chǔ)上做了補充和擴展，進一步提出承諾模型［39］的概念.

Erman等人在1980年首次提出了黑板模型［40］.基于黑板模型的MAS包括Agent，黑板和網(wǎng)絡(luò)三個部分.黑板是Agent之間交互的中介，Agent通過黑板與其它Agent進行交互并完成協(xié)作過程，而Agent之間的通訊則是靠網(wǎng)絡(luò)實現(xiàn)的，通常是TCP∕IP協(xié)議.其體系結(jié)構(gòu)比較簡單，容易理解，重點是規(guī)范黑板消息格式.黑板模型的不足之處在于結(jié)構(gòu)單一，集中式交互使得黑板開銷過大，交互方式缺乏靈活性.

Davis和R.G Smith提出合同網(wǎng)模型［20］，該模型是協(xié)商模型最典型的代表，其源自于社會生產(chǎn)生活，它仿照企業(yè)合同模式，以滿足全局最大利益為目標(biāo).在合同網(wǎng)中主要包括三種對象：管理者、投標(biāo)者以及合同者.其整個過程類似于工程的招標(biāo)和投標(biāo)行為，管理者首先發(fā)布需求，而若干個有能力完成任務(wù)的Agent成為投標(biāo)者，最終中標(biāo)者將成為合同簽訂者，從而建立簡單的合作關(guān)系.在合同簽訂結(jié)束后簽訂者要向管理者反饋其執(zhí)行結(jié)果，然后管理者進行審查，若審查通過，則給出終止信息，合同網(wǎng)協(xié)議過程便會停止.該模型以及相關(guān)擴展模型［41-43］可解決任務(wù)分配及資源沖突問題.合同網(wǎng)的不足在于以廣播方式招標(biāo)且所有Agent均可投標(biāo)，通信負載大，系統(tǒng)效率不高.

Jennings和 Roda提出熟人模型［44］，這種模型以人類合作習(xí)慣與合作機制為范本，設(shè)計了一個模型表示Agent自身的信息，該方法使用一個熟人模型來專門表示其他Agent的能力和資源方面的信息.若需要確定協(xié)作對象，它首先會先對各熟人活動進行評估，然后從中選擇最適合的合作對象.熟人模型的不足在于增加了在本地建立和維護熟人模型所帶來的系統(tǒng)資源開銷.

陳剛和陳汝玲為解決多Agent系統(tǒng)協(xié)作中通信和資源開銷問題提出了關(guān)系網(wǎng)模型［21］.關(guān)系網(wǎng)模型不需要創(chuàng)建專門的中間協(xié)調(diào)Agent或熟人模型來記錄所有Agent通訊信息，可有效降低系統(tǒng)資源開銷.熟人關(guān)系網(wǎng)中的每一個Agent結(jié)點只需在內(nèi)部創(chuàng)建并維護一個最近訪問頻率較高的熟人通訊錄，限定通訊錄的容量（比如只記錄幾十條熟人信息）.關(guān)系網(wǎng)模型的不足之處在于對個體信息處理和存儲能力的要求很高，且信任度的設(shè)置具有主觀性.

Cohen和 Levesque從意圖（intention）和目標(biāo)（goal）的角度提出了Agent承諾（commitment）的概念［45］.國內(nèi)學(xué)者張偉、石純一則在此基礎(chǔ)上提出Agent的組織承諾和小組承諾［46］，進一步推廣了Jennings和Ferber等人對Agent組織的研究.在上一節(jié)中闡述了Agent承諾機制的基本概念，它是各Agent之間相互協(xié)調(diào)、合作和通訊的必要保證，確保Agent擁有足夠的能力完成它所承諾的任務(wù).Agent對一個意圖應(yīng)該承諾多少既取決于最大期待值，又取決于最小風(fēng)險值.通過比較各Agent的承諾值，選取最合適的Agent對象進行協(xié)作，既保證了任務(wù)完成的可靠性也提高了Agent的使用效率.承諾模型的研究難點在于由任務(wù)本身的不確定以及Agent規(guī)劃過程的不確定導(dǎo)致承諾的不確定性.

3.2 協(xié)作模型的特點及比較

從以上對多Agent協(xié)作機制及相應(yīng)模型的研究中可以看出：一個高效的Agent協(xié)作模型應(yīng)該具有以下5個基本特點：

1）健壯性和容錯性.健壯性是指團隊具有故障弱化的能力，即團隊中某個個體任務(wù)的失敗不會影響整體行為；容錯性是指團隊?wèi)?yīng)具有檢測和彌補這部分失敗的能力.

2）實時反應(yīng)性.復(fù)雜動態(tài)、不確定性的環(huán)境要求Agent能在環(huán)境的動態(tài)變化中進行及時、快速的反應(yīng).

3）靈活性.這里的靈活性包括三個方面：a）協(xié)作模型的適應(yīng)性；b）協(xié)作模型的可重用性；c）協(xié)作模型的可擴展性.

4）持久穩(wěn)定性.許多Agent環(huán)境都要求Agent和Agent團隊具有持久穩(wěn)定性，即它能夠長時間的穩(wěn)定的運行.

5）動態(tài)性和異構(gòu)性.動態(tài)性是指Agent可在動態(tài)、開放環(huán)境下運行；異構(gòu)性是指不同的Agent可以擁有不同的能力或組織結(jié)構(gòu).

如果將Agent性能的量化等級分為5級：極差、較差、一般、較好、極好，則上述5種模型在多Agent協(xié)作模型性能方面的比較如表1所示.

表1 多Agent協(xié)作模型性能比較Tab.1 Comparison of performance of five models in agent collaboration

1）黑板模型：集中式交互導(dǎo)致一旦黑板共享資源發(fā)生未知錯誤，整個Agent系統(tǒng)都會崩潰，健壯性較差.

集中式交互使得各Agent能及時將主體信息發(fā)布到黑板上，實時反應(yīng)性較好.

2）合同網(wǎng)模型：各Agent間通過招標(biāo)-投標(biāo)-中標(biāo)方式協(xié)作，部分Agent故障不會影響全局，健壯性較好.以廣播方式招標(biāo)且所有Agent均可投標(biāo)，導(dǎo)致通信負載大，實時反應(yīng)性較差.

3）熟人模型：使用熟人模型集中對各Agent進行評估，一旦熟人模型評估出現(xiàn)錯誤將影響全局，健壯性較差.采用集中式評估避免通信負載過大，實時反應(yīng)性較好.

4）關(guān)系網(wǎng)模型：分布式管理使得部分Agent關(guān)系異常不會影響整個關(guān)系網(wǎng)，健壯性較好.個體Agent具有信息處理能力，可同時進行多個Agent協(xié)作過程，實時反應(yīng)性較好.

5）承諾模型：通過Agent之間的社會承諾，確保Agent擁有足夠的能力完成它所承諾的任務(wù)，減少任務(wù)失敗率，健壯性較好.以承諾度作為選擇合作Agent的標(biāo)準，提高了Agent使用效率和任務(wù)的完成效率，實時反應(yīng)性較好.

由上述比較可以看出，在健壯性方面，由于承諾模型通過Agent之間相互承諾，確保Agent有能力完成它所承諾的任務(wù)，因而任務(wù)完成率較高，健壯性較好；在反應(yīng)性和靈活性方面，由于承諾模型中，Agent之間可以進行分布式交互，即不需要中央管理器的控制，因此靈活性較好，Agent之間信息交互可以不經(jīng)過中央管理器，因此所占資源較少，實時反應(yīng)性更強；在動態(tài)性和異構(gòu)性方面，當(dāng)外界環(huán)境動態(tài)發(fā)生改變時，各異構(gòu)Agent之間會根據(jù)當(dāng)前環(huán)境動態(tài)生成承諾協(xié)議，即完成整個任務(wù)的所有步驟，在生成的多個承諾協(xié)議中，根據(jù)最大效用值選擇最優(yōu)協(xié)議，并順序執(zhí)行.若當(dāng)前環(huán)境再次發(fā)生改變，則會使已生成的協(xié)議失效，并重新生成新的協(xié)議.由此可以看出承諾模型在異構(gòu)Agent中具有較好的動態(tài)性和自適應(yīng)性.

4 異構(gòu)Agent協(xié)作模型應(yīng)用

異構(gòu)Agent協(xié)作模型具有非常廣泛的應(yīng)用，基于Action的協(xié)作模型主要應(yīng)用在仿真機器人領(lǐng)域［47］；基于學(xué)習(xí)和規(guī)劃的協(xié)作模型可以應(yīng)用在金融學(xué)、生物學(xué)、數(shù)學(xué)、自動化等協(xié)作決策領(lǐng)域［48］以及虛擬現(xiàn)實領(lǐng)域［49］中.

4.1 異構(gòu)模型在智能足球機器人中的應(yīng)用

制造和訓(xùn)練機器人使其仿照人類進行足球比賽，是當(dāng)前人工智能和機器人領(lǐng)域研究熱點之一［47］.比賽通常是在仿真環(huán)境下進行，而仿真平臺的設(shè)計充分體現(xiàn)了智能機器人在通訊、傳感等方面的限制，以及環(huán)境的開放性與不確定性.

在2D仿真機器人組中，足球比賽是在仿真環(huán)境下完成.其中包括Agent之間交互、協(xié)商、合作、實時規(guī)劃與決策的過程.在仿真機器人球隊中主要有兩種類型的Agent，即守門員Agent和球員Agent.由于各自分配的任務(wù)不同，它們的功能也不相同，因而整個協(xié)作過程就是異構(gòu)多Agent協(xié)作、決策、規(guī)劃的動態(tài)過程.當(dāng)前的機器人仿真組具有以下幾個特點：

1）復(fù)雜性.隊員沒有完整的外界環(huán)境信息；

2）不確定性.有一定幾率會發(fā)生隊員執(zhí)行任務(wù)失敗的情況；

3）動態(tài)性.每一個隊員可以獨立行動，而且對手可以隨時出現(xiàn)或消失；

4）對抗性.對手的存在意味著在執(zhí)行任務(wù)時會受到更多的阻礙；

5）不可靠通信環(huán)境.由于低帶寬所造成的通訊延遲或中斷，導(dǎo)致比賽過程受阻.

從上述特點可以看出，機器人足球是一個相對復(fù)雜的領(lǐng)域，它需要Agent之間能夠?qū)崟r交互和協(xié)作，動態(tài)規(guī)劃和實時決策，進而克服復(fù)雜的，動態(tài)的，不確定的環(huán)境影響，以及通訊和傳感等方面的限制.

4.2 異構(gòu)模型在市場投資決策中的應(yīng)用

市場決策Agent［48］是用于模擬市場運行機制、拍賣策略以及供給產(chǎn)業(yè)鏈管理等的一種概念模型，可有效協(xié)助人類進行智能決策.這種Agent協(xié)作過程與同構(gòu)Agent協(xié)作不同，因為它產(chǎn)生貿(mào)易信息的方式通常是由多個異構(gòu)Agent實現(xiàn)的.在整個市場投資協(xié)同決策中，主要有兩類Agent，一類是自演化決策Agent，另一類是協(xié)作決策Agent.

自演化Agent擁有自優(yōu)化的計算能力，它們能基于當(dāng)前給定的最優(yōu)化目標(biāo)尋找最優(yōu)策略.整個搜索過程包括發(fā)出最優(yōu)化請求，創(chuàng)建候選決策，評估候選決策，候選決策間的交互，改變候選決策，重新評估候選決策和最優(yōu)化決策的過濾.

協(xié)作Agent在整個任務(wù)求解過程中用于與自演化Agent協(xié)商和協(xié)調(diào)以尋找局部最優(yōu)決策.在必要條件下協(xié)作Agent會和自演化Agent團體協(xié)商多個回合以尋找每個自演化Agent的局部最優(yōu)化決策，接下來將這些局部最優(yōu)決策整合生成一個全局最優(yōu)目標(biāo).

協(xié)同決策系統(tǒng)多用于股票投資市場，通過收集多個股票市場近幾年股票價格的走勢以及在每個交易點用戶做過的最佳決策，對自演化Agent進行最優(yōu)化訓(xùn)練.比如，收集近5年的股市信息，其中3年用于Agent自演化訓(xùn)練，另外兩年用于測試Agent自演化訓(xùn)練的結(jié)果.整個決策過程包括：

1）數(shù)據(jù)管理Agent準備測試數(shù)據(jù)，一部分用于Agent自演化過程，另一部分則用于自演化結(jié)果的測試.

2）自演化Agent尋找自身局部最優(yōu)決策，保存在自己知識庫中，同時過濾掉相對較差的決策.這個過程是一直迭代進行的，既發(fā)生在演化學(xué)習(xí)階段，也發(fā)生在測試階段.

3）協(xié)作Agent提取每個自演化Agent存儲的最優(yōu)化決策，整合生成一個全局最優(yōu)決策，最終做出合理投資決策.

4.3 異構(gòu)模型在虛擬團隊訓(xùn)練中的應(yīng)用

在現(xiàn)實生活中，團隊任務(wù)無處不在，復(fù)雜的任務(wù)通常需要多個不同角色協(xié)作來完成［49］.每一個角色必須能夠熟悉自己的任務(wù)、職責(zé)并且學(xué)習(xí)如何在團隊中和隊友進行協(xié)調(diào).然而由于訓(xùn)練設(shè)備在通常情況下很難獲得或者代價昂貴等問題，這種訓(xùn)練條件往往難以達到，因此虛擬團隊訓(xùn)練產(chǎn)生了.它通過虛擬現(xiàn)實技術(shù)，創(chuàng)造出一個3D的，虛擬訓(xùn)練者與被訓(xùn)練者之間交互的仿真環(huán)境.而異構(gòu)模型就被應(yīng)用到這個仿真環(huán)境中，通過Agent與受訓(xùn)者之間的交互，保證受訓(xùn)者的學(xué)習(xí)效率并控制學(xué)習(xí)成本.

在仿真環(huán)境下，虛擬團隊由Agent和受訓(xùn)者組成.在團隊中每一個成員都會被分配給一個特定的角色，當(dāng)然也包括Agent在內(nèi)，每一個受訓(xùn)者都會分配一個Agent訓(xùn)練者.通過在虛擬環(huán)境下Agent充當(dāng)訓(xùn)練者的過程，可以在缺少真人教練的情況下對受訓(xùn)者進行仿真訓(xùn)練.整個虛擬環(huán)境具有開放性、動態(tài)性的特點，訓(xùn)練者與Agent之間也會進行人機交互，而其中環(huán)境的變化，人對Agent做出動作的不確定性，都會使整個環(huán)境的狀態(tài)變得無法預(yù)測.因此虛擬訓(xùn)練向Agent協(xié)作研究提出新要求，即如何在動態(tài)、未知環(huán)境下，實現(xiàn)人機之間友好交互，并能實時處理突發(fā)情況.

5 結(jié) 語

多Agent系統(tǒng)（MAS）是分布式人工智能領(lǐng)域一個熱門的研究方向，其理論研究和相關(guān)技術(shù)在社會各個領(lǐng)域得到廣泛應(yīng)用.在異構(gòu)Agent系統(tǒng)應(yīng)用中，面對復(fù)雜、動態(tài)變化的網(wǎng)絡(luò)和社會環(huán)境，如何構(gòu)建高效、靈活、反應(yīng)速度快的協(xié)作模型，是多Agent協(xié)作系統(tǒng)必須解決的難點問題.

在分析異構(gòu)Agent協(xié)作的研究背景及國內(nèi)外研究現(xiàn)狀的基礎(chǔ)上，對異構(gòu)Agent理論和協(xié)作機制分別進行了概述.在介紹Agent協(xié)作框架的基礎(chǔ)上，總結(jié)了當(dāng)前最具代表性的幾種Agent協(xié)作模型，闡述其特點并進行對比，突出了承諾模型在異構(gòu)Agent協(xié)作性能中的優(yōu)勢.最后介紹了Agent協(xié)作模型在不同領(lǐng)域的應(yīng)用，并提出當(dāng)前承諾模型的不足與改進方向.

在當(dāng)前異構(gòu)Agent協(xié)作的研究中，環(huán)境的開放性和不確定性是構(gòu)建協(xié)作模型的難題，因此，需要一種能將這種不確定信息考慮進去的表示方法.Agent承諾模型能夠較好解決由于環(huán)境不確定導(dǎo)致任務(wù)完成率不高以及Agent異構(gòu)等問題［50-51］.

然而，目前關(guān)于Agent承諾的生成大多停留在手工預(yù)設(shè)和創(chuàng)建階段［52-53］.這種創(chuàng)建模式有以下不足：1）Agent發(fā)生改變.在開放系統(tǒng)中，新的Agent隨時可能進入系統(tǒng)，不能保證新的Agent會使用該系統(tǒng)中原有Agent使用的協(xié)議；2）環(huán)境發(fā)生改變.當(dāng)環(huán)境發(fā)生改變時，某些原有的Agent服務(wù)可能無法執(zhí)行，從而導(dǎo)致當(dāng)前Agent承諾協(xié)議失效；3）Agent的優(yōu)先項發(fā)生改變.由于Agent自身資源占用問題，可能會出現(xiàn)暫時資源不足無法完成任務(wù)的情形，這時原有的承諾協(xié)議便失去作用，因此如何在開放環(huán)境下動態(tài)地生成Agent承諾是一個亟待解決的問題.

［1］HOEK W V D，WOOLDRIDGE M.Model checking cooperation，knowledge and time——a case study［J］.Research in Economics，2003，57（3）：235-265.

［2］黃麗麗.基于多Agent的智能生存空間異構(gòu)協(xié)作研究［D］.北京：北京交通大學(xué)，2014.

［3］李靜，陳兆乾，陳世福，等.多Agent Teamwork研究綜述［J］. 計算機研究與發(fā)展，2004，40（3）：422-429.LI J，CHEN Z Q，CHEN S F，et al.Survey of multiple agents teamwork［J］.Journal of Computer Research and Development，2004，40（3）：422-429.

［4］IBM.UPMC takes health care delivery to new levels with dynamic infrastructure ［EB∕OL］（2012-09-05）［2015-05-06］. https：∕∕www-03.ibm.com∕press∕us∕en∕pressrelease∕38722.wss.

［5］CAO L，LUO D,ZHENG X Y.Agent collaboration for multiple trading strategy integration［C］∕∕KES-AMSTA.Second Kes International Symposium.Incheon:ACM Press，2008：361-370.

［6］WOOLDRIDGE M，JENNINGS N R.Intelligent agents：theory and practice ［J］. Knowledge Engineering Review，1994，10（2）：115-152.

［7］張斯亮.MAS中各Agent之間的沖突與協(xié)調(diào)［J］.計算機科學(xué)，2004，31（10）：264-266.ZHANG S L.The conflict and cooperation of individual agents in MAS［J］.Computer Science，2004，31（10）：264-266.

［8］STONE P，VELOSO M.Multi-agent systems：a survey from a machine learning perspective［J］.Autonomous Robots，2000，8（3）：345-383.

［9］徐衛(wèi)濱.多Agent系統(tǒng)中Agent承諾的研究［J］.科技情報開發(fā)與經(jīng)濟，2008，18（18）：125-126.XU W B.The research on the commitment in the multi-agent system ［J］. Sci-tech Information Development and Economy，2008，18（18）：125-126.

［10］賈利民，劉剛，秦勇.基于智能Agent的動態(tài)協(xié)作任務(wù)求解［M］.1版.北京：北京科學(xué)出版社，2007.

［11］段領(lǐng)玉.基于博弈論的多Agent協(xié)作研究［D］.新鄉(xiāng)：河南師范大學(xué)，2015.

［12］RIEDMILLER M，GABEL T.Brainstormers 2D——team description［C］∕∕RSWC.Ninth Robot Soccer World Cup.Berlin：Springer Press,2005：17-26.

［13］劉榮.多Agent協(xié)作機制的研究與應(yīng)用［D］.南京：南京航空航天大學(xué)，2012.

［14］竇立謙.多Agent協(xié)作與協(xié)調(diào)的研究［D］.天津：天津大學(xué)，2005.

［15］GROSE B.Collaborative system［M］.1st ed.Palo Alto：AAAI Press，1996.

［16］ROSENSCHEIN J S.Rational interaction：cooperation among intelligent agents［D］.San Francisco：Stanford University，1986.

［17］HEWITT C，INMAN J.DAI betwixt and between：from“intelligentagents” to open systems science［J］.Systems Man&Cybernetics IEEE Transactions on，1991，21（6）：1409-1419.

［18］NII H P.Blackboard systems：the blackboard and model of problem solving and the evolution of blackboard architectures［J］.AI Magazine，1986，7（2）：38-53.

［19］GILMORE J F.Implementation of a generic blackboard architecture［J］.Applications of Artificial Intelligence，1987，786（5）：116-124.

［20］SMITH R G.The contract net protocol：high-level communication and control in a distributed problem solver［J］.IEEE Transactions on Computers，1980，29（12）：1104-1113.

［21］陳剛，陸汝玲.關(guān)系網(wǎng)模型——基于社會合作機制的多Agent協(xié)作組織方法［J］.計算機研究與發(fā)展，2003，40（1）：107-114.CHEN G，LU R L.The relation web model——an organizational approach to agent cooperation based on social mechanism［J］.Journal of Computer Research and Development，2003，40（1）：107-114.

［22］袁源，慕德俊，戴冠中.基于熟人模型的移動Agent安全機制研究［J］.微處理機，2012，33（1）：37-39.YUAN Y，MU D J，DAI G Z.Mobile agent security based on acquaintance model［J］.Microprocessors，2012，33（1）：37-39.

［23］莫思敏，譚瑛，曾建潮.基于承諾度的尋找合作Agent的方法［J］.計算機科學(xué)與工程，2006，28（5）：91-93.MO S M，TAN Y，ZENG J C.A method of finding cooperative agents based on the degree of commitment［J］.Computer Engineering and Science，2006，28（5）：91-93.

［24］劉芳.基于過程本體的異質(zhì)Agent協(xié)作技術(shù)研究［D］.長沙：國防科技大學(xué)，2006.

［25］WINIKOFF M.Implementing flexible and robust agent interactions using distributed commitment machines［J］.Multiagent and Grid Systems，2006，2（4）：365–381.

［26］YOLUM P.Design time analysis of multiagent protocols［J］.Data and Knowledge Engineering，2007，63（1）：137-154.

［27］GERARD S N,SINGH M P.Evolving protocols and agents in multiagent systems ［C］∕∕ AAMAS.Proceedings of2013 InternationalConference on Autonomous Agent and Multi-Agent Systems.New York:ACM Press，2013：997-1004.

［28］TELANG P R，MENEGUZZIF，SINGH M P.Hierarchical planning about goals and commitments［C］∕∕AAMAS.Proceedingsof2013 InternationalConference on Autonomous Agent and Multi-Agent Systems.New York:ACM Press，2013：877-884.

［29］YOLUM P，SINGH M P.Reasoning about commitments in the event calculus：an approach for specifying and executing protocols［J］.Annals of Mathematics&Artificial Intelligence，2004，42（1∕2∕3）：227-253.

［30］TORRONI P，CHESANI F，GAVANELLI M，et al.A computational logic application frame work for service discovery and contracting［J］.International Journal of Web Services Research，2011，8（3）：1-25.

［31］PHAM D Q,HARLAND J.Temporal linear logic as a basis for flexible agent interactions［C］∕∕AAMAS.Proceedings of the 2007 International Joint Conference on Autonomous Agents and Multi-Agent Systems.New York:ACM Press,2007：1-8.

［32］SINGH M P.Trust as dependence:a logical approach［C］∕∕AAMAS.Proceedings of the 2011 International Joint Conference on Autonomous Agents and Multi-Agent Systems.New York:ACM Press，2011:863-870.

［33］TEACY W T L，PATEL J，JENNINGS N R，et al.TRAVOS：Trust and reputation in the context of inaccurate information sources ［J］. Autonomous AgentsandMulti-agentSystems，2006，12（2）：183-198.

［34］TELANG P R， SINGH M P.Comma:a commitment-based business modeling methodology and its empirical evaluation ［C］∕∕ AAMAS.Proceedings of the 2012 International Joint Conference on Autonomous Agents and Multi-agent Systems.New York:ACM Press,2012:1073-1080.

［35］TELANG P R， SINGH M P， YORKESMITH N.Relating goal and commitment semantics ［J］.International Conference on Programming Multi-Agent Systems，2011，7217（1）：22-37.

［36］MENEGUZZI F,TELANG P R,SINGH M P.A first-order formalization of commitments and goals for planning［C］∕∕AAAI.Twenty-seventh Conference on Artificial Intelligence.New York:ACM Press，2013：697-703.

［37］GUNAY A，WINIKOFF M，YOLUM P.Dynamically generated commitment protocols in open systems［J］.Auton Agent Multi-Agent System，2015，29（2）：192-229.

［38］MATTEO B.Programming with commitments and goals in JaCaMo+［D］.Piedmont：Università di Torino，2015.

［39］楊靈利.多Agent系統(tǒng)交互協(xié)作的研究與建模［D］.沈陽：沈陽師范大學(xué)，2013.

［40］ERMAN L D,HAYESROTH F,LESSER V R,et al.The Hearsay-II speech understanding system［J］.The Journal of the Acoustical Society of America，1976，60(11):11-23.

［41］BIETHAH N J,HUMMELTENBERG W,SCHMIDT B,et al.Multi-agent system negotiation based on contract netprotocolresearch ［C］∕∕ NLP-KE.The 2005 International Conference on Natural Language Processing.Piscataway:IEEE Press，2005:472-478.

［42］YUN H，LI Q，JIANG D,et al.A contract net protocol based on information intermediary service in multi-agent system［C］∕∕AICI.The 2009 International Conference on Artificial Intelligence and Computational Intelligence.Piscataway：IEEE Press,2009:19-23.

［43］ZHOU Z，CHENG S，LIU Q.A novel contract net negotiation model based on trust mechanism［C］∕∕ICCIS.The 2008 Conference on Cybernetics and Intelligent Systems.Piscataway:IEEE Press,2008:884-887.

［44］RODA C，JENNINGS N R，MAMDANI E H，et al.The impact of heterogeneity on cooperating agents［J］.History of Neuroscience，1991，42（1）：556-561.

［45］COHEN P R，LEVESQUE H J.Intention is choice with commitment［J］. Artificial Intelligence，1990， 42（2∕3）：213-261.

［46］張偉，石純一.Agent的組織承諾和小組承諾［J］.軟件學(xué)報，2003，14（3）：473-478.ZHANG W，SHI C Y.Agent organization commitment and group commitment［J］.Journal of Software，2003，14（3）：473-478.

［47］盧振利，田鎧，劉叔軍，等.足球機器人交互規(guī)則控制系統(tǒng)設(shè)計［J］.計算機仿真，2015，32（5）：368-373.LU Z L，TIAN K，LIU S J，et al.The rules of soccer robot interaction control system design［J］.Computer Simulation，2015，32（5）：368-373.

［48］PLAZA E，ONTANON S.Learningcollaboration strategies for committees oflearning agents［J］.Autonomous Agents and Multi-Agent Systems，2006，13（3）：429-461.

［49］蔡林沁，梅濤，孫怡寧.用于決策訓(xùn)練的虛擬人行為認知模型研究［J］.系統(tǒng)仿真學(xué)報，2008，20（2）：368-371.CAI L Q，MEI T，SUN Y N.Research on behavior and cognition models of virtual human for decision training［J］.Journal of System Simulation，2008，20（2）：368-371.

［50］OSAWA E I.A scheme for agent collaboration in open multiagent environments［C］∕∕AAAI.Proceedings of the 1993 International Joint Conference on Artificial Intelligence.New York：ACM Press，1993：352-358.

［51］ANGELOPOULOS K,AYDEMIR F B,GIORGINI P,etal.Solving the nextadaptation problem with prometheus ［C］∕∕ RCIS. Tenth International Conference on Research Challenges in Information Science.Piscataway：IEEE Press,2016:1-10.

［52］ZAHARIJA G，MLADENOVIC S，MALES L.Unibot，a universal agent architecture for robots［J］.Journal of Computing and Information Technology， 2017，25（1）：31-45.

［53］MALIAH S， SHANI G， STERN R.Collaborative privacy preserving multi-agent planning planners and heuristics［J］. Auton AgentMulti-AgentSystem，2017，31（1）：493-530.

本文編輯：陳小平

Progress in Heterogeneous Agent Collaboration

WANG Jing，LIU Wei*，WU Kun，LI Shuang
School of Computer Science and Engineering，Wuhan Institute of Technology，Wuhan 430205，China

To begin with，we summarized the multi-agent theories and collaborative mechanisms based on analyzing the background and current situation of agent collaboration research.Then，after the study of agent collaborative framework，we analyzed some most representative collaboration models，such as blackboard model，contract model，acquaintance model，relation web model and commitment model，illustrating and comparing their characteristics in the aspects of dynamic，heterogeneity，reaction and flexibility to reflect the advantages of commitment model.Finally，we introduced the application of agent collaborative models in the fields of artificial soccer robots，integrating decision and virtual training.By comparing different collaboration models and describing their applications，we presented the advantages of commitment model in the aspects of dynamics，flexibility and reaction and tried to improve the current agent commitment model and proposed the improvement direction of the model.

multi-agent system；heterogeneous；collaboration；mechanism；framework；model

TP311

A

10.3969∕j.issn.1674?2869.2017.04.012

2017-05-22

國家自然科學(xué)基金（61502355）；國家測繪局測繪地理信息公益性行業(yè)科研專項（201412014）；武漢工程大學(xué)科學(xué)研究基金（K201475）

王 晶，碩士研究生.E-mail：878376339@qq.com

*通訊作者：劉 瑋，博士，副教授.E-mail：liuwei@wit.edu.cn

王晶，劉瑋，吳坤，等.異構(gòu)Agent協(xié)作的研究進展［J］.武漢工程大學(xué)學(xué)報，2017，39（4）：378-386.

WANG J，LIU W，WU K，et al.Progress in heterogeneous agent collaboration［J］.Journal of Wuhan Institute of Technology，2017，39（4）：378-386.

1674-2869（2017）04-0378-09