考慮量化的多智能體系統(tǒng)數(shù)據(jù)驅(qū)動(dòng)雙向一致性控制

趙華榮 彭 力 于洪年 沈奕宏

(1.江南大學(xué)物聯(lián)網(wǎng)應(yīng)用技術(shù)教育部工程中心,江蘇無(wú)錫 214122;2.無(wú)錫太湖學(xué)院江蘇省物聯(lián)網(wǎng)應(yīng)用技術(shù)重點(diǎn)建設(shè)實(shí)驗(yàn)室,江蘇無(wú)錫 214064;3.愛(ài)丁堡龍比亞大學(xué)工程與建筑環(huán)境學(xué)院,英國(guó)愛(ài)丁堡EH10 5DT)

1 引言

自從20世紀(jì)80年代以來(lái),多智能體系統(tǒng)技術(shù)一直備受研究者們的青睞,并廣泛地運(yùn)用在智能交通,衛(wèi)星編隊(duì),無(wú)人機(jī)編隊(duì)等等,目前也是人工智能領(lǐng)域中的一個(gè)重點(diǎn)研究課題[1-3].多智能體系統(tǒng)一般包含多個(gè)簡(jiǎn)單的智能體,它們?nèi)缤粋€(gè)聯(lián)邦,依靠通訊網(wǎng)絡(luò)進(jìn)行相互協(xié)調(diào),以實(shí)現(xiàn)協(xié)同控制.其中,一致性控制是協(xié)同控制領(lǐng)域中的核心問(wèn)題[4],主要是針對(duì)不同的被控對(duì)象和運(yùn)行環(huán)境設(shè)計(jì)相應(yīng)的控制協(xié)議,以使聯(lián)邦中所有智能體最終實(shí)現(xiàn)相同的目標(biāo).

目前學(xué)者們對(duì)于一致性控制,已經(jīng)提出了許多優(yōu)異的控制算法[1-4],然而眾多的研究成果,均是假設(shè)智能體之間僅存在合作關(guān)系,而忽視了競(jìng)爭(zhēng)或者敵對(duì)關(guān)系.其實(shí),萬(wàn)物之間的合作關(guān)系和競(jìng)爭(zhēng)關(guān)系是相伴相隨的.從而智能體之間,若只考慮合作,而否定競(jìng)爭(zhēng),那是一種非充分的考慮,這兩種關(guān)系首次在文獻(xiàn)[5]中進(jìn)行了研究,并提出了一種雙向一致性概念.此成果迅速地受到了學(xué)者們的關(guān)注,并開(kāi)始了相關(guān)的探究.文獻(xiàn)[6]研究了高階多智能體系統(tǒng)中匹配不確定性和智能體之間的拮抗作用,設(shè)計(jì)了一種魯棒性雙向一致性控制策略.文獻(xiàn)[7]研究了智能體之間的有限通訊帶寬,以及能耗問(wèn)題,提出了一種事件觸發(fā)預(yù)定時(shí)間雙向一致性控制方法.文獻(xiàn)[8]研究了混雜脈沖信號(hào)下二階非線性多智能體系統(tǒng)的雙向編隊(duì)控制問(wèn)題,并結(jié)合了狀態(tài)反饋控制器與脈沖控制器的特性,提出了一種預(yù)定性能雙向編隊(duì)控制算法.

在實(shí)際應(yīng)用中,多智能體系統(tǒng)的通訊主要通過(guò)電纜、無(wú)線收發(fā)裝置等有限帶寬網(wǎng)絡(luò)進(jìn)行連接,以數(shù)字化的形式進(jìn)行信號(hào)的傳輸,但由于工業(yè)使用的處理器,其計(jì)算精度有限,以及大規(guī)模智能體系統(tǒng)通訊存在巨大的通訊負(fù)擔(dān)等問(wèn)題.信息量化是一種解決該類(lèi)問(wèn)題的有效方法,該方法主要分為靜態(tài)量化和動(dòng)態(tài)量化.動(dòng)態(tài)量化雖然可以有效的增加吸引域,且具有較強(qiáng)的靈活性,但目前該類(lèi)研究方法缺乏嚴(yán)謹(jǐn)?shù)囊?guī)范,且其控制器的控制性能弱[9].文獻(xiàn)[9]針對(duì)一類(lèi)有界丟包網(wǎng)絡(luò)控制系統(tǒng)的保成本控制問(wèn)題,提出了一種包含了量化反饋的動(dòng)力學(xué)模型和相應(yīng)的保成本控制器.文獻(xiàn)[10]研究了一種自適應(yīng)回環(huán)控制方法來(lái)解決多智能體系統(tǒng)中的模型不確定性和輸入信號(hào)量化等問(wèn)題.文獻(xiàn)[11]研究了一種適應(yīng)于隨機(jī)非線性非仿射多智能體系統(tǒng)的事件觸發(fā)模糊自適應(yīng)量化控制算法.文獻(xiàn)[12]針對(duì)網(wǎng)絡(luò)機(jī)器人系統(tǒng)中存在量化問(wèn)題提出了一種雙向一致性控制算法.

另一方面,上述眾多的一致性或雙向一致性研究成果都是立足于可以獲得多智能體系統(tǒng)精確的動(dòng)力學(xué)模型,而鮮有成果是針對(duì)于無(wú)法獲得動(dòng)力學(xué)模型的多智能體系統(tǒng)進(jìn)行研究.眾所周知,對(duì)于非線性多智能體系統(tǒng)建立精確的數(shù)學(xué)模型,存在著巨大挑戰(zhàn),而且成本高,從而有許多學(xué)者開(kāi)始尋求,以數(shù)據(jù)驅(qū)動(dòng)的方法來(lái)實(shí)現(xiàn)多智能體系統(tǒng)的協(xié)同控制.其中,有學(xué)者提出了一種無(wú)模型自適應(yīng)控制(model-free adaptive control,MFAC)方法,該控制方法對(duì)于動(dòng)力學(xué)模型無(wú)法獲得的非線性系統(tǒng)有著良好的控制性能,已在工業(yè)過(guò)程控制、電機(jī)調(diào)速、風(fēng)力發(fā)電、自動(dòng)泊車(chē)等領(lǐng)域得到了廣泛應(yīng)用[13-15].MFAC方法是一種在線學(xué)習(xí)策略,其核心思想是通過(guò)被控對(duì)象的輸入輸出數(shù)據(jù)在線地獲得一系列的輸入輸出關(guān)系,利用所有的輸入輸出關(guān)系來(lái)對(duì)未知?jiǎng)恿W(xué)模型的被控對(duì)象,進(jìn)行無(wú)模型自適應(yīng)控制[16].文獻(xiàn)[17]在MFAC的基本框架下,進(jìn)行了算法擴(kuò)展和相應(yīng)的穩(wěn)定性分析,使得該框架可以較好地適用于未知模型多智能體系統(tǒng)的一致性控制.文獻(xiàn)[18]進(jìn)一步在文獻(xiàn)[17]的基礎(chǔ)上引入了一個(gè)新的維度,系統(tǒng)可以在這個(gè)維度上進(jìn)行迭代學(xué)習(xí),以實(shí)現(xiàn)初始誤差為零的周期性控制.受文獻(xiàn)[17-18]的啟發(fā),文獻(xiàn)[19-20]中,分別提出了一種針對(duì)多智能體系統(tǒng)在不同運(yùn)行環(huán)境中的數(shù)據(jù)驅(qū)動(dòng)雙向一致性控制算法.

本文針對(duì)未知?jiǎng)恿W(xué)模型非線性離散時(shí)間多智能體系統(tǒng)中通訊負(fù)擔(dān)大,工業(yè)生產(chǎn)過(guò)程中處理器的處理精度低,以及智能體之間存在相互競(jìng)爭(zhēng)等問(wèn)題進(jìn)行了研究.根據(jù)緊湊形動(dòng)態(tài)線性化(compact form dynamic linearization,CFDL)方法處理被控對(duì)象的輸入輸出數(shù)據(jù),以獲得智能體的線性時(shí)變數(shù)據(jù)模型,并基于該數(shù)據(jù)模型,考慮了如文獻(xiàn)[21]中所使用的對(duì)數(shù)量化器,引用了文獻(xiàn)[22]中使用的扇形界算法,設(shè)計(jì)了一種數(shù)據(jù)驅(qū)動(dòng)的分布式雙向一致性控制算法.該方法在設(shè)計(jì)過(guò)程中無(wú)需多智能體系統(tǒng)的任何模型信息和先驗(yàn)知識(shí),僅依賴該被控系統(tǒng)的輸入輸出信息.相比于已有的無(wú)模型自適應(yīng)控制算法,該算法不但考慮了多智能體之間的合作競(jìng)爭(zhēng)關(guān)系,而且直接利用存在量化的輸入輸出數(shù)據(jù)來(lái)更新控制協(xié)議的參數(shù),然而卻仍可以實(shí)現(xiàn)零誤差的雙向一致性跟蹤控制.

2 預(yù)備知識(shí)與問(wèn)題描述

2.1 代數(shù)圖論基礎(chǔ)

多智能體系統(tǒng)一般依靠通信網(wǎng)絡(luò)、感知網(wǎng)絡(luò)等進(jìn)行信息分享.對(duì)于這種通訊模式,在理論研究過(guò)程中,通常采用代數(shù)圖論來(lái)進(jìn)行分析.對(duì)于由1個(gè)虛擬領(lǐng)導(dǎo)者和N個(gè)跟隨者所構(gòu)成的多智能體系統(tǒng),可將每個(gè)智能體抽象為一個(gè)節(jié)點(diǎn),其通訊拓?fù)錇槠渲?/p>

以及A=[aij]∈RN×N.一般為有向圖,且是強(qiáng)連通圖,即存在一個(gè)以虛擬領(lǐng)導(dǎo)者0為根節(jié)點(diǎn)的有向生成樹(shù).aij ∈{-1,0,1}表示節(jié)點(diǎn)i與節(jié)點(diǎn)j之間的權(quán)重.E中的元素(i,j)表示節(jié)點(diǎn)i,j是相鄰節(jié)點(diǎn),且之間存在一條有向的通訊通道,信號(hào)可以單向的從節(jié)點(diǎn)i傳送到節(jié)點(diǎn)j.此時(shí),利用節(jié)點(diǎn)i,j之間的權(quán)重aij的正負(fù)值,來(lái)描述兩相鄰節(jié)點(diǎn)之間的相互作用關(guān)系.若aij=1,則表示兩相鄰節(jié)點(diǎn)之間是合作關(guān)系;若aij=-1,則代表兩相鄰節(jié)點(diǎn)之間是競(jìng)爭(zhēng)關(guān)系;若兩節(jié)點(diǎn)不相鄰,則aij=0.通常利用Ni={j ∈V|(j,i)∈E}來(lái)表示節(jié)點(diǎn)i的所有鄰接節(jié)點(diǎn)集,利用di=來(lái)表示節(jié)點(diǎn)i的入度,所有相應(yīng)節(jié)點(diǎn)的入度可以表示為D=diag{d1,d2,···,dN}.圖的拉普拉斯矩陣表示為L(zhǎng)=D-A.為了方便分析節(jié)點(diǎn)之間的合作競(jìng)爭(zhēng)關(guān)系,這里將所有節(jié)點(diǎn)分成兩個(gè)子集V1和V2,其中V=V1∪V2且V1∩V2=?.若節(jié)點(diǎn)i和j在同一個(gè)子集內(nèi),那么這兩個(gè)節(jié)點(diǎn)為合作關(guān)系,否則為競(jìng)爭(zhēng)關(guān)系.此外,利用bi ∈{0,1}表示虛擬領(lǐng)導(dǎo)者和跟隨者之間的通訊權(quán)重.若智能體i和虛擬領(lǐng)導(dǎo)者能直接通訊,則bi=1,否則bi=0.因此,可以利用對(duì)角矩陣B=diag{b1,b2,···,bN}來(lái)表示虛擬領(lǐng)導(dǎo)者和所有跟隨者之間的通訊關(guān)系.

2.2 模型構(gòu)造

本文研究一類(lèi)由N個(gè)單輸入單輸出非線性離散時(shí)間系統(tǒng)構(gòu)成的多智能體系統(tǒng),其中智能體i的輸入輸出關(guān)系為

式中:yi(k)和ui(k)均是實(shí)數(shù),分別表示智能體i的控制輸入和控制輸出,fi(·)表示輸入輸出之間的一種未知的非線性關(guān)系,而i=1,2,···,N.此外,定義y0(k)為虛擬領(lǐng)導(dǎo)者的輸出,用有向圖ˉG中的節(jié)點(diǎn)0表示,和A分別代表相應(yīng)的邊集和鄰接矩陣.

假設(shè)1[15-18]fi(·)是關(guān)于ui(k)的一個(gè)連續(xù)可微非線性函數(shù).

假設(shè)2[17-18]智能體的輸入輸出關(guān)系(1)滿足廣義的利普席茨連續(xù)條件,即存在一個(gè)常數(shù)r使得

引理1[17-18]若智能體的輸入輸出關(guān)系(1)滿足假設(shè)1-2,那么該關(guān)系可由如下所示的緊湊形式動(dòng)態(tài)線性化數(shù)據(jù)模型來(lái)表示:

其中:|Γi(k)|≤r,r是一個(gè)由具體被控系統(tǒng)所決定的正實(shí)數(shù),Γi(k)是根據(jù)輸入輸出實(shí)時(shí)變化的偽偏導(dǎo)數(shù).

定義如下分布式雙向一致性組合測(cè)量誤差:

其中:若智能體i可以直接與虛擬領(lǐng)導(dǎo)者0通訊,則bi=1,否則bi=0.令ei(k)=siy0(k)-yi(k)表示跟蹤誤差,其中,若i ∈V1,則si=1;若i ∈V2,則si=-1.

假設(shè)3圖ˉG是強(qiáng)連通圖,即所研究的多智能體系統(tǒng)中,所有的智能體都可以直接或間接的與虛擬領(lǐng)導(dǎo)者進(jìn)行信息交流.

假設(shè)4等式(2)中有Γi(k)>0或Γi(k)<0.本文假設(shè)Γi(k)>0.相似的假設(shè)可見(jiàn)文獻(xiàn)[17-19].

本文中,假設(shè)系統(tǒng)的輸出測(cè)量信號(hào)和跟蹤誤差信號(hào),在傳送給控制器之前,需要被量化.在已有的研究中,如文獻(xiàn)[12,21,23],通常選擇如下對(duì)數(shù)類(lèi)型量化器:

3 量化數(shù)據(jù)驅(qū)動(dòng)的雙向一致性控制

為了解決通訊過(guò)程中硬件設(shè)備通訊帶寬有限,以及工業(yè)處理器的計(jì)算精度有限等問(wèn)題,本文提出了以下量化數(shù)據(jù)驅(qū)動(dòng)雙向一致性控制算法:

注1根據(jù)式(4)-(5),可得出本文所設(shè)計(jì)的量化數(shù)據(jù)驅(qū)動(dòng)雙向一致性控制協(xié)議,可以直接利用量化后的數(shù)據(jù)進(jìn)行控制協(xié)議的更新.因此,相比于已有的控制方法[17-20],該控制方法所需的數(shù)據(jù)精度低,從而有利于減少計(jì)算負(fù)擔(dān),提高執(zhí)行速率,節(jié)省計(jì)算資源.

引理2[24]若T(k)代表時(shí)變不可約束的亞隨機(jī)矩陣,其對(duì)角元素均為正數(shù),并用T代表T(k)的集合,那么可以得到以下不等式:

其中:0<β <1,T(Q)∈T,Q是一個(gè)有界的常數(shù).

定理1當(dāng)被控多智能體系統(tǒng)的輸入輸出關(guān)系(1)滿足假設(shè)1-2和假設(shè)4,且其通信拓?fù)湓跐M足假設(shè)3的情況下,若λ>λmin≥>0,且ρi滿足

注2本文中根據(jù)分布式控制和雙向一致性的需求,設(shè)計(jì)了式(3)將雙向一致性問(wèn)題轉(zhuǎn)換成一致性問(wèn)題,再進(jìn)一步考慮量化,從而得到了式(14),并通過(guò)引入扇形界方法將式(4)(14)中量化項(xiàng)進(jìn)行了等價(jià)轉(zhuǎn)換.從上述定理的證明過(guò)程中可以得出,本文將所研究的量化數(shù)據(jù)驅(qū)動(dòng)雙向一致性問(wèn)題轉(zhuǎn)化成為了類(lèi)似于文獻(xiàn)[17-18]中的一般數(shù)據(jù)驅(qū)動(dòng)一致性問(wèn)題.此為本文控制協(xié)議收斂性的證明進(jìn)一步提供了依據(jù).

4 數(shù)值仿真與分析

在無(wú)菌灌裝生產(chǎn)線上,飲料的灌裝主要在圖1所示的3個(gè)區(qū)內(nèi)完成,其中,從左至右分別為殺菌區(qū)、清洗區(qū)和灌裝區(qū),而每個(gè)區(qū)主要依靠噴嘴來(lái)實(shí)現(xiàn)相應(yīng)的任務(wù),如清洗區(qū)要求噴嘴向上噴射無(wú)菌水,而灌裝區(qū)要求噴嘴向下注入飲料.因此,每個(gè)噴嘴處的壓力值,直接影響到了飲料的品質(zhì).原則上要求同一區(qū)內(nèi)所有噴嘴處的壓力值保持一致,但會(huì)根據(jù)飲料瓶型的不同而設(shè)定不同的目標(biāo)壓力值.

圖1 高速無(wú)菌飲料灌裝現(xiàn)場(chǎng)(左)和噴嘴(右)Fig.1 Aseptic filling in field(left)and nozzles(right)

本節(jié),根據(jù)上述需求,進(jìn)行了數(shù)值仿真實(shí)驗(yàn),該實(shí)驗(yàn)主要是控制洗瓶區(qū)和灌裝區(qū)各個(gè)噴嘴處的壓力值.該噴嘴的動(dòng)力學(xué)模型已在文獻(xiàn)[26-27]以及其引用的文獻(xiàn)中得到了辨識(shí)和驗(yàn)證,其具體表達(dá)形式為

其中:y(k),u(k),q分別表示為噴嘴處壓力、比例閥開(kāi)度以及單位延遲算子.本實(shí)驗(yàn)設(shè)計(jì)了如下分段函數(shù)來(lái)控制目標(biāo)壓力值:

此處如圖2所示的通訊拓?fù)?利用7個(gè)噴嘴壓力控制系統(tǒng)構(gòu)成一個(gè)多智能體系統(tǒng).從圖2中可知,7個(gè)系統(tǒng)被分成為兩組V1(1,2,3,4)和V2(5,6,7).0號(hào)是虛擬領(lǐng)導(dǎo)者.智能體之間的信息按圖2中箭頭所示方向傳遞,其中實(shí)線箭頭代表相鄰兩個(gè)智能體是合作關(guān)系;點(diǎn)劃線箭頭則代表雙方為競(jìng)爭(zhēng)關(guān)系.此外,根據(jù)圖2可得矩陣L+B中最大對(duì)角元素的倒數(shù)是0.5,所以可設(shè)置ρi=0.46,其余參數(shù)值設(shè)置為

圖2 多噴嘴壓力控制系統(tǒng)的通訊拓?fù)鋱DFig.2 The communication topology of nozzles’pressure control systems

初始值設(shè)定為

實(shí)驗(yàn)結(jié)果如圖3-4所示,從圖中可以看出在開(kāi)始的瞬間誤差較大,但隨后誤差迅速地收斂到0,即使在k=300時(shí)刻,目標(biāo)壓力值發(fā)生了突變,7個(gè)跟隨者也迅速地跟蹤上了目標(biāo)值.

圖3 多噴嘴壓力控制系統(tǒng)雙向一致性跟蹤效果圖Fig.3 Tracking performances of nozzles’pressure control systems

圖4 多噴嘴壓力控制系統(tǒng)雙向一致性跟蹤誤差圖Fig.4 Tracking errors of nozzles’pressure control systems

根據(jù)式(16)可知,參數(shù)ρi的取值直接影響控制協(xié)議的收斂特性,因此通過(guò)具體實(shí)驗(yàn)來(lái)分析ρi的取值問(wèn)題.首先利用控制變量法保持整個(gè)實(shí)驗(yàn)過(guò)程中其余參數(shù)值不變,僅考慮ρi的取值在0.1到0.5之間變化,其實(shí)驗(yàn)結(jié)果如圖5所示.根據(jù)圖5中誤差收斂步數(shù)曲線可知,當(dāng)參數(shù)ρi的取值在向右趨近最大收斂上界的過(guò)程中,收斂速度首先會(huì)迅速地加快,然后在達(dá)到最大收斂上界附近時(shí),維持在一個(gè)相對(duì)平穩(wěn)的收斂速度.

圖5 不同ρi值時(shí)對(duì)多噴嘴壓力控制系統(tǒng)收斂速度的影響Fig.5 Convergence rate of nozzles’ pressure control systems with different valves of ρi

此外,為了衡量量化程度對(duì)本文控制協(xié)議收斂速度的影響,與文獻(xiàn)[19]中的DMFABCT算法進(jìn)行了對(duì)比實(shí)驗(yàn),其實(shí)驗(yàn)結(jié)果如圖6所示.根據(jù)圖中收斂曲線的走勢(shì)可以發(fā)現(xiàn),隨著量化密度參數(shù)取值的增大,收斂所需的運(yùn)行步數(shù)隨之減小,當(dāng)量化密度參的取值大于0.55時(shí),數(shù)據(jù)量化對(duì)本文所設(shè)計(jì)的算法影響較小,其收斂速度與文獻(xiàn)[19]設(shè)計(jì)的算法基本一致.因此,本文所設(shè)計(jì)的控制協(xié)議,具有更好的魯棒性,可以較好地適應(yīng)于控制未知?jiǎng)恿W(xué)模型的多智能體系統(tǒng)工作于存在數(shù)據(jù)量化的工作環(huán)境.

圖6 不同量化程度對(duì)多智能體系統(tǒng)收斂速度的影響圖Fig.6 Convergence rate of multiagent systems with different quantization level

5 結(jié)論與展望

本文針對(duì)工業(yè)中多智能體系統(tǒng)處理器的計(jì)算精度低,網(wǎng)絡(luò)通訊負(fù)擔(dān)重等問(wèn)題,提出了一種數(shù)據(jù)驅(qū)動(dòng)雙向一致性控制算法.該控制算法可以直接利用量化的輸入輸出數(shù)據(jù)進(jìn)行控制協(xié)議參數(shù)的在線學(xué)習(xí),并且在整個(gè)控制算法的設(shè)計(jì)過(guò)程中無(wú)需多智能體系統(tǒng)的任何模型信息.相比于傳統(tǒng)基于模型的控制算法,本文設(shè)計(jì)的控制算法,計(jì)算量少,表達(dá)式簡(jiǎn)潔;相比于已有的數(shù)據(jù)驅(qū)動(dòng)控制算法,該控制算法有效地滿足了實(shí)際通訊過(guò)程中的信息量化需求,有利于減少通訊成本.與此同時(shí),該控制協(xié)議還考慮了智能體之間的合作競(jìng)爭(zhēng)關(guān)系,并嚴(yán)格分析和證明了該控制協(xié)議的收斂性.此外,針對(duì)無(wú)菌灌裝生產(chǎn)線噴嘴處,正反向壓力跟蹤的需求,設(shè)計(jì)了仿真實(shí)驗(yàn).實(shí)驗(yàn)結(jié)果表明所提出的控制算法,能有效運(yùn)用于存在數(shù)據(jù)量化情況下的多噴嘴壓力控制系統(tǒng),并保證該系統(tǒng)的雙向一致性跟蹤控制誤差收斂.未來(lái),將本文的結(jié)論擴(kuò)展到多輸入多輸出的多智能體系統(tǒng),并考慮其外部擾動(dòng)、隨機(jī)丟包等情況,這將都是極有意義的研究課題.