多智能體系統(tǒng)帶寬分配及預(yù)測云控制

李 麗 任翔毅 李治辰 耿 清

隨著計(jì)算機(jī)科學(xué)技術(shù)、人工智能技術(shù)和網(wǎng)絡(luò)控制技術(shù)的飛速發(fā)展,多智能體系統(tǒng)（multi-agent systems,MASs）引起了廣泛的關(guān)注,已應(yīng)用于智能電網(wǎng)[1-3]、智能交通[4]、自動駕駛[5]、傳感器網(wǎng)絡(luò)[6]等領(lǐng)域,一致性問題是MASs 的基本問題[7-13],該問題旨在通過與鄰居交換信息來使所有智能體達(dá)成一致.大量的MASs 通過無線網(wǎng)絡(luò)交換信息,不可避免地受到噪音信號的干擾.擾動的存在會影響系統(tǒng)的性能,甚至嚴(yán)重破壞系統(tǒng)的穩(wěn)定性.擴(kuò)張狀態(tài)觀測器作為自抗擾控制器的核心,可用于同時估計(jì)狀態(tài)和擾動.然而,在考慮網(wǎng)絡(luò)延遲的情況下,如何較精確地估計(jì)系統(tǒng)狀態(tài)和擾動需要進(jìn)一步研究.

在MASs 中,隨著智能體結(jié)構(gòu)的變化和規(guī)模的增加,數(shù)據(jù)的實(shí)時處理和計(jì)算的速度需要得到嚴(yán)格的保障,使用傳統(tǒng)分析方法很難處理這樣的實(shí)時大數(shù)據(jù)和計(jì)算.同時,控制系統(tǒng)中的海量數(shù)據(jù)將增加網(wǎng)絡(luò)的通信負(fù)擔(dān)和系統(tǒng)的計(jì)算負(fù)擔(dān),一個高效的帶寬分配方案就變得尤為重要.此外,由于數(shù)據(jù)是通過網(wǎng)絡(luò)傳輸?shù)?網(wǎng)絡(luò)時延對MASs 的影響至關(guān)重要,需要設(shè)計(jì)相應(yīng)的控制策略以主動補(bǔ)償網(wǎng)絡(luò)時延.因此,在大規(guī)模的云控制系統(tǒng)中,合理分配帶寬以充分利用通信資源非常重要,這有助于提高效率,減少不必要的資源浪費(fèi)；另一方面,如何補(bǔ)償MASs 存在的網(wǎng)絡(luò)時延和受到的擾動也是一個關(guān)鍵問題.

基于以上分析,研究了一種考慮網(wǎng)絡(luò)時延和未知擾動的MASs 的帶寬分配和預(yù)測云控制方案.本文的貢獻(xiàn)總結(jié)如下：

1）對于具有未知擾動的MASs,提出了一種基于預(yù)測的擴(kuò)張狀態(tài)觀測器,以估計(jì)每個智能體受到的擾動并設(shè)計(jì)控制器進(jìn)行補(bǔ)償.

2）Stackelberg 博弈方法用于解決MASs 的帶寬分配問題,該問題包含預(yù)測云控制器之間的非合作博弈和智能體之間的演化博弈.

3）提出了一種預(yù)測云控制方案,以補(bǔ)償受帶寬分配影響的網(wǎng)絡(luò)時延和擾動.并給出了保證MASs 穩(wěn)定性和一致性的充分條件.

1 問題描述

1.1 系統(tǒng)模型

在大規(guī)模的MASs 中,合理分配帶寬以充分利用通信資源非常重要,這有助于提高效率,減少不必要的浪費(fèi).基于預(yù)測云控制的MASs 結(jié)構(gòu)如圖1 所示,其中包含兩個云控制器和多個智能體,它們之間通過無線網(wǎng)絡(luò)進(jìn)行信息交互.

圖1 基于預(yù)測云控制的MASs 基本框架Fig.1 The basic framework of MASs based on cloud predictive control

從圖1 可見,整個預(yù)測云控制系統(tǒng)將云計(jì)算和MASs 相結(jié)合.每個組中的智能體的實(shí)時數(shù)據(jù)通過網(wǎng)絡(luò)發(fā)送到兩個云端上的控制器,根據(jù)網(wǎng)絡(luò)化預(yù)測控制方法對數(shù)據(jù)進(jìn)行處理后,將生成控制序列并通過網(wǎng)絡(luò)發(fā)送回每個智能體.然后,智能體從所有可用的控制預(yù)測序列中選擇當(dāng)前時刻的最新控制預(yù)測,并將其應(yīng)用于智能體的執(zhí)行器端.根據(jù)智能體的應(yīng)用場景,可以將它們分為不同的組.組中的智能體根據(jù)自己的意愿選擇其中一個預(yù)測云控制器進(jìn)行連接.

考慮由N 個智能體組成的具有未知外部擾動的一般線性MASs.每個智能體可以被描述為

假設(shè)云控制系統(tǒng)的云計(jì)算中心設(shè)在智慧園區(qū)內(nèi)部,與智能體相距不超過100 km.云控制系統(tǒng)的總時延主要由計(jì)算時延和傳輸時延兩部分組成,傳輸時延又分為數(shù)據(jù)的發(fā)送時延和信號在載體中的傳播時延.其中,由于云控制系統(tǒng)的特點(diǎn),可以將需要巨大算力的計(jì)算任務(wù)分解成簡單的原子任務(wù)并行計(jì)算,計(jì)算時延極低,不會影響對系統(tǒng)分析的結(jié)果,因此,本文不考慮計(jì)算時延；又因?yàn)樵朴?jì)算中心與智能體相距不超過100 km,以光信號為例,光信號在光纖中的傳播速度是2.0*108m/s,100 km 的距離對應(yīng)1 ms的雙向傳播時延,0.5 ms 的單向傳播時延,實(shí)際工業(yè)生產(chǎn)中系統(tǒng)信號的傳播時延更是遠(yuǎn)小于這個理論最大值,對所研究的云控制系統(tǒng)影響很小,在研究時可以忽略處理,因此,本文不考慮信號的傳播時延.基于以上假設(shè)和分析,本文對MASs 間的網(wǎng)絡(luò)時延僅考慮智能體i 和預(yù)測云控制器l 之間的數(shù)據(jù)發(fā)送時延,不考慮計(jì)算時延和信號在載體中的傳播時延.它們之間的發(fā)送時延可以通過下式計(jì)算得到

對于式（1）,給出如下定義和假設(shè).

定義1.對于具有外部擾動和帶寬分配方案的MASs,如果滿足下列條件,則說明預(yù)測云控制方案下的MASs 有界穩(wěn)定,且可以實(shí)現(xiàn)輸出一致性：

條件（1）表明每個智能體是有界穩(wěn)定的,條件（2）表明所有智能體是輸出一致的.

假設(shè)1.所有智能體的外部擾動滿足以下條件：

1.2 擴(kuò)張狀態(tài)觀測器的設(shè)計(jì)

對于系統(tǒng)（3）,為了估計(jì)系統(tǒng)狀態(tài)和受到的擾動,設(shè)計(jì)了如下觀測器：

1.3 帶寬分配問題

MASs 的帶寬分配問題被建模為Stackelberg 博弈模型,其中,預(yù)測云控制器是博弈的領(lǐng)導(dǎo)者,而智能體是博弈的跟隨者.對于預(yù)測云控制器,它們相互競爭,并權(quán)衡它們愿意分配的帶寬大小和它們要收取的價格.智能體的主要目的是最大程度地發(fā)揮其效用,并確定要連接到的云控制器.

1.3.1 智能體之間的演化博弈

智能體之間使用演化博弈方法來確定要連接到哪個預(yù)測云控制器.多個智能體可能會連接到同一個預(yù)測云控制器,這可能會降低預(yù)測云控制器的效用,從而會提高價格以實(shí)現(xiàn)其更高的效用.因此,智能體可以更改其連接并切換到另一個預(yù)測云控制器.此過程可以重復(fù)很多次,直到同一組中的所有智能體都達(dá)到相同的效用為止.最初,智能體根據(jù)其應(yīng)用場景分為不同的組,并且同一組中的智能體可以連接到不同的預(yù)測云控制器.每個組中的智能體僅需知道同一組中其他智能體的決策即可.

假定為連接到同一個預(yù)測云控制器的智能體分配了相同的帶寬,并收取了相同的價格.將連接到云控制器l 的組g 中的智能體的效用定義為

當(dāng)達(dá)到演化平衡時,組g 中每個智能體的效用等于該組的平均效用.因此,式（7）可以轉(zhuǎn)化為

經(jīng)過計(jì)算,演化平衡可以表示為

1.3.2 云控制器之間的非合作博弈

隨著智能體的演化,每個預(yù)測云控制器將調(diào)整其策略以實(shí)現(xiàn)更高的效用或利潤.考慮到待分配的帶寬是固定的,價格是唯一的策略.集群服務(wù)器l 和l'之間的競爭可以表示為一種非合作博弈.預(yù)測云控制器l 的效用可以表示為

其中,σ＞0 是對整體效用的每單位價格的等效滿意度；φl是預(yù)測云控制器l 的單位帶寬成本；bm是智能體所需要的最大帶寬；υ 是與定義參數(shù).

將式（10）代入到預(yù)測云控制器l 的效用函數(shù),可以得到

利用Lambert-W 函數(shù),預(yù)測云控制器l 的最優(yōu)價格可以被重寫為

2 預(yù)測云控制算法的設(shè)計(jì)

針對上文中產(chǎn)生的網(wǎng)絡(luò)時延,提出了一種基于云計(jì)算的預(yù)測云控制方案.預(yù)測云控制器使用直到時間t 的可用信息來生成預(yù)測控制序列,然后將預(yù)測控制序列打包并通過網(wǎng)絡(luò)將其發(fā)送回智能體.智能體從所有可用的預(yù)測控制序列中選擇最新時刻的預(yù)測控制數(shù)據(jù),并將其應(yīng)用到執(zhí)行器.這樣,網(wǎng)絡(luò)時延將得到有效補(bǔ)償.

通過使用式（14）和式（16）,可以按以下方式獲得擾動估計(jì)的預(yù)測：

將由階躍信號r0表示的參考輸入應(yīng)用于智能體1.為了使輸出跟蹤期望的參考輸入,引入了一組動態(tài)變量

第i 個智能體的預(yù)測云控制輸入設(shè)計(jì)如下：

3 MASs 穩(wěn)定性與一致性分析

通過式（14）進(jìn)行迭代計(jì)算,擴(kuò)張狀態(tài)估計(jì)如下所示：

定義狀態(tài)和擾動估計(jì)誤差為

結(jié)合式（1）和式（23）,估計(jì)誤差可以描述為：

定理1.如果選擇合適的觀測器增益Li和控制器增益Hi使得Asc和Ae是舒爾穩(wěn)定的,那么對于任意有界擾動di,在所提出的預(yù)測云控制方案下具有帶寬分配的MASs 的有界穩(wěn)定性和一致性可以實(shí)現(xiàn).其中,

證明：利用式（16）進(jìn)行迭代計(jì)算,可得到擴(kuò)張狀態(tài)預(yù)測：

對式（1）進(jìn)行迭代計(jì)算可以得到

換句話說,存在

結(jié)合式（25）～式（27）,有

由式（18）可得

由式（29）和式（30）可得

將式（21）給出的預(yù)測云控制輸入改寫為

定義：

結(jié)合式（28）和式（32）有

定義了這些矩陣

根據(jù)式（19）、式（20）和式（32）可以得到

此外,由式（24）可以清晰地看到

因此,結(jié)合式（33）～式（35）,具有預(yù)測云控制方案的MASs 可表示為以下形式：

那么由式（19）和式（20）可以得到

4 數(shù)值仿真

4.1 帶寬分配

對于圖1 中基于預(yù)測云控制的MASs,以58 個智能體和兩個預(yù)測云控制器1、2 為例,智能體最初被分為兩個組,組中智能體的數(shù)量分別為23 個和35個,其中,組1 中連接預(yù)測云控制器1 的智能體有11個,其余連接預(yù)測云控制器2,組2 中連接預(yù)測云控制器1 的智能體有15 個,其余連接預(yù)測云控制器2.通過Stackelberg 博弈方法研究了MASs 的帶寬分配問題.

通信信道的參數(shù)如下：

非合作博弈中預(yù)測云控制器1 和2 的最佳響應(yīng)如圖2 所示.圖2 表明了預(yù)測云控制器的最佳定價策略,可以清晰地看出在非合作博弈中預(yù)測云控制器1 和2 的效用都是遞增的.在圖2 中,存在一組納什均衡解（1.76,1.55）,這是非合作博弈的唯一解.

圖2 云控制器的最佳定價策略Fig.2 Optimal pricing strategy for cloud controllers

最初,智能體在演化博弈中被分為兩個組.復(fù)制動態(tài)軌跡如圖3 所示,根據(jù)等式,初始智能體連接預(yù)測云控制器的比例由變?yōu)?根據(jù)式（5）,智能體的效用如圖4 所示.由圖3 和圖4 可知,演化博弈存在演化平衡,并且是穩(wěn)定的.

圖3 每組中選擇云控制器1 的智能體比例Fig.3 Agent selection ratio of cloud controller 1 in each group

圖4 智能體的效用Fig.4 The utility of agents

4.2 多智能體一致性分析

針對4.1 節(jié)中所提出的問題,為了簡化分析,以從中取出的3 個智能體構(gòu)成的MASs 為例,說明MASs 的預(yù)測云控制方案的性能.在博弈達(dá)到平衡后,智能體1 和2 連接到預(yù)測云控制器1,而智能體3 連接到預(yù)測云控制器2,權(quán)重系數(shù)aij=1.3 種具有不同動力學(xué)的智能體的系統(tǒng)矩陣及參數(shù)如下：

控制策略（21）的增益Hi和Gi可以根據(jù)文獻(xiàn)[17]中的特征分配法和定理1 得到,使矩陣Asc穩(wěn)定的一個增益矩陣的可行解是

對于離散時間系統(tǒng),為了使觀測器的狀態(tài)具有良好的收斂速度,觀測器的極點(diǎn)應(yīng)該位于一個理想的區(qū)域,該區(qū)域通常靠近坐標(biāo)原點(diǎn).因此,通過極點(diǎn)配置的方法3 個智能體的觀測器增益矩陣被設(shè)計(jì)為

圖5 描述了3 個智能體在隨機(jī)常值擾動下的估計(jì)誤差,可以表明該擴(kuò)張狀態(tài)觀測器對擾動下的MASs 具有較好的估計(jì)效果.所有智能體的輸出軌跡曲線展示在圖6～圖9 中,其中,圖6 是系統(tǒng)在無擾動的情況下智能體的輸出軌跡,其他是系統(tǒng)在有擾動情況下的輸出軌跡.可見在有無擾動的兩種情況下,MASs 的穩(wěn)定性和一致性性能非常相似,注意到預(yù)測云控制方案可以積極補(bǔ)償由帶寬分配產(chǎn)生的網(wǎng)絡(luò)時延和擾動帶來的影響.圖7～圖9 分別表示了智能體在隨機(jī)常值擾動.余弦擾動和指數(shù)擾動下的輸出軌跡,可見3 個智能體的輸出不但可以在有界范圍內(nèi)達(dá)到一致,而且可以跟蹤給定的參考輸入信號.

圖5 擾動為隨機(jī)常數(shù)時MASs 的估計(jì)誤差Fig.5 Estimation error of MASs when the disturbance is a random constant

圖6 無擾動下MASs 的輸出軌跡Fig.6 The output trajectory of MASs without disturbance

圖8 余弦擾動下MASs 的輸出軌跡Fig.8 The output trajectory of MASs with cosine disturbance

圖9 指數(shù)擾動下MASs 的輸出軌跡Fig.9 The output trajectory of MASs with exponential perturbation

5 結(jié)論

本文研究了具有網(wǎng)絡(luò)時延和未知擾動的多智能體系統(tǒng)的帶寬分配和預(yù)測云控制策略.在同時存在網(wǎng)絡(luò)時延和未知擾動時,對云計(jì)算環(huán)境中多智能體系統(tǒng)的帶寬進(jìn)行合理分配,并通過預(yù)測云控制方案主動補(bǔ)償受帶寬分配影響的網(wǎng)絡(luò)時延和擾動.與傳統(tǒng)方法相比,預(yù)測云控制系統(tǒng)為大數(shù)據(jù)的存儲和處理以及控制器的設(shè)計(jì)和優(yōu)化帶來了便利.