離散時(shí)間平均場(chǎng)隨機(jī)系統(tǒng)的滾動(dòng)時(shí)域控制

葉志勇，賈亞琪，張春梅，楊 路，陳柏江，宋江敏

（重慶理工大學(xué)理學(xué)院，重慶 400054）

0 引言

平均場(chǎng)系統(tǒng)是一種復(fù)雜的乘性噪聲隨機(jī)系統(tǒng)，其復(fù)雜性主要體現(xiàn)在狀態(tài)和輸出方程不僅涉及狀態(tài)和控制輸入，而且還涉及它們的期望。該期望項(xiàng)的意義為系統(tǒng)所有物體間的相互作用，平均項(xiàng)的引入使得多體問題簡(jiǎn)化，這樣的一個(gè)有效轉(zhuǎn)化大大縮短了計(jì)算時(shí)間，降低了生產(chǎn)成本。與經(jīng)典的隨機(jī)控制問題不同，平均場(chǎng)項(xiàng)出現(xiàn)在系統(tǒng)動(dòng)力學(xué)和代價(jià)函數(shù)中，它結(jié)合了平均場(chǎng)理論和隨機(jī)控制問題。系統(tǒng)狀態(tài)由Kac［1］首次提出的控制平均場(chǎng)隨機(jī)差分／微分方程（MF-SDE）描述，McKean［2］對(duì)MFMF-SDEs進(jìn)行了初步研究。受MFMF-SDEs研究進(jìn)展的啟發(fā)，平均場(chǎng)理論與隨機(jī)控制問題相結(jié)合，成為20世紀(jì)50年代以來(lái)的研究熱點(diǎn)。

平均場(chǎng)系統(tǒng)的控制問題主要體現(xiàn)在平均場(chǎng)系統(tǒng)的最優(yōu)控制問題、時(shí)滯問題以及穩(wěn)定性等。在過去的幾年里，平均場(chǎng)的方法已被廣泛應(yīng)用于各個(gè)領(lǐng)域，如工程、金融、經(jīng)濟(jì)和博弈論等［3］。近年來(lái)，數(shù)學(xué)界和控制界對(duì)平均場(chǎng)控制理論的興趣越來(lái)越大。特別是經(jīng)典隨機(jī)系統(tǒng)的線性二次（LQ）最優(yōu)控制問題已被推廣到平均場(chǎng)隨機(jī)系統(tǒng)［4－9］。連續(xù)時(shí)間平均場(chǎng)隨機(jī)系統(tǒng)的有限時(shí)域和無(wú)限時(shí)域LQ問題分別在文獻(xiàn)［3，5］中被討論。離散時(shí)間平均場(chǎng)隨機(jī)系統(tǒng)的相應(yīng)結(jié)果分別在文獻(xiàn)［6－7］中被研究。

均方鎮(zhèn)定問題作為一個(gè)基本的隨機(jī)控制問題，已經(jīng)被許多研究者研究［10－15］。例如，基于LQ方法，均方鎮(zhèn)定給出了不同的結(jié)果［10－14］。Ghaoui［14］給出了利用線性矩陣不等式（LMI）得到的均方穩(wěn)定條件。Zhang等［15］研究了基于廣義Lyapunov方程的均方鎮(zhèn)定問題。

為了解決平均場(chǎng)時(shí)變隨機(jī)系統(tǒng)的鎮(zhèn)定問題，采用了滾動(dòng)時(shí)域控制（RHC）。RHC最早由Kwon等［16］在處理時(shí)變系統(tǒng)穩(wěn)定性時(shí)提出。從那時(shí)起，它作為確定性系統(tǒng)，特別是時(shí)變確定性系統(tǒng)的一種成功反饋策略得到了廣泛研究［17－20］。RHC的基本思想是每一時(shí)刻求解一個(gè)有限時(shí)域的最優(yōu)控制問題，選取第一個(gè)控制作為當(dāng)前控制律，到下一時(shí)刻重復(fù)該過程。RHC相較于其他控制策略有其獨(dú)特的優(yōu)越性，如運(yùn)行時(shí)間較短且易于計(jì)算、對(duì)模型要求低等優(yōu)點(diǎn)，已在工業(yè)中得到廣泛應(yīng)用。RHC策略對(duì)于處理隨機(jī)系統(tǒng)控制問題有非常重要的研究意義。

目前，有關(guān)平均場(chǎng)隨機(jī)系統(tǒng)的RHC鎮(zhèn)定問題的研究較少，不同于關(guān)于經(jīng)典的線性隨機(jī)系統(tǒng)RHC的研究結(jié)果［21－26］，離散時(shí)間平均場(chǎng)隨機(jī)時(shí)變系統(tǒng)的RHC鎮(zhèn)定問題研究及推導(dǎo)更為復(fù)雜。因?yàn)槠骄鶊?chǎng)隨機(jī)系統(tǒng)的狀態(tài)方程還涉及數(shù)學(xué)期望，在主要定理的證明過程中，2個(gè)耦合Lyapunov型不等式的表達(dá)式也與一般的線性隨機(jī)系統(tǒng)RHC鎮(zhèn)定問題不同，是在經(jīng)典線性隨機(jī)系統(tǒng)RHC鎮(zhèn)定問題上的推廣，因此主要研究離散時(shí)間平均場(chǎng)隨機(jī)時(shí)變系統(tǒng)的RHC鎮(zhèn)定問題。通過定義一個(gè)新的條件期望型的性能指標(biāo)，給出系統(tǒng)RHC時(shí)變鎮(zhèn)定的條件。

1 基礎(chǔ)知識(shí)與模型描述

1.1 符號(hào)說明

Rn代表n維歐式空間。上標(biāo)“′”代表矩陣的轉(zhuǎn)置；一個(gè)對(duì)陣矩陣M＞0（≥0）意味著它是嚴(yán)格正定的（半正定的）；B－1表示矩陣B的逆。

1.2 模型描述

考慮下列離散時(shí)間時(shí)變平均場(chǎng)系統(tǒng)：

為了簡(jiǎn)便，令

則系統(tǒng)（1）變?yōu)椋?/p>

主要目標(biāo)如下：

問題1尋找可測(cè)的控制器ut＝Htxt＋HˉtExt使閉環(huán)系統(tǒng)（1）漸近均方穩(wěn)定（即0）的條件。

2 離散時(shí)間平均場(chǎng)隨機(jī)系統(tǒng)RHC鎮(zhèn)定控制

研究平均場(chǎng)隨機(jī)系統(tǒng)（1）的RHC鎮(zhèn)定問題，首先給出RHC的解。

2.1 RHC

為了解決問題1，定義有限時(shí)域性能指標(biāo)如下：

其中：t是初始時(shí)刻，Et－1（·）是關(guān)于的條件數(shù)學(xué)期望，N是優(yōu)化時(shí)域的長(zhǎng)度。

為了得到RHC鎮(zhèn)定控制器，引理1利用隨機(jī)極值原理得到了在方程（1）的約束下使得性能指標(biāo)（3）最小的有限時(shí)域LQ最優(yōu)控制。

引理1［19］在方程（1）的約束下，當(dāng)且僅當(dāng)，時(shí)，使性能指標(biāo)（3）最小的唯一最優(yōu)控制器可以表示為：

其中

上述的Pj（t＋N）和滿足下列的耦合Riccati方程：

其中：j＝t，t＋1，…，t＋N。

終端值為：

在式（4）中取j＝0，得到t時(shí)刻的RHC控制器為：

2.2 均方鎮(zhèn)定

給出離散時(shí)間平均場(chǎng)隨機(jī)系統(tǒng)在式（4）控制下的鎮(zhèn)定條件，首先研究條件期望性的性能指標(biāo)（3）的性質(zhì)。

引理2假設(shè)對(duì)于給定的Ht，?，性能指標(biāo)（3）中存在ψt＞0，＞0滿足如下矩陣不等式：

則有關(guān)系式

成立。其中，（xt，t）表示性能指標(biāo)（3）以t為初始時(shí)刻，最優(yōu)控制為式（4）的最優(yōu)值。xt＋1與xt由式（1）確定，ut為t時(shí)刻的RHC控制。

證明由性能指標(biāo)（3）可以得到

其中：Ht＋N＋1，是待選擇的控制增益。由式（16）可進(jìn)一步得到

由式（1）得

則可以計(jì)算出

此外

則有

根據(jù)條件期望的性質(zhì)，可以得到

將式（19）代入式（18）得到

根據(jù)式（15），由式（20）得到

基于引理2，下面給出離散時(shí)間平均場(chǎng)隨機(jī)系統(tǒng)（1）漸近均方鎮(zhèn)定的主要結(jié)果。

定理1給定系統(tǒng)（1）在RHC（4）控制下漸近均方穩(wěn)定的條件是存在ψt和滿足不等式（15）。

證明根據(jù)引理2，若存在ψt＞0，＞0和Ht，滿足不等式（15），則有

對(duì)式（21）取期望可得到

即

根據(jù)式（15）和式（20）可以得到

結(jié)合式（22），得到

定理2給定Qt＞0，＞0，Rt＞0，＞0，若系統(tǒng)（1）可由RHC均方鎮(zhèn)定，則耦合Lyapunov方程

有ψt＞0，＞0的解。其中

證明由于RHC可穩(wěn)定系統(tǒng)（1），所以由隨機(jī)Lyapunov穩(wěn)定性定理知，下面Riccati方程有唯一解ψt＞0，＞0。

改寫式（23）得

令

可得

注1對(duì)于確定的平均場(chǎng)系統(tǒng)，即式（1）中Ct＝0，?＝0，D t＝0，＝0，RHC可穩(wěn)的條件（15）變?yōu)椋?/p>

注2系統(tǒng)（1）中令時(shí)間平均場(chǎng)隨機(jī)定常系統(tǒng)：則系統(tǒng)（1）變?yōu)殡x散

考慮如下性能函數(shù)：

對(duì)于平均場(chǎng)隨機(jī)定常系統(tǒng)（25），可得到類似于定理1的結(jié)果。

定理3給定系統(tǒng)（25）在RHC控制下均方可穩(wěn)的條件為對(duì)某個(gè)，存在滿足：

3 數(shù)值算例

例1 考慮離散時(shí)間平均場(chǎng)隨機(jī)系統(tǒng)（1）的參數(shù)如下：

根據(jù)定理1，給定的參數(shù)滿足可鎮(zhèn)定條件（15）。由引理1知，離散時(shí)間平均場(chǎng)系統(tǒng)（1）在RHC控制器的控制下，其狀態(tài)軌跡如圖1所示。由漸近均方鎮(zhèn)定的定義，即該軌跡滿足，可見平均場(chǎng)隨機(jī)系統(tǒng)是漸近均方鎮(zhèn)定的。

圖1 閉環(huán)系統(tǒng)狀態(tài)軌跡E（x′t x t）

4 結(jié)論

解決了離散時(shí)間平均場(chǎng)隨機(jī)時(shí)變系統(tǒng)RHC鎮(zhèn)定問題，通過設(shè)計(jì)一個(gè)恰當(dāng)?shù)臈l件期望型的性能指標(biāo)，基于性能指標(biāo)的單調(diào)非增性，得到了RHC鎮(zhèn)定性條件，保證了閉環(huán)系統(tǒng)的漸近均方鎮(zhèn)定。