具有狀態(tài)依賴噪聲的隨機H∞預(yù)演控制

王宏霞，張煥水，陳 欣，俞 立

(1.浙江工業(yè)大學(xué)信息工程學(xué)院，310023杭州;2.山東大學(xué)控制科學(xué)與工程學(xué)院，250061濟南)

預(yù)演控制問題研究如何利用提前獲取的參考信息或擾動信息來設(shè)計控制器以改進追蹤性能或更好地抑制擾動對系統(tǒng)所造成影響.與人類生活息息相關(guān)，具有廣泛工程背景，已被用于車輛懸架系統(tǒng)的設(shè)計、過程控制、機器人控制以及許多能夠提前獲取信息的領(lǐng)域［1-2］.起初的研究主要針對確定性系統(tǒng)的最優(yōu)預(yù)演控制問題展開［3］，預(yù)演窗口寬度與最優(yōu)性能顯式表達關(guān)系的建立［4］，標(biāo)志著確定最優(yōu)預(yù)演控制問題基本得以解決.至于確定性H∞預(yù)演控制問題，直到1999年依然是公開問題［5］.經(jīng)過多年研究，確定性系統(tǒng)的H∞預(yù)演控制問題取得了很大進展［6-8］，但有關(guān)隨機系統(tǒng)H∞預(yù)演控制甚至是時滯系統(tǒng)最優(yōu)控制問題的相關(guān)研究結(jié)果［11-12］較少，因此有必要研究隨機系統(tǒng)這類更普遍、更具有代表性系統(tǒng)的H∞預(yù)演控制問題.

研究的隨機系統(tǒng)，特指受到乘積性隨機噪聲干擾的系統(tǒng)，這類系統(tǒng)具有廣泛的應(yīng)用背景.但與確定性系統(tǒng)具有本質(zhì)的區(qū)別，包括:隨機系統(tǒng)不存在傳遞函數(shù)、要考慮適應(yīng)性［13］、特別的隨機極大值原理［14］、解變量成對出現(xiàn)的倒向隨機方程［15］、加權(quán)矩陣為不定矩陣時仍有意義的最優(yōu)控制［16］、消失的對偶性［17］.此外，隨機系統(tǒng)與確定系統(tǒng)還有許多區(qū)別.這些區(qū)別，是確定性系統(tǒng)的許多研究思路難以推廣、隨機系統(tǒng)控制問題難以解決的主要原因.迄今為止，只發(fā)現(xiàn)文獻［18］應(yīng)用博弈論，研究了離散時間隨機系統(tǒng)的H∞預(yù)演追蹤問題，它根據(jù)可提前獲取的參考信息量，引入3種追蹤模式來解決問題.但是，由于擾動信息本身不可預(yù)演，因而本質(zhì)上，預(yù)演信息的使用是以H2的方式而非H∞的方式.

本文主要研究一類線性隨機系統(tǒng)的H∞預(yù)演控制問題，研究如何使用可預(yù)演的外部擾動信息來設(shè)計H∞控制器，改進系統(tǒng)的閉環(huán)性能(這種改進相對于標(biāo)準(zhǔn)的H∞控制而言).首先將H∞預(yù)演控制問題轉(zhuǎn)化成不定二次型的優(yōu)化問題;然后結(jié)合對策論，根據(jù)動態(tài)規(guī)劃的思想，研究不定二次型鞍點存在的條件;基于鞍點給出問題可解的條件和H∞預(yù)演控制器;最終利用特征線法提出一種解耦耦合微分與偏微分方程的方法.

對于任意的向量或矩陣M，M'為其轉(zhuǎn)置，M2為M'M，|M|為M的2-范數(shù)．對于任意向量函數(shù)是標(biāo)量的維納過程，因此dw(t)是獨立平穩(wěn)增量過程．E為關(guān)于隨機過程 dw(t)取數(shù)學(xué)期望．L2［a，b］表示在區(qū)間［a，b］平方可積的所有函數(shù)所形成的空間．

1 隨機系統(tǒng)H∞預(yù)演控制問題

引入具有可預(yù)演擾動信息的隨機系統(tǒng)為

式中:x(t)∈Rn為系統(tǒng)狀態(tài)，z(t)∈Rp為待調(diào)節(jié)信號，u(t)∈Rq為控制輸入，v(t)∈Rk為可預(yù)演的外部擾動輸入．外部擾動輸入屬于L2［0，T-h］．A，B，C，A0，C，D0，D1是有相容維數(shù)的有界時不變矩陣．h(＞0)是可預(yù)演時間長度．不妨設(shè)dw(t)的均值為0，方差為m．

為簡化推導(dǎo)，不失一般性，作以下正交性假設(shè)

引入性能指標(biāo)

參考確定性系統(tǒng)的H∞預(yù)演控制問題，隨機系統(tǒng)的H∞預(yù)演控制問題可以敘述為:考慮系統(tǒng)式(1)～(2)，對于給定的γ＞0，找到一個能夠保證性能指標(biāo)式(4)成立的有限時間域H∞預(yù)演控制策略，該策略具有如下結(jié)構(gòu)

式中:PT表示一個給定的半正定矩陣，它反映決策者對終端狀態(tài)的重視程度，F(xiàn)t表示某向量函數(shù)．

2 問題轉(zhuǎn)化及求解

2.1 問題的轉(zhuǎn)化

為了給出問題的可解性條件及解，把隨機H∞預(yù)演控制問題轉(zhuǎn)化成一個受隨機系統(tǒng)式(1)～(2)約束的最優(yōu)化問題.

考慮性能指標(biāo)式(4)，定義

一個控制器u(t)能夠保證H∞性能指標(biāo)式(4)成立當(dāng)且僅當(dāng)對于任意的非零v(t)，該控制器都能夠保證J0＜0成立．

2.2 問題求解

不論是H∞預(yù)演控制問題還是不定二次型的最優(yōu)化問題，本質(zhì)上都屬于下面的對策問題

其中

其中u，v分別試圖最小化和最大化Jt．這類問題的解，可以通過求解一個Isaacs方程來獲取.因此，考慮到預(yù)演控制器的結(jié)構(gòu)，有以下結(jié)論.

引理1 考慮隨機系統(tǒng)式(1)～(2).假設(shè)存在幾乎處處連續(xù)可微的參數(shù) P(τ)，α(τ，s)，β(τ，s1，s2)，τ ∈［t，T］，(τ，s1，s2)∈ ［t，T］× ［0，h］×［0，h］，(τ，s)∈［t，T］×［0，h］，則Jt可等價表示成

其中

證明 不失一般性，設(shè)t＜T-h．

顯然有

添加微分零和項式(18)到式(8)的右端可得

參考式(17)后式(20)意味著當(dāng)t∈［T-h，T］時，

根據(jù)Ito微分法則及系統(tǒng)式(1)～(2)，結(jié)合

式(19)及下述關(guān)系

首先計算式(19)右端第4項，然后針對式(19)右端分別關(guān)于u(t)，v(t)進行完全平方，最后取期望整理、合并同類項即可得式(9)．

根據(jù)引理1，可得出下面結(jié)論.

定理1 考慮具有零初始數(shù)據(jù)的隨機系統(tǒng)式(1)～(2)及性能指標(biāo)式(4).

關(guān)于初邊值存在有界解

則隨機系統(tǒng)H∞預(yù)演問題可解，并且式(11)是滿足性能指標(biāo)的H∞預(yù)演控制器.

證明 t時刻，當(dāng)系統(tǒng)的初始數(shù)據(jù)為零、式(21)～(24)成立，并取u(t)=u*(t)時，從式(9)不難發(fā)現(xiàn)Jt＜0成立．同理，當(dāng)系統(tǒng)從零時刻出發(fā)并具有零初始數(shù)據(jù)時，也有J0＜0，至此，參考問題的轉(zhuǎn)化不難得出，控制器u*(t)滿足H∞性能指標(biāo)式(4).

當(dāng)h=0時，隨機H∞預(yù)演控制問題轉(zhuǎn)化成一般的隨機H∞控制問題.此時，本文提出的方法能夠提供一個基于廣義Riccati方程的H∞控制器.具體可概括如下:

推論1 考慮h=0的系統(tǒng)式(1)～(2)及性能指標(biāo)式(4).如果廣義Riccati方程

存在有界解P(t)，則存在一個形如

并能使性能指標(biāo)式(4)成立的H∞控制器.

3 耦合微分及偏微分方程的解耦求解

觀察式(21)～(24)不難發(fā)現(xiàn)，這3個方程相互耦合.與求解一般的方程組類似，解耦也是求解式(21)～(24)的首要任務(wù).

該解耦思路很大程度上依賴于 α(t，s)與β(t，θ1，θ2)分別在區(qū)域［0，T］× ［0，h］和［0，T］×［0，h］×［0，h］的連續(xù)性．因而此處首先假設(shè)初值問題式(21)～(24)存在唯一連續(xù)解.基于問題的連續(xù)性，給出下面的解耦思想.

定理2 給定γ＞0與h＞0．當(dāng)初邊值問題式(21)～(24)存在唯一連續(xù)解時，若記

則微分及偏微分式(25)～(27)聯(lián)合初邊值式(23)、(24)存 在 唯 一 連 續(xù) 解 βδ(t，θ，θ1)，Pδ(t)，αδ(t，θ)，其中t=t+ δ，h=h- δ，δ＞ 0 可任意小，兩初邊值問題的解存在如下關(guān)系:

由于定理2的證明有賴于下面提到的偏微分方程的特征解法，因此將推遲它的證明.

盡管文獻［19］的定理2.1.2只提供了局部解的存在唯一條件，但是與常微分方程的初值問題解的存在唯一定理相似，該定理是分析和求解偏微分初邊值問題解的主要依據(jù).有限時間域預(yù)演控制問題本質(zhì)上就是一個偏微分方程的初邊值問題.下面將根據(jù)特征曲線和積分曲線的關(guān)系以及文獻［19］的定理來求解的隨機H∞預(yù)演問題.

且具有終端值P(T)=PT．

觀察初值問題式(21)～(24)，當(dāng)t＞T-h時，由于

P實際上滿足可以直接單獨求解的H∞倒向微分式(32)，而 α(t，θ)，β(t，θ，θ1)則分別滿足以下關(guān)系:

其中Ax(t)=A-BB'P，且邊值如

使用特征線法［19］依次求解式(33)、(34).值得注意的是:在求解 α(t，θ)，β(t，θ，θ1)時，由于可以先根據(jù)式(32)直接求解出P(t)，因此P(t)實際上為已知函數(shù).

偏微分式(33)的特征方程為

其初始參數(shù)曲線為

簡單計算可得，經(jīng)過初始曲線的特征曲線為

根據(jù)式(37)～(39)，消除參數(shù)s，τ可得，由式(33)、(35)決定的積分曲面為

類似的由式(34)、(36)決定的積分曲面為

而當(dāng) t∈［0，T-h］時，由于初邊值問題式(21)～(24)中3個方程相互耦合，特征線法也無法給出解析解．此時，可以根據(jù)定理2提供的思路來求解之.實際上，當(dāng) t∈［0，T-h］時，式(25)～(27)中的每個方程的右端，除了左端的未知量外，其它都是已知量，這就保證了可以通過特征線法求解偏微分方程.下面將簡述式(25)～(27)的求解過程并給出其解.

根據(jù)式(40)可得 α(t，h)，繼而可在區(qū)間(T-2h，T-h］上求解式(25)．緊接著，根據(jù)式(41)，可得β(t，h，θ)，據(jù)此在區(qū)間(T-2h，T-h］上根據(jù)特征線法求解式(26)可得再根據(jù)特征線法求解具有初值 β(t，s，0)=C'α(t，s)的式(34)可得

關(guān)于區(qū)間［0，T-2h］的式(25)～(27)的求解，可以分成1+［(T-2h)/h］個區(qū)間倒向進行，其中［.］表示取整運算.鑒于微分方程組結(jié)構(gòu)的一致性，后面剩余的這些區(qū)間上的解結(jié)構(gòu)類似，因而可以直接給出，故此處省略它們的求解過程.

定理3 當(dāng)式(21)～(24)存在連續(xù)解時，與其具有相同初始條件的式(25)～(27)存在唯一連續(xù)解Pδ(t)(見式(25)、(31)的解)，α(t，θ)(見式(40)、(42))，β(t，θ，θ1)(見式(41)、(43)).

證 明 由式(21)～(24)存在唯一連續(xù)解，可以推知式(25)的解存在唯一、偏微分式(25)、(27)的初始曲線及特征方向光滑.又因為在任意初始時刻，偏微分式(26)、(27)中的每個方程關(guān)于文獻［19］定理2.1.2中的行列式條件總成立，所以，在初始條件的鄰域內(nèi)，定理3的解存在唯一，延拓則可得整個區(qū)間上的解.

有了以上的結(jié)果，證明定理2.

證 明 除了連續(xù)性，證明還需要α(t，θ)，β(t，θ，θ1)在區(qū)域［0，T］×［0，h］，［0，T］×［0，h］×［0，h］上的有界性．對于任意的t1∈［0，t］，考慮式(21)，其滿足如下關(guān)系

其中

考慮其解滿足如下關(guān)系

當(dāng)α(t，s)在區(qū)域［0，T］×［0，h］上連續(xù)有界時，對于任意的ε ＞0 及 t，t1∈ ［0，T］，總存在δ＞0使得當(dāng)|t-t1|＜δ時，

記

則

這證明了式(28)，M=4(γ-2T+1)Mα．

根據(jù)特征線法所提供的解研究δ，δ1→0時，式(26)、(27)的解 α(t，θ)，β(t，θ，θ1)的極限行為.具體如下:

當(dāng)|P1-Pδ|＜ ε時

因此，

此外，根據(jù)P1，Pδ，α，β 的連續(xù)有界性

結(jié)合式(50)、(52)、(53)，則可得式(29)．式中M2為一有界正實數(shù)，Mα見式(49)．

同理可證式(30).

4 數(shù)值例子

為節(jié)省空間，將隨機系統(tǒng)式(1)～(2)的參數(shù)退化到標(biāo)量，具體如下:

解耦后使用特征線法求解偏微分方程組，可借助Matlab直接求解方程的解.主要涉及dsolve與int兩個Matlab命令.由于由此產(chǎn)生的初值問題解非常冗長，僅計算問題在區(qū)間［9，10］的控制器.因為式(32)成立，式(21)被解耦成了式(31).利用 Matlab命令 dsolve直接求解式(31)可得P(t)=e10/(3e10-2et)，再根據(jù)式(11)可得，在區(qū)間［9，10］上，隨機 H∞預(yù)演控制器u*(t)=2e10/(3e10-2et)．同理，基于區(qū)間［9，10］的計算結(jié)果，可分別根據(jù) 式(25)、(42)、(43)計算區(qū)間［8，9］上的P(t)，α(t，s)，β(t，θ，s)，進而根據(jù)式(11)計算隨機H∞預(yù)演控制器u*(t)．這樣一個區(qū)間接著一個區(qū)間倒向推進，則可得整個區(qū)間上的控制器.

5 結(jié)語

本文給出了隨機H∞預(yù)演控制問題的可解性條件和顯式控制器.由于這些結(jié)果基于耦合的微分及偏微分方程給出，本文還提出了一種解耦微分及偏微分方程的方法，該解耦方法適用于幾乎所有的線性時滯系統(tǒng)最優(yōu)控制及H∞控制.值得注意的是，當(dāng)系統(tǒng)具有控制依賴噪聲時，耦合方程的解耦產(chǎn)生的隨機Riccati方程中存在微分變量的逆運算，尋求解析解有一定的困難.

［1］BENDER E K.Optimum linear preview control with application to vehicle suspension［J］.Journal of Basic Engineering，1968，90(2):213-221.

［3］SHERIDAN T B.Three models of preview control［J］.IEEE Transactions on Human Factors in Electronics，1966，HFE-7(2):91-102.

［4］MOELIA A A，MEINSMA G.H2control of preview systems［J］.Automatica，2006，42(6):945-952.

［5］BLONDEL V D，SONTAG E D，VIDYASAGAR M，et al.Open problems in mathematical systems and control theory［M］.London:Springer，1999.

［6］ZHANG Huanshui，XIE Lihua，DUAN Guanren.H∞control of discrete-time systems with multiple input delays［J］.IEEE Transactions on Automatic Control，2007，52(2):271-283.

［7］TADMOR G，MIRKIN L.H∞control and estimation with preview-part I:matrix ARE solutions in continuous time［J］.IEEE Transactions on Automatic Control，2005，50(1):19-28.

［8］TADMOR G，MIRKIN L.H∞control and estimation with preview-partII:fixed-sizeARE solutionsin discrete time［J］.IEEE Transactions on Automatic Control，2005，50(1):29-40.

［9］KOJIMA A，ISHIJIMA S.Formulas on preview and delayed control［J］.IEEE Transactions on Automatic Control，2006，51(12):1920-1937.

［10］HAZELL A，LIMEBEER D.An efficient algorithm for discrete-time H∞preview control［J］.Automatica，2008，44(9):2441-2448.

［11］SONG Xinmin， ZHANG Huanshui， XIE Lihua.Stochastic linear quadratic regulation for discrete-time linear systems with input delay［J］.Automatica，2009，45(9):2067-2073.

［12］WANG Hongxia，ZHANG Huanshui.LQ control for Ito-type stochastic systems with input delays ［J］.Automatica，2013，49(12):3538-3549.

［13］YONG Jiongmin，ZHOU Xunyu.Stochastic controls:Hamiltonian systems and HJB equations［M］.New York:Springer，1999.

［14］PENG Shige.A general stochastic maximum principle for optimal control problems［J］.SIAM Journal on Control and Optimization，1990，28(4):966-979.

［15］嚴(yán)加安，彭實戈，吳黎明，等.隨機分析選講［M］.北京:科學(xué)出版社，1997.

［16］CHEN Shuping，LI Xunjing，ZHOU Xunyu.Stochastic linear quadratic regulators with indefinite control weight costs［J］.SIAM Journal on Control and Optimization，1998，36(5):1685-1702.

［17］ZHANG Huanshui，SONG Xinmin.New estimator and duality of control for multiplicative noise systems with applications to packet dropping and multiple input delay systems［C］//2009 IEEE International Conference on Control and Automation.Christchurch:IEEE，2009:75-80.

［18］GERSHON E，LIMEBEER D，SHAKED U，et al.Stochastic H∞tracking with preview for statemultiplicative systems［J］. IEEE Transactionson Automatic Control，2004，49(11):2061-2068.

［19］陳祖墀.偏微分方程［M］.合肥:中國科學(xué)技術(shù)大學(xué)出版社，2002.