時滯重隨機(jī)線性二次最優(yōu)控制問題

許 潔, 陳 巖

(1.吉林化工學(xué)院 理學(xué)院, 吉林 吉林 132022; 2. 吉林大學(xué) 數(shù)學(xué)學(xué)院, 吉林 長春 130012)

0 引言

時滯是自然界中廣泛存在而又不可避免的一種現(xiàn)象,在時滯問題的研究中,過去的歷史對解決當(dāng)前問題的發(fā)展起到至關(guān)重要的作用,如果忽略掉時滯的存在，會使問題無法解決或解決的結(jié)果與實(shí)際具有一定偏差.對一個系統(tǒng)而言,當(dāng)觀測與調(diào)控之間有時間差或者控制有滯后性時，就會出現(xiàn)系統(tǒng)延遲,我們稱之為時滯系統(tǒng),刻畫含有時滯狀態(tài)的方程稱為時滯方程.系統(tǒng)中時滯變量的存在會引起系統(tǒng)相應(yīng)性能的變化,許多工程理論問題相繼出現(xiàn),并迫切需要解決,為時滯控制理論的發(fā)展注入動力[1-5].最大值原理為求解最優(yōu)控制問題做出巨大貢獻(xiàn),如何利用最大值原理的思想，結(jié)合時滯系統(tǒng)的特點(diǎn),更好地刻畫時滯系統(tǒng)的最優(yōu)控制問題成為研究的關(guān)鍵.文獻(xiàn)[6]中討論了一類被稱為超前倒向隨機(jī)微分方程的新型倒向隨機(jī)微分方程,為解決時滯問題提供新的思路.文獻(xiàn)[7]利用此類方程對倒向隨機(jī)系統(tǒng)的時滯問題進(jìn)行研究,給出了時滯系統(tǒng)的最優(yōu)控制所滿足的必要條件，并將其應(yīng)用到消費(fèi)生產(chǎn)模型,得出最優(yōu)消費(fèi)率的顯示表達(dá)式.受此研究思路的啟發(fā),我們嘗試對線性時滯二次最優(yōu)控制問題進(jìn)行探索,希望對此時系統(tǒng)對應(yīng)的最優(yōu)控制的形式進(jìn)行刻畫.

1 準(zhǔn)備工作

時滯重隨機(jī)微分方程的一般形式為：

(1)

根據(jù)實(shí)際問題的不同,f和g取不同的形式.討論時滯重隨機(jī)線性系統(tǒng),設(shè)系統(tǒng)對應(yīng)的狀態(tài)方程為:

(2)

其中δ1、δ2和δ3是不同的時滯變量.

目標(biāo)泛函為

〈R(t)y(t),y(t)〉+〈S(t)u(t),u(t)〉]dt+

〈Qx(T),x(T)〉}.

(3)

定義

U[0,T]:=

最優(yōu)控制問題可以看成在U[0,T]上最小化目標(biāo)泛函,即尋找最優(yōu)控制u*(·)使其滿足

J(u*(·))=

(4)

此時對應(yīng)的(x*(·),y*(·),u*(·))被稱為最優(yōu)三元組.

對應(yīng)地,此時系統(tǒng)的伴隨方程為

(5)

其中δ=max{δ1,δ2,δ3}.

給出假設(shè)條件：

(A1) 假設(shè)系數(shù)矩陣Ai,Bi,Ci,Di,Ei,Fi(i=1,2)是適當(dāng)維數(shù)的矩陣過程；

(A2) 設(shè)Q:Ω→Rn×n是非負(fù)有界對稱Ft適應(yīng)矩陣過程；

(A3) 所有系數(shù)矩陣均有界,且K(t)、R(t)和Q是對稱非負(fù)正定的,S(t)是對稱一致正定的.

討論線性系統(tǒng),由假設(shè)條件(A3)可知,所有關(guān)于f、g的偏導(dǎo)數(shù)都是有界的,且f和g直接滿足Lipschitz條件,這使得我們的假設(shè)變得簡單了很多.

2 主要結(jié)論

定理 1在假設(shè)條件(A1)～(A3)下,

E

是時滯重隨機(jī)線性二次最優(yōu)控制問題的唯一最優(yōu)控制,其中(x*(·),y*(·),p(·),q(·))是對應(yīng)(2)和(5)式的解.

證明方程(2)解的存在性和唯一性可以由文獻(xiàn)[8]中的定理3.1直接推得.方程(5)解的存在性和唯一性可以由文獻(xiàn)[9]的定理3.2保證.首先證明u*(t)是系統(tǒng)對應(yīng)的最優(yōu)控制.對任意的v(·)∈U[0,T],設(shè)(x*(·),y*(·))、(xv(·),yv(·))分別是對應(yīng)控制u*(t)和v(t)的軌跡,則

J(v(·))-J(u*(·))=

〈K(t)x*(t),x*(t)〉+

〈R(t)yv(t),yv(t)〉-

〈R(t)y*(t),y*(t)〉+〈S(t)v(t),v(t)〉-

〈S(t)u*(t),u*(t)〉+

〈Qx(T),x(T)〉-〈Qx*(T),x*(T)〉]dt=

xv(t)-x*(t)〉+

〈S(t)(v(t)-u*(t)),v(t)-u*(t)〉+

〈R(t)(yv(t)-y*(t)),yv(t)-y*(t)〉+

〈Q(xv(T)-x*(T)),xv(T)-x*(T)〉+

2〈K(t)x*(t),xv(t)-x*(t)〉+

2〈R(t)y*(t),yv(t)-y*(t)〉+

2〈S(t)u*(t),v(t)-u*(t)〉+

2〈Qx*(T),xv(T)-x*(T)〉]dt.

(6)

由條件(A3)知道K(t)、R(t)和Q是對稱非負(fù)定的,S(t)是對稱且一致正定的,因此

J(v(·))-J(u*(·))≥

〈S(t)u*(t),v(t)-u*(t)〉+

〈R(t)y*(t),yv(t)-y*(t)〉+

〈Qx*(T),xv(T)-x*(T)〉]dt.

(7)

應(yīng)用Ito公式并注意其初始條件和終端條件,可得

〈Qx*(T),xv(T)-x*(T)〉=

〈-p(T),xv(T)-x*(T)〉,

E〈p(T),xv(T)-x*(T)〉=

B1(t)(xv(t-δ1)-x*(t-δ1))+

C1(t)(yv(t)-y*(t))+

D1(t)(yv(t-δ2)-y*(t-δ2))+

E1(t)(v(t)-u*(t))+

F1(t)(v(t-δ3)-u*(t-δ3))〉dt-

E

E

K(t)x*(t),xv(t)-x*(t)〉dt+

B2(t)(xv(t-δ1)-x*(t-δ1))+

C2(t)(yv(t)-y*(t))+

D2(t)(yv(t-δ2)-y*(t-δ2))+

E2(t)(v(t)-u*(t))+

F2(t)(v(t-δ3)-u*(t-δ3))〉dt+

E

yv(t)-y*(t)〉dt.

(8)

x*(t-δ1))〉-〈E

xv(t)-x*(t)〉}dt=

B1(t)(xv(t-δ1)-x*(t-δ1))〉dt-

類似可有

〈E

x*(t)〉}dt=0,

〈E

y*(t)〉}dt=0,

〈E

y*(t)〉}dt=0.

因此，可得

E〈-p(T),xv(T)-x*(T)〉=

〈-R(t)y*(t),yv(t)-y*(t)〉+

〈-p(t),E1(t)(v(t)-u*(t))+

F1(t)(v(t-δ3)-u*(t-δ3))〉+

〈-q(t),E2(t)(v(t)-u*(t))+

F2(t)(v(t-δ3)-u*(t-δ3))〉]dt.

(10)

則

J(v(·))-J(u*(·))≥

〈-p(t),E1(t)(v(t)-u*(t))+

F1(t)(v(t-δ3)-u*(t-δ3))〉+

〈-q(t),E2(t)(v(t)-u*(t))+

F2(t)(v(t-δ3)-u*(t-δ3))〉]dt.

(11)

由u*(t)的定義,可得

E

將其代入不等式(11),可得

J(v(·))-J(u*(·))≥

E

〈-p(t),E1(t)(v(t)-u*(t))+

F1(t)(v(t-δ3)-u*(t-δ3))〉+

〈-q(t),E2(t)(v(t)-u*(t))+

F2(t)(v(t-δ3)-u*(t-δ3))〉}dt=

〈-p(t),F1(t)(v(t-δ3)-

u*(t-δ3))〉+〈-q(t),F2(t)(v(t-δ3)-

u*(t-δ3))〉}dt.

(12)

類似前面的證明可得

u*(t)〉+〈-p(t),F1(t)(v(t-δ3)-

u*(t-δ3))〉}dt=0,

u*(t)〉+〈-q(t),F2(t)(v(t-δ3)-

u*(t-δ3))〉}dt=0，

因此，有

J(v(·))-J(u*(·))≥0.

對任意v(·)∈U[0,T]成立,則可證得u*(t)是最優(yōu)控制.

J(u1(·))=J(u2(·))=α≥0,

則

2α=J(u1(·))+J(u2(·))=

再由S(t)的正定性,可推得u1(·)=u2(·),唯一性得證.定理1證畢.

由定理1的結(jié)論可知,系統(tǒng)的最優(yōu)控制是與控制中的時滯變量有關(guān),那么如果控制變量中不含有時滯變量,可以直接得到下面的推論.

推論 1假設(shè)(A1)～(A3)成立,則

t∈[0,T]

是時滯重隨機(jī)線性二次最優(yōu)控制問題的唯一最優(yōu)控制,其中(x*(·),y*(·),p(·),q(·))是系統(tǒng)

的解,其中δ=max{δ1,δ2}.

證明此推論的證明可以由定理1直接推得,當(dāng)δ1=δ2時,也可以由文獻(xiàn)[8]的最大值原理直接推得.本文結(jié)論討論了時滯變量各不相同的情況,推廣了文獻(xiàn)[8]的部分結(jié)果.

由上面的結(jié)論可以發(fā)現(xiàn)，最優(yōu)控制的形式與伴隨方程的解具有密切關(guān)系,這是一類新型的超前重隨機(jī)微分方程,本文利用此類方程的解對最優(yōu)控制的形式進(jìn)行了刻畫.

為了更好地研究時滯問題,可嘗試從不同角度對此類問題進(jìn)行探索,文獻(xiàn)[10]利用Riccati方程對一類隨機(jī)哈密頓系統(tǒng)的解進(jìn)行研究,受此研究思路的啟發(fā),利用Riccati方程對時滯重隨機(jī)系統(tǒng)的最優(yōu)控制形式進(jìn)行研究,從定理1的結(jié)論中,發(fā)現(xiàn)控制變量中的時滯變量對系統(tǒng)最優(yōu)控制的形式具有重要的作用,討論一個特殊的系統(tǒng),只考慮控制變量中含有時滯的情況，且狀態(tài)變量的初值η是確定性的.

此時的時滯系統(tǒng)可以寫成

仍然探討目標(biāo)泛函是(3)式的最優(yōu)控制問題(4),利用定理1可以直接得出此時系統(tǒng)對應(yīng)的最優(yōu)控制形式,即

u*(t)=

S-1(t)E

t∈[0,T].

(16)

下面借助Riccati方程的解對最優(yōu)控制的形式進(jìn)行探索,首先定義此系統(tǒng)對應(yīng)的Riccati方程:

(17)

定理 2在假設(shè)條件(A1)～(A3)下,如果Riccati方程(17)的解(G(·),M(·),N(·))存在,則系統(tǒng)(15)具有唯一解(x(t),y(t),p(t),q(t))=(x(t),G(t)x(t),M(t)x(t),N(t)x(t)),其中x(t)是下面方程的解,

C1(t)y(t)+F1(t)u(t-δ)]dt+

M(t)[A2(t)x(t)+C2(t)y(t)+

F2(t)u(t-δ)]dW(t)-M(t)y(t)dB(t).(19)

將Riccati方程(17)中的第一和第二個方程代入到(19)式,可得

dW(t)-M(t)y(t)dB(t).

(20)

再由Riccati方程(17)可知

(21)

則(20)式可以寫成

(22)

(23)

(24)

定理 3在假設(shè)條件(A1)～(A3)下,設(shè)(G(·)、M(·)和N(·))滿足Riccati方程,則時滯重隨機(jī)線性二次最優(yōu)控制問題的最優(yōu)控制具有如下形:

(25)

且

(26)

證明由已知(G(·)、M(·)和N(·))是Riccati方程(17)的解,且令y(t)=G(t)x(t),p(t)=M(t)x(t),q(t)=N(t)x(t).對p(t)應(yīng)用Ito公式,可得

M(t)C1(t)y(t)+M(t)F1(t)u(t-δ)]dt+

[M(t)A2(t)x(t)+M(t)C2(t)y(t)+

M(t)F2(t)u(t-δ)]dW(t)-

M(t)y(t)dB(t),t∈[0,T].

(27)

再由Riccati方程(17),有

M(t)A1(t)x(t)+M(t)C1(t)y(t)+

M(t)F1(t)u(t-δ)}dt+

{[N(t)-M(t)C2(t)G(t)-

M(t)F2(t)u(t-δ)}dW(t)-

(28)

即

K(t)x(t)]dt+[R(t)y(t)-

q(t)dW(t),t∈[0,T].

(29)

因此，系統(tǒng)(15)的解滿足公式y(tǒng)(t)=G(t)x(t),p(t)=M(t)x(t),q(t)=N(t)x(t),則最優(yōu)控制可直接由(25)式給出.

下面利用Riccati方程的解以及狀態(tài)變量的初值條件給出對應(yīng)最優(yōu)控制的目標(biāo)泛函J(u*(·)).對〈x(t),p(t)〉應(yīng)用Ito公式并取期望,可得

E[〈x(T),p(T)〉-〈x(0),p(0)〉]=

E[〈x(T),-Qx(T)〉-〈η,M(0)η〉],

(30)

E[〈x(T),p(T)〉-〈x(0),p(0)〉]=

〈F1(t)u(t-δ),p(t)〉+

〈F2(t)u(t-δ),q(t)〉]dt=

EFt〈F2(t+δ)u(t),q(t+δ)〉+

〈K(t)x(t),x(t)〉+〈R(t)y(t),y(t)〉]dt.(31)

將(30)和(31)式代入J(u(·)),可得

〈R(t)y(t),y(t)〉+〈S(t)u(t),u(t)〉]dt+

(32)

定理3證畢.

本文從不同角度對時滯重隨機(jī)線性二次系統(tǒng)最優(yōu)控制問題的最優(yōu)控制形式進(jìn)行了刻畫,根據(jù)實(shí)際問題的不同,采用不同的研究方法,可以從不同角度更好地解決問題.