由Lévy過(guò)程驅(qū)動(dòng)的隨機(jī)線性二次最優(yōu)控制問(wèn)題

武燦文,唐矛寧

(1.浙江師范大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院,浙江 金華 321004；2.湖州師范學(xué)院 理學(xué)院,浙江 湖州 313000)

隨機(jī)微分方程是隨機(jī)分析中的研究重點(diǎn),在隨機(jī)控制問(wèn)題中具有廣泛的應(yīng)用.關(guān)于不連續(xù)鞅驅(qū)動(dòng)的倒向隨機(jī)微分方程問(wèn)題,Tang、Li于1994年得到了由泊松點(diǎn)過(guò)程驅(qū)動(dòng)的倒向隨機(jī)微分方程解的存在唯一性[1].一般來(lái)說(shuō),Lévy過(guò)程沒(méi)有鞅表示定理.2000年,Nualart、Schoutens引入了一類(lèi)特殊的Lévy過(guò)程,它是與Lévy過(guò)程相關(guān)聯(lián)的成對(duì)強(qiáng)正交Teugel’s鞅[2],2001年,又給出了Teugel’s鞅驅(qū)動(dòng)的倒向隨機(jī)微分方程相適應(yīng)解的存在唯一性[3].之后,又有學(xué)者對(duì)Teugel’s鞅驅(qū)動(dòng)的倒向隨機(jī)微分方程進(jìn)行了研究.

隨機(jī)線性二次最優(yōu)控制問(wèn)題是最優(yōu)控制問(wèn)題中的一個(gè)重要類(lèi)型,也稱(chēng)為SLQ問(wèn)題.2008年，Mitsui首次提出了關(guān)于Teugel’s鞅下的SLQ問(wèn)題，并證明在一維情況下,倒向隨機(jī)Riccati微分方程解的存在唯一性[4]；2009年,Tang、Wu證明了一類(lèi)廣義隨機(jī)Riccati方程的可解性是最優(yōu)控制存在的一個(gè)充分條件[5],Meng、Tang首次建立了Teugel’s鞅驅(qū)動(dòng)的非線性正向隨機(jī)系統(tǒng)的隨機(jī)極大值原理和驗(yàn)證定理[6]；2012年，Tang、Zhang獲得了倒向隨機(jī)系統(tǒng)的相應(yīng)結(jié)果,并將其應(yīng)用于線性二次最優(yōu)控制問(wèn)題[7]，Meng、Zhang等研究了在部分信息下由Lévy過(guò)程驅(qū)動(dòng)的倒向隨機(jī)系統(tǒng)的最大值原理[8]；2014年，Zhang、Tang等研究了Teugel’s鞅驅(qū)動(dòng)的非線性正倒向隨機(jī)系統(tǒng)的最優(yōu)控制問(wèn)題,并得出了相應(yīng)的理論結(jié)果[9]；2015年，Wang、Huang研究得到了由Lévy過(guò)程驅(qū)動(dòng)的完全耦合的正倒向隨機(jī)控制系統(tǒng)的隨機(jī)最大值原理,并利用隨機(jī)最大值原理求解LQ問(wèn)題[10]；2016年，Sun、Li等研究了一類(lèi)具有確定系數(shù)的SLQ最優(yōu)控制問(wèn)題開(kāi)環(huán)和閉環(huán)的可解性,其結(jié)果對(duì)線性二次問(wèn)題的內(nèi)部結(jié)構(gòu)有了新的認(rèn)識(shí)[11].

文獻(xiàn)[6]利用隨機(jī)最大值原理解決了系統(tǒng)由Teugel’s鞅和布朗運(yùn)動(dòng)共同驅(qū)動(dòng)的SLQ最優(yōu)控制問(wèn)題.本文在此基礎(chǔ)上將系統(tǒng)拓展到更一般的情況:該系統(tǒng)不僅由Teugel’s鞅和布朗運(yùn)動(dòng)共同驅(qū)動(dòng),且狀態(tài)方程中存在漂移項(xiàng),性能指標(biāo)中含有交叉項(xiàng).

1 記號(hào)與準(zhǔn)備工作

設(shè)T是一個(gè)給定的正實(shí)數(shù),(Ω,F,F,P)為完備的概率流空間.其中，F(xiàn)={Ft}0≤t≤T是一族由一維標(biāo)準(zhǔn)布朗運(yùn)動(dòng){W(t),0≤t≤T}與Lévy過(guò)程{L(t),0≤t≤T}生成且右連續(xù)遞增的完備子σ-代數(shù)流.設(shè){L(t),0≤t≤T}是一個(gè)獨(dú)立于布朗運(yùn)動(dòng){W(t),0≤t≤T}的R-值Lévy過(guò)程,且L有下列特征函數(shù)形式：

Ft=σ(W(s),s≤t)∨σ(L(s),s≤t)∨N,

其中，N為概率P下的全體零測(cè)集.

Hi(t)=ci,iY(i)(t)+ci,i-1Y(i-1)(t)+…+ci,1Y(1)(t),

下面介紹本文中用到的一些基本符號(hào):

E:關(guān)于概率P的期望.

l2:Hilbert空間中所有實(shí)值序列x={xn}n≥0,滿足

E|ξ|2<∞.

L2(Ω,F,P;H):(Ω,F,P)中的H-值隨機(jī)變量ξ的集合,滿足

2 問(wèn)題的提出

考慮如下由布朗運(yùn)動(dòng)和Teugel’s鞅共同驅(qū)動(dòng)的線性隨機(jī)微分方程(SDE):

(1)

二次性能指標(biāo)定義為:

(2)

對(duì)任意的可允許控制過(guò)程u(·),系統(tǒng)(1)相應(yīng)的強(qiáng)解記為X(x,u)(·)或X(·),稱(chēng)X(·)為一個(gè)可允許的狀態(tài)過(guò)程,(u(·),X(·))為允許對(duì).

本文研究的隨機(jī)線性二次(SLQ)最優(yōu)控制問(wèn)題可描述為：

問(wèn)題1找到一個(gè)可允許控制u*(·)∈U[0,T],使得

(3)

成立.

任意滿足上述關(guān)系的u*(·)∈U[0,T]稱(chēng)為問(wèn)題1的最優(yōu)控制過(guò)程,對(duì)應(yīng)的狀態(tài)過(guò)程X*(·)稱(chēng)為最優(yōu)狀態(tài)過(guò)程,相應(yīng)的(u*(·),X*(·))稱(chēng)為問(wèn)題1的最優(yōu)對(duì).當(dāng)b(·),σ(·),βi(·),g(·),q(·),ρ(·)=0時(shí),相應(yīng)的性能指標(biāo)記作J0(x;u(·)).

下面給出本文的基本假設(shè)：

假設(shè)1狀態(tài)方程的系數(shù):

A(·):[0,T]→Rn×n;B(·):[0,T]→Rn×m;C(·):[0,T]→Rn×n;D(·):[0,T]→Rn×m;Ei(·):[0,T]→Rn×n,i=1,2,…;Fi(·):[0,T]→Rn×m,i=1,2,…

都是一致有界的可測(cè)函數(shù).另有：

假設(shè)2性能指標(biāo)的權(quán)重系數(shù):

Q(·):[0,T]→Sn;S(·):[0,T]→Rm×n;R(·):[0,T]→Sm,

都是在[0,T]上一致有界的.另有：

存在δ>0,更確切地有：

G≥0,R(s)≥δI,Q(s)-S(s)TR-1(s)S(s)≥0,s∈[0,T].

(4)

|J(x;u(·))|<∞.

(5)

(6)

因此,由引理1可以斷言問(wèn)題1定義良好.

3 最優(yōu)控制的存在唯一性

引理2若假設(shè)1和假設(shè)2成立,則性能指標(biāo)J(x;u(·))在U[0,T]上是連續(xù)的.

(7)

引理3若假設(shè)1和假設(shè)2成立,則性能指標(biāo)J(x;u(·))在U[0,T]上是嚴(yán)格凸的.進(jìn)一步,性能指標(biāo)函數(shù)J(x;u(·))在U[0,T]上是強(qiáng)制的,即

證明由凸函數(shù)的定義易得J(x;u(·))在U[0,T]上是嚴(yán)格凸的,且有：

(8)

引理4若假設(shè)1和假設(shè)2成立,則性能指標(biāo)J(x;u(·))在U[0,T]上Frèchet可導(dǎo),對(duì)應(yīng)的Frèchet導(dǎo)數(shù)J′(x;u(·))由以下公式給出：

(9)

其中，X(x,u)(·)為狀態(tài)方程(1)的解,X(0,v)(·)為如下?tīng)顟B(tài)方程的解.

(10)

證明設(shè)u(·),v(·)為兩個(gè)任意給定的可允許控制過(guò)程,記式(9)右端為Δu,v.由于狀態(tài)方程(1)是線性的,易證X(x,u+v)(s)=X(x,u)(s)+X(0,v)(s),0≤s≤T.由性能指標(biāo)(2)的定義可得：

J(x;u(·)+v(·))-J(x;u(·))=J0(0;v(·))+Δu,v，

(11)

其中，

因此,

(12)

即J(x;u(·))有Frèchet導(dǎo)數(shù)Δu,v.證畢.

(13)

下面給出并證明問(wèn)題1最優(yōu)控制的存在唯一性.

定理1若假設(shè)1和假設(shè)2成立,則問(wèn)題1存在唯一的最優(yōu)控制.

證明可允許控制集U[0,T]是一個(gè)自反的Banach空間,由本文引理1～3,再參考文獻(xiàn)[12]的命題2.12,即可得證(定義在自反的Banach空間上的嚴(yán)格凸的,下半連續(xù)且強(qiáng)制的泛函存在一個(gè)唯一的最小值點(diǎn)).證畢.

定理2若假設(shè)1和假設(shè)2成立,則問(wèn)題1可允許控制u(·)∈U[0,T]為最優(yōu)控制的充要條件是對(duì)任意的可允許控制v(·)∈U[0,T],都有：

〈J′(x;u(·)),v(·)〉=0.

(14)

證明先證必要性:若u(·)∈U[0,T]為最優(yōu)控制,對(duì)任意的可允許控制v(·)∈U[0,T]和0<ε≤1，有：

(15)

同理,〈J′(x;u(·)),-v(·)〉≥0,但由于〈J′(x;u(·)),v(·)〉關(guān)于v(·)是線性的,故可得〈J′(x;u(·)),v(·)〉=0.

再證充分性:設(shè)u(·)為給定的可允許控制,使得任意可允許控制v(·),有〈J′(x;u(·)),v(·)〉=0.由于性能指標(biāo)J(x;u(·))在U[0,T]上是凸的,故有：

J(x;v(·))-J(x;u(·))≥〈J′(x;u(·)),v(·)〉=0.

(16)

因此,u(·)為最優(yōu)控制.

證畢.

4 最優(yōu)性條件與隨機(jī)Hamiltonian系統(tǒng)

首先引入關(guān)于系統(tǒng)(1)的對(duì)偶方程：

(17)

若假設(shè)1和假設(shè)2成立,由文獻(xiàn)[7]中引理2.3可知對(duì)偶方程(17)存在唯一解.定義Hamiltonian函數(shù)為H:[0,T]×Rn×U×Rn×Rn×l2(Rn)→R,

(18)

則對(duì)偶方程(17)也可以改寫(xiě)成如下的隨機(jī)Hamiltonian系統(tǒng):

(19)

定理3若假設(shè)1和假設(shè)2成立,則問(wèn)題1可允許控制對(duì)(u(·),X(·))為最優(yōu)對(duì)的充要條件為(u(·),X(·))滿足

(20)

證明先證必要性:設(shè)(u(·),X(·))為最優(yōu)控制對(duì),(Y(·),Z(·),Ξ(·))為最優(yōu)對(duì)(u(·),X(·))對(duì)應(yīng)的對(duì)偶方程(17)的唯一解,由文獻(xiàn)[6]中定理5.1建立的最大值原理，可得:

Hu(s,X(s-),u(s),Y(s-),Z(s),Ξ(s))=0, 0≤s≤T.

(21)

由Hamiltonian函數(shù)(18)的定義,即可得式(21),因此必要性成立.

(22)

對(duì)式(22)兩邊同時(shí)取期望再移項(xiàng),帶入式(9)可得:

(23)

若式(20)成立,則〈J′(x;u(·)),v(·)〉=0,由定理2,(u(·),X(·))為最優(yōu)控制對(duì),故充分性成立.

證畢.

接下來(lái)介紹由狀態(tài)方程(1)、對(duì)偶方程(17)和對(duì)偶刻畫(huà)(20)組成的隨機(jī)Hamiltonian系統(tǒng)：

(24)

5 Riccati方程與最優(yōu)控制的狀態(tài)反饋表示

5.1 Riccati方程的推導(dǎo)

假設(shè)狀態(tài)過(guò)程X(·)與對(duì)偶過(guò)程Y(·)具有以下關(guān)系：

Y(s)=2[P(s)X(s)+η(s)], 0≤s≤T.

(25)

其中，P(·)為確定性可微函數(shù),η(·)為隨機(jī)可微函數(shù),使得它們分別滿足

(26)

和

(27)

(28)

對(duì)比上式與方程(17)中 dY(s)的擴(kuò)散項(xiàng)和漂移項(xiàng),有:

(29)

和

(30)

把式(25)與式(29)代入式(20),可得：

(31)

(32)

再將式(25)、式(29)、式(32)代入式(30),有：

(33)

令

(34)

(35)

其中，M、N為式(34)所示.再由式(27)得，(η(·)、ξ(·))為如下倒向隨機(jī)微分方程的解.

(36)

5.2 最優(yōu)控制的狀態(tài)反饋表示

定理4若假設(shè)1和假設(shè)2成立.設(shè)P(·)為Riccati方程(35)的唯一解,(η(·),ξ(·))為方程(36)的唯一適應(yīng)解.對(duì)任意的(s,x)∈[0,T]×Rn,SLQ問(wèn)題唯一開(kāi)環(huán)可解,最優(yōu)控制u*(·)的狀態(tài)反饋形式為：

(37)

其中，M、N為式(33)所示.

證明設(shè)P(·)為Riccati方程(35)的唯一解,(η(·),ξ(·))為方程(36)的唯一適應(yīng)解,則如下閉環(huán)系統(tǒng)存在唯一解X*(·),其中u*(·)為式(37)所示.

(38)

假設(shè)如下倒向隨機(jī)微分方程存在唯一解(Y*(·),Z*(·),Ξ*(·)),

(39)

定義

(40)

(41)

因此,由定理3知u*(·)為對(duì)應(yīng)的最優(yōu)控制,(u*(·),X*(·),Y*(·),Z*(·),Ξ*(·))為隨機(jī)Hamiltonian系統(tǒng)(24)的解.

證畢.

6 Riccati方程解的存在唯一性

在文獻(xiàn)[13]中已經(jīng)得知Riccati方程的可解性對(duì)問(wèn)題1的解至關(guān)重要.本節(jié)主要證明Riccati方程解的存在唯一性.

定理5若假設(shè)1和假設(shè)2成立,則對(duì)任意的s∈[0,T],問(wèn)題1是唯一可解的,當(dāng)且僅當(dāng)對(duì)應(yīng)的Riccati方程(35)是唯一可解的.

定理6若假設(shè)1和假設(shè)2成立,P(·)∈C(0,T;Rn×n)是Riccati方程(35)的解,則P(·)是唯一解.

(42)

其中，M(s)、N(s)為式(34)所示.另外

(43)

M′(s)、N′(s)定義為:

(44)

將式(43)與式(44)代入方程(42),可得：

(45)

定理7若假設(shè)1和2成立,則Riccati方程(35)在[0,T]上存在唯一解.

為證明此定理,首先需要化簡(jiǎn)Riccati方程(35).有如下命題:

命題1若假設(shè)1和假設(shè)2成立,則Riccati方程(35)等價(jià)于

(46)

其中，

(47)

N(s)·φ(s)=M(s).

另外，由式(47)得：

(48)

把式(48)代入Riccati方程(35),再由φ(s)的定義便可得到命題1的等價(jià)性.證畢.

命題2考慮如下線性矩陣值微分方程：

(49)

證明由于方程是線性的,且系數(shù)都一致有界,則存在唯一解P∈C(0,T;Sn).下面令φ(·)為如下隨機(jī)微分方程的解

(50)

(51)

因?yàn)椤碒i(s),Hj(s)〉=δijs,所以對(duì)上式兩邊同時(shí)取期望,再化簡(jiǎn)可得：

(52)

證明(定理7)為說(shuō)明方程(46)解的存在性,首先構(gòu)造如下迭代格式:

對(duì)j=0,1,2,…,令

(53)

其中，

(54)

令Pj+1(s)為如下方程的解：

(55)

若假設(shè)1和假設(shè)2成立,則由命題2有Pj(s)≥0,?0≤s≤T,j≥1.

再證

Pj(s)≥Pj+1(s),?0≤s≤T,j≥1.

(56)

定義△j(s)=Pj(s)-Pj+1(s),∧j=φj(s)-φj-1(s),由式(53)中的定義,有：

(57)

因此，

(58)

故有：

因此,由定理4和定理5知,對(duì)任意s∈[0,T],問(wèn)題1存在唯一的狀態(tài)反饋表示.

7 結(jié) 語(yǔ)

本文研究在一般情況下由布朗運(yùn)動(dòng)和Teugel’s鞅共同驅(qū)動(dòng)的隨機(jī)線性二次最優(yōu)控制問(wèn)題，利用凸變分原理,對(duì)偶技術(shù)等建立隨機(jī)Hamiltonian系統(tǒng)與Riccati方程，并證明了相應(yīng)的Riccati方程解的存在唯一性,從而得到了最優(yōu)控制的唯一反饋表達(dá)式.該系統(tǒng)是在有限區(qū)間內(nèi)考慮的,后續(xù)研究將會(huì)進(jìn)一步考慮無(wú)限區(qū)間的隨機(jī)控制問(wèn)題.