基于不確定控制理論的最優(yōu)策略研究

吳婉瑩, 劉偉, 唐曉藝, 胡亦鈞

(1.新疆大學(xué)數(shù)學(xué)與系統(tǒng)科學(xué)學(xué)院, 新疆 烏魯木齊830046;2.武漢大學(xué)數(shù)學(xué)與統(tǒng)計學(xué)院, 湖北 武漢 430072)

1.引言

許多學(xué)者對最優(yōu)控制的研究主要在確定性的環(huán)境下進(jìn)行, 即在確定性信息下建立最優(yōu)控制模型.然而, 無論是在工程科技現(xiàn)象還是人文社會科學(xué)等各領(lǐng)域, 自然界存在大量不確定性現(xiàn)象.其中, 隨機(jī)性是不確定性的一種基本類型, 使用概率論是解決這種不確定性現(xiàn)象強(qiáng)有力的工具之一.自上世紀(jì)七十年代以來, 隨機(jī)最優(yōu)控制理論己經(jīng)成為現(xiàn)代控制理論的重要分支.隨機(jī)最優(yōu)控制理論在實(shí)際生活的諸多領(lǐng)域有著非常廣泛的應(yīng)用.Merton[1]研究了隨機(jī)最優(yōu)控制在經(jīng)濟(jì)學(xué)中的應(yīng)用.Fleming和Rishel[2]等人描述了確定的以及隨機(jī)最優(yōu)控制理論.目前, 隨機(jī)最優(yōu)控制理論的相關(guān)研究仍是一個十分活躍的研究熱點(diǎn), 并且在金融研究領(lǐng)域方面發(fā)揮著越來越大的作用.

使用概率論對不確定性現(xiàn)象的研究中, 主要體現(xiàn)在概率分布函數(shù), 通過抽取足夠多的樣本來描述不確定性事件的概率分布, 由概率分布刻畫不確定現(xiàn)象.然而有時人們在許多情形下取不到足夠多的樣本做出有效的估計, 這使得人們很難獲得準(zhǔn)確的樣本分布函數(shù).LIU[3?4]提出了滿足正規(guī)性、對偶性、次可加性和乘積測度公理的不確定性理論來刻畫這種不確定性現(xiàn)象,其核心是利用不確定測度代替概率論中的概率, 解決不確定環(huán)境下不確定性問題.由不確定測度發(fā)展出來的控制模型, 稱為不確定控制模型, 相關(guān)理論研究見文[5-7].本文采用文[3-4]中的觀點(diǎn)來建立不確定控制問題.不確定最優(yōu)控制問題所要研究的是, 選擇最優(yōu)的決策使得關(guān)于不確定過程的目標(biāo)函數(shù)達(dá)到最優(yōu).但在不確定最優(yōu)控制中, 由于控制系統(tǒng)的不確定性, 目標(biāo)函數(shù)也具有不確定性, 因此不能直接把它看作實(shí)函數(shù)來研究.可以將問題轉(zhuǎn)化成對不確定變量大小的比較, 對不確定變量去比較大小, 需在合理的數(shù)學(xué)意義下對不確定變量進(jìn)行量化后再比較.事實(shí)上, 我們可以根據(jù)不同需要采取不同的判定準(zhǔn)則, 例如, 期望值準(zhǔn)則、樂觀值準(zhǔn)則、悲觀值準(zhǔn)則和Hurwize準(zhǔn)則等.目前, 不確定性理論已成為公理化數(shù)學(xué)的一個分支, 它也被應(yīng)用到金融領(lǐng)域, 見文[5-6,8-15].高建偉[16]在不確定理論框架下考慮了分別在固定繳費(fèi)和不確定繳費(fèi)下的固定繳費(fèi)型養(yǎng)老金的投資策略問題.高建偉[17]考慮了一類帶跳的養(yǎng)老金的不確定最優(yōu)控制問題.現(xiàn)在利用不確定理論研究金融問題也成為了研究領(lǐng)域的一個熱潮.

本文基于這種不確定性控制系統(tǒng), 在樂觀值準(zhǔn)則下, 提出了一個帶背景狀態(tài)變量的不確定性最優(yōu)控制模型.我們假設(shè)背景狀態(tài)變量由一個不確定微分方程控制, 建立不確定性控制模型, 利用不確定性動態(tài)規(guī)劃方法, 建立了最優(yōu)性原理, 得到了最優(yōu)性方程.最后, 討論了一個DC型養(yǎng)老金計劃的最優(yōu)控制問題, 其中工資過程為相應(yīng)的背景狀態(tài)過程.通過求解不確定最優(yōu)性方程得到了最優(yōu)投資策略和最優(yōu)支付率的顯示解.

2.不確定理論的基礎(chǔ)知識

首先給出一些基礎(chǔ)知識.設(shè)Γ是一個非空集合,L是定義在Γ上的σ-代數(shù).稱每一個Λ ∈L為一個事件.

定義2.1[3]如果函數(shù)M且滿足下列公理:

公理1(正規(guī)性) 對全集Γ, 有M{Γ}=1;

公理2(對偶性) 對任意事件Λ, 有M{Λ}+M{Λc}=1;

公理3(次可加性) 對于可數(shù)事件列{Λi}, 有

則稱M為不確定測度, 并稱三元組(Γ,L,M)為一個不確定空間.

公理4(乘積測度) 設(shè)(Γk,Lk,Mk) 是不確定空間, 而Mk是定義在其上的不確定測度,k=1,2,··· ,n, 則乘積不確定測度M是定義在乘積σ-代數(shù)L1×L2×···Ln上滿足

的不確定測度.

定義2.2[3]設(shè)ξ是從不確定空間(Γ,L,M)到實(shí)數(shù)集R的一個可測函數(shù).如果對于任意的Borel集B, 集合

是一個事件, 則稱ξ是一個不確定變量.

定義2.3[3]假設(shè)ξ1,ξ1,··· ,ξm是不確定變量, 如果對任意R中的Borel 集B1,B2,··· ,Bm,均有

則稱不確定變量ξ1,ξ1,··· ,ξm是相互獨(dú)立的.

定義2.4[3]一個不確定變量ξ的不確定分布Φ: R→[0,1]是一個實(shí)函數(shù), 對于任意的實(shí)數(shù)x滿足:

定義2.5[3]設(shè)ξ是一個不確定變量, 如果下式中的兩個積分至少有一個是有限的, 則ξ的期望值定義為:

ξ的方差定義為:

定義2.6[3]設(shè)T是指標(biāo)集(比如:時間),(Γ,L,M)是一個不確定空間,Xt是從T×(Γ,L,M)到實(shí)數(shù)集的一個可測函數(shù).如果對于任意的時間t ∈T和任意的Borel集B, 集合

是L中的一個事件, 那么Xt是一個不確定過程.

定義2.7[9]設(shè)ξ為一個不確定變量, 并且α ∈(0,1],ξsup(α) := sup{r | M{ξ ≥r} ≥α}稱為ξ的α-樂觀值;ξinf(α):=inf{r |M{ξ ≤r}≥α}稱為ξ的α-悲觀值.

引理2.1[9]假定ξ和η都是不確定變量, 那么以下三式成立:

(i) 若λ ≥0, 那么(λξ)sup(α)=λξsup(α), 且(λξ)inf(α)=λξinf(α);

(ii) 若λ<0, 則(λξ)sup(α)=λξinf(α), 并且(λξ)inf(α)=λξsup(α);

(iii) (ξ+η)sup(α) =ξsup(α)+ηsup(α), (ξ+η)inf(α) =ξinf(α)+ηinf(α), 如果ξ和η相互獨(dú)立.

定義2.8[9]設(shè)Ct是一個不確定過程, 如果它滿足下面三個條件:

(i)C0=0, 幾乎所有的樣本路徑是Lipschitz連續(xù)的;

(ii)Ct具有獨(dú)立穩(wěn)態(tài)增量;

(iii) 對于時間t, 增量Cs+t ?Cs是一個期望值為0和方差為t2的正態(tài)不確定變量, 其不確定分布是

則稱不確定過程Ct為典范Liu過程.

令Ct是一個典范Liu過程, 并且ξ= ΔCt=Ct+Δt ?Ct.則對于任意的0< α ≤1,ξ的α-樂觀值和α-悲觀值分別是

和

引理2.2[9]設(shè)ξ是一個正態(tài)不確定變量N(0,σ),σ >0, 對于任意實(shí)數(shù)a, 任意足夠小的ε>0和α ∈(0,1],

(i) 若b>0, 則

(ii) 若b<0, 則

(iii) 若b=0, 則

定義2.9[9]設(shè)Ct是一個典范Liu過程,g1和g2是兩個給定的實(shí)函數(shù),Xt是一個未知的不確定過程, 則稱方程

為一個由典范Liu過程驅(qū)動的不確定微分方程.它的解是滿足(2.8)式的不確定過程.

引理2.3[9](基本定理) 設(shè)Ct是一個典范Liu過程,h(t,c)是一個連續(xù)可微的實(shí)函數(shù), 則不確定過程Xt=h(t,Ct)是一個典范Liu過程, 且

3.不確定最優(yōu)控制的樂觀值模型

在不確定最優(yōu)控制問題中, 需要對包含不確定變量的目標(biāo)函數(shù)進(jìn)行優(yōu)化, 并將不確定目標(biāo)轉(zhuǎn)化為確定的等價目標(biāo).在不確定最優(yōu)控制中, 有很多準(zhǔn)則: 期望值、樂觀值、悲觀值和Hurwicz 準(zhǔn)則.本文討論了一類包含背景狀態(tài)變量的系統(tǒng)在樂觀值準(zhǔn)則下的最優(yōu)控制問題.

假設(shè)Ct= (Ct1,Ct2,...,Ctk)T, 其中Ct1,Ct2,...,Ctk是相互獨(dú)立的典范Liu過程.對任意的t ∈(0,T), 置信度α ∈(0,1], 研究如下的多維不確定樂觀值最優(yōu)控制問題:

其中,Xs是狀態(tài)變量,Ls是背景狀態(tài)變量,Dt是服從約束集D的控制變量.f: [0,T]×R×R×R→R 是目標(biāo)函數(shù),G: [0,T]×R×R→R 是終止收益函數(shù).G(T,XT,LT)]sup(α) 是中括號里不確定變量的α-樂觀值.另外,ν和λ是關(guān)于時間s, 狀態(tài)Xs和背景狀態(tài)Ls的兩個函數(shù).所有的函數(shù)都是連續(xù)的.為了求解該模型, 我們給出了以下最優(yōu)性原理.

定理3.1(最優(yōu)性原理) 對任意的(t,x,l)∈[0,T)×R×R, Δt>0且t+Δt

其中,x+ΔXt=Xt+Δt,l+ΔLt=Lt+Δt.

證用,x,l)表示(3.2)右邊的式子, 則根據(jù)J(t,x,l)的定義有:

其中, 對任意的Ds,Ds|[t,t+Δt)和Ds|[t+Δt,T]是決策向量Ds分別在[t,t+Δt)和[t+Δt,T]上相應(yīng)的取值.

對任意的Δt>0, 利用泰勒展開式, 我們有:

因此

對式(3.3)在Ds|[t+Δt,T]上取極大值, 我們有J(t,x,l)≥x,l).

另一方面, 對任意的Ds, 我們有:

因此, 我們得到J(t,x,l)≤ˉJ(t,x,l).根據(jù)式(3.3)和式(3.4), 得J(t,x,l)= ˉJ(t,x,l).定理3.1 得證.

下面我們根據(jù)最優(yōu)性原理給出帶有背景狀態(tài)變量的最優(yōu)性方程.

定理3.2(最優(yōu)性方程) 設(shè)J(t,x,l)在[0,T]×R×R上二次可微, 則

其中,Jt,Jx和Jl分別是J(t,x,l)對t,x和l的偏導(dǎo)數(shù).f,ν,λ,Jt,Jx,Jl分別定義為f(t,x,l,Dt),ν(t,x,l,Dt),λ(t,x,l,Dt),Jt(t,x,l),Jx(t,x,l),Jl(t,x,l).

證對任意的Δt>0, 利用泰勒展開式, 我們得到:

其中,Jtt,Jxx,Jll,Jtx,Jtl,Jxl分別代表Jtt(t,x,l),Jxx(t,x,l),Jll(t,x,l),Jtx(t,x,l),Jtl(t,x,l),Jxl(t,x,l).

將式(3.6)代入式(3.2), 可得:

由模型(3.1)中的不確定微分方程可知:

將式(3.8)代入式(3.7), 可得:

其中,

1) 若q > 0, 由引理2.1中不等式(2.4)和上式(3.9), 對于Δt > 0, 若q > 0, 存在一個控制u ≡uε,Δt, 則

將不等式兩邊除以Δt, 我們得到:

當(dāng)Δt →0 時, D(ε,Δt)→0, o(Δt)→0.令Δt →0, ε →0, 得到

同理, 由不等式(2.3)和式(3.9)可得

結(jié)合不等式(3.10)和(3.11), 得到

因此, q >0時, 式(3.5)成立.

2) 若q < 0, 由引理2.1中式(2.5), (2.6)可知, 式(3.5)可以采用與上述過程相似的方法進(jìn)行證明.

3) 若q =0, 我們有

通過式(2.7), 同樣可證得(3.5)成立.

因此, 定理3.2得證.

4.DC 型養(yǎng)老金的控制問題

近年來, 由于養(yǎng)老金在金融市場和社會保障體系中發(fā)揮著至關(guān)重要的作用, 養(yǎng)老金管理已成為廣大退休人員關(guān)注的重要課題.在固定繳費(fèi)(DC)型養(yǎng)老金計劃中, 投資風(fēng)險與參與者的壽命風(fēng)險由養(yǎng)老金管理者轉(zhuǎn)移到了養(yǎng)老金參與者的身上, 從而DC型養(yǎng)老金計劃更符合當(dāng)今養(yǎng)老金體系的管理現(xiàn)狀, 研究DC型養(yǎng)老金計劃問題具有重要的理論意義和實(shí)踐價值.

針對養(yǎng)老金問題, 傳統(tǒng)的建模方法一般應(yīng)用概率論對隨機(jī)動態(tài)控制系統(tǒng)進(jìn)行建模, 通過布朗運(yùn)動描述金融市場的隨機(jī)性, 利用動態(tài)規(guī)劃方法研究了最優(yōu)控制問題的動態(tài)系統(tǒng).在不確定理論的框架下, 通過典范Liu過程刻畫金融市場的不確定性, 運(yùn)用動態(tài)規(guī)劃法得到最優(yōu)性方程,從而得到最優(yōu)解.

假設(shè)養(yǎng)老金可以投資于無風(fēng)險資產(chǎn)和服從收益為不確定過程的風(fēng)險資產(chǎn), 養(yǎng)老金的繳費(fèi)與養(yǎng)老金成員的工資因素有關(guān), 那么工資過程可以看作是DC型養(yǎng)老金計劃控制問題中的背景狀態(tài)過程, 建立不確定最優(yōu)控制的樂觀值模型.

I 金融市場與財富過程

我們假設(shè)金融市場由兩種資產(chǎn)組成, 一種是無風(fēng)險資產(chǎn), 即銀行賬戶或債券, 另一種是單一風(fēng)險資產(chǎn), 即股票.無風(fēng)險資產(chǎn)在t時刻的價格S0(t)服從不確定過程:

其中,r是常數(shù), 代表利率.

從宏觀經(jīng)濟(jì)學(xué)角度來講, 風(fēng)險資產(chǎn)和工資都受經(jīng)濟(jì)影響, 我們可以認(rèn)為影響資產(chǎn)價格波動的宏觀經(jīng)濟(jì)因素和影響工資波動的宏觀經(jīng)濟(jì)因素是存在一定相關(guān)性的, 所以本文也為了計算的方便性, 不妨假設(shè), 驅(qū)動風(fēng)險資產(chǎn)價格過程的典范Liu過程與工資過程的典范Liu過程是同一個典范Liu過程.因此, 本文不確定性系統(tǒng)風(fēng)險資產(chǎn)價格過程與工資過程模型如下:

風(fēng)險資產(chǎn)在t時刻的價格S(t)服從以下不確定過程:

其中,μ是平均波動率,σ是風(fēng)險資產(chǎn)的波動率,C(t)是一個典范Liu過程.一般我們假設(shè)μ>r.

定義t時刻的工資水平為L(t), 且L(t)服從不確定增長, 即

其中,μL為工資的期望收益率,σL為由風(fēng)險資產(chǎn)波動導(dǎo)致工資變化的工資波動率,C(t)是一個典范Liu過程.假設(shè)θ是工資的比例, 養(yǎng)老金的繳費(fèi)是以θL(t)連續(xù)地流入養(yǎng)老金賬戶.

假設(shè)養(yǎng)老金管理者可以分別投資于(4.1)和(4.2)所描述的無風(fēng)險和風(fēng)險資產(chǎn), 并用該基金支付給養(yǎng)老金的退休成員.令x0表示基金的初始財富,ω(t)表示管理者在t時刻投資于風(fēng)險資產(chǎn)的投資策略,B(t)表示在t時刻養(yǎng)老金的支付率,X(t)表示在t時刻養(yǎng)老金的財富, 于是養(yǎng)老金的財富過程遵循如下不確定微分方程:

利用式(4.1), (4.2)和(4.3), 我們可以重寫式(4.4):

II 最優(yōu)化模型

我們假設(shè)基金的目標(biāo)是選擇最優(yōu)投資策略ω(t)和最優(yōu)支付率B(t), 使其二次損失函數(shù)的悲觀值達(dá)到最小, 即得到如下不確定養(yǎng)老金問題:

其中,α1>0,α2>0,α1+α2= 1.置信水平為α ∈(0,1],ρ >0為折扣率, e?ρs為折現(xiàn)因子.bm為固定的目標(biāo)繳費(fèi)率,xp為固定的目標(biāo)資金水平.

根據(jù)不確定動態(tài)規(guī)劃理論, 可將值函數(shù)定義為:

由引理2.1可知, 模型(4.6)等價于下列模型(4.7), 問題轉(zhuǎn)化為在樂觀值準(zhǔn)則下, 尋求目標(biāo)函數(shù)的最大值.

III 模型的求解

我們用不確定最優(yōu)性方程來解出最優(yōu)化問題(4.7)的顯性解.根據(jù)定理3.2給出的不確定最優(yōu)性方程, 有

其中,H(ω(t),B(t))代表花括號中的項.

現(xiàn)在求解式(4.8).

1) 若σLlJl+(σω(t)x+θσLl)Jx ≥0, 對花括號中式子關(guān)于ω(t)和B(t)求導(dǎo), 得

解出式(4.9), 式(4.10), 我們有

將它們代入式(4.8)得到:

方程兩邊同時乘以eρt:

然后求解偏微分方程(4.12).猜測解的形式為

在函數(shù)J(t,x,l)=e?ρtQ(x,l)兩邊分別對t,x, 和l求導(dǎo), 得

將它們代入式(4.12), 得下面的式子

假設(shè)Q(x,l)=A(x2+2kxl+gl2+ux+hl+f),則Qx=2Ax+2Akl+Au,Ql=2Agl+2Akx+Ah.代入(4.14)得到:

將式(4.15)分解為:

解式(4.16), 得到

因為

則

因此, 可以分別確定最優(yōu)投資策略和最優(yōu)支付率為:

2) 若σLlJl+ (σω(t)x+θσLl)Jx <0, 然后應(yīng)用上述過程中類似的方法, 也可得到結(jié)果(4.20), (4.21), 其中,

注最優(yōu)投資策略ω?(t), 最優(yōu)支付率B?(t)和最優(yōu)值J(t,x,l)與參數(shù)xp,bm,α,α1,α2,ρ,r,θ,μ,σ,μL,σL和養(yǎng)老金基金水平x, 工資水平l相關(guān).

定理4.1對于優(yōu)化模型(4.7), 給出最優(yōu)投資策略:

和最優(yōu)支付率:

5.結(jié)論

本文在不確定理論框架下, 運(yùn)用不確定最優(yōu)控制理論, 將背景因素納入不確定系統(tǒng)的最優(yōu)控制模型中, 提出了一種新的不確定系統(tǒng)最優(yōu)控制模型.利用不確定動態(tài)規(guī)劃法, 得到了帶背景狀態(tài)變量的不確定最優(yōu)性原理和不確定最優(yōu)性方程.作為應(yīng)用, 求解了具有不確定工資的養(yǎng)老金最優(yōu)投資策略問題, 通過求解不確定最優(yōu)性方程得到養(yǎng)老金最優(yōu)投資策略和最優(yōu)支付率的顯示解.通過對比分析, 我們發(fā)現(xiàn)在樂觀值準(zhǔn)則下, 養(yǎng)老金成員的工資水平越高, 其投資于風(fēng)險資產(chǎn)的比例就越高.