具有Markovian Switching的線性隨機系統(tǒng)

樊實

摘 要：隨機控制不光有廣闊的應用前景，而且是富有挑戰(zhàn)性的一個前沿研究課題。自動控制理論的各種傳統(tǒng)模型已不能完全滿足要求，應向隨機、非線性、分布參數(shù)等模型應用更廣的范圍去擴展。實際上系統(tǒng)很少能夠完全是線性的。因此，這種系統(tǒng)中使用的非線性濾波器和非線性的信號處理器，可同時辨識系統(tǒng)的自適應隨機控制方面和未知參數(shù)就成了重要的前沿研究課題。該文主要介紹了這一重要的研究課題，分析了Brown運動和Markov過程。

關鍵詞：線性隨機系統(tǒng) M-矩陣 Brown運動 Markov鏈

中圖分類號：TP273 文獻標識碼：A 文章編號：1672-3791（2015）10（c）-0199-03

20世紀初期， 產(chǎn)生隨機過程理論，當時是為了適應多個學科生物學、物理學、管理科學、通訊與控制等不同方面的需求發(fā)展起來的。1K. It（伊藤清）961年論隨機微分方程，創(chuàng)立量大理論隨機微分和隨機積分方程。

Kolmogorov和Wiener的濾波和預測理論，使從信號和噪聲的觀測中抽取有用信號，這是隨機控制理論的一個很有用的重要基礎。但由于Wiener-Kolmogorov的理論需要求一難求解的積分方程——Wiener-Hopf方程，所以實際上沒有得到廣泛應用。

1960年R. S. Bucy和Kalman提出了求解濾波和預測的相關的遞歸方法，對濾波和預測做了巨大特殊貢獻。在求解隨機控制問題中，依賴于動態(tài)的方法。1961年Tou（陶）和Joseph（約瑟夫）提出了相關分離定理，根據(jù)分離定理，可把線性隨機控制分解成兩部分求解，其中一部分是求解優(yōu)化中的最優(yōu)控制策略，而另一個部分就是常見的狀態(tài)估計器。確定性最優(yōu)控制策略與隨機最優(yōu)控制策略是相同的。

1 Brown運動和Markov過程

Brown運動是迄今為止性質(zhì)最豐富多彩了解得最清楚的隨機過程。在今天，Brown運動及其推廣已不僅是花粉粒子運動的模型，它已經(jīng)廣泛地出現(xiàn)在各種科學領域中。例如：它描述了像通訊噪聲、熱電子運動、市場價格波動的隨機干擾等等現(xiàn)象，它的軌道的性質(zhì)也是分析家注意的對象。同時，由于Brown運動與微分方程等有密切的聯(lián)系，它又成為聯(lián)系分析與概率論的重要渠道。

Markov過程是一類重要的隨機過程，它的原始模型是Markov鏈，由俄國數(shù)學家A. A. Markov于1906年提出。以后，Kolmogorov，F(xiàn)eller，Doob等人發(fā)展了這一理論。粗略來說，所謂Markov性可用下述直觀語言來刻畫：在已知系統(tǒng)當前時刻t的狀態(tài)Xt（現(xiàn)在）的條件下，它未來的演變（將來）不依賴于它以往（過去）的演變，簡言之，在已知“現(xiàn)在”的條件下，“將來”與“過去”無關。具有這種特性的隨機過程稱為Markov過程。 荷花池中一只青蛙的跳躍是Markov過程的一個形象化的例子[5]。

對于Markov過程，其所有可能取值的全體，稱為過程的狀態(tài)空間，其中的每一個元素，即所可能取得的值稱為狀態(tài)。若狀態(tài)空間是有限的，就稱為有限（狀態(tài)）Markov鏈。該文主要應用的是連續(xù)參數(shù)有限（狀態(tài)）Markov鏈。

定義 2.1.1[6]

如果對所有≥0和任何整數(shù)，0≤≤s。隨機過程≥0}滿足：

（1）

則稱是連續(xù)時間Markov鏈。

（1）式所表示的就是Markov性。

對于Markov鏈，描述它概率性質(zhì)最重要的是它在m時刻的一步轉(zhuǎn)移概率：

它表示在取值i的條件之下于下一時刻轉(zhuǎn)移到j的概率。 由于概率是非負的，而且，過程總要轉(zhuǎn)移到某一狀態(tài)去，所以顯然，應具有下列性質(zhì)：

≥0，

其中：I為Markov鏈的狀態(tài)空間。

當然，可以把過程留在原地也看成是一種“轉(zhuǎn)移”，即從i轉(zhuǎn)移到i。稱為Markov鏈的轉(zhuǎn)移概率矩陣。矩陣的第i+1行就是給定時，的條件概率分布。若Markov鏈的狀態(tài)總數(shù)是有限的，則就是有限階方陣，其階數(shù)正好是狀態(tài)空間中狀態(tài)的總數(shù)。

一般還可以定義時刻m的k步轉(zhuǎn)移概率：

≥1

同樣有：

≥0

通常還規(guī)定：

關于k步轉(zhuǎn)移概率，還有如下的Chapman - Kolmogorov方程：

隨機分析學，按照K. It的說法，是“增添了隨機的有趣的分析學”。他在1987年被授予Wolf獎時，對他貢獻的評價做出了高度評價：使他對Markov樣本的無窮小理論的發(fā)展有了一個完全的重新的認識。他給出的隨機分析就如同物理中的牛頓定律，提供了理解自然現(xiàn)象中的隱著的隨機和方程之間的直接的對應過程，主要是對布朗運動的函數(shù)的積分以及微分運算，由此而得到的理論是近現(xiàn)代純粹和應用概率論的堅強基石。

設標準Brown運動≥0}是定義在概率空間上的隨機過程?！?}是一族單調(diào)遞增的F的子域，即：

則是F的子域，且對≤s≤t，關于Ft可測，并且有：

及：

假設 2.2.1[7]

設隨機過程≥0}，對于T> 0滿足以下條件：

（1）關于可測；

（2）≥0，關于Ft可測，即

≤；

（3），≥0

定義 2.2.2[7]

設≥0}為標準Brown運動，≥0}滿足假設2.2.1. 任取0≤≤t，令

1≤k≤，，若和式：

當時，In均方極限[注]存在，則稱其極限：

為≥0}關于Brown運動≥0}的It積分。

所謂It微分方程就是指帶有白噪聲的微分方程。

在It積分定義的基礎上，考慮如下隨機微分方程：

（2）

由前所述，如果形式上記：

則即為白噪聲，這時方程（2）可以形式地寫為：

如果沒有這一項，則可視為普通的常微分方程；增加了這一項，則表示引入了隨機因素，于是不能再是普通的函數(shù)，必須是隨機過程了。

為了避開的奇異性質(zhì)，代替隨機微分方程，考慮如下It積分方程：

（3）

其中右邊第一個積分是均方積分；第二個積分是It隨機積分。 （2）式和（3）式可視為等價。

隨機分析使得那些在微分幾何和分析中通常只對全局光滑函數(shù)有意義的重要運算能推廣到一些極不光滑的函數(shù)上去。

2 結語

總之，最近幾十年來，隨機控制理論與方法在很多應用領域已有廣泛的應用。在某些重要工業(yè)的批量加工過程中，在阿波羅飛船的導航控制系統(tǒng)中都已經(jīng)使用了最小方差方法控制。又如，隨機控制理論已用于流量控制網(wǎng)絡最優(yōu)控制的模擬和實踐，水力電站的水庫管理就是成功的案例。隨機控制也已經(jīng)在某些經(jīng)濟問題的模型分析方法上成功應用，在風險投資，有價證券管理等的判決。當把前沿的隨機控制理論與物理實際背景仿真模型結合起來，把排隊理論與擾動分析也結合起來，這些用于算法設計的新工具新思路就使得通信及制造的網(wǎng)絡優(yōu)化方面發(fā)生了革命。

參考文獻

[1] 列爾涅爾，著.控制論基礎[M].劉定一，譯.北京：科學出版社，1981：2-3.

[2] 段廣仁.線性系統(tǒng)理論[M].哈爾濱：哈爾濱工業(yè)大學出版社，1998：1-3.

[3] 郭尚來.隨機控制[M].北京：清華大學出版社，1999.

[4] 澤夫·司曲斯.隨機微分方程理論及其應用[M].上海：上?？茖W技術文獻出版社，1986.

[5] 候振挺.馬爾可夫過程的Q-矩陣問題[M].湖南：湖南科學技術出版社，1994.

[6] 方兆本，繆柏其.隨機過程[M].合肥：中國科學技術大學出版社，2002：58.

[7] 林元烈.應用隨機過程[M].北京：清華大學出版社，2002.

[8] 復旦大學編.概率論 第三冊 隨即過程[M].人民教育出版社，1981.

[9] X.X.Liao， X.Mao. Exponential Stability of Stochastic Delay Interval System[J].Syst. Control Lett.，2000（40）： 171-181.

[10] Y.Ji and H.J.Chizeck. Controllability， stabilizability and continuous-time Markovian jump linear quadratic control[J].IEEE Trans. Automat.Control.，1990（34）：777-888.