隨機部分可積擬哈密頓系統(tǒng)的概率密度追蹤控制*

朱晨烜 柳揚 丁云飛

(1.上海電機學院, 上海 200240) (2.上海航天第八設計部, 上海 201109)

隨機部分可積擬哈密頓系統(tǒng)的概率密度追蹤控制*

朱晨烜1?柳揚2丁云飛1

(1.上海電機學院, 上海 200240) (2.上海航天第八設計部, 上海 201109)

目前非線性隨機系統(tǒng)的控制方法存在設計復雜, 計算成本高,以及缺乏穩(wěn)定性或收斂性證明等缺點,針對這些問題,本文在作者前期研究的基礎上發(fā)展了一種全新的針對部分可積的非線性隨機系統(tǒng)的反饋控制, 使得受控系統(tǒng)輸出的穩(wěn)態(tài)概率密度逼近事先給定的目標概率密度, 并利用Lyapunov函數(shù)法證明受控系統(tǒng)的收斂性.數(shù)學仿真結果證明了這種方法的可行性和正確性.

等效非線性系統(tǒng)法, 隨機反饋控制, Lyapunov函數(shù)法, 概率密度函數(shù), 部分可積擬哈密頓系統(tǒng)

引言

物體運動、生物演化、工業(yè)過程、經(jīng)濟活動都不可避免會受到隨機擾動,它們可以被看作是某些隨機系統(tǒng)的輸出過程.通常情況下會針對一些期望的目標設計隨機系統(tǒng)的控制策略.因此,幾十年來有關隨機系統(tǒng)的目標追蹤控制得到了廣泛的發(fā)展.對于線性或線性化得到的系統(tǒng),在高斯激勵下輸出仍為高斯過程,追蹤控制目標為給定的期望和方差[1-4].而對于非高斯激勵下的線性系統(tǒng)或任一激勵下的非線性系統(tǒng),其輸出往往是非高斯的,僅以期望和方差作為控制目標是遠遠不夠的.例如,以纖維的長度分布為控制對象的造紙工業(yè)以及工業(yè)鍋爐中火焰的分布形態(tài)控制等等.

因此近十幾年里,展開了以概率密度為控制目標的追蹤控制研究,并逐漸成為隨機系統(tǒng)控制領域的研究熱點：Kreucher等提出了一種對多目標概率密度進行遞歸估算,從而追蹤多個運動目標的方法[5]；Guo和Yin在前期研究的基礎上發(fā)展了一種魯棒概率密度函數(shù)控制方法,針對具有建模誤差和不確定性的時滯系統(tǒng),使得系統(tǒng)輸出的概率密度能夠有效地追蹤目標概率密度,并用前向的多步非線性累積成本函數(shù)來提高追蹤性能[6]；Yi等提出了一種基于兩步神經(jīng)網(wǎng)絡的受迫的比例積分控制策略用于對目標概率密度的追蹤控制[7]；Pigeon等人設計了一類線性開關控制器用于一維系統(tǒng)的概率密度控制[8]；Karny和他的合作者提出了一類系統(tǒng)完整概率控制設計方法[9,10].Annunziato和Brozi基于Fokker-Plank方程發(fā)展了一種多自由度隨機系統(tǒng)以概率密度為目標的最優(yōu)控制[11]；Zhou等人設計了一種針對非高斯激勵下的單自由度不確定隨機系統(tǒng)的魯棒追蹤控制方法,使得系統(tǒng)輸出概率密度與目標值的誤差在給定時間內(nèi)達到容許范圍[12]；針對多種外激共同作用下的具有分段線性剛度的單自由度系統(tǒng),Yurchenko等人在動態(tài)規(guī)劃與隨機平均的基礎上給出了系統(tǒng)概率密度控制的方法[13]；Xing和Wu將概率密度控制方法應用到量子系統(tǒng)中[14]；另外,將隨機分布控制與迭代學習算法相結合,Yi和Sun等人給出了非高斯激勵下單輸出系統(tǒng)的最優(yōu)追蹤控制[15]；Edward A. Buehler等人提出了一種以穩(wěn)態(tài)概率密度為目標的非線性系統(tǒng)的模型預測控制[16]；Wang和Qian應用了一種基于隨機非線性系統(tǒng)FPK方程近似解的概率密度控制方法[17].

需要注意的是,上述控制方法多由數(shù)字優(yōu)化計算得到,但這類方法對于分析閉環(huán)系統(tǒng)的穩(wěn)定性和魯棒性等存在很大的難度,因為數(shù)字優(yōu)化過程中幾乎不存在固定的閉環(huán)系統(tǒng).

最理想的控制設計方法應該基于隨機系統(tǒng)的精確解,但是就目前為止只得到了少部分的隨機微分方程的精確平穩(wěn)解[18-21].而如何利用現(xiàn)有的精確平穩(wěn)解來解決控制律設計就成了關鍵問題.本文基于等效非線性系統(tǒng)法求解多自由度非線性隨機近似平穩(wěn)解的方法,發(fā)展了部分可積擬哈密頓系統(tǒng)以概率密度為目標的嶄新的非線性隨機最優(yōu)控制方法.該法簡單,能給出控制力的解析表達式,且能夠證明系統(tǒng)最終必定逼近預定的概率密度.

1 部分可積擬哈密頓系統(tǒng)的等效非線性系統(tǒng)法

等效非線性系統(tǒng)法[19]是一種能保留非線性特性的求近似平穩(wěn)解的解析方法.在高斯白噪聲激勵下多自由度耗散的哈密頓系統(tǒng)的等效非線性方法的基本思想是:給定一個得不到精確平穩(wěn)解的非線性隨機動力學系統(tǒng),尋求一個既有精確平穩(wěn)解的非線性隨機動力學系統(tǒng),又使得兩系統(tǒng)之差在某種統(tǒng)計意義上最小.然后,以后者之精確平穩(wěn)解作為前者之近似平穩(wěn)解.

i,j=1,2,…,n;k=1,2,…,m

(1)

其中,Qi和Pi分別是廣義位移和廣義動量；Q=[Q1,Q2,…,Qn]T;P=[P1,P2,…,Pn]T；H=H(Q,P)是哈密頓函數(shù)；Mij(Q,P)是阻尼參數(shù)；σik(Q,P)是隨機激勵的強度；Bk(t) 是標準Wiener過程.

式(1)中Mij不滿足存在精確平穩(wěn)解的條件.其等效非線性隨機動力學系統(tǒng)如下所示：

i,j=1,2,…,n;k=1,2,…,m

(2)

它具有與給定系統(tǒng)相同的哈密頓系統(tǒng)與隨機激勵,僅阻尼系數(shù)不同,它還具有精確平穩(wěn)解.并有如下三種具有明確物理意義的等效準則：給定系統(tǒng)與等效系統(tǒng)阻尼力之差均方值最??；單位時間內(nèi)給定系統(tǒng)與等效系統(tǒng)阻尼力耗能之差均方值最??；給定系統(tǒng)與等效系統(tǒng)的首次積分時間變化率期望相等.下面簡要給出各種等效情況.(注意：本文中出現(xiàn)的大寫字母表示隨機過程或隨機變量,小寫字母表示確定的量.)

1.1 非共振情況

設與給定系統(tǒng)(1)相應的哈密頓系統(tǒng)為部分可積非共振, 已知r(1

s=1,2,…,r

(3)

式中hs(H)=?λ/?Hs,等效系統(tǒng)與給定系統(tǒng)之差為:

(4)

由上面提出的三種等效準則可以確定hs(H). 第一種等效準則的必要條件是:

(5)

第二種等效準則的必要條件是:

(6)

第三種等效準則的必要條件是:

(7)

1.2 共振情況

設與給定系統(tǒng)(1)相應的哈密頓系統(tǒng)為部分可積共振,此系統(tǒng)存在β個內(nèi)共振關系,引入角變量組合ψu,u=1,2,…,β. 此時,等效系統(tǒng)(2)具有如下的精確平穩(wěn)解:

η=1,2,…,r-1

(8)

式中,hη=?λ?Iη,hr=?λ/?Hr,hr+u=?λ/?ψu,等效系統(tǒng)與給定系統(tǒng)之差為:

(9)

按照第一種等效準則,其必要條件如式(5)；按第二種等效準則,其必要條件如式(6)；按照第三種等效準則,其必要條件如式(7).其中s依次為η,r,r+u,共r+β個.

兩種情況下的各種等效準則的具體求解過程可參看文獻[21].

2 追蹤控制設計

2.1 設計過程

σik(Q,P)dBk(t)

i,j=1,2,…,n;k=1,2,…,m

(10)

σik(Q,P)dBk(t)

(11)

與上式相應的FPK方程為

(12)

假設目標概率密度為：

ρ=Cexp[-φ(Q,P)]

(13)

(14)

(15)

2.1.1 部分可積非共振

在非共振情況下, 目標概率密度滿足如下形式：

(16)

將式(16)代入式(12),可得到耗散控制力為:

i,j=1,…,n;s=1,…,r

(17)

2.1.2 部分可積共振

在共振情況下,目標概率密度滿足如下形式：

(18)

式中,Iη=Iη(qη,pη);Hr=Hr(qr,…,qn,pr,…,pn);ψu=ψu(q1,…,qr-1,p1,…,pr-1).

將式(18)代入式(12),可得到耗散控制力為:

i,j=1,…,n;s=1,…,r-1;u=1,…,β

(19)

2.2 輸出過程的收斂性

引理1：對任一高斯白噪聲激勵系統(tǒng):

i=1,2,…,n

(20)

(21)

證明： 詳見文獻[22].

(22)

3 算例

(1)考慮非線性阻尼耦合的兩個線性振子與一個兩自由度非線性振子受高斯白噪聲外激,其運動方程為：

(23)

式中,αij為常數(shù);ξk(t)是強度為2Dk的獨立高斯白噪聲. 與式(23)相應的Hamilton系統(tǒng)的Hamilton函數(shù)為:

H=H1+H2+H3

(24)

系統(tǒng)(23)經(jīng)轉換,按存在精確平穩(wěn)解的條件,其等效的受控非線性隨機系統(tǒng)為

dQi=(?H/?Pi)dtdPi= -[?H/?Qi+(bij/2)hi(H)?H/?Pi+ui]dt+

σijdBi(t)

bii=2Di,bij=0,i≠j,i,j=1,…,4

(25)

式中,

(26)

設目標概率密度為:

(27)

其中,

(28)

顯然,目標概率密度的指數(shù)部分是可積非共振的,由(15)式可以直接將未控哈密頓函數(shù)轉化為與其相同的可積非共振形式.

(29)

將式(27)與相應函數(shù)代入(17)式即可得到:

(30)

按第一種等效準則,若滿足條件:

α13+α14=α15,α23+α24=α253(α33D3+α44D4)+α34D3+α43D4=2(α35D3+α45D4)

(31)

可解得:

(D3+D4)

(32)

按第二種等效準則,若滿足條件:

α13+α14=α15,α23+α24=α255(α33D3+α44D4)+α34D3+α43D4=3(α35D3+α45D4)

(33)

可解得:

(34)

按第三種等效準則,若滿足條件:

α13+α14=α15,α23+α24=α25

3(α33D3+α44D4)+α34+α43=2(α35+α45)

(35)

可解得:

(36)

為了證明轉移概率密度會隨著時間逐漸逼近目標概率密度,引入如下李亞普諾夫函數(shù):

(37)

V(q,p)的導數(shù)為:

(38)

圖1 未控系統(tǒng)的平穩(wěn)概率密度(虛線)與受控系統(tǒng)的目標概率密度(實線)Fig. 1 PDFs of the uncontrolled system (dash) and the target value (solid)

圖2 受控系統(tǒng)速度的概率密度隨時間的變化過程Fig. 2 Evolution of ρ(q1,t)

圖3 目標聯(lián)合平穩(wěn)概率密度(SPDF)Fig. 3 Target joint SPDF

圖4 按一,三準則得到的受控系統(tǒng)聯(lián)合概率密度Fig. 4 Joint SPDF under the first or third law

圖5 按第二準則得到的受控系統(tǒng)聯(lián)合概率密度Fig. 5 Joint SPDF under the second law

(2)考慮給定系統(tǒng)(23)的共振情況,相應Hamilton系統(tǒng)存在內(nèi)共振關系ω1=ω2,作用-角變量為I1,2=H1,2/ω1,2,θ1,2=arctan[p1,2/(ω1,2q1,2)], 引入角變量組合ψ=θ1-θ2.由式(9)可得給定系統(tǒng)與等效系統(tǒng)之差為:

(39)

其中

M12=α16,

M21=α26,

(40)

按第一種準則,在條件(31)滿足時,有:

(α32D3+α42D4)ω2I2+(α35D3+α45D4)×

(41)

按第二種準則,在條件(33)滿足時,有:

(α32D3+α42D4)ω2I2+(α35D3+α45D4)×

(42)

按第三種準則,在條件(35)滿足時,有:

(α32D3+α42D4)ω2I2+(α35+α45)×

(43)

李雅譜諾夫函數(shù)仍為(37)式所示,其導數(shù)同樣為(38)式,因此滿足收斂條件.圖6為未控系統(tǒng)的平穩(wěn)概率密度與受控系統(tǒng)的目標概率密度. 圖7顯示了受控系統(tǒng)轉移概率密度ρ(p1,t)隨時間變化的過程.可以看出隨著時間的增加,轉移概率密度ρ(p1,t)以阻尼力之差均方值最小(第一準則)或首次積分時間變化率期望相等(第三準則)或逼近目標概率密度ρ(p1). 從而驗證控制力(29),(40)是非常有效的,不僅使系統(tǒng)輸出逼近目標概率密度,而且滿足一定意義上的誤差最小.其中,ω1=ω2=1,其它參數(shù)均與例1中相同.

圖6 未控系統(tǒng)的概率密度(虛線)與目標概率密度(實線)Fig. 6 PDFs of uncontrolled system (dash) and target value (solid)

圖7 受控系統(tǒng)位移的概率密度隨時間的變化過程Fig. 7 Evolution of ρ(p1,t)

4 結論

本文發(fā)展了基于等效非線性系統(tǒng)方法的部分可積擬哈密頓系統(tǒng)輸出概率密度的追蹤控制,并且給出了輸出過程的收斂性證明.與以往的控制方法相比,這一控制設計方法有設計過程簡單,無需對瞬態(tài)轉移概率密度進行實時監(jiān)測,能夠保證系統(tǒng)收斂等優(yōu)點.該控制技術不但可以將非高斯輸出轉變?yōu)楦咚馆敵?而且反之亦然.由于非線性隨機系統(tǒng)在工程中的普遍存在性,這一控制技術具有非常重要的意義和廣闊的應用前景.等效非線性系統(tǒng)法利用協(xié)方差等指標檢驗系統(tǒng)之間的“等價”能力.但對于非高斯激勵的系統(tǒng),方差等也不能作為衡量其接近程度的指標.因此我們今后的工作要進一步探討非高斯激勵下系統(tǒng)輸出概率密度的追蹤控制問題.

1 Astr?m K J, Wittenmark B. Self-tuning controllers based on pole-zero placement.IEEProceedings, 1980,127(3):120～130

2 Skelton R E, Iwasaki T, Grigoriadis K M. A unified algebraic approach to linear control design. Bristol, PA:Taylor & Francis, 1998

3 Lu J B, Skelton R R. Covariance control using closed-loop modelling for structures.EarthquakeEngineering&StructuralDynamics, 1998,27(11):1367～1383

4 Wojtkiewicz S F, Bergman L A. Moment specification algorithm for control of nonlinear systems driven by Gaussian white noise.NonlinearDynamics, 2001,24(1):17～30

5 Kreucher C, Kastella K, Alfred OH III. Multi-target tracking using the joint multi-target probability density.IEEETransactionsonAerospaceandElectronicSystems, 2005,41(4):1396～1414

6 Guo L, Yin L. Robust PDF control with guaranteed stability for non-linear stochastic systems under modeling errors.IETControlTheoryandApplications, 2009,3(5):575～582

7 Yi Y, Guo L, Wang H. Constrained PI tracking control for output probability distributions based on twostep neural networks.IEEETransactionsonCircuitsandSystemsPartI, 2009,56(7):1416～1426

8 Pigeon B, Perrier M, Srinivasan B. Shaping probability density functions using a switching linear controller.JournalofProcessControl, 2011,21(6):901～908

9 Herzallah R, Karny M. Fully probabilistic control design in an adaptive critic framework.NeuralNetworks, 2011,24(10):1128～1135

10 Karny M, Kroupa T. Axiomatization of fully probabilistic design.InformationSciences, 2012,186:105～113

11 Annunziato M, Brozi A. A Fokker-Plank control framework for multidimensional stochastic processes.JournalofComputationalandAppliedMathematics, 2013,237(1):487～507

12 Zhou J L ,Li G T, Wang H. Robust tracking controller design for non-Gaussian singular uncertainty stochastic distribution systems.Automatica, 2014,50(4):1296～1303

13 Yurchenko D, Iwankiewicz R, Alevras P. Control and dynamics of a SDOF system with piecewise linear stiffness and combined external excitations.ProbabilisticEngineeringMechanics, 2014,35(1):118～124

14 Xing Y F, Wu J. Probability density function control of quantum systems.InternationalJournalofModernPhysicsB, 2011,25(17):2289～2297

15 Yi Y, Sun C Y, Guo L. Probabilistic tracking control for non-Gaussian stochastic process using novel iterative learning algorithms.InternationalJournalofSystemsScience, 2013,44(7):1325～1332

16 Buehler E A, Paulson J A, Mesbah A. Lyapunov-based stochastic nonlinear model predictive control: Shaping the state probability density functions, In: Proceedings of the American Control Conference, Boston, To appear, 2016

17 Wang L Z, Qian F C. Technique of probability density function shape control for nonlinear stochastic systems.JournalofShanghaiJiaotongUniversity(Science), 2015,20(2):129～134

18 Caughey T K, Ma F. The steady-state response of a class of dynamical-systems to stochastic excitation.JournalofAppliedMechanics-TransactionsoftheASME, 1982,49:629～632

19 Lin Y K, Cai G Q. Exact stationary response solution for 2nd-Order nonlinear-systems under parametric and external white noise excitations.JournalofAppliedMechanicsTransactionsoftheASME, 1988,55(3):702～705

20 Zhu W Q. Exact solutions for stationary responses of several classes of nonlinear systems to parametric and (or) external white noise excitations.AppliedMathematicsandMechanics, 2012,38(2):197～205

21 Zhu W Q, Lei Y. Equivalent nonlinear system method for stochastically excited and dissipated integrable Hamiltonian systems.JournalofSound&Vibration, 2004,274(3-5):1110～1122

22 Caughey T K. Nonlinear theory of random vibrations.AdvancesinAppliedMechanics, 1971,11: 209～253

*The project supported by the National Natural Science Foundation of China under Grant(11302123), Innovation Program of Shanghai Municipal Education Commission under Grant(14YZ163) and “Chen Guang” project supported by Shanghai Municipal Education Commission and Shanghai Education Development Foundation under Grant(13CG63)

? Corresponding author E-mail: zhucx@sdju.edu.cn

12 April 2016,revised 9 May 2016.

TRACKING CONTROL FOR STATIONARY PROBABILITY DENSITY OF STOCHASTIC PARTIAL INTEGRABLE SYSTEM*

Zhu Chenxuan1?Liu Yang2Ding Yunfei1

(1.ShanghaiDianjiUniversity,Shanghai200240,China) (2.The8thInstituteofShanghaiAcademyofSpaceflightTechnology,Shanghai200233,China)

Current control methods for nonlinear stochastic system have the shortcomings such as complex design procedures, high costs, and lack of stability and convergence proof. Therefore, based on the equivalent nonlinear system method for obtaining the approximate stationary solutions of the nonlinear stochastic systems, this paper proposes an innovative design procedure for the feedback control of stochastic nonlinear system. The control aims at making the statistical information of the output steady-state probability density function (SPDF) follow those of a target SPDF. Moreover, Lyapunov function method is presented to verify the convergence of the controlled systems. Simulation results are also given to illustrate the feasibility and efficiency of this innovative design procedure.

equivalent nonlinear system method, stochastic feedback control, Lyapunov function, probability density function (PDF), partial integrable system

*國家自然科學基金資助項目(11302123),上海市教委科創(chuàng)項目(14YZ163),上海市“晨光計劃”(13CG63)

10.6052/1672-6553-2016-039

2016-04-12收到第1稿,2016-05-09收到修改稿.

? 通訊作者 E-mail: zhucx@sdju.edu.cn