不確定擬哈密頓系統(tǒng)的隨機(jī)最優(yōu)控制*

胡榮春 應(yīng)祖光朱位秋

（浙江大學(xué)航空航天學(xué)院力學(xué)系，杭州 310027）

不確定擬哈密頓系統(tǒng)的隨機(jī)最優(yōu)控制*

胡榮春 應(yīng)祖光?朱位秋

（浙江大學(xué)航空航天學(xué)院力學(xué)系，杭州 310027）

本文提出了不確定擬哈密頓系統(tǒng)、基于隨機(jī)平均法、隨機(jī)極大值原理和隨機(jī)微分對(duì)策理論的一種隨機(jī)極大極小最優(yōu)控制策略.首先，運(yùn)用擬哈密頓系統(tǒng)的隨機(jī)平均法，將系統(tǒng)狀態(tài)從速度和位移的快變量形式轉(zhuǎn)化為能量的慢變量形式，得到部分平均的It?隨機(jī)微分方程；其次，給定控制性能指標(biāo)，對(duì)于不確定擬哈密頓系統(tǒng)的隨機(jī)最優(yōu)控制，根據(jù)隨機(jī)微分對(duì)策理論，將其轉(zhuǎn)化為一個(gè)極小極大控制問題；再根據(jù)隨機(jī)極大值原理，建立關(guān)于系統(tǒng)與伴隨過程的前向-后向隨機(jī)微分方程，隨機(jī)最優(yōu)控制表達(dá)為哈密頓控制函數(shù)的極大極小條件，由此得到最壞情形下的擾動(dòng)參數(shù)與極大極小最優(yōu)控制；然后，將最壞擾動(dòng)參數(shù)與最優(yōu)控制代入部分平均的It?隨機(jī)微分方程并完成平均，求解與完全平均的It?隨機(jī)微分方程相應(yīng)的Fokker-Planck-Kolmogorov（FPK）方程，可得受控系統(tǒng)的響應(yīng)量并計(jì)算控制效果；最后，將上述不確定擬哈密頓系統(tǒng)的隨機(jī)最優(yōu)控制策略應(yīng)用于一個(gè)兩自由度非線性系統(tǒng)，通過數(shù)值結(jié)果說明該隨機(jī)極大極小控制策略的控制效果.

不確定性，極大極小最優(yōu)控制，極大值原理，隨機(jī)平均法

引言

工程結(jié)構(gòu)動(dòng)力學(xué)大多可以通過擬哈密頓系統(tǒng)建立數(shù)學(xué)模型，擬哈密頓系統(tǒng)的隨機(jī)最優(yōu)控制研究具有重要的理論與實(shí)際意義.基于隨機(jī)動(dòng)態(tài)規(guī)劃原理的隨機(jī)最優(yōu)控制已有較多研究［1－3］.然而，隨機(jī)極大值原理是隨機(jī)最優(yōu)控制的另一個(gè)基本原理［2］，基于此的隨機(jī)最優(yōu)控制研究相對(duì)較少，需要進(jìn)一步深入研究.此外，實(shí)際結(jié)構(gòu)系統(tǒng)例如參數(shù)總存在一定的隨機(jī)性，相應(yīng)的數(shù)學(xué)模型具有不確定性.不確定擬哈密頓系統(tǒng)的基于隨機(jī)極大值原理的隨機(jī)最優(yōu)控制有待于研究發(fā)展.不確定系統(tǒng)的魯棒控制已有很多研究，而微分對(duì)策理論是解決不確定系統(tǒng)最優(yōu)控制的一個(gè)重要方法.本文簡要介紹一個(gè)不確定擬哈密頓系統(tǒng)的隨機(jī)最優(yōu)控制策略，它綜合運(yùn)用隨機(jī)平均法、隨機(jī)極大值原理與微分對(duì)策理論.

1 隨機(jī)平均控制系統(tǒng)

考慮如下多自由度受控的具有不確定參數(shù)的擬哈密頓系統(tǒng)：

式中Qi、Pi分別為廣義位移與廣義動(dòng)量，Q＝［Q1，Q2，…，Qn］T，P＝［P1，P2，…，Pn］T；H′＝H′（Q，P）為具有連續(xù)偏導(dǎo)數(shù)的哈密頓函數(shù)；cij＝cij（Q，P）表示擬線性阻尼系數(shù)；gil＝gil（Q）表示非線性恢復(fù)力；fik＝fik（Q，P）表示隨機(jī)激勵(lì)幅值；為ξk（t）隨機(jī)過程；分別表示參數(shù)與激勵(lì)的擾動(dòng)部分；ui＝ui（Q，P）表示反饋控制力.假定系統(tǒng)擾動(dòng)及控制力的量級(jí)分別為，其中ε為小量.擾動(dòng)參數(shù)都是有界的，即以及.

式中H為平均的哈密頓函數(shù)，B為標(biāo)準(zhǔn)Wiener過程.類似地，對(duì)于可積非共振情形，擬可積哈密頓系統(tǒng)的平均方程為：

式中H為獨(dú)立積分向量.系統(tǒng)控制的性能指標(biāo)［5］，如不確定擬不可積哈密頓系統(tǒng)（2）的有限時(shí)間控制指標(biāo)

式中E［.］表示平均算子；tf是控制的終止時(shí)間；L稱為成本函數(shù)；h為終止成本.

2 基于極大極小的隨機(jī)最優(yōu)控制

方程（2）和（6）組成不確定系統(tǒng)的隨機(jī)最優(yōu)控制問題.根據(jù)隨機(jī)微分對(duì)策理論，該控制問題可以表達(dá)為下列極小極大控制問題：

根據(jù)隨機(jī)極大值原理［2］，極小極大控制問題可以轉(zhuǎn)化為哈密頓函數(shù)Hc的極大極小控制問題，Hc滿足前后向隨機(jī)微分方程.哈密頓函數(shù)的極大極小條件為

式中λ、κ是伴隨過程，

對(duì)于二次型控制力的函數(shù)L：

式中R對(duì)稱正定，f（H）＞0.由式（9）右端項(xiàng)關(guān)于ui極大化，可得最優(yōu)控制［5］：

將最優(yōu)控制（12）和最壞擾動(dòng)（10）代入式（2），得到平均系統(tǒng)方程：

相應(yīng)的隨機(jī)極大值原理確定的一階伴隨方程為

方程（13）和（14）組成確定哈密頓函數(shù)Hc的前后向隨機(jī)微分方程，求解該方程得到受控系統(tǒng)的響應(yīng)和伴隨過程，從而確定最優(yōu)控制（12）.

假設(shè)伴隨過程λ（t）僅僅通過系統(tǒng)能量而隨時(shí)間t變化，即：

這里λ（H）是某個(gè)確定性函數(shù).對(duì)等式（15）應(yīng)用It?微分得到關(guān)于λ的微分方程，與（14）比較可得關(guān)于λ和κ的方程，簡化后得到關(guān)于λ（H）的方程：

給定邊界條件，求解該二階常微分方程，得到伴隨函數(shù)λ（H），代入式（12）即得最壞擾動(dòng)下的最優(yōu)控制［7］.

3 應(yīng)用簡例

考慮一個(gè)兩自由度不確定非線性控制系統(tǒng)：

式中a1，a2，b，c1和c2為理想情形的剛度和阻尼系數(shù)；為有界擾動(dòng)，滿足及；ξk（t）是強(qiáng)度為2Dk的獨(dú)立高斯白噪聲；ui為反饋控制力.該系統(tǒng)為擬不可積系統(tǒng)，運(yùn)用擬不可積哈密頓系統(tǒng)的隨機(jī)平均法，可得平均的It?微分方程（2）.對(duì)于性能指標(biāo)（6），根據(jù)極大極小控制策略確定最壞擾動(dòng)：

進(jìn)一步確定最優(yōu)控制力：

相應(yīng)的伴隨過程可由式（16）確定，其中f（H）＝s0＋s1H＋s2H2＋s3H3，u＝（u1，u2），R＝（R1，R2）.將最壞擾動(dòng)（18）和最優(yōu)控制力（19）代入式（13），得到平均方程，建立相應(yīng)的FPK方程，求解之可得概率密度，從而可估計(jì)受控系統(tǒng)的響應(yīng)方差，及系統(tǒng)響應(yīng)的相對(duì)降低，即：

圖1 系統(tǒng)第一個(gè)自由度位移的相對(duì)降低隨參數(shù)相對(duì)擾動(dòng)界b0／b的變化（Km是本文最優(yōu)控制的效果，Kn是平均參數(shù)系統(tǒng)最優(yōu)控制的效果）Fig.1 The relationships of control effectiveness（Km／Kn）to the ratio of parameter disturbance（b0／b）for the first DOF of the system（where Kmfor minimax control and Knfor nominal control）

圖2 極大極小控制系統(tǒng)與未控系統(tǒng)的位移和速度（虛線為未控系統(tǒng)響應(yīng)，實(shí)線為控制系統(tǒng)響應(yīng)）Fig.2 Time history of the system displacement and velocity（where dashed line for uncontrolled system，while solid line for minimax controlled system）

選取無量綱量參數(shù)值a1＝1，a2＝2，b＝2，c1＝c2＝0.5，R1＝R2＝0.4，s1＝0，s2＝2.0，s3＝0，b0＝0.2，λ（0）＝－3.7.圖1給出系統(tǒng)第一個(gè)自由度位移的相對(duì)降低隨參數(shù)相對(duì)擾動(dòng)界b0／b的變化情況，可見系統(tǒng)響應(yīng)的相對(duì)降低即控制效果隨擾動(dòng)參數(shù)界b0的增大而非線性地提高.本文介紹的極大極小最優(yōu)控制效果高于相應(yīng)的平均參數(shù)系統(tǒng)最優(yōu)控制.圖2為極大極小最優(yōu)控制前后系統(tǒng)的位移和速度樣本圖.研究表明：本文提出的極大極小最優(yōu)控制策略能有效地降低系統(tǒng)的速度和位移等響應(yīng)量，在控制效果方面明顯優(yōu)于平均參數(shù)系統(tǒng)最優(yōu)控制，而相應(yīng)的控制效率尚則有待于進(jìn)一步研究.

1 Stengel R F.Stochastic optimal control.New York，Wiley，1986

2 Yong JM，Zhou X Y.Stochastic controls，hamiltonian systems and HJB equations.New York，Springer-Verlag，1999

3 朱位秋，應(yīng)祖光.擬哈密頓系統(tǒng)非線性隨機(jī)最優(yōu)控制.力學(xué)進(jìn)展，2013，43（1）：39～55（Zhu W Q，Ying Z G.Nonlinear stochastic optimal control of quasi-Hamiltonian systems.Advances in Mechanics，2013，43（1）：39～55（in Chinese））

4 應(yīng)祖光，洪沁.一種基于隨機(jī)平均的最優(yōu)時(shí)滯控制方法.動(dòng)力學(xué)與控制學(xué)報(bào)，2008，6（3）：260～264（Ying Z G，Hong Q.An optimal time delay control method based on the stochastic averaging.Journal of Dynamics and Control，2008，6（3）：260～264（in Chinese））

5 陳林聰，朱位秋.隨機(jī)擾動(dòng)下簡單電力系統(tǒng)的可靠度反饋?zhàn)畲蠡?動(dòng)力學(xué)與控制學(xué)報(bào)，2010，8（1）：19～23（Chen L C，Zhu W Q.Feedback maximization of reliability of a simple power system under random perturbations.Journal of Dynamics and Control，2010，8（1）：19～23（in Chinese））

6 Zhu W Q，Yang Y Q.Stochastic averaging of quasi non-integrable Hamiltonian systems.ASME Journal of Applied Mechanics，1997，64（1）：157～164

7 Zhu W Q，Ying Z G，Soong T T.An optimal nonlinear feedback control strategy for randomly excited structural systems.Nonlinear Dynamics.，2001，24（1）：31～51

8 Ying ZG.A minimax stochastic optimal control for bounded-uncertain systems.Journal of Vibration and Control，2010，16（11）：1591～1604

9 Hu R C，Ying ZG，Zhu W Q.Stochastic minimax optimal control strategy for uncertain quasi-Hamiltonian systems using stochastic maximum principle.Structural and Multidisciplinary Optimization，2014，49（1）：69～80

Received 12 January 2015，revised 4 February 2015.

*The project Supported by the National Natural Science Foundation of China（11432012，11572279）

?Corresponding author E-mail：yingzg＠zju.edu.cn

STOCHASTIC OPTIMAL CONTROL OF UNCERTAIN QUASI-HAMILTONIAN SYSTEMS*

Hu Rongchun Ying Zuguang?Zhu Weiqiu
（Department of Mechanics，School of Aeronautics and Astronautics，Zhejiang University，Hangzhou 310027，China）

In this paper，a stochastic minimax optimal control strategy for uncertain quasi-Hamiltonian systems is proposed based on stochastic averaging method，stochastic maximum principle and stochastic differential game theory.Firstly，the partially averaged It? stochastic differential equations are derived using the stochastic averaging method for quasi-Hamiltonian systems，while the system state transits from rapid variable of velocity and displacement into the slow variable of energy.Secondly，the stochastic optimal control of Hamiltonian system with a given performance index is converted into a minimax control problem based on the stochastic differential game theory.Thirdly，forward-backward stochastic differential equations of the system and the adjoint process were established according to stochastic maximum principle.The worst disturbances are generated by minimizing the Hamiltonian function，while maximizing the minimal Hamiltonian function results in the worst-case optimal controls.The worst disturbances and the worst-case optimal controls are then substituting into the partially averaged It? equation in order to obtain the fully averaged It? equation.The responses of controlled system are predicted by solving the Fokker-Planck-Kolmogorov（FPK）equation associated with the fully averaged It? equation.Meanwhile，the control effectiveness can also be computed.Finally，the proposed stochastic optimal control of uncertain quasi-Hamiltonian system is applied into a two-DOF nonlinear system.The effectiveness of the minimax control strategy is validated by numerical results.

Hamiltonian system，uncertainty，minimax optimal control，stochastic maximum principle，stochastic averaging method

10.6052／1672-6553-2016-065

2015-01-12收到第1稿，2015-02-04收到修改稿.

*國家自然科學(xué)基金資助項(xiàng)目（11432012，11572279）

?通訊作者E-mail：yingzg＠zju.edu.cn