切換系統(tǒng)線性二次最優(yōu)控制：動態(tài)規(guī)劃方法

呂東方，畢永利，叢 屾

(黑龍江大學(xué) 機(jī)電工程學(xué)院，哈爾濱 150080)

切換系統(tǒng)是若干具有相似屬性的子系統(tǒng)在切換信號驅(qū)動下構(gòu)成的動力學(xué)系統(tǒng)，根據(jù)切換信號的規(guī)律與作用，可以將其歸結(jié)為下述情形：①切換信號具有可操作性，可視作邏輯控制器；②切換信號不具有可操作性，但是其隨時間的演化規(guī)律是確定已知的，例如滿足周期性與遍歷循環(huán)性；③切換信號具有任意性，其規(guī)律完全未知；④切換信號隨時間的演化規(guī)律滿足一定的統(tǒng)計(jì)規(guī)律，Markov跳變系統(tǒng)即為這類切換系統(tǒng)。

數(shù)字控制技術(shù)廣泛應(yīng)用使得具有邏輯屬性的控制規(guī)律與作用的研究日益重要，作為一種特殊的邏輯控制器，切換控制的機(jī)理及其對于系統(tǒng)控制性能的影響成為近年控制理論界研究的熱點(diǎn)問題。理論分析表明，對于時變參數(shù)系統(tǒng)，非線性系統(tǒng)等復(fù)雜系統(tǒng)，切換控制可以取得了良好的效果。

考慮將切換作為邏輯控制變量，通過與連續(xù)控制器的協(xié)同作用實(shí)現(xiàn)切換系統(tǒng)的線性二次最優(yōu)控制。文獻(xiàn)[1-2]考慮了自治切換系統(tǒng)的最優(yōu)控制問題，子系統(tǒng)之間的切換通過狀態(tài)空間中的超平面觸發(fā)。文獻(xiàn)[3]試圖從更為一般的角度分析切換控制系統(tǒng)的基本理論，將其歸納入“混雜控制系統(tǒng)”的理論范疇中：自治與可控的切換現(xiàn)象均被視為一種特殊的“狀態(tài)轉(zhuǎn)移”，為從更為廣義的觀點(diǎn)研究切換控制提供了可能性。文獻(xiàn)[4]將優(yōu)化控制的方法應(yīng)用于切換系統(tǒng)鎮(zhèn)定問題，給出了平面切換系統(tǒng)可鎮(zhèn)定的充分必要條件。文獻(xiàn)[5]給出了離散時間下最優(yōu)控制的一個必要條件。文獻(xiàn)[6]考慮的逐段線性系統(tǒng)具有與之相似的運(yùn)行機(jī)理，其最優(yōu)控制問題局限于構(gòu)造子系統(tǒng)的狀態(tài)反饋控制器以實(shí)現(xiàn)特定的控制性能，而切換的優(yōu)化功能未能得到體現(xiàn)。文獻(xiàn)[7]通過弱化經(jīng)典最優(yōu)控制理論中的一些假設(shè)條件，將Pontryagin最大值原理推廣至切換控制系統(tǒng)的理論框架內(nèi)，描述了最優(yōu)切換控制的若干基本屬性。文獻(xiàn)[8]給出了一個定義在Lie群上的最優(yōu)時間控制存在的必要條件。文獻(xiàn)[9]通過引入向量值函數(shù)與“切換障礙算子”，利用動態(tài)規(guī)劃方法分析了切換控制系統(tǒng)的最優(yōu)控制問題，并將最優(yōu)切換策略的存在性判別與設(shè)計(jì)問題歸結(jié)為一組非線性Hamilton-Jacobi-Bellman方程解的存在性判別問題，同時利用“變分不等方程”與“粘性解”刻畫解的存在性及其性態(tài)；這些數(shù)學(xué)工具較為復(fù)雜，其結(jié)論的實(shí)用性不強(qiáng)。對于由兩個子系統(tǒng)構(gòu)成的切換系統(tǒng)，文獻(xiàn)[10]將切換時刻作為“控制參數(shù)”，通過計(jì)算控制性能指標(biāo)的對于切換時刻的變分的靈敏度及傳統(tǒng)的優(yōu)化計(jì)算方式給出最優(yōu)切換時刻的設(shè)計(jì)算法。文獻(xiàn)[11-12]包含了切換系統(tǒng)最優(yōu)控制發(fā)展的更為詳盡的介紹。

對于完整的控制系統(tǒng)而言，邏輯控制通常是較之于反饋控制單元更高層面上結(jié)構(gòu)單元，承擔(dān)整個系統(tǒng)的協(xié)調(diào)與整合的任務(wù)，因此其控制規(guī)律的設(shè)計(jì)，對于系統(tǒng)運(yùn)行性能具有至關(guān)重要的作用。針對時變線性子系統(tǒng)，利用動態(tài)規(guī)劃的基本方法與原理，給出了最優(yōu)反饋控制與切換控制聯(lián)合設(shè)計(jì)的過程，同時論證了這種最優(yōu)控制對的存在性準(zhǔn)則，并且給出了次優(yōu)控制設(shè)計(jì)方案。

由于切換系統(tǒng)最優(yōu)控制的復(fù)雜性，現(xiàn)有結(jié)果一般只能得到次優(yōu)控制方案。相對于此，基于動態(tài)規(guī)劃方法給出的反饋控制設(shè)計(jì)可以達(dá)到理論上的最優(yōu)化；在最優(yōu)控制方案不可行時，給出了一個較為易于實(shí)現(xiàn)的次優(yōu)控制方案。

1 問題描述

由若干非線性子系統(tǒng)：

(1)

構(gòu)成的切換控制系統(tǒng)描述如下：

s(t)=π(x(t),s(t-)),t≥0

(2)

其中x∈Rn,u∈Rm,s∈{1,…,N}分別為系統(tǒng)狀態(tài)，連續(xù)控制輸入及切換控制；從最優(yōu)控制理論的角度出發(fā)，對于時變子系統(tǒng)：

fi:R+×Rn×Rm→Rn,i∈{1,…,N}

假設(shè)其對于各個變量具有一階連續(xù)偏導(dǎo)數(shù)。

容許切換控制集與容許連續(xù)控制集分別定義如下：

(3)

設(shè)yt,x(·)=yt,x(·,u(·),s(·))表示微分方程：

(4)

在初始條件(t,x),t≥0下的解。

對于指標(biāo)i∈{1,…,N}，其性能指標(biāo)為可測函數(shù)：

Li:R+×Rn×Rm→R+

(5)

同時設(shè)h:Rn→R+為連續(xù)函數(shù)。

問題1 對于給定初始值x(0)=x0，是否存在最優(yōu)控制對及相應(yīng)的系統(tǒng)解{u(·),s(·),y0,x0(·)}使得性能指標(biāo)：

(6)

達(dá)到最小值，并求出最優(yōu)控制對及最優(yōu)性能指標(biāo)。

問題2 如果問題1的答案是否定的，那么尋求性能指標(biāo)的次優(yōu)解及相應(yīng)的次優(yōu)控制對。

注1 對于容許控制(3)，微分方程滿足所謂的Caratheodory條件，可以嚴(yán)格論證方程解的存在性，唯一性，以及對于初值的連續(xù)可微性，因此對于上述問題只要存在最優(yōu)控制對(u(·),s(·))∈Ξ[t,T]×Ψ[t,T]，則相應(yīng)的系統(tǒng)最優(yōu)解唯一確定。

2 初步結(jié)果

根據(jù)注1，利用動態(tài)規(guī)劃的方法與基本原理分析問題1，為此引入值函數(shù)如下：

(7)

其邊界條件V(T,x)=h(x)。下述定理是動態(tài)規(guī)劃理論的主要理論體系。

定理1 值函數(shù)V(·,·)關(guān)于其自變量是連續(xù)的。

定理2 給定初始條件(t,x)∈[0,T]×Rn，對于?θ∈[t,T]，成立下述關(guān)系式：

(8)

定理3 假定值函數(shù)具有一階連續(xù)偏導(dǎo)數(shù)，那么其滿足下列Hamilton-Jacobi-Bellman方程：

(9)

這里H:R+×Rn×Rm→R為Hamilton函數(shù)：

(10)

其中Hi(t,x,p),i∈{1,…,N}為相應(yīng)子系統(tǒng)的Hamilton函數(shù)。

注2 對于比較特殊情形，比如線性二次最優(yōu)控制問題，值函數(shù)(3)具有一階連續(xù)偏導(dǎo)數(shù)；在一般情形下，值函數(shù)只滿足連續(xù)性，因此HJB方程在經(jīng)典意義下的解并不存在，為此需要在更為廣泛的意義下討論其解的存在性及相關(guān)性態(tài)(粘性解)。

3 主要結(jié)果

下面討論切換系統(tǒng)線性二次最優(yōu)控制問題，為此將分別考慮子系統(tǒng)為線性時變與線性時不變兩種情形。

3.1 時變子系統(tǒng)的情形

時變線性切換系統(tǒng)描述如下：

s(τ)=π(x(τ),s(τ-)),τ≥0

(11)

考慮定義于有限區(qū)間[0,T]上的二次型性能指標(biāo)：

(12)

線性二次最優(yōu)控制問題的值函數(shù)具有正定二次型的形式：

(13)

注3 對于切換線性控制系統(tǒng)，定義式(13)的值函數(shù)為連續(xù)逐段光滑函數(shù)，即其一階偏導(dǎo)數(shù)幾乎處處存在，并且逐段連續(xù)，因此其在經(jīng)典意義下幾乎處處滿足HJB方程。

根據(jù)最優(yōu)性原理(8)，對于給定初始條件(0,x0)及任意指標(biāo)i∈{1,…,N}與任意時刻0<θ

(14)

注4 由此說明，合理的運(yùn)用切換控制，可以達(dá)到較之于非切換控制系統(tǒng)更加優(yōu)越性能指標(biāo)。但是如果切換控制的運(yùn)用不適當(dāng)，則將惡化系統(tǒng)的控制性能。

下面論證切換系統(tǒng)線性二次最優(yōu)控制的存在性、可解性以及最優(yōu)控制對的構(gòu)造。

對于每個子系統(tǒng)，在有限區(qū)間[0,T]上，由HJB方程導(dǎo)出的微分Riccati方程具有如下形式：

τ∈[0,T],i∈{1,…,N}

(15)

具有邊界條件Pi(T)=KT,i∈{1,…,N}。

根據(jù)假設(shè)1，微分Riccati方程(15)存在有界正定解，并且具有一階連續(xù)導(dǎo)數(shù)[4]。根據(jù)連續(xù)性，下述定義是有意義的：

(16)

依據(jù)最優(yōu)性原理，在末端區(qū)間[T1,T]上i1子系統(tǒng)可以實(shí)現(xiàn)性能指標(biāo)的最小化。根據(jù)動態(tài)規(guī)劃基本原理“全局最優(yōu)解必定為局部最優(yōu)解”，相應(yīng)的連續(xù)反饋控制器設(shè)計(jì)為：

(17)

從而，問題1可以歸結(jié)為子區(qū)間[0,T1]上加以考慮。

類似地，對于每個子系統(tǒng)，在子區(qū)間[0,T1]上，由HJB方程導(dǎo)出的微分Riccati方程具有如下形式：

τ∈[0,T1],i∈{1,…,N}

(18)

具有邊界條件Pi(T1)=Pi1(T1),i∈{1,…,N}。由此最優(yōu)切換時刻確定如下：

(19)

在末端區(qū)間[T2,T1]上i2子系統(tǒng)可以實(shí)現(xiàn)性能指標(biāo)的最小化，相應(yīng)的連續(xù)反饋控制器設(shè)計(jì)為：

(20)

對于切換系統(tǒng)線性二次最優(yōu)控制問題，重復(fù)上述過程，得到的最優(yōu)控制對設(shè)計(jì)算法與構(gòu)造方案。

算法1 ①在問題的原始區(qū)間[0,T]上，對于每個子系統(tǒng)，分別求解由HJB方程導(dǎo)出的具有邊界條件的微分Riccati方程；②沿時間軸“逆向”比較微分Riccati方程的解，以確定切換時刻T1及最優(yōu)的末端控制對；③將最優(yōu)控制問題的定義區(qū)間縮小至[0,T1]，并且根據(jù)②確定其邊界條件；④重復(fù)②與③，并確定最優(yōu)切換時刻及相應(yīng)的最優(yōu)控制對，直至上述過程到達(dá)零點(diǎn)。

依據(jù)(16，17；19，20；…)，得到主要定理如下：

(21)

注5 對于一維系統(tǒng)，由于存在自然序關(guān)系，因此算法1最終將到達(dá)零點(diǎn)，即一維切換系統(tǒng)線性二次最優(yōu)控制問題存在最優(yōu)控制對及相應(yīng)的最優(yōu)解。在高維狀態(tài)空間中，由于缺少這種自然序關(guān)系，因此其最優(yōu)控制對可能并不存在；在一般條件下，同時設(shè)計(jì)最優(yōu)連續(xù)控制與切換控制未必可行。為此提出一種連續(xù)控制與切換控制分層獨(dú)立構(gòu)造的便于實(shí)現(xiàn)的次優(yōu)控制方案。

(22)

(23)

由此得到反饋閉環(huán)子系統(tǒng)：

切換控制設(shè)計(jì)為：

(24)

較之于無切換控制的情形，在子系統(tǒng)反饋控制(23)與切換控制(24)作用下可以優(yōu)化系統(tǒng)線性二次性能指標(biāo)。

證明設(shè)由切換控制(24)所確定的切換序列如下：

{(s(t0),t0),(s(t1),t1),…,(s(tM),tM):0=t0

(25)

對于線性二次性能指標(biāo)，存在如下估計(jì)：

(26)

結(jié)論得證。

注6 根據(jù)微分Riccati方程解的收斂性質(zhì)，如果通過算法1構(gòu)造最優(yōu)控制對的條件成立，那么可知：

(27)

因此，較之于定理7中構(gòu)造的次優(yōu)控制，定理6中構(gòu)造的最優(yōu)控制對可以得到更好的控制效果。但是定理7中次優(yōu)控制不需要反復(fù)求解微分Riccati方程邊值問題，因而更便于實(shí)現(xiàn)。

3.2 時不變子系統(tǒng)的情形

時變線性切換系統(tǒng)描述如下：

s(τ)=π(x(τ),s(τ-)),τ≥0

(28)

考慮定義于無限區(qū)間[0,∞)上的二次型性能指標(biāo)：

(29)

為利用動態(tài)規(guī)劃方法討論相應(yīng)的最優(yōu)控制問題，引入以(29)為性能指標(biāo)的值函數(shù)如下：

(30)

由于在構(gòu)造最優(yōu)控制對時，不可能使切換無限次地進(jìn)行下去，因此將無限時間區(qū)間上的最優(yōu)控制問題轉(zhuǎn)化為有限時間區(qū)間上的最優(yōu)控制問題，但是其最優(yōu)解可以任意地逼近原始問題的最優(yōu)解。

定理6 給定初始值x0∈Rn及任意ε>0，存在T0(x0,ε)>0，使得(30)中定義的值函數(shù)滿足如下估計(jì)：

(31)

對于所有容許控制一致成立。

證明根據(jù)假設(shè)2，下列代數(shù)Riccati方程：

(32)

注7 類似于時變子系統(tǒng)的情形，在無限區(qū)間上切換系統(tǒng)線性二次最優(yōu)控制可以轉(zhuǎn)化為有限區(qū)間[0,T0]上的最優(yōu)控制問題，通過算法1重復(fù)計(jì)算一組微分Riccati邊值問題，而得到最優(yōu)控制對，其初始邊界條件為PT0=0。

4 結(jié) 論

利用動態(tài)規(guī)劃的基本原理與方法，分析切換系統(tǒng)線性二次最優(yōu)控制問題的可行性，最優(yōu)解的存在性，以及最優(yōu)解的構(gòu)造。通過“動態(tài)規(guī)劃基本原理”實(shí)現(xiàn)了最優(yōu)控制對存在性判別及其構(gòu)造的算法，將其歸結(jié)為一組微分Riccati方程邊值問題的求解。論證了在一維情形下最優(yōu)解的存在性,給出了連續(xù)控制與切換控制分層獨(dú)立設(shè)計(jì)的次優(yōu)控制方案。

[1] Anderson B D, Moore J B. Linear Optimal Control [M]. New York: Prentice-Hall, 1971.

[2] Liu C, Gong Z. Optimal Control of Switched Systems Arising in Fermentation Processes [M]. Berlin: Springer, 2014.

[3] Branicky M S, Borkar V S, Mitter S K. A unified framework for hybrid control: model and optimal control theory [J]. IEEE Trans. Automatic Control, 1998, 43(1): 31-45.

[4] Cong S. Stabilising switching law to minimise return ratio with two linear planar subsystems [J]. International Journal of Control, 2014, 87(5): 976-986.

[5] Hampel A B, Goulart P J, Lygeros J. Strong stationarity conditions for optimal control of hybrid systems [J]. IEEE Trans. Automatic Control, doi: 10.1109/TAC.2017.2668839.

[6] Rantzer A, Johansson M. Piecewise linear quadratic optimal control [J]. IEEE Trans. Automatic Control, 2000, 45(4): 629-637.

[7] Sussman H J. A maximum principle for hybrid optimal control problems [C]// Proc. of the 38th IEEE Conf. on Decision and Control. Piscataway, NJ: IEEE Press, 1999: 425-430.

[8] Taringoo F, Caines P E. On the optimal control of hybrid systems on Lie Groups and the exponential gradient HMP algorithm [C]// Proc. of the 52nd IEEE Conf. on Decision and Control. Piscataway, NJ: IEEE Press, 2013: 2653-2658.

[9] Yong J. The Dynamic Programming Approach and the Hamilton-Jacobi-Bellman Equations [M].Shanghai: Shanghai Scientific & Technical Publisher, 1992.

[10] Xu X P, Antsaklis P J. Optimal control of switched system based on parameterization of the switching instants [J]. IEEE Trans. Automatic Control, 2004, 49(1): 2-16.

[11] Zhu F, Antsaklis P J. Optimal control of hybrid switched systems: a brief survey [J]. Discrete Event Dynamical Systems, 2015, 25(3): 345-364.

[12] 武國順，陳良，魏永康，等.3-UPU并聯(lián)機(jī)構(gòu)運(yùn)動學(xué)性能分析[J].黑龍江大學(xué)工程學(xué)報(bào)，2017，8(2)：93-96.