基于自適應(yīng)動態(tài)規(guī)劃的一類非線性系統(tǒng)的容錯控制器設(shè)計

戴 姣, 劉春生, 孫景亮

(南京航空航天大學(xué)，南京 211106)

0 引言

隨著科學(xué)技術(shù)的發(fā)展，控制系統(tǒng)的規(guī)模和復(fù)雜性不斷增加，系統(tǒng)出現(xiàn)故障的機率也隨之增大。任何類型故障的發(fā)生都有可能導(dǎo)致整個系統(tǒng)性能下降，甚至影響系統(tǒng)穩(wěn)定性，造成不可預(yù)期的損失[1]。因此，提高控制系統(tǒng)的安全性和可靠性顯得尤為重要。

根據(jù)故障處理的方式可將容錯控制方法進行分類。1985年，文獻[2]將容錯控制分為兩大類：主動容錯控制(Active FTC) 和被動容錯控制(Passive FTC)。被動容錯控制針對的是特定的故障類型，不需要故障檢測環(huán)節(jié)，其不改變控制器的參數(shù)和結(jié)構(gòu)，設(shè)計方法相對簡單[3]，與被動容錯控制相比，主動容錯控制具有更高的靈活性[4]。其在系統(tǒng)的故障發(fā)生之后，利用在線獲得的故障信息，通過控制器的重構(gòu)或者調(diào)整來保持系統(tǒng)的穩(wěn)定性。

近年來，主動容錯控制技術(shù)與魯棒控制、最優(yōu)控制、自適應(yīng)控制[5]相結(jié)合，得到迅速發(fā)展。文獻[6]針對執(zhí)行器故障的不確定系統(tǒng)，利用神經(jīng)網(wǎng)絡(luò)估計系統(tǒng)的不確定性，并采用故障估計算法，研究了滿足H-2性能要求的容錯控制器；文獻[7]研究了一類時變故障的不確定非線性系統(tǒng)的H∞容錯控制問題，在線估計時變故障，利用狀態(tài)信息和故障信息構(gòu)成控制律以補償故障造成的影響，使H∞性能指標(biāo)最小化。

自適應(yīng)動態(tài)規(guī)劃(Adaptive Dynamic Programming,ADP) 是最優(yōu)控制領(lǐng)域新興起的一種近似最優(yōu)方法，是當(dāng)前研究熱點。ADP方法通過函數(shù)近似結(jié)構(gòu)來近似哈密頓-雅可比-貝爾曼(Hamilton-Jacobi-Bellman,HJB)方程的解，采用離線迭代[8]或者在線更新[9]的方法，來獲得系統(tǒng)的近似最優(yōu)控制策略，能夠有效地解決非線性系統(tǒng)的優(yōu)化控制問題。近年來，ADP算法用于解決連續(xù)時間和離散時間系統(tǒng)的時間延遲[10]、外部干擾[11]、控制受限[12]以及協(xié)同控制[13-14]、軌跡跟蹤[15]等控制問題。但是有關(guān)ADP容錯控制的理論研究成果很少[16]。文獻[17]針對一類具有執(zhí)行器故障的仿射非線性系統(tǒng)，提出了一種基于策略迭代算法(PI)的新型在線故障補償方案?？刂坡捎蒔I算法和故障補償器兩部分組成。文獻[18]針對一類具有執(zhí)行器增益故障和偏轉(zhuǎn)故障的仿射非線性系統(tǒng)，構(gòu)建積分滑模函數(shù)，利用自適應(yīng)動態(tài)規(guī)劃方法，得到一種滑模容錯控制方案，通過構(gòu)建執(zhí)行網(wǎng)-評價網(wǎng)結(jié)構(gòu)，得到近似最優(yōu)容錯控制律。

本文基于自適應(yīng)動態(tài)規(guī)劃方法，提出一種新的主動容錯控制方案，主要創(chuàng)新點可概括如下：

1) 通過設(shè)計故障觀測器，采用估計的執(zhí)行器故障來構(gòu)造性能指標(biāo)函數(shù)，使其能同時反映執(zhí)行器故障、狀態(tài)和控制律,從而將容錯控制問題轉(zhuǎn)化為最優(yōu)控制問題；

2) 容錯控制器可以僅依賴于評價神經(jīng)網(wǎng)絡(luò)而得到，不再需要執(zhí)行網(wǎng)絡(luò)的訓(xùn)練；

3) 利用ADP方法來解決FTC問題，這是一種針對執(zhí)行器故障的新的容錯控制方法。

1 系統(tǒng)故障模型

考慮一類連續(xù)時間仿射非線性系統(tǒng)為

(1)

式中：x(t)∈Rn是系統(tǒng)的狀態(tài)；u(t)=[u1…um]T∈Rm是控制輸入；ua∈Rm為未知的執(zhí)行器故障；f(x(t))和g(x(t))是連續(xù)可微的系統(tǒng)矩陣，假定f(·)和g(·)Lipchitz連續(xù)，且f(0)=0。

假設(shè)1f(·)和g(·)都是有界的。

假設(shè)2執(zhí)行器故障ua未知但是滿足范數(shù)有界‖ua‖≤δ1<+∞，δ1是常數(shù)，δ1>0。

針對式(1)系統(tǒng)，定義性能指標(biāo)函數(shù)為

(2)

根據(jù)極小值原理，哈密頓方程可以定義為

(3)

式中，▽V(x)=?V(x)/?x。

則最優(yōu)性能指標(biāo)為

(4)

滿足HJB方程

H(x，u*，▽V*(x))=0

(5)

則得最優(yōu)控制律為

(6)

由式(6)可知，欲得最優(yōu)控制策略，必須求解HJB方程。但是，直接求解式(5)的非線性HJB方程是十分困難的，幾乎不可能。因此，本文利用自適應(yīng)動態(tài)規(guī)劃(ADP)方法求解HJB方程。

2 基于ADP的容錯控制器設(shè)計

2.1 故障估計

針對式(1)的故障系統(tǒng)，設(shè)計故障觀測器為

(7)

(8)

(9)

假設(shè)3e1范數(shù)有界：‖e1‖≤δ2，δ2是一個正數(shù)。

注1 因為f(x(t))和g(x(t))都是有界的，所以ef和eg均范數(shù)有界，而且，u是緊密集S上的容許控制，所以u-ua也有界，因此，假設(shè)3合理。

定理1對于式(1)的故障系統(tǒng),在假設(shè)1和假設(shè)2成立的情況下，故障觀測器(7)能夠保證故障的觀測誤差最終一致有界穩(wěn)定。

證明 選取Lyapunov函數(shù)

(10)

(11)

將式(8)自適應(yīng)更新律代入式(11)有

(12)

2.2 容錯控制器設(shè)計

證明選取李雅普諾夫函數(shù)

(13)

然后有

(14)

基于式(5)，可得

(15)

由式(6)易得

-2Ru*(x)=gT(x)▽V*(x)

(16)

因此有

(17)

根據(jù)假設(shè)1可得

(18)

因此，當(dāng)Q，R和ρ滿足條件

(19)

時，系統(tǒng)保持漸近穩(wěn)定。

3 神經(jīng)網(wǎng)絡(luò)實現(xiàn)

由于性能指標(biāo)函數(shù)通常是高度非線性的，采用神經(jīng)網(wǎng)絡(luò)近似它[19]。 在本文中，采用單層神經(jīng)網(wǎng)絡(luò)來逼近緊密集S上的假定可微性能指標(biāo)函數(shù)。

(20)

式中：wc∈Rl是理想的權(quán)值向量,l代表隱含層中的神經(jīng)元個數(shù)；σ(x)∈Rl是激活函數(shù)，εc(x)表示神經(jīng)網(wǎng)絡(luò)的近似誤差。式(20)中V(x)梯度為

▽V(x)=(▽σ(x))Twc+▽εc(x)

(21)

將式(8)代入式(5)中有

(22)

因此，哈密頓方程可以表示為

(23)

式中，eHJB表示由神經(jīng)網(wǎng)絡(luò)近似帶來的殘余誤差。

因為理想權(quán)值向量wc是未知的，因此，評價神經(jīng)網(wǎng)絡(luò)可以近似表示為

(24)

(25)

因此，近似哈密頓方程可以表示為

(26)

假設(shè)4評價神經(jīng)網(wǎng)絡(luò)的理想權(quán)值是有界的：‖wc‖≤w1。神經(jīng)網(wǎng)絡(luò)近似誤差εc有界：‖εc‖≤ε1。激活函數(shù)σ(x)及其微分是有界的。

定義目標(biāo)函數(shù)E(t)為

(27)

(28)

因此定義評價神經(jīng)網(wǎng)絡(luò)權(quán)值更新律為

(29)

式中：γ>0是學(xué)習(xí)率；proj表示投影算子。

因此，得到近似最優(yōu)控制律為

(30)

4 仿真分析

仿真結(jié)果如圖1～圖5所示。

圖1 無故障時系統(tǒng)的動態(tài)響應(yīng)Fig.1 Dynamic responses with no fault

圖2 未引入容錯控制器的故障系統(tǒng)的動態(tài)響應(yīng)

圖3 容錯控制器作用下的故障系統(tǒng)的動態(tài)響應(yīng)Fig.3 Dynamic responses of the fault system under the FTC input

圖4 基于故障觀測器的故障估計Fig.4 The estimated fault based on the fault observer

圖5 評價神經(jīng)網(wǎng)絡(luò)的權(quán)值Fig.5 The weights of the critic neural network

從圖5可以看出，評價神經(jīng)網(wǎng)絡(luò)的權(quán)值在設(shè)計的算法下最終收斂。執(zhí)行器的故障估計是構(gòu)造性能指標(biāo)函數(shù)的關(guān)鍵，圖4表明了故障觀測器的故障估計值可靠有效。從圖2和圖1可以看出，當(dāng)?shù)? s故障發(fā)生后，在沒有引入容錯控制的情況下，系統(tǒng)的狀態(tài)受到影響并出現(xiàn)穩(wěn)態(tài)誤差，但是在圖3容錯控制輸入的作用下，系統(tǒng)能很快趨于穩(wěn)定，無誤差。因此，仿真結(jié)果證明，本文所提出的主動容錯控制方案是有效的。

5 結(jié)論

提出了一類自適應(yīng)優(yōu)化容錯控制設(shè)計方法。為了實現(xiàn)主動容錯控制，構(gòu)造了自適應(yīng)故障觀測器，并將其用于容錯控制律的設(shè)計，同時基于ADP算法獲得近似最優(yōu)容錯控制律，解決了容錯控制的優(yōu)化問題。本文的另一特點是采用單層神經(jīng)網(wǎng)絡(luò)近似性能指標(biāo)，簡化了算法。仿真結(jié)果驗證了本文算法的有效性，對解決一類非線性系統(tǒng)的執(zhí)行器故障容錯控制有良好的參考價值。