基于最小二乘支持向量機動態(tài)逆的非線性系統(tǒng)自適應控制

謝 春 利， 邵 誠， 趙 丹 丹

（1.大連理工大學 電子信息與電氣工程學部，遼寧 大連 116024；2.大連民族學院 機電信息工程學院，遼寧 大連 116600；3.大連民族學院 計算機科學與工程學院，遼寧 大連 116600）

0 引 言

動態(tài)逆[1]方法是一種行之有效的非線性系統(tǒng)控制方法.但是常規(guī)的逆系統(tǒng)方法要求受控對象有精確數(shù)學模型，這對于大多數(shù)工業(yè)過程難以做到，即使建立起非線性動力學模型，一般也難以求得逆模型的解析形式.由于神經(jīng)網(wǎng)絡具有對任意非線性動態(tài)特性逼近的能力，有些學者[2、3]提出了基于神經(jīng)網(wǎng)絡動態(tài)逆的非線性系統(tǒng)自適應控制方法，得到了很好的應用效果.其基本思想是，利用離線神經(jīng)網(wǎng)絡辨識受控對象的動態(tài)逆模型，同時通過在線神經(jīng)網(wǎng)絡自適應地補償系統(tǒng)的動態(tài)逆誤差.但是神經(jīng)網(wǎng)絡算法存在局部最小點、結(jié)構設計困難、過學習現(xiàn)象及收斂速度慢等缺點，使其應用具有一定的局限性.

最小二乘支持向量機（least squares support vector machines，LS－SVM）[4～6]是近十年來機器學習領域的一個重要成果，它把標準支持向量機訓練中的二次規(guī)劃問題轉(zhuǎn)化為解線性方程組問題，極大地提高了訓練效率.此外，它保持了標準支持向量機的強大泛化和全局最優(yōu)能力，因此LS－SVM能夠克服神經(jīng)網(wǎng)絡的固有缺陷.目前，利用LS－SVM對未知非線性動態(tài)特性進行逆建模的控制方案有了許多成功的應用[7～14].但是，這些方法沒有考慮到動態(tài)逆誤差的影響，同時也不能保證閉環(huán)系統(tǒng)的穩(wěn)定性.

本文提出基于LS－SVM動態(tài)逆的非線性系統(tǒng)自適應控制方法，該方法采用離線LS－SVM辨識非線性系統(tǒng)的動態(tài)逆模型，并將其應用于非線性動態(tài)系統(tǒng)的直接逆?？刂?為克服基于輸入輸出數(shù)據(jù)辨識動態(tài)逆模型不精確引起的建模誤差，采用在線LS－SVM進行自適應補償，并對LSSVM方法和神經(jīng)網(wǎng)絡方法的仿真結(jié)果進行比較.

1 最小二乘支持向量機回歸

設樣本數(shù)據(jù)D＝｛（xk，yk）｜k＝1，2，…，N｝，xk∈Rn為輸入數(shù)據(jù)，yk∈R為輸出數(shù)據(jù)，LS－SVM回歸模型的目標就是構造一個如下所示模型：

使得樣本x對應的函數(shù)值yk能用y（x）近似.這里非線性映射φ（x）把輸入數(shù)據(jù)映射到一個高維特征空間.LS－SVM回歸算法就是要求解下面的優(yōu)化問題：

式中：J為優(yōu)化目標函數(shù)，w∈Rnh為權矢量，γ∈R為正則化參數(shù)，εk∈R為不敏感損失函數(shù)的松弛因子，φ（·）：Rn→Rnh為核空間映射函數(shù)，b∈R為偏移量.其對偶問題的拉格朗日多項式為

其中拉格朗日乘子αk∈R.通過L對w、εk、b和αk求偏導等于零，可得

消除變量w和εk，可得此優(yōu)化問題的解析解為

式 中：y＝ （y1y2…yN）T∈RN；1 ＝（1 1 … 1）T∈RN；α＝（α1α2…αN）T∈RN；I∈RN×N是單位方陣；Ω∈RN×N為方陣，其第k行l(wèi)列 的 元 素 為Ωkl＝K（xk，xl） ＝φT（xk）φ（xl），k，l＝1，2，…，N.

K（·，·）為核函數(shù)，它為滿足 Mercer條件[15]的任意對稱函數(shù).核函數(shù)常使用下面3種：

（1）線性核函數(shù)

（2）多項式核函數(shù)

（3）高斯徑向基核函數(shù)

其中d為多項式的階次，σ為核寬度.本文綜合考慮計算效率和逼近精度，選取高斯徑向基核函數(shù).

通過計算式（8）解得α和b，并進一步計算求得w，最終得到LS－SVM的函數(shù)逼近為

參數(shù)γ和σ的取值對LS－SVM的函數(shù)逼近效果影響較大，因此，本文采用交叉驗證方法對參數(shù)進行優(yōu)化選取.

2 非線性系統(tǒng)直接自適應逆控制

對于如下狀態(tài)可觀測的非線性系統(tǒng)

式中：x為系統(tǒng)的狀態(tài)量，u為系統(tǒng)的控制量，y為系統(tǒng)的輸出量，x∈Rn，u∈Rl，y∈Rm.f（·，·）是未知的非線性函數(shù)，C為適維矩陣.系統(tǒng)控制方案如圖1所示.

圖1 基于最小二乘支持向量機動態(tài)逆的自適應控制Fig.1 Self－adaptive control based on LS－SVM dynamic inversion

該方案中的動態(tài)逆由LS－SVM來實現(xiàn)并與原系統(tǒng)復合成偽線性系統(tǒng)；參考模型和線性控制器按期望的系統(tǒng)性能進行設計；LS－SVM自適應控制器用來補償逆誤差.控制的目標是設計控制律u使得閉環(huán)系統(tǒng)穩(wěn)定，且狀態(tài)x跟蹤參考模型狀態(tài)xf.

2.1 基于最小二乘支持向量機的動態(tài)逆控制器設計

如果f（x，u）是可逆的，x是可測的，基于逆系統(tǒng)方法，引入偽控制量v，偽控制量和狀態(tài)量之間為線性關系：

其中

控制輸入通過計算下式得到：

在傳統(tǒng)的LS－SVM建模中，輸出都是一維的，因此許多文獻通常都是針對單輸出的情況.但是，當非線性系統(tǒng)模型為多輸入多輸出時，系統(tǒng)輸入輸出之間往往存在耦合，而它們的解耦通常非常困難.本章通過考慮輸入輸出量之間的耦合作用，根據(jù)樣本數(shù)據(jù)對每個控制通道分別應用LS－SVM進行直接逆建模，然后將各通道分量輸出集成為控制向量u.采用該建模方法，構成每個通道分量模型的支持向量和權值向量是不盡相同的，后面在具體描述時，通過下標進行區(qū)別.

動態(tài)逆誤差由求逆建模誤差和外界干擾等引起.考慮逆誤差的存在，系統(tǒng)的動態(tài)方程可以表示為

式中：Δinv為采用近似f而產(chǎn)生的系統(tǒng)逆誤差，由式（14）可知，逆誤差可以看作狀態(tài)量和控制量的非線性時變函數(shù)，表示為

由偽控制量和動態(tài)逆誤差的定義，系統(tǒng)方程可等價表示為

逆誤差的存在會導致非線性系統(tǒng)的控制效果急劇惡化.本文在LS－SVM 動態(tài)逆控制中引入由LS－SVM構造的自適應控制器，其輸出信號與偽控制量疊加，抵消動態(tài)逆誤差的影響，控制系統(tǒng)結(jié)構如圖1所示.

圖1中，r∈Rn為參考模型的輸入，xf∈Rn為參考模型的狀態(tài)信號，對于式（10）描述的系統(tǒng)，參考模型可以表示為

參考模型輸出的偽控制信號為

式中：ff為參考模型的系統(tǒng)模型參考模型引出的信號.

線性控制器按照常規(guī)PI控制器設計.對于狀態(tài)向量中的每個分量，第k個線性控制器輸出的控制分量為

其中Kpk、Kik分別為比例、積分增益.

偽控制向量的每個分量由參考模型輸出的分量、比例積分控制分量和LS－SVM自適應補償器輸出分量3部分構成：

式中：vSVMk為LS－SVM自適應控制器輸出分量，用于補償動態(tài)逆誤差.將式（20）代入式（16），可以將每個跟蹤誤差分量動態(tài)特性寫為如下形式：

其中

選擇Kpk、Kik確保系統(tǒng)矩陣Ak為霍爾維茨矩陣.由式（21）可知，在理想情況下自適應控制器輸出能夠抵消系統(tǒng)逆誤差，系統(tǒng)跟蹤誤差穩(wěn)定收斂于零.

2.2 自適應最小二乘支持向量機的構造

采用LS－SVM在線補償動態(tài)逆誤差，其思想就是在控制中，不斷地測量誤差信號，并用LSSVM去逼近這個信號，然后把LS－SVM的輸出引入偽線性系統(tǒng)的控制輸入，在線消除系統(tǒng)的近似逆誤差和LS－SVM的逼近誤差，使系統(tǒng)性能得到改善.第k個LS－SVM自適應補償器的結(jié)構如圖2所示.

圖2 最小二乘支持向量機結(jié)構Fig.2 Structure of least squares support vector machines

于是vSVM向量中第k個分量的輸入輸出關系為

由LS－SVM的全局逼近能力[16]可知，只要參數(shù)選擇合適，LS－SVM能夠一致逼近任意連續(xù)非線性函數(shù).因此對于不確定的非線性動態(tài)逆誤差及任意給定的重構誤差εk＞0，存在最優(yōu)的權值向量分量使得

則式（21）變?yōu)?/p>

定理1 對于式（10）描述的系統(tǒng)，采用圖1所示的自適應控制結(jié)構，其中第k個控制分量的解析表達為式（20），自適應控制器輸出的第k個分量為式（22），如果選取其權值調(diào)整規(guī)律為

其中ηk＞0是自適應增益；Pk為正定對稱矩陣，滿足

則閉環(huán)系統(tǒng)內(nèi)所有信號保持有界.

證明 選擇如下Lyapunov函數(shù)：

其中

只要矩陣Ak為霍爾維茨矩陣，矩陣Pk一定存在.式（28）中的E0k選為[17]

由式（24）～ （26）可得

由式（23）有

采用式（25）自適應律可以得到

如果式（25）中的e0k滿足

總之，Vk（k＝1，2，…，n）具有以下性質(zhì)：

（1）Vk≥e0k＞0，且Vk是連續(xù)的；

基于LS－SVM動態(tài)逆的非線性系統(tǒng)自適應控制實現(xiàn)過程如下：

（1）根據(jù)非線性系統(tǒng)模型選取求逆模型，確定求逆模型的輸入輸出變量.

（2）施加均值0、方差0.01的白噪聲信號，采樣100組的輸入輸出訓練數(shù)據(jù)，并等間隔取40組數(shù)據(jù)作為測試樣本.對直接逆模型中的每個分量以最小化均方誤差為目標，利用交叉驗證方法優(yōu)化得到LS－SVM的最優(yōu)超參數(shù).重新進行離線訓練，得到LS－SVM的權值參數(shù)初值.

（3）投入運行直接動態(tài)逆控制器和線性控制器，采樣輸入向量與的狀態(tài)偏差信號，對自適應LS－SVM補償通道中每個分量進行超參數(shù)優(yōu)化選擇和求取支持向量.

（4）自適應LS－SVM補償器投入在線使用，依據(jù)式（25）自適應調(diào)整權值.

3 仿真研究

考慮一個非線性系統(tǒng)

其中d（t）為有界干擾.設初始值x（t）＝0，令d（t）＝sint.選取Kp＝20，Ki＝20，解式（26）得

控制的目標是使輸出y跟蹤給定的單位階躍信號1（t）.

分別采用LS－SVM和神經(jīng)網(wǎng)絡來構造動態(tài)逆控制器和自適應補償器，研究非線性對象的控制效果.用于實現(xiàn)直接動態(tài)逆控制器的神經(jīng)網(wǎng)絡采用3－5－1結(jié)構，用于自適應補償器的神經(jīng)網(wǎng)絡采用4－5－1結(jié)構.

由圖3和4仿真結(jié)果可知，采用自適應補償器極大地改進了系統(tǒng)的控制品質(zhì)，表明本文提出的方法是有效的.同時，對比LS－SVM方法和神經(jīng)網(wǎng)絡方法的仿真結(jié)果可知，前一方法的控制精度更高.

圖3 無自適應補償器時，動態(tài)逆系統(tǒng)輸出響應Fig.3 Output response of the dynamic inversion system without self－adaptive compensator

圖4 有自適應補償器時，動態(tài)逆系統(tǒng)輸出響應Fig.4 Output response of the dynamic inversion system with self－adaptive compensator

4 結(jié) 論

本文針對一類未知且包含擾動的非線性系統(tǒng)，基于LS－SVM動態(tài)逆提出了一種新的自適應控制方案.該方案采用離線LS－SVM對系統(tǒng)中的未知非線性動態(tài)特性進行動態(tài)逆建模，構建復合的偽線性系統(tǒng).對于動態(tài)逆建模和外界擾動等引起的系統(tǒng)誤差，利用在線LS－SVM構建的自適應控制器進行補償.基于Lyapunov理論建立了閉環(huán)系統(tǒng)的穩(wěn)定性.仿真結(jié)果表明LS－SVM動態(tài)逆控制是一種有效的非線性控制策略.

[1] BRINKER J，WISE K.Stability and flying quality robustness of a dynamic inversion aircraft control law[J].Journal of Guidance，Control and Dynamics，1996，19（6）：1270－1278

[2] CALISE A J，RYSDYK R T.Nonlinear adaptive flight control using neural networks [J].IEEE Control Systems Magazine，1998，18（6）：14－25

[3] CALISE A J， HOVAKIMYAN N，IDAN M.Adaptive output feedback control of nonlinear systems using neural networks [J].Automatica，2001，37（8）：1201－1211

[4] SUYKENS J A K，VANDEWALLE J.Least squares support vector machine classifiers [J]. Neural Network Letters，1999，9（3）：293－300

[5] SUYKENS J A K.Nonlinear modeling and support vector machines[C]//Proceedings of the 18th IEEE on Instrumentation and Measurement Technology Conference.Budapest：IEEE Press，2001：287－294

[6] SUYKENS J A K.Support vector machines：a nonlinear modeling and control perspective [J].European Journal of Control，2001，7（2－3）：311－327

[7] 柳曉菁，易建強，趙東斌，等.基于最小二乘支持向量機的自適應逆擾動消除控制系統(tǒng) [J].控制與決策，2005，20（8）：947－950

[8] SU S W，WANG L，CELLER B G，etal.Modelling and control for heart rate regulation during treadmill exercise[C]//Proceedings of the 28th IEEE EMBS Annual International Conference.New York：IEEE Press，2006：4299－4302

[9] 歐陽軍，閆桂榮，王 騰.LS－SVM在隨機振動在線自適應逆控制中的應用 [J].應用力學學報，2007，24（4）：531－534

[10] YUAN X F，WANG Y N.LS－SVM modeling based inverse controller with uncertainty compensation[J].Journal of Dynamic Systems，Measurement，and Control，2007，129（6）：845－850

[11] YUAN X F，WANG Y N，WU L H.Adaptive inverse control of excitation system with actuator uncertainty[J].WSEAS Transactions on Systems and Control，2007，2（8）：419－427

[12] 沈曙光，王廣軍，陳 紅.最小支持向量機在系統(tǒng)逆動力學辨識與控制中的應用 [J].中國電機工程學報，2008，28（5）：96－101

[13] 程啟明，杜許峰，郭瑞青，等.基于最小二乘支持向量機的多變量逆系統(tǒng)控制方法及應用 [J].中國電機工程學報，2008，28（5）：85－89

[14] 楊志峰，雷虎民，董飛垚，等.基于LS－SVM的導彈在線誤差補償逆控制 [J].系統(tǒng)工程與電子技術，2010，32（6）：1314－1317

[15] VAPNIK V.An overview of statistical learning theory[J].IEEE Transactions on Neural Networks，1999，10（5）：988－999

[16] GESTEL V T，SUYKENS J A K，BAESTAENS D E，etal.Financial time series prediction using least squares support vector machines within the evidence framework [J].IEEE Transactions on Neural Networks，2001，12（4）：809－821

[17] PETERSON B B，NARENDRA K S.Bounded error adaptive control [J]. IEEE Transactions on Automatic Control，1982，AC－27（6）：1161－1168