基于最小二乘支持向量機的MIMO線性參數(shù)變化模型辨識及預測控制

馮凱，盧建剛，陳金水

（浙江大學控制科學與工程學系工業(yè)控制技術國家重點實驗室，浙江 杭州310027）

引 言

近年來，隨著控制理論的發(fā)展，線性參數(shù)變化（linear parameter varying，LPV）模型系統(tǒng)辨識得到了學術界和工業(yè)界的廣泛關注[1]。LPV這一名詞，最先由Shamma等[2]在研究增益調(diào)度時提出，指的是一類狀態(tài)依賴于某一可測調(diào)度變量的模型。

現(xiàn)有的線性參數(shù)變化模型根據(jù)模型結(jié)構進行劃分，可分為基于傳遞函數(shù)的模型結(jié)構[3]，基于子空間的結(jié)構[4]和基于正交基的結(jié)構[5]。而基于輸入輸出傳遞函數(shù)的LPV模型結(jié)構大致又可分為2類：基于模型插值LPV結(jié)構和基于參數(shù)插值LPV結(jié)構。在基于模型插值的框架下，文獻[6]提出了一種多模型線性參數(shù)變化架構。該算法首先選取幾個典型工作點，并在典型工作點辨識得到系統(tǒng)的局部線性模型，然后根據(jù)工作點測試數(shù)據(jù)以及工作點間過渡數(shù)據(jù)，選取合適的權值插值函數(shù)，辨識出系統(tǒng)的全局模型。在基于參數(shù)插值的模型結(jié)構下，調(diào)度變量全局連續(xù)變化。假設模型系數(shù)可表示為一組基函數(shù)的線性組合，則系數(shù)可通過線性回歸求解。兩種方法各有優(yōu)缺點，基于模型插值的LPV結(jié)構，典型工作點的選取主要依賴于經(jīng)驗，且合適的權值函數(shù)的選擇也很關鍵，但該方法辨識成本較低，不會干擾正常工業(yè)過程；而基于參數(shù)插值的模型結(jié)構需要大范圍進行測試，可能會干擾原系統(tǒng)正常運行，但該方法可通過線性回歸的方法直接得到全局模型，計算量較低，模型結(jié)構更加緊湊。

傳統(tǒng)的基于參數(shù)插值的LPV模型結(jié)構，模型質(zhì)量與所選基函數(shù)密切相關。為了充分描述模型系數(shù)與調(diào)度變量的函數(shù)關系，通常會選取多于實際所需數(shù)目的基函數(shù)，這會導致嚴重的過參數(shù)化問題。而當系統(tǒng)先驗知識不夠時，往往又會因為基函數(shù)數(shù)目過少而導致模型結(jié)構偏差。

文獻[7]針對單輸入單輸出系統(tǒng)提出了基于最小二乘支持向量機（least square support vector machine, LSSVM）的 LPV模型結(jié)構。LSSVM[8-9]由傳統(tǒng)支持向量機發(fā)展而來，通過運用l2損失函數(shù)和線性回歸，可得到問題的唯一解。相比傳統(tǒng)SVM算法，LSSVM 算法通過線性回歸求得唯一解，可大大減少計算量,這也為構建一種高效的 LPV辨識算法提供了可能?；贚SSVM-LPV模型可逼近復雜非線性系統(tǒng)，能自動決定模型結(jié)構，從而避免因基函數(shù)選擇不當帶來的模型結(jié)構偏差和方差過大等問題。本文將這一方法推廣到多輸入多輸出（multiple-input multiple-output，MIMO）系統(tǒng)，仿真結(jié)果表明MIMO-LSSVM-LPV辨識算法能取得很好的辨識效果。

然后本文研究了基于MIMO-LSSVM-LPV模型結(jié)構的預測控制算法（model predictive control，MPC）。MPC因其能處理多輸入多輸出帶約束問題得到了廣泛關注[10]。大部分工業(yè)過程并不是嚴格的線性系統(tǒng)，這導致運用線性模型作為預測模型的方法并不是十分準確。而采用非線性模型作為預測模型又會導致最優(yōu)控制量計算復雜，經(jīng)典的數(shù)值計算方法無法得到最優(yōu)解甚至可行解。遺傳算法（genetic algorithm, GA）[11-12]作為一種非線性全局優(yōu)化算法，具有簡單通用、魯棒性強、可并行處理等優(yōu)點，很好地解決了以上問題。本文利用辨識所得的MIMO-LSSVM-LPV模型作為預測模型，在每個采樣點預測系統(tǒng)輸出，結(jié)合遺傳算法，實時滾動優(yōu)化控制量，取得了很好的控制效果。

1 ARX模型的LPV辨識[7]

給定單輸入單輸出離散時間系統(tǒng)的有源自回歸模型（auto-regressive model with exogenous input，ARX）如下

假設樣本數(shù)據(jù)集為

對式( 3 )的最小二乘估計可表示為

從而問題(5)的最優(yōu)解可表示為

2 基于MIMO-LSSVM-LPV模型辨識

與第 1節(jié)介紹的標準最小二乘不同，在基于LSSVM-LPV模型結(jié)構辨識算法中，系數(shù)iφ與p的函數(shù)依賴關系未知。文獻[7]已證明，在函數(shù)依賴關系未知的情況下，基于LSSVM-LPV模型辨識算法可以得到一致估計。為實現(xiàn)該方法在多輸入多輸出系統(tǒng)的應用，系統(tǒng)的每一個輸出需分別獨立進行辨識。為了簡化過程，文中以2輸入2輸出系統(tǒng)為例。記參數(shù)化模型結(jié)構為

式中，j代表系統(tǒng)第j個輸出，代表具體形式未知的特征映射模型。是第i個參數(shù)向量，是模型j的預測誤差。定義(k)為

記

則式(9)可表示成如下形式

式中，是調(diào)節(jié)參數(shù)，是最小化訓練誤差和模型復雜度之間的折中，對 LPV 模型的推廣性能有著重要影響。該帶約束優(yōu)化問題可通過構造拉格朗日函數(shù)在對偶空間求解。

將式(14)、式(15)代入式(16)，可得

式中，k∈ { 1,… ,N}，N代表樣本數(shù)目。式(17)可進一步表示為

且

式中，Ki是人們熟知的核函數(shù)，通過將高維空間的點積運算轉(zhuǎn)化為原輸入空間的代數(shù)運算，極大地簡化了計算。也使得問題的求解不再需要確定的具體形式，只需選擇合適的核函數(shù)即可。常用的核函數(shù)有徑向基核函數(shù)（radial basis function，RBF）、多項式核函數(shù)等。這里采用常用的 RBF，定義如下

其中，是輸出的平均值，是根據(jù)辨識出的模型的預測值。采用核函數(shù)，式(18)的解可表示為

在該算法中，作為中間變量，它的值無法直接求解。通過運用核函數(shù)，該方法能得到以系數(shù)()T(·)為整體的值。利用得到的，即可根i據(jù)式(11)求得模型的預測輸出。

3 基于MIMO-LSSVM-LPV模型預測控制研究

預測控制是基于模型的先進控制算法。根據(jù)歷史信息及未來輸入，利用模型預測未來輸出，通過對某個性能指標最優(yōu)化計算確定當前控制時域內(nèi)最優(yōu)控制序列[13]。通常只將當前時刻最優(yōu)控制量作用于系統(tǒng)，并在下一時刻重復上述過程，故稱為有限時域滾動優(yōu)化。預測模型只強調(diào)功能不強調(diào)結(jié)構。對一R輸入Q輸出帶約束系統(tǒng)，性能指標通常為

其中系統(tǒng)約束為

式中，Nur為第r個輸入的控制時域，Nyq為第q個輸出的預測時域，rλ為調(diào)節(jié)系數(shù)，yrq和y?q分別是第q個輸出的實際值和預測值，urh和url分別是第r個輸入的上下限。利用辨識所得的MIMO-LSSVM-LPV模型作為預測模型，根據(jù)當前所處工況點，根據(jù)式(24)計算辨識所得系數(shù)，再利用式(11)即可得到模型預測輸出。利用遺傳算法的全局搜索特性計算滿足約束且使性能指標式(25)最優(yōu)的控制序列。將當前最優(yōu)控制量作用于系統(tǒng)，并在每個采樣點重復上述過程，即可實現(xiàn)過程的控制。具體的算法框圖見圖1。

圖1 預測控制結(jié)合遺傳算法框圖Fig.1 Block diagram of GA based MPC

4 辨識研究

4.1 實例一：LPV-ARX模型辨識

設有如式(27)的雙輸入雙輸出LPV系統(tǒng)

其中調(diào)度變量P∈[?1 ,1]，e為零均值隨機噪聲過程 ，系統(tǒng)系數(shù)如式(28)所示。

在該系統(tǒng)中，模型系數(shù)對調(diào)度變量p為靜態(tài)依賴，但是系數(shù)非線性情況復雜，用傳統(tǒng)的非線性辨識方法很難得到滿意的解。

將對式(27)的辨識問題轉(zhuǎn)化為對如下模型結(jié)構的辨識

選取

，的選取并不需要完全一致，具體情況需視辨識系統(tǒng)而定。調(diào)度變量p的操作軌跡按照p(k)= sin(0.25k)變化。用幅值在[?1,1]之間零均值均勻分布的隨機數(shù)作為系統(tǒng)輸入u1,u2，產(chǎn)生 2000組輸入輸出序列。其中，1500組用于辨識，500組用于測試。首先在無噪聲條件下測試算法性能。通過網(wǎng)格法，最大化BFR，得核函數(shù)中待整定參數(shù)為運用基于MIMO-LSSVM-LPV辨識算法對該系統(tǒng)進行辨識，系數(shù)的辨識結(jié)果如圖 2。由圖 2可知，在沒有系統(tǒng)先驗知識的情況下，該算法可以很好地辨識出非線性特性嚴重的系統(tǒng)參數(shù)。

圖2 LPV模型參數(shù)估計Fig.2 Identified parameters of LPV models

定義輸出誤差為

圖3 辨識模型輸出和實際系統(tǒng)輸出比較Fig.3 Comparison between identified outputs and actual outputs

對測試集進行預測，預測效果如圖3。從圖3可以看出，運用基于MIMO-LSSVM-LPV辨識算法辨識得到的模型輸出能很好地跟蹤原系統(tǒng)的輸出，1y，y2的輸出誤差如表1所示，可見該辨識算法辨識的模型準確度很高。

表1 輸出誤差Table 1 Output error

表2 不同噪聲水平下系統(tǒng)輸出誤差Table 2 Output error under different noise

4.2 實例二：等溫型CSTR模型辨識

連續(xù)攪拌釜反應器（CSTR）[14]是生產(chǎn)聚合物時使用最廣泛的反應器。該反應是典型的多工況過程[15-16]。本文選用文獻[17]中提出的理想的 CSTR過程模型為研究對象。該過程代表等溫偽一階反應A+B→P反應過程，其中反應物A濃度過量。過程模型可表示為

約束條件為

參數(shù)取自文獻[18]

該過程為典型的雙輸入雙輸出系統(tǒng)，兩個輸入為u1和u2，兩個輸出為y1和y2，是一個有上下界約束的非線性多輸入多輸出系統(tǒng)。取輸入向量為

圖4 預測模型輸出和實際系統(tǒng)輸出比較Fig.4 Comparison between predicted outputs and actual outputs

圖5 預測控制輸出及控制量變化Fig.5 Predicted outputs and control actions

輸出為y1和y2，u2為調(diào)度變量。為充分激發(fā)系統(tǒng)非線性，u1和u2采用零階保持信號，并分別按照正弦和余弦函數(shù)變化。單個信號持續(xù)作用時間為300 s，采樣周期為 2 s。共產(chǎn)生數(shù)據(jù) 7500組，其中 5000組用于辨識模型，2500組用于驗證模型效果。在無噪聲情況下進行辨識，通過最大化BFR，得到待整定參數(shù)為σ1=0.1，σ2= 0 .1，γ1=1，γ2=1 。辨識所得兩個MISO模型，仿真效果如圖4所示，可見模型能很好地逼近系統(tǒng)的非線性。

5 預測控制研究

針對式(27)和式(28)代表的非線性過程，利用已經(jīng)辨識得到的MIMO-LSSVM-LPV模型作為預測模型，開展系統(tǒng)預測控制研究。設定系統(tǒng)初值為y1=0，y2=0。GA 使用二進制編碼，初始種群大小為 30，最大迭代次數(shù) 200，交叉概率 0.7，變異概率 0.1，適應度函數(shù)為預測控制算法性能指標[式(25)]的倒數(shù)。預測控制算法的預測時域和控制時域都為2。為了測試算法在不同工作點間切換性能,令調(diào)度變量在時刻50及100時分別從0.8變化到0.9再變到1.0，系統(tǒng)的輸出及控制作用如圖5所示。由圖5可知，當工作點發(fā)生切換時，該控制算法能很快使系統(tǒng)輸出達到并穩(wěn)定在設定值附近。同時，基于GA的預測控制計算單步最優(yōu)控制量的時間僅為0.75 s，完全能夠?qū)崿F(xiàn)在線計算。

6 結(jié) 論

本文結(jié)合針對多輸入多輸出系統(tǒng)的最小二乘支持向量機線性參數(shù)變化模型的辨識算法及基于遺傳算法的預測控制算法，提出了MIMO-LSSVMLPV+GA-MPC辨識及控制一體化架構。MIMOLSSVM-LPV辨識算法能自動判斷模型結(jié)構，避免了因基函數(shù)選擇不當帶來的模型失配。兩個仿真實例表明，該算法能逼近復雜非線性系統(tǒng)，且計算量低。結(jié)合遺傳算法的預測控制可以使系統(tǒng)在不同工作點間切換時快速達到控制目標。但是該辨識算法對噪聲比較敏感，通過網(wǎng)格法選取最優(yōu)整定參數(shù)費時過長，未來研究可著重針對這兩方面。

[1]Yu Zhao, Huang Biao, Su Hongye, Chu Jian. Prediction error method for identification of LPV models [J].Journal of Process Control,2012, 22 (1): 180-193

[2]Shamma Jeff S, Michael Athans. Analysis of gain scheduled control for nonlinear plants [J].Automatic Control, IEEE Transactions on,1990, 35 (8): 898-907

[3]Previdi F, Lovera M. Identification of a class of non-linear parametrically varying models [J].International Journal of Adaptive Control and Signal Processing, 2003, 17 (1): 33-50

[4]Verdult Vincent, Michel Verhaegen. Subspace identification of multivariable linear parameter-varying systems [J].Automatica, 2002,38 (5): 805-814

[5]Tóth Roland, Peter S C Heuberger, Paul M J Van den Hof.Asymptotically optimal orthonormal basis functions for LPV system identification [J].Automatica, 2009, 45 (6): 1359-1370

[6]Zhu Y C, Xu Z H. A method of LPV model identification for control//Proceedings of 17th IFAC World Congress [C]. Seoul, Korea,2008

[7]Tóth Roland, Vincent Laurain, Wei Xing Zheng, Kameshwar Poolla.Model structure learning: a support vector machine approach for LPV linear-regression models//50th IEEE Conference on Decision and Control and European Control Conference (CDC-ECC)[C]. 2011:3192-3197

[8]Suykens Johan A K, Joos Vandewalle. Least squares support vector machine classifiers [J].Neural Processing Letters, 1999, 9 (3):293-300

[9]Wang Haifeng, Hu Dejin. Comparison of SVM and LS-SVM for regression//International Conference on Neural Networks and Brain.ICNN&B’05 [C]. 2005: 279-283

[10]Li Ping (李平), Ren Penghui (任朋輝). Multiple constrained generalized predictive control for cascade industrial systems [J].CIESCJournal(化工學報), 2010, 61 (8): 2159-2164

[11]Davis Lawrence. Handbook of Genetic Algorithms[M]. New York:Van Nostrand Reinhold, 1991

[12]Whitley Darrell. A genetic algorithm tutorial [J].Statistics and Computing, 1994, 4 (2): 65-85

[13]Qian Jixin (錢積新), Zhao Jun (趙均), Xu Zuhua (徐祖華).Predictive Control (預測控制)[M]. Beijing: Chemical Industry Press,2007

[14]Luo Xionglin (羅雄麟), Yu Yang (于洋), Xu Jun (許鋆). Online optimization implementation on model predictive control in chemical process [J].CIESC Journal(化工學報), 2014, 65 (10): 3984-3992

[15]Jie You, Yang Qinmin, Lu Jiangang, Sun Youxian. Identification of LPV models with non-uniformly spaced operating points by using asymmetric gaussian weights [J].Chinese Journal of Chemical Engineering, 2014, 22 (7): 795-798

[16]Ge Zhiqiang (葛志強), Song Zhihuan (宋執(zhí)環(huán)). New online monitoring method for multiple operating modes process [J].Journal of Chemical Industry and Engineering(China)(化工學報), 2008, 59(1): 135-141

[17]Oliveira N M C. Newton-type algorithms for nonlinear constrained chemical process control [D]. Pittsburgh: Carnegie Mellon University,1994

[18]Martinsen F, Biegler L T, Foss B A. A new optimization algorithm with application to nonlinear MPC [J].Modeling Identification and Control, 2005, 26 (1): 3-22