PCA-LSSVM方法的控制系統(tǒng)性能評估

蔡宏斌 蘇成利

(遼寧石油化工大學信息與控制工程學院，遼寧 撫順 113001)

PCA-LSSVM方法的控制系統(tǒng)性能評估

蔡宏斌 蘇成利

(遼寧石油化工大學信息與控制工程學院，遼寧 撫順 113001)

為了準確地評價多變量控制系統(tǒng)的性能，并簡化其評價過程的計算復雜度，提出了基于主元分析(PCA)與最小二乘支持向量機(LSSVM)相結合的多變量控制系統(tǒng)性能評價方法。該方法將原始自變量數據通過PCA方法進行降維處理，利用二次損失函數取代支持向量機中的不敏感損失函數，將不等式約束變?yōu)榈仁郊s束，從而將二次規(guī)劃問題轉變?yōu)榫€性方程組的求解，并對LSSVM的參數選取做了改進。該方法在性能評價過程中不需要求解系統(tǒng)關聯(lián)矩陣，簡化了求解的復雜性。仿真實例驗證了PCA-LSSVM性能評價方法更能反映控制系統(tǒng)真實性能。

最小二乘支持向量機 多變量控制系統(tǒng) 主元分析 關聯(lián)矩陣 性能指標 性能評價

0 引言

評估控制系統(tǒng)的性能對于企業(yè)的發(fā)展具有重大意義。目前，相繼出現了不少新的研究成果［1］。工業(yè)控制回路大多是多變量的，因此研究多變量控制系統(tǒng)的性能評估方法具有更長遠的意義［2］。

在使用最小方差控制(minimum variance control，MVC)基準方法進行控制系統(tǒng)性能評價時，需要完整的過程模型和關聯(lián)矩陣的信息［3－4］。有學者采用一個實用的次優(yōu)多變量MVC控制基準，即只需要關聯(lián)矩陣的階次而不必構造出關聯(lián)矩陣［5］。利用Markov參數和閉環(huán)運行數據的性能評估方法也只需要獲知過程的時滯階次信息［6］。

本文研究了主元分析(principal component analysis，PCA)與最小二乘支持向量機相結合的性能評價算法。該方法先將原始數據通過主元分析方法進行降維處理;再把獲得的新主成分使用最小二乘支持向量機進行訓練;然后再通過建立新模型計算出控制系統(tǒng)性能指標，得到更為準確的性能評價指標。

1 主元分析

主元分析的對象是樣本點×定/變量類型的數據表，其目標是對這種多變量的平面數據作最佳綜合簡化。也就是說，要在力保數據信息丟失最少的原則下，對高維變量空間進行降維處理。

設Xn×m為數據矩陣、n為樣本數、m為變量個數，矩陣的每一列對應于一個變量，每一行對應于一個樣本。矩陣X可以分解為m個向量的乘積之和，即:

式中:ti為得分向量，也稱主元;pi為負荷向量。式(1)也可以寫成以下矩陣形式:

式中:T為得分矩陣，T= t1t2… tm[

];P為負荷矩陣，P= [p1p2… pm]。

當矩陣X的變量間存在一定程度的線性相關時，X的變化將主要體現在最前面的幾個負荷向量方向上，X在最后面的幾個負荷向量上的投影將會很小，它們主要是由測量噪聲引起的。這樣就可以將X進行主元分解后寫成式(3)的形式:

式中:E為誤差矩陣。忽略E，往往會起到清除測量噪聲的效果。

對X進行主元分析實際上等效于對X的協(xié)方差矩陣XTX進行特征向量分析。將協(xié)方差矩陣的特征值做如下排列:λ1≥λ2≥…≥λm，那么與這些特征值對應的特征向量P1，P2，…，Pm即為矩陣的負荷向量。特征值的大小反映了對應的主成分樣本的離差程度，所選主元個數可通過累積方差百分比(comulative percent variance，CPV)來確定。采用這種方法，需要人為選定一個期望的CPV(如85%)作為準則，當CPV大于期望值時，對應的k值就是應保留的主元個數。在實際應用中，可根據實際情況，以能反映對象的絕大部分動態(tài)信息來決定主元的個數［7－8］。

2 最小二乘支持向量機

支持向量機的基本思想為:給定l個樣本數據( x1，y1)，( x2，y2)，…，( xl，yl)∈Rn×R，其中 x為樣本輸入，y為樣本輸出。首先，利用非線性映射φ(· )，將輸入向量從原空間Rn映射到一個高維特征空間(Hibert空間);然后，在這個高維特征空間中，采用結構風險最小化的原則構造最優(yōu)決策函數，并利用原空間的核函數取代高維特征空間的點積運算以避免復雜運算，從而將非線性函數估計問題轉化為高維特征空間中的線性函數問題。設構造的最優(yōu)決策函數具有如下形式:

求解式(4)的目的就是利用結構風險最小化原則，尋找參數ωT和b。尋找ωT和b等價于求解下面的優(yōu)化問題:

通過式(5)的對偶形式，可以求出它的最優(yōu)解。式(5)的對偶形式可以根據目標函數和約束條件建立Lagarangian函數，并對建立的Lagarangian函數進行求偏導。根據其偏導方程，可將求解的優(yōu)化問題轉化為求解線性方程，定義核函數代替非線性映射，最后得到最小二乘支持向量機的估計函數(即系統(tǒng)模型)為［8］:

式中:K( x ，xi)為滿足Mercer條件的任意對稱函數。

3 性能評估算法

對于多變量控制系統(tǒng)，先取一組長度為n、輸入變量個數為m的數據，再取一組長度為n的輸出數據。在對主成分進行計算時，首先必須對輸入矩陣X的數據進行歸一化處理，以消除指標量綱的影響。由標準化公式所計算得到的輸入數據x′ij的標準化值為:

本文采用由式(7)所得標準化值來計算標準化處理后的數據變量間的相關矩陣，從整體上研究因變量Y和自變量數組X之間的相關性。其相關矩陣R表示如下:

定義前k個主成分的累積貢獻率為:

式中:k＜m。當CPV(k)≥85%時，說明前k項主元已達到輸入數據信息總量的要求，那么前k項主元也就可以代表原來m項輸入變量。

本文利用主元分析方法進行數據壓縮和信息抽取，消除變量之間的相關性;再利用最小二乘支持向量機對提取的PCA主成分進行訓練，獲得其系統(tǒng)模型。

在進行支持向量機訓練之前，首先需要選定核函數的形式，本文選用高斯核函數。在選定核函數后，還要選擇合適的核參數σ和誤差懲罰參數c。關于這兩個參數的選擇，由于不同樣本集的最優(yōu)參數值是變化的，這可能影響評估結果，因此本文計算時對參數進行動態(tài)選取。

動態(tài)選取時，首先規(guī)定誤差懲罰參數集和核參數集，從參數集中選取參數分別進行組合;然后對最小二乘支持向量機進行訓練;最后采用測試集檢驗，選出最佳的參數組合作為模型的最終參數。

最小二乘支持向量機考慮采用下式對未知模型進行辨識。

式中:φ ( ·)為非線性函數，它把數據集從輸入空間Rn映射到特征空間R，使輸入空間中的非線性擬合問題變?yōu)楦呔S特征空間中的線性擬合問題;ω和β為待求參數。

根據結構風險最小化原則，上述擬合問題可表示為如下約束優(yōu)化問題:

式中:ωTω為控制模型的復雜度;λ為正規(guī)化參數;ei為誤差項。

為求解式(11)，可把約束優(yōu)化問題轉變?yōu)闊o約束優(yōu)化問題，建立拉格朗日函數，得:

式中:αi為拉格朗日乘子。

求解上述優(yōu)化問題又可轉換為解線性方程:

采用最小二乘法求出α與β，可得未知模型的擬合函數，即訓練數據集的逼近為:

根據式(14)求得的輸入輸出間的系統(tǒng)模型，可求得殘差的方差為:

由式(15)可以求出方差σ2e的估計值。方差σ2e和實際輸出數據方差σ2y的比值，就是所求控制器的性能指標η(d)，其表達式為:

通過對η(d)值的大小變化進行分析，便可對當前控制器的實際運行性能進行評價。

基于PCA-LSSVM的辨識模型步驟如下。

③找出所有累積方差百分比大于給定值(85%)的主元個數k，從而求出主元。這樣通過主元分析可將n維輸入變量轉變?yōu)閗維主元變量。

④尋找誤差懲罰參數集和核參數集。

⑤從誤差懲罰參數集和核參數集這兩個參數集中選取參數分別進行組合，并利用所選的參數，進行最小二乘支持向量機訓練。

⑥利用最小二乘支持向量機辨識模型，并用辨識好的模型進行性能評估。

4 仿真驗證

控制系統(tǒng)的各函數定義如下，其過程控制模型為:

式中:k為過程模型變化量。干擾模型為:

干擾為二維零均值、協(xié)方差矩陣為Σa=1.36I的白噪聲序列。

系統(tǒng)采用PI控制器，可得:式中:q－1為后移算子。

為了驗證PCA-LSSVM性能評價方法的有效性，將本文方法與基于最小方差的性能評估方法進行對比研究。系統(tǒng)白噪聲干擾信號如圖1所示。

圖1 系統(tǒng)白噪聲干擾信號Fig.1 White noise interference signal of the system

①過程模型參數k固定時的評價驗證

當k=1時，從仿真系統(tǒng)中采集2 000個仿真數據，然后將該數據按時間分成10組，每組包含200個數據點，分別采用最小方差(MVC)和本文提出的PCALSSVM性能評價方法評價控制器的性能。

控制器的基準性能指標如圖2所示。

圖2 輸出Y性能指標基準圖(k=1)Fig.2 Reference figure of the output Y performance indexes(when k=1)

性能評價效果如圖3所示。由圖3可以看出，在這個系統(tǒng)中，采用本文評價方法得出的評價結果比最小方差(MVC)評價結果誤差小，貼近基準值;而最小方差評價結果忽大忽小，波動較大，致使評價結果不準確，并且突然對系統(tǒng)施加擾動時，相對而言本文提出的性能評價方法要比最小方差(MVC)性能評價方法更敏感些。由此可以得出，當對同一系統(tǒng)不同時間段的控制器進行性能評估時，使用PCA-LSSVM性能評價方法得到的評價結果要優(yōu)于最小方差(MVC)性能評價方法，性能指標變化幅度比較小，更貼近實際情況。

圖3 輸出Y性能評價結果圖(k=1)Fig.3 Evaluation results of the output Y performance(when k=1)

②過程模型參數k變化時的評價驗證

當參數k從1變化到10時，在這10個不同參數情況下，從仿真系統(tǒng)中各采集200個數據點，同樣采用最小方差(MVC)和PCA-LSSVM兩種性能評價方法，評價控制器在不同過程模型下的性能?？刂破鞯幕鶞市阅苤笜巳鐖D4所示。

圖4 輸出Y性能指標基準圖(k變化時)Fig.4 Reference figure of the output Y performance indexes(when k changes)

性能評價結果如圖5所示。從圖5可以看出，當增大系統(tǒng)過程模型參數k時，整個系統(tǒng)性能呈現下降趨勢，當k取10時，性能指標急劇下降到50%左右。此外，當系統(tǒng)過程模型對象參數變化時，同時采用最小方差(MVC)性能評價方法和PCA-LSSVM性能評價方法對系統(tǒng)進行評價。最小方差(MVC)評價方法錯估了系統(tǒng)真實性能，對模型參數變化不是很敏感;而本文方法的評價結果比較接近真實基準值，誤差很小，可以反映出系統(tǒng)的真實性能。同時本文性能評價方法不需要求解系統(tǒng)關聯(lián)矩陣，大大簡化了計算的復雜度。因此，采用PCA-LSSVM性能評價方法對多變量系統(tǒng)進行性能評估具有一定的真實性和可靠性。

圖5 輸出Y性能評價結果(k變化時)Fig.5 Evaluation results of the output Y performance(when k changes)

5 結束語

本文研究了基于PCA-LSSVM方法的多變量控制系統(tǒng)性能評價方法，通過仿真驗證了PCA-LSSVM方法對于多變量控制系統(tǒng)的性能評估。該方法計算得出的性能指標誤差小，接近真實基準值，對系統(tǒng)變化敏感，指標變化曲線比較平穩(wěn)。該性能評價指標不但可以反映系統(tǒng)的真實性能，而且不需要求解相關方程，就可以計算得出評價結果。

［1］ Sun Z，Qin S，Singhal A，et al.Performance monitoring of modelpredictive controllers via model residual assessment［J］.Journal of Process Control，2013(23):473－482.

［2］ Harris T，Yu W.Variance decompositions of nonlinear dynamic stochastic systems［J］.Journal of Process Control，2010，20(2):195－205.

［3］ Yuan Q L，Lennox B.Control performance assessment for multivariable systems based on a modified relative variance technique［J］.Journal of Process Control，2009(19):489－497.

［4］ Fu R，Xie L，Song Z，et al.PID control performance assessment using iterative convex programming［J］.Journal of Process Control，2012(22):1793－1799.

［5］ Tian X M，Chen G Q，Chen S.A data-based approach for multivariate model predictive control performance monitoring［J］.Neuro computing，2011(74):588－597.

［6］ Jelali M.An overview of control performance assessment technology and industrial applications［J］.Control Engineering Practice，2006，14(5):441－466.

［7］ Jeng J.Adaptive process monitoring using efficient recursive PCA and moving window PCA algorithms［J］.Journal of the Taiwan Institute of Chemical Engineers，2010，41(4):475－481.

［8］ Hu M Q，Chen Y Q，Kwok J.Building sparse multiple-kernel SVM classifiers［J］.IEEE Transactions on Neural Networks，2009，20(5):827－839.

Performance Assessment Based on PCA-LSSVM for Control System

In order to evaluate accurately the performance of multi-variable control system and simplify the computational complexity of the evaluation process，the performance assessment method based on the combination of principal component analysis(PCA)and least square support vector machine(LSSVM)for multi-variable control system is proposed.The dimension reduction of the original independent variables is conducted by PCA method;the insensitive loss function in SVM is replaced by quadratic loss function，and the inequality constraints is replaced by equality constraints，thus the quadratic programming is converted into the solution of linear equations;in addition，the selection of parameters of LSSVM is improved.The solving of system associated matrix is not necessary with this method for performance assessment，and the solving complexity is simplified.The practical example of simulation verifies that the PCA-LSSVM method better reflects the real performance of the control system.

Least square support vector machine Multi-variable control system Principal component analysis Associated matrix Performance indexes Performance evaluation

TP13

A

遼寧省科技攻關基金資助項目(編號:2011216011)。

修改稿收到日期:2013－04－10。

蔡宏斌(1987－)，男，現為遼寧石油化工大學控制理論與控制工程專業(yè)在讀碩士研究生;主要從事工業(yè)過程的先進控制與優(yōu)化、控制器性能評估方面的研究。

行業(yè)信息