基于模糊加權(quán)最小二乘支持向量回歸的非線性系統(tǒng)建模方法

熊中剛，劉 忠，羅素蓮

(桂林航天工業(yè)學(xué)院機械工程學(xué)院，廣西 桂林 541004)

0 引言

國內(nèi)外關(guān)于非線性系統(tǒng)建模的研究在工程、科學(xué)等領(lǐng)域得到了大力發(fā)展，最小二乘支持向量回歸作為支持向量回歸的變體，極大加速了模型訓(xùn)練問題，在時間序列預(yù)測、子空間辨識、信號處理等方面得到了廣泛應(yīng)用[1]。

文獻[2]經(jīng)過大量實驗研究表明，最小二乘支持向量回歸的泛化性能優(yōu)于支持向量回歸。文獻[3]研究了最小二乘支持向量回歸能以較好全局性能辨識被估模型，但缺乏可靠的局部建模行為。文獻[4]提出了基于最小二乘支持向量回歸的局部神經(jīng)-模糊方法，利用分層二進制學(xué)習算法將輸入空間劃分為若干個小區(qū)域，借助最小二乘支持向量回歸對每個區(qū)域進行獨立建模，但由于要為所有測試數(shù)據(jù)創(chuàng)建局部模型，導(dǎo)致計算負荷較大，效率低。文獻[5]通過局部建模方法以訓(xùn)練數(shù)據(jù)中感興趣的數(shù)據(jù)點為中心，選取靠近中心的數(shù)據(jù)建立模型，與此相似的局部建模方法還有K近鄰點方法[6]和歐拉距離方法[7-8]，但沒有統(tǒng)一標準從數(shù)據(jù)集中選取K個近鄰點保證其性能。文獻[9]提出了局部支持向量回歸建模方法，該方法能更好捕捉數(shù)據(jù)中局部信息以及建立各個模型之間的關(guān)系，但是當被建模的數(shù)據(jù)處于或靠近原始數(shù)據(jù)集邊界時，易產(chǎn)生邊界效應(yīng)，即邊界數(shù)據(jù)會產(chǎn)生較大的建模偏差。文獻[10]考慮全局最小二乘支持向量回歸方法計算量大，提出了局部灰色支持向量回歸算法，該方法在建模問題上對計算時間進一步進行了優(yōu)化。

本文針對最小二乘支持向量回歸方法計算量大、非線性系統(tǒng)建模時邊界數(shù)據(jù)會產(chǎn)生較大的建模偏差及數(shù)據(jù)計算負荷大等問題，提出了基于模糊加權(quán)最小二乘支持向量回歸的非線性系統(tǒng)建模方法。

1 基礎(chǔ)算法研究

1.1 最小二乘支持向量回歸

文獻[11] 中為了考察一部分核函數(shù)的推廣能力，通過建立核函數(shù)與正則化算子P之間的關(guān)系，得出最佳選擇是高斯核函數(shù)，而且可以獲得非常平滑的估計。文獻[1]研究了最小二乘支持向量回歸并對于輸入-輸出數(shù)據(jù)xk=(x1k,x2k,…,xnk)T和yk，k=1,2,…,N，建立了如下初始模型：

(1)

式(1)中，x表示新測試數(shù)據(jù)。

本文經(jīng)研究表明，最小二乘支持向量回歸的泛化性能優(yōu)于支持向量回歸，基于上述因素、系統(tǒng)特征以及測量數(shù)據(jù)缺乏先驗知識等問題，本文采用高斯核函數(shù)，則式(1)可進一步描述為：

(2)

式(2)中，σ為高斯核函數(shù)，α=(α1,α2,…,αN)為支持值向量，b為偏差項，以上參數(shù)通過如下優(yōu)化求解

(3)

s.t.yk=wTΦ(xk)+b+ξk,k=1,2,…,N

(4)

Φ表示從非線性空間到線性空間的特征映射，參數(shù)γ∈R+表示規(guī)則化常量，用于對模型擬合度與平滑性之間相對重要性的控制。對式(3)和(4)使用拉格朗日方法得到如下無約束優(yōu)化問題：

根據(jù)KKT條件有，

(5)

(6)

(7)

因此，最小二乘支持向量回歸的學(xué)習過程可由式(5)—式(7)建立如下方程組求解：

(8)

式(8)中，y=(y1,y2,…,yN)T，1N=(1,1,…,1)TΩij=K(xi,xj)=ΦT(xi)Φ(xj)，對任意的i,j=1,2,…,N，K(·,·)為滿足Mercer條件的正定核函數(shù)。

1.2 GK(Gustafson-Kessel)聚類算法

文獻[11—13]對于GK聚類算法的研究最終建立了一種最小化迭代優(yōu)化算法目標函數(shù)：

(9)

GK聚類算法的突出優(yōu)點在于其聚類協(xié)方差矩陣特征值能夠為不同聚類的形狀和方向提供不同的信息，從而能檢測到不同的形狀和方向數(shù)據(jù)集。本設(shè)計基于式(9)建立如下所述的約束條件：

(10)

2 基于數(shù)據(jù)簡化及模糊加權(quán)最小二乘支持向量回歸的非線性系統(tǒng)建模

2.1 數(shù)據(jù)簡化及模糊權(quán)值計算

本設(shè)計為實現(xiàn)前件參數(shù)辨識，采用優(yōu)于模糊C均值聚類的GK聚類算法，并引入重疊因子去除建模過程中一些非重要數(shù)據(jù)，減小建模方法的運算時間，從而對數(shù)據(jù)進行有效簡化，在不影響建模性能的條件下為后件參數(shù)辨識減小計算量。

(11)

(12)

(13)

式(12)、式(13)中，i=1,2,…,N,k=1,2,…,R,j=1,2,…,n。本設(shè)計經(jīng)由式(12)和式(13)對每個數(shù)據(jù)子集引入重疊因子進行簡化后，同時在式(11)的基礎(chǔ)上建立了如下的三角模糊隸屬函數(shù)：

(14)

基于式(14)，第i個規(guī)則的執(zhí)行強度可計算為各個隸屬度乘積：

(15)

式(15)中，μAij(x)為模糊集Aij的隸屬函數(shù)。對于第k個模糊集取標準化觸發(fā)強度，可得模糊權(quán)值：

(15)

經(jīng)過GK聚類算法處理后不僅能夠保持原始數(shù)據(jù)集容量，而且可有效減小每個子集的容量，理論上認為任意一個數(shù)據(jù)的隸屬度遠離聚類中心的三倍標準差時可以忽略，本設(shè)計中一般在3附件選擇重疊因子λ，進而再劃分數(shù)據(jù)子集后，新的數(shù)據(jù)子集能夠在保證數(shù)據(jù)重要性的前提條件下極大的簡化數(shù)據(jù)容量，充分簡化了T-S模型在計算負荷上的后件參數(shù)辨識。

2.2 模糊加權(quán)的最小二乘支持向量回歸非線性系統(tǒng)建模

本建模方法設(shè)計時先將輸入空間模糊劃分為幾個模糊區(qū)域，每個區(qū)域用子集回歸模型代替每個規(guī)則對應(yīng)的線性函數(shù)逼近T-S模型子系統(tǒng)，再經(jīng)由最小二乘支持向量回歸(LS-SVR)對每個訓(xùn)練數(shù)據(jù)子集回歸模型獨立建模，最終通過模糊加權(quán)得到被估系統(tǒng)的全局行為。

該系統(tǒng)非線性系統(tǒng)建模首先基于獲取到的未知系統(tǒng)輸入-輸出數(shù)據(jù)xk=(x1k,x2k,…,xnk)T和yk，k=1,2,…,N，對于任意未知非線性系統(tǒng)y=f(x)運用T-S模糊模型能進行一個較好的描述和建模，對于各個數(shù)據(jù)的采樣指標采用k表示，同時回歸量數(shù)目采用n進行表示[15]。在T-S模糊模型描述下的后件部分輸入的線性函數(shù)：

(17)

式(17)中，i=1,2,…,R，其中n×1的輸入變量采用x表示，輸出變量采用yi∈表示。系統(tǒng)T-S模糊模型的后件參數(shù)采用n×1維向量ai和bi∈表示，第i個規(guī)則用Ri表示，總規(guī)則數(shù)則用R表示。

然而‘xisAi(x)’的邏輯組合有如下形式：

然后基于所獲取的新訓(xùn)練子集，同時結(jié)合式(2)建立每個子集回歸模型SRMk，即

(18)

式(18)中，k=1,2,…,R，其中第k個子集回歸模型采用SRMk定義，并通過最小二乘支持向量回歸方法對參數(shù)αk,i，bk進行求解，mk表示第k新訓(xùn)練數(shù)據(jù)子集Δk的大小。

最后通過式(16)模糊加權(quán)值對子集回歸模型SRMk進行組合，得到所提出方法的最終輸出。

(19)

在式(19)中，每個子集回歸模型SRMk(x)可以通過對應(yīng)的數(shù)據(jù)子集獨立求解且彼此之間的運算是獨立的，本質(zhì)上不受聚類數(shù)的影響。

3 仿真實驗

為能有效論證提出的方法，下面將通過仿真從均方根誤差和不同方法計算時間進行比較。 第一個實驗為雙輸入單輸出非線性函數(shù)，第二個是非線性動態(tài)系統(tǒng)。

考察的其中一個性能指標均方根誤差RMSE的定義如下：

(20)

另一個性能指標是提出方法的全局建模時間和局部建模時間、全局最小二乘支持向量回歸建模和局部最小二乘支持向量回歸建模做比較，同時考慮了重疊因子在試驗中的影響。對于不同方法選取一樣的超參數(shù)集以使比較盡量公平。對于局部建模方法，假設(shè)獲取的訓(xùn)練數(shù)據(jù)X={(xi,yi)|i=1,…,N}，測試輸入xt，并在其鄰域采用測試輸入與訓(xùn)練數(shù)據(jù)之間的歐拉距離獲取p個訓(xùn)練點用于建立局部模型。首先考慮如下雙輸入非線性系統(tǒng)：

在-5≤x1,x2≤5進行等距離采樣獲取訓(xùn)練數(shù)據(jù)1 681(41×41)，測試數(shù)據(jù)量為6 561(81×81)。

為了將提出的方法與局部最小二乘支持向量回歸方法、全局最小二乘支持向量回歸方法和文獻[3]進行有力比較，同時考慮與現(xiàn)有方法比較的公平性，故采取十階交叉驗證法獲取與比較系統(tǒng)一樣的超參數(shù)集(σ,γ,λ)=(3,15,1.5)，表1和表2分別給出了不同方法對于均方根誤差以及運算時間的比較。此外，也給出了不同重疊因子λ為1.5和3.0時，提出方法在數(shù)據(jù)簡化后的每個數(shù)據(jù)子集大小、訓(xùn)練/測試均方根誤差以及局部建模時間相關(guān)情況如表3所示。從表1到表2的結(jié)果可以清晰看到，提出方法無論是從計算時間還是均方根誤差，顯然優(yōu)于其他建模方法。表3從某種程度上表明，提出方法對于重疊因子的選擇并不是越大越好。

表1 不同方法的均方根誤差性能比較

表2 不同方法的運算時間比較

表3 不同重疊因子對應(yīng)的各個數(shù)據(jù)子集大小、均方根誤差(訓(xùn)練/測試)以及局部時間

采用局部最小二乘支持向量回歸方法，通過歐拉距離選取的p個訓(xùn)練點分別為50,80,120和170時，如圖1所示，出現(xiàn)了明顯的邊界效應(yīng)問題，尤其是訓(xùn)練數(shù)據(jù)量較小的時候時尤為嚴重。即便p增加會削弱邊界效應(yīng)問題，但是建模運算時間隨之急劇增加，如p取170時，建模時間達到了155.1565秒。圖2給出了提出方法在R分別取2,4,6,8的建模輸出，即便R取較小時，也沒出現(xiàn)邊界效應(yīng)。分別通過圖1和圖2對局部建模方法和提出方法仿真，將獲取到的整個數(shù)據(jù)通過聚類方法分別聚類成2類、4類、6類、8類進行比較時，得出當類數(shù)R選擇越大時，局部建模方法的精度越高，然而運算時間也越大；即便如此，提出方法在較小聚類數(shù)R時，建模精度和運算時間也能得到較好的保證。

圖1 局部最小二乘支持向量回歸方法選擇p個訓(xùn)練點分別為50,80,120和170Fig.1 L-LS-SVR method selects training points for 50,80,120 and 170 respectively

圖2 提出方法在R分別取2、4、6、8的建模輸出Fig.2 The proposes a method to take 2, 4, 6, 8 modeling outputs in R respectively

接下來，考慮非線性動態(tài)系統(tǒng)：

(20)

從該系統(tǒng)產(chǎn)生501個訓(xùn)練點，v(t)是方差為0.5的高斯噪聲，使用提出的方法對其進行動態(tài)建模，選擇聚類數(shù)R為7，與文獻[3]提出的方法進行對比，本文采用5階交叉驗證選取5組不同的互斥數(shù)據(jù)集作仿真進行比較，更能體現(xiàn)提出方法與現(xiàn)有方法的合理性和優(yōu)越性；5階交叉驗證尋優(yōu)超參數(shù)集(σ,γ,λ)為(1,1 000,1.1)。

表4和表5分別給出了不同方法的均方根誤差RMSE以及運算時間的比較，重疊因子λ為1.1和2.5時，提出方法在數(shù)據(jù)簡化后的每個數(shù)據(jù)子集大小、訓(xùn)練/測試均方根誤差以及局部建模時間的比較情況如表3所示。表4到表6清晰地表明，提出方法較全局最小二乘支持向量回歸和局部最小二乘支持向量回歸方法都有著較好的有效性和優(yōu)越性。例如表4，從均方根誤差的性能比較來看，即便子集回歸模型個數(shù)為3(對應(yīng)規(guī)則數(shù)R取3)時，其均方根誤差為0.252 3，運行時間為0.328 1 s，而局部最小二乘支持向量回歸選擇最多數(shù)據(jù)量為89時也為0.356 1，運行時間達到了18.171 9 s。

表4 不同方法的均方根誤差性能比較

表5 不同方法的運算時間比較

表6 不同重疊因子對應(yīng)的各個數(shù)據(jù)子集大小、均方根誤差(訓(xùn)練/測試)以及局部時間

綜上測試可知本文設(shè)計的方法選取較小的重疊因子能夠使系統(tǒng)訓(xùn)練和測試的均方根誤差更好，并能更好地簡化數(shù)據(jù)，重疊因子越小時，每個聚類子集所包含的數(shù)據(jù)量越小，從而導(dǎo)致每個數(shù)據(jù)子集的重要數(shù)據(jù)消失，最終引起建模精度的下降，故也不能無限制地對重疊因子取小，這樣反而會丟失建模過程中的有效數(shù)據(jù)，但究竟如何適當選取將是下一步進行的工作。

4 結(jié)論

本文提出了基于模糊加權(quán)最小二乘支持向量回歸的非線性系統(tǒng)建模方法。該方法融合了模糊加權(quán)機理與最小二乘支持向量回歸的優(yōu)點，通過引入重疊因子，在保證建模精度(均方根誤差越小越好)的情況下，去除建模過程中的一些非重要數(shù)據(jù)，減小建模方法的運算時間，并能將全局與局部建模方法相融合有效解決局部建模方法所產(chǎn)生的邊界效應(yīng)問題。實驗驗證結(jié)果表明，本文設(shè)計的幾種方法分別從訓(xùn)練/測試均方根誤差、不同重疊因子、計算時間方面比較都有明顯的有效性和優(yōu)越性，但重疊因子大小與建模精度的確切關(guān)系有待進一步研究。