基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化的TS模糊模型辨識(shí)研究?

劉小雍，周淑芳，熊中剛，陳連貴，閻昌國(guó)

(1.遵義師范學(xué)院工學(xué)院，貴州遵義563002；2.遵義醫(yī)學(xué)院附屬醫(yī)院醫(yī)學(xué)檢驗(yàn)科，貴州遵義563003)

基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化的TS模糊模型辨識(shí)研究?

劉小雍1，周淑芳2?，熊中剛1，陳連貴1，閻昌國(guó)1

(1.遵義師范學(xué)院工學(xué)院，貴州遵義563002；2.遵義醫(yī)學(xué)院附屬醫(yī)院醫(yī)學(xué)檢驗(yàn)科，貴州遵義563003)

針對(duì)TS模糊模型的后件參數(shù)辨識(shí)，為了避免傳統(tǒng)意義上以經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化來(lái)求解參數(shù)，同時(shí)考慮到如何控制模型結(jié)構(gòu)復(fù)雜性以及經(jīng)驗(yàn)風(fēng)險(xiǎn)又要最小，提出了一種基于最小二乘支持向量回歸(LSSVR)結(jié)構(gòu)風(fēng)險(xiǎn)分解建立新的代價(jià)函數(shù)來(lái)辨識(shí)TS模糊模型。緊接著，以該代價(jià)函數(shù)作為優(yōu)化目標(biāo)，TS模糊模型為約束條件，通過(guò)引入拉格朗日方法對(duì)其求解，最終得到模型的后件參數(shù)。該方法有如下顯著特征:1)引出的代價(jià)函數(shù)是基于結(jié)構(gòu)風(fēng)險(xiǎn)而非經(jīng)驗(yàn)風(fēng)險(xiǎn);2)計(jì)算過(guò)程不僅避免了核函數(shù)的選擇，而且僅對(duì)原輸入數(shù)據(jù)空間做內(nèi)積;3)全局與局部性能得到保證。最后，論證了該方法的有效性和優(yōu)越性。

結(jié)構(gòu)風(fēng)險(xiǎn)最小化;TS模糊模型;代價(jià)函數(shù);辨識(shí)

TS模糊模型是一種可以用來(lái)表征非線性系統(tǒng)的數(shù)學(xué)模型，利用這種方法可以將復(fù)雜的非線性系統(tǒng)轉(zhuǎn)化為一些簡(jiǎn)單的線性子系統(tǒng)；此外，該模型還有良好的局部解釋能力以及以任意精度逼近非線性系統(tǒng)，所以在非線性系統(tǒng)建模中得到了廣泛應(yīng)用。TS模糊模型[1]是Takagi和Sugeno于1985年提出來(lái)的，其模型辨識(shí)分為結(jié)構(gòu)辨識(shí)和參數(shù)辨識(shí)兩部分，而參數(shù)辨識(shí)又包括前件參數(shù)辨識(shí)和后件參數(shù)辨識(shí)。其中，結(jié)構(gòu)辨識(shí)部分得到了大量研究，例如有模糊C均值聚類(FCM)、Gustafson-Kessel聚類算法(GKCA)，減聚類等等；近年來(lái)，基于支持向量機(jī)(SVM)[2，3]和相關(guān)向量機(jī)(RVM)[4]方法也被用于TS模糊模型的結(jié)構(gòu)辨識(shí)。盡管結(jié)構(gòu)辨識(shí)部分得到了廣泛研究，然而，卻很少有方法提出對(duì)TS模糊模型的后件參數(shù)辨識(shí)部分做進(jìn)一步研究或改進(jìn)，仍然用傳統(tǒng)的方法進(jìn)行參數(shù)辨識(shí)，如最小二乘算法(LS)、正交 LS、遞歸 LS、期望最大化算法(EM)、和卡爾曼濾波方法等。然而，無(wú)論是LS[5]、卡爾曼濾波方法[6]、期望最大化算法(EM)[7]，還是LS及其變體，都是基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化或者局部最優(yōu)的方法來(lái)求解參數(shù)，所以會(huì)產(chǎn)生模型較差的泛化性能。例如，LS算法，只考慮如何讓模型輸出與實(shí)際輸出之間的誤差達(dá)到最小，而沒(méi)有考慮如何控制模型結(jié)構(gòu)的復(fù)雜性，在這種情況下，訓(xùn)練誤差甚至可以達(dá)到零，但對(duì)測(cè)試數(shù)據(jù)產(chǎn)生很大的偏差，這就意味著最終得到的模型不是所期望的。

對(duì)于TS模糊模型，其自身有著較好的解釋能力以及以任意精度逼近任意的非線性系統(tǒng)，所以在建模和控制等方面有著廣泛的應(yīng)用。然而，對(duì)于模型的后件辨識(shí)部分，目前仍采用傳統(tǒng)基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化或者局部最優(yōu)的方法來(lái)實(shí)現(xiàn)。因此，本文提出基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化的分解，建立TS模糊模型新的代價(jià)函數(shù)，對(duì)后件部分進(jìn)行辨識(shí)。

1 TS模糊模型

一種基于數(shù)據(jù)的非機(jī)理模型，TS模糊模型，通常被用于建模非線性系統(tǒng)模型f(x)。假設(shè)獲取到測(cè)量數(shù)據(jù){(x1，y1)，…，(xN，yN)}，N表示測(cè)量數(shù)據(jù)集大小，xi∈Rn，yi為對(duì)應(yīng)的期望輸出，則帶有R個(gè)規(guī)則的TS模糊模型為:

Ri表示第i個(gè)規(guī)則，x1，…，xn是輸入變量，Ai1，…，Ain是分配到對(duì)應(yīng)各自輸入變量的模糊集〈·，·〉表內(nèi)積，ai和bi是后件參數(shù)，TS模糊模型的最終輸出為:

其中:

φi(x)表示第i個(gè)規(guī)則的標(biāo)準(zhǔn)觸發(fā)強(qiáng)度，μij(x)描述的是模糊集Aij的隸屬函數(shù)。

考慮到模糊Gustafson-Kessel聚類算法(GKCA)主要是基于其聚類協(xié)方差矩陣的特征值提供了關(guān)于聚類形狀和方向的相關(guān)信息，可以檢測(cè)到帶有不同形狀和方向的整個(gè)數(shù)據(jù)集的類，因此，在TS模糊模型結(jié)構(gòu)辨識(shí)部分將采用GKCA方法。

2 結(jié)構(gòu)風(fēng)險(xiǎn)分解下的TS模型辨識(shí)

通過(guò)對(duì)基于LSSVR模型的結(jié)構(gòu)風(fēng)險(xiǎn)進(jìn)行分解，建立新的帶有結(jié)構(gòu)風(fēng)險(xiǎn)特性的代價(jià)函數(shù)來(lái)對(duì)TS模型的后件參數(shù)進(jìn)行辨識(shí)，從而達(dá)到建模TS模糊模型，其簡(jiǎn)要流程如圖1所示。

圖1 建立TS模糊模型的簡(jiǎn)要流程圖

2.1 一種基于結(jié)構(gòu)風(fēng)險(xiǎn)分解的新代價(jià)函數(shù)

基于TS模糊模型將其展開為:

定義，

對(duì)于TS模型，則有:

根據(jù)規(guī)則數(shù)R，LSSVR也可進(jìn)行R項(xiàng)分解:

因此，基于LSSVR的原始優(yōu)化問(wèn)題可進(jìn)一步轉(zhuǎn)化成:

模型結(jié)構(gòu)與數(shù)據(jù)擬合之間的相對(duì)重要性由規(guī)則化常量γVR來(lái)決定。從式(6)和(7)，可進(jìn)一步得到TS模型后件參數(shù)的代價(jià)函數(shù):

考慮到TS模糊模型的前件結(jié)構(gòu)部分被確定之后，意味著標(biāo)準(zhǔn)化后的觸發(fā)強(qiáng)度值φk(x)在最小化J1的過(guò)程中被確定，所以式 (9)可以變成如下形式:

因此，最小化TS模糊模型的代價(jià)函數(shù)被建立。

2.2 基于代價(jià)函數(shù)的TS模型辨識(shí)

在最小化TS模型所對(duì)應(yīng)的代價(jià)函數(shù)時(shí)，其滿足的約束條件跟LSSVR一樣，僅僅約束中的模型發(fā)生了變化。求解一階TS模糊系統(tǒng)后件參數(shù)所對(duì)應(yīng)的優(yōu)化問(wèn)題給定為:

應(yīng)用拉格朗日方法，上述優(yōu)化問(wèn)題被構(gòu)造為:

αi∈R表示拉格朗日乘子。根據(jù)KKT優(yōu)化條件:

此外，在式(13)中，向量αk的分量αjk按下式可計(jì)算為:

將式(18)帶入式(20)得:

再將式(14)代入式(16)有:

從式(13)和式(15)，進(jìn)一步得到:

其中:

關(guān)于矩陣ΓN×N里面的元素λij計(jì)算為:

從上式的計(jì)算可知，元素λij計(jì)算不涉及核函數(shù)的選擇，同時(shí)僅僅對(duì)原數(shù)據(jù)空間做內(nèi)積即可，且矩陣ΓN×N是對(duì)稱矩陣。

對(duì)拉格朗日乘子的計(jì)算，可以根據(jù)式(20)有:

因此，拉格朗日乘子向量ΛN×1被計(jì)算為:

最終，由式子(17)可得TS模糊系統(tǒng)的后件參數(shù)被求解。

對(duì)所提出方法的建立過(guò)程如圖2所示。

圖2 提出方法的建立過(guò)程

可以將其主要?dú)w述為，第一步設(shè)定聚類規(guī)則數(shù)，然后根據(jù)聚類規(guī)則數(shù)R，對(duì)LSSVR的回歸模型進(jìn)行R項(xiàng)分解，這里的分解主要是基于某個(gè)向量，該向量總可以分解為R項(xiàng)具有相同維數(shù)的向量之和。同時(shí)，TS模糊模型也可進(jìn)行R項(xiàng)展開并作部分變量代換處理，得到LSSVR回歸模型和TS模型具有等價(jià)的模型描述形式；緊接著，對(duì)基于LSSVR的結(jié)構(gòu)風(fēng)險(xiǎn)同樣進(jìn)行R項(xiàng)分解，得到分解后的結(jié)構(gòu)風(fēng)險(xiǎn)?？紤]到經(jīng)過(guò)處理之后的這兩種模型在描述形式上相同的，因此，結(jié)合分解后的結(jié)構(gòu)風(fēng)險(xiǎn)，最終建立基于TS模糊模型的一種新的代價(jià)函數(shù)。通過(guò)代價(jià)函數(shù)和以TS模糊模型為約束條件建立拉格朗日函數(shù)并結(jié)合KKTr優(yōu)化條件，最終求解出模型的后件參數(shù)。

3 仿真論證

這部分主要通過(guò)仿真對(duì)提出的方法進(jìn)行論證，所使用的性能評(píng)估指標(biāo)是均方誤差(Measure Squares Error，MSE)，定義如下:

其中N表示測(cè)試數(shù)據(jù)集的大小，yk表示實(shí)際的數(shù)據(jù)，是TS模糊模型的預(yù)測(cè)輸出。

首先考慮用于逼近非線性函數(shù)的一個(gè)簡(jiǎn)單問(wèn)題如下:

圖3 使用提出的方法建模非線性函數(shù)

其中v表示均值為0，方差為0.1的白噪聲，x的取值范圍是[0 120]。在仿真過(guò)程中，將取值范圍等間隔取值，產(chǎn)生1201個(gè)訓(xùn)練數(shù)據(jù)點(diǎn)。通過(guò)應(yīng)用提出的方法后，可得TS模糊模型的后件參數(shù)，如表1所示，同時(shí)也包括文獻(xiàn)[8]使用傳統(tǒng)的最小二乘算法(LS)以及卡爾曼濾波方法辨識(shí)TS模糊模型時(shí)的后件參數(shù)，以及它們所對(duì)應(yīng)的MSE?；谔岢龇椒ǖ玫降囊浑ATS模糊模型的輸出與非線性函數(shù)的輸出如圖3所示。從圖表結(jié)果可以清楚地看到，通過(guò)提出的方法所建立的TS模糊模型有較好的性能。

表1 TS模糊模型的后件參數(shù)及MSE比較

下面考慮雙輸入單輸出的一個(gè)仿真，其模型是來(lái)自文獻(xiàn)[9]的靜態(tài)非線性函數(shù)作為新的研究對(duì)象，然后用提出的方法來(lái)對(duì)其進(jìn)行建模。雙輸入單輸出的非線性函數(shù):

其中兩個(gè)輸入變量的范圍定義在區(qū)間1≤x1，x2≤5，且兩個(gè)變量在區(qū)間上使用等間隔采樣，然后從式(26)獲取50個(gè)數(shù)據(jù)用于建模TS模糊模型。

在建模TS模糊模型的過(guò)程中，其前件部分語(yǔ)言輸入變量選擇x1和x2，結(jié)構(gòu)辨識(shí)部分采用前面介紹的模糊Gustafson-Kessel聚類算法；對(duì)于后件參數(shù)部分，使用提出的方法進(jìn)行辨識(shí)。在選擇相同規(guī)則數(shù)R為6，10，25的情況下，表2給出了提出方法與其他文獻(xiàn)[9-11]的MSE比較結(jié)果。圖4給出了在規(guī)則數(shù)R選擇為25的情況下得到的仿真曲線。接下來(lái)考慮如下的非線性動(dòng)態(tài)系統(tǒng):

表2 雙輸入單輸出的非線性函數(shù)的MSE結(jié)果比較

圖4 使用提出的方法建模非線性函數(shù)

其中noise表示均值為0，方差是0.25的高斯白噪聲。基于上式產(chǎn)生501個(gè)訓(xùn)練數(shù)據(jù)，通過(guò)應(yīng)用提出的方法，非線性動(dòng)態(tài)系統(tǒng)的實(shí)際輸出與預(yù)測(cè)輸出及誤差分別如圖5和圖6所示。

同時(shí)給出了與其他不同方法的性能比較，如表3所示。

表3 不同方法對(duì)非線性動(dòng)態(tài)系統(tǒng)建模的MSE比較

圖5 提出的方法對(duì)非線性動(dòng)態(tài)系統(tǒng)的辨識(shí)

圖6 模型預(yù)測(cè)輸出與實(shí)際輸出的預(yù)測(cè)誤差

4 結(jié)論

目前，TS模糊模型在結(jié)構(gòu)辨識(shí)上得到廣泛研究，卻很少在參數(shù)辨識(shí)上做進(jìn)一步研究，仍然采用傳統(tǒng)的經(jīng)驗(yàn)風(fēng)險(xiǎn)、局部最優(yōu)等方法對(duì)參數(shù)進(jìn)行辨識(shí)，例如最小二乘算法及其辯題、期望最大化算法等。因此，提出了一種基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化的新代價(jià)函數(shù)辨識(shí)TS模糊模型的后件參數(shù)，以該代價(jià)函數(shù)作為目標(biāo)，TS模型為約束條件，應(yīng)用KKT優(yōu)化條件對(duì)其求解。盡管引入了LSSVR的相關(guān)知識(shí)，但在計(jì)算過(guò)程中不涉及核函數(shù)選擇，其運(yùn)算主要是對(duì)原數(shù)據(jù)空間做內(nèi)積即可，并沒(méi)有涉及高維數(shù)據(jù)的運(yùn)算。最后，通過(guò)靜態(tài)模型、多輸入單輸出以及非線性動(dòng)態(tài)系統(tǒng)模型對(duì)提出的方法進(jìn)行了論證。

[1]Takagi T，Sugeno M.Fuzzy identification of systems and its applications tomodeling and control[J].Systems，Man and Cybernetics，IEEE Transactions on，1985，15(1):116-132.

[2]ZhaoW，Zhang J，Li K.An Efficient LS-SVM Based Method for Fuzzy System Construction，IEEE[J].Transactions on Fuzzy Systems，2015，23(3):627-643.

[3]梁炎明，蘇芳.基于支持向量機(jī)回歸的TS模糊模型自組織算法及應(yīng)用[J].自動(dòng)化學(xué)報(bào)，2013，39(12):2143-2149.

[4]Kim J，Suga Y，Won S.A new approach to fuzzymodeling of nonlinear dynamic systemswith noise:relevance vector learningmechanism[J].Fuzzy Systems，IEEE Transactons on，2006，14(2): 222-231.

[5]Mendonca L F，Sousa JM C，Costa JM G S.An architecture for fault detection and isolation based on fuzzy methods[J].Expert Systemswith Applications，2009，36(2):1092-1104.

[6]郭穎，呂劍虹，吳波，等.基于TS模糊模型的熱工過(guò)程建模方法[J].系統(tǒng)仿真學(xué)報(bào)，2010(01):210-215.

[7]Wang L，Langari R.Sugenomodel，fuzzy discretization，and the EM algorithm[J].Fuzzy Sets and Systems，1996，82(3):279-288.

[8]Chafaa K，Ghanai M，Benmahammed K.Fuzzy modelling using Kalman filter[J].Control Theory＆Applications，IET，2007，1 (1):58-64.

[9]Sugeno M，Yasukawa T.A fuzzy-logic-based approach to qualitativemodeling[J].IEEE Transactions on fuzzy systems，1993，1 (1):7-31.

[10]Nozaki K，IshibuchiH，Tanaka H.A simple but powerful heuristic method for generating fuzzy rules from numerical data[J].Fuzzy sets and systems，1997，86(3):251-270.

[11]Lee S J，Ouyang C S.A neuro-fuzzy system modeling with selfconstructing rule generationand hybrid SVD-based learning[J]. Fuzzy Systems，IEEE Transactions on，2003，11(3):341-353.

[12]Chuang，C.-C..Fuzzy weighted support vector regression with a fuzzy partition[J].IEEE Trans.Syst.Man Cybern.B，Cybern，2007，37(3):630-640.

(責(zé)任編輯:曾 晶)

Research on Identifying TS Fuzzy M odel Based on Structural Risk M inim ization

LIU Xiaoyong1，ZHOU Shufang2?，XIONG Zhonggang1，CHEN Liangui1，YAN Changguo1

(1.College of Engineering and Technology，Zunyi Normal College，Zunyi 563002，China；2.Department of Laboratory Medicine，Affiliated Hospital of ZunyiMedical College，Zunyi 563003，China)

Aiming at the consequent parameters of the TS fuzzymodel，a novel cost function based on decomposing LSSVR was proposed to identify consequent parameters，which makes use of the structural risk considering how to control the trade-off between empirical risk and model complexity instead of the conventional empirical risk.And then，a new optimization problem was formulated by treating the obtained cost function as the objective function，TS fuzzymodel as constraint condition，and the consequent parameters of TS fuzzymodelwere derived by applying Lagrangemethod.The resultingmethod has the following distinct features:(1)the obtained new cost function can be regarded as a structural risk instead of empirical risk；(2)the computation process cannot only avoid the selection of kernel function，but alsomerely use the scalar product for original input space；and(3) the approach can well guarantee the performance of both local-regression models and globalmodel.Finally，the viability and superiority of themethod were verified by simulation.

structural risk minimization；TS fuzzymodel；cost function；identification

TP391.9

A

1000-5269(2016)04-0064-05

10.15958/j.cnki.gdxbzrb.2016.04.13

2016-02-19

貴州省教育廳項(xiàng)目(黔教合KY字[2015]457號(hào))；省科技廳項(xiàng)目(黔科合LH字[2015]7054號(hào)，黔科合LH字[2016]7018號(hào))；遵義師范學(xué)院博士項(xiàng)目(遵師BS[2015]04號(hào))

劉小雍(1982-)，男，副教授，博士，研究方向:機(jī)器學(xué)習(xí)、數(shù)據(jù)-模型融合建模以及狀態(tài)/參數(shù)估計(jì)等，Email:liuxy204＠163.com.

?通訊作者:周淑芳，Email:springzhousf＠163.com.