基于模糊聚類的二型模糊神經(jīng)網(wǎng)絡(luò)系統(tǒng)辨識(shí)

施建中, 梁紹華

(南京工程學(xué)院能源與動(dòng)力工程學(xué)院, 南京 211167)

神經(jīng)網(wǎng)絡(luò)由于其較強(qiáng)的學(xué)習(xí)能力，被廣泛應(yīng)用于非線性系統(tǒng)辨識(shí)與控制中，而實(shí)際對(duì)象充滿了不確定因素，很多問(wèn)題往往不能用精確的數(shù)學(xué)模型來(lái)描述.模糊系統(tǒng)利用專家的知識(shí)經(jīng)驗(yàn)，通過(guò)自然語(yǔ)言去解決數(shù)學(xué)問(wèn)題，自從自適應(yīng)模糊神經(jīng)網(wǎng)絡(luò)(adaptive-network-based fuzzy inference system, ANFIS)提出以來(lái)[1]，該理論的研究與應(yīng)用得到了長(zhǎng)足的發(fā)展。很長(zhǎng)時(shí)間內(nèi)模糊設(shè)計(jì)網(wǎng)絡(luò)都是基于傳統(tǒng)的一型模糊邏輯系統(tǒng)，隨著模糊集合理論的發(fā)展以及一型模糊邏輯系統(tǒng)在描述客觀世界不確定性的不足，二型模糊邏輯系統(tǒng)理論和應(yīng)用近些年成為模糊理論的研究熱點(diǎn)。二型模糊集合理論最早由Zadeh[2]于1975年提出，其最早應(yīng)用于詞計(jì)算方面。Mendel[3]將二型模糊集合理論做了深入研究，將其研究領(lǐng)域擴(kuò)展到控制領(lǐng)域。

隨著二型模糊邏輯系統(tǒng)在非線性系統(tǒng)辨識(shí)與控制方面的研究深入，關(guān)于二型模糊神經(jīng)網(wǎng)絡(luò)在非線性系統(tǒng)辨識(shí)與控制的研究逐漸增多[4-6]。目前二型模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)主要包括固定網(wǎng)絡(luò)結(jié)構(gòu)[7-8]、結(jié)構(gòu)自調(diào)整二型模糊神經(jīng)網(wǎng)絡(luò)[9-10]、自進(jìn)化二型模糊神經(jīng)網(wǎng)絡(luò)[11-12]、自組織區(qū)間二型模糊神經(jīng)網(wǎng)絡(luò)[13-15]等。區(qū)間二型模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)一旦確定，接下來(lái)就需要進(jìn)行網(wǎng)絡(luò)參數(shù)的學(xué)習(xí)，目前使用最多的參數(shù)學(xué)習(xí)算法為反向傳播(back propagation,BP)算法，但是BP算法對(duì)初值敏感，不恰當(dāng)?shù)某踔禃?huì)導(dǎo)致算法發(fā)散或者收斂于非最優(yōu)解。

區(qū)間二型模糊邏輯系統(tǒng)與傳統(tǒng)模糊邏輯系統(tǒng)的結(jié)構(gòu)類似，但其需要一個(gè)關(guān)鍵步驟，即降階。降階過(guò)程首先將二型模糊集合降為一型模糊集合，在利用常規(guī)的一型模糊集合的解模糊化方法得到最終區(qū)間二型模糊系統(tǒng)的精確輸出。目前大部分的區(qū)間二型模糊神經(jīng)網(wǎng)絡(luò)系統(tǒng)都采用Karnik-Mendel (KM)降階算法[16]，該降階算法是一迭代尋優(yōu)算法，首先需要進(jìn)行離散點(diǎn)的按大小排序，這樣與之對(duì)應(yīng)的隸屬度也要做相應(yīng)的改動(dòng)，降階得到兩個(gè)切換點(diǎn)，且每次的切換點(diǎn)不一定相同，這樣利用BP算法學(xué)習(xí)參數(shù)的時(shí)候，過(guò)程較為煩瑣，沒(méi)有統(tǒng)一的學(xué)習(xí)公式。

現(xiàn)提出一種基于模糊C均值(fuzzy C means, FCM)聚類算法的區(qū)間二型模糊神經(jīng)網(wǎng)絡(luò)辨識(shí)算法，利用FCM算法得到訓(xùn)練數(shù)據(jù)的最佳聚類數(shù)目，該數(shù)目也即神經(jīng)網(wǎng)絡(luò)的層數(shù)。模糊隸屬度函數(shù)選擇高斯型，F(xiàn)CM算法得到的聚類中心用來(lái)初始化高斯隸屬度函數(shù)的中心，而高斯隸屬度函數(shù)的寬度則通過(guò)FCM聚類算法的聚類中心和訓(xùn)練數(shù)據(jù)針對(duì)每一類的隸屬度計(jì)算得到。本文算法首先通過(guò)FCM聚類算法確定二型模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，然后利用一種直接降階算法，避免KM降階算法的迭代過(guò)程，簡(jiǎn)化BP算法的學(xué)習(xí)過(guò)程。通過(guò)2個(gè)非線性系統(tǒng)的辨識(shí)結(jié)果表明，本文提出的算法簡(jiǎn)化了區(qū)間二型模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)辨識(shí)以及BP算法的學(xué)習(xí)過(guò)程，具有較高的辨識(shí)精度以及較快的收斂速度。

1 區(qū)間二型模糊神經(jīng)網(wǎng)絡(luò)

區(qū)間二型模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)類似，分為四層，第一層為輸入層，第二層為隸屬度函數(shù)層，該層的輸入為系統(tǒng)的輸入，輸出為輸入變量的隸屬度函數(shù)，由于是區(qū)間二型模糊集合，那么該隸屬度輸出為一區(qū)間。第三層為模糊推理層，輸入為規(guī)則中輸入變量的二型模糊隸屬度，輸出為規(guī)則的激發(fā)隸屬度，同樣也為一區(qū)間。第四層為輸出層，輸入為規(guī)則的激發(fā)隸屬度，輸出為系統(tǒng)的輸出，第三層和第四層的連接權(quán)重即為模糊規(guī)則的后件參數(shù)。按照后件參數(shù)的不同，區(qū)間二型模糊系統(tǒng)分為Mandani和T-S模糊模型形式，本文的模糊模型后件參數(shù)為Mandani形式，一般的區(qū)間二型模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示。

圖1 二型模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Structure of interval type 2 fuzzy neural network

假設(shè)二型模糊神經(jīng)網(wǎng)絡(luò)有M條規(guī)則，第k個(gè)規(guī)則Rk可表示為

考慮多輸入單輸出二型模糊神經(jīng)網(wǎng)絡(luò)，一共為四層，多輸入多輸出二型模糊神經(jīng)網(wǎng)絡(luò)可通過(guò)多個(gè)多輸入單輸出網(wǎng)絡(luò)組成，結(jié)構(gòu)類似。

多輸入單輸出神經(jīng)網(wǎng)絡(luò)每層分別描述如下。

(1)

高斯型二型隸屬度函數(shù)可通過(guò)模糊化中心mki或者寬度σki表示，如果模糊化中心mki，則隸屬度函數(shù)的上、下限可分別表示為

(2)

(3)

如果模糊化中心σki，則隸屬度函數(shù)的上、下限可分別表示為

(4)

(5)

現(xiàn)選擇第二種形式的高斯型隸屬度函數(shù)，即式(4)和式(5)。

第三層為模糊推理層：神經(jīng)元個(gè)數(shù)為M個(gè)，每個(gè)神經(jīng)元輸出可表示為

(6)

(7)

yl和yr通過(guò)區(qū)間二型模糊集合的KM降階算法求出，具體KM降階算法可參考文獻(xiàn)[16]。

2 模糊C均值聚類算法

模糊C均值聚類算法是一種無(wú)監(jiān)督學(xué)習(xí)算法，其目標(biāo)函數(shù)為

s.t.U∈Mfc

(8)

根據(jù)拉格朗日乘子法，F(xiàn)CM聚類算法其具體的實(shí)現(xiàn)步驟如下。

初始化：給定聚類類別數(shù)c，2≤c≤n，n是樣本個(gè)數(shù)，設(shè)定給定停止閾值ε、最大迭代次數(shù)Cmax、初始化聚類中心P0，設(shè)置迭代計(jì)數(shù)器r=0。

步驟1用式(9)計(jì)算第r+1次迭代的模糊劃分矩陣U(r+1)。

(9)

步驟2用式(10)計(jì)算第r+1次迭代的聚類中心P(r+1)：

(10)

步驟3如果‖P(r+1)-P(r)‖<ε或者迭代次數(shù)大于Cmax，那么算法停止，最后一次迭代的值就是模糊劃分矩陣U和聚類中心P，否則令r=r+1，轉(zhuǎn)向步驟1，其中‖·‖為某種合適的矩陣范數(shù)。

3 本文算法

本文提出的區(qū)間二型模糊神經(jīng)網(wǎng)絡(luò)參數(shù)訓(xùn)練方法利用BP算法，優(yōu)化的目標(biāo)函數(shù)為

(11)

(12)

(13)

(14)

(15)

(16)

根據(jù)復(fù)合函數(shù)求導(dǎo)，各參數(shù)的學(xué)習(xí)算法分別為

(17)

(18)

(19)

(20)

(21)

(1)設(shè)置二型模糊神經(jīng)網(wǎng)絡(luò)的模糊規(guī)則數(shù)目M。

(3)利用式(22)初始化高斯隸屬度函數(shù)的參數(shù)：

(22)

(5)如果所有訓(xùn)練數(shù)據(jù)的誤差平方根(root square error, RSE)之和J，如式(23)所示，小于給定的截止誤差ε或者迭代次數(shù)達(dá)到了最大迭代次數(shù)I，則結(jié)束訓(xùn)練過(guò)程；否則t=t+1，轉(zhuǎn)步驟(4)。

(23)

4 仿真實(shí)例

4.1 仿真實(shí)例1

本例選擇如下離散非線性動(dòng)態(tài)系統(tǒng)：

(24)

圖2 本文算法和原系統(tǒng)輸出曲線Fig.2 Algorithm of this paper and original system outputs curves

圖3 本文算法和原系統(tǒng)誤差曲線Fig.3 Algorithm of this paper and original system errors curve

圖4 本文算法性能曲線(均方根誤差)Fig.4 Algorithm of this paper performance curve (root mean square error)

表1顯示了本文算法和其他辨識(shí)算法的基于均方根誤差的性能比較結(jié)果。比較的準(zhǔn)則選擇的是訓(xùn)練數(shù)據(jù)和驗(yàn)證數(shù)據(jù)的均方根誤差。

表1中比較的辨識(shí)算法包括文獻(xiàn)[17]提出的基于BP和混合訓(xùn)練算法的區(qū)間二型模糊神經(jīng)網(wǎng)絡(luò)(interval type 2 fuzzy neural networks, IT2FNN)，文獻(xiàn)[18]提出的動(dòng)態(tài)模糊神經(jīng)網(wǎng)絡(luò)(dynamic fuzzy neural networks, DFNN)，文獻(xiàn)[19]提出的廣義動(dòng)態(tài)模糊神經(jīng)網(wǎng)絡(luò)(generalized dynamic fuzzy neural networks, GDFNN)，文獻(xiàn)[20]提出的自組織模糊神經(jīng)網(wǎng)絡(luò)(self-organizing fuzzy neural networks, SOFNN)，文獻(xiàn)[21]提出的基于遺傳算法的自組織模糊神經(jīng)網(wǎng)絡(luò)(self-organizing fuzzy neural networks based on genetic algorithms, SOFNNGA)以及文獻(xiàn)[6]提出的自組織區(qū)間二型模糊神經(jīng)網(wǎng)絡(luò)(self-organizing interval type-2 fuzzy-neural-network, SOIT2FNN)。

4.2 仿真實(shí)例2

本例選擇如下離散非線性動(dòng)態(tài)系統(tǒng)：y(k+1)=g[y(k),y(k-1),y(k-2),u(k),u(k-1)]，其中，g

表1 不同辨識(shí)算法性能比較Table 1 Different identification methods performance comparison

注：“-”代表相關(guān)數(shù)據(jù)缺失。

共選擇900組訓(xùn)練數(shù)據(jù)組，前350組的輸入信號(hào)u(k)為均勻分布在[-1,1]上的隨機(jī)數(shù)，剩下的輸入信號(hào)u(k)為1.05sin(πk/45)。驗(yàn)證數(shù)據(jù)的輸入信號(hào)u(k)描述為

(26)

在仿真中，模糊規(guī)則數(shù)目M=4。圖5顯示了驗(yàn)證數(shù)據(jù)本文算法的模糊神經(jīng)網(wǎng)絡(luò)輸出和原系統(tǒng)的輸出曲線，圖6顯示了驗(yàn)證數(shù)據(jù)二者的誤差曲線，圖7顯示了迭代次數(shù)的目標(biāo)函數(shù)曲線。

圖5 本文算法和原系統(tǒng)輸出曲線Fig.5 Algorithm of this paper and original system outputs curves

圖6 本文算法和原系統(tǒng)誤差曲線Fig.6 Algorithm of this paper and original system errors curve

圖7 本文算法性能曲線(均方根誤差)Fig.7 Algorithm of this paper performance curve (root mean square error)

表2顯示了本文算法和其他辨識(shí)算法的性能比較。比較的準(zhǔn)則選擇的是驗(yàn)證數(shù)據(jù)的均方根誤差。

表2中比較的辨識(shí)算法包括文獻(xiàn)[22]提出的基于TSK模型的遞歸模糊神經(jīng)網(wǎng)絡(luò)(TSK-type recurrent fuzzy network, TRFN-S)，文獻(xiàn)[23]提出的遞歸自進(jìn)化模糊神經(jīng)網(wǎng)絡(luò)(recurrent self-evolving fuzzy neural network, RSEFNN)，文獻(xiàn)[24]提出的基于TSK和FUL(functional-link-based)模型的交互遞歸自進(jìn)化模糊神經(jīng)網(wǎng)絡(luò)(interactively recurrent self-evolving fuzzy neural network, IRSFNN)以及文獻(xiàn)[25]提出的同步遞歸區(qū)間2型神經(jīng)模糊系統(tǒng)(mutually recurrent interval type-2 neural fuzzy system,MRIT2NFS)。

5 結(jié)論

針對(duì)區(qū)間二型模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)辨識(shí)復(fù)雜以及BP參數(shù)依賴初始值的問(wèn)題，提出了一種基于FCM聚類算法的區(qū)間二型模糊神經(jīng)網(wǎng)絡(luò)辨識(shí)算法。首先利用FCM聚類算法得到訓(xùn)練數(shù)據(jù)的中心和隸屬度，將其賦初值給二型模糊系統(tǒng)的高斯隸屬度函數(shù)的中心和寬度以及后件參數(shù)。其次利用一種直接二型模糊集合的降階算法，簡(jiǎn)化了BP算法訓(xùn)練網(wǎng)絡(luò)參數(shù)的流程。仿真結(jié)果表明，本文提出的算法學(xué)習(xí)過(guò)程簡(jiǎn)單，辨識(shí)精度較好，收斂速度較快。

表2 不同辨識(shí)算法性能比較Table 2 Different identification methods performance comparison