基于規(guī)則產(chǎn)生準(zhǔn)則與修剪策略的D-FNN算法研究*

左 軍，周 靈，李曉東

(佛山科學(xué)技術(shù)學(xué)院電子與信息工程學(xué)院，廣東 佛山 528000)

?

基于規(guī)則產(chǎn)生準(zhǔn)則與修剪策略的D-FNN算法研究*

左 軍，周 靈，李曉東

(佛山科學(xué)技術(shù)學(xué)院電子與信息工程學(xué)院，廣東 佛山 528000)

提出了一種D-FNN結(jié)構(gòu)及其學(xué)習(xí)算法，該D-FNN的結(jié)構(gòu)基于徑向基神經(jīng)網(wǎng)絡(luò)。模糊規(guī)則的產(chǎn)生由輸出誤差或可容納邊界的有效半徑?jīng)Q定。修剪技術(shù)的應(yīng)用，使得網(wǎng)絡(luò)結(jié)構(gòu)能夠保持緊湊，學(xué)習(xí)速度快，確保系統(tǒng)的泛化能力。對所提算法作了詳細(xì)探討，并與相關(guān)算法作比較，從而發(fā)現(xiàn)了D-FNN的獨(dú)特思想。編寫了D-FNN的仿真程序，對具體案例進(jìn)行了仿真。結(jié)果表明，D-FNN具有緊湊的結(jié)構(gòu)和優(yōu)秀的性能。

動(dòng)態(tài)模糊神經(jīng)網(wǎng)絡(luò)；徑向基函數(shù)；模糊規(guī)則；修剪策略

模糊邏輯理論提供了一種數(shù)學(xué)工具來獲取人們認(rèn)知過程，模糊推理則形式上是利用規(guī)則進(jìn)行推理，其邏輯取值可在0和1之間連續(xù)取值，然而不存在正式的框架來選擇模糊系統(tǒng)的各種參數(shù)。神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)能力、自適應(yīng)能力、并行處理能力以及泛化能力等，具有構(gòu)建與人們認(rèn)知有關(guān)的各種行為的潛能，但神經(jīng)網(wǎng)絡(luò)沒有明確的物理意義。把模糊邏輯和神經(jīng)網(wǎng)絡(luò)這兩種方法結(jié)合起來，取各自優(yōu)點(diǎn)從而構(gòu)成的動(dòng)態(tài)模糊神經(jīng)網(wǎng)絡(luò)，在消費(fèi)電子、工業(yè)控制、系統(tǒng)辨識、模式識別、圖像處理等許多領(lǐng)域得到了廣泛的應(yīng)用[1-4]。

1 RBF神經(jīng)網(wǎng)絡(luò)與修剪技術(shù)理論分析

1.1 模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

D-FNN的結(jié)構(gòu)是基于擴(kuò)展的RBF神經(jīng)網(wǎng)絡(luò)。RBF神經(jīng)網(wǎng)絡(luò)具有單隱層的三層前饋網(wǎng)絡(luò)，RBF結(jié)構(gòu)如圖1所示。Poggio和Girosi已經(jīng)證明，RBF網(wǎng)絡(luò)是連續(xù)函數(shù)的最佳逼近，它能以任意精度逼近任一連續(xù)函數(shù)[2]。

圖1 徑向基神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 RBF neural network structure

一個(gè)具有r個(gè)輸入和一個(gè)輸出的RBF神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以看成如下形式的映射f:Rr→Rs：

(1)

不考慮偏置量，采用高斯函數(shù)作為激活函數(shù)時(shí)，則式(1)可以寫為如下的表達(dá)式：

(2)

如果高斯函數(shù)的輸出采用歸一化，則徑向基網(wǎng)絡(luò)產(chǎn)生如下歸一化輸出響應(yīng)：

(3)

高斯函數(shù)不僅適合于全局映射而且適合于細(xì)化局部的特征，而且能夠達(dá)到快速的學(xué)習(xí)。因此以高斯函數(shù)作為激活函數(shù)的神經(jīng)網(wǎng)絡(luò)稱為徑向基(RBF)神經(jīng)網(wǎng)絡(luò)。由于RBF神經(jīng)網(wǎng)絡(luò)具有最好的逼近特性，所以本文的研究是基于動(dòng)態(tài)徑向基神經(jīng)網(wǎng)絡(luò)[5]。

本文提出了D-FNN結(jié)構(gòu)及其學(xué)習(xí)算法，該模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)基于擴(kuò)展的徑向基神經(jīng)網(wǎng)絡(luò)。其學(xué)習(xí)算法能夠使結(jié)構(gòu)的辨識和參數(shù)的調(diào)整同時(shí)進(jìn)行，并且D-FNN能使系統(tǒng)結(jié)構(gòu)小(使用修剪技術(shù))、速度快，可用于實(shí)時(shí)建模與控制。D-FNN的結(jié)構(gòu)如圖2所示，共5層。在圖2中，x1,x2,…,xr是輸入的語言變量，y是系統(tǒng)的輸出，MFij是第i個(gè)輸入變量的第j個(gè)隸屬函數(shù)，Rj表示第j條模糊規(guī)則，Nj是第j個(gè)歸一化節(jié)點(diǎn)，wj是第j個(gè)規(guī)則的結(jié)果參數(shù)或者連接權(quán)，u指系統(tǒng)總的規(guī)則數(shù)。

圖2 動(dòng)態(tài)模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 D-FNN structure

1.2 規(guī)則產(chǎn)生準(zhǔn)則理論分析

如果D-FNN規(guī)則數(shù)太少，系統(tǒng)的性能將表現(xiàn)得很差；規(guī)則數(shù)太多，增加系統(tǒng)的復(fù)雜性，導(dǎo)致系統(tǒng)的泛化能力很差。

誤差判斷可以表達(dá)為：對于第i個(gè)觀測數(shù)據(jù)(Xi,ti)，其中，Xi是輸入向量，ti是期望的輸出，計(jì)算D-FNN現(xiàn)有結(jié)構(gòu)的全部輸出為yi。

定義

(4)

如果

(5)

需要增加一條新的模糊規(guī)則。這里的ke值是根據(jù)D-FNN期望的精度預(yù)先選定的。

可容納邊界判定可表達(dá)為：對于第i個(gè)觀測數(shù)據(jù)(Xi,ti)計(jì)算輸入值Xi和現(xiàn)有RBF單元的中心Cj之間的距離di(j)，即

(6)

其中，u是現(xiàn)有的模糊規(guī)則或者RBF單元的數(shù)量。

找出

dmin=argmin(di(j))

(7)

如果

(8)

需要增加一條新的模糊規(guī)則，否則，觀測數(shù)據(jù)Xi可以由現(xiàn)有的最近的RBF單元表示[6]。這里，kd是可容納邊界的有效半徑。

1.3 修剪技術(shù)理論分析

修剪技術(shù)，即在學(xué)習(xí)進(jìn)行時(shí)，檢測到不活躍的模糊規(guī)則并加以剔除，使網(wǎng)絡(luò)不會持續(xù)增長，可獲得更為緊湊的D-FNN結(jié)構(gòu)。在本文中我們將采用ERR(誤差下降率)方法作為一種為修剪技術(shù)來選擇重要的模糊規(guī)則。這種方法本質(zhì)上是一種正交變換的方法，其要點(diǎn)是用QR分解把矩陣H變換成一組正交基向量。這個(gè)變換使我們可以計(jì)算出每一個(gè)基向量對期望輸出能量值的貢獻(xiàn)大小[7]。

假定理想的輸出為T=(t1,t2,…,tn)∈Ru，Y為系統(tǒng)的輸出。我們的目標(biāo)是：給定Ψ∈R(r+1)u×n和T∈Rn之間有如下關(guān)系[8]：

(9)

(10)

(11)

其中，D=TT∈Rn為期望輸出，H=ΨT=(h1…h(huán)v)∈Rn×v,v=u×(r+1)稱為回歸向量，θ=WT∈Rn包含實(shí)參數(shù)并且假定E∈Rn是與回歸量hi不相關(guān)的一個(gè)誤差向量[9]。

對于任意矩陣H，如果它的行數(shù)大于列數(shù)，通過QR分解：

H=QA

(12)

可把H變換成一組正交基向量Q=(q1,q2,…,qv)∈Rn×v，其維數(shù)與H相同，各列向量qi構(gòu)成正交集，并且A∈Rn×v為一個(gè)上三角矩陣。通過這一變換，有可能從每一基向量計(jì)算每一個(gè)個(gè)體對期望輸出能量的貢獻(xiàn)[3]。

(13)

把新得到的erri(i=1,2,…(r+1)u)重新排列為矩陣Δ=(δ1,δ2,…,δu)∈R(r+1)×u，Δ的第i列δi就是與第i個(gè)規(guī)則相關(guān)的(r+1)個(gè)誤差下降率。進(jìn)一步定義

(14)

那么，ηi反映第i個(gè)規(guī)則的重要性，ηi值越大，表示第i個(gè)規(guī)則越重要[5]。如果

(15)

其中，kerr表示預(yù)設(shè)的閾值，則第i個(gè)規(guī)則可剔除[10]。

2 實(shí)驗(yàn)結(jié)果與分析

本文將通過Hermite函數(shù)逼近以及Mackey-Glass時(shí)間序列預(yù)測實(shí)例來驗(yàn)證D-FNN算法的有效性，并通過D-FNN算法與其他算法的比較，來檢驗(yàn)D-FNN在學(xué)習(xí)效率和性能方面的特點(diǎn)。

一般情況下函數(shù)逼近的精度由平方L2-范數(shù)來度量，即可以由下式表示

(16)

當(dāng)一個(gè)動(dòng)態(tài)模糊神經(jīng)網(wǎng)絡(luò)用于函數(shù)逼近問題時(shí)，一般形式的表達(dá)如下

(17)

其中，wi是權(quán)值，Ri(X,wi)是基函數(shù)，u是基函數(shù)的個(gè)數(shù)。一旦Ri(X,wi)被選定，權(quán)值的選擇就可以用線性代數(shù)中的標(biāo)準(zhǔn)方法求解。

使用修剪技術(shù)與規(guī)則產(chǎn)生準(zhǔn)則的D-FNN算法仿真實(shí)驗(yàn)。被逼近的函數(shù)為如下的Hermite多項(xiàng)式

(18)

為了訓(xùn)練學(xué)習(xí)這個(gè)被逼近的函數(shù)，使用隨機(jī)樣本函數(shù)在區(qū)間[-4，4]內(nèi)來產(chǎn)生200個(gè)輸入輸出數(shù)據(jù)作為訓(xùn)練集。仿真結(jié)果如圖3所示。表1列出了用均方根誤差表達(dá)的結(jié)構(gòu)和性能方面的對比。D-FNN只需要6條規(guī)則，就能達(dá)到相同的訓(xùn)練誤差，比OLS、M-RAN和RANEKF算法所需要的規(guī)則數(shù)都少[11-13]。由圖3(a)、圖3(b)可以看出，由于使用了修剪技術(shù)，使得D-FNN的結(jié)構(gòu)很小，但其泛化能力很強(qiáng)。仿真結(jié)果表明：與OLS、M-RAN和RANEKF算法比較，D-FNN無論在結(jié)構(gòu)上還是性能上都具有明顯的優(yōu)勢。

Mackey等人在1977年提出的Mackey-Glass混沌時(shí)間序列模型，是用來描述白血病時(shí)，血液中白細(xì)胞的數(shù)量變化情況。許多研究者對這種典型的時(shí)間序列預(yù)測問題進(jìn)行了研究。其方程用如下的表達(dá)式所示

(19)

表1 不同算法的均方根誤差對比Table 1 RMSE compare different algorithms

圖3 Hermite函數(shù)逼近Fig.3 Hermite function approximation

由于新陳代謝生理機(jī)制方面的原因，血液中白細(xì)胞的數(shù)量變化情況在方程(19)中表現(xiàn)出了某種混沌特性與周期性。當(dāng)τ>17時(shí)，方程(19)表現(xiàn)出混沌現(xiàn)象，而當(dāng)τ<17時(shí)，方程(19)表現(xiàn)出周斯性。τ值越大混沌現(xiàn)象越嚴(yán)重。為了能夠在相同的基礎(chǔ)上進(jìn)行比較，參數(shù)選擇為：a=0.1、b=0.2和τ=17。預(yù)測模型表示如下：

(20)

為了研究訓(xùn)練和測試情況，用方程(19)在t=0到t=6 000之間產(chǎn)生6 000個(gè)數(shù)據(jù)。方程(19)初始條件選為：當(dāng)t<0時(shí)，x(t)=0,x(0)=1.2。6 000個(gè)數(shù)據(jù)將作為輸入輸出數(shù)據(jù)來訓(xùn)練預(yù)測模型式(20)，使預(yù)測模型逼近式(19)，并測試其性能。

設(shè)p=6、Δt=6，在111≤t≤610之間隨機(jī)選擇500對數(shù)據(jù)樣本，在111≤t≤1 110之間隨機(jī)選擇1 000對數(shù)據(jù)樣本來作為訓(xùn)練數(shù)據(jù)。500和1 000個(gè)隨機(jī)樣本用來檢驗(yàn)被辨識的數(shù)據(jù)模型。從t=111到t=610的訓(xùn)練結(jié)果和前6步預(yù)測結(jié)果由圖4所示。選擇參數(shù)不同，產(chǎn)生的模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)也不同，其訓(xùn)練均方根誤差和測試均方根誤差列于表2中。

圖4 Mackey-Glass時(shí)間序列預(yù)測Fig.4 Mackey-Glass time series prediction表2 兩種不同結(jié)構(gòu)訓(xùn)練和測試仿真結(jié)果Table 2 Two different structures for training and testing simulation results

結(jié)構(gòu)訓(xùn)練的RMSE測試的RMSE規(guī)則數(shù)10.01310.0132620.00830.008410

圖5說明了D-FNN泛化性能的測試，其中p=6，D-FNN模糊規(guī)則數(shù)為10。測試時(shí)，采用前500數(shù)據(jù)樣本用于訓(xùn)練模型，后500數(shù)據(jù)樣本用于預(yù)測模型。由表2可以看出，因?yàn)槟Ｐ蜏y試誤差幾乎等同模型訓(xùn)練誤差，這說明系統(tǒng)無論是采樣6條模糊規(guī)則還是10條模糊規(guī)則所構(gòu)建，模糊神經(jīng)網(wǎng)絡(luò)都具有很強(qiáng)的泛化能力，圖5也說明這一點(diǎn)。表3列出了D-FNN與RBF-AFS、OLS和ANFIS的比較結(jié)果[14-15]。

方法參數(shù)的數(shù)量訓(xùn)練的均方根誤差測試的均方根誤差規(guī)則數(shù)D-FNN1400.00820.008310RBF-AFS2100.01070.012021OLS2110.00870.008935ANFIS1040.00160.001516

從比較結(jié)果來看，D-FNN有140個(gè)可調(diào)參數(shù)，ANFIS 104個(gè)可調(diào)參數(shù)，但D-FNN的性能也沒有ANFIS性能好。原因是ANFIS一個(gè)學(xué)習(xí)過程是基于整個(gè)學(xué)習(xí)樣本，通過迭代學(xué)習(xí)方式進(jìn)行的，可以達(dá)到整體的最優(yōu)解。D-FNN采用修剪技術(shù)在線學(xué)習(xí)方式，每個(gè)樣本只學(xué)習(xí)一次，只能獲得次優(yōu)的結(jié)果。然而，D-FNN與也只能得到次優(yōu)解的OLS、RBF-AFS相比，D-FNN結(jié)構(gòu)更小(修剪技術(shù)的使用，結(jié)構(gòu)不會持續(xù)增長)而泛化能力更強(qiáng)。

3 結(jié) 論

本文把D-FNN算法與其他學(xué)習(xí)算法進(jìn)行了比較，并深入探討了這些算法之間的相互關(guān)系。由于修剪技術(shù)的使用使得D-FNN具有緊湊的結(jié)構(gòu)和優(yōu)秀的性能。ANFIS及RBF-AFS一個(gè)學(xué)習(xí)過程是基于整個(gè)學(xué)習(xí)樣本，而D-FNN采用占線學(xué)習(xí)方法，每個(gè)數(shù)據(jù)樣本只學(xué)習(xí)一次，D-FNN學(xué)習(xí)的快速性是以不能獲得最優(yōu)解為代價(jià)的。實(shí)驗(yàn)結(jié)果表明，對測試數(shù)據(jù)的誤差與對訓(xùn)練數(shù)據(jù)的訓(xùn)練誤差很接近，這說明D-FNN具有很強(qiáng)的泛化能力。直到今天，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和泛化能力的研究仍然是神經(jīng)網(wǎng)絡(luò)的一個(gè)研究熱點(diǎn)，引起研究人員的極大興趣，有關(guān)這方面的工作還有待進(jìn)一步的探究。動(dòng)態(tài)模糊神經(jīng)網(wǎng)絡(luò)已經(jīng)在消費(fèi)電子、工業(yè)控制、系統(tǒng)辨識、模式識別、圖像處理等許多領(lǐng)域得到了廣泛的應(yīng)用。

[1] BORS G, GABBOUJ M. Minimal topology for a radial basis functions neural networks for pattern classification[J]. Digital Processing, 2012， 34:173-188.

[2] 任愛紅. 模糊隨機(jī)過程函數(shù)列均方差一致Henstock積分的可積性[J]. 中山大學(xué)學(xué)報(bào):自然科學(xué)版, 2010, 51(4): 41-44.

[3] WU S Q, ER M J. Dynamic fuzzy neural networks: A novel approach to function approximation[J]. IEEE Trans Syst, Man, Cybern Part B， 2012， 30: 358-364.

[4] ESPOSITO A, MARINARO M, ORICCHOI D， et al. Approximation of continuous and discontinuous mappings by a growing neural RBF-based algorithm[J]. Neural Networks, 2013，25:651-665.

[5] MYOOD J, DARKEN C J. Fast Leaning in network of locally-tuned processing units[J]. Neural Computation, 2013，1: 281-294.

[6] 楊文光. 權(quán)值直接確定的三角型模糊前向神經(jīng)網(wǎng)絡(luò)[J]. 中山大學(xué)學(xué)報(bào)：自然科學(xué)版，2013,52(2)：33-37.

[7] BORS A G, PITAS I. Median radial basis function neural network[J]. IEEE Trans Neural Networks, 2012，23: 1351-1364.

[8] HAYKIN S. Neural networks, a comprehensive foundation[M]. New York: Macmillan, 2012:465-477.

[9] GIROSI F, POGGIO T. Networks and the best approximation property[J]. Biological Cybernetics, 2012， 63: 169-176.

[10] ER M J. WU S Q. A fast learning algorithm for parsimonious fuzzy neural systems[J]. Fuzzy Sets and Systems, 2009, 126: 337-351.

[11] CHEN S, COWAN C F N, GRANT P M. Orthogonal least squares algorithm for radial basis function network[J]. IEEE Trans Neural Networks, 2011，2:302-310.

[12] LU Y, SUNDARARAJAN N, SARATCHANDRAN P. A sequential learning scheme for function approximation by Using minimal radial basis function networks[J]. Neural Computation, 2012, 19(2):461-478.

[13] KADIRKAMANATHAN V, NIRANJAN M. A function estimation approach to sequential learning with neural networks[J]. Neural Computation,2011， 16(4): 954-975..

[14] CHO K B, WANG B H. Radial basic function based adaptive fuzzy systems and their applications to system identification and prediction[J]. Fuzzy Sets and Systems, 2006,26: 344-354..

[15] JANG J S R. ANFIS: adaptive-network-based fuzzy lnference system[J]. IEEE Trans Syst, Man, Cybern, 2012, 23: 665-684.

The Rule Criteria and Pruning Strategy Based on D-FNN Algorithm Research

ZUOJun,ZHOULing,LIXiaodong

(School of Electronic and Information Engineering,Foshan University,Foshan 528000,China)

A new structure for D-FNN and its learning algorithm are put forward. The structure of this D-FNN is based on RBF neural network. In the new algorithm and structure, generation of fuzzy rule is determined by the output error and the effective radius of the accommodate boundary. At the same time, the application of pruning technology makes a simple network structure, fast learning speed and generalization ability for system. The new algorithm is discussed in detail and compared with correlated algorithms. By these technology methods, the unique advantage of D-FNN is found. At last, simulation program for D-FNN are wrote and the concrete cases are run in the program. Simulation results show that the new D-FNN has a compact structure and excellent performance.

dynamic fuzzy neural network (D-FNN); radial basis function (RBF); fuzzy rule; pruning strategy

10.13471/j.cnki.acta.snus.2015.05.010

2014-12-18

廣東省自然科學(xué)基金資助項(xiàng)目(S2011020002719)

左軍(1958年生)，男；研究方向：智能計(jì)算、信息安全、數(shù)據(jù)庫應(yīng)用;E-mail:13392209106@126.com

TP301.6

A

0529-6579(2015)05-0043-06