權(quán)值直接確定的三角型模糊前向神經(jīng)網(wǎng)絡(luò)*

楊文光

(華北科技學(xué)院基礎(chǔ)部，北京 101601)

神經(jīng)網(wǎng)絡(luò)的研究從20世紀(jì)40年代開始，經(jīng)過半個(gè)多世紀(jì)的發(fā)展，現(xiàn)已成為信息加工、處理、存儲(chǔ)和搜索的重要工具［1］，在分布式存儲(chǔ)、并行性計(jì)算、智能控制、通信等方面?zhèn)涫苎芯空叩年P(guān)注［2－4］。前向神經(jīng)網(wǎng)絡(luò)是目前研究最多的網(wǎng)絡(luò)形式之一，在Rumelhart E.和Williams R.J.等為首的研究小組提出的具有強(qiáng)大學(xué)習(xí)和訓(xùn)練功能的BP學(xué)習(xí)算法作用下，使其具有了逼近任意非線性函數(shù)的能力。前向神經(jīng)網(wǎng)絡(luò)的發(fā)展與問題并存，從網(wǎng)絡(luò)結(jié)構(gòu)來講，隱層神經(jīng)元數(shù)過少將無法達(dá)到學(xué)習(xí)和逼近的效果，隱層神經(jīng)元數(shù)過多又將使網(wǎng)絡(luò)出現(xiàn)過擬合等不良現(xiàn)象，同時(shí)在硬件實(shí)現(xiàn)上也將難以完成。文獻(xiàn)［5］利用逼近論對單一隱層前向神經(jīng)網(wǎng)絡(luò)進(jìn)行了研究，在理論層面上闡述了神經(jīng)網(wǎng)絡(luò)的本質(zhì)逼近階既與隱層神經(jīng)元個(gè)數(shù)有關(guān)，又與被逼近函數(shù)的光滑性有關(guān);隨后，曹飛龍等在文獻(xiàn) ［6］中使用構(gòu)造法得出了單隱層神經(jīng)網(wǎng)絡(luò)逼近定義在緊集上的任意連續(xù)函數(shù)的逼近速度不超過該網(wǎng)絡(luò)的最佳多項(xiàng)式逼近的二倍的結(jié)論。最近幾年關(guān)于神經(jīng)網(wǎng)絡(luò)的插值性問題研究日漸增多，考慮到神經(jīng)網(wǎng)絡(luò)在全局上具有較好的逼近精度，若再解決局部結(jié)點(diǎn)處的插值問題則會(huì)效果更好［7－10］。文獻(xiàn) ［7－10］分別針對一般的Sigmoidal激勵(lì)函數(shù)和一類廣義激勵(lì)函數(shù)，構(gòu)造了精確插值和近似插值神經(jīng)網(wǎng)絡(luò)，討論了逼近誤差，這些文獻(xiàn)從理論上給出了滿足插值意義的神經(jīng)網(wǎng)絡(luò)存在性的證明，但構(gòu)造非常復(fù)雜，并且缺少對應(yīng)的數(shù)值仿真算例加以佐證。

前向神經(jīng)網(wǎng)絡(luò)與模糊系統(tǒng)的結(jié)合產(chǎn)生了模糊前向神經(jīng)網(wǎng)絡(luò)，使得神經(jīng)元的解釋變得更加合理，作為神經(jīng)網(wǎng)絡(luò)構(gòu)成要素的激勵(lì)函數(shù)、網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)算法也隨之發(fā)生改變。張雨濃教授在函數(shù)逼近論研究基礎(chǔ)上對BP算法做了有意義的改進(jìn)，提出了隱層神經(jīng)元最優(yōu)權(quán)值直接確定算法，有效克服了最優(yōu)權(quán)值難以確定的問題，也避免了網(wǎng)絡(luò)過擬合和泛化問題［11－14］。插值方法作為函數(shù)逼近的簡單實(shí)用工具在眾多領(lǐng)域發(fā)揮了重要作用，對于如何有效利用蘊(yùn)含重要信息的采樣數(shù)據(jù)集，使其還原并豐富有限采樣數(shù)據(jù)所代表的真實(shí)系統(tǒng)日漸成為有趣的研究課題。本文將使用模糊系統(tǒng)的三角型隸屬函數(shù)和隱層神經(jīng)元輸出的乘積作為模糊前向神經(jīng)網(wǎng)絡(luò)的激勵(lì)函數(shù)，依據(jù)采樣數(shù)據(jù)集所含數(shù)據(jù)對個(gè)數(shù)確定隱層神經(jīng)元個(gè)數(shù)，簡化最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)的確定過程，然后利用權(quán)值直接確定算法確定相應(yīng)的最優(yōu)權(quán)值，建立近似插值模糊前向神經(jīng)網(wǎng)絡(luò)，最后結(jié)合數(shù)值仿真實(shí)例突出所構(gòu)建網(wǎng)絡(luò)的有效性和實(shí)時(shí)性。

1 模糊前向神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

為明確起見，下面對一些基本術(shù)語和記號(hào)加以約定和標(biāo)記。

設(shè)在二維Euclid空間，經(jīng)傳感器采樣獲得m組采樣數(shù)據(jù)，分別為(x1，y1)，(x2，y2)，…，(xm，ym)，亦即插值樣本，同時(shí)將這m組采樣數(shù)據(jù)作為網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)。依據(jù)采樣數(shù)據(jù)的重要性對m組采樣數(shù)據(jù)進(jìn)行遴選獲得n組較為重要的具有代表性的數(shù) 據(jù)， 記 作 (x′1，y′1)，(x′2，y′2)，…，(x′n，y′n)，稱為構(gòu)造數(shù)據(jù)，作為生成隱層神經(jīng)元的母體，故n≤m，在網(wǎng)絡(luò)建立過程中所采用的構(gòu)造數(shù)據(jù)集就是訓(xùn)練數(shù)據(jù)集 (插值樣本集)的子集?，F(xiàn)在構(gòu)造與采樣數(shù)據(jù)維數(shù)相符的包含單一隱層的單輸入單輸出前向神經(jīng)網(wǎng)絡(luò)

其中x∈R為輸入變量，n為隱層神經(jīng)元個(gè)數(shù)，c=(c1，c2，…，cn)T是輸入層神經(jīng)元與隱層神經(jīng)元之間的連接權(quán)值向量，w=(w1，w2，…，wn)T是隱層神經(jīng)元與輸出層神經(jīng)元之間的連接權(quán)值向量，σ是隱層神經(jīng)元激勵(lì)函數(shù)，θi是隱層神經(jīng)元閾值 (i=1，2，…，n)。

定義1 對于插值樣本 (x1，y1)，(x2，y2)，…，(xm，ym)，若公式⑴滿足插值條件f(xi)=yi，則稱f(x)是采樣數(shù)據(jù)的精確插值神經(jīng)網(wǎng)絡(luò);若f(xi)≈yi，則稱f(x)是采樣數(shù)據(jù)的近似插值神經(jīng)網(wǎng)絡(luò) (i=1，2，…，m)。

定理1［15］求解定義2中的s*∈Φ，等價(jià)于求解多元函數(shù)

在前向神經(jīng)網(wǎng)絡(luò)⑴基礎(chǔ)上，選擇σ為三角型隸屬函數(shù)與構(gòu)造數(shù)據(jù)的組合，充分體現(xiàn)相應(yīng)神經(jīng)元的激活程度，假設(shè)c=(c1，c2，…，cn)T=(1，1，…，1)T，θi=0(i=1，2，…，n)，以簡化計(jì)算，使用構(gòu)造數(shù)據(jù)中的每組數(shù)據(jù)作為母體構(gòu)造隱層神經(jīng)元，組成隱層含n個(gè)神經(jīng)元的單輸入單輸出模糊前向神經(jīng)網(wǎng)絡(luò)

單輸入單輸出系統(tǒng)的模糊前向神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)見圖1?，F(xiàn)對(2)式中三角型隸屬函數(shù)加以說明，由構(gòu)造數(shù)據(jù)提取出第一維數(shù)據(jù)得到X=(x′1，x′2，…，x′n)，提 取 第 二 維 數(shù) 據(jù) 得 到Y(jié)=(y′1，y′2，…，y′n)，在模糊系統(tǒng)的構(gòu)造中，通常以 (x′1，x′2，…，x′n)為峰點(diǎn)構(gòu)造全交疊三角型模糊集，其圖形見圖2。

使用編程易于實(shí)現(xiàn)的表示法對圖2所示三角型模糊集描述為:

當(dāng)x′i≤x≤x′i+1時(shí)，模糊集 μi和 μi+1的隸屬度分別為 μi(x)=(x′i+1－x)/(x′i+1－x′i)，μi+1(x)=(x－x′i)/(x′i+1－x′i);相應(yīng)神經(jīng)元激勵(lì)函數(shù)為σi(x)=μi(x)y′i，σi+1(x)=μi+1(x)y′i+1就表示對應(yīng)神經(jīng)元輸出的激活程度大小 (i=1，2，…，n－1)。

顯然，μ1(x)，μ2(x)，…，μn(x)∈L2w［x′1，x′n］，則 σ1(x)，σ2(x)，…，σn(x)∈L2w［x′1，x′n］，且線性無關(guān)，故由定理1可知存在模糊前向神經(jīng)網(wǎng)絡(luò)f(x)可以最佳平方逼近插值樣本集所代表的系統(tǒng)。

2 權(quán)值直接確定算法

采樣數(shù)據(jù)蘊(yùn)含著未知系統(tǒng)內(nèi)部的函數(shù)關(guān)系，前面使用構(gòu)造數(shù)據(jù)所建立的單輸入單輸出的模糊前向神經(jīng)網(wǎng)絡(luò)，還需要進(jìn)一步使用訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練，使其達(dá)到更高的逼近精度。

定義3 設(shè)實(shí)矩陣V∈Rn×m，如果U∈Rm×n，滿足VUV=V，UVU=U，(VU)T=VU，(UV)T=UV，則稱U為V的Moore-Penrose廣義逆矩陣或偽逆。

依據(jù)張雨濃教授所提出的前向神經(jīng)網(wǎng)絡(luò)權(quán)值直接確定算法［12－14］，對于單輸入單輸出模糊前向神經(jīng)網(wǎng)絡(luò)，由誤差反向傳播學(xué)習(xí)算法亦可得如下定理。

定理2 模糊前向神經(jīng)網(wǎng)絡(luò)⑵在訓(xùn)練數(shù)據(jù)(x1，y1)，(x2，y2)，…，(xm，ym)作用下，得輸入受激勵(lì)矩陣U∈Rm×n，設(shè) α=(x1，x2，…，xm)T∈Rm，β=(y1，y2，…，ym)T∈Rm，令w表示模糊前向神經(jīng)網(wǎng)絡(luò)的最優(yōu)權(quán)值向量，則有

其中，代入α得

(UTU)－1UT是輸入受激勵(lì)矩陣U的廣義逆矩陣(偽逆)，在MATLAB軟件中可直接調(diào)用函數(shù)pinv(U)求解。

證明 由矩陣論知識(shí)可知，對于矩陣方程組Uw=β，只有U是列滿秩時(shí)，最小二乘解才是唯一的，且為(UTU)－1UT，否則便有無窮多最小二乘解。

由BP算法負(fù)梯度思想可知

對 (5)式兩邊取極限，即為所求，其中學(xué)習(xí)率η取1。證畢。

定理3 模糊前向神經(jīng)網(wǎng)絡(luò) (2)是近似插值神經(jīng)網(wǎng)絡(luò)。

證明 對于采樣數(shù)據(jù)即訓(xùn)練數(shù)據(jù) (x1，y1)，(x2，y2)，…，(xm，ym)和 構(gòu) 造 數(shù) 據(jù) (x′1，y′1)，(x′2，y′2)，…，(x′n，y′n)而言，構(gòu)造數(shù)據(jù)用于構(gòu)造隱層神經(jīng)元隸屬函數(shù)確定網(wǎng)絡(luò)結(jié)構(gòu)，而訓(xùn)練數(shù)據(jù)則用于訓(xùn)練網(wǎng)絡(luò)，在權(quán)值直接確定算法作用下得到網(wǎng)絡(luò)的最優(yōu)權(quán)值向量w。

對于任意輸入x，當(dāng)x=xi時(shí)，i=1，2，…，m，將式(2)展開為矩陣形式得

第一種情況:若xi∈X，則存在唯一的非零模糊集μj，使得μj(xi)=1，由此可得f(xi)=wjy′j，此時(shí)y′j=yi;

第二種情況:若x?X，則有且只有兩個(gè)非零模糊集μj和μj+1，使得μj(xi)＞0，μj+1(xi)＞0，且μj(xi)+μj+1(xi)=1，簡化⑹式得f(xi)=wjμj(xi)y′j+wj+1μj+1(xi)y′j+1，i=1，2，…，m，j=1，2，…，n－1。

無論是哪種情況，均由定理2的推導(dǎo)可知最優(yōu)權(quán)值向量w是在保證最佳平方逼近下得到的，故f(xi)≈yi，模糊前向神經(jīng)網(wǎng)絡(luò)(2)是近似插值神經(jīng)網(wǎng)絡(luò)，i=1，2，…，m，j=1，2，…，n－1。證畢。

3 數(shù)值仿真實(shí)例

本節(jié)將在基于采樣數(shù)據(jù)和構(gòu)造數(shù)據(jù)構(gòu)建的模糊前向神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，選用張雨濃教授在文獻(xiàn)［13］中所使用的 4個(gè)目標(biāo)函數(shù)，在 MATLAB 7.5.0(R2007b)中進(jìn)行數(shù)值仿真實(shí)驗(yàn)，以加強(qiáng)對比說明的效果。在工程實(shí)踐中，測量誤差是無法消除的，當(dāng)逼近精度達(dá)到一定的有效位數(shù)后，實(shí)時(shí)性的要求變的更為重要。所選用的4個(gè)目標(biāo)函數(shù)依次為:φ1(x)=ex+x2+cos 3.6πx，φ2(x)=excos 2πx，φ3(x)=sin 8x/cosx，φ4(x)=x7/ex+sin 10x。

首先提取訓(xùn)練數(shù)據(jù)和構(gòu)造數(shù)據(jù)，選擇 ［–1，0.8］為訓(xùn)練區(qū)間，按照前面隱層神經(jīng)元建立方法，以h1=0.01 s為采樣步長，得181組訓(xùn)練數(shù)據(jù)，即m=181;假設(shè)按照重要性對訓(xùn)練數(shù)據(jù)進(jìn)行等間隔提取構(gòu)造數(shù)據(jù)，提取步長h2=0.02 s，即n=91，亦即隱層神經(jīng)元個(gè)數(shù)，在此選擇的步長遵循前面的要求，即h1≤h2，m≥n。模糊前向神經(jīng)網(wǎng)絡(luò)的逼近精度隨構(gòu)造數(shù)據(jù)的增多而提高，直到選擇的隱層神經(jīng)元個(gè)數(shù)n=m為止，達(dá)到最好的逼近效果，具體仿真結(jié)果見圖3中的 (a)-(d)。模糊前向神經(jīng)網(wǎng)絡(luò)的逼近效果取決于采樣數(shù)據(jù)的多少，采樣數(shù)據(jù)越多，構(gòu)造數(shù)據(jù)的選擇亦可增多，在表1中，將會(huì)給出具體的參數(shù)指標(biāo)，如網(wǎng)絡(luò)運(yùn)行時(shí)間，均方差，以及改變構(gòu)造數(shù)據(jù)步長h2發(fā)生的相應(yīng)改變。

圖3 模糊前向神經(jīng)網(wǎng)絡(luò)的逼近Fig.3 The approximation of fuzzy feed-forward neural network

表1 模糊前向神經(jīng)網(wǎng)絡(luò)仿真結(jié)果Table 1 The results of fuzzy feed-forward neural network's simulation

從圖3和表1，不難發(fā)現(xiàn)，各個(gè)目標(biāo)函數(shù)的運(yùn)行時(shí)間均減少到參考文獻(xiàn) ［13］的1%左右，在隱層神經(jīng)元個(gè)數(shù)為采樣數(shù)據(jù)個(gè)數(shù)一半的情況下就已經(jīng)達(dá)到了很高的逼近精度，當(dāng)選用全部采樣數(shù)據(jù)用于構(gòu)造隱層神經(jīng)元時(shí)，則達(dá)到了10－33次的數(shù)量等級的逼近精度，誤差基本可以忽略不計(jì)。下面進(jìn)一步說明本文所構(gòu)建的網(wǎng)絡(luò)具有較好的預(yù)測性能。同樣，選擇區(qū)間 ［–1，0.8］為預(yù)測區(qū)間，選擇目標(biāo)函數(shù)1和2，給出真實(shí)模型，選擇h1=h2=0.01 s，得到模糊前向神經(jīng)網(wǎng)絡(luò)模型⑵，然后使用rand()函數(shù)在區(qū)間 ［–1，0.8］上隨機(jī)生成360個(gè)數(shù)作為輸入送入到模糊前向神經(jīng)網(wǎng)絡(luò)模型⑵中，得到預(yù)測輸出，見圖4中的 (a)-(b)。表2給出了與圖4相應(yīng)的運(yùn)行時(shí)間、預(yù)測數(shù)據(jù)的均方差等性能指標(biāo)參數(shù)，表明預(yù)測精度很高。

圖4 模糊前向神經(jīng)網(wǎng)絡(luò)的預(yù)測Fig.4 The predication of fuzzy feed-forward neural network

表2 模糊前向神經(jīng)網(wǎng)絡(luò)預(yù)測結(jié)果Table 2 The results of fuzzy feed-forward neural network's predication

4 結(jié)論

本文避開了前向神經(jīng)網(wǎng)絡(luò)建立時(shí)所遵循的復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)算法的迭代學(xué)習(xí)過程，得到了基于采樣數(shù)據(jù)建立的模糊前向神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)為實(shí)時(shí)還原真實(shí)系統(tǒng)提供了有效解決方法。該網(wǎng)絡(luò)能夠根據(jù)采樣數(shù)據(jù)的多少實(shí)現(xiàn)隱層神經(jīng)元的自主設(shè)定，并且利用權(quán)值直接確定算法直接確定了最優(yōu)權(quán)值，縮短了網(wǎng)絡(luò)運(yùn)行時(shí)間，相應(yīng)的網(wǎng)絡(luò)運(yùn)行時(shí)間都在毫秒級。計(jì)算機(jī)數(shù)值仿真實(shí)驗(yàn)表明，基于三角型隸屬函數(shù)建立的模糊前向神經(jīng)網(wǎng)絡(luò)是一種具有較高逼近精度和預(yù)測精度的實(shí)時(shí)性神經(jīng)網(wǎng)絡(luò)，在工程實(shí)踐中將會(huì)具有很好的借鑒意義。

［1］李士勇.模糊控制·神經(jīng)網(wǎng)絡(luò)和智能控制論［M］.哈爾濱:哈爾濱工業(yè)大學(xué)出版社，1998.

［2］張雨濃，張禹珩，陳軻，等.線性矩陣方程的梯度法神經(jīng)網(wǎng)絡(luò)求解及其仿真驗(yàn)證［J］.中山大學(xué)學(xué)報(bào):自然科學(xué)版，2008，47(3):26－32.

［3］陳北京，孫星明，王定成，等.基于彩色圖像四元數(shù)表示的彩色人臉識(shí)別［J］.自動(dòng)化學(xué)報(bào)，2012，38(11):1815－1823.

［4］張文輝，葉曉平.參數(shù)突變自由漂浮空間機(jī)器人神經(jīng)集成控制［J］.中國科學(xué):信息科學(xué)，2012，42(11):1435－1444.

［5］曹飛龍，徐宗本.神經(jīng)網(wǎng)絡(luò)的本質(zhì)逼近階［J］.中國科學(xué):E輯，2004，34(4):361－373.

［6］曹飛龍，張永全，張衛(wèi)國.單隱層神經(jīng)網(wǎng)絡(luò)與最佳多項(xiàng)式逼近［J］.數(shù)學(xué)學(xué)報(bào):中文版，2007，50(2):385－392.

［7］LIANAS B，SAINZ F J.Constructive approximate interpolation by neural networks［J］.J Comput Applied Math，2006，188:283－308.

［8］謝庭藩，曹飛龍.關(guān)于插值神經(jīng)網(wǎng)絡(luò)的構(gòu)造性［J］.自然科學(xué)進(jìn)展，2008，18(3):334 －340.

［9］徐士英，曹飛龍.距離空間中插值神經(jīng)網(wǎng)絡(luò)的誤差估計(jì)［J］.系統(tǒng)科學(xué)與數(shù)學(xué)，2009，29(5):670－676.

［10］徐士英，曹飛龍.多元插值神經(jīng)網(wǎng)絡(luò)的一個(gè)注記［J］.高校應(yīng)用數(shù)學(xué)學(xué)報(bào)，2009，24(1):91－94.

［11］張雨濃，譚寧，李展，等.求解線性不定方程組所展現(xiàn)的BP與Hopfield類型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)同質(zhì)性研究［J］.中山大學(xué)學(xué)報(bào):自然科學(xué)版，2010，49(2):1 －7.

［12］張雨濃，李凌峰，郭東生，等.Hermite插值神經(jīng)網(wǎng)絡(luò)權(quán)值和結(jié)構(gòu)確定理論探討［J］.計(jì)算機(jī)應(yīng)用研究，2010，27(11):4048 －4051.

［13］張雨濃，郭東生，譚寧.冪激勵(lì)前向神經(jīng)網(wǎng)絡(luò)最優(yōu)結(jié)構(gòu)確定算法［J］.計(jì)算機(jī)工程與應(yīng)用，2011，47(2):29－31.

［14］肖秀春，張雨濃，姜孝華.MISO多元廣義多項(xiàng)式神經(jīng)網(wǎng)絡(luò)及其權(quán)值直接求解［J］.中山大學(xué)學(xué)報(bào):自然科學(xué)版，2009，48(4):42 －46.

［15］薛毅.數(shù)值分析與科學(xué)計(jì)算［M］.北京:科學(xué)出版社，2011.