GRNN與BPNN的函數(shù)逼近性能對比研究

2014-04-18 18:47:56丁碩常曉恒巫慶輝

現(xiàn)代電子技術(shù) 2014年7期

關(guān)鍵詞：仿真

丁碩+常曉恒+巫慶輝

摘要：為了研究GRNN和BPNN非線性函數(shù)的逼近能力，從數(shù)學(xué)角度詳細(xì)闡述了GRNN和基于LM優(yōu)化算法改進(jìn)的BPNN的學(xué)習(xí)過程，編程建立了GRNN和BPNN，并分別用兩種神經(jīng)網(wǎng)絡(luò)對指定的非線性函數(shù)進(jìn)行逼近實(shí)驗(yàn)。仿真結(jié)果表明，在訓(xùn)練樣本數(shù)量相等且中小規(guī)模網(wǎng)絡(luò)的條件下，相對于BPNN而言，GRNN的逼近精度更高、收斂速度更快，具有很好的逼近能力，為解決非線性函數(shù)的逼近問題提供了良好的解決手段。

關(guān)鍵詞：廣義回歸神經(jīng)網(wǎng)絡(luò)；反向傳播神經(jīng)網(wǎng)絡(luò)；函數(shù)逼近；逼近能力對比；仿真

中圖分類號： TN711?34；TP183 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2014）07?0114?04

Comparative study on function approximation performances of GRNN and BPNN

DING Shuo， CHANG Xiao?heng， WU Qing?hui

（College of Engineering， Bohai University， Jinzhou 121013， China）

Abstract： To study the nonlinear function approximation performances of GRNN and BPNN， the learning processes of GRNN and BPNN based on LM optimization algorithm improvement are illustrated mathematically in this paper. Then GRNN and BPNN were established with computer programming. A given nonlinear function was approximated by the two neural networks respectively. The simulation results indicate that when the numbers of training samples are the same and the networks are small or medium?sized， GRNN has higher precision， faster convergence speed， and better approximation ability than BPNN. Thus GRNN is a good method to solve the problem of nonlinear function approximation.

Keywords： GRNN； BPNN； function approximation； approximation capability comparison； simulation

0 引言

數(shù)值逼近是指給定一組數(shù)據(jù)，用數(shù)學(xué)分析的方法來分析這組數(shù)據(jù)，常用的數(shù)學(xué)分析方法有多項(xiàng)式擬合和插值運(yùn)算。由于人工神經(jīng)元網(wǎng)絡(luò)（Artificial Neural Networks， ANN）具有很強(qiáng)的非線性映射能力、自學(xué)習(xí)性和容錯(cuò)性，近些年來，采用ANN對于非線性函數(shù)進(jìn)行逼近成為數(shù)值逼近領(lǐng)域的一個(gè)研究熱點(diǎn)。目前，國內(nèi)外學(xué)者絕大部分使用的ANN模型是BP神經(jīng)網(wǎng)絡(luò)，但是，傳統(tǒng)的BP網(wǎng)絡(luò)收斂速度慢，訓(xùn)練時(shí)間長和目標(biāo)函數(shù)存在局部最小等缺點(diǎn)，所以，很多學(xué)者提出了許多改進(jìn)算法。廣義回歸神經(jīng)網(wǎng)絡(luò)（General Regression Neural Networks， GRNN）具有很強(qiáng)的非線性映射能力和柔性網(wǎng)絡(luò)結(jié)構(gòu)以及高度的容錯(cuò)性和魯棒性，很適合于解決非線性函數(shù)的逼近問題[1?5]。筆者以標(biāo)準(zhǔn)BP（Back Propagation）算法為基礎(chǔ)，利用收斂速度相對較快、擬合精度較高且性能穩(wěn)定的LM（Levenberg?Marquart）算法來構(gòu)建LMBP神經(jīng)網(wǎng)絡(luò)，同時(shí)構(gòu)建了GRNN，分別對指定的非線性函數(shù)進(jìn)行逼近實(shí)驗(yàn)，并對結(jié)果進(jìn)行比較分析。仿真結(jié)果表明，GRNN對非線性函數(shù)的逼近能力要明顯地高于BPNN，并且設(shè)計(jì)起來更為方便。

1 人工神經(jīng)網(wǎng)絡(luò)函數(shù)逼近定理

令[?（?）]為有限非常量的單調(diào)增連續(xù)函數(shù)，[IP]代表[P]維超立方體[[0，1]P]，[C（IP）]表示定義在[IP]上的連續(xù)函數(shù)構(gòu)成的集合，則給定任意函數(shù)[f（?）∈C（IP）]和[ε>0，]存在正整數(shù)[M]和一組實(shí)常數(shù)[?i，][θi]和[ωij，]其中[i=1，2，…，M；][j=1，2，…，p，]使得神經(jīng)網(wǎng)絡(luò)的輸出如式（1）所示[6] ：

[F（x1，x2，…，xp）=i=1M?i?（j=1pωijxj-θi）] （1）

即網(wǎng)絡(luò)可逼近任意函數(shù)[f（x）：]

[F（x1，x2，…，xp）-f（x1，x2，…，xp）<ε] （2）

2 LM?BP神經(jīng)網(wǎng)絡(luò)算法原理

針對傳統(tǒng)BPNN算法迭代速度慢，且易陷入局部最小點(diǎn)的缺點(diǎn)，若計(jì)算機(jī)的內(nèi)存足夠大時(shí)，對于中小型結(jié)構(gòu)的網(wǎng)絡(luò)一般使用LM改進(jìn)方法。LM算法在對近似二階訓(xùn)練速率進(jìn)行修正時(shí)可以充分避免計(jì)算復(fù)雜的Hessian矩陣。若誤差函數(shù)用平方和表示時(shí)，可以用式（3）來表示Hessian矩陣：

[H（k）=JT（k）J（k）] （3）

梯度表達(dá)式如式（4）所示：

[g=JT（k）e（k）] （4）

式（3）中，[J（k）]是包含網(wǎng)絡(luò)誤差對權(quán)值和閾值的一階導(dǎo)數(shù)的雅克比矩陣；式（4）中，[e]為誤差向量。LM算法可按照式（5）進(jìn)行修正：

[x（k+1）=x（k）-JTJ+μI-1JTe（k）] （5）

式中：[I]為單位矩陣；比例系數(shù)[μ]是一個(gè)大于0的很小的參數(shù)，當(dāng)[μ]接近零時(shí)，式（5）變?yōu)榕ｎD法；當(dāng)[μ]很大時(shí)，式（5）變?yōu)樘荻认陆捣?。因?yàn)榕ｎD法在對最小誤差進(jìn)行逼近時(shí)，收斂速度快，精度高，所以應(yīng)使式（5）最終接近于牛頓法，使[μ]減?。欢挥性谶M(jìn)行嘗試性迭代后的誤差性能增加的情況下，才使[μ]增加[2]。LM算法是一種非常有效的優(yōu)化設(shè)計(jì)方法，尤其適用于目標(biāo)函數(shù)為誤差平方和最小化的情況，因其具有二階收斂速度，所需要的迭代次數(shù)很少，所以可大幅度提高收斂速度，并可提高算法的穩(wěn)定性以及避免陷人局部最小點(diǎn)的優(yōu)點(diǎn)。

3 GRNN算法原理

GRNN由輸入層、模式層、求和層和輸出層四層組成。GRNN直接從訓(xùn)練數(shù)據(jù)中獲得估計(jì)函數(shù)，可以逼近輸入和輸出向量之間的任意函數(shù)。給定[x]并假設(shè)被估計(jì)函數(shù)是連續(xù)光滑的，則[y]的期望值如式（6）所示：

[E[yx]=-∞+∞vf（x，v）dv-∞+∞f（x，v）dy] （6）

函數(shù)[f（x，y）]可定義為：[f（x，y）=12σI+1×1Ii=1Iexp-（x-xi）T（x-xi）2?σ2×exp-（y-yi）22?σ2] （7）

式（7）中[xi]和[yi]分別表示第[i]個(gè)訓(xùn)練輸入向量和相應(yīng)的輸出，[s]表示擴(kuò)展常數(shù)，也稱為光滑因子。給定[x，] 則相應(yīng)的回歸估計(jì)如式（8）所示：

[y=E[yx]=i=1Iyihii=1Ihi] （8）

[hi=exp-d2i2?σ2] （9）

[d2i=（x-xi）T（x-xi）] （10）

式（9）和式（10）中[hi]表示高斯徑向基函數(shù)，[d2i]表示向量[x]和向量[xi]之間的歐式距離的平方。

4 仿真實(shí)驗(yàn)

為了便于對GRNN和BPNN逼近性能和收斂速度進(jìn)行研究，本文在Matlab 7.0環(huán)境下，編程建立了GRNN和LM?BP神經(jīng)網(wǎng)絡(luò)，分別對式（11）所示的非線性函數(shù)進(jìn)行逼近實(shí)驗(yàn)，并進(jìn)行對比研究，逼近的目標(biāo)精度為0.000 1。

[y=2?e（-x2）+cos（x），x∈[-10，10]] （11）

仿真過程[7?10]如下：

（l）對待逼近的非線性函數(shù)進(jìn)行采樣，以采樣點(diǎn)作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本集，計(jì)算相應(yīng)點(diǎn)的函數(shù)值，把其作為目標(biāo)樣本集；

（2）建立GRNN和三層BPNN，并用上一步驟所形成的訓(xùn)練樣本集進(jìn)行反復(fù)訓(xùn)練，直到滿足要求；如果所建立的網(wǎng)絡(luò)經(jīng)充分訓(xùn)練后仍無法達(dá)到要求，則需調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)；

（3）利用GRNN和BPNN對訓(xùn)練樣本進(jìn)行仿真；

（4）對所建立的GRNN和BPNN進(jìn)行泛化能力測試，即對不在訓(xùn)練樣本集空間內(nèi)的樣本進(jìn)行仿真，比較兩種網(wǎng)絡(luò)的仿真誤差；

（5）在樣本數(shù)相同且精度要求相等的條件下，對于兩種網(wǎng)絡(luò)的整體逼近結(jié)果進(jìn)行比較，分析兩種網(wǎng)絡(luò)在解決相同問題時(shí)逼近性能的差異。

4.1 GRNN和BPNN的建立

GRNN人為調(diào)節(jié)的參數(shù)少，只有一個(gè)閾值[b，]閾值[b]的計(jì)算方法如式（12）所示：

[b=0.5×[-log（0.5）]SPREAD] （12）

式中的參數(shù)SPREAD為徑向基函數(shù)的分布密度。所以在建立GRNN時(shí)，只需要選擇一個(gè)合適的SPREAD值，SPREAD值的大小對于網(wǎng)絡(luò)的逼近結(jié)果影響很大，SPREAD的值越小，神經(jīng)網(wǎng)絡(luò)對樣本數(shù)據(jù)的逼近性就越好；SPREAD的值越大，神經(jīng)網(wǎng)絡(luò)對樣本數(shù)據(jù)的逼近過程就越光滑，但與此同時(shí)網(wǎng)絡(luò)輸出誤差會增大。文中在Matlab 7.0環(huán)境下編寫GRNN算法程序進(jìn)行非線性函數(shù)逼近研究，SPREAD分別取0.1，0.3，0.5，0.7，1.0，程序采取循環(huán)訓(xùn)練算法，不同SPREAD值對逼近結(jié)果的影響如圖1所示?？梢钥闯?，當(dāng)SPREAD=0.1時(shí)，文中所建立的GRNN達(dá)到最佳逼近效果。所建立GRNN可以根據(jù)訓(xùn)練算法和訓(xùn)練樣本集開始學(xué)習(xí)和訓(xùn)練，當(dāng)網(wǎng)絡(luò)訓(xùn)練好后，各個(gè)隱層節(jié)點(diǎn)的數(shù)據(jù)中心相應(yīng)的輸出權(quán)值將不再改變，此時(shí)的神經(jīng)網(wǎng)絡(luò)可以進(jìn)行非線性函數(shù)逼近。

因?yàn)閭鹘y(tǒng)的BPNN收斂速度慢，逼近精度不夠高，文中利用LM算法對BPNN進(jìn)行改進(jìn)。建立LM?BPNN，主要包含網(wǎng)絡(luò)層數(shù)、隱層神經(jīng)元個(gè)數(shù)、初始權(quán)值和學(xué)習(xí)率四個(gè)要素。根據(jù)ANN的函數(shù)逼近理論，一個(gè)三層BPNN可以逼近任意非線性函數(shù)。因此，文中在進(jìn)行函數(shù)逼近實(shí)驗(yàn)時(shí)，BP神經(jīng)網(wǎng)絡(luò)采用單隱層結(jié)構(gòu)。隱含層的神經(jīng)元數(shù)目的冗余將使網(wǎng)絡(luò)龐大，訓(xùn)練困難，而不足又會導(dǎo)致訓(xùn)練失敗。文中采用動(dòng)態(tài)法來確定隱含層神經(jīng)元數(shù)：即一開始選用較少的隱層神經(jīng)元，如果學(xué)習(xí)一定次數(shù)后效果不好，再增加隱層神經(jīng)元，一直達(dá)到比較合理的隱層神經(jīng)元數(shù)為止，經(jīng)過反復(fù)多次試驗(yàn)隱含層神經(jīng)元數(shù)最終確定為15，可以達(dá)到逼近要求。

圖1 不同SPREAD值對逼近結(jié)果的影響

初始權(quán)值對BPNN的收斂程度和訓(xùn)練時(shí)間影響很大。文中在建立LM?BPNN時(shí)，輸入值在加權(quán)處理后盡可能接近零，這樣可以保證初始權(quán)值的調(diào)整發(fā)生在S型傳遞函數(shù)的斜率最陡處。文中在建立幾種數(shù)值優(yōu)化BP神經(jīng)網(wǎng)絡(luò)時(shí)，為了兼顧系統(tǒng)穩(wěn)定性和具有較快的收斂速度，學(xué)習(xí)率選取為0.1。

4.2 GRNN和BPNN對訓(xùn)練樣本集的逼近能力測試

采樣頻率取為0.4，即在[x∈[-10，10]]區(qū)間內(nèi)等間距選取51個(gè)點(diǎn)作為訓(xùn)練樣本集，對應(yīng)點(diǎn)的函數(shù)值作為目標(biāo)樣本集。GRNN和BPNN對訓(xùn)練樣本點(diǎn)的逼近誤差如圖2所示，可以看出，兩種網(wǎng)絡(luò)對于訓(xùn)練樣本的逼近結(jié)果的相對誤差均達(dá)到預(yù)先設(shè)定的精度要求，GRNN幾乎在所有的訓(xùn)練樣本點(diǎn)的逼近結(jié)果的相對誤差都接近于為0，只有在個(gè)別訓(xùn)練樣本的逼近結(jié)果的絕對誤差略有增大，最大相對誤差不超過-2.413e-6，但仍遠(yuǎn)小于BPNN在對應(yīng)點(diǎn)處的相對誤差；相比之下，BPNN在很多訓(xùn)練樣本點(diǎn)的逼近結(jié)果的相對誤差都顯著增大，最大相對誤差為-0.113，逼近精度遠(yuǎn)低于GRNN。

4.3 GRNN和BPNN逼近性能的泛化能力測試

為了檢驗(yàn)所建立的GRNN和BPNN的泛化能力，將采樣頻率取為0.8，即在[x∈[-10，10]]區(qū)間內(nèi)等間距選取25個(gè)非訓(xùn)練樣本點(diǎn)作為測試點(diǎn)集。GRNN和BPNN對非訓(xùn)練樣本點(diǎn)的逼近誤差如圖3所示，可以看出，GRNN對測試點(diǎn)集幾乎達(dá)到了完全逼近，只在幾個(gè)測試點(diǎn)有較小誤差，但最大相對誤差不超過2.612e-6；相比之下，BPNN有較大誤差，且誤差波動(dòng)較大，BPNN在較小和較大的非訓(xùn)練樣本點(diǎn)的逼近相對誤差顯著增大，其最大相對誤差不超過0.08。由此可以得出結(jié)論，GRNN對測試點(diǎn)集的逼近精度明顯高于BPNN且具有較強(qiáng)的泛化能力。

圖2 GRNN和BPNN對訓(xùn)練樣本點(diǎn)的逼近誤差

圖3 GRNN和BPNN對非訓(xùn)練樣本點(diǎn)的逼近誤差

4.4 GRNN和RBFNN的整體逼近結(jié)果對比

在樣本數(shù)相同且精度要求相等的條件下，利用作待逼近函數(shù)圖像時(shí)的采樣頻率產(chǎn)生樣本，分別用GRNN和BPNN對這些樣本進(jìn)行仿真，兩種網(wǎng)絡(luò)對待逼近函數(shù)的整體逼近效果如圖4所示，可以看出，GRNN在待逼近函數(shù)的取值區(qū)間范圍內(nèi)幾乎做到了完全逼近，而沒有經(jīng)過訓(xùn)練的BPNN完全無法逼近，即使利用經(jīng)過訓(xùn)練后的網(wǎng)絡(luò)（運(yùn)行25次，取效果最好的1次）也在多個(gè)函數(shù)區(qū)間上仍存在逼近相對誤差大、逼近效果不理想的現(xiàn)象。

在樣本數(shù)和精度要求相同的條件下，GRNN和BPNN對于待逼近函數(shù)的整體逼近結(jié)果對比如表1所示?？梢钥闯觯S著樣本集數(shù)目的不斷增大，GRNN和BPNN的收斂時(shí)間相應(yīng)的在不斷增加，但總體來說，GRNN的收斂時(shí)間較BPNN的收斂時(shí)間要少很多；就兩種網(wǎng)絡(luò)整體逼近的均方誤差而言， GRNN的均方誤差遠(yuǎn)遠(yuǎn)小于BPNN的均方誤差。

表1 GRNN和BPNN整體逼近結(jié)果對比

[樣本集

數(shù)目＼& GRNN收斂時(shí) /s＼& BPNN收斂時(shí) /s＼& GRNN

均方誤差＼&BPNN

均方誤差＼&[?]＼&[?]＼&[?]＼&[?]＼&[?]＼&26＼&0.036＼&0.366＼&2.346 6e-012＼&8.565 75e-005＼&33＼&0.055＼&0.668＼&3.471 5e-012＼&8.767 56e-005＼&51＼&0.077＼&0.909＼&7.986 9e-012＼&9.841 37e-005＼&[?]＼&[?]＼&[?]＼&[?]＼&[?]＼&101＼&0.091＼&1.131＼&8.506 0e-012＼&9.995 82e-005＼&]

圖4 GRNN和BPNN整體逼近結(jié)果效果圖

5 結(jié) 語

仿真結(jié)果表明， GRNN和BPNN能夠在預(yù)設(shè)精度范圍內(nèi)完成非線性函數(shù)的逼近任務(wù)，文中采用LM算法對傳統(tǒng)BPNN進(jìn)行改進(jìn)可以有效提高其收斂速度和逼近精度。但LM 算法的復(fù)雜度較大，在計(jì)算過程中會產(chǎn)生大量的中間結(jié)果矩陣，需要較大的計(jì)算機(jī)內(nèi)存空間。相比之下，GRNN 網(wǎng)絡(luò)在逼近能力和學(xué)習(xí)速度上較BPNN有更強(qiáng)的優(yōu)勢，網(wǎng)絡(luò)最后收斂于樣本積聚較多的優(yōu)化回歸面，并且在樣本數(shù)據(jù)較少以及存在不穩(wěn)定數(shù)據(jù)時(shí)，逼近效果也較好。GRNN對于非線性函數(shù)的逼近精度遠(yuǎn)遠(yuǎn)高于BPNN，兩者不在同一數(shù)量級，GRNN基本上和待逼近函數(shù)完全吻合，在整體逼近上也明顯優(yōu)于BPNN，而BPNN則存在較大誤差，且GRNN能夠自動(dòng)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)計(jì)起來非常方便，而且最大限度地降低了人為主觀因素對逼近結(jié)果的影響，所以在中小型網(wǎng)絡(luò)中應(yīng)優(yōu)先采用GRNN進(jìn)行逼近。

參考文獻(xiàn)

[1] 黃忠明，吳志紅，劉全喜.幾種用于非線性函數(shù)逼近的神經(jīng)網(wǎng)絡(luò)方法研究[J].兵工自動(dòng)化，2009，28（10）：88?92.

[2] 丁碩，巫慶輝.基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近性能對比研究[J].計(jì)算機(jī)與現(xiàn)代化，2012（11）：10?13.

[3] DING Shuo， WU Qing?hui. A Matlab?based Study on Approximation Performances of Improved Algorithms of Typical BP Neural Networks [J]. Applied Mechanics and Materials， 2013， 313?314： 1353?1356.

[4] DING Shuo， CHANG Xiao?heng. A Matlab?based Study on the Realization and Approximation Performance of RBF Neural Networks[J]. Applied Mechanics and Materials， 2013， 325?326： 1746?1749.

[5] DING Shuo， CHANG Xiao?heng， WU Qing?hui. Approximation Performance of BP Neural Networks Improved by Heuristic Approach[J]. Applied Mechanics and Materials， 2013， 411?414： 1952?1955.

[6] 馬東宇.基于Gaussian型RBF神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近與應(yīng)用[D].長沙：中南大學(xué)，2011.

[7] 智會強(qiáng)，牛坤，田亮，等.BP網(wǎng)絡(luò)和RBF網(wǎng)絡(luò)在函數(shù)逼近領(lǐng)域內(nèi)的比較研究[J].科技通報(bào)，2005，21（2）：193?197.

[8] 曾德惠.基于Matlab實(shí)現(xiàn)函數(shù)逼近[J].現(xiàn)代電子技術(shù)，2009，32（8）：141?143.

[9] 丁碩，常曉恒.Gaussian型RBF神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近仿真研究[J].河南科學(xué)，2013，31（9）：1383?1386.

[10] 劉永，張立毅.BP和RBF神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)及其性能比較[J].電子測量技術(shù)，2007，30（4）：77?80.

4.3 GRNN和BPNN逼近性能的泛化能力測試

圖2 GRNN和BPNN對訓(xùn)練樣本點(diǎn)的逼近誤差

圖3 GRNN和BPNN對非訓(xùn)練樣本點(diǎn)的逼近誤差

4.4 GRNN和RBFNN的整體逼近結(jié)果對比

在樣本數(shù)和精度要求相同的條件下，GRNN和BPNN對于待逼近函數(shù)的整體逼近結(jié)果對比如表1所示。可以看出，隨著樣本集數(shù)目的不斷增大，GRNN和BPNN的收斂時(shí)間相應(yīng)的在不斷增加，但總體來說，GRNN的收斂時(shí)間較BPNN的收斂時(shí)間要少很多；就兩種網(wǎng)絡(luò)整體逼近的均方誤差而言， GRNN的均方誤差遠(yuǎn)遠(yuǎn)小于BPNN的均方誤差。