Elman和BP神經(jīng)網(wǎng)絡(luò)在模式分類領(lǐng)域內(nèi)的對(duì)比研究

丁碩+常曉恒+巫慶輝+楊友林+胡慶功

摘要： 為了研究Elman神經(jīng)網(wǎng)絡(luò)和標(biāo)準(zhǔn)BPNN中何種網(wǎng)絡(luò)類型更適合于解決模式分類問(wèn)題，分別構(gòu)建了基于Elman神經(jīng)網(wǎng)絡(luò)的分類模型和基于標(biāo)準(zhǔn)BPNN的分類模型。以平面上二維向量模式的分類為例，對(duì)2種分類模型進(jìn)行訓(xùn)練和泛化能力測(cè)試。仿真結(jié)果表明，在訓(xùn)練樣本數(shù)量相等且中小規(guī)模網(wǎng)絡(luò)的條件下，Elman網(wǎng)絡(luò)模型比BP網(wǎng)絡(luò)模型具有更高的分類精度，更快的收斂速度，更適合于解決模式分類問(wèn)題。

關(guān)鍵詞： Elman神經(jīng)網(wǎng)絡(luò)； BP神經(jīng)網(wǎng)絡(luò)； 模式分類； 收斂速度； 泛化能力

中圖分類號(hào)： TN911?34； TP391.9文獻(xiàn)標(biāo)識(shí)碼： A文章編號(hào)： 1004?373X（2014）08?0012?03

Comparative study of Elman and BP neural networks used for pattern classification

DING Shuo， CHANG Xiao?heng， WU Qing?hui， YANG You?lin， HU Qing?gong

（College of Engineering， Bohai University， Jinzhou 121013， China）

Abstract： To study which type of network in Elman neural networks or standard BPNN is more effective for pattern classification， two classification models based on Elman neural network and standard BPNN are established respectively. The classification of two? dimensional vector pattern on a plane is taken as an example to train the two classification models and test their generalization abilities respectively. The simulation results show that Elman neural network has higher classification accuracy and faster convergence speed than BPNN under the conditions of the same quantity of the training samples and small or medium size network. And this makes Elman neural network more suitable for solving the problem of pattern classification.

Keywords： Elman neural network； BP neural network； pattern classification； convergence speed； generalization ability

0引言

由于人工神經(jīng)元網(wǎng)絡(luò)具有很強(qiáng)的非線性映射能力、自學(xué)習(xí)性和容錯(cuò)性，近年來(lái)，人工神經(jīng)元網(wǎng)絡(luò)用于模式分類成為當(dāng)今的一個(gè)研究熱點(diǎn)問(wèn)題。在眾多的網(wǎng)絡(luò)類型中，反向傳播神經(jīng)網(wǎng)絡(luò)（Back Propagation Neural Networks，BPNN）是應(yīng)用最為廣泛的一種神經(jīng)網(wǎng)絡(luò)，但是，標(biāo)準(zhǔn)的BPNN收斂速度慢，訓(xùn)練時(shí)間長(zhǎng)和目標(biāo)函數(shù)存在局部最小值等缺點(diǎn)[1?3]。Elman神經(jīng)網(wǎng)絡(luò)是一種從輸出到輸入具有反饋連接的神經(jīng)網(wǎng)絡(luò)，Elman神經(jīng)網(wǎng)絡(luò)的輸出不僅作為輸出層的輸入，而且還連接隱含層內(nèi)的另外一些神經(jīng)元，并反饋至隱含層的輸入。由于Elman神經(jīng)網(wǎng)絡(luò)的輸入表示信號(hào)的空域信息，而反饋支路是一個(gè)延遲單元，反映信號(hào)的時(shí)域信息，所以Elman神經(jīng)網(wǎng)絡(luò)可以在時(shí)域和空域進(jìn)行模式識(shí)別，并且逼近能力優(yōu)于一般的靜態(tài)網(wǎng)絡(luò)，收斂速度快，能較好地克服BPNN的訓(xùn)練時(shí)間長(zhǎng)及計(jì)算復(fù)雜度高等缺點(diǎn)[4?5]。本文基于Elman神經(jīng)網(wǎng)絡(luò)和標(biāo)準(zhǔn)BPNN的分別構(gòu)建了分類模型，通過(guò)仿真實(shí)驗(yàn)，對(duì)兩個(gè)模型的分類效果進(jìn)行對(duì)比。仿真結(jié)果表明，在對(duì)二維數(shù)據(jù)進(jìn)行模式分類時(shí)，基于Elman神經(jīng)網(wǎng)絡(luò)的分類模型更具優(yōu)勢(shì)，更適合于解決模式分類問(wèn)題。

1BP神經(jīng)網(wǎng)絡(luò)的算法

BPNN通過(guò)對(duì)輸入節(jié)點(diǎn)與隱層節(jié)點(diǎn)間的網(wǎng)絡(luò)權(quán)值wij、隱層節(jié)點(diǎn)與輸出節(jié)點(diǎn)間的網(wǎng)絡(luò)權(quán)值Tli及閾值[θ]的調(diào)整，使誤差函數(shù)沿梯度方向下降。設(shè)BPNN的輸入節(jié)點(diǎn)為xj、隱層節(jié)點(diǎn)為yi、輸出節(jié)點(diǎn)為Ol、輸出節(jié)點(diǎn)的期望輸出為tl， 則BPNN模型的隱層節(jié)點(diǎn)的輸出計(jì)算方法如式（1）所示，輸出節(jié)點(diǎn)的輸出計(jì)算方法如式（2）所示，輸出節(jié)點(diǎn)的誤差計(jì)算方法如式（3）所示[6?8]：

[yi=fjwijxj-θi] （1）

[Ol=fiTliyi-θl] （2）

[E=12ltl-fiTlijwij-θi-θl2] （3）

2Elman神經(jīng)網(wǎng)絡(luò)的算法

Elman神經(jīng)網(wǎng)絡(luò)的非線性狀態(tài)空間表達(dá)式為：

[y(k)=g(w3x(k))] （4）

[x(k)=f(w1xc(k)+w2(u(k-1)))] （5）

[xc(k)=x(k-1)] （6）

式中：k表示時(shí)刻；y，x，u，xc分別表示m維輸出節(jié)點(diǎn)向量，n維中間層結(jié)點(diǎn)單元向量，r維輸入向量和n維反饋狀態(tài)向量；w3，w2，w1分別表示中間層到輸出層、輸入層到中間層、承接層到中間層的連接權(quán)值；[g(?)]為輸出神經(jīng)元的傳遞函數(shù)；[f(?)]為中間層神經(jīng)元的傳遞函數(shù)。Elman神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法采用優(yōu)化的BP算法，既可以提高網(wǎng)絡(luò)的訓(xùn)練速率，又能有效抑制標(biāo)準(zhǔn)BPNN陷入局部極小值。學(xué)習(xí)的目標(biāo)函數(shù)是采誤差平方和函數(shù)，式（7）中[yk(w)]為目標(biāo)輸出量[9?10]。

[E(w)=k=1nyk(w)-yk(w)2] （7）

3仿真實(shí)驗(yàn)

為了便于對(duì)Elman神經(jīng)網(wǎng)絡(luò)和標(biāo)準(zhǔn)BPNN的分類性能進(jìn)行研究，本文在Matlab R2013a環(huán)境下，分別構(gòu)建了基于Elman神經(jīng)網(wǎng)絡(luò)的分類模型和基于標(biāo)準(zhǔn)BPNN的分類模型，對(duì)輸入的二維向量模式進(jìn)行分類實(shí)驗(yàn)。仿真過(guò)程如下：

（1） 以已知的二維向量作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本集，把向量的模式進(jìn)行編碼作為目標(biāo)樣本集。

（2） 建立Elman網(wǎng)絡(luò)分類模型和標(biāo)準(zhǔn)BPNN分類模型，對(duì)兩種網(wǎng)絡(luò)模型進(jìn)行反復(fù)訓(xùn)練，直到滿足要求，然后保存訓(xùn)練好的網(wǎng)絡(luò)（如果所建立的網(wǎng)絡(luò)經(jīng)充分訓(xùn)練后仍無(wú)法達(dá)到要求，則需調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)）。

（3） 對(duì)所建立的Elman網(wǎng)絡(luò)分類模型和標(biāo)準(zhǔn)BPNN分類模型進(jìn)行泛化能力測(cè)試，即對(duì)不在訓(xùn)練樣本集空間內(nèi)的樣本進(jìn)行仿真，比較兩種網(wǎng)絡(luò)的仿真誤差，分析兩種網(wǎng)絡(luò)的實(shí)際分類性能。

3.1Elman與BP網(wǎng)絡(luò)分類模型的建立

利用Elman神經(jīng)網(wǎng)絡(luò)和標(biāo)準(zhǔn)BPNN對(duì)圖1所示的24個(gè)樣本二維向量的模式進(jìn)行分類。在對(duì)樣本二維向量的模式進(jìn)行分類實(shí)驗(yàn)時(shí)，網(wǎng)絡(luò)的輸出分別用（0 0 0 1）表示第一類模式、（0 0 1 0）表示第二類模式、（0 1 0 0）表示第三類模式、（1 0 0 0）表示第四類模式。對(duì)于Elman網(wǎng)絡(luò)，由樣本數(shù)據(jù)可知，網(wǎng)絡(luò)輸入層有24個(gè)神經(jīng)元，輸出層有4個(gè)神經(jīng)元，訓(xùn)練函數(shù)為Trainlm，通過(guò)反復(fù)實(shí)驗(yàn)，中間層神經(jīng)元為7個(gè)時(shí)，網(wǎng)絡(luò)分類性能最好。

圖1 樣本向量與測(cè)試向量分布

針對(duì)標(biāo)準(zhǔn)BPNN，同樣輸入層有24個(gè)神經(jīng)元，輸出層有4個(gè)神經(jīng)元，訓(xùn)練函數(shù)為Traingd。采用動(dòng)態(tài)法來(lái)確定隱含層神經(jīng)元數(shù)，即一開始選用較少的隱層神經(jīng)元，如果學(xué)習(xí)一定次數(shù)后效果不好，再增加隱層神經(jīng)元，一直達(dá)到比較合理的隱層神經(jīng)元數(shù)為止，經(jīng)過(guò)反復(fù)多次試驗(yàn)隱含層神經(jīng)元數(shù)最終確定為20，可以達(dá)到分類要求。

學(xué)習(xí)率太大，會(huì)造成網(wǎng)絡(luò)不穩(wěn)定；學(xué)習(xí)率太小，網(wǎng)絡(luò)的訓(xùn)練時(shí)間就會(huì)延長(zhǎng)，收斂速度緩慢，最終陷入局部最小值。為了兼顧系統(tǒng)穩(wěn)定性和具有較快的收斂速度，本文在建立Elman神經(jīng)網(wǎng)絡(luò)和標(biāo)準(zhǔn)BPNN時(shí)，學(xué)習(xí)率選取為0.1；為了提高網(wǎng)絡(luò)的訓(xùn)練速度和訓(xùn)練的成功率，本文在進(jìn)行仿真實(shí)驗(yàn)時(shí)，利用minmax函數(shù)將訓(xùn)練樣本集中各元素歸一化到（0，1）范圍內(nèi)；訓(xùn)練次數(shù)為20 000次，目標(biāo)精度為0.001。

3.2Elman與標(biāo)準(zhǔn)BPNN分類模型對(duì)訓(xùn)練樣本的分類結(jié)果

在目標(biāo)精度設(shè)置為0.001、訓(xùn)練樣本數(shù)目相等的條件下，Elman網(wǎng)絡(luò)分類模型與標(biāo)準(zhǔn)BPNN分類模型對(duì)訓(xùn)練樣本的分類結(jié)果對(duì)比如表1所示。

表1 Elman與標(biāo)準(zhǔn)BPNN對(duì)訓(xùn)練樣本的分類結(jié)果對(duì)比

Elman與標(biāo)準(zhǔn)BPNN對(duì)訓(xùn)練樣本分類的誤差變化曲線如圖2和圖3所示。

可以看出，標(biāo)準(zhǔn)BPNN分類模型需要17 885步才能達(dá)到目標(biāo)精度，收斂時(shí)間需要32.02 s，均方誤差為0.000 999 95；Elman網(wǎng)絡(luò)分類模型只需要18步就可以達(dá)到目標(biāo)精度，收斂時(shí)間僅僅需要0.87 s，均方誤差僅為0.000 137 31，遠(yuǎn)遠(yuǎn)高于目標(biāo)精度要求。總的來(lái)說(shuō)，對(duì)于訓(xùn)練樣本集而言，只要訓(xùn)練步數(shù)設(shè)置足夠大，Elman網(wǎng)絡(luò)分類模型與標(biāo)準(zhǔn)BPNN分類模型都能在規(guī)定的訓(xùn)練步數(shù)范圍內(nèi)完成對(duì)訓(xùn)練樣本的模式分類任務(wù)，但相比之下，Elman網(wǎng)絡(luò)分類模型的收斂時(shí)間明顯比標(biāo)準(zhǔn)BPNN分類模型少，均方誤差也遠(yuǎn)小于標(biāo)準(zhǔn)BPNN分類模型。由此可以得出結(jié)論，Elman網(wǎng)絡(luò)分類模型對(duì)于訓(xùn)練樣本分類的準(zhǔn)確性和分類精度更高，收斂速度更快。

3.3Elman與標(biāo)準(zhǔn)BPNN分類模型的泛化能力測(cè)試

為了測(cè)試Elman網(wǎng)絡(luò)分類模型與標(biāo)準(zhǔn)BPNN分類模型的泛化能力，本文分別利用兩種分類模型（經(jīng)過(guò)訓(xùn)練后的網(wǎng)絡(luò)）對(duì)測(cè)試向量進(jìn)行分類。

設(shè)置4個(gè)分屬于不同類別的測(cè)試向量，如圖1所示，（5.20，6.00） 屬于第1類，（5.14，5.69） 屬于第2類，（5.35，5.81） 屬于第3類，（5.57，5.95） 屬于第4類，利用仿真函數(shù)sim得到網(wǎng)絡(luò)的輸出。從表2可以看出，標(biāo)準(zhǔn)BPNN分類模型的最大絕對(duì)誤差為0.134 3，Elman網(wǎng)絡(luò)分類模型的最大絕對(duì)誤差僅為-0.027 6。

總的來(lái)說(shuō)，相對(duì)于測(cè)試樣本集而言，Elman網(wǎng)絡(luò)分類模型的分類結(jié)果更為精確，收斂速度更快，分類性能更優(yōu)；標(biāo)準(zhǔn)BPNN分類模型的分類結(jié)果誤差較大，收斂速度緩慢，分類性能較差。

圖2 Elman神經(jīng)網(wǎng)絡(luò)訓(xùn)練誤差變化曲線

圖3 標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練誤差變化曲線

4結(jié)語(yǔ)

文中分別構(gòu)建了基于Elman神經(jīng)網(wǎng)絡(luò)的分類模型和基于標(biāo)準(zhǔn)BPNN的分類模型，并對(duì)輸入的二維向量模式進(jìn)行分類實(shí)驗(yàn)。仿真結(jié)果表明：只要訓(xùn)練步數(shù)設(shè)置足夠大，Elman網(wǎng)絡(luò)分類模型與標(biāo)準(zhǔn)BPNN分類模型都能在規(guī)定預(yù)設(shè)精度范圍內(nèi)完成分類任務(wù)。但相比之下，Elman網(wǎng)絡(luò)分類模型的收斂速度更快，訓(xùn)練準(zhǔn)確性和分類精度更高，分類性能更優(yōu)。所以在工程技術(shù)領(lǐng)域內(nèi)進(jìn)行設(shè)備的故障分類、故障診斷和區(qū)域劃分等應(yīng)用時(shí)建議優(yōu)先采用Elman神經(jīng)網(wǎng)絡(luò)進(jìn)行分類，如果采用標(biāo)準(zhǔn)BPNN進(jìn)行分類，則需要對(duì)標(biāo)準(zhǔn)BP算法進(jìn)行合理改進(jìn)，否則很難滿足實(shí)際分類要求。

參考文獻(xiàn)

[1] 周黃斌，周永華，朱麗娟.基于Matlab的改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)與比較[J].計(jì)算技術(shù)與自動(dòng)化，2008（1）：28?31.

[2] DING Shuo， CHANG Xiao?heng， WU Qing?hui. Application of probabilistic neural network in pattern classification [J]. AppliedMechanics and Materials， 2014 （441）： 738?741.

[3] 丁碩，巫慶輝.基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近性能對(duì)比研究[J].計(jì)算機(jī)與現(xiàn)代化，2012（11）：10?13.

[4] 韓旭明.Elman神經(jīng)網(wǎng)絡(luò)的應(yīng)用研究[D].天津：天津大學(xué)，2006.

[5] 范燕，申?yáng)|日，陳義俊，等.基于改進(jìn)Elman 神經(jīng)網(wǎng)絡(luò)的非線性預(yù)測(cè)控制[J].河南科技大學(xué)學(xué)報(bào)：自然科學(xué)版，2007，28（1）：41?45.

[6] 劉天舒.BP神經(jīng)網(wǎng)絡(luò)的改進(jìn)研究及應(yīng)用[D].哈爾濱：東北林業(yè)大學(xué)，2011.

[7] DING Shuo， WU Qing?hui. A MATLAB?based study on approximation performances of improved algorithms of typical BP neural networks [J]. Applied Mechanics and Materials， 2013 （313/314）： 1353?1356.

[8] DING Shuo， CHANG Xiao?heng， WU Qing?hui. Approximation performance of BP neural networks improved by heuristic approach [J]. Applied Mechanics and Materials， 2013 （411/414）： 1952?1955.

[9] 錢家忠，呂純，趙衛(wèi)東，等.Elman與BP神經(jīng)網(wǎng)絡(luò)在礦井水源判別中的應(yīng)用[J].系統(tǒng)工程理論與實(shí)踐，2010，30（1）：145?150.

[10] 何定，徐鵬.Elman與BP神經(jīng)網(wǎng)絡(luò)應(yīng)用于交通流預(yù)測(cè)的對(duì)比研究[J].工業(yè)工程，2010，13（6）：97?100.

圖1 樣本向量與測(cè)試向量分布

針對(duì)標(biāo)準(zhǔn)BPNN，同樣輸入層有24個(gè)神經(jīng)元，輸出層有4個(gè)神經(jīng)元，訓(xùn)練函數(shù)為Traingd。采用動(dòng)態(tài)法來(lái)確定隱含層神經(jīng)元數(shù)，即一開始選用較少的隱層神經(jīng)元，如果學(xué)習(xí)一定次數(shù)后效果不好，再增加隱層神經(jīng)元，一直達(dá)到比較合理的隱層神經(jīng)元數(shù)為止，經(jīng)過(guò)反復(fù)多次試驗(yàn)隱含層神經(jīng)元數(shù)最終確定為20，可以達(dá)到分類要求。

學(xué)習(xí)率太大，會(huì)造成網(wǎng)絡(luò)不穩(wěn)定；學(xué)習(xí)率太小，網(wǎng)絡(luò)的訓(xùn)練時(shí)間就會(huì)延長(zhǎng)，收斂速度緩慢，最終陷入局部最小值。為了兼顧系統(tǒng)穩(wěn)定性和具有較快的收斂速度，本文在建立Elman神經(jīng)網(wǎng)絡(luò)和標(biāo)準(zhǔn)BPNN時(shí)，學(xué)習(xí)率選取為0.1；為了提高網(wǎng)絡(luò)的訓(xùn)練速度和訓(xùn)練的成功率，本文在進(jìn)行仿真實(shí)驗(yàn)時(shí)，利用minmax函數(shù)將訓(xùn)練樣本集中各元素歸一化到（0，1）范圍內(nèi)；訓(xùn)練次數(shù)為20 000次，目標(biāo)精度為0.001。

3.2Elman與標(biāo)準(zhǔn)BPNN分類模型對(duì)訓(xùn)練樣本的分類結(jié)果

在目標(biāo)精度設(shè)置為0.001、訓(xùn)練樣本數(shù)目相等的條件下，Elman網(wǎng)絡(luò)分類模型與標(biāo)準(zhǔn)BPNN分類模型對(duì)訓(xùn)練樣本的分類結(jié)果對(duì)比如表1所示。

表1 Elman與標(biāo)準(zhǔn)BPNN對(duì)訓(xùn)練樣本的分類結(jié)果對(duì)比

Elman與標(biāo)準(zhǔn)BPNN對(duì)訓(xùn)練樣本分類的誤差變化曲線如圖2和圖3所示。

可以看出，標(biāo)準(zhǔn)BPNN分類模型需要17 885步才能達(dá)到目標(biāo)精度，收斂時(shí)間需要32.02 s，均方誤差為0.000 999 95；Elman網(wǎng)絡(luò)分類模型只需要18步就可以達(dá)到目標(biāo)精度，收斂時(shí)間僅僅需要0.87 s，均方誤差僅為0.000 137 31，遠(yuǎn)遠(yuǎn)高于目標(biāo)精度要求。總的來(lái)說(shuō)，對(duì)于訓(xùn)練樣本集而言，只要訓(xùn)練步數(shù)設(shè)置足夠大，Elman網(wǎng)絡(luò)分類模型與標(biāo)準(zhǔn)BPNN分類模型都能在規(guī)定的訓(xùn)練步數(shù)范圍內(nèi)完成對(duì)訓(xùn)練樣本的模式分類任務(wù)，但相比之下，Elman網(wǎng)絡(luò)分類模型的收斂時(shí)間明顯比標(biāo)準(zhǔn)BPNN分類模型少，均方誤差也遠(yuǎn)小于標(biāo)準(zhǔn)BPNN分類模型。由此可以得出結(jié)論，Elman網(wǎng)絡(luò)分類模型對(duì)于訓(xùn)練樣本分類的準(zhǔn)確性和分類精度更高，收斂速度更快。

3.3Elman與標(biāo)準(zhǔn)BPNN分類模型的泛化能力測(cè)試

為了測(cè)試Elman網(wǎng)絡(luò)分類模型與標(biāo)準(zhǔn)BPNN分類模型的泛化能力，本文分別利用兩種分類模型（經(jīng)過(guò)訓(xùn)練后的網(wǎng)絡(luò)）對(duì)測(cè)試向量進(jìn)行分類。

設(shè)置4個(gè)分屬于不同類別的測(cè)試向量，如圖1所示，（5.20，6.00） 屬于第1類，（5.14，5.69） 屬于第2類，（5.35，5.81） 屬于第3類，（5.57，5.95） 屬于第4類，利用仿真函數(shù)sim得到網(wǎng)絡(luò)的輸出。從表2可以看出，標(biāo)準(zhǔn)BPNN分類模型的最大絕對(duì)誤差為0.134 3，Elman網(wǎng)絡(luò)分類模型的最大絕對(duì)誤差僅為-0.027 6。

總的來(lái)說(shuō)，相對(duì)于測(cè)試樣本集而言，Elman網(wǎng)絡(luò)分類模型的分類結(jié)果更為精確，收斂速度更快，分類性能更優(yōu)；標(biāo)準(zhǔn)BPNN分類模型的分類結(jié)果誤差較大，收斂速度緩慢，分類性能較差。

圖2 Elman神經(jīng)網(wǎng)絡(luò)訓(xùn)練誤差變化曲線

圖3 標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練誤差變化曲線

4結(jié)語(yǔ)

文中分別構(gòu)建了基于Elman神經(jīng)網(wǎng)絡(luò)的分類模型和基于標(biāo)準(zhǔn)BPNN的分類模型，并對(duì)輸入的二維向量模式進(jìn)行分類實(shí)驗(yàn)。仿真結(jié)果表明：只要訓(xùn)練步數(shù)設(shè)置足夠大，Elman網(wǎng)絡(luò)分類模型與標(biāo)準(zhǔn)BPNN分類模型都能在規(guī)定預(yù)設(shè)精度范圍內(nèi)完成分類任務(wù)。但相比之下，Elman網(wǎng)絡(luò)分類模型的收斂速度更快，訓(xùn)練準(zhǔn)確性和分類精度更高，分類性能更優(yōu)。所以在工程技術(shù)領(lǐng)域內(nèi)進(jìn)行設(shè)備的故障分類、故障診斷和區(qū)域劃分等應(yīng)用時(shí)建議優(yōu)先采用Elman神經(jīng)網(wǎng)絡(luò)進(jìn)行分類，如果采用標(biāo)準(zhǔn)BPNN進(jìn)行分類，則需要對(duì)標(biāo)準(zhǔn)BP算法進(jìn)行合理改進(jìn)，否則很難滿足實(shí)際分類要求。

參考文獻(xiàn)

[1] 周黃斌，周永華，朱麗娟.基于Matlab的改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)與比較[J].計(jì)算技術(shù)與自動(dòng)化，2008（1）：28?31.

[2] DING Shuo， CHANG Xiao?heng， WU Qing?hui. Application of probabilistic neural network in pattern classification [J]. AppliedMechanics and Materials， 2014 （441）： 738?741.

[3] 丁碩，巫慶輝.基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近性能對(duì)比研究[J].計(jì)算機(jī)與現(xiàn)代化，2012（11）：10?13.

[4] 韓旭明.Elman神經(jīng)網(wǎng)絡(luò)的應(yīng)用研究[D].天津：天津大學(xué)，2006.

[5] 范燕，申?yáng)|日，陳義俊，等.基于改進(jìn)Elman 神經(jīng)網(wǎng)絡(luò)的非線性預(yù)測(cè)控制[J].河南科技大學(xué)學(xué)報(bào)：自然科學(xué)版，2007，28（1）：41?45.

[6] 劉天舒.BP神經(jīng)網(wǎng)絡(luò)的改進(jìn)研究及應(yīng)用[D].哈爾濱：東北林業(yè)大學(xué)，2011.

[7] DING Shuo， WU Qing?hui. A MATLAB?based study on approximation performances of improved algorithms of typical BP neural networks [J]. Applied Mechanics and Materials， 2013 （313/314）： 1353?1356.

[8] DING Shuo， CHANG Xiao?heng， WU Qing?hui. Approximation performance of BP neural networks improved by heuristic approach [J]. Applied Mechanics and Materials， 2013 （411/414）： 1952?1955.

[9] 錢家忠，呂純，趙衛(wèi)東，等.Elman與BP神經(jīng)網(wǎng)絡(luò)在礦井水源判別中的應(yīng)用[J].系統(tǒng)工程理論與實(shí)踐，2010，30（1）：145?150.

[10] 何定，徐鵬.Elman與BP神經(jīng)網(wǎng)絡(luò)應(yīng)用于交通流預(yù)測(cè)的對(duì)比研究[J].工業(yè)工程，2010，13（6）：97?100.

圖1 樣本向量與測(cè)試向量分布

針對(duì)標(biāo)準(zhǔn)BPNN，同樣輸入層有24個(gè)神經(jīng)元，輸出層有4個(gè)神經(jīng)元，訓(xùn)練函數(shù)為Traingd。采用動(dòng)態(tài)法來(lái)確定隱含層神經(jīng)元數(shù)，即一開始選用較少的隱層神經(jīng)元，如果學(xué)習(xí)一定次數(shù)后效果不好，再增加隱層神經(jīng)元，一直達(dá)到比較合理的隱層神經(jīng)元數(shù)為止，經(jīng)過(guò)反復(fù)多次試驗(yàn)隱含層神經(jīng)元數(shù)最終確定為20，可以達(dá)到分類要求。

學(xué)習(xí)率太大，會(huì)造成網(wǎng)絡(luò)不穩(wěn)定；學(xué)習(xí)率太小，網(wǎng)絡(luò)的訓(xùn)練時(shí)間就會(huì)延長(zhǎng)，收斂速度緩慢，最終陷入局部最小值。為了兼顧系統(tǒng)穩(wěn)定性和具有較快的收斂速度，本文在建立Elman神經(jīng)網(wǎng)絡(luò)和標(biāo)準(zhǔn)BPNN時(shí)，學(xué)習(xí)率選取為0.1；為了提高網(wǎng)絡(luò)的訓(xùn)練速度和訓(xùn)練的成功率，本文在進(jìn)行仿真實(shí)驗(yàn)時(shí)，利用minmax函數(shù)將訓(xùn)練樣本集中各元素歸一化到（0，1）范圍內(nèi)；訓(xùn)練次數(shù)為20 000次，目標(biāo)精度為0.001。

3.2Elman與標(biāo)準(zhǔn)BPNN分類模型對(duì)訓(xùn)練樣本的分類結(jié)果

在目標(biāo)精度設(shè)置為0.001、訓(xùn)練樣本數(shù)目相等的條件下，Elman網(wǎng)絡(luò)分類模型與標(biāo)準(zhǔn)BPNN分類模型對(duì)訓(xùn)練樣本的分類結(jié)果對(duì)比如表1所示。

表1 Elman與標(biāo)準(zhǔn)BPNN對(duì)訓(xùn)練樣本的分類結(jié)果對(duì)比

Elman與標(biāo)準(zhǔn)BPNN對(duì)訓(xùn)練樣本分類的誤差變化曲線如圖2和圖3所示。

可以看出，標(biāo)準(zhǔn)BPNN分類模型需要17 885步才能達(dá)到目標(biāo)精度，收斂時(shí)間需要32.02 s，均方誤差為0.000 999 95；Elman網(wǎng)絡(luò)分類模型只需要18步就可以達(dá)到目標(biāo)精度，收斂時(shí)間僅僅需要0.87 s，均方誤差僅為0.000 137 31，遠(yuǎn)遠(yuǎn)高于目標(biāo)精度要求?？偟膩?lái)說(shuō)，對(duì)于訓(xùn)練樣本集而言，只要訓(xùn)練步數(shù)設(shè)置足夠大，Elman網(wǎng)絡(luò)分類模型與標(biāo)準(zhǔn)BPNN分類模型都能在規(guī)定的訓(xùn)練步數(shù)范圍內(nèi)完成對(duì)訓(xùn)練樣本的模式分類任務(wù)，但相比之下，Elman網(wǎng)絡(luò)分類模型的收斂時(shí)間明顯比標(biāo)準(zhǔn)BPNN分類模型少，均方誤差也遠(yuǎn)小于標(biāo)準(zhǔn)BPNN分類模型。由此可以得出結(jié)論，Elman網(wǎng)絡(luò)分類模型對(duì)于訓(xùn)練樣本分類的準(zhǔn)確性和分類精度更高，收斂速度更快。

3.3Elman與標(biāo)準(zhǔn)BPNN分類模型的泛化能力測(cè)試

為了測(cè)試Elman網(wǎng)絡(luò)分類模型與標(biāo)準(zhǔn)BPNN分類模型的泛化能力，本文分別利用兩種分類模型（經(jīng)過(guò)訓(xùn)練后的網(wǎng)絡(luò)）對(duì)測(cè)試向量進(jìn)行分類。

設(shè)置4個(gè)分屬于不同類別的測(cè)試向量，如圖1所示，（5.20，6.00） 屬于第1類，（5.14，5.69） 屬于第2類，（5.35，5.81） 屬于第3類，（5.57，5.95） 屬于第4類，利用仿真函數(shù)sim得到網(wǎng)絡(luò)的輸出。從表2可以看出，標(biāo)準(zhǔn)BPNN分類模型的最大絕對(duì)誤差為0.134 3，Elman網(wǎng)絡(luò)分類模型的最大絕對(duì)誤差僅為-0.027 6。

總的來(lái)說(shuō)，相對(duì)于測(cè)試樣本集而言，Elman網(wǎng)絡(luò)分類模型的分類結(jié)果更為精確，收斂速度更快，分類性能更優(yōu)；標(biāo)準(zhǔn)BPNN分類模型的分類結(jié)果誤差較大，收斂速度緩慢，分類性能較差。

圖2 Elman神經(jīng)網(wǎng)絡(luò)訓(xùn)練誤差變化曲線

圖3 標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練誤差變化曲線

4結(jié)語(yǔ)

文中分別構(gòu)建了基于Elman神經(jīng)網(wǎng)絡(luò)的分類模型和基于標(biāo)準(zhǔn)BPNN的分類模型，并對(duì)輸入的二維向量模式進(jìn)行分類實(shí)驗(yàn)。仿真結(jié)果表明：只要訓(xùn)練步數(shù)設(shè)置足夠大，Elman網(wǎng)絡(luò)分類模型與標(biāo)準(zhǔn)BPNN分類模型都能在規(guī)定預(yù)設(shè)精度范圍內(nèi)完成分類任務(wù)。但相比之下，Elman網(wǎng)絡(luò)分類模型的收斂速度更快，訓(xùn)練準(zhǔn)確性和分類精度更高，分類性能更優(yōu)。所以在工程技術(shù)領(lǐng)域內(nèi)進(jìn)行設(shè)備的故障分類、故障診斷和區(qū)域劃分等應(yīng)用時(shí)建議優(yōu)先采用Elman神經(jīng)網(wǎng)絡(luò)進(jìn)行分類，如果采用標(biāo)準(zhǔn)BPNN進(jìn)行分類，則需要對(duì)標(biāo)準(zhǔn)BP算法進(jìn)行合理改進(jìn)，否則很難滿足實(shí)際分類要求。

參考文獻(xiàn)

[1] 周黃斌，周永華，朱麗娟.基于Matlab的改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)與比較[J].計(jì)算技術(shù)與自動(dòng)化，2008（1）：28?31.

[2] DING Shuo， CHANG Xiao?heng， WU Qing?hui. Application of probabilistic neural network in pattern classification [J]. AppliedMechanics and Materials， 2014 （441）： 738?741.

[3] 丁碩，巫慶輝.基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近性能對(duì)比研究[J].計(jì)算機(jī)與現(xiàn)代化，2012（11）：10?13.

[4] 韓旭明.Elman神經(jīng)網(wǎng)絡(luò)的應(yīng)用研究[D].天津：天津大學(xué)，2006.

[5] 范燕，申?yáng)|日，陳義俊，等.基于改進(jìn)Elman 神經(jīng)網(wǎng)絡(luò)的非線性預(yù)測(cè)控制[J].河南科技大學(xué)學(xué)報(bào)：自然科學(xué)版，2007，28（1）：41?45.

[6] 劉天舒.BP神經(jīng)網(wǎng)絡(luò)的改進(jìn)研究及應(yīng)用[D].哈爾濱：東北林業(yè)大學(xué)，2011.

[7] DING Shuo， WU Qing?hui. A MATLAB?based study on approximation performances of improved algorithms of typical BP neural networks [J]. Applied Mechanics and Materials， 2013 （313/314）： 1353?1356.

[8] DING Shuo， CHANG Xiao?heng， WU Qing?hui. Approximation performance of BP neural networks improved by heuristic approach [J]. Applied Mechanics and Materials， 2013 （411/414）： 1952?1955.

[9] 錢家忠，呂純，趙衛(wèi)東，等.Elman與BP神經(jīng)網(wǎng)絡(luò)在礦井水源判別中的應(yīng)用[J].系統(tǒng)工程理論與實(shí)踐，2010，30（1）：145?150.

[10] 何定，徐鵬.Elman與BP神經(jīng)網(wǎng)絡(luò)應(yīng)用于交通流預(yù)測(cè)的對(duì)比研究[J].工業(yè)工程，2010，13（6）：97?100.