基于改進(jìn)Elman神經(jīng)網(wǎng)絡(luò)的電子元件性能預(yù)測

呂衛(wèi)民，肖陽，徐珂文，江式偉

(海軍航空工程學(xué)院a.七系; b.研究生管理大隊(duì)，山東 煙臺 264001)

基于改進(jìn)Elman神經(jīng)網(wǎng)絡(luò)的電子元件性能預(yù)測

呂衛(wèi)民a，肖陽b，徐珂文a，江式偉a

(海軍航空工程學(xué)院a.七系; b.研究生管理大隊(duì)，山東 煙臺 264001)

為提高傳統(tǒng)Elman神經(jīng)網(wǎng)絡(luò)的動態(tài)性能，通過增加輸出層與承接層之間的反饋環(huán)節(jié)，提出了一種新的改進(jìn)的Elman神經(jīng)網(wǎng)絡(luò)模型，利用梯度下降原理對其學(xué)習(xí)算法進(jìn)行了推導(dǎo)。同時(shí)引入附加動量和變學(xué)習(xí)率算法，建立了基于改進(jìn)Elman神經(jīng)網(wǎng)絡(luò)的預(yù)測方法，并將其應(yīng)用于電子元件性能參數(shù)的預(yù)測中。仿真實(shí)驗(yàn)證明，相比于BP和傳統(tǒng)Elman神經(jīng)網(wǎng)絡(luò)，改進(jìn)后的Elman神經(jīng)網(wǎng)絡(luò)訓(xùn)練速率快，預(yù)測精度高，具有良好的動態(tài)性能。由此可見，改進(jìn)的Elman神經(jīng)網(wǎng)絡(luò)模型在對具有非線性時(shí)序特征參數(shù)的預(yù)測中，具有良好的應(yīng)用前景。

Elman神經(jīng)網(wǎng)絡(luò)；梯度下降；動態(tài)性能；反饋環(huán)節(jié)；學(xué)習(xí)算法；預(yù)測

0 引言

電子元件在長期的貯存過程中，由于受到溫度、濕度以及化學(xué)等外界應(yīng)力的影響，其內(nèi)部材料會發(fā)生腐蝕、老化等物理或化學(xué)變化，其性能參數(shù)的變化是一個(gè)復(fù)雜的非線性過程[1]，用一般的預(yù)測方法難以對其達(dá)到精確預(yù)測的目的。人工神經(jīng)網(wǎng)絡(luò)模擬人的大腦活動，具有極強(qiáng)的非線性逼近、大規(guī)模并行處理、自訓(xùn)練學(xué)習(xí)、自組織和容錯(cuò)能力等優(yōu)點(diǎn)[2-3]，為解決復(fù)雜的非線性問題提供了有力工具，已應(yīng)用于電子元件性能方面預(yù)測。比如，楊少華[4]和孫鳳艷[5]分別利用BP(back propagation)神經(jīng)網(wǎng)絡(luò)，對電容器的性能參數(shù)進(jìn)行了預(yù)測，平均相對誤差較小，預(yù)測效果顯著；王紳宇[6]在提取動車電力電子電路主要元器件特征參數(shù)的基礎(chǔ)上，基于RBF(radial basis function)神經(jīng)網(wǎng)絡(luò)，對電力電子電路的工作狀態(tài)進(jìn)行了預(yù)測，具有較好的非線性狀態(tài)跟蹤效果；鄒心遙等人[7]基于BP神經(jīng)網(wǎng)絡(luò)，對恒電流應(yīng)力作用下MOS(metal-oxide semiconductor)電容的介質(zhì)擊穿(time-dependent dielectric breakdown, TDDB)加速壽命試驗(yàn)故障數(shù)據(jù)進(jìn)行了預(yù)測，較好地預(yù)測出MOS電容在電流作用下的失效時(shí)間；為提高印刷電路板(printed circuit board, PCB)鉆孔工藝，在研究孔偏成因的基礎(chǔ)上，孫遠(yuǎn)明[8]提出了基于通過建立RBF神經(jīng)網(wǎng)絡(luò)模型，對鉆孔偏移量進(jìn)行了預(yù)測，提高了PCB的工藝參數(shù)。

綜上所述，基于神經(jīng)網(wǎng)絡(luò)的電子元件性能預(yù)測大多采用BP,RBF等前饋式神經(jīng)網(wǎng)絡(luò)[9-11]。前饋式神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)收斂速度慢、訓(xùn)練困難且對外部噪聲敏感，不能保證收斂到全局最小點(diǎn)，網(wǎng)絡(luò)的學(xué)習(xí)和記憶具有不穩(wěn)定性[12]。相比之下，作為典型的反饋神經(jīng)網(wǎng)絡(luò)，Elman網(wǎng)絡(luò)有預(yù)測可靠準(zhǔn)確、收斂迅速、學(xué)習(xí)記憶穩(wěn)定和動態(tài)特性好等優(yōu)點(diǎn)[13-14]。因此，針對具有非線性時(shí)間序列特征的元器件性能參數(shù)，本文提出一種基于改進(jìn)Elman神經(jīng)網(wǎng)絡(luò)的電子元件貯存性能預(yù)測模型，通過增加輸出層與承接層之間的反饋環(huán)節(jié)，提高了網(wǎng)絡(luò)的逼近精度和動態(tài)映射能力。仿真實(shí)驗(yàn)證明，改進(jìn)的Elman神經(jīng)網(wǎng)絡(luò)具有更好的動態(tài)性能，預(yù)測精度高，收斂速度快，克服了BP神經(jīng)網(wǎng)絡(luò)計(jì)算復(fù)雜度高和訓(xùn)練時(shí)間長等缺點(diǎn)，同時(shí)也避免了傳統(tǒng)Elman神經(jīng)網(wǎng)絡(luò)容易陷入局部最優(yōu)和收斂速度慢等問題。

1 Elman神經(jīng)網(wǎng)絡(luò)

1.1 Elman神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

Elman神經(jīng)網(wǎng)絡(luò)是一種動態(tài)的反饋網(wǎng)絡(luò)，它由輸入層、隱含層(中間層)、承接層和輸出層組成。其中輸入層、輸出層和隱含層的連接類似于前饋式網(wǎng)絡(luò)[15]，輸入層負(fù)責(zé)外部信號的傳入，輸出層起線性加權(quán)作用[12]。隱含層單元的傳遞函數(shù)可選用線性或非線性函數(shù)，承接層用來存儲隱含層單元以前時(shí)刻的輸出值，可認(rèn)為是一個(gè)延時(shí)算子，它使得系統(tǒng)具有適應(yīng)時(shí)變特性和動態(tài)記憶的能力，其結(jié)構(gòu)如圖1所示。

圖1 Elman神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.1 Illustration of Elman neural network structure

Elman神經(jīng)網(wǎng)絡(luò)的特點(diǎn)是隱含層的輸出通過承接層的延遲與存儲[15]，自聯(lián)到隱含層的輸入，這種自聯(lián)方式使得它對歷史數(shù)據(jù)具有敏感性，內(nèi)部反饋網(wǎng)絡(luò)的加入大大增強(qiáng)了網(wǎng)絡(luò)本身處理動態(tài)信息的能力，從而達(dá)到動態(tài)建模的目的[16]。此外，對于任意非線性映射，Elman網(wǎng)絡(luò)能夠以任意精度進(jìn)行逼近，且無需考慮外部干擾對系統(tǒng)造成的影響，只要給出系統(tǒng)的輸入-輸出數(shù)據(jù)對，就可以對系統(tǒng)進(jìn)行建模分析。

1.2 Elman神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程

設(shè)Elman網(wǎng)絡(luò)輸入層、隱含層和輸出層節(jié)點(diǎn)數(shù)分別為M，L，N，承接層節(jié)點(diǎn)數(shù)與隱含層節(jié)點(diǎn)數(shù)相等，則Elman神經(jīng)網(wǎng)絡(luò)的非線性狀態(tài)空間表達(dá)式為

j=1,2,…,L，

(1)

(2)

i=1,2,…,M;z=1,2,…,L，

(3)

(4)

(5)

2 改進(jìn)Elman神經(jīng)網(wǎng)絡(luò)

2.1 改進(jìn)Elman神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

由Elman神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可以看出，承接層節(jié)點(diǎn)實(shí)際上起到了存儲隱含層節(jié)點(diǎn)歷史信息的作用[17-18]。輸入信息首先由隱含層傳輸?shù)匠薪訉樱缓笤儆沙薪訉臃答伒诫[含層，二者的連接實(shí)際上形成了一種實(shí)時(shí)反饋機(jī)制，使得Elman神經(jīng)網(wǎng)絡(luò)既可以存儲當(dāng)前時(shí)刻的信息，又可以存儲過去某個(gè)時(shí)刻的信息，從而增強(qiáng)了網(wǎng)絡(luò)處理動態(tài)信息的能力。所以，為進(jìn)一步提高Elman神經(jīng)網(wǎng)絡(luò)的收斂速度和動態(tài)特性，就要充分利用承接層節(jié)點(diǎn)的輸出[19]。受到王常虹等人提出的改進(jìn)的Elman神經(jīng)網(wǎng)絡(luò)模型[19]的啟發(fā)，并對時(shí)小虎等人提出的OIF Elman人工神經(jīng)網(wǎng)絡(luò)[20-21]進(jìn)行簡化，提出了一種新的改進(jìn)的Elman神經(jīng)網(wǎng)絡(luò)模型，具體結(jié)構(gòu)如圖2所示。

相比于傳統(tǒng)Elman神經(jīng)網(wǎng)絡(luò)，改進(jìn)后的Elman網(wǎng)絡(luò)增加了輸出反饋環(huán)節(jié)，從而將輸出層的信息反饋給承接層，使得承接層不僅可以記憶隱含層當(dāng)前k時(shí)刻以及過去k-1,k-2,…,k-n時(shí)刻的信息，還可以記憶輸出層當(dāng)前k時(shí)刻與過去某些時(shí)刻的信息。由此觀之，改進(jìn)后的Elman神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上將輸出層的輸出反饋和隱含層的狀態(tài)反饋有機(jī)地結(jié)合起來，進(jìn)一步提高了網(wǎng)絡(luò)的動態(tài)映射能力。

圖2 改進(jìn)Elman神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.2 Illustration of modified Elman neural network structure

2.2 改進(jìn)Elman神經(jīng)網(wǎng)絡(luò)模型及算法

q=1,2,…,N.

(6)

所以改進(jìn)Elman神經(jīng)網(wǎng)絡(luò)模型為

(7)

設(shè)Yq(k)為k時(shí)刻網(wǎng)絡(luò)的期望輸出，則在[0,T]時(shí)間段內(nèi)，網(wǎng)絡(luò)的目標(biāo)函數(shù)即逼近誤差函數(shù)為

(8)

對于Elman神經(jīng)網(wǎng)絡(luò)連接權(quán)值修正量的Δw的計(jì)算，采用梯度下降原理[22]，如式(9)所示

(9)

式中：η為學(xué)習(xí)率。

綜上所述，可以得到改進(jìn)Elman神經(jīng)網(wǎng)絡(luò)算法如下：

(10)

(11)

當(dāng)t=k時(shí)，有

(12)

(13)

所以

(14)

同理，可以得到

(15)

(16)

3 基于改進(jìn)Elman神經(jīng)網(wǎng)絡(luò)的預(yù)測方法

基于改進(jìn)Elman神經(jīng)網(wǎng)絡(luò)的時(shí)間序列預(yù)測步驟如下：

(1) 樣本的選取

S= {(x1,x2,…,xs),(x2,x3,…,xs+1),

…,(xn,xn+1,…,xn+s-1)}，

則對應(yīng)的n個(gè)目標(biāo)向量集合為

式中：s為時(shí)間序列數(shù)據(jù)的周期。

從而可以得到n組樣本數(shù)據(jù)(Si,Ti),i=1,2,…,n。取(Si,Ti),i=1,2,…,m作為訓(xùn)練樣本，(Si,Ti),i=m,m+1,…,n作為測試樣本。

(2) 網(wǎng)絡(luò)結(jié)構(gòu)初始化

網(wǎng)絡(luò)結(jié)構(gòu)初始化主要包括確定網(wǎng)絡(luò)的輸入層、輸出層和隱含層的節(jié)點(diǎn)數(shù)以及隱含層數(shù)。特別地，由于隱含層的節(jié)點(diǎn)數(shù)對Elman網(wǎng)絡(luò)的性能影響較大，因此在進(jìn)行參數(shù)預(yù)測前，首先通過對比不同隱含層節(jié)點(diǎn)所對應(yīng)的Elman網(wǎng)絡(luò)的訓(xùn)練性能，選擇收斂速度快、逼近精度高的網(wǎng)絡(luò)所對應(yīng)的隱含層節(jié)點(diǎn)數(shù)作為預(yù)測網(wǎng)絡(luò)的隱含層節(jié)點(diǎn)數(shù)。

(3) 網(wǎng)絡(luò)參數(shù)初始化

在網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練之前，要對各層間的連接權(quán)值進(jìn)行初始化。根據(jù)多位學(xué)者和經(jīng)驗(yàn)專家的試驗(yàn)探索[15]，當(dāng)w初始值取(-0.3,+0.3)內(nèi)的隨機(jī)數(shù)時(shí)，網(wǎng)絡(luò)能夠正常進(jìn)行訓(xùn)練并處于良好狀態(tài)。

此外，在訓(xùn)練過程中，為保證網(wǎng)絡(luò)趨于穩(wěn)定，引入變學(xué)習(xí)速率算法，如式(17)所示。

(17)

式中：SSE為網(wǎng)絡(luò)輸出誤差和；初始學(xué)習(xí)率η(0)一般取為0.1。

同時(shí)，為了防止連接權(quán)值w的修正陷入能量最小的困境，引入附加動量法，即令

w(k)=w(k-1)+Δw(k)+

(18)

式中：a為動量學(xué)習(xí)率；Δw(k)利用式(10)～(16)求得。

在網(wǎng)絡(luò)的訓(xùn)練過程中，動量學(xué)習(xí)率a也在變化，如式(19)所示：

(19)

(4) 樣本歸一化

由于激活函數(shù)的飽和特性，需要對輸入、輸出樣本進(jìn)行歸一化處理。利用式(20)將輸入樣本轉(zhuǎn)化為[0,1]區(qū)間的值。

(20)

式中:xmax,xmin分別代表樣本的最大值和最小值，工程應(yīng)用中一般取1.1xmax和0.9xmin。

(5) 網(wǎng)絡(luò)的訓(xùn)練

利用改進(jìn)Elman神經(jīng)網(wǎng)絡(luò)，計(jì)算各層神經(jīng)元輸出及訓(xùn)練誤差，直到網(wǎng)絡(luò)收斂于一定的學(xué)習(xí)目標(biāo)；否則，根據(jù)訓(xùn)練誤差，重新調(diào)整連接權(quán)值，直至達(dá)到訓(xùn)練目標(biāo)。

(6) 預(yù)測性能分析

為了更好地度量神經(jīng)網(wǎng)絡(luò)的預(yù)測效果，需要從不同的角度度量網(wǎng)絡(luò)的預(yù)測性能。經(jīng)綜合考慮，采用相對誤差(relative error, RE)和收斂到訓(xùn)練目標(biāo)時(shí)的迭代次數(shù)(number of iterations, NIT)作為評判算法優(yōu)劣的標(biāo)準(zhǔn)，其中RE的計(jì)算公式為

(21)

式中：Yq為期望值；yq為預(yù)測值。

4 實(shí)例仿真

TR402ST09型整流二極管采用塑料封裝，安裝于某型裝備檢控器電路板上。其工作原理是利用PN(positive and negative)結(jié)的單向?qū)щ娞匦?，把交流電變成脈動直流電。

長期貯存過程中，所承受的主要環(huán)境應(yīng)力為溫度和濕度，二者雖然量級不高，但作用時(shí)間長。在長期溫、濕度作用下，塑性封裝材料發(fā)生老化，密封性降低，導(dǎo)致封腔內(nèi)水汽含量增加，PN結(jié)發(fā)生金屬腐蝕，P區(qū)、N區(qū)摻雜不均勻，引起電阻率不均勻，電阻率低的部分，正向壓降較小，易被擊穿。

選取正向壓降作為二極管性能參數(shù)，其具有非線性時(shí)間序列特性，故可用本文提出的方法對其正向壓降值進(jìn)行預(yù)測。在TR402ST09型整流二極管貯存過程中，每季度都隨機(jī)抽取100個(gè)樣品，對其正向壓降值進(jìn)行檢測。收集該二極管近5年內(nèi)正向壓降檢測值并進(jìn)行歸一化處理，如表1所示。

表1 二極管正向壓降檢測值歸一化結(jié)果

以連續(xù)7個(gè)季度的檢測值作為輸入向量，第8季度的檢測值作為目標(biāo)向量。這樣可以得到13組數(shù)據(jù)，如表2所示。取前9組數(shù)據(jù)作為訓(xùn)練樣本，后4組數(shù)據(jù)作為測試樣本，通過預(yù)測值與期望值對比進(jìn)行誤差分析。

表2 網(wǎng)絡(luò)訓(xùn)練樣本和測試樣本

由于單隱含層Elman網(wǎng)絡(luò)能夠以任意精度逼近一個(gè)連續(xù)函數(shù)[23]，故采用三層網(wǎng)絡(luò)結(jié)構(gòu)：輸入層節(jié)點(diǎn)數(shù)M=7，輸出層節(jié)點(diǎn)數(shù)N=1，則理論上隱含層的節(jié)點(diǎn)數(shù)L=15。由于隱含層節(jié)點(diǎn)數(shù)很大程度上影響著網(wǎng)絡(luò)的預(yù)測性能，故依次取隱含層的節(jié)點(diǎn)數(shù)L為7，11，15，18，然后根據(jù)網(wǎng)絡(luò)性能確定隱含層節(jié)點(diǎn)數(shù)的最優(yōu)值。

設(shè)網(wǎng)絡(luò)訓(xùn)練次數(shù)T=2 000，訓(xùn)練目標(biāo)為0.001，w初始值取(-0.3,+0.3)內(nèi)的隨機(jī)數(shù)，η(0)=0.1，a=0.9，f(*)Sigmoid函數(shù)，利用Matlab進(jìn)行仿真，得到不同隱含層節(jié)點(diǎn)數(shù)所對應(yīng)的Elman網(wǎng)絡(luò)的訓(xùn)練誤差曲線及預(yù)測誤差曲線，如圖3～4所示。

圖3 不同隱含層節(jié)點(diǎn)數(shù)所對應(yīng)的訓(xùn)練誤差曲線Fig.3 Training error curve of different hidden layer nodes

圖4 預(yù)測誤差曲線Fig.4 Curve of prediction error

通過對比發(fā)現(xiàn)，當(dāng)隱含層節(jié)點(diǎn)數(shù)L=11時(shí)，網(wǎng)絡(luò)的收斂速度最快，只需進(jìn)行653次迭代就使得均方誤差達(dá)到0.001，并且預(yù)測誤差最小，故神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)取為7-11-1，即輸入層節(jié)點(diǎn)數(shù)為7，隱含層節(jié)點(diǎn)數(shù)為11，輸出層節(jié)點(diǎn)數(shù)為1。為驗(yàn)證改進(jìn)Elman神經(jīng)網(wǎng)絡(luò)的預(yù)測性能，以2014年檢測數(shù)據(jù)作為期望輸出，分別采用改進(jìn)Elman神經(jīng)網(wǎng)絡(luò)、傳統(tǒng)Elman神經(jīng)網(wǎng)絡(luò)以及BP神經(jīng)網(wǎng)絡(luò)，對2014年TR402ST09型整流二極管各季度的正向壓降值進(jìn)行預(yù)測。利用Matlab軟件仿真，得到3種模型的訓(xùn)練誤差及預(yù)測結(jié)果曲線，如圖5～6所示。

3種模型的預(yù)測結(jié)果如表3所示，其中，訓(xùn)練速率用NIT表示，預(yù)測精度用RE表示。

圖5 不同模型訓(xùn)練誤差對比Fig.5 Training error comparison of different models

圖6 不同模型預(yù)測結(jié)果曲線Fig.6 Prediction curve of different models

觀察圖5～6及表3可知，在預(yù)測精度方面，改進(jìn)Elman神經(jīng)網(wǎng)絡(luò)的輸出值與實(shí)際值的擬合度較高，網(wǎng)絡(luò)的預(yù)測平均相對誤差為1.32%，而傳統(tǒng)Elman神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)的預(yù)測平均相對誤差分別為3.26%和4.37%；在訓(xùn)練速率方面，改進(jìn)Elman神經(jīng)網(wǎng)絡(luò)迭代次數(shù)較少，只需進(jìn)行513次迭代就使得均方誤差達(dá)到0.001，而傳統(tǒng)Elman神經(jīng)網(wǎng)絡(luò)卻需要1 029次，BP神經(jīng)網(wǎng)絡(luò)需要1 443次。由此可見，改進(jìn)后的Elman神經(jīng)網(wǎng)絡(luò)收斂速度快、逼近精度高，具有更好的動態(tài)映射能力。

表3 2014不同模型預(yù)測結(jié)果對比

5 結(jié)束語

本文通過對傳統(tǒng)Elman神經(jīng)網(wǎng)絡(luò)進(jìn)行分析與研究，提出了一種新的改進(jìn)的Elman神經(jīng)網(wǎng)絡(luò)模型，并將其應(yīng)用于電子元件貯存性能參數(shù)的預(yù)測中。仿真實(shí)驗(yàn)證明，相比于BP和傳統(tǒng)Elman神經(jīng)網(wǎng)絡(luò)而言，改進(jìn)后的Elman神經(jīng)網(wǎng)絡(luò)訓(xùn)練速率快，預(yù)測精度高，具有良好的動態(tài)性能。此外，由于引入了附加動量法和變學(xué)習(xí)率算法，使網(wǎng)絡(luò)趨于穩(wěn)定，同時(shí)克服了BP和傳統(tǒng)Elman神經(jīng)網(wǎng)絡(luò)易于陷入局部極小點(diǎn)的缺點(diǎn)。

下一步的工作主要針對改進(jìn)Elman神經(jīng)網(wǎng)絡(luò)的魯棒性和收斂性進(jìn)行分析與研究，進(jìn)一步提高網(wǎng)絡(luò)的穩(wěn)定性和自適應(yīng)性。

[ 1] 徐廷學(xué), 甄偉, 陳紅. 基于Bayes理論的導(dǎo)彈貯存可靠性試驗(yàn)研究[J]. 海軍航空工程學(xué)院學(xué)報(bào), 2006, 21(6): 672-674. XU Ting-xue, ZHEN Wei, CHEN Hong. Experimental Study on the Reliability of Missile Storage Based on the Bayes Theory[J]. Journal of Naval Aeronautical and Astronautical University, 2006, 21(6): 672-674.

[ 2] 胡守仁, 于少波, 戴葵. 神經(jīng)網(wǎng)絡(luò)導(dǎo)論[M]. 長沙: 國防科技大學(xué)出版社, 1993: 10-14. HU Shou-ren, YU Shao-bo, DAI Kui. Introduction of Neural Networks[M]. Changsha: National University of Defense Technology Press, 1993: 10-14.

[ 3] PAYA B A, ESAT I I. Artifical in Neural Network Based Fault Diagnostics of Rotating Machinery Using Wavelet Transforms as Preprocessor[J]. Mechanical Systems and Signal Processing, 1997, 11(5): 751-765.

[ 4] 楊少華. 電子元器件的貯存可靠性研究[D]. 廣東: 廣東工業(yè)大學(xué), 2006. YANG Shao-hua. Research on the Storage Reliability of Electronic Components[D]. Guangzhou: Guangdong Industrial University, 2006.

[ 5] 孫鳳艷. 電力電子電路故障預(yù)測關(guān)鍵技術(shù)研究[D]. 南京: 南京航空航天大學(xué), 2010. SUN Feng-yan. Research on Fault Prediction Method of Power Electronic Circuit[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2010.

[ 6] 王紳宇. 動車組電力電子電路微小故障預(yù)測方法研究[D]. 上海: 上海應(yīng)用技術(shù)學(xué)院, 2015. WANG Shen-yu. Research on Incipient Fault Prediction of CHR Power Electronic Circuits [D]. Shanghai: Shanghai Applied Technology Institute, 2015.

[ 7] 鄒心遙, 姚若河. 基于BP神經(jīng)網(wǎng)絡(luò)的電子元器件壽命預(yù)測[J]. 微電子學(xué)與計(jì)算機(jī), 2009, 26(1):52-54. ZOU Xin-yao, YAO Ruo-he. Lifetime Prediction of Electronic Devices Based on Forecast System of Back Propagation Neural Network[J]. Microelectronics and Computer, 2009, 26(1):52-54.

[ 8] 孫遠(yuǎn)明. 基于RBF的人工神經(jīng)網(wǎng)絡(luò)在PCB鉆孔工藝中的應(yīng)用[D].上海：上海交通大學(xué), 2011. SUN Yuan-ming. Application of RBF Neural Network in PCB Drilling Process[D]. Shanghai: Shanghai Jiaotong University, 2011.

[ 9] SU Jing, ZHONG Zhi-hua. A Study on Prediction of Vehicle Critical Follow Distance Based on Driver’s Behavior by Using BP Neural Network[C]∥2013 Fifth Conference on Measuring Technology and Mechatronics Automation, Hong Kong, 2013: 114-118.

[10] LI Song, WANG Jing, LIU Bo. Prediction of Market Demand Based on AdaBoost_BP Neural Network[C]∥2013 International Conference on Computer Sciences and Applications, Wuhan, 2013: 305-308.

[11] MALATHI P,SURESH G R. Recognition of Isolated Words of Esophageal Speech Using GMM and Gradient Descent RBF Networks[C]∥2014 International Conference on Communication and Network Technologies (ICCNT), Paris, 2014: 174-177.

[12] 陳小明, 洪軍, 閻海紅, 等. 基于Elman神經(jīng)網(wǎng)絡(luò)的振鏡掃描系統(tǒng)誤差校正技術(shù)研究[J]. 西安交通大學(xué)學(xué)報(bào), 2006, 40(5): 587-590. CHEN Xiao-ming, HONG Jun, YAN Hai-hong, et al. Study on Error Correction in Dual Galvanometer Scanning System Based on Elman Recurrent Neural Network[J]. Journal of Xi’an Jiaotong University, 2006, 40(5): 587-590.

[13] NARENDRA K S, PARTHASARATHY K. Identification and Control of Dynamical Systems Using Neural Networks[J]. IEEE Trans. on Neural Networks, 1990, 1(1): 4-27.

[14] 湯寶平, 習(xí)建民, 李鋒. 基于Elman神經(jīng)網(wǎng)絡(luò)的旋轉(zhuǎn)機(jī)械故障診斷[J]. 計(jì)算機(jī)集成制造系統(tǒng), 2010, 16(10): 2148-2152. TANG Bao-ping, XI Jian-min, LI Feng. Fault Diagnosis for Rotating Machinery Based on Elman Neural Network[J]. Computer Integrated Manufacturing Systems, 2010, 16(10): 2148-2152.

[15] 任麗娜. 基于Elman神經(jīng)網(wǎng)絡(luò)的中期電力負(fù)荷預(yù)測模型研究[D]. 蘭州: 蘭州理工大學(xué), 2007. REN Li-na. Research on Medium-Term Electrical Load Forecasting Model Based on Elman Neural Network[D]. Lanzhou: Lanzhou University of Science and Technology, 2007.

[16] 黨小超, 郝占軍. 基于改進(jìn)Elman神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測[J]. 計(jì)算機(jī)應(yīng)用, 2010, 30(10): 2648-2652. DANG Xiao-chao, HAO Zhan-jun. Prediction for Network Traffic Based on Modified Elman Neural Network[J]. Journal of Computer Applications, 2010, 30(10): 2648-2652.

[17] 劉華春. 基于Elman神經(jīng)網(wǎng)絡(luò)的股市決策模型[J]. 計(jì)算機(jī)應(yīng)用, 2009, 29(6): 152-254. LIU Hua-chun. Stock Market’s Decision-Making Model Based on Elman Neural Network[J]. Journal of Computer Applications, 2009, 29(6): 152-254.

[18] 徐留興, 梁川, 秦遠(yuǎn)清. 基于改進(jìn)Elman模型在紫坪鋪月徑流預(yù)測中的應(yīng)用[J]. 四川大學(xué)學(xué)報(bào), 2006, 38(3): 38-41. XU Liu-xing, LIANG Chuan, QIN Yuan-qing. The Monthly Runoff Prediction of Zipingpu by Improved Elman Model[J]. Journal of Sichuan University, 2006, 38(3): 38-41.

[19] 王常虹, 高曉智, 徐立新, 等. 一種改進(jìn)的Elman神經(jīng)網(wǎng)絡(luò)模型[J]. 電子科學(xué)學(xué)刊, 1997, 19(6): 739-744. WANG Chang-hong, GAO Xiao-zhi, XU Li-xin, et al. A New Modified Elman Neural Network Model[J]. Journal of Electronics, 1997, 19(6): 739-744.

[20] SHI Xiao-hu. Improved Elman Networks and Applications for Controlling Ultrasonic Motors[J]. Applied Artificial Intelligence, 2004, 18(7): 603-629.

[21] 時(shí)小虎, 梁艷春, 徐旭. 改進(jìn)的Elman模型與遞歸反控制神經(jīng)網(wǎng)絡(luò)[J]. 軟件學(xué)報(bào), 2003, 14(6): 1110-1119. SHI Xiao-hu, LIANG Yan-chun, XU Xu. Improved Elman Model and Recursive Neural Network Control[J]. Journal of Software, 2003, 14(6): 1110-1119.

[22] ZANELLA A, CHIANI M, WIN M Z. Statistical Analysis of Steepest Descend and LMS Detection Algorithms for MIMO Systems[J]. IEEE Trans. on Vehicular Technology, 2011, 60(9): 4667-4672.

[23] 侯福均, 吳祈宗. BP神經(jīng)網(wǎng)絡(luò)在鐵路客運(yùn)市場時(shí)間序列預(yù)測中的應(yīng)用[J]. 運(yùn)籌與管理, 2003, 12(4): 21-26. HOU Fu-jun, WU Qi-zong. Application of BP Neural Network in the Sequence Prediction of the Market of Railway Passenger Traffic[J]. Operations Research and Management Science, 2003, 12(4): 21-26.

Prediction for Electronic Component Performance Based on Modified Elman Neural Network

Lü Wei-mina，XIAO Yangb，XU Ke-wena, JIANG Shi-weia

(Naval Aeronautical Engineering Institute, a. The 7th Department; b. Graduate Student’s Brigade, Shandong Yantai 264001, China)

In order to improve the dynamic performance of traditional Elman neural network, a modified Elman neural network is proposed by adding the output feedback link between output layer and context layer, and its learning algorithm is deduced by using the theory of gradient descent. A prediction method based on modified Elman neural network is built with the additional momentum and variable learning speed algorithm, and it is applied in the prediction of electronic component performance parameters. The simulation experiments show that the modified model has good dynamic performance compared with back propagation (BP) and traditional Elman neural network, and it has faster training speed and higher precision. Thus, the modified Elman neural network model has a good application prospect in the prediction of nonlinear and time series parameters.

Elman neural network; gradient descent; dynamic performance; feedback link; learning algorithm; prediction

2016-02-26；

2016-04-25 作者簡介：呂衛(wèi)民(1970-)，男，山東萊州人。教授，博士，主要研究方向?yàn)橄到y(tǒng)工程。

10.3969/j.issn.1009-086x.2017.01.026

TP183

A

1009-086X(2017)-01-0153-08

通信地址：264001 山東省煙臺市芝罘區(qū)二馬路188號七系 E-mail：lwm_yt@sina.com