淺析ＢＰ神經(jīng)網(wǎng)絡算法的改進和優(yōu)化

儲琳琳　郭純生

摘要：本文簡要介紹了BP神經(jīng)網(wǎng)絡的缺點，著重強調(diào)了BP神經(jīng)網(wǎng)絡的算法改進，并且，利用Matlab仿真了各種改進算法的學習速度，從結(jié)果看改進后的BP神經(jīng)網(wǎng)絡能較好地解決針BP算法學習速度慢的缺點。

關鍵詞：神經(jīng)網(wǎng)絡;BP算法;學習速度

中圖分類號：TN430文獻標識碼：B

1BP算法的缺點

雖然神經(jīng)網(wǎng)絡模型已成功應用于模式識別、函數(shù)逼近、時間序列預測等領域。并且BP網(wǎng)絡也是目前應用最為

廣泛的一種神經(jīng)網(wǎng)絡模型，它具有思路清晰，結(jié)構(gòu)嚴謹，可操作性強等優(yōu)點。但是由于BP學習算法僅改變網(wǎng)絡的連接值和閥值，不改變網(wǎng)絡的拓撲結(jié)構(gòu)，因此BP網(wǎng)絡在處理具體問題時還存在如下問題[1]：

1.1網(wǎng)絡的麻痹現(xiàn)象。在網(wǎng)絡訓練過程中，加權(quán)調(diào)得較大可能迫使所有的或大部分節(jié)點的加權(quán)和輸出較大，從而操作在S壓縮函數(shù)的飽和區(qū)，此時函數(shù)在其導數(shù)非常小的區(qū)域，即函數(shù)的導數(shù)值很小或趨近0，由于在計算加權(quán)修正量的公式中，這使得調(diào)節(jié)幾乎停頓下來，通常為了避免這種現(xiàn)象，將訓練速率減小，但又增加了訓練時間。

1.2網(wǎng)絡學習收斂速度比較慢。由于BP算法的學習復雜性是樣本規(guī)模的指數(shù)函數(shù)，如果網(wǎng)絡規(guī)模較大或?qū)W習樣本較多時，往往需要很長的學習時間，甚至學習無法完成，這個主要由于學習速率太小所造成的；可采用變化的學習速率或者自適應的學習速率加以改進。

1.3易陷入局部極小值。BP算法可以使網(wǎng)絡權(quán)值收斂到一個解，但它并不能保證所求解為誤差超平面的最小解，很可能是局部極小解；這是因為BP算法采用的是梯度下降法，訓練是從某一起點沿誤差函數(shù)的斜面逐漸達到誤差的極小值，對于復雜的網(wǎng)絡，其誤差函數(shù)為多維空間的曲面，就像一個碗，其碗底是最小值點，但是這個碗的表面凹凸不平的，因而在對其進行訓練的過程中，可能陷入某一小谷區(qū)，而這一小谷區(qū)產(chǎn)生一個局部最小值，由此點向各個方向變化均使誤差增加，以至于使訓練無法逃出這一局部最小值。

為了解決BP網(wǎng)絡訓練的以上缺點，人們提出了多種有益的改進。改進方法主要有兩類：第一類是基于啟發(fā)式學習方法的改進算法：如附加動量的BP算法、自適應學習率BP算法、彈性BP算法等；第二類是基于數(shù)值優(yōu)化的改進算法：如共扼梯度法、擬牛頓法和Levenberg-Marquardt(LM)法等。這些方法在不同程度上提高了學習速度，加

快了網(wǎng)絡的收斂，避免陷入局部極小值[2][3]。

2各種改進算法的學習速度的比較

在Matlab6.5中，通過調(diào)用newff實現(xiàn)網(wǎng)絡的創(chuàng)建，然后調(diào)用函數(shù)train對所創(chuàng)建網(wǎng)絡newff進行訓練。設定系統(tǒng)總誤差為0.01，步長為0.02，網(wǎng)絡訓練2000次，或直到滿足性能要求時停止訓練，否則增加訓練次數(shù)。表1給出幾種算法收斂速度的比較：表中的數(shù)據(jù)均為6次平均值。

從表1和表2可以看出：

2.1基于啟發(fā)式學習方法的改進算法的收斂速度依次加快，其中彈性BP算法的收斂速度要比前兩種方法快得多。

2.2基于標準數(shù)值優(yōu)化方法的各種改進算法均比基于啟發(fā)式學習方法的改進算法在收斂速度上有很大的提高，其中Levenberg-Marquardt法的收斂速度最快。

下面是在相同條件下，標準BP算法，彈性BP算法和Levenberg-Marquardt法對本電路進行網(wǎng)絡訓練的學習誤差變化曲線。

3結(jié)論

由實驗結(jié)果可知：

在基于啟發(fā)式學習方法的改進算法中，彈性BP算法的收斂速度快，算法并不復雜，也不需要消耗更多的內(nèi)存空間，在實際應用中，是一種行之有效的算法。

在基于數(shù)值優(yōu)化方法的各種改進算法中，Levenberg-Marquardt法和擬牛頓法因為要近似計算海森矩陣，需要較大的存儲量，通常收斂速度快。其中，Levenberg-Marquardt法結(jié)合了梯度下降法和牛頓法的優(yōu)點，性能更優(yōu)，收斂速度最快，對于中等規(guī)模的BP神經(jīng)網(wǎng)絡具有最快的收斂速度，而且它很好地利用了MATLAB中對于矩陣的運算的優(yōu)勢，因此它的特點很適合在MATLAB中得到體現(xiàn)；但是要存儲海森矩陣的值，所以該算法的最大缺點就是占用的內(nèi)存量太大。共軛梯度法所需存儲量較小，但收斂速度較前兩種方法慢。所以，考慮到網(wǎng)絡參數(shù)的數(shù)目（即網(wǎng)絡中所有的權(quán)值和偏差的總數(shù)目），在選擇算法對網(wǎng)絡進行訓練時，可遵循以下原則[4]：

3.1在對訓練速度要求不太高，內(nèi)存存儲量有限時，可使用彈性BP算法。

3.2在對訓練速對要求較高的情況下，網(wǎng)絡參數(shù)較少時，可以使用牛頓法或Levenberg-Marquardt法；在網(wǎng)絡參數(shù)較多時，需要考慮存儲量問題時，可以選擇共軛梯度法。

參考文獻：

[1]史忠科.神經(jīng)網(wǎng)絡控制理論[M].西北工業(yè)大學出版社，1997(11).

[2]虞和濟,陳長征等.基于神經(jīng)網(wǎng)絡的智能診斷[M].北京:冶金工業(yè)出版社，2000.

[3]朱大奇.電子設備故障診斷原理與實踐[M].北京:電子工業(yè)出版社，2004.

[4]王永驥,涂健.神經(jīng)元網(wǎng)絡控制[M]北京:機械工業(yè)出版社,1998.