一種新的基于灰色關(guān)聯(lián)分析的BP神經(jīng)網(wǎng)絡(luò)剪枝算法

摘 要：利用灰色關(guān)聯(lián)分析方法，為BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)約簡提出了一種新的剪枝算法，該算法通過剪枝和并枝兩個階段實現(xiàn)BP網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化，提高了網(wǎng)絡(luò)的數(shù)值效能。最后，通過數(shù)值實驗驗證了該算法的合理性和有效性。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化；灰色關(guān)聯(lián)度分析；剪枝算法

4 實例建模

4.1 分類實例——XOR問題

XOR問題就是如何用神經(jīng)網(wǎng)絡(luò)實現(xiàn)異或邏輯關(guān)系，即Y=A·XOR·B。對于這個問題用單個神經(jīng)元模型無法解決，因為該問題是線性不可分的，對于兩維輸入空間，神經(jīng)元的作用可以理解為對輸入空間進行一條直線劃分。

多層神經(jīng)網(wǎng)絡(luò)可以解決這個問題，因為多層網(wǎng)絡(luò)引入了中間隱含層，每個隱含神經(jīng)元可以按不同的方法來劃分輸入空間抽取輸入空間中包含的某些特征，從而形成更為復(fù)雜的分類區(qū)域。理論上已經(jīng)證明三層神經(jīng)網(wǎng)絡(luò)足以解決任意復(fù)雜分類問題。

我們考慮用BP神經(jīng)網(wǎng)絡(luò)實現(xiàn)XOR問題，初步建立一個隱含層為30個神經(jīng)元的網(wǎng)絡(luò)結(jié)構(gòu)，再運用前文灰色關(guān)聯(lián)度分析的方法進行網(wǎng)絡(luò)剪枝，以實現(xiàn)最簡網(wǎng)絡(luò)的XOR問題。

XOR問題的樣本有四個，即他們的輸入為x=■；對應(yīng)的輸出為：y=[0101]；輸入是2維向量，用2個神經(jīng)元作為輸入層，網(wǎng)絡(luò)輸出是1維向量，用1個神經(jīng)元作為輸出層，對于這個問題，在BP神經(jīng)網(wǎng)絡(luò)隱含層節(jié)點個數(shù)未知的情況下，先取30個節(jié)點，經(jīng)過簡單的訓(xùn)練后得到網(wǎng)絡(luò)結(jié)構(gòu)，再利用灰色關(guān)聯(lián)分析優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)。

初始結(jié)構(gòu)：2-30-1，神經(jīng)元的傳遞函數(shù)取tin sig函數(shù)，BP網(wǎng)絡(luò)的訓(xùn)練函數(shù)取tan sig；設(shè)定網(wǎng)絡(luò)的訓(xùn)練參數(shù)如下：目標(biāo)誤差為1e-4； 最大迭代步數(shù)為5000步；其余為系統(tǒng)默認值。

灰色關(guān)聯(lián)計算時選取的分辨系數(shù)為？籽=0.4；額定灰色關(guān)聯(lián)度為？著=0.55，最大剪枝次數(shù)為5，考慮到?jīng)]進行一次剪枝和并枝操作，網(wǎng)絡(luò)訓(xùn)練較好，各神經(jīng)元間的聯(lián)系更加緊密，故每進行一次剪枝和并枝過程，額定灰色關(guān)聯(lián)度累加一次即？著=？著+0.05；

由表1-3可知，在程序運行過程中，原BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)首先調(diào)整為2-15-1，此時被刪除的節(jié)點是E=2，5，6，7，9，10，16，17，20，21，

22，23，24，25，29共15個，在此基礎(chǔ)上繼續(xù)對網(wǎng)絡(luò)進行訓(xùn)練學(xué)習(xí)，第二次刪除的節(jié)點是E=14，26，27，28，30共4個，此時的網(wǎng)絡(luò)結(jié)構(gòu)調(diào)整為2-10-1，依次過程第五次網(wǎng)絡(luò)達到穩(wěn)定，得到BP網(wǎng)的最優(yōu)化結(jié)構(gòu)為2-3-1，具體每次調(diào)整過程對應(yīng)的縱向節(jié)點和橫向節(jié)點以及關(guān)聯(lián)度如表1-2所示（省略前兩次調(diào)整過程）。

每次剪枝完后網(wǎng)絡(luò)的輸出值是比較可觀的，誤差也是接近我們的目標(biāo)誤差，精度很高，足見雖然每次減少了隱含層神經(jīng)節(jié)的個數(shù)，但網(wǎng)絡(luò)訓(xùn)練不受影響，也證實了剪枝算法的合理性，如表3所示。

4.2 函數(shù)逼近實例——Y=sin（X）

我們考慮用BP神經(jīng)網(wǎng)絡(luò)實現(xiàn)函數(shù)逼近問題，初步建立一個隱含層為30個神經(jīng)元的網(wǎng)絡(luò)結(jié)構(gòu)，進行網(wǎng)絡(luò)剪枝運用前文灰色關(guān)聯(lián)度分析的方法，以實現(xiàn)最簡網(wǎng)絡(luò)的Y=sin（X）函數(shù)逼近問題。

我們選取100個樣本，隱含層節(jié)點數(shù)為30，輸入和輸出都是一維的。選取Y=sin（X）為逼近函數(shù)，輸入從0.01？仔到0.02？仔，增長率為0.02？仔。最大訓(xùn)練次數(shù)為5000，學(xué)習(xí)速率為0.005，目標(biāo)誤差為1e-3。

灰色關(guān)聯(lián)計算時選取的分辨系數(shù)為？籽=0.5；額定灰色關(guān)聯(lián)度為？著=0.50，最大剪枝次數(shù)為5，考慮到?jīng)]進行一次剪枝和并枝操作，網(wǎng)絡(luò)訓(xùn)練較好，各神經(jīng)元間的聯(lián)系更加緊密，故每進行一次剪枝和并枝過程，額定灰色關(guān)聯(lián)度累加一次即？著=？著+0.05；

通過調(diào)節(jié)權(quán)值和閾值，網(wǎng)絡(luò)達到穩(wěn)定后，進行剪枝操作，第一次剪枝節(jié)點為E=12，13，21，25，27第二次剪枝節(jié)點為E=2，5，6，7，11，

16，22，30第三次剪枝節(jié)點為E=10，14，26，28，最終隱層節(jié)點為7個。函數(shù)逼近結(jié)果如圖1所示。由圖可知，大體符合函數(shù)逼近的趨勢，逼近效果較好。

5 結(jié)束語

文章通過分析了幾類前饋神經(jīng)網(wǎng)絡(luò)縱向和橫向信息的傳輸特點，采用灰色關(guān)聯(lián)分析方法，通過剪枝和并枝過程來設(shè)計一種以BP算法為例的剪枝算法，數(shù)值試驗結(jié)果表明這種方法非常有效，同時也對前饋神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)優(yōu)化提供了一種新的學(xué)習(xí)算法。

參考文獻

[1]馮知凡.基于圖像處理及BP神經(jīng)網(wǎng)絡(luò)的車牌識別技術(shù)的研究[D].武漢科技大學(xué)，2011.

[2]楊晟院，高協(xié)平.基于面向?qū)ο驜P算法的灰度位圖圖像處理[J].計算機工程與應(yīng)用，2003，33：103-105.

[3]周凌翱.改進BP神經(jīng)網(wǎng)絡(luò)在模式識別中的應(yīng)用及研究[D].南京理工大學(xué)，2010.

[4]張宇.基于BP神經(jīng)網(wǎng)絡(luò)匯率預(yù)測的智能交易系統(tǒng)[D].安徽大學(xué)，2011.

[5]李聰.基于BP神經(jīng)網(wǎng)絡(luò)的股票指數(shù)期貨價格預(yù)測[D].青島大學(xué)，2012.

[6]黃慶斌.BP算法的改進及其應(yīng)用研究[D].西南交通大學(xué)，2010.

[7]李曉峰，徐玖平，王蔭清，賀昌政.BP人工神經(jīng)網(wǎng)絡(luò)自適應(yīng)學(xué)習(xí)算法的建立及其應(yīng)用[J].系統(tǒng)工程理論與實踐，2004，05：1-8.

[8]黃麗.BP神經(jīng)網(wǎng)絡(luò)算法改進及應(yīng)用研究[D].重慶師范大學(xué)，2008.

[9]陳小前，羅世彬，王振國，陶玉靜.BP神經(jīng)網(wǎng)絡(luò)應(yīng)用中的前后處理過程研究[J].系統(tǒng)工程理論與實踐，2002，1：65-70+88.

[10]熊焱，吳微，張超，亢喜岱.基于灰色關(guān)聯(lián)分析的高階神經(jīng)網(wǎng)絡(luò)剪枝算法[J].大連理工大學(xué)學(xué)報，2010，3：463-468.

[11]唐萬梅.BP神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化問題的研究[J].系統(tǒng)工程理論與實踐，2005，10：95-100.

作者簡介：趙蓉（1992-），女，籍貫：湖南省岳陽市，學(xué)歷：本科，研究方向：算法優(yōu)化。