基于遺傳算法的優(yōu)化BP神經(jīng)網(wǎng)絡(luò)算法研究

王軍濤

【摘 要】論文結(jié)合遺傳算法和BP神經(jīng)網(wǎng)絡(luò)的有關(guān)概念，對(duì)BP神經(jīng)網(wǎng)絡(luò)算法的優(yōu)化進(jìn)行了研究，同時(shí)結(jié)合實(shí)例對(duì)算法的有效性進(jìn)行了驗(yàn)證。

【Abstract】Based on the concepts of genetic algorithm and BP neural network，the paper studies the optimization of BP neural network algorithm， and the effectiveness of the algorithm is verified by an example.

【關(guān)鍵詞】遺傳算法；BP神經(jīng)網(wǎng)絡(luò)；優(yōu)化算法

【Keywords】genetic algorithm； BP neural network； algorithm optimization

【中圖分類號(hào)】TPl83 【文獻(xiàn)標(biāo)志碼】A 【文章編號(hào)】1673-1069（2017）04-0135-02

1 引言

神經(jīng)網(wǎng)絡(luò)是一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型，憑借著復(fù)雜的系統(tǒng)結(jié)構(gòu)，通過對(duì)系統(tǒng)內(nèi)部節(jié)點(diǎn)連接關(guān)系的調(diào)節(jié)，實(shí)現(xiàn)對(duì)信息的高效處理。作為技術(shù)最為成熟的神經(jīng)網(wǎng)絡(luò)模擬，BP神經(jīng)網(wǎng)絡(luò)具有良好的自學(xué)習(xí)、自適應(yīng)以及泛化能力，在許多領(lǐng)域中都有著廣泛的應(yīng)用。而針對(duì)BP神經(jīng)網(wǎng)絡(luò)在應(yīng)用環(huán)節(jié)存在的問題，需要采取相應(yīng)的優(yōu)化算法，提升神經(jīng)網(wǎng)絡(luò)的收斂速度和處理能力。

2 遺傳算法與BP神經(jīng)網(wǎng)絡(luò)

遺傳算法遵循的是生物界中適者生存的法則，其基本原理，是指將問題參數(shù)進(jìn)行編碼，形成染色體，通過迭代的方式，運(yùn)用選擇、變異、交叉等運(yùn)算，對(duì)種群中染色體的信息進(jìn)行交換，繼而形成能夠滿足優(yōu)化目標(biāo)的染色體。

BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)最初產(chǎn)生于1986年，屬于一種依照誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，也是當(dāng)前技術(shù)條件下應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)模型之一，其可以對(duì)輸入-輸出模式的映射關(guān)系進(jìn)行學(xué)習(xí)和存儲(chǔ)，同時(shí)不需要對(duì)能夠揭示這些映射關(guān)系的方程進(jìn)行描述。神經(jīng)網(wǎng)絡(luò)具備自適應(yīng)和自組織能力，在進(jìn)行學(xué)習(xí)和訓(xùn)練的過程中，可以通過改變突觸權(quán)重值的方式，更好地適應(yīng)周邊環(huán)境的變化。在同一個(gè)神經(jīng)網(wǎng)絡(luò)中，如果內(nèi)容不同，學(xué)習(xí)方式不同，則會(huì)產(chǎn)生不同的功能。人工神經(jīng)網(wǎng)絡(luò)從本質(zhì)上看，更加接近具備自主學(xué)習(xí)能力的系統(tǒng)，可以通過不斷的學(xué)習(xí)，超出最初設(shè)計(jì)的知識(shí)水平。在人工神經(jīng)網(wǎng)絡(luò)中，比較常見的學(xué)習(xí)方法有兩種，一是有監(jiān)督的學(xué)習(xí)，可以結(jié)合標(biāo)準(zhǔn)樣本，進(jìn)行分類或者模仿，二是無(wú)監(jiān)督的學(xué)習(xí)，在制定相應(yīng)的學(xué)習(xí)規(guī)則后，系統(tǒng)會(huì)根據(jù)自身所處環(huán)境，進(jìn)行學(xué)習(xí)內(nèi)容的分析和選擇，更加接近人腦的功能特點(diǎn)。

3 基于遺傳算法的優(yōu)化BP神經(jīng)網(wǎng)絡(luò)算法

3.1 算法基本原理

①BP算法。BP神經(jīng)網(wǎng)絡(luò)算法主要包括了數(shù)據(jù)流的前向計(jì)算和誤差信號(hào)的反向傳播兩個(gè)方面的內(nèi)容，結(jié)合三層BP神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，假定x為網(wǎng)絡(luò)輸入，y為結(jié)果輸出，當(dāng)處于正向傳播過程時(shí)，數(shù)據(jù)的傳輸為輸入層→隱層→輸出層，每一層神經(jīng)元的狀態(tài)僅僅會(huì)影響下一層神經(jīng)元，而如果輸出層無(wú)法獲得期望輸出，則會(huì)自動(dòng)轉(zhuǎn)向誤差信號(hào)的反向傳播流程。在BP神經(jīng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)的訓(xùn)練實(shí)際上是對(duì)閾值和權(quán)值進(jìn)行調(diào)整的過程，當(dāng)網(wǎng)絡(luò)誤差縮小到設(shè)定值，或者訓(xùn)練步數(shù)達(dá)到設(shè)定步數(shù)時(shí)，會(huì)自動(dòng)停止訓(xùn)練。

②遺傳算法。遺傳算法可以從代表問題可能潛在解集的種群開始，種群中的每一個(gè)染色體都帶有相應(yīng)的特征，染色體可以看作若干基因的集合，為了便于分析，需要做好編碼，完成從表現(xiàn)型到基因型的映射。在演化過程中，依照問題域中存在的個(gè)體的適應(yīng)度，進(jìn)行個(gè)體的挑選和交叉，然后變異出新的解集種群。選擇末代種群中的最優(yōu)個(gè)體進(jìn)行解碼，就可以得到問題的近似最優(yōu)解。

3.2 優(yōu)化BP算法

BP神經(jīng)網(wǎng)絡(luò)算法具有極強(qiáng)的局部尋優(yōu)能力，但是容易陷入局部極小的問題，遺傳算法具有良好的全局優(yōu)化性和自適應(yīng)性，但是局部尋優(yōu)能力不足。對(duì)此，可以將遺傳算法與BP算法結(jié)合起來，實(shí)現(xiàn)對(duì)于網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和網(wǎng)絡(luò)權(quán)值、網(wǎng)絡(luò)閾值的優(yōu)化。

①權(quán)值優(yōu)化。在傳統(tǒng)的BP網(wǎng)絡(luò)中，連接權(quán)值的學(xué)習(xí)算法容易陷入局部極小，無(wú)法得到全局最優(yōu)。對(duì)此，可以引入遺傳算法代替?zhèn)鹘y(tǒng)的學(xué)習(xí)方法，對(duì)神經(jīng)網(wǎng)絡(luò)的權(quán)值進(jìn)行優(yōu)化。在這個(gè)過程中，需要解決幾個(gè)比較關(guān)鍵的問題，一是編碼方案，可供選擇的權(quán)值編碼方式包括實(shí)數(shù)編碼和二級(jí)制編碼，前者是以實(shí)數(shù)表示權(quán)值，非常直觀，不過需要對(duì)遺傳算子進(jìn)行重新設(shè)計(jì)，后者是利用0，1字符串表示權(quán)值；二是適應(yīng)度函數(shù)，引入遺傳算法后，網(wǎng)絡(luò)的機(jī)構(gòu)以確定，在這種情況下，網(wǎng)絡(luò)的誤差越大，適應(yīng)度越小；三是進(jìn)化過程，主要是對(duì)選擇、交叉、變異算子的選擇，如果必要，也可以重新設(shè)計(jì)；四是混合訓(xùn)練神經(jīng)網(wǎng)絡(luò)，遺傳算法能夠在大規(guī)模、復(fù)雜性的空間中實(shí)現(xiàn)可靠搜索，而且不需要有關(guān)誤差函數(shù)梯度的信息，優(yōu)勢(shì)相當(dāng)明顯?？梢酝ㄟ^在誤差函數(shù)中增加懲罰項(xiàng)的方式，降低網(wǎng)絡(luò)的復(fù)雜程度。

②權(quán)值和結(jié)構(gòu)同時(shí)優(yōu)化。BP神經(jīng)網(wǎng)絡(luò)連接權(quán)的進(jìn)化，要求明確的網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)結(jié)構(gòu)直接影響著神經(jīng)網(wǎng)絡(luò)本身對(duì)于信息的處理能力。神經(jīng)網(wǎng)路的結(jié)構(gòu)包括了網(wǎng)絡(luò)連接方式（拓?fù)浣Y(jié)構(gòu)）和節(jié)點(diǎn)轉(zhuǎn)換函數(shù)，完善的結(jié)構(gòu)不僅需要能夠?qū)栴}進(jìn)行有效解決，還不能存在冗余節(jié)點(diǎn)和冗余連接。伴隨著進(jìn)化算法的應(yīng)用，網(wǎng)絡(luò)設(shè)計(jì)在很多時(shí)候被看作搜索問題，評(píng)價(jià)的標(biāo)準(zhǔn)包括了抗噪性、學(xué)習(xí)準(zhǔn)確率以及泛化能力等。結(jié)構(gòu)進(jìn)化的關(guān)鍵體現(xiàn)在結(jié)構(gòu)編碼和算子設(shè)計(jì)，而結(jié)構(gòu)編碼方案則會(huì)影響算子設(shè)計(jì)的效果。以三層前饋型BP網(wǎng)絡(luò)為例，其輸入層和輸出層節(jié)點(diǎn)的數(shù)量已經(jīng)確定，優(yōu)化算法需要重點(diǎn)研究隱含層的節(jié)點(diǎn)數(shù)量。考慮到問題本身的復(fù)雜性，二進(jìn)制編碼的方法并不適用，因此選擇實(shí)數(shù)編碼，在隱含層節(jié)點(diǎn)增加二級(jí)制編碼作為控制基因，通過隨機(jī)函數(shù)產(chǎn)生。當(dāng)控制基因的數(shù)值為0時(shí)，對(duì)應(yīng)的隱含層節(jié)點(diǎn)對(duì)輸出層無(wú)用，而當(dāng)控制基因的數(shù)值為1時(shí)，隱含層節(jié)點(diǎn)對(duì)輸出層作用。需要注意的一點(diǎn)，當(dāng)選擇實(shí)數(shù)編碼方案時(shí)，為了明確編碼的長(zhǎng)度，需要確定隱層的最大神經(jīng)元數(shù)目。

4 仿真試驗(yàn)

結(jié)合已知數(shù)據(jù)，對(duì)某地區(qū)小麥吸漿蟲的發(fā)生程度進(jìn)行預(yù)測(cè)。對(duì)問題進(jìn)行深入分析，可以轉(zhuǎn)化為相應(yīng)的輸入輸出系統(tǒng)，可以通過神經(jīng)網(wǎng)絡(luò)進(jìn)行表達(dá)?，F(xiàn)有的研究成果表明，小麥吸漿蟲的發(fā)生與氣候因素關(guān)系密切，因此可以利用氣象因子對(duì)問題進(jìn)行分析。選擇2000年到2015年的氣象數(shù)據(jù)，設(shè)置40個(gè)研究樣本，以x1-x14表示需要處理的原始數(shù)據(jù)（氣象因子），Y表示小麥吸漿蟲的發(fā)生程度。從減小誤差的角度，對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理。以優(yōu)化后的BP算法進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，結(jié)合訓(xùn)練結(jié)果進(jìn)行MATLAB仿真。在仿真試驗(yàn)中，需要做好一些關(guān)鍵參數(shù)額的設(shè)置，遺傳算法和BP算法的最大代數(shù)分別為100，BP算法均方誤差為0.001，會(huì)激活函數(shù)為雙曲正切S型，線性輸出層，學(xué)習(xí)算法被設(shè)置為經(jīng)過改進(jìn)的自適應(yīng)學(xué)習(xí)率的梯度下降學(xué)習(xí)算法。

設(shè)定14作為隱層神經(jīng)元的上限，由于編碼長(zhǎng)度固定且迭代代數(shù)一定，在所有的試驗(yàn)中，遺傳算法的復(fù)雜度都是相同的。結(jié)合仿真試驗(yàn)分析，隱含神經(jīng)元的最優(yōu)數(shù)目為5、6、7，與傳統(tǒng)方法得到的結(jié)果基本一致。相比較而言，利用遺傳算法同時(shí)進(jìn)行結(jié)構(gòu)和權(quán)值的優(yōu)化，最為顯著的優(yōu)勢(shì)在于能夠?qū)﹄[層神經(jīng)元的數(shù)目進(jìn)行自適應(yīng)確定，減少嘗試的次數(shù)，提升計(jì)算效率。

而結(jié)合相應(yīng)的訓(xùn)練結(jié)果分析，利用遺傳算法進(jìn)行BP神經(jīng)網(wǎng)絡(luò)連接權(quán)值的優(yōu)化，相比較傳統(tǒng)算法更加有效，不過同樣需要進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)的嘗試，換言之就是選擇合適的隱層神經(jīng)元數(shù)目。不僅如此，利用遺傳算法同時(shí)對(duì)神經(jīng)網(wǎng)絡(luò)的權(quán)值和結(jié)構(gòu)進(jìn)行優(yōu)化，智能型更強(qiáng)，可能找到合適的初始權(quán)值和優(yōu)秀的網(wǎng)絡(luò)結(jié)構(gòu)，不過，如果數(shù)據(jù)煩瑣，搜索的速度會(huì)變慢。

5 結(jié)語(yǔ)

總而言之，基于遺傳算法進(jìn)行BP神經(jīng)網(wǎng)絡(luò)算法的優(yōu)化，可以充分發(fā)揮遺傳算法對(duì)于全局搜索的高效性和高魯棒性，在實(shí)際應(yīng)用中效果顯著。當(dāng)遺傳算法將網(wǎng)絡(luò)全局優(yōu)化到一定程度后，可以利用BP算法進(jìn)行微調(diào)，加快網(wǎng)絡(luò)收斂速度，減少訓(xùn)練失敗問題。