基于云自適應(yīng)遺傳算法的改進(jìn)BP算法

吳立鋒，程林輝

(中南民族大學(xué)計(jì)算機(jī)科學(xué)學(xué)院，武漢430074)

BP算法(Back Propogation Algorithm)是目前應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，BP神經(jīng)網(wǎng)絡(luò)已成功的應(yīng)用在人臉識(shí)別［1］、故障診斷［2］、入侵檢測(cè)［3］和最優(yōu)預(yù)測(cè)［4］等方面.但由于BP算法采用沿梯度下降的搜索算法，因而其結(jié)果對(duì)初始權(quán)值非常敏感，不同的初始權(quán)值可能導(dǎo)致不同的結(jié)果以及易陷入局部極小、收斂速度慢等.遺傳算法采用群體進(jìn)化方式，對(duì)目標(biāo)函數(shù)空間進(jìn)行多線索的并進(jìn)式檢查，并保留有競(jìng)爭(zhēng)力的基因，是一種搜索范圍廣、搜索效率高、魯棒性強(qiáng)的優(yōu)化方法.因此，利用遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)成了目前研究的熱點(diǎn)［5，6］.

本文結(jié)合遺傳算法以及正態(tài)云模型云滴的隨機(jī)性和穩(wěn)定傾向性特點(diǎn)［7］，提出了云自適應(yīng)遺傳BP算法(CAG-BP).該算法首次將云模型和遺傳算法結(jié)合起來調(diào)整神經(jīng)網(wǎng)絡(luò)的權(quán)值以及閾值，遺傳算法中的改進(jìn)交叉概率和變異概率由X條件云發(fā)生器產(chǎn)生.改進(jìn)后能夠使群體中平均適應(yīng)度值的個(gè)體的交叉率和變異率不為零，并能使適度值小的個(gè)體有較大的交叉概率和變異概率，適度值大的個(gè)體交叉概率和變異概率則相對(duì)較小，從而加快收斂速度，不易陷入局部極小，得到正確的結(jié)果.

1 云模型

云模型是定性定量間的不確定性轉(zhuǎn)移模型，它用期望值Ex、熵En和超熵He表征定性概念，將概念的模糊性和隨機(jī)性集成在一起，為定性與定量相結(jié)合的信息處理提供了有力手段.期望值Ex反應(yīng)了云層的重心位置;熵En反應(yīng)了云層的陡峭程度，En越小越陡峭;超熵He反應(yīng)了云層的厚度，He越大云層越厚，正態(tài)云模型的3個(gè)數(shù)字特征示意圖如圖1所示.圖1表示當(dāng)x=Ex時(shí)其確定度為1，當(dāng)x＞Ex時(shí)，確定度隨著x的增大而減小.要使遺傳算法的收斂速度加快，不易陷入局部極小，得到正確的結(jié)果，必須使適度值小的個(gè)體有較大的交叉概率和變異概率，適度值大的個(gè)體有相對(duì)較小的交叉概率和變異概率.從圖1可以看出當(dāng)x＞Ex時(shí)云模型具有這一特點(diǎn)，可以將x作為遺傳算法中兩交叉?zhèn)€體的最大適應(yīng)度以及變異個(gè)體的適應(yīng)度，確定度作為交叉概率和變異概率，并且云模型中云滴集中在區(qū)間［Ex－3En，Ex+3En］，云層厚度為He，具有很好的隨機(jī)性和穩(wěn)定傾向性.

圖1 正態(tài)云模型的3個(gè)數(shù)字特征示意圖Fig.1 Diagram of three digital characteristics about normal cloud model

2 改進(jìn)BP算法原理

2.1 標(biāo)準(zhǔn)BP算法

1985年Rumlhart等人提出的BP算法是目前神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法中使用最為普遍的算法，其主要思想是利用已知確定的樣本模式對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，BP網(wǎng)絡(luò)的訓(xùn)練過程就是修正各層神經(jīng)元之間的連接權(quán)的系數(shù)過程.BP算法的學(xué)習(xí)過程由正向傳播和反向傳播組成，在正向傳播過程中，輸入信息要先從輸入層結(jié)點(diǎn)傳播到隱含層結(jié)點(diǎn)，經(jīng)過作用函數(shù)后，再把隱含層結(jié)點(diǎn)的輸出信息傳播到輸出層結(jié)點(diǎn)，最后給出輸出結(jié)果.如果在輸出層得不到期望輸出，則轉(zhuǎn)向反向傳播，將誤差信號(hào)沿原來的連接通路返回，通過修改各層神經(jīng)單元的權(quán)系數(shù)和閾值，使誤差信號(hào)最小.

2.2 云自適應(yīng)遺傳BP算法

標(biāo)準(zhǔn)BP算法將學(xué)習(xí)過程分為正向傳播和反向傳播兩個(gè)階段，正向傳播得到實(shí)際輸出結(jié)果，反向傳播用來修改權(quán)值和閾值.云自適應(yīng)遺傳BP算法首先利用標(biāo)準(zhǔn)BP算法試探出最好的隱層結(jié)點(diǎn)數(shù)以及正向傳播得到的實(shí)際輸出結(jié)果，然后利用CAG-BP算法在整體尋優(yōu)的特點(diǎn)調(diào)整網(wǎng)絡(luò)的權(quán)值以及閾值.

2.2.1 編碼

采用實(shí)數(shù)編碼，對(duì)于包含一層隱藏層模式為m－n－l多層神經(jīng)網(wǎng)絡(luò)共有q=m·n+n·l+n+l個(gè)權(quán)值和閾值需要優(yōu)化，其中m為輸入層結(jié)點(diǎn)數(shù)，n為隱藏層結(jié)點(diǎn)數(shù)，l為輸出層結(jié)點(diǎn)數(shù).將這q個(gè)權(quán)值和閾值記為W=(W1，W2，…，Wq)，采用實(shí)數(shù)編碼，將行向量W看作是一條染色體，而其中每個(gè)實(shí)數(shù)Wi(i=1，2，…，q)是染色體的一個(gè)基因位.

2.2.2 選擇

采用輪盤賭和精英保留選擇策略.每個(gè)染色體產(chǎn)生后代的數(shù)目正比于它的適應(yīng)度的值的大小，并且每一代中染色體的總數(shù)保持不變，這種方法也稱為輪盤賭選擇.假設(shè)群體的大小為n，個(gè)體Ai的適應(yīng)度值為f(Ai)，則個(gè)體Ai被選擇的概率P(Ai)為:顯然適應(yīng)度值高的個(gè)體被選中的概率越大，而且可能被選中;而適應(yīng)度低的個(gè)體則很有可能被淘汰.

2.2.3 交叉

隨機(jī)產(chǎn)生二串長(zhǎng)度為q的二進(jìn)制串，設(shè)有2個(gè)父代，P=(P1，P2，…，Pq) 以及M=(M1，M2，…，Mq)，采用下面的方式得到兩個(gè)子代:C=(C1，C2，…，Cq) 和D=(D1，D2，…，Dq)，用其中的一個(gè)二進(jìn)制串產(chǎn)生子代C，用另一個(gè)二進(jìn)制串產(chǎn)生子代D.具體方法如下:如果對(duì)應(yīng)二進(jìn)制位為1，則Ci為Pi，對(duì)應(yīng)二進(jìn)制位為0，則Ci為Mi;如果對(duì)應(yīng)二進(jìn)制位為1，則Di為Mi，對(duì)應(yīng)二進(jìn)制位為 0，則Di為Pi.

改進(jìn)交叉概率pc如公式(1)所示，從公式(1)可以看出當(dāng)兩交叉?zhèn)€體的最大適應(yīng)度與群體平均適應(yīng)度相等時(shí)，其交叉概率不為零;并且當(dāng)兩交叉?zhèn)€體的最大適應(yīng)度大于群體平均適應(yīng)度時(shí)，適應(yīng)度越大交叉概率越小.

2.2.4 變異

變異采用非一致性變異算子［8］，設(shè)父代W=(W1，W2，…，Wq)，Wi被選出來作變異，若權(quán)值的變化范圍是(LW，HW)，則變異結(jié)果為:W'=W1，W2，…，W'i，…，Wq，其中t是 群體演化的代數(shù)，是

交叉概率和變異概率中的ˉf為群體的平均適應(yīng)度，fmax為群體的最大適應(yīng)度，f為變異個(gè)體的適應(yīng)度，f'為兩交叉?zhèn)€體中的最大適應(yīng)度值，e、h和pi(i=1，2，3，4)為控制參數(shù)，e用來控制云的陡峭程度，根據(jù)“3En”規(guī)則，一般取3，h用來控制云層的厚度，一般取10;pi可取0.9～1之間的常數(shù)，實(shí)驗(yàn)過程中根據(jù)具體情況調(diào)節(jié)參數(shù)的值.

2.2.5 適應(yīng)度函數(shù)

遺傳算法搜索目標(biāo)是所有進(jìn)化代中使網(wǎng)絡(luò)均方差最小的網(wǎng)絡(luò)權(quán)重，而遺傳算法只能朝著使適應(yīng)度函數(shù)值增大的方向進(jìn)化.所以，可以根據(jù)產(chǎn)生的權(quán)值和閾值所對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)計(jì)算出BP網(wǎng)絡(luò)的均方差，適應(yīng)度函數(shù)采用均方差的倒數(shù)，即:

2.2.6 算法步驟

CAG-BP算法具體過程如下:首先初始化CAGBP算法中各個(gè)參數(shù)的值，然后隨機(jī)產(chǎn)生一群染色體(個(gè)體)，進(jìn)行實(shí)數(shù)編碼;接著依次輸入訓(xùn)練樣本，計(jì)算適應(yīng)度值，當(dāng)某代的最優(yōu)個(gè)體的適度值大于或等于預(yù)先給定的值，或者算法給定的迭代次數(shù)已用完，算法結(jié)束;否則按照以上2.2.2至2.2.4中提到的方法進(jìn)行選擇、交叉和變異，更新種群，直至算法結(jié)束.

3 實(shí)驗(yàn)結(jié)果

采用文獻(xiàn)［9］中提供的實(shí)驗(yàn)數(shù)據(jù)，將4位自然二進(jìn)制碼轉(zhuǎn)化為四位格雷碼，加上噪音位共有32組數(shù)據(jù)，32組數(shù)據(jù)如表1所示，用其中的28組數(shù)據(jù)進(jìn)行訓(xùn)練，剩余的4組數(shù)據(jù)用來測(cè)試.根據(jù)表1確定輸入層結(jié)點(diǎn)數(shù)為5，輸出層結(jié)點(diǎn)數(shù)為4，隱層單元數(shù)人工調(diào)節(jié)，對(duì)隱藏層結(jié)點(diǎn)數(shù)為2～10的情況進(jìn)行了實(shí)驗(yàn)，其中隱藏層結(jié)點(diǎn)數(shù)為8時(shí)獲得最好的效果.輸入數(shù)據(jù)中的第1位為噪音位，與輸出沒有關(guān)系，輸出只與輸入的后4位有關(guān).分別采用標(biāo)準(zhǔn)的BP算法和CAG-BP算法進(jìn)行訓(xùn)練，均方差MSE(Mean Square Error)設(shè)為10－4，經(jīng)過訓(xùn)練92次，CAG-BP算法收斂并且其MSE=0.000088，而標(biāo)準(zhǔn)的BP算法最好情況下則需要3437次，2種算法的迭代次數(shù)與MSE之間的曲線對(duì)比如圖2所示，很明顯CAG-BP算法在收斂速度上要遠(yuǎn)遠(yuǎn)優(yōu)于標(biāo)準(zhǔn)的BP算法.訓(xùn)練結(jié)束后，用剩余的4組數(shù)據(jù)進(jìn)行測(cè)試，CAG-BP算法的測(cè)試結(jié)果如表2，顯然，測(cè)試結(jié)果正確.一個(gè)在范圍(0，η)內(nèi)取值的函數(shù)，T是演化的最大代數(shù)，b是系統(tǒng)參數(shù)，一般取2.

表1 自然二進(jìn)制與格雷碼對(duì)照表Tab.1 Comparison table about natural binary and gray code

改進(jìn)變異概率pm如公式(2)所示，從公式(2)可以看出當(dāng)變異個(gè)體的最大適應(yīng)度與群體平均適應(yīng)度相等時(shí)，其變異概率不為零，并且當(dāng)變異個(gè)體的最大適應(yīng)度大于群體平均適應(yīng)度時(shí)，適應(yīng)度越大變異概率越小.

圖2 2種算法的迭代次數(shù)與MSE對(duì)比圖Fig.2 Comparison chart of iteration times and MSE of two algorithms

表2 CAG-BP算法測(cè)試結(jié)果Tab.2 Test results of CAG-BP algorithm

4 結(jié)語

由X條件云發(fā)生器產(chǎn)生改進(jìn)的自適應(yīng)交叉概率和變異概率，能夠使適應(yīng)度大的采用小的交叉和變異概率，適應(yīng)度小的采用大的交叉和變異概率，在一定程度上保證群體的多樣性，避免早熟，提高其全局搜索能力.實(shí)驗(yàn)結(jié)果表明，CAG-BP利用了正態(tài)云模型云滴的隨機(jī)性和穩(wěn)定傾向性特點(diǎn)，結(jié)合遺傳算法訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)，取得了比標(biāo)準(zhǔn)BP算法更優(yōu)的結(jié)果.

［1］Liu Yanxi.The BP neural network classification method under Linex loss function and the application to face recognition［C］//IEEE.Proceedings of the IEEE International Conference on Computer and Automation Engineering (ICCAE) .Singapore: IEEE，2010:592-595.

［2］Qu Bo，Gu Huijuan.IVC fault diagnosis based on the improved BP neural network［C］//IEEE.Proceedings of the IEEE International Conference on Industrial and Information Systems(IIS).Dalian:Industry Applications Society-IA，2010:256-258.

［3］Li Hua，Zhao Jianping.Distributed intrusion detection system based on BP neural network［C］//IEEE.Proceedings of the IEEE International Conference on Computational Intelligence and Software Engineering.Sanya:CiSE，2009:1-6.

［4］Wang Guangming，Zheng Xiangna.The unemployment rate forecastmodel basing on BP neural network［C］//IEEE.Proceedings of the IEEE International Conference on Electronic Computer Technology.Macau:IEEE，2009:475-478.

［5］張立毅，劉 婷，孫云山，等.遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)值盲均衡算法的研究［J］.計(jì)算機(jī)工程與應(yīng)用，2009，45(11):162-164.

［6］施化吉，尹紀(jì)軍，李星毅，等.利用影響因子遺傳算法優(yōu)化前饋神經(jīng)網(wǎng)絡(luò)［J］.計(jì)算機(jī)應(yīng)用研究，2007，24(11):103-105.

［7］劉常昱，李德毅，杜 鹢，等.正態(tài)云模型的統(tǒng)計(jì)分析［J］.信息與控制，2005，34(2):236-239.

［8］王保中，康立山，何 巍.基于實(shí)數(shù)編碼遺傳算法的多層神經(jīng)網(wǎng)絡(luò)BP算法［J］.武漢大學(xué)學(xué)報(bào):自然科學(xué)版，1998，44(03):289-291.

［9］Yan Taishan.An improved genetic algorithm and its blending application with neural network［C］//IEEE.Proceedings of the IEEE International Conference on Intelligent Systems and Applications.Wuhan:ISA，2010:1-4.