基于改進(jìn)粒子群算法的BP 神經(jīng)網(wǎng)絡(luò)模型研究①

姚爾果， 閆秋粉， 南振岐， 薛小虎

(1．西北師范大學(xué)數(shù)學(xué)與信息科學(xué)學(xué)院，甘肅蘭州730070;2．新疆烏魯木齊市軍區(qū)測繪信息中心，新疆烏魯木齊830000)

針對BP神經(jīng)網(wǎng)絡(luò)[1]易陷入局部最優(yōu)值，收斂速度慢的問題，本文通過調(diào)整粒子群進(jìn)化速率提出了改進(jìn)的粒子群算法(DPSO，dynamic particle swarm optimization)，增強(qiáng)了全局搜索能力，提高了收斂的精度和速度．最后通過DPSO算法訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)，構(gòu)建了基于改進(jìn)粒子群算法，DPSO－BP(dynamic particle swarm optimization－back propagation neural network)的神經(jīng)網(wǎng)絡(luò)模型．

1 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

BP神經(jīng)網(wǎng)絡(luò)是采用反向傳播誤差調(diào)整的學(xué)習(xí)方法，本文采用三層前饋神經(jīng)網(wǎng)絡(luò)[2，3]，如圖 1 所示．該網(wǎng)絡(luò)結(jié)構(gòu)輸入層輸入預(yù)處理的函數(shù)指標(biāo)，經(jīng)隱含層的非線性映射訓(xùn)練，輸出預(yù)處理結(jié)果，隱含層用Sigmoid函數(shù)作為傳遞函數(shù):

輸入層與隱含層的映射關(guān)系y0i=C(X0i，Wji)．

隱含層與輸出層的映射關(guān)系yk=(Wji，y0i，λ)．

輸出信息與期望目標(biāo)之間的誤差e為:

2 粒子群算法

粒子群優(yōu)化算法為Kennedy和Eberhart兩位博士于1995年基于鳥群覓食行為而提出的群體智能算法[4]．國內(nèi)外學(xué)者提出了多種改進(jìn)算法[5－8]，文獻(xiàn)[6]引入聚焦距離變化率的概念，將慣性因子表示為關(guān)于聚焦距離變化率的函數(shù)，動(dòng)態(tài)改變慣性權(quán)重．文獻(xiàn)[7]采用自適應(yīng)均衡法調(diào)整慣性權(quán)重因子，達(dá)到尋優(yōu)的過程．本文在改進(jìn)的DPSO中，引用動(dòng)態(tài)機(jī)制調(diào)整慣性權(quán)重因子w，w值根據(jù)粒子i在第k－1次與第k次迭代中搜索的空間步長動(dòng)態(tài)變化．

圖1 BP神經(jīng)網(wǎng)絡(luò)模型

2．1 標(biāo)準(zhǔn)粒子群優(yōu)化算法

PSO算法采用速度－位置搜索模型，每個(gè)粒子代表搜索空間中待優(yōu)化問題的一個(gè)可行解，通過粒子的群體協(xié)作信息和自身信息尋找空間的最優(yōu)解．

PSO算法的數(shù)學(xué)描述如下:

2．2 改進(jìn)的粒子群算法

對w值的選擇大部分文獻(xiàn)采用線性減小法，此方法缺點(diǎn)是w值的隨機(jī)性較大，搜索方向的啟發(fā)性較弱．針對此問題，本文研究基于目標(biāo)函數(shù)平整度動(dòng)態(tài)調(diào)整w值，使w隨粒子進(jìn)化率動(dòng)態(tài)變化，隨迭代次數(shù)非線性變化．

本文提出的粒子進(jìn)化速率φ(t)直觀地反應(yīng)了粒子i在搜索位置上進(jìn)化的程度，表示了粒子的目前位置與收斂位置之間的差異，如圖2所示:

圖2 粒子進(jìn)化速率

圖3 Sphere函數(shù)收斂示意圖

圖4 Rastirgrin函數(shù)收斂示意圖

當(dāng)φ(t)＞1時(shí)，本次迭代發(fā)散，要求搜索步長增大以加強(qiáng)全局尋優(yōu)能力．當(dāng)0＜φ(t)＜1時(shí)，本次迭代收斂，要求搜索步長減小以加快粒子的聚集度加強(qiáng)劇本尋優(yōu)．而當(dāng)經(jīng)過若干次迭代后，φ(t)保持值為0時(shí)，粒子已經(jīng)找到了最優(yōu)值或者算法停滯．

改進(jìn)的慣性權(quán)重w按照下式變化:

其中，f(xi(t))為第i個(gè)粒子在第t次迭代時(shí)對應(yīng)的函 數(shù) 值:f(xi(t))=f(xi，1(t)，xi，2(t)，…xi，k(t)，)．f(xbest(t))為最優(yōu)粒子在第t次迭代時(shí)對應(yīng)的函數(shù)值:f(xbest(t))=minf(xi(t))．

圖5 改進(jìn)DPSO－BP算法對目標(biāo)函數(shù)的擬合曲線圖

圖6 PSO－BP算法對目標(biāo)函數(shù)的擬合曲線圖

3 改進(jìn)粒子群算法的BP神經(jīng)網(wǎng)絡(luò)模型算法測試

本算法DPSO與標(biāo)準(zhǔn)粒子群算法PSO相比較，測試該算法的優(yōu)越性．以Sphere函數(shù)和Rastirgrin函數(shù)為基準(zhǔn)測試函數(shù)，進(jìn)行最小值尋優(yōu)．維數(shù)為20維，兩種算法粒子群規(guī)模為40，學(xué)習(xí)因子c1=c2=2，最大迭代次數(shù)1000．表1給出了實(shí)驗(yàn)結(jié)果，圖3與圖4分別給出了Sphere函數(shù)和Rastirgrin函數(shù)隨迭代次數(shù)增加函數(shù)收斂變化圖．

表1 測試結(jié)果

由圖3和圖4可以看出，DPSO算法具有更快的收斂性，其曲線基本趨于單調(diào)下降狀態(tài)，而標(biāo)準(zhǔn)PSO算法上下波動(dòng)幅度較大，多次出現(xiàn)水平不變．改進(jìn)的DPSO算法不易陷入局部最優(yōu)，可以進(jìn)行全局尋優(yōu)，尋找全局最優(yōu)點(diǎn)．

本文用改進(jìn)的DPSO－BP算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的參數(shù)，使其逃離局部最優(yōu)，提高全局優(yōu)化能力．

基于粒子群優(yōu)化BP神經(jīng)網(wǎng)絡(luò)算法步驟如下:

(1)建立BP神經(jīng)網(wǎng)絡(luò)模型．設(shè)定權(quán)值wji和wkj，閾值λ，輸入學(xué)習(xí)樣本xi(i)，期望輸出為yk．

(2)初始化粒子群．設(shè)定粒子群規(guī)模N，初始化慣性權(quán)重因子最大值wmax最小值wmin．

(3)選擇訓(xùn)練樣本，經(jīng)t次訓(xùn)練后實(shí)際輸出與期望輸出的均方差作為適應(yīng)度函數(shù):fitness(xi)=e(xi)．

(5)根據(jù)(3)，(4)，(5)，(6)式不斷的更新粒子位置和速度．

(6)粒子適應(yīng)度函數(shù)值滿足預(yù)設(shè)精度或迭代次數(shù)達(dá)到預(yù)設(shè)最大次數(shù)則算法停止，輸出的全局最優(yōu)值

4 實(shí)驗(yàn)仿真

標(biāo)準(zhǔn)PSO－BP算法與改進(jìn)DPSO－BP算法對非線性函數(shù)的擬合對比:

采用標(biāo)準(zhǔn)PSO－BP算法和改進(jìn)DPSO－BP算法實(shí)現(xiàn)對非線性函數(shù)∈[－8，12]的逼近，并對二者的優(yōu)化結(jié)果進(jìn)行對比．改進(jìn)DPSO－BP算法對非線性函數(shù)的擬合曲線如圖5、6所示:

結(jié)果分析:在圖5和圖6中的范圍內(nèi)，PSOBP優(yōu)化的輸出值與目標(biāo)函數(shù)輸出值擬合時(shí)具有較大的波動(dòng)性，而DPSO－BP算法優(yōu)化的輸出值趨于平緩，擬合性較好．仿真結(jié)果證明了經(jīng)改進(jìn)的粒子群算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)比標(biāo)準(zhǔn)粒子群算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)能夠有更好的精度和擬合性．

5 結(jié)束語

本文通過采用粒子群算法改進(jìn)粒子群進(jìn)化速率，從而調(diào)整慣性權(quán)重因子，使其呈非線性動(dòng)態(tài)變化，并用其訓(xùn)練神經(jīng)網(wǎng)絡(luò)，最后得到基于改進(jìn)粒子群算法的BP神經(jīng)網(wǎng)絡(luò)模型，該模型與標(biāo)準(zhǔn)粒子群算法訓(xùn)練的BP神經(jīng)網(wǎng)絡(luò)模型相比，有較高的精度和較好的擬合性能．

[1] 高雋．人工神經(jīng)網(wǎng)絡(luò)原理及仿真實(shí)例[M]．北京:機(jī)械工業(yè)出版社，2003，151－153．

[2] 徐晉．一種前饋神經(jīng)網(wǎng)絡(luò)綜合快速學(xué)習(xí)算法[J]．內(nèi)蒙古工業(yè)大學(xué)學(xué)報(bào)，2003，22(3):232－236．

[3] 葛哲學(xué)，孫志強(qiáng)．神經(jīng)網(wǎng)絡(luò)理論與MATLAB R2007[M]．北京:電子工業(yè)出版社，2007，108－116．

[4] Hu x，Eberhart R．C．Solving Constrained Nonlinear Optimization Problems with Particle Swarm Ptimization[C]．in:Proceedings of 6th World Multiconference on Systemics，Cybernetics and Informatics，2002．

[5] 謝錚桂，鐘少丹，韋玉科．改進(jìn)的粒子群算法及收斂性分析[J]．計(jì)算機(jī)工程與應(yīng)用，2011，47(1):46 －49．

[6] 任子暉，王堅(jiān)．一種動(dòng)態(tài)改變慣性權(quán)重的自適應(yīng)粒子群算法[J]．計(jì)算機(jī)科學(xué)．2009，2(36):227－256．

[7] Ali T．Al－ Awami，Azzedine Zerguine，Lahouari Cled．A New Modified Particle Swarm Optimization Algorithm for Adaptive E-qualization[J]．Digital Signal Signal Processing．2011，21(2):195－207．

[8] SUN Chao－ li，ZENG Jian － chao，PAN Jeng － shyang ．An Improved Vector Particle Swarm Optimization for Constrained Optimization Problems[J]．Information Sciences，2011，181(2):1153–1163．