一種自適應(yīng)的混沌粒子群優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)算法

張 義，田愛(ài)奎，韓士元

(1.山東理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山東淄博 255049; 2.濟(jì)南大學(xué)信息科學(xué)與工程學(xué)院，濟(jì)南 250022)

一種自適應(yīng)的混沌粒子群優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)算法

張 義1，田愛(ài)奎1，韓士元2

(1.山東理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山東淄博 255049; 2.濟(jì)南大學(xué)信息科學(xué)與工程學(xué)院，濟(jì)南 250022)

為了提高RBF神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)效果，針對(duì)RBF神經(jīng)網(wǎng)絡(luò)的不足提出一種自適應(yīng)混沌粒子群優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)算法(SACPSO-RBF)。該算法主要采用自適應(yīng)和混沌操作，采用粒子群算法對(duì)RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化。利用個(gè)體的變異、個(gè)體之間的交叉操作和個(gè)體的混沌擾動(dòng)，有效克服了粒子群算法的局部收斂性。使用該優(yōu)化算法對(duì)測(cè)試函數(shù)序列進(jìn)行預(yù)測(cè)，并對(duì)算法的有效性進(jìn)行檢驗(yàn)。實(shí)驗(yàn)結(jié)果表明:改進(jìn)的算法具有良好的預(yù)測(cè)能力。

混沌;自適應(yīng);RBF神經(jīng)網(wǎng)絡(luò);變異;交叉

徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)(RBFNN)是由輸入層、隱含層和輸出層構(gòu)成的一種特殊的3層前饋神經(jīng)網(wǎng)絡(luò)，具有結(jié)構(gòu)簡(jiǎn)單、非線性逼近能力強(qiáng)、收斂速度快以及可全局收斂等優(yōu)點(diǎn)［1］。盡管該網(wǎng)絡(luò)有諸多優(yōu)點(diǎn)，但是其網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)參數(shù)(包括隱含層節(jié)點(diǎn)個(gè)數(shù)、中心、寬度和隱含層與輸出層的權(quán)值等)難以確定。粒子群算法(PSO)是一種群體優(yōu)化算法，具有良好的全局尋優(yōu)特點(diǎn)。因此，將這兩種算法相結(jié)合，對(duì)PSO算法中的粒子結(jié)構(gòu)使用RBF的參數(shù)設(shè)定，通過(guò)PSO算法尋找最優(yōu)參數(shù)，從而為RBF設(shè)定最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)。

盡管PSO算法具有可全局尋優(yōu)的特點(diǎn)，但是PSO算法會(huì)陷入“早熟”，尋優(yōu)效果不是很理想［2］。針對(duì)以上不足，本文提出一種自適應(yīng)的混沌粒子群優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)的算法［3-19］。針對(duì)PSO的“早熟”現(xiàn)象，使用混沌擾動(dòng)的方法對(duì)全局最優(yōu)粒子進(jìn)行干擾，以跳出局部最優(yōu)。通過(guò)模擬退火算法，使用自適應(yīng)交叉變異的方法增加粒子的多樣性，提高PSO算法的全局搜索能力。

1 自適應(yīng)混沌粒子群優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)算法

1.1 RBF神經(jīng)網(wǎng)絡(luò)

RBF神經(jīng)網(wǎng)絡(luò)是3層前饋網(wǎng)絡(luò)，主要包括輸入層、隱含層、輸出層。假設(shè)在D維空間內(nèi)有M個(gè)樣本，則第i個(gè)樣本的為輸入向量，i∈［1，M］。N為輸出解空間維度，令Y= (y1，y2，…，yn)為輸出向量。使用高斯函數(shù)作為隱含層的徑向基函數(shù)，公式如下:

神經(jīng)網(wǎng)絡(luò)的輸出公式為

其中:ωi為隱含層中第i個(gè)結(jié)點(diǎn)到輸出結(jié)點(diǎn)的權(quán)值;m為隱含層結(jié)點(diǎn)的個(gè)數(shù)。

1.2 粒子群優(yōu)化算法

粒子群算法因模擬鳥(niǎo)群捕食行為而得名，是眾多集群智能算法中的一種，具有快速搜索能力和全局尋優(yōu)功能［3］。

其中:ω為慣性權(quán)重;c1，c2為加速度系數(shù);η1，η2

為［0，1］的隨機(jī)數(shù)。

1．3 優(yōu)化工作

1．3．1 混沌

利用Logistic混沌序列擾動(dòng)粒子群，其步驟如下:

1)將初始粒子根據(jù)式(5)映射到［0，1］范圍內(nèi)，當(dāng)xi∈［ai，bi］時(shí)，公式為

2)根據(jù)Logistic公式生成序列:

當(dāng)μ接近4時(shí)，Logistic處于混沌狀態(tài)?？梢允褂迷摴降玫絅個(gè)混沌的解空間。

3)將步驟2)中生成的混沌空間中的向量根據(jù)式(7)映射到原始解空間范圍內(nèi)，得到向量組X={X1，X2，…，Xn}，公式如下:

1．3．2 變異

對(duì)粒子采取變異操作，將粒子X(jué)i根據(jù)式(8)進(jìn)行變異。如果新產(chǎn)生的粒子適應(yīng)度優(yōu)于原始粒子，則使用新粒子替換原始粒子。

其中:α［0，1］表示條件系數(shù);c為抗體的濃度，是適應(yīng)度最大的粒子個(gè)數(shù)與粒子總數(shù)的比值。

1．3．3 交叉

粒子在迭代更新過(guò)程中，使自身粒子與其他粒子相交叉，生成相同數(shù)目的子粒子。若子粒子的適應(yīng)度有所改進(jìn)，則替換原來(lái)的粒子以增加粒子群粒子的多樣性。交叉公式如下［6］:速度交叉公式為:

式(9)～(12)中:δi∈［0，1］;Ck(X)為子粒子的位置;Ck(v)為子粒子的速度。

1．3．4 自適應(yīng)

在PSO算法中，當(dāng)參數(shù)ω較大時(shí)，利于全局搜索;當(dāng)ω取值較小時(shí)，局部搜索能力強(qiáng)，利于獲取最優(yōu)精度解。因此，本文使用自適應(yīng)的ω，c1，c2取值方式，即在開(kāi)始時(shí)采用較大的系數(shù)，使粒子以較快的速度接近最優(yōu)粒子;在完成一定程度的搜索后，使用較小的系數(shù)，提高群體局部搜索的能力，查找最優(yōu)解。公式如下:

其中:0．1≤ωe≤ωb≤0．9;0＜ce≤cb≤4;ItM是最大迭代次數(shù);It是當(dāng)前迭代次數(shù)。

1.4 算法優(yōu)化

自適應(yīng)混沌粒子群優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)算法流程如圖1所示，其中粒子尋優(yōu)部分的流程見(jiàn)圖2。

步驟1 粒子群初始化

采用2級(jí)結(jié)構(gòu)粒子。第1級(jí)采用二進(jìn)制編碼，使用0/1表示隱含層節(jié)點(diǎn)所處狀態(tài)，0是休眠，1是激活;第2級(jí)采用十進(jìn)制編碼，每位代表RBF神經(jīng)網(wǎng)絡(luò)的相關(guān)參數(shù)(中心點(diǎn)、寬度)，結(jié)構(gòu)如圖3所示。

圖1 自適應(yīng)混沌粒子群優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)算法流程

圖2 粒子尋優(yōu)流程

圖3 粒子結(jié)構(gòu)

隱含層節(jié)點(diǎn)的個(gè)數(shù)可以根據(jù)式(16)確定［2］:

其中:μ∈［1，10］;m為輸入節(jié)點(diǎn)個(gè)數(shù);n為輸出節(jié)點(diǎn)個(gè)數(shù)。因此，設(shè)置第1級(jí)編碼中的基因個(gè)數(shù)為H。隨機(jī)選取H個(gè)樣本Xi為初始化中心Ci，初始化寬度σi根據(jù)式(17)計(jì)算獲得，i=1，2，…，H。

其中:L為選取中心的最大距離;M為隱含層結(jié)點(diǎn)個(gè)數(shù)。使用LMS方法獲取計(jì)算權(quán)值ωi。

步驟2 根據(jù)式(18)計(jì)算每個(gè)粒子的適應(yīng)度值。

其中:N為粒子總數(shù);yi為輸出結(jié)點(diǎn)的目標(biāo)輸出值;y'i為實(shí)際的輸出值。

步驟3 根據(jù)式(3)、(4)更新粒子位置速度，取得新一代的粒子群。ω，c1，c2采用式(13)～(15)進(jìn)行更新。

步驟4 粒子干擾并尋優(yōu)的過(guò)程如下:

1)計(jì)算新一代粒子群的適應(yīng)度值，判斷是否滿足條件，若滿足，轉(zhuǎn)向步驟6);否則轉(zhuǎn)向步驟2)。

2)根據(jù)式(18)～(20)計(jì)算群體適應(yīng)度方差σ2:

其中:fi代表第i個(gè)粒子的適應(yīng)度值;favg為粒子群中所有粒子的平均適應(yīng)度。σ2能夠表現(xiàn)種群的搜索收斂情況，其值越小越收斂。若前后兩次σ2的差小于某個(gè)很小的閾值，可以認(rèn)為搜索過(guò)程中出現(xiàn)了“早熟”現(xiàn)象。若搜索出現(xiàn)“早熟”現(xiàn)象，則對(duì)粒子群最優(yōu)位置向量進(jìn)行混沌擾動(dòng)，并計(jì)算混沌擾動(dòng)后的向量獲取最優(yōu)的粒子P*。用P*向量隨機(jī)取代群體中的某個(gè)粒子，從而增加粒子群的多樣性，跳出局部最優(yōu)的限制。

3)若粒子P的適應(yīng)度小于平均適應(yīng)度，則根據(jù)式(8)對(duì)粒子進(jìn)行變異，并根據(jù)新粒子的適應(yīng)度優(yōu)劣替代原粒子。

4)若粒子P的適應(yīng)度小于平均適應(yīng)度，則根據(jù)式(9)～(12)對(duì)粒子進(jìn)行交叉，并根據(jù)新粒子的適應(yīng)度好壞替代原粒子。

5)更新粒子位置速度，返回步驟1)。

6)進(jìn)化結(jié)束，返回最優(yōu)解。

2 仿真結(jié)果分析

本文采用測(cè)試函數(shù)——Schwefel函數(shù)進(jìn)行仿真分析，其函數(shù)公式為

使用該函數(shù)產(chǎn)生100個(gè)樣本數(shù)據(jù)，前80個(gè)樣本作為培訓(xùn)樣本，后20個(gè)樣本用于模型測(cè)試。本文將SACPSO-RBF算法與RBF算法的結(jié)果進(jìn)行比較。圖4為SACPSO-RBF與RBF兩種算法針對(duì)每個(gè)測(cè)試樣本的預(yù)測(cè)值與函數(shù)真實(shí)值的對(duì)比情況。圖5是兩種算法針對(duì)每個(gè)測(cè)試樣本的誤差對(duì)比。對(duì)比結(jié)果表明:在相同維度、相同的測(cè)試數(shù)據(jù)情況下，SACPSO-RBF算法比RBF算法擁有更好的預(yù)測(cè)精度。表1為相同測(cè)試數(shù)據(jù)下，在不同維度中兩種算法的誤差絕對(duì)值總和的對(duì)比。從表1中可以看出:隨著維度的增大，SACPSO-RBF算法相比RBF算法擁有更明顯的優(yōu)勢(shì)。

圖4 預(yù)測(cè)值與真實(shí)值對(duì)比

圖5 誤差對(duì)比

表1 總誤差對(duì)比

3 結(jié)束語(yǔ)

通過(guò)使用自適應(yīng)的混沌粒子算法對(duì)RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，使得RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)得到最優(yōu)化。使用混沌擾動(dòng)和自適應(yīng)算法對(duì)PSO算法進(jìn)行優(yōu)化，克服了PSO易陷入“早熟”的缺點(diǎn)。最后，通過(guò)仿真分析驗(yàn)證了優(yōu)化工作的有效性。

參考文獻(xiàn):

［1］郝曉麗，張靖.基于改進(jìn)自適應(yīng)聚類算法的RBF神經(jīng)網(wǎng)絡(luò)分類器設(shè)計(jì)與實(shí)現(xiàn)［J］.計(jì)算機(jī)科學(xué)，2014，41 (6):260-263.

［2］孟萌萌.基于RBF神經(jīng)網(wǎng)絡(luò)短期熱網(wǎng)負(fù)荷預(yù)測(cè)研究［D］.哈爾濱:哈爾濱工業(yè)大學(xué)，2013.

［3］王亞，熊焰，龔旭東，等.基于混沌PSO算法優(yōu)化RBF網(wǎng)絡(luò)入侵檢測(cè)模型［J］.計(jì)算機(jī)工程與應(yīng)用，2013，49 (10):84-87.

［4］王博.基于線性回歸和神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)模型在國(guó)民經(jīng)濟(jì)數(shù)據(jù)中的應(yīng)用［D］.長(zhǎng)春:吉林大學(xué)，2012.

［5］王芹芹.基于主成分分析和RBF神經(jīng)網(wǎng)絡(luò)的融雪期積雪深度模擬［J］.干旱區(qū)資源與環(huán)境，2014，28(2): 175-178.

［6］李雪.基于粒子群的糧食產(chǎn)量預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)優(yōu)化研究［D］.舟山:浙江海洋學(xué)院，2014.

［7］王曉軍.神經(jīng)網(wǎng)絡(luò)建模方法及數(shù)據(jù)挖掘在煤造氣過(guò)程中的應(yīng)用［D］.北京:北京交通大學(xué)，2014.

［8］張方舟，郝慶輝，周勃，等.遺傳算法的RBF神經(jīng)網(wǎng)絡(luò)在線損計(jì)算中的應(yīng)用［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2014，24(6):192-195.

［9］劉潔，李目，周少武.一種混沌混合粒子群優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)算法［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2013，23(8): 181-184.

［10］朱玉，趙卿，周興東.基于混沌免疫優(yōu)化RBF網(wǎng)絡(luò)的遙感水深反演［J］.計(jì)算機(jī)工程，2013，39(5):188 -191.

［11］武燕.粒子群改進(jìn)算法及在混合神經(jīng)網(wǎng)絡(luò)中的應(yīng)用研究［D］.景德鎮(zhèn):景德鎮(zhèn)陶瓷學(xué)院，2014.

［12］李艷玲.基于神經(jīng)網(wǎng)絡(luò)的電力系統(tǒng)負(fù)荷預(yù)測(cè)問(wèn)題研究［D］.沈陽(yáng):沈陽(yáng)工業(yè)大學(xué)，2014.

［13］葛珉昊.基于混合遞階遺傳算法的RBF網(wǎng)絡(luò)優(yōu)化及在BOD軟測(cè)量中的應(yīng)用［D］.蘭州:蘭州工業(yè)大學(xué)，2014.

［14］陳偉淳.基于多神經(jīng)網(wǎng)絡(luò)的智能電網(wǎng)短期負(fù)荷預(yù)測(cè)研究［D］.廣州:華南理工大學(xué)，2012.

［15］曹秋燕.基于SVM和PSO的信用評(píng)級(jí)模型研究［D］.杭州:浙江工商大學(xué)，2013.

［16］方一新.改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的EMG手指運(yùn)動(dòng)識(shí)別［J］.激光雜志，2014(9):92-95.

［17］蘭勝坤.遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的說(shuō)話人識(shí)別系統(tǒng)［J］.重慶理工大學(xué)學(xué)報(bào):自然科學(xué)版，2013(10):91 -95.

［18］彭繼慎，程英.優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)在壓力傳感器中的應(yīng)用［J］.壓電與聲光，2012(3):414-416.

［19］鐘宇平.基于神經(jīng)網(wǎng)絡(luò)及強(qiáng)化學(xué)習(xí)的智能控制系統(tǒng)［J］.西南大學(xué)學(xué)報(bào):自然科學(xué)版，2013(11):172 -179.

(責(zé)任編輯楊黎麗)

An Adaptive Chaotic Particle Swarm RBF Neural Network Optimization Algorithm

ZHANG Yi1，TIAN Ai-kui1，HAN Shi-yuan2
(1.College of Computer Science and Technology，Shandong University of Technology，Zibo 255049，China; 2.School of Information Science and Engineering，University of Jinan，Jinan 250022，China)

In order to improve the prediction results of RBF neural network，this paper proposed an adaptive chaos particle swarm optimization algorithm of RBF neural network(SACPSO-RBF)according to the shortcomings of the RBF neural network.This algorithm mainly used the adaptive chaotic particle swarm optimization algorithm to optimize the RBF neural network.The use of variation between individuals，the cross over operation and individual chaos disturbance can effectively avoid the local convergence of the particle swarm optimization algorithm.Using the optimization algorithm，we predicted the testing function sequence and tested the validity of the algorithm.Finally，the experimental results show that the algorithm has well prediction ability.

chaos;adaptive;RBF neural network;variation;cross

TP301.6

A

1674-8425(2015)11-0126-05

10.3969/j.issn.1674-8425(z).2015.11.021

2015-04-22

山東省優(yōu)秀中青年科學(xué)家科研獎(jiǎng)勵(lì)基金資助項(xiàng)目(BS2014DX015)

張義(1983—)，女，山東人，碩士研究生，主要從事計(jì)算機(jī)信息化研究;田愛(ài)奎，男，山東人，博士，主要從事計(jì)算機(jī)教育游戲研究。

張義，田愛(ài)奎，韓士元.一種自適應(yīng)的混沌粒子群優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)算法［J］.重慶理工大學(xué)學(xué)報(bào):自然科學(xué)版，2015(11):126-130.

format:ZHANG Yi，TIAN Ai-kui，HAN Shi-yuan.An Adaptive Chaotic Particle Swarm RBF Neural Network Optimization Algorithm［J］.Journal of Chongqing University of Technology:Natural Science，2015(11):126 -130.