改進(jìn)人工魚群算法的小波神經(jīng)網(wǎng)絡(luò)模型

劉杰，甘旭升，戴喆，魏野

（1.西京學(xué)院，西安710123；2.空軍工程大學(xué)空管領(lǐng)航學(xué)院，西安710051；3.解放軍93175部隊(duì)，長春130051）

改進(jìn)人工魚群算法的小波神經(jīng)網(wǎng)絡(luò)模型

劉杰1，甘旭升2，戴喆2，魏野3

（1.西京學(xué)院，西安710123；2.空軍工程大學(xué)空管領(lǐng)航學(xué)院，西安710051；3.解放軍93175部隊(duì)，長春130051）

針對小波神經(jīng)網(wǎng)絡(luò)（WNN）算法方面的不足，提出一種基于改進(jìn)人工魚群算法（AFSA）的多分辨率WNN建模方法。該方法引入混沌初始化策略和免疫調(diào)節(jié)機(jī)制，用以克服基本AFSA存在的缺陷，并將改進(jìn)后AFSA用于訓(xùn)練多分辨率WNN模型。仿真結(jié)果表明，所提出方法建模精度高，訓(xùn)練時(shí)間短，能較好控制早熟和局部收斂問題，用于復(fù)雜非線性系統(tǒng)建模是有效的，也是可行的。

小波神經(jīng)網(wǎng)絡(luò)，人工魚群算法，免疫調(diào)節(jié)，混沌系統(tǒng)

0 引言

小波神經(jīng)網(wǎng)絡(luò)（Wavelet Neural Network，WNN）是小波分析理論研究取得突破的基礎(chǔ)上提出的一種前饋神經(jīng)網(wǎng)絡(luò)［1］。在WNN學(xué)習(xí)算法中，BP算法應(yīng)用最為廣泛，并衍生出諸多改進(jìn)算法。BP算法實(shí)質(zhì)上是一種梯度下降學(xué)習(xí)算法，其對連接權(quán)值、尺度因子和平移因子的修正是沿著誤差性能函數(shù)梯度的反方向進(jìn)行的，這使其在解決較復(fù)雜系統(tǒng)的建模時(shí)，可能會(huì)出現(xiàn)算法不穩(wěn)定、易陷入局部極小等問題，而且其精度和收斂速度也存在較大改善空間，勢必會(huì)影響建模效果。針對這一問題，學(xué)者們提出了許多解決方案，并進(jìn)行了驗(yàn)證［2］。研究表明，人工魚群算法（Artificial Fish Swarm Algorithm，AFSA）在解決類似神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)問題時(shí)，是BP算法一種很好的替代方法。AFSA主要優(yōu)點(diǎn)是結(jié)構(gòu)簡單、收斂速度快、可兼顧并行性和全局性。但也存在早熟收斂，無法保證收斂到全局最優(yōu)點(diǎn)的不足，性能也尚存在改善空間，有待于深入研究和改進(jìn)［3-4］。

基于此，針對AFSA不足，引入混沌初始策略和免疫調(diào)節(jié)機(jī)制，并將其應(yīng)用于WNN的訓(xùn)練中，以有效滿足非線性系統(tǒng)建模的實(shí)用需要，并進(jìn)行了驗(yàn)證。

1 多分辨率小波網(wǎng)絡(luò)

WNN是從小波變換基礎(chǔ)上發(fā)展起來的新型神經(jīng)網(wǎng)絡(luò)，由于使用小波基取代通常的神經(jīng)元非線性激勵(lì)函數(shù)，結(jié)合了小波變換良好的時(shí)頻局域化性質(zhì)和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)功能，因而WNN具有較強(qiáng)逼近和容錯(cuò)能力。

對于離散小波變換，由小波函數(shù)

圖1 小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

實(shí)際上，對WNN訓(xùn)練就是指對參數(shù)wji，wkj，mj，nj進(jìn)行最優(yōu)化估計(jì)的過程，采用不同算法優(yōu)化參數(shù)wji，wkj，mj，nj就形成不同WNN算法。

2 人工魚群算法

文獻(xiàn)［3］提出一種隨機(jī)優(yōu)化算法——AFSA算法。AFSA算法通過模仿魚的運(yùn)動(dòng)、聚集等行為構(gòu)造人工魚，利用覓食、聚群及追尾行為調(diào)整自身位置，經(jīng)過一段時(shí)間后，各人工魚在各極值處聚集，并通過局部尋優(yōu)搜索全局最優(yōu)值。魚的典型行為可描述為：

（1）覓食行為：指魚通過判斷食物的位置和濃度以接近食物的行為。

（2）聚群行為：指魚游動(dòng)中趨于聚集起來尋覓食物、躲避危害的行為。魚聚群時(shí)所遵守的規(guī)則有3條：①分隔規(guī)則：盡量避免與臨近伙伴過于擁擠；②對準(zhǔn)規(guī)則：盡量與臨近伙伴的平均方向一致；③內(nèi)聚規(guī)則：盡量向臨近伙伴的中心移動(dòng)。

（3）追尾行為：指當(dāng)一條或幾條魚找到食物時(shí)，附近魚會(huì)尾隨而至，遠(yuǎn)處魚也會(huì)向此集中的行為。

（4）隨機(jī)行為：指未找到食物前，各條魚隨機(jī)游動(dòng)，從而加大了找到食物的可能性。

各人工魚根據(jù)周圍環(huán)境的感知，每次移動(dòng)經(jīng)過嘗試后，執(zhí)行其中一種行為。AFSA算法就是利用以上典型行為，從構(gòu)造單條魚底層行為作起，通過魚群中各個(gè)體的局部尋優(yōu)，以達(dá)到獲取全局最優(yōu)值。算法運(yùn)行就是人工魚個(gè)體通過覓食、聚群以及追尾行為的自適應(yīng)活動(dòng)過程。

3 人工魚群算法的改進(jìn)策略

與其他生物群體優(yōu)化算法一樣，AFSA在解決復(fù)雜優(yōu)化問題時(shí)，也存在易陷入局部極值和優(yōu)化效率不高的不足。針對這一問題，本文根據(jù)混沌系統(tǒng)和免疫系統(tǒng)表現(xiàn)出特性，引入了混沌初始策略和免疫調(diào)節(jié)機(jī)制，以期有效改善AFSA的總體優(yōu)化性能。

3.1 引入混沌初始策略

混沌是非線性系統(tǒng)所表現(xiàn)出的一種特有現(xiàn)象，如初始值敏感性、偽隨機(jī)性、遍歷性、規(guī)律性。在基本AFSA中，人工魚群初始化采用隨機(jī)化辦法，盡管可以保證初始化魚群的多數(shù)個(gè)體是均勻分布的，但部分個(gè)體可能遠(yuǎn)離最優(yōu)解。若通過混沌特性改善人工魚群的初始化質(zhì)量，將會(huì)改善求解的效率和質(zhì)量［5-6］。本文采用經(jīng)典Logistic映射方程來實(shí)現(xiàn)混沌變量的演變，如式

式中，混沌變量x?（0，1），且x?{0.25，0.5，0.75}，系統(tǒng)完全處于混沌狀態(tài)，x將在（0，1）范圍內(nèi)遍歷。

3.2 引入免疫調(diào)節(jié)機(jī)制

由免疫學(xué)原理可知，免疫系統(tǒng)的諸多功能和機(jī)理，對解決工程實(shí)際問題具有借鑒意義。在免疫調(diào)節(jié)中，為了維持抗體的多樣性，抗體濃度越小，被選中的概率越大；抗體濃度越大，被選中概率就越小。這種選擇機(jī)制既保留了高適應(yīng)值個(gè)體，又維持了抗體多樣性，進(jìn)而避免了早熟現(xiàn)象。免疫記憶指免疫系統(tǒng)將與抗原發(fā)生反應(yīng)的抗體作為記憶細(xì)胞記憶下來，當(dāng)同類抗原再次侵入時(shí)，相應(yīng)地記憶細(xì)胞被激活而產(chǎn)生大量的抗體，縮短免疫反應(yīng)時(shí)間?；谝陨戏治?，將人工魚群中人工魚視為免疫系統(tǒng)的抗體，把免疫系統(tǒng)的這些特性引入基本AFSA中。基本思想：當(dāng)人工魚群執(zhí)行覓食、聚群、追尾行為中，若連續(xù)迭代若干次，目標(biāo)函數(shù)值無明顯變化，可按一定概率在魚群中隨機(jī)抽取一定量的人工魚個(gè)體，并從特征屬性信息或先驗(yàn)知識中有針對性地提取疫苗，并通過“免疫選擇”和“接種疫苗”對這些人工魚（抗體）的參數(shù)進(jìn)行修改，形成新的人工魚群參與運(yùn)算，以期達(dá)到改善全局優(yōu)化性能和避免陷于局部收斂的目的［7-8］。

4 改進(jìn)人工魚群算法訓(xùn)練多分辨率WNN過程

采用改進(jìn)AFSA訓(xùn)練多分辨率WNN，需將網(wǎng)絡(luò)參數(shù)編碼為人工魚，即人工魚每一維度對應(yīng)WNN中一個(gè)參數(shù)wji，wkj，mj或nj（i=1，…，I；j=1，…，J；k=1，…，K）。適應(yīng)值函數(shù)選取為

式中，T為樣本總數(shù)，y^為網(wǎng)絡(luò)預(yù)測值。WNN參數(shù)搜索空間維數(shù)為D=I·J+J·K+2·J。

用改進(jìn)人工魚群算法訓(xùn)練具有三層多分辨率WNN，可按以下步驟進(jìn)行：

（1）設(shè)置WNN和改進(jìn)AFSA的有關(guān)參數(shù)。給定的輸入/輸出訓(xùn)練樣本集，設(shè)計(jì)WNN的隱層節(jié)點(diǎn)個(gè)數(shù)；混沌初始化魚群個(gè)數(shù)Nc、魚群規(guī)模N、最大迭代次數(shù)Maxiter、目標(biāo)精度ε、Visual、Step、Try-number和δ。初始迭代次數(shù)Num=0。

（2）魚群初始化：在可行解空間內(nèi)對WNN參數(shù)wji，wkj，mj和nj進(jìn)行人工魚編碼，并按式（3）的混沌策略產(chǎn)生Nc條人工魚，并從中選出N（N＜Nc）條較優(yōu)個(gè)體作為初始魚群。

（3）根據(jù)式（4）計(jì)算魚群各個(gè)體當(dāng)前位置的適應(yīng)值，并取適應(yīng)值最小的人工魚賦給公告板。

（4）魚群中各個(gè)體分別模擬聚群行為和追尾行為，選擇適應(yīng)值較大行為作為實(shí)際執(zhí)行方式，默認(rèn)為覓食行為；此外，每次行動(dòng)后，檢查自身適應(yīng)值是否優(yōu)于公告板紀(jì)錄，若優(yōu)于紀(jì)錄，則更新公告板，并選取魚群最優(yōu)的Xl（l=1，2，…，p）作為免疫記憶人工魚，存入記憶庫。

（5）若滿足Maxiter或ε，訓(xùn)練結(jié)束，并轉(zhuǎn)向步驟7；否則，Num=Num+1，轉(zhuǎn)向步驟6。

（6）以基于免疫的新一代人工魚群的產(chǎn)生機(jī)制為指導(dǎo)，提取疫苗λ，新生成N+M條新人工魚，采用下式計(jì)算人工魚個(gè)體的選擇概率，選取概率較大的N條人工魚構(gòu)建新魚群；按比例執(zhí)行疫苗接種和免疫選擇操作，返回步驟4。

（7）將公告板上的最優(yōu)人工魚解碼為WNN的參數(shù)wji，wkj，mj和nj，得到WNN模型。

4 算例分析

4.1 分段函數(shù)逼近

設(shè)非線性分段函數(shù)為：

在［-10，10］范圍內(nèi)取481個(gè)樣本點(diǎn)。實(shí)驗(yàn)參數(shù)設(shè)置：混沌初始化魚群個(gè)數(shù)Nc=100，魚群規(guī)模N=40，最大迭代次數(shù)Maxiter=200，Try-number=20，Visual=2.95，Step=0.15，δ=0.618，根據(jù)經(jīng)驗(yàn)參考公式，隱含層節(jié)點(diǎn)個(gè)數(shù)取30。實(shí)驗(yàn)結(jié)果如表1、圖2和圖3所示，其中，“---”代表逼近曲線，“—”代表參考曲線。MSE代表均方誤差。

表1 各模型逼近性能對比

從實(shí)驗(yàn)結(jié)果可以看出，AFSA-WNN和IAFSA-WNN的總體性能都比BP-WNN有了顯著提高，這說明基于人工魚群的全局優(yōu)化技術(shù)，確實(shí)能夠有效減少由系統(tǒng)的非線性特性引起的系統(tǒng)誤差，改善WNN的逼近性能。而相比之下，IAFSA-WNN逼近誤差更小，收斂速度也與IAFSA-WNN大體相當(dāng)，這說明引入混沌初始策略和免疫調(diào)節(jié)機(jī)制，可有效提升AFSA的搜索精度和全局優(yōu)化能力，并在一定程度上避免了早熟和局部收斂問題。

圖2 IAFSA-WNN的逼近效果

圖3 IAFSA-WNN訓(xùn)練收斂曲線

4.2 UCI標(biāo)準(zhǔn)數(shù)據(jù)集預(yù)測

為了驗(yàn)證算法有效性，采用UCI機(jī)器學(xué)習(xí)數(shù)據(jù)庫中的2個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集進(jìn)行了測試。數(shù)據(jù)集及實(shí)驗(yàn)相關(guān)信息如下頁表2所示。參數(shù)設(shè)置同4.1。

表2 數(shù)據(jù)集及實(shí)驗(yàn)相關(guān)信息

從表3中的平均測試結(jié)果可得出相同結(jié)論，IAFSA-WNN比其他兩種算法具有更好的訓(xùn)練和預(yù)測性能，能以更少時(shí)間完成WNN訓(xùn)練，這是BP-WNN和AFSA-WNN算法所無法辦到的，也進(jìn)一步證明了IAFSA-WNN的有效性和可行性，值得深入研究和推廣使用。

表3 訓(xùn)練和測試性能比較

5 結(jié)束語

針對基本AFSA存在早熟和局部收斂的不足，引入混沌初始策略和免疫調(diào)節(jié)機(jī)制，對AFSA進(jìn)行了改進(jìn)，并將其用于WNN訓(xùn)練。分段函數(shù)逼近和UCI標(biāo)準(zhǔn)數(shù)據(jù)集預(yù)測的測試結(jié)果表明，WNN的IAFSA實(shí)現(xiàn)簡便，不易陷人局部極小，能以較少的時(shí)間收斂于比較理想的精度，并具有良好的預(yù)測性能，較之BP-WNN和IAFSA-WNN具有一定優(yōu)勢，也為其他類似優(yōu)化問題的研究提供了新思路。

［1］Zhang Q H，Benveniste A.Wavelet Network［J］.IEEE Transactions on Neural Networks，1992，3（6）：889-898.

［2］Zhang Q H.Using Wavelet Network in Nonparametric Estimation［J］.IEEE Transactions on Neural Networks，1997，8（2）：227-236.

［3］李曉磊，邵之江，錢積新.一種基于動(dòng)物自治體的尋優(yōu)模式：魚群算法［J］.系統(tǒng)工程理論與實(shí)踐，2002，22（11）：32-38.

［4］李曉磊，錢積新.基于分解協(xié)調(diào)的人工魚群優(yōu)化算法研究［J］.電路與系統(tǒng)學(xué)報(bào)，2003，8（1）：1-6.

［5］曲良東，何登旭.一種混沌人工魚群優(yōu)化算法［J］.計(jì)算機(jī)工程與應(yīng)用，1998，36（22）：40-42.

［6］王闖.人工魚群算法的分析及改進(jìn)［D］.大連：大連海事大學(xué)，2008.

［7］劉雙印.免疫人工魚群神經(jīng)網(wǎng)絡(luò)的經(jīng)濟(jì)預(yù)測模型［J］.計(jì)算機(jī)工程與應(yīng)用，2008，45（20）：226-229.

［8］莫宏偉.人工免疫系統(tǒng)原理與應(yīng)用［M］.哈爾濱：哈爾濱工業(yè)大學(xué)出版社，2002.

Wavelet Neural Network Model Based on Modified Fish Swarm Algorithm

LIU Jie1，GAN Xu-sheng2，DAI Zhe2，WEI Ye3
（1.Xijing College，Xi’an 710123，China；2.Air Traffic Control and Navigation College，Air Force Engineering University，Xi’an 710051，China；3.Unit 93175 of PLA，Changchun 130051，China）

For the shortcoming on the algorithm of Wavelet Neural Network（WNN），a WNN modeling method based on modified Artificial Fish Swarm Algorithm（AFSA）is proposed.In the method，the chaotic initialization strategy and immune regulation mechanism are first introduced to overcome the inefficiency of simple AFSA，and then the modified AFSA is used to train the WNN model.The simulation result show that，the proposed method has a good ability with features of modeling accuracy，training time，controlling precocity and local convergence，and it is also effective and feasible for the modeling of nonlinear complex system.

wavelet neural network，artificial fish swarm algorithm，immune regulation，chaotic system

TP311

A

1002-0640（2015）12-0115-04

2014-12-15

2015-02-09

劉杰（1973-），男，陜西西安人，碩士。研究方向：計(jì)算機(jī)學(xué)科的數(shù)據(jù)庫、編程等。