混合粒子群OIF—Elman神經(jīng)網(wǎng)絡(luò)系統(tǒng)辨識

黃偉+謝威+付家興

摘 要：本文提出了一種基于混合粒子群優(yōu)化算法的OIF-Elman遞歸神經(jīng)網(wǎng)絡(luò)辨識方法?；旌纤惴ㄈ诤狭肆Ｗ尤核惴ㄅc差分進(jìn)化算法的優(yōu)化能力并加入了在群體最優(yōu)位置附近的高斯變異操作。與三種典型差分進(jìn)化算法的仿真對比結(jié)果說明了，通過以上改進(jìn)加快了算法的收斂速度，提高了優(yōu)化精度。將該辨識方法用于實(shí)驗(yàn)室加熱爐換熱器系統(tǒng)雙入雙出耦合對象的辨識中，獲得的對象模型較之標(biāo)準(zhǔn)的Elman神經(jīng)網(wǎng)絡(luò)辨識精度更高，且結(jié)果表明本方法與采用反向傳播算法作為學(xué)習(xí)算法的OIF-Elman模型相比，基于改進(jìn)粒子群算法優(yōu)化的模型具有更高的精度和更簡單的網(wǎng)絡(luò)結(jié)構(gòu)。

關(guān)鍵詞：差分進(jìn)化；粒子群；高斯變異；OIF-Elman；系統(tǒng)辨識

DOI：10.16640/j.cnki.37-1222/t.2017.05.119

1 概述

神經(jīng)網(wǎng)絡(luò)因具有強(qiáng)大的并行處理能力、自組織和自學(xué)習(xí)能力、非線性映射能力，在系統(tǒng)辨識領(lǐng)域受到了廣泛的重視[1]。采用神經(jīng)網(wǎng)絡(luò)對系統(tǒng)進(jìn)行辨識時，無需知道系統(tǒng)的具體結(jié)構(gòu)，通過對相關(guān)數(shù)據(jù)進(jìn)行訓(xùn)練可以得到辨識模型的網(wǎng)絡(luò)結(jié)構(gòu)，使得辨識更加簡便易行，且可用于閉環(huán)辨識。在工程實(shí)際中，辨識對象大多為動態(tài)系統(tǒng)，且具有較強(qiáng)的非線性，一般的靜態(tài)前饋神經(jīng)網(wǎng)絡(luò)雖然可以采用增加外部遲延的方法辨識動態(tài)系統(tǒng)，但會使網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜化，導(dǎo)致收斂速度變慢。具有內(nèi)部反饋結(jié)構(gòu)的遞歸神經(jīng)網(wǎng)絡(luò)，因自身具有反饋結(jié)構(gòu)，網(wǎng)絡(luò)本身便是一個非線性動態(tài)系統(tǒng)，成為辨識動態(tài)系統(tǒng)的有效方法之一[2]。本文在OIF-Elman[3]遞歸網(wǎng)絡(luò)模型的基礎(chǔ)上，結(jié)合改進(jìn)的粒子群算法對其進(jìn)行優(yōu)化，并用于加熱爐換熱器對象的辨識，辨識的結(jié)果證實(shí)了該方法的可行性和優(yōu)越性。

2 OIF-ELman神經(jīng)網(wǎng)絡(luò)

2.1 OIF-Elman網(wǎng)絡(luò)結(jié)構(gòu)

基本的Elman神經(jīng)網(wǎng)絡(luò)在BP神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上加入了局部反饋鏈接和局部遞歸單元，具有了動態(tài)系統(tǒng)的結(jié)構(gòu)。OIF-Elman網(wǎng)絡(luò)在Elman網(wǎng)絡(luò)的基礎(chǔ)上增加了輸出層節(jié)點(diǎn)的反饋，強(qiáng)化了對動態(tài)系統(tǒng)的擬合能力，被稱為具有輸出-輸入反饋機(jī)制的改進(jìn)Elman網(wǎng)絡(luò)[4]。其結(jié)構(gòu)圖如圖1所示，網(wǎng)絡(luò)的兩個關(guān)聯(lián)層的表達(dá)式分別為[5]：

，

2.2 OIF-Elman網(wǎng)絡(luò)動態(tài)系統(tǒng)仿真

分別采用Elman網(wǎng)絡(luò)及OIF-Elman網(wǎng)絡(luò)對二階動態(tài)系統(tǒng)：，輸入信號為，取樣本個數(shù)為50。學(xué)習(xí)算法均采用誤差反向傳播（BP）學(xué)習(xí)算法并比較兩種網(wǎng)絡(luò)的擬合精度，如圖2所示。圖2（a）為兩種網(wǎng)絡(luò)的訓(xùn)練誤差曲線，圖2（b）為兩種網(wǎng)絡(luò)輸出對應(yīng)每一個樣本的誤差，可見OIF-Elman網(wǎng)絡(luò)相比于Elman網(wǎng)絡(luò)誤差更小，精度更高，在動態(tài)系統(tǒng)辨識上更加有效。

3 混合粒子群優(yōu)化算法

由于傳統(tǒng)的BP學(xué)習(xí)算法收斂速度慢易陷入局部最優(yōu)等缺陷，本文提出一種改進(jìn)的混合粒子群優(yōu)化算法作為OIF-Elman神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法。改進(jìn)的算法在標(biāo)準(zhǔn)粒子群算法模型的基礎(chǔ)上，融入了高斯變異以及差分進(jìn)化算法的交叉變異機(jī)制，并將本文算法與典型的三種差分進(jìn)化粒子群算法（DEPSO）在不同目標(biāo)函數(shù)上進(jìn)行仿真對比。

3.1 算法思想

算法保留了粒子群模型的速度向量，采用常用的一種差分變異策略，增加粒子的多樣性，保證全局搜索能力，但由于目標(biāo)向量是速度向量，故在此基礎(chǔ)上將基向量改為，并加入基于群體最優(yōu)的差分向量，加速種群收斂速度，加強(qiáng)了對群體最優(yōu)附近區(qū)域的挖掘能力[6]。文獻(xiàn)[11]中采用了對于最優(yōu)向量中某一維分量變異的策略得到了很好的效果，在本文算法的高斯變異操作中，只對速度向量的某一維分量進(jìn)行變異。另外為了進(jìn)一步加強(qiáng)算法在群體最優(yōu)附近的挖掘能力，引入高斯變異在最優(yōu)位置附近進(jìn)行搜索。有研究指出，全局最優(yōu)解易出現(xiàn)在粒子群的群體最優(yōu)位置與個體最優(yōu)之間[7]，受此啟發(fā)，本文算法中取群體歷史最優(yōu)位置和歷史次優(yōu)位置之間的區(qū)域進(jìn)行高斯變異。這么選擇首先使高斯變異的范圍根據(jù)搜索進(jìn)程進(jìn)行變化，搜索前期范圍較大，搜索后期范圍會縮小。其次是因?yàn)樵谒惴ㄊ諗亢笃趩栴}的解多在群體最優(yōu)位置附近，當(dāng)粒子位置（由于算法的選擇操作，粒子個體最優(yōu)即是粒子當(dāng)前位置）未越過最優(yōu)解時，算法會使粒子向最優(yōu)解移動并記錄上次最優(yōu)位置，當(dāng)粒子由于速度慣性越過最優(yōu)解時，問題的解便在歷史最優(yōu)位置和歷史次優(yōu)位置之間，所以說這個范圍是最具價值的搜索空間。實(shí)驗(yàn)證明這種方式對于單峰及多峰函數(shù)起到了局部挖掘，促進(jìn)收斂的作用。

根據(jù)上述原理，本文算法步驟如下：

（1）初始化。初始化種群個數(shù)，迭代次數(shù)，以及所有粒子的位置和速度。

（2）計(jì)算每個粒子的適應(yīng)度值，初始化種群個體歷史最優(yōu)和群體最優(yōu)。

（3）判斷是否達(dá)到結(jié)束條件，如是則輸出當(dāng)前全局最優(yōu)值，否則執(zhí)行下面步驟。

（4）對粒子速度向量中隨機(jī)選擇的一維，按照下面公式進(jìn)行變異。更新粒子位置后采用差分進(jìn)化算法的選擇機(jī)制，與之前粒子位置的適應(yīng)度值進(jìn)行比較，若當(dāng)前粒子比之前粒子的適應(yīng)度值更優(yōu)，則用當(dāng)前粒子進(jìn)行替換，否則保留前一代粒子到下一代。

（5）記錄粒子群的歷史最優(yōu)及歷史次優(yōu)，采用下式進(jìn)行高斯變異，在歷史最優(yōu)與歷史次優(yōu)之間進(jìn)行挖掘，尋找更優(yōu)的粒子對當(dāng)前最優(yōu)粒子進(jìn)行替換，并更新次優(yōu)粒子位置。

（6）返回步驟（3）。

3.2 數(shù)值仿真

將本文提出的算法與標(biāo)準(zhǔn)粒子群算法（PSO）、差分進(jìn)化算法（DE）以及三種典型的差分進(jìn)化與粒子群的結(jié)合算法[8]（本文將其稱為：I輔助式[9]、II集成式[10]和III協(xié)作式[11]）進(jìn)行對比，選用Ackley多峰函數(shù)、Griewank函數(shù)、Rastrigin函數(shù)、Rosenbrock函數(shù)四種測試函數(shù)作為算法的目標(biāo)函數(shù)，仿真結(jié)果如圖3及表1所示。

由圖3可知，本文改進(jìn)算法在Rastrigin多峰函數(shù)優(yōu)化上的優(yōu)勢顯著，PSO算法和DE算法以及類型II均陷入了局部最優(yōu)，類型I和類型III的改進(jìn)算法依然繼續(xù)搜索趨勢，但與本文所提算法相比速度極慢。在其他函數(shù)如Rosenbrock函數(shù)仿真結(jié)果上，相比于其他算法，本文改進(jìn)算法達(dá)到更高精度，表現(xiàn)出在此單峰問題求解中的優(yōu)勢。

4 對加熱爐-對流換熱系統(tǒng)辨識

4.1 加熱爐換熱器控制系統(tǒng)的組成

將本文的辨識方法應(yīng)用到加熱爐換熱器雙入雙出耦合對象，控制系統(tǒng)的方框圖如圖4所示。其輸出為內(nèi)膽溫度T1和換熱器冷卻水出口溫度T2，輸入為控制器1和控制器2的輸出信號即加熱器與變頻器的開度信號U1和U2。故設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)辨識模型的輸出為T1和T2，輸入為U1和U2。

訓(xùn)練樣本以5秒的采樣間隔取控制回路閉合時加入換熱器冷卻水出口溫度設(shè)定值后500秒內(nèi)的100組控制器的輸出以及溫度數(shù)據(jù)，所有試驗(yàn)數(shù)據(jù)做歸一化處理，訓(xùn)練次數(shù)為300次。

4.2 仿真對比及結(jié)果分析

將本文方法與采用BP學(xué)習(xí)的OIF-Elman網(wǎng)絡(luò)及采用上述類型III優(yōu)化算法的OIF-Elman網(wǎng)絡(luò)進(jìn)行對比，如圖5所示。經(jīng)過訓(xùn)練，三種網(wǎng)絡(luò)模型均收斂到了一定的精度，本文提出的網(wǎng)絡(luò)模型相比于BP算法OIF-Elman網(wǎng)絡(luò)及類型III-OIFElman網(wǎng)絡(luò)以較少的訓(xùn)練次數(shù)收斂到了較高精度。表2為三種模型的辨識誤差，同時也加入了標(biāo)準(zhǔn)Elman神經(jīng)網(wǎng)絡(luò)的辨識誤差作為對比，可以看出采用本文算法的OIF-Elman網(wǎng)絡(luò)的辨識精度更高。

圖6為三種網(wǎng)絡(luò)模型對訓(xùn)練樣本輸出信號的擬合曲線，更加直觀地展現(xiàn)出網(wǎng)絡(luò)模型的辨識效果，由圖可見，同樣是采用本文算法的OIF-Elman網(wǎng)絡(luò)模型相比其他兩種模型對于樣本的擬合效果更好。

5 結(jié)束語

加熱爐換熱器對象是一個多入多出的動態(tài)過程，采用OIFElman這種遞歸型神經(jīng)網(wǎng)絡(luò)對加熱爐換熱器對象閉環(huán)調(diào)節(jié)過程的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行了辨識，得到具有一定精度的神經(jīng)網(wǎng)絡(luò)模型。采用BP算法，網(wǎng)絡(luò)的隱層節(jié)點(diǎn)較多，收斂速度慢，且精度不高。采用粒子群等智能算法優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)值、閾值、關(guān)聯(lián)系數(shù)、關(guān)聯(lián)層初始值，較之BP算法，智能優(yōu)化算法表現(xiàn)出了較快的收斂速度與精度，省卻了人為給定關(guān)聯(lián)系數(shù)及關(guān)聯(lián)層初值這一步驟，同時表現(xiàn)出了較強(qiáng)的搜索能力，簡化神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，得出了在同樣規(guī)模的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)下BP算法無法搜索到的解。本文提出的混合算法較之多種改進(jìn)的差分進(jìn)化粒子群算法在仿真結(jié)果上表現(xiàn)出較好的搜索能力，并應(yīng)用到神經(jīng)網(wǎng)絡(luò)對象辨識中，針對加熱爐換熱器對象得到了一種結(jié)構(gòu)簡單，精度更高的神經(jīng)網(wǎng)絡(luò)模型。

參考文獻(xiàn)：

[1]茹菲，李鐵鷹.人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)辨識綜述[J].軟件導(dǎo)刊， 2011，10（03）：134-135.

[2]章國升.基于遞歸神經(jīng)網(wǎng)絡(luò)的非線性系統(tǒng)辨識研究[D].蘭州： 蘭州大學(xué)，2010.

[3]時小虎，梁艷春，徐旭.改進(jìn)的Elman模型與遞歸反傳控制神經(jīng)網(wǎng)絡(luò)[J].軟件學(xué)報，2003，14（06）：82-91.

[4]王琛.超超臨界機(jī)組非線性動態(tài)模型的研究[D].北京：華北電力大學(xué)（北京），2010.

[5]姚柳.超超臨界機(jī)組的建模與仿真[D].北京：華北電力大學(xué)（北京），2011.

[6]宋錦，師玉嬌，高浩等.基于新型變異策略的差分進(jìn)化算法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2016，37（05）：1285-1290.

[7]Gao H，Xu W. Particle Swarm Algorithm with Hybrid Mutation Strategy[J]. Applied Soft Computing， 2011， 11（8）： 5129-5142.

[8]辛斌，陳杰.粒子群優(yōu)化與差分進(jìn)化混合算法的綜述與分類[J]. 系統(tǒng)科學(xué)與數(shù)學(xué)，2011，31（9）：1130-1150.

[9]Zhang W，Xie X.Depso：Hybrid Particle Swarm with Differential Evolution Operator[C]//Proceedings of the Ieee International Conference on Systems，man，and Cybernetics， [S.l.]：[s.n.]，2004：3816-3821.

[10]Jun S，Jian L.A Hybrid of Differential Evolution and Particle Swarm Optimization for Global Optimization[C]//Proceedings of the 3rd International Symposium on Intelligent Information Technology Application，[S.l.]：[s.n.]， 2009：138-141.

[11]Niu B，Li L.A Novel Pso-de-based Hybrid Algorithm for Global Optimization[C]//Proceedings of the 4th International Conference on Intelligent Computing，[S.l.]：Springer Berlin Heidelberg，2008：156-163.

作者簡介：黃偉（1966-），女，副教授，研究方向：智能控制、系統(tǒng)辨識、電氣設(shè)備狀態(tài)檢測與故障診斷。

*為通訊作者