融合混沌與模擬退火PSO的BP神經(jīng)網(wǎng)絡(luò)模型研究

胡水源 陳以

摘? 要：考慮到BP神經(jīng)網(wǎng)絡(luò)模型和PSO粒子群優(yōu)化算法存在有的收斂速度慢及陷入局部最優(yōu)的問題，給出了基于融合混沌（Chaos）模型和模擬退火（SA）算法而設(shè)計(jì)的PSO-BP神經(jīng)網(wǎng)絡(luò)模型。將混沌模型和SA算法的優(yōu)點(diǎn)進(jìn)行融合并對(duì)PSO算法加以改進(jìn)，防止PSO算法因“早熟”而處于局部最優(yōu)，從而得出BP神經(jīng)網(wǎng)絡(luò)模型的權(quán)值與閾值集合。實(shí)例驗(yàn)證結(jié)果表明，CSAPSO-BP神經(jīng)網(wǎng)絡(luò)模型的收斂性高于PSO-BP神經(jīng)網(wǎng)絡(luò)模型與SAPSO-BP神經(jīng)網(wǎng)絡(luò)模型，其平均絕對(duì)百分比誤差分別比后兩者低25.23%和14.19%。

關(guān)鍵詞：混沌模型；模擬退火粒子群；CSAPSO-BP神經(jīng)網(wǎng)絡(luò)；動(dòng)態(tài)平均適應(yīng)度權(quán)重

中圖分類號(hào)：TP391；F812.42? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? 文章編號(hào)：2096-4706（2023）08-0083-05

Abstract： Considering the problems of slow convergence speed and falling into local optimization of the BP neural network model and Particle Swarm Optimization （PSO） algorithm， a PSO-BP neural network model designed based on the fusion of Chaos （C） model and Simulated Annealing （SA） algorithm is proposed. The advantages of the Chaos model and the SA algorithm are fused and the PSO algorithm is improved to prevent the PSO algorithm from being local optimization due to “precociousness”， so as to obtain the weight and threshold set of the BP neural network model. The results of actual case verification show that the convergence of the CSAPSO-BP neural network model is higher than that of the PSO-BP neural network model and the SAPSO-BP neural network model， and the average absolute error ratio is 25.23% and 14.19% lower than the latter two respectively.

Keywords： Chaos model; simulated annealing particle swarm; CSAPSO-BP neural network; dynamic average fitness weight

0? 引? 言

神經(jīng)網(wǎng)絡(luò)因其具有強(qiáng)大的識(shí)別非線性系統(tǒng)的能力而被廣泛用于預(yù)測(cè)系統(tǒng)中，其神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值對(duì)模型性能影響最大。而智能優(yōu)化算法是指在滿足一定條件下，在解空間內(nèi)進(jìn)行全局優(yōu)化和高效尋優(yōu)的一種優(yōu)化方法。

文獻(xiàn)[1]采用PSO（Particle Swarm Optimization）算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)模型的閾值和初始權(quán)值對(duì)爆破振動(dòng)速度峰值進(jìn)行預(yù)測(cè)，研究表明BP神經(jīng)網(wǎng)絡(luò)處理非線性關(guān)系的問題具有較好的性能，PSO算法提高了模型的預(yù)測(cè)精度。文獻(xiàn)[2]采用PSO算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)模型的閾值和初始權(quán)值對(duì)斜軋穿孔管型進(jìn)行預(yù)測(cè)，實(shí)驗(yàn)結(jié)果表明PSO算法提高了模型的預(yù)測(cè)性能。

文獻(xiàn)[3]將混沌算法引入到PSO算法，利用混沌序列逆映射原始全局最優(yōu)解至原始解空間，研究結(jié)果表明該方法對(duì)于傳統(tǒng)的BP算法和PSO算法具有較好的性能。文獻(xiàn)[4]采用混沌（Chaos， C）模型當(dāng)中的Logistic映射模型對(duì)PSO算法的權(quán)重系數(shù)加以改進(jìn)，從而增強(qiáng)了粒子群的全局搜索能力。使用修正后的PSO算法，優(yōu)化了BP神經(jīng)網(wǎng)絡(luò)模型的權(quán)值和閾值對(duì)風(fēng)速數(shù)據(jù)進(jìn)行預(yù)測(cè)，通過與BP神經(jīng)網(wǎng)絡(luò)算法、PSO-BP算法的預(yù)測(cè)結(jié)果加以對(duì)比，結(jié)果表明改進(jìn)的PSO-BP算法的模型效果優(yōu)于其他模型。文獻(xiàn)[5]引入Singer混沌映射動(dòng)態(tài)調(diào)整PSO算法的權(quán)重系數(shù)，使得權(quán)重系數(shù)的變化范圍為[0，1]，研究表明混沌動(dòng)態(tài)權(quán)重算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)模型優(yōu)于BP神經(jīng)網(wǎng)絡(luò)模型與PSO-BP神經(jīng)網(wǎng)絡(luò)模型。文獻(xiàn)[6]借助混沌算法的遍歷性與隨機(jī)性，在混沌動(dòng)態(tài)權(quán)重改進(jìn)的基礎(chǔ)上，通過混沌思想對(duì)PSO算法迭代后的最優(yōu)粒子進(jìn)行局部混沌迭代，將混沌迭代與PSO算法交替進(jìn)行，研究表明這兩種算法的交替進(jìn)行提高預(yù)測(cè)模型的精度。文獻(xiàn)[7]采用混沌模型對(duì)PSO算法當(dāng)中部分適應(yīng)度最差的粒子進(jìn)行混沌化，再進(jìn)行粒子適應(yīng)度值計(jì)算直到達(dá)到標(biāo)準(zhǔn)，實(shí)驗(yàn)結(jié)果表明其模型效果優(yōu)于原BP神經(jīng)網(wǎng)絡(luò)模型和PSO-BP神經(jīng)網(wǎng)絡(luò)模型。文獻(xiàn)[8]采用模擬退火（Simulated Annealing， SA）算法對(duì)PSO算法當(dāng)中較大適應(yīng)度的粒子進(jìn)行部分粒子接受操作，并進(jìn)行退溫操作，后續(xù)重復(fù)迭代。實(shí)驗(yàn)結(jié)果SAPSO算法在收斂速度和預(yù)測(cè)效果上優(yōu)于原PSO算法。文獻(xiàn)[9]采用SA算法對(duì)PSO算法的粒子初始位置進(jìn)行隨機(jī)擾動(dòng)，使其產(chǎn)生新的粒子位置，并重復(fù)進(jìn)行，不斷更新粒子的全局最優(yōu)位置。文獻(xiàn)[10]利用SA算法對(duì)PSO算法當(dāng)前全局最佳粒子進(jìn)行處理，并以一定概率更新全局最優(yōu)解的位置與適應(yīng)度值，研究結(jié)果表明此種方法使得離散PSO算法的局部搜索能力和整體性能得到提高。上述文獻(xiàn)都能較好的提高PSO算法的性能，但是模型仍然存在“早熟”、收斂速度慢的問題。

針對(duì)以上改進(jìn)的方法，本文改進(jìn)結(jié)構(gòu)如圖1所示。引入基于平均適應(yīng)度的動(dòng)態(tài)慣性權(quán)重對(duì)標(biāo)準(zhǔn)PSO算法進(jìn)行優(yōu)化，并采用混沌模型與SA算法進(jìn)行改進(jìn)，彌補(bǔ)了PSO算法因后期全局搜索能力不足的缺點(diǎn)。將改進(jìn)的PSO對(duì)BP神經(jīng)網(wǎng)絡(luò)模型的權(quán)值與閾值進(jìn)行優(yōu)化，最后采用某地區(qū)的稅收進(jìn)行實(shí)例驗(yàn)證，研究結(jié)果表明CSAPSO-BP神經(jīng)網(wǎng)絡(luò)模型的稅收預(yù)測(cè)結(jié)果優(yōu)于PSO-BP神經(jīng)網(wǎng)絡(luò)模型和SA-BP神經(jīng)網(wǎng)絡(luò)模型。

2.3? 混沌模擬退火PSO算法優(yōu)化步驟

BP神經(jīng)網(wǎng)絡(luò)模型是基于梯度下降法來對(duì)權(quán)值和閾值進(jìn)行更新，會(huì)陷入局部最優(yōu)解，使得模型的預(yù)測(cè)精度降低。CSAPSO-BP神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練流程圖如圖3所示。模型采用混沌模型與SA算法對(duì)PSO算法進(jìn)行改進(jìn)，對(duì)BP神經(jīng)網(wǎng)絡(luò)模型的權(quán)值和閾值進(jìn)行求解，CSAPSO-BP神經(jīng)網(wǎng)絡(luò)模型有效地提高了模型預(yù)測(cè)精度與收斂速度。

3? 仿真與實(shí)例分析

3.1? 仿真實(shí)驗(yàn)

本文采用非線性函數(shù)作為模型基準(zhǔn)函數(shù)進(jìn)行仿真測(cè)試，設(shè)定粒子數(shù)為20，迭代100次，模擬退火溫度1 000，降溫操作速度0.98，CSAPSO-BP神經(jīng)網(wǎng)絡(luò)隱含層為10，輸出層為100。選取的非線性函數(shù)測(cè)試公式為：

式中：X1和X2為自變量，范圍為[1，100]。

將X1和X2的取值[1，100]代入基準(zhǔn)函數(shù)得到1 000個(gè)函數(shù)值進(jìn)行仿真。通過CSAPSO-BP神經(jīng)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練，規(guī)定誤差值小于0.000 001，總共1 130個(gè)權(quán)值與閾值。再將X1和X2的取值[1，100]進(jìn)行代入模型得到函數(shù)預(yù)測(cè)值。算法模型收斂過程如圖4所示。

由圖4可知，改進(jìn)的混沌模擬退火粒子群算法的收斂速度快于模擬退火粒子群算法與基本粒子群算法，在最小均方誤差上也低于其他粒子群算法?；煦缒M退火粒子群算法最佳迭代次數(shù)為8，驗(yàn)證性能為0.000 191 97，模型效果如圖5所示。

3.2? 實(shí)例驗(yàn)證

為了更加全面地驗(yàn)證改進(jìn)的混沌模擬退火粒子群算法的性能，對(duì)于BP神經(jīng)網(wǎng)絡(luò)模型的初始連接權(quán)值與閾值選擇的問題。本文從國(guó)家統(tǒng)計(jì)局、國(guó)家稅務(wù)總局和地區(qū)稅務(wù)局獲得公開數(shù)據(jù)，取某地區(qū)5年稅收數(shù)據(jù)作為研究對(duì)象。將原始數(shù)據(jù)進(jìn)行歸一化處理，使用2017年1月到2019年12月的每月數(shù)據(jù)（共36個(gè)月）作為訓(xùn)練樣本，2020年1月到2022年3月的每月數(shù)據(jù)（共27個(gè)月）作為測(cè)試樣本，進(jìn)行模型訓(xùn)練預(yù)測(cè)，部分?jǐn)?shù)據(jù)如表1所示。

為了驗(yàn)證CSAPSO-BP神經(jīng)網(wǎng)絡(luò)模型的收斂性與準(zhǔn)確性，設(shè)定其結(jié)構(gòu)為：輸入層節(jié)點(diǎn)為4，隱含層節(jié)點(diǎn)為10，輸出層節(jié)點(diǎn)為1，總共61個(gè)權(quán)值與閾值。分別選取基本粒子群法和模擬退火粒子群算法進(jìn)行對(duì)比，部分參數(shù)選擇如表2所示。

模型預(yù)測(cè)結(jié)果對(duì)比如圖6所示：PSO-BP神經(jīng)網(wǎng)絡(luò)模型和SAPSO-BP神經(jīng)網(wǎng)絡(luò)模型在預(yù)測(cè)曲線上偏離真實(shí)值較遠(yuǎn)，CSAPSO-BP神經(jīng)網(wǎng)絡(luò)模型接近真實(shí)曲線，CSAPSO-BP神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)效果優(yōu)于PSO-BP神經(jīng)網(wǎng)絡(luò)模型和SAPSO-BP神經(jīng)網(wǎng)絡(luò)模型。

由表3和圖7分析可得，CSAPSO-BP神經(jīng)網(wǎng)絡(luò)模型對(duì)稅收的預(yù)測(cè)結(jié)果誤差低于PSO-BP神經(jīng)網(wǎng)絡(luò)模型和SAPSO-BP神經(jīng)網(wǎng)絡(luò)模型，預(yù)測(cè)精度較高。且在收斂速度上也優(yōu)于其他兩種模型，表明改進(jìn)的算法模型能有效地提高收斂速度。

表4結(jié)果分析在MAPE、MSE和MAE上都也相對(duì)低于PSO-BP神經(jīng)網(wǎng)絡(luò)模型和SAPSO-BP神經(jīng)網(wǎng)絡(luò)模型。在MAPE上，CSAPSO-BP神經(jīng)網(wǎng)絡(luò)模型比SAPSO-BP神經(jīng)網(wǎng)絡(luò)模型低14.19%，比PSO-BP神經(jīng)網(wǎng)絡(luò)模型低25.23%，CSAPSO-BP神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)結(jié)果更靠近真實(shí)值。CSAPSO-BP神經(jīng)網(wǎng)絡(luò)模型的其他評(píng)價(jià)指標(biāo)都低于SAPSO-BP神經(jīng)網(wǎng)絡(luò)模型，SAPSO-BP神經(jīng)網(wǎng)絡(luò)模型的評(píng)價(jià)指標(biāo)也都低于PSO-BP神經(jīng)網(wǎng)絡(luò)模型，表明了混沌模型對(duì)于PSO的局部搜索尋優(yōu)具有一定的有效性，因此SA算法也有助于改善PSO的全局搜索尋優(yōu)特性。

4? 結(jié)? 論

在混沌理論的基礎(chǔ)上，利用混沌模型求解局部最優(yōu)解的新領(lǐng)域搜索空間，進(jìn)一步提升其局部最優(yōu)解能力。同時(shí)利用SA算法在PSO全局最優(yōu)解區(qū)間進(jìn)行降溫操作，獲取全局最優(yōu)解，提高模型全局最優(yōu)解能力。并利用PSO-BP神經(jīng)網(wǎng)絡(luò)模型和SA-BP神經(jīng)網(wǎng)絡(luò)模型，開展了仿真對(duì)比實(shí)驗(yàn)。對(duì)比結(jié)果表明，CSAPSO-BP神經(jīng)網(wǎng)絡(luò)模型收斂速度快、收斂精度也較高。在某地區(qū)稅收數(shù)據(jù)上進(jìn)行實(shí)例驗(yàn)證分析。實(shí)例證明，CSAPSO算法的收斂速度與精度均優(yōu)于其他模型。

參考文獻(xiàn)：

[1] 范勇，裴勇，楊廣棟，等.基于改進(jìn)PSO-BP神經(jīng)網(wǎng)絡(luò)的爆破振動(dòng)速度峰值預(yù)測(cè) [J].振動(dòng)與沖擊，2022，41（16）：194-203+302.

[2] 王清華，加世瀅，胡建華，等.基于GRA的PSO-BP神經(jīng)網(wǎng)絡(luò)斜軋穿孔管形預(yù)測(cè) [J].鍛壓技術(shù)，2022，47（8）：88-94.

[3] 吳炬卓，陳書原，牛海清，等.混沌粒子群優(yōu)化小波神經(jīng)網(wǎng)絡(luò)在電能質(zhì)量擾動(dòng)信號(hào)分類中的應(yīng)用 [J].電器與能效管理技術(shù)，2022（2）：68-73.

[4] 段新會(huì)，李文鑫.基于改進(jìn)粒子群優(yōu)化神經(jīng)網(wǎng)絡(luò)的超短期風(fēng)速預(yù)測(cè) [J].自動(dòng)化與儀表，2021，36（3）：76-80.

[5] 李強(qiáng)，車文龍.基于改進(jìn)粒子群優(yōu)化神經(jīng)網(wǎng)絡(luò)的電機(jī)故障診斷 [J].電氣傳動(dòng)，2020，50（1）：103-108.

[6] 成樞，馬衛(wèi)驕，高秀明，等.CPSO-BP組合優(yōu)化模型的滑坡位移預(yù)測(cè) [J].測(cè)繪科學(xué)，2019，44（10）：65-71.

[7] 李升健，黃燦英，陳艷.基于改進(jìn)PSO-BP網(wǎng)絡(luò)的配電網(wǎng)故障選線與測(cè)距 [J].沈陽工業(yè)大學(xué)學(xué)報(bào)，2019，41（1）：6-11.

[8] 甘地.一種新的基于正弦自適應(yīng)權(quán)重的模擬退火粒子群優(yōu)化算法 [J].科技創(chuàng)新與應(yīng)用，2022，12（5）：11-14.

[9] 吳金文，王玉鵬，周海波.基于模擬退火耦合粒子群算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的機(jī)床主軸熱誤差補(bǔ)償研究 [J].機(jī)床與液壓，2019，47（11）：92-95.

[10] 張榮光，胡曉輝，宗永勝.基于改進(jìn)離散粒子群優(yōu)化的連續(xù)屬性離散化 [J].計(jì)算機(jī)工程與應(yīng)用，2017，53（18）：108-114+235.

[11] DONG X，WANG Y D，WANG Z. Intelligent Meta-Model Construction and Global Stochastic Sensitivity Analysis Based on PSO-CNN [J].Structures，2022，43：1516-1529.

[12] WANG Z P，TIAN J C，F(xiàn)ENG K P. Optimal Allocation of Regional Water Resources Based on Simulated Annealing Particle Swarm Optimization Algorithm [J].Energy Reports，2022，8：9119-9126.

[13] JING W Q，ZHEN M，GUAN H J，et al. A Prediction Model for Building Energy Consumption in a Shopping Mall Based on Chaos Theory [J].Energy Reports，2022，8：5305-5312.

[14] SHANG Y，MIAO L J，SHAN Y P，et al. A Hybrid Ultra-Short-Term and Short-Term Wind Speed Forecasting Method Based on CEEMDAN and GA-BPNN [J].Weather and Forecasting，2022，37（4）：415-428.

作者簡(jiǎn)介：胡水源（1998—），男，漢族，湖北武漢人，碩士研究生在讀，研究方向：機(jī)器學(xué)習(xí)與智能信息處理；通訊作者：陳以（1963—），男，漢族，廣西玉林人，教授，碩士研究生導(dǎo)師，碩士，研究方向：智能控制、計(jì)算機(jī)應(yīng)用技術(shù)。