基于改進(jìn)蜣螂優(yōu)化算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)

摘要：文章提出了一種利用改進(jìn)蜣螂優(yōu)化（IDBO）算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的新方法，通過Chebyshev混沌映射初始化種群，結(jié)合黃金正弦策略及動(dòng)態(tài)權(quán)重系數(shù)實(shí)現(xiàn)高效搜索?；贛ATLAB R2024a進(jìn)行仿真，結(jié)果表明IDBO-BP模型在訓(xùn)練集和測試集上均表現(xiàn)優(yōu)異，顯著提升擬合度、泛化能力和預(yù)測精度，且收斂速度更快。此方法有效提升了神經(jīng)網(wǎng)絡(luò)性能，為解決復(fù)雜數(shù)據(jù)處理問題提供了新途徑，展現(xiàn)了廣闊應(yīng)用前景。

關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò)；蜣螂優(yōu)化算法；黃金正弦策略；Chebyshev混沌映射

中圖分類號(hào)：TP3-05" 文獻(xiàn)標(biāo)志碼：A

基金項(xiàng)目：大同市科技計(jì)劃項(xiàng)目；項(xiàng)目編號(hào)：202305。2022年山西省高等學(xué)校教學(xué)改革創(chuàng)新項(xiàng)目；項(xiàng)目編號(hào)：J20220888。山西省教育科學(xué)“十四五”規(guī)劃；項(xiàng)目編號(hào)：GH-220403。

作者簡介：曹同宇（1995— ），男，碩士研究生；研究方向：地下空間技術(shù)。

0" 引言

隨著近年來科技的不斷進(jìn)步，現(xiàn)代社會(huì)面臨越來越復(fù)雜的工程問題。在當(dāng)今復(fù)雜多變的數(shù)據(jù)處理領(lǐng)域，反向傳播（Back Propagation，BP）神經(jīng)網(wǎng)絡(luò)憑借其強(qiáng)大的非線性映射能力和自學(xué)習(xí)能力，已成為處理分類、回歸等任務(wù)的重要工具。然而，BP神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中易陷入局部最優(yōu)解，且存在收斂速度較慢的問題，這一直限制了其在實(shí)際應(yīng)用中的效果。為了解決這些問題，研究者們不斷探索新的優(yōu)化算法。近年來，受蜣螂生物習(xí)性的啟發(fā)，Xue等［1］提出了一種新型群智能優(yōu)化算法——蜣螂優(yōu)化（Dung Beetle Optimization，DBO）算法。該算法模擬了蜣螂的滾球、跳舞、覓食等行為，展現(xiàn)出強(qiáng)大的全局搜索能力和快速的收斂速度。因此，本文提出將DBO算法應(yīng)用于BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中，旨在通過DBO算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的權(quán)重和閾值，以期提高神經(jīng)網(wǎng)絡(luò)的性能，為解決復(fù)雜的數(shù)據(jù)處理問題提供新的思路和方法。DBO算法以其卓越的收斂速度和出色的穩(wěn)定性在眾多優(yōu)化算法中脫穎而出［2-5］。與粒子群優(yōu)化（Particle Swarm Optimization，PSO）算法［6］、鯨魚優(yōu)化算法（Whale Optimization Algorithm，WOA）［7］和哈里斯鷹優(yōu)化（Harris Hawks Optimization，HHO）算法相比［8］，DBO算法憑借其獨(dú)特的蜣螂集群行為模擬機(jī)制，能夠迅速且穩(wěn)定地逼近全局最優(yōu)解。無論是處理連續(xù)、離散還是多模態(tài)等復(fù)雜優(yōu)化問題，DBO均展現(xiàn)了其強(qiáng)大的適應(yīng)性。

1" 理論基礎(chǔ)

1.1" BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)，全稱為反向傳播神經(jīng)網(wǎng)絡(luò)，是由Rumenlhart團(tuán)隊(duì)提出的一種基于誤差反向傳播算法的人工神經(jīng)網(wǎng)絡(luò)模型［9-10］。其通過模擬生物神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和功能，實(shí)現(xiàn)了對(duì)輸入數(shù)據(jù)的非線性映射和分類。BP神經(jīng)網(wǎng)絡(luò)由輸入層、隱藏層和輸出層組成，如圖1所示。通過前向傳播計(jì)算輸出結(jié)果并利用反向傳播算法根據(jù)輸出結(jié)果與實(shí)際標(biāo)簽之間的誤差調(diào)整網(wǎng)絡(luò)權(quán)重和偏置，以優(yōu)化網(wǎng)絡(luò)性能。BP神經(jīng)網(wǎng)絡(luò)采用梯度下降法來更新權(quán)重，因此在訓(xùn)練過程中可能會(huì)陷入局部最優(yōu)解。若使用該算法去解決實(shí)際問題，則須要對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行進(jìn)一步的優(yōu)化［11］。

1.2" 蜣螂優(yōu)化算法

蜣螂優(yōu)化算法是一種新型的群體智能優(yōu)化算法。該算法受到自然界中蜣螂的生存行為啟發(fā)，通過模擬蜣螂行為來尋找優(yōu)化問題的最優(yōu)解。

1.2.1" 滾球行為

蜣螂在無障礙物的情況下，利用太陽導(dǎo)航使糞球沿直線滾動(dòng)。該過程的公式為：

Xi（t+1）=xi（t）+a×k×xi（t-1）+b×Δx（1）

Δx=|xi（t）-Xw|（2）

其中，t為當(dāng)前迭代次數(shù)，xi（t）表示第i只蜣螂在第t次迭代時(shí)的位置信息，α為自然系數(shù)（取-1或1），k∈（0，0.2］為偏轉(zhuǎn)系數(shù)，Xw表示為全局最差位置，b∈（0，1）為常數(shù)。|xi（t）-Xw|表示光線強(qiáng)度，其值越高，則光線強(qiáng)度越弱。

1.2.2" 跳舞行為

當(dāng)蜣螂遇到障礙物無法前進(jìn)時(shí)，可變換方向獲得新的移動(dòng)路線。該過程的公式為：

Xi（t+1）=xi（t）+tan（θ）×|xi（t）-xi（t-1）|（3）

其中，θ為偏轉(zhuǎn)角，在區(qū)間［0，π］內(nèi)取值。當(dāng)θ為0、π/2、π時(shí)，蜣螂的位置不更新。|xi（t）-xi（t-1）|代表第i只蟑螂在第t次與t-1次的位置偏移量。

1.2.3" 繁殖行為

研究采用邊界選擇策略模擬雌性蜣螂的產(chǎn)卵區(qū)域，動(dòng)態(tài)調(diào)整產(chǎn)卵區(qū)。該過程的公式（產(chǎn)卵區(qū)選擇）為：

L*b=max（X*×（1-R），Lb）（4）

U*b=min（X*×（1+R），Ub）（5）

其中，X*為當(dāng)前局部最優(yōu)位置，L*b和U*b分別為產(chǎn)卵區(qū)的下限和上限，R=1-tTmax，Tmax為最大迭代次數(shù)，Lb和Ub分別為優(yōu)化問題的下限和上限。

成熟的蜣螂從地下鉆出尋找食物，覓食區(qū)域動(dòng)態(tài)更新。該過程的公式（覓食區(qū)選擇）為：

Lbb=max（Xb×（1-R），Lb）（6）

Ubb=min（Xb×（1+R），Ub）（7）

其中，Xb為全局最優(yōu)位置，Lbb和Ubb分別為最佳覓食區(qū)域的下限和上限。小蜣螂的位置更新公式為：

xi（t+1）=xi（t）+C1×（xi（t）-Lbb）+C2×（xi（t）-Ubb）（8）

其中，C1為遵循正態(tài)分布的隨機(jī)數(shù)，C2∈（0，1）為隨機(jī)向量。

1.2.4" 偷竊行為

偷竊作為一種競爭行為，在蜣螂種群中常見。該過程的公式為：

xi（t+1）=Xb+S×g×{|xi（t）-X*|+|xi（t）-Xb|}（9）

其中，Xb為食物競爭的最佳位置，xi（t）為第i只小蜣螂在第t次迭代的位置信息，g為一個(gè)遵循正態(tài)分布的大小為1×D的隨機(jī)向量，S表示一個(gè)常數(shù)值。

1.3" 基于改進(jìn)蜣螂優(yōu)化算法的BP神經(jīng)網(wǎng)絡(luò)優(yōu)化方法

由于BP神經(jīng)網(wǎng)絡(luò)生成時(shí)，初始權(quán)值和閾值一般為隨機(jī)初始化。這會(huì)導(dǎo)致訓(xùn)練穩(wěn)定性和收斂速度下降，神經(jīng)網(wǎng)絡(luò)需要經(jīng)過多次迭代和調(diào)整才能找到合適的權(quán)值和閾值，并且伴隨陷入局部最小值的風(fēng)險(xiǎn)。為解決這個(gè)問題，采用IDBO算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值。BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值作為IDBO算法中蜣螂的位置信息。然后，使用訓(xùn)練數(shù)據(jù)來評(píng)估BP神經(jīng)網(wǎng)絡(luò)的性能（如預(yù)測誤差），并將該性能作為蜣螂的適應(yīng)度值。采用IDBO算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的流程如圖2所示。

2" 改進(jìn)蜣螂優(yōu)化算法

2.1" Chebyshev混沌映射

Chebyshev混沌映射是一種基于Chebyshev多項(xiàng)式的混沌映射方法［12］，通常在數(shù)值分析和逼近論中使用，具有良好的偽隨機(jī)特性以及對(duì)初始參數(shù)敏感的特性。相較于常見的集中離散混沌映射［13］，Chebyshev混沌映射更具優(yōu)勢。本文選取Chebyshev混沌映射對(duì)DBO進(jìn)行種群初始化生成混沌變量，如式（10）所示。

xn+1=cos（k×arcosxn），xn［-1，1］（10）

Chebyshev混沌映射蜣螂優(yōu)化算法步驟如下。

規(guī)定蜣螂種群數(shù)量為i，網(wǎng)絡(luò)節(jié)點(diǎn)個(gè)數(shù)為d，生成式（11）所示矩陣。

X=X1，1" X1，2" …" X1，d

X2，1" X2，2" …" X2，d

" """

Xi，1" Xi，2" …" Xi，d

（11）

利用Chebyshev混沌映射對(duì)矩陣迭代初始化，將混沌值映射到指定的上下界，如式（12）所示。

Xid=|Xid×（Ub-Lb）+Lb|（12）

其中，Ub、Lb分別優(yōu)化參數(shù)的目標(biāo)上限與下限，Xid為第i只蜣螂第d維，Xid為第i只蜣螂在搜索空間中第d維坐標(biāo)值。

2.2" 黃金正弦策略

黃金正弦策略是一種由Tanylidizi等［14］于2017年提出的新型元啟發(fā)式優(yōu)化算法。該算法的設(shè)計(jì)源于數(shù)學(xué)中的正弦函數(shù)，并結(jié)合黃金分割比例來提高搜索效率和優(yōu)化能力。

初始化：在算法的初始階段，隨機(jī)生成一個(gè)包含s個(gè)個(gè)體的種群。每個(gè)個(gè)體在d維解空間中都有一個(gè)位置，用Xti=（Xi1，Xi2，…，Xid）表示第t次迭代中第i個(gè)個(gè)體的位置。此外，為每個(gè)個(gè)體維護(hù)一個(gè)最優(yōu)位置Pti=（Pi1，Pi2，…，Pid），用于記錄該個(gè)體到目前為止找到的最佳解。隨著迭代的進(jìn)行，不斷更新這些位置和最優(yōu)位置，直到滿足算法的終止條件。

位置更新公式如下：

Xti=Xti×|sin（R1）|+R2×sin（R1）×|x1×Pti-x2×Xti|（13）

x1=-π+（1-τ）×2π（14）

x2=-π+τ×2π（15）

其中，R1［0，2π］為下次迭代隨機(jī)移動(dòng)的距離，R2［0，π］為下次迭代移動(dòng)的方向。引入黃金正弦策略進(jìn)行每一次迭代后，蜣螂個(gè)體都會(huì)與最優(yōu)個(gè)體進(jìn)行交流，利用最優(yōu)解信息解決原算法中的個(gè)體缺乏交流的情況。黃金正弦策略擴(kuò)大了搜索空間，對(duì)原算法陷入局部最優(yōu)解的問題進(jìn)行了優(yōu)化，提升了算法尋求最優(yōu)解的能力。

2.3" 位置更新動(dòng)態(tài)權(quán)重系數(shù)

為避免陷入局部最優(yōu)解，本文引入位置更新動(dòng)態(tài)權(quán)重系數(shù)的公式如下：

Xti=k1×Bx+k2×（|Rti-Bxx|+|Rti-Bx|）

k1=1-t3T3

k2=t3T3（16）

其中，t為當(dāng)前迭代次數(shù)，T為最大迭代次數(shù)，Bx為當(dāng)前最優(yōu)解，Bxx為全局最優(yōu)解，Rti為當(dāng)前迭代次數(shù)第i個(gè)蜣螂位置的信息。在迭代優(yōu)化過程中，權(quán)重系數(shù)k1初期較大，隨著迭代進(jìn)行，權(quán)重系數(shù)k2逐漸增大，引導(dǎo)蜣螂在已發(fā)現(xiàn)的最優(yōu)區(qū)域附近進(jìn)行深入開發(fā)，以實(shí)現(xiàn)全局搜索與局部開發(fā)的平衡。

3" 仿真實(shí)驗(yàn)

3.1" 仿真實(shí)驗(yàn)環(huán)境搭建和實(shí)驗(yàn)參數(shù)設(shè)置

為了保證實(shí)驗(yàn)的準(zhǔn)確性和嚴(yán)謹(jǐn)性，本文基于Mircosoft windows 11、CPU硬件配置為3th Gen Intel（R） Core（TM） i9-13900HX 2.20 GHz、32 GB內(nèi)存的仿真平臺(tái)進(jìn)行實(shí)驗(yàn)。代碼程序在MATLAB R2024a上實(shí)現(xiàn)。IDBO參數(shù)設(shè)置如表1所示。

3.2" 結(jié)果分析

為了驗(yàn)證IDBO-BP模型預(yù)測的準(zhǔn)確性，本文實(shí)驗(yàn)采用隨機(jī)生成的數(shù)據(jù)集，并將其在IDBO-BP模型和DBO-BP模型中進(jìn)行比較。IDBO-BP與DBO-BP的收斂性如圖3所示。

隨著迭代次數(shù)的增加，模型的適應(yīng)度不斷下降，適應(yīng)度值越小說明越接近問題的最優(yōu)解。相較于DBO-BP，IDBO-BP的初始適應(yīng)度值更小，適應(yīng)度下降速率更快，這說明IDBO-BP算法能更快地接近最優(yōu)解。

如表2—3所示，本文比較了3種不同的神經(jīng)網(wǎng)絡(luò)模型（BP、DBO-BP、IDBO-BP）在訓(xùn)練集和測試集上的性能，使用4種不同的評(píng)估指標(biāo)：R2（決定系數(shù)）、平均絕對(duì)誤差（Mean Absolute Error，MAE）、平均偏差誤差（Mean Bias Error，MBE）和平均絕對(duì)百分比誤差（Mean Absolute Percentage Error，MAPE）。

下面是對(duì)這些數(shù)據(jù)的詳細(xì)分析：IDBO-BP模型在評(píng)估中表現(xiàn)卓越，其訓(xùn)練集與測試集的R2值均接近1，MAE最低，MBE接近0，且MAPE顯著優(yōu)于BP和DBO-BP模型。這些指標(biāo)共同表明IDBO-BP不僅擬合度高，還具備強(qiáng)大的泛化能力和高精度的預(yù)測性能，在三者中最優(yōu)。

BP、DBO-BP、IDBO-BP測試集預(yù)測結(jié)果如圖4所示。從圖中可以明顯看出，IDBO-BP模型的預(yù)測值更加接近真實(shí)值。對(duì)比3種模型測試集的均方根誤差（Root Mean Square Error，RMSE）可以看出，IDBO-BP模型的RMSE小于BP、DBO-BP模型，這說明其在測試集上的預(yù)測誤差更低，預(yù)測更加準(zhǔn)確。

3種模型的測試預(yù)測集誤差曲線如圖5所示。由圖可知：IDBO-BP模型的預(yù)測誤差是三者中最低的。預(yù)測誤差越低，則模型能更好地捕捉數(shù)據(jù)中的規(guī)律并作出更精確的預(yù)測。這表明IDBO-BP模型在預(yù)測未知或測試數(shù)據(jù)時(shí)的準(zhǔn)確性更高。

神經(jīng)網(wǎng)絡(luò)訓(xùn)練回歸曲線如圖6所示。由圖可知：IDBO-BP模型在訓(xùn)練集、驗(yàn)證集和測試集上的R2值均極高，分別為0.99999、0.99968和0.9948，這表明" 其擬合度卓越且泛化能力強(qiáng)，整體R2為0.99979，顯示了模型高準(zhǔn)確性和可靠性。

4" 結(jié)語

本文提出并驗(yàn)證了IDBO優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的新方法，通過Chebyshev混沌映射初始化、黃金正弦策略更新位置及動(dòng)態(tài)權(quán)重系數(shù)，解決了BP網(wǎng)絡(luò)易陷局部最優(yōu)和收斂慢的問題。實(shí)驗(yàn)結(jié)果顯示，IDBO-BP模" 型在訓(xùn)練與測試集上的表現(xiàn)均優(yōu)于傳統(tǒng)BP模型及DBO-BP模型，具備更快的收斂速度和全局搜索能力。其預(yù)測準(zhǔn)確性高、誤差低，為復(fù)雜數(shù)據(jù)處理提供了新思路與有效手段。

參考文獻(xiàn)

［1］XUE J，SHEN B. Dung beetle optimizer：a new meta-heuristic algorithm for global optimization［J］. The Journal of Supercomputering，2023（7）：7305-7336.

［2］王蓮霞，李麗敏，任瑞斌，等.基于STM32和DBO-BP的滑坡預(yù)警系統(tǒng)［J］.國外電子測量技術(shù)，2023（8）：139-146.

［3］ZHANG R Z，ZHU Y J. Predicting the mechanical properties of heat-treated woods using optimization-algorithm-based BPNN［J］. EI，2023（5）：1-35.

［4］WU C L，F(xiàn)U J C，HUANG X R，et al. Lithium-ion battery health state prediction based on VMD and DBO-SVR［J］. EI，2023（10）：1-27.

［5］周亞中，何怡剛，邢致愷，等.基于IDBO-ARIMA的電力變壓器振動(dòng)信號(hào)預(yù)測［J］.電子測量與儀器學(xué)報(bào)，2023（8）：11-20.

［6］LI B，TIAN X T，ZHANG M. Thermal error modeling of machine tool spindle based on the improved algorithm optimized BP neural network［J］. The international Journal of Advanced Manufacturing Technology，2019（9）：1497-1505.

［7］丁藝鼎，蔣名亮，徐力剛，等.基于鯨魚優(yōu)化算法的長短期記憶模型水庫洪水預(yù)報(bào)［J］.湖泊科學(xué)，2024（1）：320-332.

［8］李天翔，李江，盧亞峰.基于HHO-LSSVM的露天煤礦拋擲爆破效果預(yù)測研究［J］.中國安全生產(chǎn)科學(xué)技術(shù)，2023（增刊1）：110-116.

［9］RUMELHART D E，HINTON G E，WILLIAMS R J. Learning representations by back-propagating errors［J］. Nature，1986（6088）：533-536.

［10］RUMLHART D E，MCCLELLAND J L，CORPORATE PDP Research Group. Parallel distributed processing：explorations in the microstructure of congnition，volume 1：foundations［M］. Cambridge：MIT Press，1986.

［11］焦李成，楊淑媛，劉芳，等.神經(jīng)網(wǎng)絡(luò)七十年：回顧與展望［J］.計(jì)算機(jī)學(xué)報(bào)，2016（8）：1697-1716.

［12］CHATTERJEE S，ROY S，DAS A K，et al. Secure biometric-based authentication scheme using Chebyshev chaotic map for multi-server environment［J］. IEEE Transactions on Dependable and Secure Computing，2016（5）：824-839.

［13］隗小斐，何如龍，陳津.基于混沌加密的水聲擴(kuò)頻通信技術(shù)［J］.艦船科學(xué)技術(shù)，2022（5）：101-104.

［14］TANYLIDIZI E，DEMIR G. Golden sine algorithm：a novel math-inspired algorithm［J］. Advances in Electrical and Computer Engineering，2017（2）：71-78.

（編輯" 沈" 強(qiáng)）

Optimize BP neural network based on improved dung beetle optimization algorithm

CAO" Tongyu1， QIAO" Dong2， GUO" Ziyu1， ZHU" Shoujian1

（1.School of Coal Engineering，Shanxi Datong University， Datong 037009， China; 2.School of Architecture

and Surveying Engineering， Shanxi Datong University， Datong 037009， China）

Abstract： A new method of optimizing BP neural network by using improved dung beetle optimization（IDBO） algorithm is proposed in this paper. The population is initialized by Chebyshev chaotic map， and the efficient search is realized by combining golden sine strategy and dynamic weight coefficient. Based on the MATLAB R2024a， the simulative result shows that the IDBO-BP model performs well on both the training set and the testing set， which significantly improves the fitting degree， generalization ability and prediction accuracy， and the convergence speed is faster. This method effectively improves the performance of neural networks， provides a new way to solve the complex data processing problems， and shows a broad application prospect.

Key words： BP neural network; dung beetle optimization algorithm; golden sine strategy; Chebyshev chaotic map