SOA優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的水體氨氮預(yù)測(cè)模型①

潘 贏， 賈國(guó)慶， 郜偉偉

(1.青海民族大學(xué)物理與電子信息工程學(xué)院，青海 西寧 810007；2.中國(guó)科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所無(wú)線傳感網(wǎng)與通信重點(diǎn)實(shí)驗(yàn)室，上海 200050)

0 引 言

神經(jīng)網(wǎng)絡(luò)(Neural Network，NN)作為一種較新的數(shù)據(jù)融合方法，在水環(huán)境監(jiān)測(cè)、水質(zhì)參數(shù)預(yù)測(cè)等領(lǐng)域具有較廣泛的使用。然而，神經(jīng)網(wǎng)絡(luò)仍然有網(wǎng)絡(luò)訓(xùn)練易陷入局部極小值等問(wèn)題，導(dǎo)致其預(yù)測(cè)精度不高。因此，實(shí)際應(yīng)用中常常與其他優(yōu)化算法進(jìn)行結(jié)合以獲得更優(yōu)的結(jié)果[1-5]。

眾多的研究表明，不斷提高預(yù)測(cè)精度是人們追求的目標(biāo)，與眾多優(yōu)化算法結(jié)合獲得更高精度是一個(gè)有效的途徑。本文提出一種混合海鷗優(yōu)化算法(Seagull Optimization Algorithm，SOA)[6]和BP(即反向傳播)神經(jīng)網(wǎng)絡(luò)的氨氮預(yù)測(cè)模型，通過(guò)使用具有較優(yōu)全局和局搜索能力的海鷗優(yōu)化算法來(lái)優(yōu)化BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，再使用優(yōu)化后的模型對(duì)水體氨氮進(jìn)行預(yù)測(cè)。仿真結(jié)果表明，本文提出的優(yōu)化算法可獲得比傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)算法更高的預(yù)測(cè)精度。

1 改進(jìn)BP神經(jīng)網(wǎng)絡(luò)氨氮預(yù)測(cè)模型

1.1 BP神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)的種類眾多，而其中BP神經(jīng)網(wǎng)絡(luò)使用最為廣泛。主要思想為將學(xué)習(xí)分為信號(hào)的正向傳播和誤差的反向傳播。在學(xué)習(xí)過(guò)程中，樣本輸入通過(guò)輸入層輸入，通過(guò)隱含層神經(jīng)元的運(yùn)算處理后，傳向輸出層，而后求取輸出層的實(shí)際數(shù)據(jù)與預(yù)測(cè)數(shù)據(jù)的誤差，將誤差進(jìn)入反向傳播階段。在反向傳播過(guò)程中主要基于梯度下降策略不斷調(diào)整各層神經(jīng)元之間的連接權(quán)值及隱含層和輸出層節(jié)點(diǎn)的閾值，直到最終預(yù)測(cè)值與實(shí)際值的偏離滿足要求。

BP神經(jīng)網(wǎng)絡(luò)的模型如圖1所示。假設(shè)BP神經(jīng)網(wǎng)絡(luò)模型中輸入層有d個(gè)神經(jīng)元，有一個(gè)隱含層共g個(gè)神經(jīng)元，輸出層有l(wèi)個(gè)神經(jīng)元。

圖1 BP神經(jīng)網(wǎng)絡(luò)模型

輸入為Xi=[Xi1，Xi2,…,XiN]T，其中i=1，2，···,d，N為樣本總組數(shù)，輸出為Yj，其中j=1，2，…,l，輸入層的第i個(gè)神經(jīng)元到隱含層第h個(gè)神經(jīng)元的連接權(quán)重為Vih，隱含層第h個(gè)神經(jīng)元閾值為θh。則隱含層第h個(gè)神經(jīng)元的輸入為

(1)

BP神經(jīng)網(wǎng)絡(luò)中隱含層轉(zhuǎn)移函數(shù)為S型函數(shù)，即

(2)

隱含層的第h個(gè)神經(jīng)元的輸出為

Bh=f(Ah-θh)

(3)

隱含層的第h個(gè)神經(jīng)元與輸出層第j個(gè)神經(jīng)元的連接權(quán)值為Whj，閾值為θj，則輸出層第j個(gè)神經(jīng)元的輸入為

(4)

輸出層的傳輸函數(shù)也選擇S形函數(shù)，則得到輸出層第j個(gè)神經(jīng)元輸出為

Yj=f(Cj-θj)

(5)

假設(shè)輸出層第j個(gè)神經(jīng)元的實(shí)際值為Rj，則第j個(gè)神經(jīng)元誤差Ej可由下式計(jì)算獲得

(6)

網(wǎng)絡(luò)輸出總誤差為

(7)

BP神經(jīng)網(wǎng)絡(luò)采用梯度下降法來(lái)調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值以獲得較優(yōu)的輸出。將誤差展開至隱含層有

(8)

進(jìn)一步將誤差展開至輸入層有

(9)

隱含層的第h個(gè)神經(jīng)元與輸出層第j個(gè)神經(jīng)元的連接權(quán)值變化量可以由輸出節(jié)點(diǎn)的誤差及輸出層和隱含層的權(quán)值表示如下

(10)

其中η為學(xué)習(xí)率。Whj首先影響的為輸出層第j個(gè)神經(jīng)元的輸入，進(jìn)而影響輸出，而后才是最終整個(gè)網(wǎng)絡(luò)的誤差，因此有下式

(11)

根據(jù)前面所述有

(12)

根據(jù)S函數(shù)的性質(zhì)：

f′(x)=f(x)·(1-f(x))

(13)

則有

(14)

繼而權(quán)值變化量為

ΔWhj=ηgjBh

(15)

權(quán)值的調(diào)整公式如下

Whj(n+1)=Whj(n)+ΔWhj

(16)

n=1,2,…,N-1為樣本組數(shù)，閾值變化量用下式表示

(17)

閾值的調(diào)整公式如下

θj(n+1)=θj(n)+Δθj

(18)

同理，輸入層的第i個(gè)神經(jīng)元到隱含層第h個(gè)神經(jīng)元的連接權(quán)值變化為

(19)

其中

(20)

權(quán)值的調(diào)整公式如下

Vih(n+1)=Vih(n)+ΔVih

(21)

閾值變化為

Δθh=-ηeh

(22)

閾值調(diào)整為

θh(n+1)=θh(n)+Δθh

(23)

綜上，BP神經(jīng)網(wǎng)絡(luò)算法流程可總結(jié)如下圖2所示：

1.2 海鷗優(yōu)化算法

海鷗優(yōu)化算法是Gaurav Dhiman提出的一種新的全局搜索算法，啟發(fā)于海鷗的遷移和攻擊行為，與常見的幾種優(yōu)化算法比具有更好的優(yōu)化性能[15]。本文主要研究海鷗的遷移和進(jìn)攻兩種自然行為。

1.2.1 遷移

在海鷗遷移過(guò)程中，該算法模擬海鷗群如何從一個(gè)位置移動(dòng)到另一個(gè)位置。在這個(gè)階段，每一個(gè)海鷗應(yīng)該滿足三個(gè)條件：

1)避免碰撞

避免鄰居(即其他海鷗)之間的碰撞。一個(gè)附加變量A用于計(jì)算新的位置

(24)

A=fc-(x×(fc/Maxiteration))

where:x=0,1,2,…,Maxiteration

(25)

圖2 BP神經(jīng)網(wǎng)絡(luò)算法流程圖

其中引入fc控制變量A的范圍，變量A從fc線性減小到0。

2)向最佳位置方向移動(dòng)

在避免了相鄰海鷗之間的碰撞后，海鷗向最佳海鷗的方向移動(dòng)。

(26)

B=2×A2×rd

(27)

其中rd為[0，1]之間的隨機(jī)數(shù)。

3)保持與最佳海鷗的接近

最后，搜索海鷗可以根據(jù)最佳海鷗更新其位置。

(28)

1.2.2 攻擊

海鷗在遷移過(guò)程中可以不斷地改變攻擊的角度和速度，它們用翅膀和重量保持高度。當(dāng)攻擊獵物時(shí)，在空中發(fā)生螺旋式運(yùn)動(dòng)行為。在x,y和z平面上的這種行為可描述如下。

x′=r×cos(k)

(29)

y′=r×sin(k)

(30)

z′=r×k

(31)

r=u×ekv

(32)

其中r是螺旋的每一圈的半徑，k是一個(gè)隨機(jī)數(shù)(0k2π)。u和v是定義螺旋形狀的常數(shù)，e是自然對(duì)數(shù)的底。使用公式(29-32)計(jì)算搜索海鷗的更新位置。

(33)

SOA從隨機(jī)生成的總體開始，海鷗可以在迭代過(guò)程中根據(jù)最佳海鷗更新其位置。將SOA算法主要步驟總結(jié)如下表1所示：

表1 SOA算法主要步驟

1.3 改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型

本文使用SOA算法來(lái)優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的參數(shù)，提升BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)性能。主要步驟為：

1：初始化參數(shù)，Maxiteration=100fc=2，u=1，v=1，海鷗個(gè)數(shù)n=30，x=1。并將神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值編碼為初始海鷗種群。

2：初始化海鷗的位置。

4：根據(jù)公式(33)更新每一個(gè)海鷗的位置。

6：將最優(yōu)的輸出解碼為BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值，對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練直到滿足要求。

2 結(jié)果與討論

2.1 數(shù)據(jù)預(yù)處理

采用青海省某河流中2016年5月-8月采集的數(shù)據(jù)，每天采集一次，采集指標(biāo)包括水溫(℃)，pH，溶解氧(mg/L)，電導(dǎo)率(us/cm)，濁度(NTU)，高錳酸鹽指數(shù)(mg/L)以及氨氮(mg/L)，共收集到123組數(shù)據(jù)，采用前100組數(shù)據(jù)進(jìn)行訓(xùn)練網(wǎng)絡(luò)，后23組數(shù)據(jù)進(jìn)行驗(yàn)證網(wǎng)絡(luò)性能。

由于初始數(shù)據(jù)的來(lái)源多樣，類型不同，較難處理，因此，首先必須將數(shù)據(jù)進(jìn)行歸一化處理，轉(zhuǎn)化到同一參考系下。本文采用改進(jìn)的方法進(jìn)行歸一化處理，即

yi=(0.8-0.2)×(xi-ximin)/(ximax-ximin)+0.2

(34)

其中xi和yi分別為歸一化前后的數(shù)據(jù)，ximax和ximin分別為歸一化前數(shù)據(jù)的最大值和最小值。在使用樣本數(shù)據(jù)進(jìn)行訓(xùn)練之前，將缺失或者明顯錯(cuò)誤的數(shù)據(jù)進(jìn)行預(yù)處理，降低其對(duì)預(yù)測(cè)結(jié)果的影響。

對(duì)于缺失數(shù)據(jù)一般采用線性插值的方法，即取相同條件下的相鄰數(shù)據(jù)來(lái)擬合缺失值。即

(35)

其中，xt和xt+j分別為已知t時(shí)刻和t+j時(shí)刻的水質(zhì)參數(shù)值，xt+i為t+i時(shí)刻缺失的水質(zhì)參數(shù)取值。

所有數(shù)據(jù)經(jīng)過(guò)歸一化和剔除異常數(shù)據(jù)后即可輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

2.2 仿真結(jié)果分析

本文BP神經(jīng)網(wǎng)絡(luò)采用3層結(jié)構(gòu)，輸入層節(jié)點(diǎn)數(shù)為6，輸出層為1，隱含層為6，迭代次數(shù)為100。如圖3所示是兩種算法的收斂比較，

從圖中可以看出提出的模型的收斂速度更快，它更快收斂于最優(yōu)值，收斂精度更高。23組驗(yàn)證數(shù)據(jù)的仿真結(jié)果如圖4所示

從圖4中可以看出，提出的優(yōu)化預(yù)測(cè)模型的預(yù)測(cè)值更接近實(shí)際值，具有比傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型更精確的預(yù)測(cè)精度。

圖3 算法收斂比較

圖4 預(yù)測(cè)值與實(shí)際值比較

圖5 算法預(yù)測(cè)誤差比較

圖5為兩種算法的誤差比較圖，取值為誤差的絕對(duì)值。從圖5中可以看出提出的模型對(duì)驗(yàn)證樣本的誤差值更小，平均誤差更低，預(yù)測(cè)精度更高。

對(duì)于測(cè)試樣本進(jìn)行計(jì)算均方根誤差(RMSE)比較誤差

(36)

其中N為樣本數(shù)，d(t)為期望輸出，y(t)是實(shí)際輸出，比較值如下表2所示

表2 RMSE值比較

由表中結(jié)果顯示未優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)數(shù)據(jù)的均方根誤差為0.075422，而經(jīng)SOA優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)數(shù)據(jù)的均方根誤差為0.007996，誤差大大減小，優(yōu)化后的模型預(yù)測(cè)精度大大提高。

3 結(jié) 語(yǔ)

針對(duì)傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)易限于局部最優(yōu)和預(yù)測(cè)氨氮精度較低的問(wèn)題，本文采用海鷗優(yōu)化算法對(duì)BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值進(jìn)行優(yōu)化，而后得到一種更準(zhǔn)確的預(yù)測(cè)氨氮的預(yù)測(cè)模型，仿真結(jié)果表明該模型的預(yù)測(cè)精度更高，可適用于更加復(fù)雜的水質(zhì)環(huán)境中對(duì)氨氮值進(jìn)行預(yù)測(cè)。