改進遞歸最小二乘RBF神經(jīng)網(wǎng)絡(luò)溶解氧預(yù)測*

袁紅春， 潘金晶

(上海海洋大學(xué) 信息學(xué)院,上海 201306)

?

改進遞歸最小二乘RBF神經(jīng)網(wǎng)絡(luò)溶解氧預(yù)測*

袁紅春， 潘金晶

(上海海洋大學(xué) 信息學(xué)院,上海 201306)

為提高溶解氧預(yù)測的準確性，將基于改進型遞歸最小二乘算法優(yōu)化的徑向基函數(shù)(RBF)神經(jīng)網(wǎng)絡(luò)方法應(yīng)用于溶解氧預(yù)測。利用K均值聚類算法進行隱層單元中心選擇；利用改進型遞歸最小二乘算法優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)隱含層到輸出層的權(quán)值。仿真結(jié)果表明:該方法對溶解氧的預(yù)測具有較好的非線性擬合能力，預(yù)測精度優(yōu)于RBF神經(jīng)網(wǎng)絡(luò)和遞歸最小二乘算法優(yōu)化的RBF神經(jīng)網(wǎng)絡(luò)。

溶解氧預(yù)測; 改進型遞歸最小二乘算法; 徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)； 遞歸最小二乘算法

0 引 言

溶解氧易受水質(zhì)，養(yǎng)殖密度等諸多因素影響,具有非線性，模糊不確定，多變量等特點[1]。傳統(tǒng)的溶解氧預(yù)測方法主要包括：回歸預(yù)測法[2～4],時間序列法[5,6]，水質(zhì)模型預(yù)測法等。這些方法存在一些不足：回歸預(yù)測法需要的樣本量比較大，且預(yù)測精度不能保證；時間序列法操作簡便，但缺點在于沒有考慮整個水環(huán)境發(fā)展的新動向和其他因素的影響，準確性較差；而水質(zhì)模型法的缺點在于所需參數(shù)多，費時費力，在實際應(yīng)用中很難獲得全部參數(shù)，預(yù)測效果不理想。隨著計算智能與仿生技術(shù)的發(fā)展，涌現(xiàn)出許多基于計算智能的新型預(yù)測方法,主要包括：灰色理論法，人工神經(jīng)網(wǎng)絡(luò)法，支持向量回歸機(SVR)等?；疑碚摲ㄔ谌芙庋鯏?shù)據(jù)序列不以指數(shù)規(guī)律變化時預(yù)測結(jié)果偏差較大；SVR具有堅實的理論基礎(chǔ),可獲得全局最優(yōu)解，但缺點在于SVR參數(shù)決定著模型性能，至今仍沒有成熟的解決方案[7,8]。人工神經(jīng)網(wǎng)絡(luò)具有自主學(xué)習(xí)、信息記憶、知識推理、優(yōu)化計算和非線性擬合能力強等特點，因而廣泛用于水產(chǎn)養(yǎng)殖水質(zhì)預(yù)測中[10]。

RBF人工神經(jīng)網(wǎng)絡(luò)是一種高效的前饋式神經(jīng)網(wǎng)絡(luò)，具有強大的非線性問題處理及泛化能力，廣泛應(yīng)用于溶解氧的預(yù)測。但RBF神經(jīng)網(wǎng)絡(luò)連接權(quán)值對神經(jīng)網(wǎng)絡(luò)的性能影響較大且收斂速度較慢，因而如何優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)的連接權(quán)值成為提高其逼近精度的關(guān)鍵。改進型遞歸最小二乘算法通過判斷神經(jīng)網(wǎng)絡(luò)估計誤差和逼近誤差之間的大小關(guān)系，決定相關(guān)的連接權(quán)值的修改，提高了RBF神經(jīng)網(wǎng)絡(luò)的預(yù)測精度。

本文將改進型遞歸最小二乘算法與RBF神經(jīng)網(wǎng)絡(luò)相結(jié)合，對溶解氧進行預(yù)測，并通過實驗驗證了該模型在溶解氧預(yù)測方面的優(yōu)勢。

1 RBF神經(jīng)網(wǎng)絡(luò)

RBF神經(jīng)網(wǎng)絡(luò)[10]是一種性能優(yōu)良的前向型神經(jīng)網(wǎng)絡(luò)，由輸入層，隱含層和輸出層三層組成。

RBF神經(jīng)網(wǎng)絡(luò)從輸入層到隱含層的變換是非線性的，一般通過RBF來實現(xiàn)，如高斯函數(shù)

(1)

式中 σj為第j個感知的變量(可以自由選擇的參數(shù))，決定著該基函數(shù)圍繞中心點的寬度。M是隱含層節(jié)點的個數(shù)，X=(x1,x2,…,xn)為網(wǎng)絡(luò)的輸入向量，Cj=(cj1,cj2,…,cjn)為隱含層第j個神經(jīng)元的中心矢量，與X具有相同的維數(shù)?！琗-Cj‖向量X-Cj的歐幾里得范數(shù)，φj(X)為隱含層第j個神經(jīng)元的輸出。而從隱含層到輸出層的變換是線性的，網(wǎng)絡(luò)輸出為隱含層輸出的加權(quán)求和，輸出形式為

(2)

式中 y(k)為 輸出層第k個節(jié)點的輸出，L為輸出節(jié)點數(shù)，φj(x)為隱含層輸出,wkj為隱含層第j個神經(jīng)元節(jié)點與輸出層第k個神經(jīng)元節(jié)點的連接權(quán)值。

2 算法原理與建模

2.1 改進型遞歸最小二乘算法

改進型遞歸最小二乘算法在RBF神經(jīng)網(wǎng)絡(luò)隱層到輸出層的連接權(quán)值調(diào)整過程中不是對所有的權(quán)值參數(shù)進行修改，而是對估計誤差大于或等于逼近誤差項的相關(guān)神經(jīng)元連接權(quán)值進行修改。改進型遞歸最小二乘算法具體內(nèi)容如下[11]：

將RBF神經(jīng)網(wǎng)絡(luò)描述為線性回歸模型形式

(3)

式中 y(t)為RBF神經(jīng)網(wǎng)絡(luò)的輸出，ji(x)為第i個回歸量，對應(yīng)于神經(jīng)網(wǎng)絡(luò)隱含層輸出Φ(x)，其值由當前輸入x(t)確定，wi(t)為第i個線性參數(shù)；e(t)為其逼近誤差項；K為線性參數(shù)的維數(shù)，對應(yīng)于神經(jīng)網(wǎng)絡(luò)隱含層神經(jīng)元數(shù)；在當前時刻t時，如果神經(jīng)網(wǎng)絡(luò)已經(jīng)運行n步，將RBF神經(jīng)網(wǎng)絡(luò)描述為矩陣形式

Y(t)=J(t)θ(t)+E(t)

Y(t)= [y(1),y(2),…,y(t)]T∈Rn,

jT(i)=[j1(i),j2(i),…,jk(i)],1≤i≤n,

J(t)=[jT(1),jT(2),…,jT(t)]T∈Rn×K，

θ(t)=wT(t)=[w1(t),w2(t),…,wK(t)]T∈RK,

E(t)=[e(1),e(2),…,e(t)]T∈Rn

(4)

將回歸量的參數(shù)用以下形式表示

(5)

在時刻t,定義一個K的埃爾米特矩陣Q

Q(t)=[JT(t)J(t)]-1

(6)

利用矩陣Q，學(xué)習(xí)過程如下

L(t)=Q(t)J(t)=Q(t-1)J(t)

=Q(t-1)J(t)[1+JT(t)Q(t-1)J(t)]-1

Q(t)=[I-L(t)JT(t)]Q(t-1)

(7)

為了加快學(xué)習(xí)過程的速度，將式(7)重新調(diào)整為

L(t)=Q(t)J(t)=Q(t-1)J(t)

=Q(t-1)J(t)[1+JT(t)Q(t-1)J(t)]-1

Q(t)=[I-αL(t)JT(t)]Q(t-1)

(8)

式中α=1,|ε(t)|≥|e(t)|;α=0,|ε(t)|≤|e(t)|,e(t)是逼近誤差，ε(t)估計誤差,即

(9)

2.2 溶解氧預(yù)測相關(guān)指標選取

溶解氧是絕大部分海洋生物賴以生存的基本條件 。研究表明，溫度直接影響水體中溶解氧含量，海水溫度升高，動植物呼吸作用加強，有機物分解加快，消耗了較多的溶解氧 。一般來說，海水的溫度越高，水體中溶解的鹽分越大，水中的溶解氧越低。其次，pH也是影響水體中溶解氧含量的關(guān)鍵因素之一 。這種關(guān)系主要受控于水體中海洋生物的光合作用。光合作用可以表達為

C106H263O110N16P+138O2

(10)

光合作用消耗CO2和H+,使其在海水中的含量減少，導(dǎo)致pH升高；同時光合作用產(chǎn)生了大量的溶解氧，因而溶解氧含量隨著pH的升高而增大。海水中的氧化還原電位也和水體中的溶解氧含量有著密切的關(guān)系，其數(shù)值與水體中溶解氧含量的對數(shù)呈線性關(guān)系，一般來說，水體中含氧量越低，氧化還原電位越低。

基于上述對海水中溶解氧相關(guān)指標的分析，本文選取近岸海域水質(zhì)監(jiān)測系統(tǒng)所監(jiān)測到的水體的水溫、鹽度、pH以及氧化還原電位來對水體中的溶解氧含量進行預(yù)測。

2.3 數(shù)據(jù)樣本與預(yù)處理

采用的水質(zhì)數(shù)據(jù)為近岸海域水質(zhì)監(jiān)測系統(tǒng)2014年4月15日～4月30日的水質(zhì)監(jiān)測數(shù)據(jù)，該組數(shù)據(jù)由傳感器采集取得。每2h取一組數(shù)據(jù)，總共202組：訓(xùn)練集(182×4)和測試集(20×4)，部分樣本數(shù)據(jù)如表1所示。

為了精準預(yù)測溶解氧，將樣本數(shù)據(jù)歸一化至[-1,1]區(qū)間內(nèi)

(11)

式中 xk為第k個輸入樣本，yk為第k個輸入樣本xk的歸一化值，xmax,xmin分別為輸入樣本中的最大值及最小值，ymax,ymin的值分別為1，-1。

2.4 改進型遞歸最小二乘RBF神經(jīng)網(wǎng)絡(luò)溶解氧預(yù)測模型

創(chuàng)建三層RBF神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)的輸入層是4種與溶解氧相關(guān)的水質(zhì)指標值，網(wǎng)絡(luò)輸出為溶解氧(DO)，即輸入層節(jié)點數(shù)為4；隱含層節(jié)點數(shù)為30，建模步驟如下：

1)當對RBF神經(jīng)網(wǎng)絡(luò)隱含層神經(jīng)元數(shù)目M確定之后，從輸入樣本xi(i=1,2,…,n)中選擇M個樣本作為聚類中心；同時需要按照臨近原則,如表1。

表1 樣本數(shù)據(jù)

對樣本數(shù)據(jù)進行分類處理。將滿足dj=min|xi-Cj|(i=1,2,…,n;j=1,2,…,M)的xi分配給中心Cj(j=1,2,…,M)多輸入聚類集合θj(j=1,2,…，M),即xi∈θj；先計算出聚類中心Cj(即θj中樣本多平均值)，然后再具體求出θj的平均值

(12)

2)采用高斯函數(shù)作為RBF,得

(13)

采用以下公式計算σj，即

(14)

式中 dM為所選中心的最大距離。

3)RBF神經(jīng)網(wǎng)絡(luò)t時刻輸出

y(k)=A(k,:)W(t)

(15)

隨機產(chǎn)生t時刻初始權(quán)值W=rand(n,1),n為RBF神經(jīng)網(wǎng)絡(luò)隱層神經(jīng)元的個數(shù)。

4)逼近誤差函數(shù)為

e(k)=f(k)-y(k)

(16)

式中f(k)為期望輸出值。

5)性能指標

(17)

6)計算增益向量

(18)

式中λ的選擇范圍一般在0.95≤λ≤0.99。當參數(shù)變化快時，λ取小點；當參數(shù)變化慢時，λ取大點。

7)計算t+1時刻神經(jīng)網(wǎng)絡(luò)權(quán)值

W(t+1)=W(t)+Q(k)e(k)

(19)

8)估計誤差函數(shù)為

T(k)=f(k)-A(k,:)W(t+1)

(20)

9)比較估計誤差與逼近誤差的絕對值大小，如果逼近誤差絕對值小于估計誤差絕對值，則t+1時刻神經(jīng)網(wǎng)絡(luò)隱含層到輸出層的權(quán)值不更新;否則，更新t+1時刻隱層到輸出層的權(quán)值，權(quán)值更新公式為式(19)。

10)更新矩陣P(k)，即

k=1,2,…,m

(21)

式中m為訓(xùn)練集的樣本個數(shù)，設(shè)P的初始值為P(0)=αI∈Rn×n,Rn×n中n為神經(jīng)網(wǎng)絡(luò)隱含層的神經(jīng)元個數(shù)。

11)對樣本數(shù)據(jù)進行訓(xùn)練，如果樣本數(shù)據(jù)沒有訓(xùn)練完，返回步驟(1)重復(fù)上述過程；否則，如果性能指標J>Tol(Tol為期望性能指標),令J=0,返回步驟(2)對樣本數(shù)據(jù)重新訓(xùn)練，否則結(jié)束訓(xùn)練，輸出神經(jīng)網(wǎng)絡(luò)權(quán)值向量W，即為改進型遞歸最小二乘算法優(yōu)化的RBF神經(jīng)網(wǎng)絡(luò)訓(xùn)練的隱含層到輸出層的最優(yōu)權(quán)值。

3 仿真結(jié)果與分析

3.1 改進型遞歸最小二乘RBF仿真結(jié)果

運用Matlab仿真如圖1所示，改進型遞歸最小二乘算法優(yōu)化的RBF神經(jīng)網(wǎng)絡(luò)模型得到的水溶解氧(DO)預(yù)測輸出與期望輸出有較好的吻合。

預(yù)測結(jié)果與隱含層節(jié)點數(shù)有關(guān)，從表2中得出，當隱含層節(jié)點數(shù)為30時，均方誤差最小。

圖1 改進模型預(yù)測結(jié)果Fig 1 Predicted results of improved model

節(jié)點個數(shù)均方誤差節(jié)點個數(shù)均方誤差240.6612300.5776250.6740310.6453260.6658320.6561270.6789330.6972280.6642340.7056290.6593350.7225

3.2 預(yù)測算法比較

為了更好地分析改進型遞歸最小二乘RBF神經(jīng)網(wǎng)絡(luò)的溶解氧預(yù)測結(jié)果，用遞歸最小二乘算法優(yōu)化的RBF與RBF神經(jīng)網(wǎng)絡(luò)也對溶解氧進行了預(yù)測。采用改進型遞歸最小二乘RBF，遞歸最小二乘RBF與RBF神經(jīng)網(wǎng)絡(luò)得到的溶解氧預(yù)測結(jié)果比較如圖2和圖3所示，包括兩條曲線，預(yù)測曲線與誤差曲線。從曲線可以看出，改進型遞歸最小二乘RBF神經(jīng)網(wǎng)絡(luò)的預(yù)測誤差始終小于遞歸最小二乘RBF與RBF神經(jīng)網(wǎng)絡(luò)。從圖中可以看出，改進型遞歸最小二乘優(yōu)化的RBF神經(jīng)網(wǎng)絡(luò)預(yù)測模型的預(yù)測值更加接近溶解氧的實際值，比遞歸最小二乘算法優(yōu)化的RBF與RBF神經(jīng)網(wǎng)絡(luò)更加準確。

圖2 預(yù)測曲線Fig 2 Predicting curve

圖3 誤差曲線Fig 3 Error curve

4 結(jié)束語

本文以溶解氧的預(yù)測為例，針對近岸海域水質(zhì)監(jiān)測系統(tǒng)2014年4月16日～4月30日的水質(zhì)監(jiān)測數(shù)據(jù)，通過使用改進型遞歸最小二乘算法優(yōu)化的RBF神經(jīng)網(wǎng)絡(luò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)隱含層到輸出層的網(wǎng)絡(luò)連接權(quán)值，得到一種高效的人工神經(jīng)網(wǎng)絡(luò)。將獲得的改進型遞歸最小二乘RBF神經(jīng)網(wǎng)絡(luò)模型與溶解氧預(yù)測系統(tǒng)結(jié)合，對RBF神經(jīng)網(wǎng)絡(luò)，遞歸最小二乘RBF神經(jīng)網(wǎng)絡(luò)以及改進型遞歸最小二乘RBF神經(jīng)網(wǎng)絡(luò)模型進行實驗仿真并對預(yù)測結(jié)果進行了詳細分析。結(jié)果表明：改進型遞歸最小二乘算法優(yōu)化的RBF神經(jīng)網(wǎng)絡(luò)較之于RBF神經(jīng)網(wǎng)絡(luò)，遞歸最小二乘算法優(yōu)化的RBF神經(jīng)網(wǎng)絡(luò)具有預(yù)測精度高，泛化能力強等性質(zhì)，在溶解氧預(yù)測系統(tǒng)中的應(yīng)用效果顯著。

[1] 管崇武，劉 晃，宋紅橋，等.涌浪機在對蝦養(yǎng)殖中的增氧作用[J].農(nóng)業(yè)工程學(xué)報，2012,28(9):208-212.

[2] 王 立，劉載文，吳成瑞.基于多元時序分析的水華預(yù)測及因素分析方法[J].化工學(xué)報，2013,64(12):4649-4655.

[3] 朱麗楠，官 滌，王永軍，等.典型湖庫富營養(yǎng)化的模糊綜合評價研究[J].長江流域資源與環(huán)境,2012,21(9):1131-1136.

[4] 陳明千，李 艷，李克鋒，等.水庫降低水位運行對庫區(qū)水質(zhì)影響的預(yù)測研究[J].四川大學(xué)學(xué)報:工程科學(xué)版，2012,44(1):32-36.

[5] Wu J,Lu J,Wang J.Application of chaos and fractal models to water quality time series prediction[J].Environmental Modelling & Software,2009,24(5):632-636.

[6] Zou S,Yu Y.A dynamic factor model for multivariate water quality time series with trends[J].Journal of Hydrology,1996,178(1-4):381-400.

[7] Lü Jiake，Wang Xuan,Zou Wei.A hybrid approach of support vector machine with differential evolution optimization for water quality prediction[J].Journal of Convergence Information Technology,2013,8(2):1158-1163.

[8] Tan G H,Yan J Z,Gao C,et al.Prediction of water quality time series data based on least squares support vector machine[J].Procedia Engineering,2012,31:1194-1199.

[9] Xu L,Liu S.Study of short-term water quality prediction model based on wavelet neural network[J].Mathematical and Computer Modelling,2013,58(3～4):807813.

[10] Broomhaced Lowe.An efficient multiobjective learning algorithm for RBF neural network[J].Neurocomputing,1988,7(8):16-21.

[11] 喬俊飛，韓紅桂.前饋神經(jīng)網(wǎng)絡(luò)分析與設(shè)計[M].北京:科學(xué)出版社,2015.

[12] 石曉勇，陸 茸，張傳松，等.長江口鄰近海域溶解氧分布特征及主要影響因素[J].中國海洋大學(xué)學(xué)報:自然科學(xué)版，2006,36(2):287-290.

[13] 王玉衡，蔣國昌，董恒霖.春季浙江南部海區(qū)溶解氧、pH和營養(yǎng)鹽分布特征及相互關(guān)系研究[J].海洋學(xué)報，1990,12(5):654-660.

[14] 殷 燕，吳志旭，劉明亮，等.千島湖溶解氧的動態(tài)分布特征及其影響因素分析[J].環(huán)境科學(xué),2014,35(7):2539-2546.

[15] Tang Xiao，Wang Jia.Factors affecting the ORP in sea water[J].Corrosion Mechanism and Protection of Environmental Effect，2004(8):37-39.

Dissolved oxygen prediction based on improved recursive least square RBF neural network*

YUAN Hong-chun, PAN Jin-jing

(College of Information,Shanghai Ocean University,Shanghai 201306,China)

In order to improve accuracy of dissolved oxygen prediction,radial basis function(RBF)neural network based on improved recursive least square algorithm is applied to predict the dissolved oxygen.Using K means clustering algorithm to choose the center of hidden layer units and improved recursive least square algorithm is used to optimize the weights of hidden layer to output layer of RBF neural network.Simulation results show that the proposed method has good nonlinear fitting ability and its prediction precision is higher than RBF neural network and RBF neural network based on recusive least square algorithm.

dissolved oxygen prediction; improved recursive least square algorithm; RBF neural network; recursive least squre algorithm

2015—11—05

上海市科學(xué)技術(shù)委員會技術(shù)支撐項目(14391901400)

10.13873/J.1000—9787(2016)10—0020—04

TP 389.1

A

1000—9787(2016)10—0020—04

袁紅春(1971-)，男，江蘇海門人，博士，教授，碩士研究生導(dǎo)師,主要從事專家系統(tǒng)、智能計算、智能信息處理等研究工作。