基于灰色GA-LM-BP模型的CODMn預測

崔雪梅

(湖北工程學院生命科學技術學院,湖北孝感 432000)

(收稿日期:20120910 編輯:周紅梅)

基于灰色GA-LM-BP模型的CODMn預測

崔雪梅

(湖北工程學院生命科學技術學院,湖北孝感 432000)

針對灰色GM(1,1)模型擬合誤差較大和LM-BP神經(jīng)網(wǎng)絡泛化能力不強的問題,提出了灰色GA-LM-BP模型,該模型采用灰色GM(1,1)模型預測數(shù)據(jù)并得到其殘差,利用LM-BP神經(jīng)網(wǎng)絡對殘差進行擬合、測試、預測后,對灰色GM(1,1)模型的數(shù)據(jù)預測值進行修正從而得到較合理的預測值,并運用遺傳算法對LM-BP神經(jīng)網(wǎng)絡的初始權值和閾值進行優(yōu)化。運用該模型對倫河孝感段的CODMn進行了預測,預測誤差不超過2.33％,表明模型的預測數(shù)據(jù)是合理的,可用于CODMn的預測和水質(zhì)預警預報。

灰色理論;GA-LM-BP模型;化學需氧量;水質(zhì)預測

化學需氧量(CODMn)是反映水中有機污染程度的指標,也是唯一能比較全面反映水中有機污染程度的指標,根據(jù)CODMn可以比較準確地計算廢水有機污染物的排放總量[1-2]。用于預測CODMn的方法主要有逐步回歸法、神經(jīng)網(wǎng)絡法、灰色預測法等[3-5]。利用微分方程描述灰色系統(tǒng)動態(tài)情況的模型,能反映地表水中CODMn濃度隨時間變化的規(guī)律,但胡惠彬等[3]采用灰色GM(1,1)模型進行數(shù)據(jù)預測時,擬合誤差比較大。LM-BP神經(jīng)網(wǎng)絡存在擬合能力強、泛化能力差的特點,采用多次擬合測試能夠在一定程度上提高其泛化能力,但該方法需要反復試驗,有時試驗上萬次還不一定能夠取得很好的效果[6]。采用遺傳算法對LM-BP神經(jīng)網(wǎng)絡的初始權值和閾值進行優(yōu)化,能夠提高其泛化能力[7]。

本文首先采用灰色GM(1,1)模型預測CODMn并得到其殘差,再用LM-BP神經(jīng)網(wǎng)絡對該殘差進行擬合,同時用遺傳算法對LM-BP神經(jīng)網(wǎng)絡的初始權值和閾值進行優(yōu)化。利用灰色LM-BP模型對殘差進行擬合、測試、預測后,對灰色GM(1,1)模型的數(shù)據(jù)預測值進行修正,最后得到較合理的CODMn預測值。

1 灰色GA-LM-BP模型

1.1 灰色GM(1,1)模型

單序列一階線性灰色GM(1,1)模型以微分擬合為核心,根據(jù)原始數(shù)據(jù)序列的特征,找出各數(shù)據(jù)之間的變化規(guī)律,它是灰色系統(tǒng)理論的基本預測模型,其動態(tài)預測建模過程[8-10]如下:

步驟1數(shù)據(jù)預處理。設系統(tǒng)原始數(shù)據(jù)為X0= {x0,1,x0,2,…,x0,k},進行一階累加,生成的序列為

式中:k為原始序列數(shù)據(jù)的個數(shù)。

式中:a為發(fā)展系數(shù);b為灰色作用量;z1,p為x1,p的緊鄰均值生成序列。

GM(1,1)模型的白化微分方程[11]為

1.2 遺傳算法

遺傳算法是借鑒達爾文進化思想和遺傳學理論演化出的一種隨機搜索算法[12],其基本思想是:隨機產(chǎn)生若干個所求解問題的數(shù)字編碼,形成初始群體;通過適應度函數(shù)對每個個體進行評價,淘汰適應度低的個體,選擇適應度高的個體參加遺傳操作,生成下一代新的種群,再對這個新種群進行下一輪進化。

1.3 LM-BP神經(jīng)網(wǎng)絡

標準BP神經(jīng)網(wǎng)絡的基本思想是:將輸出誤差以一定的方式通過隱含層向輸入層逐層反向傳播,并傳給各層的所有節(jié)點,最后根據(jù)各層節(jié)點的誤差來修正各節(jié)點的權值。該方法速度慢,容易陷入局部極小值,針對該問題,人們提出了很多改進算法,其中LM(levenberg marquardt)算法是精度很高且速度最快的一種[6]。LM算法又稱阻尼最小二乘法,它解決了標準BP神經(jīng)網(wǎng)絡的局部極小值問題。

LM算法對標準3層BP神經(jīng)網(wǎng)絡改進的主要步驟如下[13]:

步驟1初始權閾值初始化:隨機產(chǎn)生初始權值和閾值,確定所有樣本的誤差平方和以及要達到的收斂準則ε,在編程中ε一般取1個很小的數(shù)。

中國家用電器研究院評測中心主任工程師梁晶以“用戶體驗及用戶體驗評測”為主題，從用戶角度分享了冰箱技術升級的側(cè)重點。她表示，從產(chǎn)品策劃的角度來說，用戶體驗分為“有用”、“可用”、“易用”三個等級，三者都滿足就能成為消費者青睞的好產(chǎn)品。未來冰箱企業(yè)創(chuàng)新，符合并挖掘用戶需求是關鍵。

步驟2計算輸出誤差:對于r個輸入層節(jié)點、n個隱含層節(jié)點、m個輸出層節(jié)點的3層網(wǎng)絡來說,隱含層第i節(jié)點輸出ai為

式中:w1ij、b1i分別為第1層(輸入層)節(jié)點的權重和閾值;xj為隱含層的節(jié)點輸入;f1為變換函數(shù)。

隱含層的節(jié)點輸出為輸出層的節(jié)點輸入,輸出層第j節(jié)點輸出yj為

式中:w2ij、b2i分別為第2層即隱含層節(jié)點的權重和閾值;f2為變換函數(shù)。

輸出層節(jié)點輸出誤差E為

式中:ysj為期望輸出。

步驟3計算雅可比矩陣:

式中:Su為第u層節(jié)點數(shù);Q為訓練樣本數(shù)。

步驟4求BP網(wǎng)絡權值的調(diào)整量Δwv:

式中:wv、wv+1分別為v、v+1時刻的權值;I為單位矩陣;μv為LM算法內(nèi)部使用的一個大于零的調(diào)整因子,用于控制LM算法的迭代。通過自適應調(diào)整該值,LM算法可以完成梯度下降法與高斯牛頓法的較好結(jié)合。

1.4 灰色GA-LM-BP模型

灰色GA-LM-BP模型數(shù)據(jù)預測修正流程如圖1所示。該模型的總體思想是:首先建立灰色GM(1,1)模型并預測數(shù)據(jù),得到其殘差。由于灰色GM(1,1)模型擬合精度不高,采用LM-BP神經(jīng)網(wǎng)絡對該殘差進行擬合、測試、預測,同時采用遺傳算法對LM-BP神經(jīng)網(wǎng)絡的初始權閾值進行優(yōu)化。最后,將LM-BP神經(jīng)網(wǎng)絡得到的殘差預測結(jié)果對GM(1,1)模型的數(shù)據(jù)預測值進行修正,得到合理的數(shù)據(jù)預測值。該模型包含灰色GM(1,1)預測和LM-BP神經(jīng)網(wǎng)絡的預測,其中LM-BP神經(jīng)網(wǎng)絡預測過程相對比較復雜,里面包含GA對LP-BP神經(jīng)網(wǎng)絡初始權閾值的優(yōu)化。

遺傳算法對LM-BP神經(jīng)網(wǎng)絡的初始權值和閾值進行優(yōu)化的核心思想如下:①建立BP神經(jīng)網(wǎng)絡,設置好網(wǎng)絡訓練參數(shù),隨機初始化遺傳算法GA種群;②將遺傳算法種群的每組個體作為BP神經(jīng)網(wǎng)絡的初始權值和閾值,采用LM算法對BP神經(jīng)網(wǎng)絡進行訓練;③將訓練好的LM-BP神經(jīng)網(wǎng)絡對殘差進行測試、預測,計算其均方誤差,將均方誤差作為遺傳算法的評價函數(shù),計算每個個體的適應度;④根據(jù)適應度對個體進行遺傳(選擇、交叉、變異)操作;⑤滿足遺傳代數(shù)g大于設定值的條件就結(jié)束,否則轉(zhuǎn)第②步,進入下一代遺傳。

在編程的過程中,可以求出所有代所有個體中適應度最小的值,并且記下此時神經(jīng)網(wǎng)絡的權值和閾值,這樣就能保證網(wǎng)絡經(jīng)過多次訓練多代遺傳后,最終得到最優(yōu)的網(wǎng)絡參數(shù)。經(jīng)過遺傳算法對初始權值和閾值的優(yōu)化后,神經(jīng)網(wǎng)絡的泛化能力將大幅增強。遺傳算法適應度跟種群的個體之間是一種間接的關系,中間經(jīng)過了神經(jīng)網(wǎng)絡的訓練和測試,這是該模型實現(xiàn)的一個難點。

圖1 灰色GA-LM-BP模型數(shù)據(jù)預測修正流程

2 實例應用

采用灰色GA-LM-BP模型對倫河孝感段的CODMn進行擬合、測試、預測。數(shù)據(jù)取樣每2個月1次,采用2008年8月至2011年12月共21個月的CODMn監(jiān)測數(shù)據(jù)。建立灰色GM(1,1)模型,得到CODMn的模擬值、殘差及殘差相對誤差,如表1所示。

表1 灰色GM(1,1)模型對CODMn的擬合結(jié)果

由表1可見,灰色GM(1,1)模型的擬合精度不高,且殘差的相對誤差沒有規(guī)律性,需采用灰色GALM-BP模型對數(shù)據(jù)進行修正。建立LM-BP神經(jīng)網(wǎng)絡,將最后3個數(shù)據(jù)作為測試數(shù)據(jù),前17個數(shù)據(jù)作為擬合數(shù)據(jù),BP網(wǎng)絡輸入層節(jié)點數(shù)為8,輸出層節(jié)點數(shù)為1,經(jīng)反復試驗確定隱含層節(jié)點數(shù)為6比較合適。設置遺傳算法個體(31個數(shù)據(jù))變量的二進制位數(shù)為20,代溝為0.9,遺傳代數(shù)為10。將遺傳算法的種群個體作為LM-BP神經(jīng)網(wǎng)絡的初始權值和閾值,經(jīng)過LM-BP神經(jīng)網(wǎng)絡訓練后,對測試樣本進行對比,求出其均方誤差,將均方誤差作為遺傳算法的評價函數(shù),進一步求出種群個體的適應度。經(jīng)過10代遺傳后,得到各代種群適應度的最優(yōu)解和均值變化如圖2所示。

圖2 各代種群的最優(yōu)解和均值的變化

利用灰色GA-LM-BP模型對灰色GM(1,1)預測得到的殘差相對誤差進行擬合,其擬合相對誤差分別為:1.70×10-6、-2.87×10-7、6.68×10-8、-6.50× 10-6、-5.88×10-6、-2.90×10-6、-7.44×10-6、4.16× 10-5、1.96×10-6,可以看出灰色GA-LM-BP模型對訓練樣本基本上能百分之百擬合。對表1中最后3個殘差數(shù)據(jù)的相對誤差進行預測,預測的相對誤差分別為-1.3831％、-0.32296％、-2.3206％,從預測結(jié)果可以看出,其誤差均不超過2.33％,說明可以用該灰色GA-LM-BP模型對殘差的相對誤差進行預測。

最后,利用灰色GM(1,1)模型預測2012年2—10月的5個CODMn質(zhì)量濃度數(shù)據(jù),采用灰色GALM-BP模型對殘差的相對誤差進行預測,然后修正預測的CODMn質(zhì)量濃度數(shù)據(jù),最后得到較合理的CODMn質(zhì)量濃度值,如表2所示。

表2 CODMn質(zhì)量濃度灰色預測、修正結(jié)果

3 結(jié) 語

灰色GA-LM-BP模型是一種有效的水質(zhì)預測方法,其吸收了灰色預測方法、遺傳算法和LM-BP神經(jīng)網(wǎng)絡的優(yōu)點,但同時也增加了編程的復雜性和計算工作量,主要體現(xiàn)在遺傳算法的優(yōu)化過程中。運用灰色GA-LM-BP模型對倫河孝感段21個月的CODMn實測數(shù)據(jù)進行擬合、預測,應用結(jié)果表明,采用該模型對本地區(qū)的CODMn值進行預測是合理可行的,一方面該方法利用灰色GM(1,1)模型能很好地反映本地區(qū)河流CODMn值隨時間的變化規(guī)律,另一方面可以采用LM-BP神經(jīng)網(wǎng)絡的殘差預測結(jié)果對預測數(shù)據(jù)進行修正,得到合理的預測數(shù)據(jù)。

[1]朱玉磊.化學需氧量幾種測定方法研究[J].科技資訊, 2008,28(10):83-85.(ZHU Yulei.The research of determination of chemical oxygen demand(COD)[J]. Science＆Technology Information,2008,28(10):83.(in Chinese))

[2]遠振海,魯治冰.基于神經(jīng)網(wǎng)絡的COD值預測研究[J].黑龍江水專學報,2008,35(1):84-86.(YUAN Zhenhai,LU Zhibing.COD data forecast based on NN[J]. Journal of Heilongjiang Hydraulic Engineering College, 2008,35(1):84-86.(in Chinese))

[3]胡惠彬.灰色系統(tǒng)的GM(1,1)模型在地表水COD濃度預測中的應用[J].中國環(huán)境監(jiān),1993,9(4):45-46. (HU Huibin.Application of grey system GM(1,1) models in forecasting cod concentration of surface water [J].Environmental Monitoring in China,1993,9(4):45-46.(in Chinese))

[4]劉玉存,于國強,王少華,等.基于神經(jīng)網(wǎng)絡的傳爆藥廢水COD去除率預測研究[J].含能材料,2009,17(3): 361-364.(LIU Yucun,YU Guoqiang,WANG Shaohua,et al.Elman model in prediction of COD removal rate of booster explosive wastewater[J].Chinese Journal of EnergeticMaterials,2009,17(3):361-364.(in Chinese))

[5]趙英,崔福義,郭亮,等.基于BP神經(jīng)網(wǎng)絡的天津于橋水庫CODMn預測研究[J].南京理工大學學報:自然科學版,2008,32(3):376-380.(ZHAO Ying,CUI Fuyi, GUO Liang,et al.CODMnforecast based on BP neural network at Yuqiao Reservoir in Tianjin[J].Journal of Nanjing University of Science and Technology:Nature Science,2008,32(3):376-380.(in Chinese))

[6]阮仕平,黨志良,胡曉寒,等.基于LM-BP算法的綜合水質(zhì)評價研究[J].水資源研究,2004,25(1):12-14. (YUAN Shiping,DANG Zhiliang,HU Xiaohan,et al. Study on comprehensive water quality assessment based on LM-BP algorithm[J].JournalofWaterResources Research,2004,25(1):12-14.(in Chinese))

[7]GUOhairu,LIZhimin.Amethodofimproving generalization ability for neural network based on genetic algorithm[C]//2010 IEEE International Conference on Intelligent ComputingandIntelligentSystems(ICIS 2010).Beijing:IEEE PRESS,2010:742-745.

[8]劉思峰,謝乃明.灰色系統(tǒng)理論及其應用[M].第4版.北京:科學出版社,2008.

[9]鄧聚龍.灰色系統(tǒng)基本方法[M].武漢:華中科技大學出版社,2004.

[10]周媛,朱大奇.水下機器人傳感器故障診斷的灰色預測模型[J].中國造船,2011,52(1):137-144.(ZHOU Yuan,ZHU Daqi.A sensor fault diagnosis method for underwater vehicles based on GM(1,1)[J].Shipbuilding of China,2011,52(1):137-144.(in Chinese))

[11]閻威武,?？×?邵惠鶴.基于滾動時間窗的最小二乘支持向量機回歸估計方法及仿真[J].上海交通大學學報,2004,38(4):524-527.(YAN Weiwu,CHANG Junlin,SHAO Huihe.Least square SVM regression method based on sliding time window and its simulation[J]. Journal of Shanghai Jiaotong University,2004,38(4): 524-527.(in Chinese))

[12]原思聰,江祥奎.基于GA-BP神經(jīng)網(wǎng)絡的雙目攝像機標定[J].西安建筑科技大學學報:自然科學版,2011, 43(4):604-608.(YUAN Sicong,JIANG Xiangkui. Binocular camera calibration based on GA-BP neural network[J].Journal of Xi'an University of Architecture＆ Technology:Natural Science Edition,2011,43(4):604-608.(in Chinese))

[13]繆新穎,褚金奎,杜小文.LM-BP神經(jīng)網(wǎng)絡在大壩變形預測中的應用[J].計算機工程與應用,2011,47(1): 220-222.(MIAO Xinying,CHU Jinkui,DU Xiaowen. Application of LM-BP neural network in predicting dam deformation[J].Computer Engineering and Applications, 2011,47(1):220-222.(in Chinese))

Prediction of CODMnvalue based on the grey GA-LM-BP model

//CUI Xuemei(College of Life Science and Technology,Hubei Engineering University,Xiaogan432000,China)

Due to the large fitting-errors of grey GM(1,1)model and the weak generalization ability of LM-BP neural network,a model of grey GA-LM-BP network was proposed in this paper.The grey GM(1,1)model was used to predict data and obtain residual errors.After the residual errors were fitted,tested and forecasted with LM-BP neural network, more reasonable predicted values can be obtained by correcting the predicted values of the GM(1,1)model.In the meantime,the initialized weights and threshold of LM-BP neural network were optimized with the genetic algorithm(GA). The grey GA-LM-BP model was then used to predict the CODMnvalues at the Xiaogan segment of Lunhe River.Since the prediction errors were found to be less than 2.33％,the accuracy of the model is considered to be reasonable.The model can be used to predict the CODMnvalues and the water quality early warning.

grey theory;GA-LM-BP model;CODMn;water quality prediction

(收稿日期:20120910 編輯:周紅梅)

10.3880/j.issn.10067647.2013.05.009

TP181;X703.1

A

10067647(2013)05003804

湖北省教育科學“十一五”規(guī)劃課題(2009B106);湖北工程學院項目(Z2011019)

崔雪梅(1979—),女,云南宣威人,講師,碩士,主要從事生態(tài)環(huán)境及智能預測研究。xgughr@126.com