基于ANN和LSSVR的造紙廢水處理過(guò)程軟測(cè)量建模

汪 瑤 徐 亮 殷文志 胡慕伊 黃明智 劉鴻斌,2,*

(1.南京林業(yè)大學(xué)江蘇省制漿造紙科學(xué)與技術(shù)重點(diǎn)實(shí)驗(yàn)室,江蘇南京,210037；2.華南理工大學(xué)制漿造紙工程國(guó)家重點(diǎn)實(shí)驗(yàn)室,廣東廣州,510640；3.中山大學(xué)水資源與環(huán)境系,廣東廣州,510275)

基于ANN和LSSVR的造紙廢水處理過(guò)程軟測(cè)量建模

汪 瑤1徐 亮1殷文志1胡慕伊1黃明智3劉鴻斌1,2,*

(1.南京林業(yè)大學(xué)江蘇省制漿造紙科學(xué)與技術(shù)重點(diǎn)實(shí)驗(yàn)室,江蘇南京,210037；2.華南理工大學(xué)制漿造紙工程國(guó)家重點(diǎn)實(shí)驗(yàn)室,廣東廣州,510640；3.中山大學(xué)水資源與環(huán)境系,廣東廣州,510275)

針對(duì)造紙廢水處理系統(tǒng)的時(shí)變性、非線性和復(fù)雜性等特點(diǎn),將人工神經(jīng)網(wǎng)絡(luò)(ANN)和最小二乘支持向量回歸(LSSVR)分別用于造紙廢水處理過(guò)程中的軟測(cè)量建模,實(shí)現(xiàn)造紙廢水處理過(guò)程中出水化學(xué)需氧量和出水懸浮固形物濃度的預(yù)測(cè)。ANN采用誤差反向傳播算法建模,LSSVR通過(guò)粒子群優(yōu)化算法進(jìn)行模型參數(shù)優(yōu)化。結(jié)果表明,與ANN模型預(yù)測(cè)結(jié)果相比,LSSVR模型預(yù)測(cè)結(jié)果的均方根誤差降低了50%以上,相關(guān)系數(shù)提高了近10%,表明LSSVR模型在造紙廢水處理過(guò)程中的預(yù)測(cè)精度高于ANN模型。

人工神經(jīng)網(wǎng)絡(luò)；最小二乘支持向量回歸；造紙廢水處理；軟測(cè)量建模；粒子群優(yōu)化算法

通常采用物理法或生化法處理造紙廢水,該處理過(guò)程具有非線性、時(shí)變性、不確定性、復(fù)雜性和滯后性等特點(diǎn)[1]。因而,采用機(jī)理分析和數(shù)學(xué)推導(dǎo)的方法難以獲得精確的數(shù)學(xué)模型[2],特別是與出水水質(zhì)指標(biāo)相關(guān)的關(guān)鍵參數(shù)無(wú)法實(shí)現(xiàn)在線測(cè)量,這直接影響廢水處理過(guò)程的實(shí)時(shí)控制和優(yōu)化操作。將軟測(cè)量技術(shù)應(yīng)用于造紙廢水處理過(guò)程,建立出水水質(zhì)關(guān)鍵參數(shù)的軟測(cè)量模型,可有效解決這一難題[3]。

目前,軟測(cè)量建模的主要方法有機(jī)理建模、回歸分析、模糊建模和神經(jīng)網(wǎng)絡(luò)建模等[4- 6]。其中,人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,ANN)近年來(lái)已成功應(yīng)用在造紙廢水處理過(guò)程軟測(cè)量建模中。李迪等[7]采用ANN對(duì)造紙廢水處理過(guò)程進(jìn)行動(dòng)態(tài)建模；馬邕文等[8]提出了利用模糊神經(jīng)網(wǎng)絡(luò)模型對(duì)廢水處理過(guò)程的化學(xué)需氧量進(jìn)行控制及預(yù)測(cè)；李偉獎(jiǎng)等[9]針對(duì)誤差反向傳播算法收斂慢、易陷入局部極小等缺點(diǎn),提出用遺傳算法進(jìn)行全局尋優(yōu)。

支持向量機(jī)(Support Vector Machines,SVM)是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的新型學(xué)習(xí)機(jī)。SVM利用結(jié)構(gòu)最小化原理較好地解決了小樣本、非線性、高維數(shù)、局部極小等實(shí)際問(wèn)題,目前已成為污水處理過(guò)程建模領(lǐng)域的研究熱點(diǎn)[10-13]。最小二乘支持向量回歸(Least Square Support Vector Regression,LSSVR)是SVM的改進(jìn),其在SVM的基礎(chǔ)上降低了計(jì)算復(fù)雜度,有效提高了學(xué)習(xí)速度,更加適用于工業(yè)過(guò)程軟測(cè)量建模的研究[14]。張世峰等[15]提出一種基于LSSVR的出水水質(zhì)軟測(cè)量模型,并將其應(yīng)用于污水處理過(guò)程中溶解氧濃度的控制。

本課題應(yīng)用ANN和LSSVR這2種方法分別建立造紙廢水處理過(guò)程的軟測(cè)量模型,實(shí)現(xiàn)造紙廢水處理過(guò)程中出水化學(xué)需氧量(CODeff)和出水懸浮固形物(SSeff)濃度的預(yù)測(cè)。

1 ANN和LSSVR的原理

1.1 ANN原理

ANN算法多種多樣，其中應(yīng)用最為廣泛的是誤差反向傳播(BP)網(wǎng)絡(luò),其主要由輸入層、隱含層和輸出層構(gòu)成,如圖1所示。BP網(wǎng)絡(luò)的工作原理是輸入信號(hào)的正向傳播和誤差信號(hào)的反向傳播,通過(guò)權(quán)重修正使得式(1)中誤差函數(shù)E趨于最小。

(1)

式中,m為學(xué)習(xí)樣本數(shù),dk表示第k個(gè)節(jié)點(diǎn)的期望值,yk表示第k個(gè)節(jié)點(diǎn)的輸出值。

式(1)遞推學(xué)習(xí)算法如下：

(2)

圖1 BP網(wǎng)絡(luò)結(jié)構(gòu)

1.2 LSSVR原理

SVM的原理是把原始樣本空間通過(guò)核函數(shù)映射到高維特征空間,然后在此空間中運(yùn)用結(jié)構(gòu)風(fēng)險(xiǎn)最小化思想求解凸優(yōu)化問(wèn)題。SVM的數(shù)學(xué)模型是一個(gè)典型的二次規(guī)劃問(wèn)題。由于標(biāo)準(zhǔn)的SVM模型需要求解二次規(guī)劃問(wèn)題,所以在大樣本數(shù)據(jù)情況下,其運(yùn)算量大,所需支持的向量個(gè)數(shù)也較多,導(dǎo)致模型較復(fù)雜,不易于模型的推廣使用。Suykens等[17]在SVM基礎(chǔ)上提出了LSSVR模型。相對(duì)于SVM,LSSVR模型中的約束是等式約束,在優(yōu)化目標(biāo)函數(shù)中選取了誤差平方和的形式,將原來(lái)需要解決的二次規(guī)劃問(wèn)題通過(guò)最優(yōu)性條件轉(zhuǎn)化為線性方程組求解問(wèn)題,大大降低了計(jì)算復(fù)雜度。在非線性系統(tǒng)建模方面,LSSVR模型更具優(yōu)勢(shì),其基本思想[14]如下。

s.t.y(x)=ωTφ(xi)+b+ξi

(3)

式中,ω是權(quán)系數(shù)向量,C是正規(guī)化參數(shù),φ(xi)是輸入空間到高維空間的非線性映射函數(shù),b為閾值,ξi為擬合誤差。引入αi(1,2,3,…,n),定義拉格朗日函數(shù)為：

(4)

又根據(jù)KKT(Karush-Khun-Tucker)條件得到：

(5)

通過(guò)消元法消去ω和ξi可以得到如下矩陣方程：

(6)

式中,P1×n是1×n的單位行向量；Pn×1是n×1的單位列向量；K(xi+xj)為滿足Mercer條件的核函數(shù),其中i、j=1,2,…,n；E為n×n單位陣；y=[y1,y2，…,yn]T；α=[α1,α2,…,αn]T,運(yùn)用最小二乘法可以求得b和α的值,最終求得回歸函數(shù)如下：

(7)

其中,K(xi,xj)稱(chēng)為核函數(shù)。核函數(shù)的種類(lèi)很多,常用的有：多項(xiàng)式函數(shù),RBF函數(shù),線性函數(shù),Sigmoid函數(shù)等。筆者選用RBF函數(shù)K(xi,xj)=e-(-xi-xj)2/(2σ2),σ是RBF函數(shù)的核函數(shù)寬度。

1.3 粒子群優(yōu)化算法確定系統(tǒng)參數(shù)

由于建立回歸模型時(shí)選用RBF核函數(shù),其模型參數(shù)核函數(shù)寬度σ和正規(guī)化參數(shù)C組成對(duì)訓(xùn)練時(shí)的平均誤差影響較大。因此,用合適的參數(shù)選取方法代替人工試湊法將大為縮短建模時(shí)間并給予參數(shù)選取以理論支持[18]。在此,采用粒子群優(yōu)化(Particle Swarm Optimization,PSO)算法確定這2個(gè)參數(shù)。

假設(shè),對(duì)由m個(gè)粒子組成的群體進(jìn)行搜索,粒子i在群體中的位置為Xi=(x1,x2,…,xn),運(yùn)動(dòng)速度為Vi=(v1,v2,…,vn)。每個(gè)粒子都有一個(gè)目標(biāo)函數(shù)決定的適應(yīng)度值(fitness value)。粒子群初始化為一群隨機(jī)粒子,通過(guò)迭代找到最優(yōu)解,在每一次的迭代中,粒子通過(guò)跟蹤2個(gè)“極值”來(lái)更新自己,一個(gè)為個(gè)體極值(pbest),是粒子本身找到的最優(yōu)解；另一個(gè)為全局極值(gbest),是整個(gè)群體目前找到的最優(yōu)解。粒子群更新公式如下：

Vi+1=Vi+c1·rand·(pbesti-xi)+c2·rand·(gbesti-xi)

(8)

Xi+1=xi+Vi

(9)

式中,rand是介于(0，1)間的隨機(jī)數(shù)；c1和c2是學(xué)習(xí)因子,通常取c1=c2=2。通過(guò)不斷更新粒子,直至滿足迭代結(jié)束條件之后,得到的粒子最優(yōu)位置,即為L(zhǎng)SSVR模型對(duì)應(yīng)的最優(yōu)參數(shù)值σ和C。PSO算法流程圖如圖2所示。

圖2 PSO算法流程圖

圖3 造紙廢水處理過(guò)程數(shù)據(jù)

2 建模與結(jié)果分析

2.1 造紙廢水處理軟測(cè)量模型的建立

2.1.1 廢水?dāng)?shù)據(jù)分析

本實(shí)驗(yàn)的建模數(shù)據(jù)來(lái)源于廣東某造紙廠的廢水處理車(chē)間,數(shù)據(jù)是該廠于2006年3月15日—12月21日期間在好氧段出水處得到的,共計(jì)170組數(shù)據(jù),如圖3所示。從圖3可看出,樣本中共含有8個(gè)變量,分別為進(jìn)水化學(xué)需氧量(CODinf)、出水化學(xué)需氧量(CODeff)、進(jìn)水懸浮固形物濃度(SSinf)、出水懸浮固形物濃度(SSeff)、流量Q、溫度T、溶解氧量(DO)和pH值,其中CODinf、SSinf、pH值、Q、T和DO作為系統(tǒng)的輸入量,分別預(yù)測(cè)CODeff和SSeff。

2.1.2 ANN預(yù)測(cè)模型的建立

從數(shù)據(jù)樣本中,隨機(jī)選取90組樣本進(jìn)行訓(xùn)練,剩下的80組作為檢驗(yàn)樣本來(lái)做預(yù)測(cè)。根據(jù)經(jīng)驗(yàn),筆者采用(6,16,1)的網(wǎng)絡(luò)結(jié)構(gòu)。在BP網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練收斂后,利用訓(xùn)練好的網(wǎng)絡(luò)模型對(duì)剩下的數(shù)據(jù)進(jìn)行仿真,結(jié)果如圖4和圖5所示。

2.1.3 LSSVR預(yù)測(cè)模型的建立

與ANN選用相同的訓(xùn)練集和預(yù)測(cè)集。在初始時(shí)刻選擇參數(shù)的優(yōu)化范圍0.1≤σ≤500,1≤C≤1000,以及選定粒子群規(guī)模為70和最大的迭代次數(shù)為200。通過(guò)對(duì)訓(xùn)練數(shù)據(jù)的學(xué)習(xí)及PSO算法對(duì)LSSVR的參數(shù)優(yōu)化調(diào)整[19],得到預(yù)測(cè)CODeff和SSeff時(shí)的最優(yōu)參數(shù),分別為σ1=28.5,C1=3.9；σ2=56.5,C2=2.4。預(yù)測(cè)結(jié)果如圖6和圖7所示。

2.2 結(jié)果分析

為了比較ANN和LSSVR這2種模型的性能,采用相關(guān)系數(shù)(R)和均方根誤差(RMSE)作為評(píng)價(jià)指標(biāo)來(lái)評(píng)價(jià)模型的預(yù)測(cè)效果。其中,R用來(lái)反映預(yù)測(cè)值與測(cè)量值之間相關(guān)的密切程度,見(jiàn)式(10)；RMSE用來(lái)衡量預(yù)測(cè)值與測(cè)量值之間的偏差,見(jiàn)式(11)。最終得到的R和RMSE的值如表1所示。

(10)

(11)

圖4 ANN模型的CODeff預(yù)測(cè)值與測(cè)量值對(duì)比

圖5 ANN模型的SSeff預(yù)測(cè)值與測(cè)量值對(duì)比

圖6 LSSVR模型的CODeff預(yù)測(cè)值與測(cè)量值對(duì)比

圖7 LSSVR模型的SSeff預(yù)測(cè)值與測(cè)量值對(duì)比

由圖4與圖6的對(duì)比和圖5與圖7的對(duì)比可以看出,LSSVR模型所得預(yù)測(cè)值更接近測(cè)量值。由表1所示的R和RMSE可知,與ANN模型相比,LSSVR模型預(yù)測(cè)CODeff時(shí)的RMSE降低了52%,在預(yù)測(cè)SSeff時(shí)的RMSE降低了56%,且LSSVR模型得到的相關(guān)系數(shù)R提高了近10%。以上說(shuō)明,LSSVR模型預(yù)測(cè)結(jié)果的精度高于ANN模型預(yù)測(cè)結(jié)果。

表1 ANN和LSSVR模型預(yù)測(cè)結(jié)果的性能指標(biāo)對(duì)比

雖然LSSVR模型預(yù)測(cè)的效果較好,但由表1也可以看出,這2種模型所得相關(guān)系數(shù)R均不高。索幸儀等[20]提出了一種基于模糊核聚類(lèi)的多最小二乘支持向量的軟測(cè)量建模方法,用模糊核聚類(lèi)算法對(duì)輸入數(shù)據(jù)進(jìn)行分類(lèi),針對(duì)每個(gè)聚類(lèi)子集用LSSVR建立子模型。這種多模型的建模方法把難以用一個(gè)模型表達(dá)的復(fù)雜系統(tǒng)轉(zhuǎn)換為用多個(gè)簡(jiǎn)單模型逼近,可大大提高模型的精度。由此思考,將本研究中的6個(gè)輸入量進(jìn)行分類(lèi),建立多個(gè)LSSVR子模型以提高模型精度,這可以作為將來(lái)的研究方向。

3 結(jié) 論

3.1 采用人工神經(jīng)網(wǎng)絡(luò)(ANN)和最小二乘支持向量回歸(LSSVR)2種方法分別對(duì)造紙廢水處理過(guò)程中的出水COD和SS進(jìn)行預(yù)測(cè)。通過(guò)對(duì)比這2種方法的預(yù)測(cè)結(jié)果發(fā)現(xiàn),在相同的訓(xùn)練集和預(yù)測(cè)集的情況下,LSSVR模型的預(yù)測(cè)結(jié)果比ANN模型更為精確。這說(shuō)明,在小樣本的訓(xùn)練中,LSSVR模型效果更好。

3.2 采用粒子群優(yōu)化(PSO)算法對(duì)LSSVR模型參數(shù)進(jìn)行優(yōu)化,解決了LSSVR在參數(shù)選擇時(shí)用人工試湊法的盲目性,大大減少了參數(shù)選擇的時(shí)間,結(jié)果也更為精確。

3.3 ANN模型和LSSVR模型所得相關(guān)系數(shù)R均不高。如何利用其他方法,如多模型建模方法等,對(duì)模型進(jìn)行優(yōu)化以提高模型的預(yù)測(cè)精度,是今后研究的方向。

[1] Zhang Q, Stanley S J. Real-time water treatment process control with artificial neural networks[J]. Journal of Environmental Engineering, 1999, 125(2): 153.

[2] 劉建勇, 周雪飛, 薛 罡, 等. 智能控制在污水處理中的應(yīng)用現(xiàn)狀及展望[J]. 中國(guó)給水排水, 2002, 18(11): 22.

[3] 趙 超, 戴坤成, 王貴評(píng), 等. 基于AWLS-SVM的污水處理過(guò)程軟測(cè)量建模[J]. 儀器儀表學(xué)報(bào),2015, 36(8): 1792.

[4] 徐文艷, 王 豪. 基于機(jī)理建模的聚醋酸乙烯濃度軟測(cè)量技術(shù)[J]. 化工自動(dòng)化及儀表, 2010, 37(7): 70.

[5] 俞金壽. 軟測(cè)量技術(shù)及其應(yīng)用[J]. 自動(dòng)化儀表, 2008, 29(1): 1.

[6] 于 濤, 王建林, 何 坤, 等. 基于MPCA-GP的發(fā)酵過(guò)程分階段軟測(cè)量建模方法[J]. 儀器儀表學(xué)報(bào), 2013, 34(12): 2703

[7] 李 迪, 唐 輝, 萬(wàn)金泉, 等. 基于ANN的廢紙?jiān)旒垙U水處理過(guò)程的動(dòng)態(tài)建模[J]. 華南理工大學(xué)學(xué)報(bào)： 自然科學(xué)版, 2005, 33(12): 42.

[8] 馬邕文, 黃明智, 萬(wàn)金泉, 等. 模糊神經(jīng)模型對(duì)廢水處理過(guò)程COD的預(yù)測(cè)及控制[J]. 中國(guó)造紙學(xué)報(bào), 2008, 23(4): 113.

[9] 李偉獎(jiǎng), 馬邕文. 基于遺傳算法和BP網(wǎng)絡(luò)的造紙廢水處理預(yù)測(cè)研究[J]. 中國(guó)造紙學(xué)報(bào), 2010, 25(1): 67.

[10] 王啟超. 基于組合核函數(shù)支持向量機(jī)的軟測(cè)量技術(shù)及其應(yīng)用研究[D]. 南昌： 江西理工大學(xué), 2011.

[11] 蘇書(shū)惠, 張紹德, 譚敬輝. 基于支持向量機(jī)的污水處理軟測(cè)量算法的研究[J]. 自動(dòng)化與儀器儀表, 2009, 4(6): 6.

[12] 張 杰, 張建秋, 馮 輝, 等. 支持向量機(jī)和神經(jīng)網(wǎng)絡(luò)聯(lián)合軟測(cè)量SBR污水處理中COD的方法[J]. 傳感技術(shù)學(xué)報(bào), 2009, 22(10): 1519.

[13] 劉成忠, 韓俊英. 基于鄰域粗糙集的支持向量機(jī)在污水處理故障診斷中的應(yīng)用[J]. 甘肅農(nóng)業(yè)大學(xué)學(xué)報(bào), 2013, 48(3): 176

[14] 顧燕萍, 趙文杰, 吳占松. 最小二乘支持向量機(jī)的算法研究[J]. 清華大學(xué)學(xué)報(bào)： 自然科學(xué)版, 2010, 50(7): 1063.

[15] 張世峰, 楊 成, 李曉明. 基于LSSVM逆系統(tǒng)在污水處理系統(tǒng)DO控制中的研究[J]. 工業(yè)控制計(jì)算機(jī), 2013, 26(4): 66.

[16] 韓力群. 人工神經(jīng)網(wǎng)絡(luò)理論、 設(shè)計(jì)及應(yīng)用[M].北京：化學(xué)工業(yè)出版社, 2007.

[17] Suykens J A K, Brabanter J D, Lukas L, et al. Weighted least squares support vector machines: robustness and sparse approximation[J]. Neurocomputing, 2002, 48(1/2/3/4): 85.

[18] 任洪娥, 霍滿冬. 基于PSO優(yōu)化的SVM預(yù)測(cè)應(yīng)用研究[J]. 計(jì)算機(jī)應(yīng)用研究, 2009, 26(3): 867.

[19] 徐方舟, 潘 豐. 基于PSO-LSSVM污水處理系統(tǒng)出水?dāng)?shù)據(jù)的軟測(cè)量[J]. 江南大學(xué)學(xué)報(bào)： 自然科學(xué)版, 2010, 9(3): 253.

[20] 索幸儀, 侍洪波. 基于多模型模糊核聚類(lèi)方法的污水處理過(guò)程軟測(cè)量建模[J]. 華東理工大學(xué)學(xué)報(bào)： 自然科學(xué)版, 2010, 36(5): 732.

(責(zé)任編輯：陳麗卿)

Soft Sensor Modeling of Papermaking Wastewater Treatment Processes Based on ANN and LSSVR

WANG Yao1XU Liang1YIN Wen-zhi1HU Mu-yi1HUANG Ming-zhi3LIU Hong-bin1,2,*

(1.JiangsuProvincialKeyLaboratoryofPulpandPaperScienceandTechnology,NanjingForestryUniversity,Nanjing,JiangsuProvince, 210037； 2.StateKeyLaboratoryofPulpandPaperEngineering,SouthChinaUniversityofTechnology,Guangzhou,GuangdongProvince, 510640; 3.DepartmentofWaterResourcesandEnvironment,SunYat-SenUniversity,Guangzhou,GuangdongProvince, 510275)

(*E-mail: hbinjm@163.com)

Concerning the time-varying, nonlinear, and complex characteristics of papermaking wastewater treatment systems, soft sensor modeling methods based on artificial neural network (ANN) and least squares support vector regression (LSSVR) were used to predict effluent chemical oxygen demand and suspended solids in a papermaking wastewater treatment process. ANN model was established by using error back propagation algorithm. The particle warm optimization was used to optimize model parameters in the LSSVR model. The results showed that the root mean square error of LSSVR model reduced by more than 50% compared with that of ANN model, and the correlation coefficient of LSSVR model increased by about 10% compared with that of ANN model. These results indicated that the LSSVR model had better prediction performance and higher accuracy compared to the ANN model in papermaking wastewater treatment process．

artificial neural network; least squares support vector regression; papermaking wastewater treatment; soft sensor modeling; particle swarm optimization

2016- 01-25

制漿造紙工程國(guó)家重點(diǎn)實(shí)驗(yàn)室開(kāi)放基金資助項(xiàng)目(201610)；南京林業(yè)大學(xué)高層次人才科研啟動(dòng)基金(163105996)；江蘇省制漿造紙科學(xué)與技術(shù)重點(diǎn)實(shí)驗(yàn)室開(kāi)放基金項(xiàng)目(201530)。

汪 瑤,女,1992年生；在讀碩士研究生；主要研究方向：制漿造紙過(guò)程與控制。

*通信聯(lián)系人：劉鴻斌,E-mail:hbinjm@163.com。

X793

A

1000- 6842(2017)01- 0050- 05