基于Fast-RVM的在線軟測量預(yù)測模型

許玉格，劉莉，曹濤

（華南理工大學(xué)自動化科學(xué)與工程學(xué)院，廣東 廣州 510640）

基于Fast-RVM的在線軟測量預(yù)測模型

許玉格，劉莉，曹濤

（華南理工大學(xué)自動化科學(xué)與工程學(xué)院，廣東 廣州 510640）

生化需氧量（biochemical oxygen demand，BOD）是評價水質(zhì)好壞和污水處理效果的關(guān)鍵指標(biāo)之一。由于污水生化處理過程復(fù)雜，在線儀表維護困難，生化需氧量無法得到快速精確地測量。針對這一問題，提出了一種基于Fast-RVM的在線軟測量回歸模型來實時在線預(yù)測出水指標(biāo)BOD。該模型采用基于貝葉斯框架的相關(guān)向量機來在線預(yù)測輸出指標(biāo)，并且引入快速邊際似然算法來加快模型的更新速度。通過污水?dāng)?shù)據(jù)的仿真實驗，結(jié)果表明該在線模型的預(yù)測精度高于離線模型，泛化能力強，模型在線更新的快速性尤為突出，能較好地實現(xiàn)污水處理中出水水質(zhì)的實時在線預(yù)測。

Fast-RVM算法；在線建模；軟測量；預(yù)測；污水處理

由于污水處理過程復(fù)雜，往往存在著參數(shù)時變、多變量耦合、強非線性、大滯后等特點，面對這些特點，傳統(tǒng)傳感器無法得到有效應(yīng)用，以致重要變量無法得到快速精確測量。國際水質(zhì)協(xié)會（International Association on Water Quality，IAWQ）推出ASMs和ADM1等機理模型，但實際的污水處理現(xiàn)場條件太多，很難建立精確的機理模型。為了達到對污水處理這個非線性、大時滯對象的測量和控制效果，國內(nèi)外專家提出了多種非機理軟測量方法[3]。文獻[4-5]中采用神經(jīng)網(wǎng)絡(luò)預(yù)測污水出水水質(zhì)，文獻[6-7]采用最小二乘支持向量機建立污水軟測量模型，上述軟測量方法在污水出水水質(zhì)測量上都取得一定的成果。但神經(jīng)網(wǎng)絡(luò)預(yù)測過程占用大量資源，訓(xùn)練時間過長，且存在局部極小、過擬合、權(quán)值不易在線調(diào)整等缺陷[2,8]，支持向量機隨著訓(xùn)練樣本的增加，訓(xùn)練時間會變長，且自適應(yīng)能力差，魯棒性不強[9-10]。這些缺陷一方面限制了模型在污水預(yù)測上的廣泛應(yīng)用，一方面影響了污水出水水質(zhì)在線測量的實時性。

針對污水出水指標(biāo)預(yù)測誤差大、難以準(zhǔn)確在線測量的問題，本文提出了一種基于快速相關(guān)向量機的污水水質(zhì)BOD在線預(yù)測的軟測量回歸模型。該方法通過相關(guān)向量機來建立預(yù)測模型，利用快速邊際似然法提高模型的學(xué)習(xí)速度，并且對模型進行在線更新。

1　軟測量預(yù)測模型的建立

1.1快速相關(guān)向量機的基本模型

相關(guān)向量機是一種在貝葉斯框架下的稀疏概率模型[11]，給定污水?dāng)?shù)據(jù)集N是樣本數(shù)。根據(jù)概率論觀點，目標(biāo)值可以表示為

與支持向量機類似，函數(shù) y( x)定義為

根據(jù)先驗概率分布和似然估計分布，可得權(quán)重的后驗概率分布

其后驗協(xié)方差和均值分別為

為了使超參數(shù)快速達到穩(wěn)定值從而獲取權(quán)值，本文引入快速邊際似然算法[12]。該算法對訓(xùn)練樣本的超參數(shù)進行快速估計，去除訓(xùn)練樣本的非相關(guān)向量，保證模型的稀疏性，從而減少訓(xùn)練時間。對 L(α)進行變換得

L （α-i）表示當(dāng)αi=∞時，相應(yīng)的基本向量φi被移除后所對應(yīng)的邊界似然函數(shù)的對數(shù)，而l （αi）表示邊界似然的對數(shù)函數(shù)中只與αi有關(guān)的獨立部分，其中。對L(α)關(guān)于超參數(shù)αi求一階和二階偏導(dǎo)可得唯一極大值點

在經(jīng)過大量的污水?dāng)?shù)據(jù)學(xué)習(xí)后，大部分超參數(shù)會趨近于無窮大，而與其對應(yīng)的權(quán)值為 0，從而使RVM 具有較高的稀疏性。給定一個測試點x?，相應(yīng)的污水出水水質(zhì)預(yù)測值t?的預(yù)測分布為，預(yù)測值為，x?是輸入值。

綜上所述，快速相關(guān)向量機回歸基本算法步驟如下：

（1）初始化σ2；

（3）計算Σ、μ并對所有M個基函數(shù)φm初始化sm和qm(m=1,2,…,M)；

（4）從所有M個基函數(shù) φm集合中選擇候選的基函數(shù) φi；

（6）若θi＞0且αi＜ ∞（基函數(shù)φi在模型中），重新估計αi；

（7）若θi＞ 0 且αi=∞（基函數(shù) φi不在模型中），添加φi到模型中并重新估計αi；

（8）若θi≤0且αi＜ ∞，刪除φi并設(shè)置αi=∞；

（10）重新計算協(xié)方差矩陣Σ，權(quán)重矩陣μ以及相應(yīng)迭代過程中的ms和mq；

（11）若超參數(shù)收斂(超參數(shù)值不再變化)或者達到最大迭代次數(shù)，則保存權(quán)重值和偏差值并終止程序；否則轉(zhuǎn)步驟（4）。

最大邊緣似然估計超參數(shù)過程中，超參數(shù)更新需要計算后驗權(quán)值的協(xié)方差矩陣，矩陣求逆需要計算復(fù)雜度O(M3)和存儲空間O(M2)，其中M為基函數(shù)的個數(shù)。

快速相關(guān)向量機算法中基函數(shù)個數(shù)從1開始不斷增加直至獲取相關(guān)向量，而且Σ與Φ只包含當(dāng)前模型中存在的基函數(shù)，后面的矩陣求逆所需要的時間較少，因此該方法計算速度要快得多。

1.2基于快速相關(guān)向量機的污水出水水質(zhì)預(yù)測軟測量在線模型

由于污水處理過程中進水水質(zhì)、水量、操作條件等的變化，導(dǎo)致BOD軟測量模型不能適應(yīng)新的工況，因此在實際應(yīng)用中必須對軟測量模型進行在線矯正。將精選后的輔助變量與BOD歷史輸出數(shù)據(jù)構(gòu)成快速相關(guān)向量機的訓(xùn)練樣本集，然后根據(jù)新的觀測數(shù)據(jù)預(yù)測輸出，并且更新訓(xùn)練樣本，重新學(xué)習(xí)模型。假設(shè)最新的污水輸入屬性為 xnew，實際的出水BOD值為 ynew，則出水BOD的在線更新算法步驟如下：

（1）根據(jù)歷史數(shù)據(jù)使用1.1節(jié)所述快速相關(guān)向量機回歸算法建立初始模型；

（2）如果來了新數(shù)據(jù)，則對新來的污水?dāng)?shù)據(jù)xnew進行預(yù)測；否則轉(zhuǎn)到步驟（8）；

（3）添加一個新樣本（ xnew， ynew）到模型中并初始化權(quán)重w為0，αnew初始化為1，并刪除模型中最前面的一個歷史數(shù)據(jù)，保持模型中訓(xùn)練數(shù)據(jù)的個數(shù)不變，由T來表示；

（4）For i=1:T

If (θi＞0且αi＜ ∞)，重新估計αi，計算公式為

Else if (θi＞ 0且αi=∞)，添加 φi到模型中并需要重新估計αi；

Else if (θi≤0且αi＜ ∞)，把φi從基向量矩陣中刪除并設(shè)置αi=∞；

End if

End for

（6）重新計算Σ、μ以及相應(yīng)迭代過程中的 sm和 qm；

（7）若收斂或者達到最大迭代次數(shù)，則保存權(quán)重值和偏差，轉(zhuǎn)步驟（2）用更新后的模型對新數(shù)據(jù)進行預(yù)測；否則轉(zhuǎn)步驟（4）；

（8）程序結(jié)束。

2　仿真實驗與結(jié)果分析

2.1實驗輔助變量

軟測量的基本思想是對于一些難以測量或暫時不能測量的重要變量，選擇另外一些容易測量且與其相關(guān)的變量，通過構(gòu)造某種以輔助變量為輸入、主導(dǎo)變量為輸出的數(shù)學(xué)模型，用計算機軟件實現(xiàn)主導(dǎo)變量的估計[13]。本實驗采用加州大學(xué)數(shù)據(jù)庫（UCI）提供的污水?dāng)?shù)據(jù)，該污水?dāng)?shù)據(jù)是由城市污水處理廠在將近兩年時間里所測得的數(shù)據(jù)，數(shù)據(jù)涵蓋一年四季不同情況，采樣間隔不等，最大間隔2 d，最小間隔0 d，共528組，38維。對數(shù)據(jù)進行聚類填補，去粗大值預(yù)處理，并提取與BOD預(yù)測相關(guān)的屬性數(shù)據(jù)，最后得到400組，共20維數(shù)據(jù)，其中輸入輔助屬性為19維，輸出屬性BOD為1維。輸入輔助屬性變量如表1所示。

表1　實驗輸入輔助變量列表Table 1　Auxiliary list of experiment

2.2出水水質(zhì)預(yù)測的離線仿真實驗

預(yù)測出水水質(zhì)，目的是對水體進行監(jiān)測，使廢水處理廠能及時處理異常情況，加強對污水處理的運行控制。仿真實驗采用的計算機環(huán)境為： Intel Pentium 處理器，主頻為 2.1 GHz，4 GB內(nèi)存，320 G硬盤。選取處理后的400組數(shù)據(jù)，其中200組用于訓(xùn)練模型，200組用作測試數(shù)據(jù)測試模型精度。分別建立支持向量機SVM[14]、相關(guān)向量機RVM[15]、快速相關(guān)向量機Fast-RVM的離線模型來預(yù)測出水水質(zhì)BOD。相關(guān)向量機和快速相關(guān)向量機初始核寬都設(shè)為3，支持向量機用GA尋優(yōu)算法來初始化兩個參數(shù)，得到懲罰參數(shù)c為118.5625，徑向基函數(shù)參數(shù)g為0.129。預(yù)測結(jié)果如表2所示，圖1～圖3 是3種模型預(yù)測輸出歸一化后所繪制的圖。表2中MSE是均方根誤差，Training time是模型訓(xùn)練時間，Vector是相關(guān)向量的個數(shù)。3種模型使用相同的污水?dāng)?shù)據(jù)和計算機環(huán)境。RVM與Fast-RVM迭代終止的條件是迭代次數(shù)達到或者超參數(shù)值不再變化，達到穩(wěn)定，SVM的迭代終止條件是達到預(yù)先設(shè)置的迭代次數(shù)。SVM、RVM和Fast-RVM算法的預(yù)設(shè)迭代次數(shù)分別是200、1200和500。其中SVM算法在迭代次數(shù)超過200次之后，訓(xùn)練時間會更長，而MSE幾乎不變。

表2　3種離線預(yù)測方法性能的對比Table 2　Comparison of performance of different off-line model

圖1　支持向量機離線預(yù)測Fig.1　Off-line predictor of support vector machine (SVM)

圖2　相關(guān)向量機離線預(yù)測Fig.2　Off-line predictor of relevance vector machine (RVM)

從表2可以看出，在高度復(fù)雜、非線性、強干擾的污水處理系統(tǒng)中，快速相關(guān)向量機擬合能力更強，提高了預(yù)測精度。在 3種模型中，RVM和Fast-RVM的訓(xùn)練時間相對SVM要短很多，這是因為 RVM只有一個核寬度參數(shù)需要尋優(yōu)[16-17]，可以采用點搜索，而SVM有兩個參數(shù)，無論是用網(wǎng)格搜索還是用遺傳等優(yōu)化算法尋優(yōu)都是非常耗費時間的[18]。從相關(guān)(支持)向量個數(shù)來看，RVM訓(xùn)練出來的模型包含的向量個數(shù)少，模型更稀疏。而Fast-RVM比普通的RVM更加稀疏，相關(guān)向量個數(shù)從60個減少到了16個，F(xiàn)ast-RVM通過快速似然估計算法，可以更快得到稀疏性更好的超參數(shù)，減少模型的計算復(fù)雜度，提高了模型的訓(xùn)練效率。

圖3　快速相關(guān)向量機離線預(yù)測Fig.3　Off-line predictor of Fast-RVM

從圖1～圖3可以看出，3種模型在采樣最初和最后，其預(yù)測更貼近實際值，而中間時段的采樣預(yù)測效果并不理想，反映出3種離線模型并不能一直有效預(yù)測并且適應(yīng)BOD的變化。為了對水體進行實時監(jiān)測，使廢水處理廠能及時處理異常情況，加強對污水處理的運行控制，本文采用基于快速相關(guān)向量機的在線預(yù)測模型。

表3　3種模型在線測試結(jié)果Table 3　Comparison of performance of different on-line model

圖4　支持向量機在線預(yù)測Fig.4　On-line predictor of support vector machine(SVM)

圖5　相關(guān)向量機在線預(yù)測Fig.5　On-line predictor of relevance vector machine (RVM)

圖6　快速相關(guān)向量機在線預(yù)測Fig.6　On-line predictor of Fast-RVM

2.3出水水質(zhì)預(yù)測的在線仿真實驗

UCI數(shù)據(jù)庫采集的數(shù)據(jù)記錄了污水廠每天的出水BOD濃度，進行在線仿真實驗時，需要對每一組新的數(shù)據(jù)加入模型進行更新[19]。訓(xùn)練數(shù)據(jù)通過采取限定記憶的方式來保持其容量。限定記憶[13]是指訓(xùn)練數(shù)據(jù)始終是有限組，每增加一組最新的觀測數(shù)據(jù)，就隨即丟棄一組最早的觀測數(shù)據(jù)，從而保證模型中都包含新數(shù)據(jù)的信息，避免歷史所含數(shù)據(jù)信息淹沒新數(shù)據(jù)所包含的信息。根據(jù)第1節(jié)所述快速相關(guān)向量機建模的步驟，先用200組歷史數(shù)據(jù)建立初始模型，剩下200組數(shù)據(jù)用作測試數(shù)據(jù)。當(dāng)模型有最新輸入時，預(yù)測出水水質(zhì)BOD濃度的最新輸出，然后將這一新輸入和輸出數(shù)據(jù)加入到訓(xùn)練樣本中，對訓(xùn)練樣本進行更新，為了保持訓(xùn)練樣本的容量，將訓(xùn)練樣本中最早的樣本丟棄，然后按照快速相關(guān)向量機在線建模的步驟建立快速相關(guān)向量機在線預(yù)測模型，并且與支持向量機、相關(guān)向量機對 BOD濃度在線預(yù)測效果進行對比，結(jié)果如表3所示，圖4～圖6是3種模型的預(yù)測輸出歸一化后所繪制的圖。表 3中的仿真時間是指模型的在線運行時間,包括了對200個新數(shù)據(jù)的模型更新時間。

對比表2和表3可知，3種在線模型的預(yù)測精度都得到了顯著的提高，由圖4～圖6可知在每個采樣點的預(yù)測值都更貼近實際值，表明3種在線模型更能有效適應(yīng)出水指標(biāo) BOD的變化。雖然Fast-RVM的預(yù)測精度在3種模型中不是最高的，預(yù)測誤差為0.0329，但遠小于離線模型中預(yù)測誤差最小的Fast-RVM的0.0813，因此是可接受的預(yù)測效果。從模型更新速度方面對比，F(xiàn)ast-RVM在線模型的訓(xùn)練更新速度比RVM和SVM的在線測量模型要快很多，這個指標(biāo)對于在線模型更加重要。出于實時預(yù)測的考慮，軟測量模型對快速性要求更高，在滿足預(yù)測精度的前提下，能快速更新的模型才更加適合BOD的在線預(yù)測，因此本文所提的快速相關(guān)向量機在線模型能更好地滿足實時預(yù)測的要求。

3　結(jié)　論

針對污水生化處理過程復(fù)雜，在線儀表維護困難，導(dǎo)致重要出水指標(biāo)預(yù)測誤差大，難以建立準(zhǔn)確在線測量這一問題，本文提出了一種基于Fast-RVM的在線軟測量回歸模型來實時在線預(yù)測出水指標(biāo)BOD。通過與支持向量機和相關(guān)向量機在離線和在線情況下的預(yù)測效果和模型更新速度對比，結(jié)果表明本文提出的模型預(yù)測輸出精度高，模型更稀疏，模型訓(xùn)練更新速度更快，能較好地實時跟蹤出水BOD的濃度變化。

References

[1]Huang Daoping (黃道平), Liu Yiqi (劉乙奇), Li Yan (李艷). Research and application of soft measurement in the sewage treatment process [J]. CIESC Journal (化工學(xué)報), 2011,62 (1): 56-64.

[2]Guo Nan (郭楠), Qiao Junfei (喬俊飛). Research of BOD soft measuring instrument based on neural network [D]. Beijing: Beijing University of Technology, 2014.

[3]Chen Zhaobo (陳兆波), Ren Yueming (任月明). Sewage Treatment Plant Measurement, Automatic Control and Fault Diagnosis (污水處理廠測量、自動控制與故障診斷) [M]. Beijing: Chemical Industry Press, 2009, 16-18.

[4]Tian Yi (田奕), Qiao Junfei (喬俊飛). Neural network soft measurement of BOD based on genetic algorithm [J]. Computer Technology and Development (計算機技術(shù)與發(fā)展), 2009, 19 (3): 127-133.

[5]Li Guihong (李貴宏), Zheng Hua (鄭華). Application of artificial neural net work in wastewater treatment//Second International Conference on Information Science and Engineering, ICISE 2010 [C]. Hangzhou, 2010: 4373-4375.

[6]Chen Zhiming (陳志明). Wastewater treatment prediction based on chao GA optimization LS-SVM//Proceedings of the 2011 Chinese Control and Decision Conference, CCDC 2011 [C]. Guizhou, 2011: 4013-4016.

[7]Yang Baolei (楊鮑蕾). Prediction system of sewage outflow COD based on LS-SVM//Proceedings of the Second International Conference on Intelligent Control and Information Processing, ICICIP 2011 [C]. Hangzhou, 2011: 399-402.

[8]Ran Weili (冉維麗), Qiao Junfei (喬俊飛). BOD soft-measuring approach based on PCA time-delay neural network [J]. Transaction of China Electrotechnical Society (電工技術(shù)學(xué)報), 2004, 19 (12): 78-82.

[9]Su Shuhui (蘇書惠), Zhang Shaode (張紹德), Tan Jinghui (譚敬輝). Research of waste water soft-measuring approach based on support vector machine [J]. Automation & Instrumentation (自動化與儀表), 2009, (6): 6-9.

[10]Pani A K, Mohanta H K. Application of support vector regression, fuzzy inference and adaptive neuro fuzzy inference techniques for online monitoring of cement fitness. [J]. Powder Technology, 2014, 264: 484-497.

[11]Tipping M E. Sparse Bayesian learning and the relevance vector machine [J]. Journal of Machine Learning Research, 2001, 1 (3): 211-244.

[12]Michael E Tipping, Anita Faul. Fast marginal likelihood maximization for sparse Bayesian models//Proceedings of the Ninth International Workshop on Artificial Intelligence and Statistics [C]. Key West, 2003.

[13]Xu Jiping (許繼平), Chen Chen (陳晨), Liu Zaiwen (劉載文), Wang Xiaoyi (王小藝). Research on BOD online detection instrument based on the theory of soft instrument [J]. Control Engineering of China (控制工程), 2010, 17: 101-108.

[14]Zhang Xiuju (張秀菊), An Huan (安煥), Zhao Wenrong (趙文榮), Zhang Qinling (張琴玲). Application of waste water prediction based on support vector machine [J]. Chinese Rural Water Conservancy and Hydroelectric Power (中國農(nóng)村水利水電), 2015, (1): 85-89.

[15]Xu Yuge (許玉格), Cao Tao (曹濤), Luo Fei (羅飛). The prediction of effluent quality of waste water treatment based on relevance vector machine [J]. Journal of South China University of Technology: Natural Science Edition (華南理工大學(xué)學(xué)報: 自然科學(xué)版), 2014, 42 (5): 111-117.

[16]Wang Huazhong (王華忠), Yu Jinshou (俞金壽). Research on kernel function and its application in soft measurement modeling [J]. Automation & Instrumentation (自動化與儀表), 2004, 25 (10): 22-25.

[17]Masuda Kazuaki. Global optimization of point search by equilibrium search of gradient dynamical system [J]. Electronic and Communication in Japan, 2008, 91 (1): 19-31.

[18]Su Jieqiong, Wang Xuan, Liang Yong. GA-based support vector machine model for the predictor for the monthly reservoir storage [J]. Journal of Hydrologic Engineering, 2014, 19: 1430-1437.

[19]Thomas Buchgraber, Dmitriy Shutin, Vincent Poor H. A sliding-window online fast variable sparse Bayesian learning algorithm//2011 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) [C]. 2011: 2128-2133.

On-line soft measuring model based on Fast-RVM

XU Yuge, LIU Li, CAO Tao
(School of Automation Science and Engineering, South China University of Technology, Guanzhou 510640, Guangdong, China)

Biochemical oxygen demand (BOD) is a significant indicator to evaluate the effluent quality in wastewater treatment process. Complex wastewater treatment process and high requirement for instrument maintenance make it very difficult to obtain BOD quickly and accurately. In order to solve this problem, a novel BOD on-line soft measuring model based on fast variable relevance vector machine (Fast-RVM) is proposed in this paper. Relevance vector machine algorithm with Bayesian framework is used to build up predictive model and fast marginal likelihood algorithm is applied to accelerate updating speed of the model. Simulation experiments show that the real-time on-line prediction performance and generalization ability are better by using the proposed model than those of off-line model. The online updating speed is particularly outstanding. These experimental results verify that the proposed method is very suitable for real-time on-line prediction of effluent quality in the wastewater treatment process.

Fast-RVM algorithm; on-line modeling; soft measurement; prediction; wastewater treatment process

引　言

隨著工業(yè)化進程的不斷加快，我國的水污染情況也在不斷加劇。在污水處理過程中，BOD是反映污水中生物可降解有機物含量的參數(shù)，是表征水體有機污染程度的綜合指標(biāo)，廣泛用于水體監(jiān)測和廢水處理廠的運行控制[1]。能否對BOD進行實時監(jiān)測已成為提高治污質(zhì)量的關(guān)鍵。目前污水處理廠多采用大滯后的離線分析法：BOD5離線分析測定周期為5 d，不能及時反映污水處理實際情況，不能實現(xiàn)對BOD在線測量[2]。

date: 2015-05-06.

XU Yuge, xuyuge@scut.edu.cn

supported by the National Natural Science Foundation of China (61473121).

10.11949/j.issn.0438-1157.20150566

TP 273

A

0438—1157（2015）11—4540—06

2015-05-06收到初稿，2015-07-20收到修改稿。

聯(lián)系人及第一作者：許玉格（1978—），女，博士，副教授。

國家自然科學(xué)基金項目（61473121）；廣州市珠江科技新星項目（2011J2200084）；華南理工大學(xué)中央高校基本科研業(yè)務(wù)費專項基金項目（2014ZZ0027）。