基于主元獨立性分析與混合核RVM的復雜過程區(qū)間預測方法研究及應用

徐圓，張明卿

?

基于主元獨立性分析與混合核RVM的復雜過程區(qū)間預測方法研究及應用

徐圓，張明卿

（北京化工大學信息科學與技術學院，北京100029）

近年來，隨著化工過程日趨復雜，對過程監(jiān)控及關鍵變量預測提出了更高的要求。傳統意義上的點預測已不能滿足化工過程上的實際需求，且點預測無法描述過程上的不確定性問題，因此不能很好地把握預測變量的趨勢。由此，提出了一種基于主元獨立性分析（principal component independent analysis, PCIA）與混合核相關向量機（RVM）的區(qū)間預測方法。首先，結合核主元成分分析（KPCA）和獨立元分析（ICA）對復雜過程原始變量進行主元成分提取和獨立性分析，形成獨立主元；其次，將高斯核函數與多項式核函數相結合形成混合核，與RVM結合對得到的獨立主元進行回歸建模預測，并運用T分布對預測值進行區(qū)間估計；然后，構造區(qū)間評價綜合函數對區(qū)間估計結果進行優(yōu)劣分析，在分析預測區(qū)間覆蓋率（PICP）及預測區(qū)間寬度（NMPIW）的基礎上，引入累積偏差（AD）提高區(qū)間評判的合理性。最后，將所提方法應用到TE仿真過程進行區(qū)間預測分析，仿真結果表明，提出的區(qū)間預測方法對實際生產過程具有較高的預測精度和區(qū)間估計質量，可以有效地預測關鍵變量的趨勢。

核主元分析；獨立主元分析；相關向量機；預測模型；區(qū)間評價

引 言

當今，實際化工過程日趨復雜，對其過程監(jiān)控以及關鍵變量預測有了更高的要求。傳統意義上的點預測模型已不能很好地反映復雜過程關鍵變量的趨勢，而區(qū)間預測不僅可以預測對象的不確定性，而且能增強對象的可靠性以及安全性。在預測過程中，區(qū)間預測指的是預測變量以某一概率落入某區(qū)間范圍內，其不僅可以包含點預測，而且能預測出變量的整體趨勢，預測效果較好。

目前，常見的區(qū)間預測的方法有兩類：一類是利用點預測得到預測值后，根據數據特性分布或者比例系數法來構建區(qū)間。常見的預測方法有時間序列法[1-2]、貝葉斯[3]、MVE[4]、Bootstrap[5-7]、神經網絡、支持向量機(SVM)等。時間序列法依據時間的順序進行排列，在固定時間間隔下進行采樣，通過擬合曲線和參數估計對所建立的模型進行描述[1-2]；Bootstrap方法基于重抽樣方法，通過從原始數據中抽取多個bootstrap樣本，從而對整體的分布進行統計[5-7]，但兩種方法操作比較耗費時間。神經網絡方法，以極限學習機為例[8-10]，研究者利用構造比例系數來獲得區(qū)間，但區(qū)間估計結果依賴于優(yōu)化過程，若優(yōu)化局部收斂，會影響區(qū)間估計結果。支持向量機（SVM）[11-13]利用核函數將輸入空間映射到高維空間，在高維空間里求解一個最優(yōu)分類面，進而得到輸入與輸出之間的關系，但是核參數以及懲罰因子較難選擇。有些學者還提出了基于最小二乘的SVM[14-15]，以及相關向量機（RVM）方法。另一類方法是直接得到預測區(qū)間，如神經網絡上下限（LUBE）方法，通過構造多輸入雙輸出的神經網絡模型，直接得到預測區(qū)間的上下限，并將LUBE與智能優(yōu)化算法結合，通過優(yōu)化區(qū)間評價綜合函數實現區(qū)間估計，但區(qū)間估計結果過分依賴于優(yōu)化過程[16-23]。

針對以上問題，本文提出了一種基于主元獨立性分析(principal component independent analysis, PCIA)與混合核相關向量機（RVM）的區(qū)間預測方法。核主元成分分析（KPCA）[24-25]方法可以針對復雜非線性問題進行降維以及解決數據變量相關性的問題，但是得到的主元之間容易存在耦合度較大的問題。KPCA本身雖然考慮了數據之間相關性的問題，但并未對其獨立性進行分析。而ICA[26-27]雖然也能實現降維，并進行獨立性分析，但并未考慮到變量之間本身相關性的問題。由此，本文將KPCA與ICA方法進行結合，對原始變量進行處理，不僅可以從數據中提取到主元成分，而且能進一步提取到互為獨立的信息元，這樣更能夠從本質上描述過程的特征。

RVM[28-30]是SVM的一種改進方法，極大地減少了核函數的計算量，同時也克服了核函數必須滿足Mercer的條件。大部分實際過程常選用高斯核函數作為RVM的核函數。高斯核函數屬于典型的局部核函數，其具有較強的學習能力；而多項式核函數是全局核函數的典型代表，其具有很強的推廣能力，因此，本文選取高斯核函數和多項式核函數結合的混合核函數用于RVM中。

考慮到實際工業(yè)過程數據方差2的估計值與真實值存在偏差，若仍利用正態(tài)分布構建區(qū)間會產生較大誤差，而T分布不依附于方差的估計，構建的區(qū)間無須運用智能優(yōu)化算法進行優(yōu)化，減少了算法上的復雜性。同時，本文采用預測區(qū)間覆蓋率（PICP）、預測區(qū)間寬度（NMPIW），并引入累積偏差（AD）構造區(qū)間評價綜合函數，對區(qū)間估計結果進行綜合評判。最后，運用TE過程進行仿真實驗，實驗結果表明本文所提的區(qū)間預測方法，區(qū)間模型預測精度較高，區(qū)間評價指標較好。

1 基于PCIA與混合核RVM的預測模型

1.1 PCIA

將輸入數據（1,2,…,x∈R）映射到高維空間中。在空間內進行主元分析，對應的協方差矩陣是

假設特征值為，特征向量為

v=(2)

那么所有滿足≠0的特征向量為

將式（1）和式（3）代入式（2）中，得到

〈,〉= 〈,v〉

=(x)=1,2,…,(4)

引入核函數：采用徑向基核函數。

求解特征值和特征向量，式（4）轉化為

n==[1,2,…,]T(5)

在對數據進行主元分析之前，對數據進行標準化處理得到

式（6）中為系數為1/與×的單位陣相乘。所以，求解特征值就等價于在狀態(tài)空間中進行主元提取。求解特征向量時，需要滿足

〈,〉=1,=1,2,…,(7)

為主元個數。

在此基礎上計算樣本在空間上的映射為

()為的第個主元分量。主元數量選擇依照貢獻率大于等于0.85的原則。然后對經過KPCA處理的主元分量，構建ICA模型，()T=,=-1()T，為獨立元矩陣，為變換陣，引入分離矩陣，使得=-1()T=T，利用微分熵準則獲得估計矩陣，從而推出獨立元的估計。

1.2 混合核相關向量機（RVM）模型

對于給定的樣本集(x,t)(=1,…,)，為樣本數，則RVM定義的輸出為

其中(,x)是核函數，本文采用混合核函數，選擇要求

=0.1 (10)

w為權重，服從均值為零、方差為2的高斯分布，樣本的極大似然函數定義為

其中

=(1,2,…,t)T;=(1,2,…,w)T;

()=((1),(2),…,(x))T;(x)=(1,(1,x),…,(x,x))T

由貝葉斯理論可得，條件概率為

其中，(·)為條件概率分布函數；(·)為條件概率密度函數。超參數=[1,2,…,]T，使得

(13)

因此，式（12）可改寫為

對式（14）整理，得到后驗分布概率密度為

(15)

式中，=(-2T+a)-1，=diag(1,2,…,)，=-2T。

采用極大似然得到和2的估計值。假設給定的輸入值為*，且(|,,2|)滿足高斯分布，其中輸出為

*=(*)(16)

1.3 驗證實驗

為驗證基于PCIA的混合核RVM的有效性，本文選取UCI數據集中Concrete Compressive Strength數據進行實證，采集800個數據樣本進行實驗，其中選取600個數據作為訓練數據，200個數據作為測試數據，以模型測試的均方根誤差RMSE、平均相對誤差MAPE以及提取到的元數量（NE）作為評判驗證指標。為表明PCIA的優(yōu)勢，將PCIA與KPCA、ICA進行比較（采用混合核RVM預測），結果如表1所示。

通過表1的比較結果可以看出，本文提出的PCIA方法在預測精度上明顯優(yōu)于其他方法。

表1 降維處理性能指標對比

2 T分布區(qū)間構建以及區(qū)間評價指標

2.1 T分布區(qū)間構建

對于樣本(x,t)，預測輸出y。t為樣本真實值；定義誤差=t-y，如果得到的滿足(0,2)的分布，且每個元素都相互獨立，那么滿足

此時，依照參數的區(qū)間估計可以得到，當給定置信度為1-（這里取=0.1）時

(||≤/2)=1-(18)

構建區(qū)間形式為

2.2 預測區(qū)間評價指標

本文采用預測區(qū)間覆蓋率（PICP），預測區(qū)間寬度（NMPIW），以及在兩者基礎上引入累積偏差（AD）提高區(qū)間評判的合理性。

（1）預測區(qū)間覆蓋率（PICP）

表示真實值落在預測區(qū)間內的概率。值越大，說明預測區(qū)間效果越好。

(21)

式中，(X)、(X)分別為第時刻預測區(qū)間的上下限。

（2）預測區(qū)間寬度（NMPIW）

將MPIW標準化，得到

NMPIW=MPIW/(23)

式中，=max(Real)-min(Real)。

（3）構造預測區(qū)間寬度范圍綜合評價函數（PICWC）

上述兩個指標互相獨立，只考慮了區(qū)間評價的某一特征，由此，構造預測區(qū)間寬度范圍綜合評價函數（PICWC），以綜合考慮PICP與NMPIW兩者的共同影響作用。

PICWC=NMPIW×(1+(PICP)×e-(PICP-)) (24)

其中

進行必要的簡化和一定的夸張，在寫實的形象中尋找內在結構的抽象意味。使他的作品更加貼近生活。在進行創(chuàng)作時，不能丟棄傳統，他需要傳統的繪畫精神作為支撐，需要對民族的各個方面進行了解才能使少數民族題材的工筆人物在真正意義上得到創(chuàng)新和發(fā)展。

式中，和都是常數，=1-(a取0.1)。根據實踐經驗取50。當PICP小于時，PICWC將迅速變大，導致預測區(qū)間不可行。當PICP大于時，指數項的作用將減小，甚至可以忽略，得到PICWC＝NMPIW，由此不會受到指數項的干擾而影響預測區(qū)間。

（4）引入累積偏差（AD）

考慮到預測區(qū)間覆蓋的真實值偏離預測上限（或下限）的程度不同，要求真實值應盡量均勻分布在區(qū)間之中。觀察圖1與圖2發(fā)現，圖1的偏離程度明顯高于圖2，因此圖2構建的區(qū)間預測要優(yōu)于圖1。但若僅用式（24）的綜合評價函數進行評價，如上兩個區(qū)間將被看作等效區(qū)間，并不能對其二者做出判斷。

針對這一問題，引入累積偏差（AD）指標

(25)

式中，為預測值偏離預測區(qū)間的程度，該值越小越好。

3 實驗及結果分析

本文采用TE過程進行仿真實驗，驗證所提方法的有效性。TE過程是一個經典的化工過程，主要包含反應器、壓縮機、冷凝器、解析塔和分離器5個部分，含有41個測量變量和12個操作變量。實驗過程：運行TE仿真模型，時間設置為24 h，得到仿真數據，選取其中反應器溫度作為目標變量。取仿真過程中2200個數據作為訓練數據，選取200個數據作為測試數據。首先，運用雙變量相關分析得出與目標變量顯著相關的多變量；其次，將得到的多變量利用PCIA進行降維與獨立性分析；然后，將獨立元利用混合核RVM進行回歸預測，構建T分布區(qū)間，并計算PICP，NMPIW，PICWC與AD指標。為了表明所提出方法的有效性，與基于PCIA 的RVM方法、混合核RVM方法、RVM、SVM方法進行比較，測試過程如圖3～圖7所示。

為了進一步對比區(qū)間預測效果，本文還與BP以及正態(tài)分布構建方法進行對比。測試過程如圖8、圖9所示。

上述7種方法區(qū)間預測性能指標結果如表2所示。

表2 區(qū)間預測性能指標對比

從圖3～圖6可以看出，本文提出的區(qū)間預測方法能夠有效地包含真實值，其上下波動趨勢與實際真實值基本一致，通過表2各種評價指標結果可以得出，所提方法區(qū)間寬度最窄，綜合作用效果最好，與PCIA-RVM、混合核RVM、RVM相比，平均區(qū)間寬度、累積偏差都得到了改善；由圖7、圖8可以看出基于SVM以及基于PCIA-BP這兩種方法不能很好地包含真實值，不能很好地反映預測趨勢，而且通過表2也可以看出兩種方法區(qū)間覆蓋率太低，故其他區(qū)間指標不做計算；由圖9可以看出基于正態(tài)分布的PCIA-混合核RVM預測區(qū)間方法大體上能夠覆蓋真實值，但存在部分真實值散落在預測區(qū)間之外，且區(qū)間覆蓋、平均寬度以及累計偏差均比本文所提方法差。綜上所述，基于PCIA與混合核RVM的區(qū)間預測方法可以很好地實現復雜過程變量區(qū)間預測，并描述關鍵變量的變化趨勢。

4 結 論

針對復雜工業(yè)過程要求在早期就能預測出問題的這一發(fā)展趨勢，區(qū)間預測不僅可以包含點預測的優(yōu)點，而且還可以較好地描述出問題的不確定性與趨勢。本文提出了一種基于PCIA與混合核RVM的預測模型，通過回歸預測、T分布區(qū)間構造并進行區(qū)間估計綜合評價，并將此方法應用到TE過程進行區(qū)間預測仿真。通過與幾種常用方法的對比以及結果分析，可以看出本文提出的方法不僅預測精度和區(qū)間估計質量上有明顯的提高，而且能夠較好地描述復雜過程變量變化趨勢，較好地滿足了實際復雜工業(yè)過程的應用要求。

References

[1] FARUK D O. A hybrid neural network and ARIMA model for water quality time series prediction[J]. Engineering Applications of Artificial Intelligence, 2010, 23(4): 586-594.

[2] XIONG T, BAO Y, HU Z,. Forecasting interval time series using a fully complex-valued RBF neural network with DPSO and PSO algorithms[J]. Information Sciences, 2015, 305: 77-92.

[3] KHOSRAVI A, MAZLOUMIE, NAHAVANDI S,Prediction intervals to account for uncertainties in travel time prediction[J]. IEEE Transactions on Intelligent Transportation Systems, 2011, 12(2): 537-547.

[4] NIX DA, WEIGEMD A S. Estimating the mean and variance of the target probability distribution[C]// IEEE World Congress on IEEE International Conference on Neural Networks. 1994: 55-60

[5] LI P, DIMITRIS N. Bootstrap prediction intervals for linear, nonlinear and nonparametric autoregressions[J]. Journal of Statistical Planning and Inference, 2014, 177: 1-27.

[6] TRUCIOS C, HOTTA L K. Bootstrap prediction in univariate volatility models with leverage effect[J]. Mathematics and Computers in Simulation, 2016, 120:91-103.

[7] 黨宏濤, 杜祖良, 任宏文, 等. 基于Bootstrap方法的平臺慣導系統標定參數重復性區(qū)間預測[J]. 中國慣性技術學報, 2013, 21(3): 411-414. DANG H T, DU Z L, REN H W,. Repeatability interval prediction for calibrated parameters of INS based on Bootstrap method[J]. Journal of Chinese Inertial Technology, 2013, 21(3): 411-414.

[8] WANG C, NIU M, SONG Y H,Pareto optimal prediction intervals of electricity price[J]. IEEE Transactions on Power Systems, 2016, 32: 1.

[9] 李知藝, 丁劍鷹, 吳迪, 等. 電力負荷區(qū)間預測的集成極限學習機方法[J]. 華北電力大學學報, 2014, 41(2): 78-88. LI Z Y, DING J Y, WU D,An ensemble model of the extreme learning machine for load interval prediction[J]. Journal of North China Electric Power University, 2014, 41(2): 78-88.

[10] WAN C, XU Z, PINSON P,. Probabilistic forecasting of wind power generation using extreme learning machine[J]. IEEE Transactions on Power Systems, 2014, 29(29): 1033-1044.

[11] VAPNIK V N. The Nature of Statistical Learning Theory[M]. New York: Springer-Verlag, 1995: 52-123.

[12] SHRIVASTAVA N A, KHOSRAVI A, PANIGRAHI B K. Prediction interval estimation of electricity prices using PSO-tuned support vector machines[J]. IEEE Transactions on Industrial Informatics, 2015, 11(2): 322-331.

[13] ZHAO J H, DONG Z Y, XU Z,. A statistical approach for interval forecasting of the electricity price[J]. IEEE Transactions on Power Systems, 2008, 23(2): 267-276.

[14] DE B K, DE B J, SUYKENS J A. Approximate confidence and prediction intervals for least squares support vector regression[J]. IEEE Transactions on Neural Networks, 2010, 22(1): 110-120.

[15] CHENG Q, TEZCAN J, CHENG J. Confidence and prediction intervals for semiparametric mixed-effect least squares support vector machine[J]. Pattern Recognition Letters, 2014, 40(40): 88-95.

[16] KHOSRAVI A, NAHAVANDI S, CREIGHTON D,Lower upper bound estimation method for construction of neural network-based prediction intervals[J]. IEEE Transactions on Neural Networks, 2011, 22(3): 337-46.

[17] HAO Q, SRINIVASAN D, KHOSRAVI A. Uncertainty handling using neural network-based prediction intervals for electrical load forecasting[J]. Energy, 2014, 73(7): 916-925.

[18] ZHANG G, WU Y, WONG K P,. An advanced approach for constructionof optimal wind power prediction intervals[J]. IEEE Transactions on Power Systems, 2015, 30(5): 2706-2715.

[19] HAO Q, SRINIVASAN D, KHOSRAVI A. Short-Term load and wind power forecasting using neural network-based prediction intervals[J]. IEEE Transactions on Neural Networks & Learning Systems, 2014, 25(2): 303-315.

[20] KAVOUSI-FARD A, KHOSRAVI A, NAHAVANDI S. A New fuzzy-based combined prediction intervalfor wind power forecasting[J]. IEEE Transactions on Power Systems, 2015, 31(1): 1-9.

[21] WAN C, XU Z, PINSON P,. Optimal prediction intervals of wind power generation[J]. IEEE Transactions on Power Systems, 2014, 29(3): 1166-1174.

[22] HOSEN M, KHOSRAVI A, NAHAVANDI S,Prediction interval-based neural network modelling of polystyrene polymerization reactor—a new perspective of data-based modelling[J]. Chemical Engineering Research & Design, 2014, 92(11): 2041-2051.

[23] 韓帥, 李樹剛. 基于區(qū)間預測模型的流感趨勢預測[J]. 計算機仿真, 2014, 31(9): 237-242. HAN S, LI S G. Influenza trends forecast based on interval prediction model[J]. Computer Simulation, 2014, 31(9): 237-242.

[24] SCHLKOPF B, SMOLA A, MULLER K. Nonlinear component analysis as a kernel eigenvalue problem[J]. Neural Computation, 1998, 10(5): 1299-1319.

[25] 李海波, 柴天佑, 岳恒. 浮選工藝指標KPCA-ELM軟測量模型及應用[J]. 化工學報, 2012, 63(9): 2892-2898. LI H B, CHAI T Y, YUE H. Soft sensor of technical indices based on KPCA-ELM and application for flotation process[J]. CIESC Journal, 2012, 63(9): 2892-2898.

[26] STEFATOS G, HAMZA A B. Dynamic independent component analysis approach for fault detection and diagnosis[J]. Expert Systems with Applications, 2010, 37(12): 8606-8617.

[27] KANO M, HASEBE S, HASHIMOTO I,. Evolution of multivariate statistical process control: application of independent component analysis and external analysis[J]. Computers and Chemical Engineering, 2004, 28(6/7): 1157-1166.

[28] MIANJI F A, ZHANG Y. Robust hyperspectral classification using relevance vector machine[J]. IEEE Transactions on Geoscience & Remote Sensing, 2011, 49(6): 2100-2112.

[29] TIPPING M. Sparse Bayesian learning and the relevance vector machine[J]. Journal of Machine Learning Research, 2001, 1(3): 211-244.

[30] 楊樹仁, 沈洪遠. 基于相關向量機的機器學習算法研究與應用[J]. 計算技術與自動化, 2010, 29(1): 43-47. YANG S R, SHEN H Y. Research and application of machine learning algorithm based on relevance vector machine[J]. Computing Technology and Automation, 2010, 29(1): 43-47.

Research and application of interval prediction method for complex processes based on principal component independent analysis and mixed kernel RVM

XU Yuan, ZHANG Mingqing

(School of Information Science & Technology, Beijing University of Chemical Technology, Beijing100029, China)

In recent years, higher requirements have been put forward to process monitoring and key variable prediction with increasing complexity of chemical processes. Traditional point predictions do not meet these actual needs nor describe uncertainty concern, so that they could not predict variable trending well. An interval prediction method was proposed from principal component independent analysis and mixed kernel RVM. First, kernel principal component analysis (KPCA) and independent element analysis (ICA) were combined to extract principal components from original variables in complex process and to form independent principal components by independent analysis. Second, mixed kernel from Gauss and polynomial kernel functions and RVM were combined to generate a regression prediction model for the independent principal components, and T distribution was used to make interval estimation on predicted values of the model. Third, comprehensive interval evaluation function was constructed to analyze quality of the interval estimation results. Based on prediction interval coverage probability (PICP) and normal mean prediction interval width (NMPIW), accumulative deviation (AD) was introduced to improve rationality of the interval evaluation. The interval prediction analysis on TE simulation process showed that the proposed interval prediction method had better prediction accuracy and interval estimation quality, which could effectively predict trending of key variables in actual production process.

kernelprincipal component analysis; independent component analysis; relevance vector machine; prediction model; interval evaluation

10.11949/j.issn.0438-1157.20161559

TP 29

A

0438—1157（2017）03—0925—07

國家自然科學基金項目(61573051，61472021)；軟件開發(fā)環(huán)境國家重點實驗室開放課題(SKLSDE-2015KF-01)；中央高校基本科研業(yè)務費專項資金項目(PT1613-05)。

2016-11-04收到初稿，2016-11-08收到修改稿。

聯系人及第一作者：徐圓（1983—），女，博士，副教授。

2016-11-04.

XU Yuan, associate professor, xuyuan@mail. buct.edu.cn

supported by the National Natural Science Foundation of China (61573051,61472021), the Open Fund of the State Key Laboratory of Software Development Environment (SKLSDE-2015KF-01) and the Fundamental Research Funds for Central Universities ofChina (PT1613-05)