基于即時學習的軟測量建模實時性改進

張宏偉,李鵬飛,景軍鋒,張 蕾,趙永濤

(西安工程大學 電子信息學院,陜西 西安 710048)

1 引言與預備知識

在石油冶煉等流程工業(yè)的自動化生產(chǎn)過程中,軟測量模型已經(jīng)被廣泛應用于過程參數(shù)的實時估計或預報.隨著生產(chǎn)過程變得越來越復雜,過程的機理也越來越復雜,所以建立一個準確的機理模型非常耗時且效果不佳.不同于機理建模的方式,利用生產(chǎn)過程的歷史數(shù)據(jù),建立基于數(shù)據(jù)的軟測量模型在近幾年出現(xiàn)了許多廣泛應用的偏最小二乘回歸(PLS)[1-2]、人工神經(jīng)網(wǎng)絡(ANN)[3]、支持向量機回歸(SVR)[4]和最小二乘支持向量回歸(LSSVR)[5]等方法.

在石油冶煉等流程工業(yè)中,設備特性和催化劑活性等過程特性會隨著時間發(fā)生變化,比如設備老化、催化劑鈍化、原材料因生產(chǎn)任務的改變而改變等等,建立的軟測量模型必須隨系統(tǒng)特性的變化及時更新,才能準確估計過程參數(shù).許多基于遞歸的方法被用來解決軟測量模型自動更新的問題,比如遞歸PLS[6-7]、遞歸SVR.盡管通過遞歸的方式能夠把軟測量模型調(diào)整到一個新的工況,但是這種方式卻無法處理工況發(fā)生突變的問題.為了使軟測量模型在工況變化時能夠快速自動調(diào)整,近年來的很多研究和應用使用即時學習的方法用于軟測量建模和過程參數(shù)估計[8-9].

在傳統(tǒng)的基于即時學習的軟測量建模方法中,建立局部模型是計算耗時最多的一個環(huán)節(jié).如果能夠根據(jù)工況的實際變化情況,在工況發(fā)生突變的時候,及時更新局部模型;而在工況區(qū)域穩(wěn)定的間歇,降低局部模型更新的頻率,將有效地減少局部模型建模的耗時,提高預測的實時性.在實際的生產(chǎn)過程的大部分時間內(nèi),工況總是穩(wěn)定在幾個主要的工作區(qū)域.在工況穩(wěn)定的區(qū)域內(nèi),使用即時學習建立的局部模型在預測過程參數(shù)時并不需要每次更新.

本文針對在及時學習方法每次預測過程參數(shù)時均需要更新局部模型、軟測量建模耗時久的問題,提出了1個判定工況是否發(fā)生變化的參數(shù)和以該參數(shù)為基礎的控制局部模型是否更新的方法,并和其他改進控制即時學習實時性的方法進行實例對比的研究.通過對比分析,本文提出的方法能夠在穩(wěn)定的工況下準確停止局部模型的更新,在工況突變的時刻及時更新局部模型,所以該方法有效的運算量較小，實時性好,同時又能較好地跟蹤工況的突變,具有較準確的估計預測能力.

與全局學習相比,即時學習的局部模型建立時需要的建模樣本數(shù)據(jù)較少,為了保持較好的預測泛化能力和預測實時性,最小二乘支持向量回歸機經(jīng)常用于即時學習的建模.為了對比不同的局部模型更新頻率策略對實時性等性能的影響,本文后面的軟測量建模使用的都是最小二乘支持向量機(LSSVR).

LSSVR具有快速的學習能力,計算簡單.在小樣本情況下,LSSVR能夠取得較好的學習效果.一組輸入樣本,LSSVR通過非線性映射將訓練數(shù)據(jù)集映射到一個高維特征空間,從而使非線性函數(shù)估計問題轉(zhuǎn)化為高維特征空間中的線性函數(shù)估計問題.設回歸函數(shù)為y=f(u)=+b,其中<·,·>為內(nèi)積運算,LSSVR在回歸估計中,即為求解如下的優(yōu)化問題,可以寫為

(1)

s.t.yi=+b+ei,i=1,…,n.

(2)

其中ei為誤差向量,γ為用于折中訓練誤差和模型復雜性的懲罰系數(shù).為了求解該優(yōu)化問題,構建拉格朗日函數(shù):

(3)

因此,優(yōu)化問題的求解過程就轉(zhuǎn)換成求解一個線性方程組.根據(jù)Mercer條件,LSSVR的模型為

(4)

其中αi為每個訓練樣本的系數(shù),f(u)為LSSVR的預測模型,K(ui,u)為非線性的核函數(shù),本文采用較常用的高斯核函數(shù).對于一個新的數(shù)據(jù)樣本unew,由LSSVR預測的輸出可以計算：

(5)

圖1 全局模型和局部模型結構的區(qū)別

2 實時性改進

2.1 傳統(tǒng)的即時學習算法

與利用全部歷史數(shù)據(jù)離線建立一個全局模型的方法不同,即時學習在每次估計或預測過程參數(shù)時都需要重新建立一個局部模型,即更新局部模型,即時學習的局部模型結構和離線學習的全局模型結構的對比如圖1所示.

當新的待測樣本unew需要估計過程參數(shù)的時候,根據(jù)傳統(tǒng)的在線學習建模的基本原理,需要經(jīng)過3個主要步驟:首先在一定的相似性尺度下,計算當前樣本與全局數(shù)據(jù)庫內(nèi)樣本點的相似性關系,然后依據(jù)相似性的大小選擇較相似的若干樣本,確定相關數(shù)據(jù)集;然后利用相關數(shù)據(jù)集建立新的局部模型;最后根據(jù)unew和新建立的局部模型預測輸入值.該局部模型在使用之后即被拋棄.當下一個待測樣本unew+1來臨的時候,重復上述步驟.

在建立局部模型之前,先根據(jù)unew選擇用于建立局部模型的相關數(shù)據(jù)集.相似性的測度有很多,比如歐氏距離、馬氏距離和角度等,但這不是本文的研究重點,為了簡化,本文后面的研究默認采用歐氏距離d(unew,ui)=‖unew,ui‖2作為相似性的測度,用來選擇建立局部模型的相關數(shù)據(jù)集.

按照式(6)計算待測樣本unew和全局數(shù)據(jù)庫內(nèi)數(shù)據(jù)樣本ui相似性指數(shù):

(6)

其中d2(unew,ui)表示unew和ui的歐式距離.在上述計算結束之后,將得到的相似性指數(shù)降序排列.依據(jù)相似性大小,從數(shù)據(jù)庫中依次選取L個相關性最大樣本{ui,yi}1,2,…,L作為相關數(shù)據(jù)集,用來建立局部模型.在后面的軟測量建模部分,建立局部模型的相關數(shù)據(jù)集表示為{UL,yL}.根據(jù)LSSVR的建模步驟,可以推導出基于在線學習的LSSVR軟測量模型,訓練后得到的模型參數(shù)分別表示為wL,αL和bL,對于待測樣本unew的測試結果表示為

(7)

2.2 實時性改進對比研究

即時學習需要在線建立局部模型并預測輸出,建模的實時性是實際應用的重要參考指標.如果系統(tǒng)運行在相對穩(wěn)定的一段工況,那么unew會在一個非常小的范圍內(nèi)變化,則每次選取的{UL,yL}幾乎不變,所以在這種情況下,用于更新局部模型的計算是不必要的.文獻[5]提出通過計算前后相鄰兩個樣本的變化,并與設定的閾值相比較,用于判斷是否需要更新局部模型,其算法步驟為

(1) 假定當前為t時刻,待測輸入unew(t),且模型需要更新.以歐氏距離為相關性測度,使用式(6)計算unew(t)與數(shù)據(jù)庫樣本的相似性指數(shù)si,i=1,2，…,n,其中n為數(shù)據(jù)庫樣本的總數(shù).挑選相似性指數(shù)大小為前L的樣本{UL,yL},建立了1個局部模型f(unew(t))預測輸出.同時相似度最小的那個值min(sL)作為t+1時刻判斷是否更新模型的閾值cut(t+1).

(2) 在t+1時刻,待測輸入變?yōu)閡new(t+1),使用式(6)計算unew(t+1)與unew(t)的相似度指數(shù),若小于cut(t+1),則不更新局部模型，否則局部模型更新為f(unew(t+1)),cut(t+1)更新為cut(t+2),建模步驟同步驟(1).

(3) 后面以此類推,在t+n時刻,先計算unew(t+n)與unew(t+n+1)的相似度,如果相似度小于cut(t+n+1)閾值,則不更新局部模型.否則更新局部模型,建模步驟同步驟(1).

該方法雖然能夠有效地降低模型的更新頻率,但是該方法在待測樣本緩慢變化的時候,極容易發(fā)生模型更新遲鈍的情況,這樣會導致模型的估計能力出現(xiàn)較大偏差的情況.

2.3 實時性改進算法

上述控制局部模型更新頻率的算法給即時學習實時性改進提供了很好的思路,但是無法解決待測輸入緩慢變化時,待測輸入微小偏差引入的累計誤差問題.這樣會導致無法及時更新局部模型,所以為了解決相鄰待測輸入偏差微小時局部模型更新無法跟蹤系統(tǒng)變化的問題,提出以下改進算法：

(1) 假定當前為t時刻,待測輸入unew(t),且模型需要更新.以歐氏距離為相關性測度,使用式(6)計算unew(t)與數(shù)據(jù)庫樣本的相似性指數(shù)si,i=1,2,…,n,其中n為數(shù)據(jù)庫樣本的總數(shù)，挑選相似性指數(shù)大小為前L的樣本{UL,yL},建立了1個局部模型f(unew(t))預測輸出.同時相似度最小的那個值min(sL)作為t+1時刻判斷是否更新模型的閾值cut(t+1).

(2) 在t+1時刻,待測輸入變?yōu)閡new(t+1),使用式(6)計算unew(t+1)與unew(t)的相似度指數(shù),若小于cut(t+1),則不更新局部模型.否則局部模型更新為f(unew(t+1)),cut(t+1)更新為cut(t+2),建模步驟同步驟(1).

(3) 若t+1時刻模型未更新,unew(t+2)與該局部模型建立之初的那個待測輸入unew(t)計算相似度,如果相似度大于閾值cut(t+2),則不更新局部模型.否則更新局部模型建模步驟同步驟(1).

該方法最大的特點是判斷是否需要更新局部模型之前,需要比較當前待測輸入和上一局部模型建模之初所使用的那個待測輸入的相似性指數(shù),而不是比較相鄰兩個時刻待測輸入的相似性.該方法除了能夠保證較高的實時性,還能夠及時地跟蹤系統(tǒng)的動態(tài)變化.

3 案例研究與討論

為了驗證改進算法的性能,使用1個去丁烷塔的生產(chǎn)數(shù)據(jù)進行案例分析.為了評價算法的實時性改進程度和預測的準確性,提出使用局部模型建模時間(CPU Time),預測值與真實值的均方差(Root Mean Square Error(RMSE))兩個指標作為評價準則.

圖2所示為Fortuna在文獻[10]中給出的預測丁烷值的生產(chǎn)數(shù)據(jù)集的部分數(shù)據(jù),該數(shù)據(jù)集已被很多學者作為評價軟測量算法性能的數(shù)據(jù)進行分析.該數(shù)據(jù)集有7維輸入{u1,u2,u3,u4,u5,u6,u7},1維輸出{Y},共2 000組數(shù)據(jù).為了測試本文改進算法的性能,隨機抽取1 000組作為測試樣本集,另外1 000組作為即時學習的訓練樣本集.

圖2 去丁烷塔的輸出數(shù)值特性 圖3 不同即時學習模型的預測結果

圖4 不同模型在不同L值下的建模時間與預測均方差

為了對比實時性改進的性能,用于建模和測試的計算機配置統(tǒng)一為:操作系統(tǒng)為Windows XP(32 bit),CPU為Intel Core2 Quad Q8300(2.5GHz),內(nèi)存為2GB,MATLAB版本為2009a.使用上述丁烷塔數(shù)據(jù),分別建立3個LSSVR軟測量模型：傳統(tǒng)的即時學習模型、文獻[5]中提到的實時性改進模型和本文提出的實時性改進模型,其中LSSVR模型統(tǒng)一選用高斯核,核參數(shù)σ均為2，懲罰系數(shù)γ均為150.

圖3為L取40的情況下得到的結果,其頂部圖片是未作實時性改進的及時學習模型的預測結果,中間的圖片是按照文獻[5]進行實時性改進的預測結果,底部的圖片是按照本文提出的方法得到的預測結果.從圖3可以看出，本文提出的實時性改進算法在預測的準確性上和傳統(tǒng)的方法相近,而文獻[5]提及的改進算法在系統(tǒng)發(fā)生突變的時候,會出現(xiàn)一些明顯的跟蹤誤差,而本文提取的方法能夠較好地跟蹤系統(tǒng)發(fā)生的突變.

圖4(a)比較了上述3個模型的建模時間,可以看出本文提出的算法比文獻[5]的算法耗時要多一些,但是與傳統(tǒng)的未作實時性改進的方法比較起來并未隨著L值的增加而明顯增加建模時間,很好地提高建模的實時性.而從圖4(b)可以看出,本文提出的算法的預測偏差已經(jīng)達到了和傳統(tǒng)的即時學習方法同樣的效果.相比之下,本文提出的實時性改進算法比文獻[5]提到的算法預測偏差能降低很多.綜上所述,從建模時間和預測準確性的兩個方面看,本文提出的算法能夠在保證預測準確性的條件下,減少了建模所耗的時間,提高了系統(tǒng)的實時性.

4 結束語

提出了一種針對即時學習方法實時性改進的策略,使用LSSVR作為局部模型建立軟測量模型,并通過和其他兩種不同即時學習方法進行案例分析對比研究.實驗結果驗證了本文提出的方法既能顯著地減少建立局部模型所耗時間,明顯提高軟測量建模預測實時性,同時又能很好地跟蹤系統(tǒng)的突變,確保了預測的準確性沒有因為實時性的提高而明顯降低.

參考文獻：

[1] BYLESJO M,RANTALAINEN M,NICHOLSON J K,et al.K-OPLS package:Kernel-based orthogonal projections to latent structures for prediction and interpretation in feature space[J].Bmc Bioinformatics,2008(9)：106-107.

[2] FACCO P,DOPLICHER F,BEZZO F,et al.Moving average PLS soft sensor for online product quality estimation in an industrial batch polymerization process[J]. Journal of Process Control,2009,19(3):520-529.

[3] KO Y D,SHANG H L.A neural network-based soft sensor for particle size distribution using image analysis[J].Powder Technology,2011,212(2):359-366.

[4] JAIN P,RAHMAN I,KULKARNI B D.Development of a soft sensor for a batch distillation column using support vector regression techniques[J].Chemical Engineering Research & Design,2007,85(A2):283-287.

[5] GE Z Q,SONG Z H.A comparative study of Just-In-Time-Learning based methods for online soft sensor modeling[J].Chemometrics and Intelligent Laboratory Systems,2010,104(2):306-317.

[6] QIN S J.Recursive PLS algorithms for adaptive data modeling[J].Computers & Chemical Engineering,1998,22(4-5):503-514.

[7] LI C F,YE H,WANG G Z,et al.A recursive nonlinear PLS algorithm for adaptive nonlinear process modeling[J].Chemical Engineering & Technology,2005,28(2):141-152.

[8] FUJIWARA K,KANO M,HASEBE S,et al.Soft-sensor development using correlation-based Just-In-Time modeling[J].Aiche Journal,2009,55(7):1754-1765.

[9] CHENG C,CHIU M S.Nonlinear process monitoring using JITL-PCA[J].Chemometrics and Intelligent Laboratory Systems,2005,76(1):1-13.

[10] FORTUNA L,GRAZIANI S,XIBILIA M G.Soft sensors for product quality monitoring in debutanizer distillation columns[J].Control Engineering Practice,2005,13(4):499-508.