基于混合核函數(shù)的OLS軟測(cè)量建模方法研究

巨 穩(wěn),田學(xué)民

(中國(guó)石油大學(xué)(華東)信息與控制工程學(xué)院,山東東營(yíng) 257061)

基于混合核函數(shù)的OLS軟測(cè)量建模方法研究

巨 穩(wěn),田學(xué)民

(中國(guó)石油大學(xué)(華東)信息與控制工程學(xué)院,山東東營(yíng) 257061)

針對(duì)核建模方法中單一核函數(shù)不能準(zhǔn)確描述數(shù)據(jù)的分布特性問(wèn)題,提出一種基于混合核函數(shù)的正交最小二乘(OLS)算法并將其用于工業(yè)過(guò)程軟測(cè)量建模。采用混合核函數(shù)代替基本OLS方法中的單一核函數(shù),利用混合核函數(shù)兼具局部和全局核函數(shù)的性能,可以提高模型的泛化能力和非線性處理能力。核參數(shù)的選擇對(duì)模型的影響較大,采用粒子群優(yōu)化算法對(duì)核參數(shù)進(jìn)行尋優(yōu)。在工業(yè)聚丙烯熔融指數(shù)軟測(cè)量模型中的應(yīng)用結(jié)果表明,基于混合核函數(shù)OLS方法能夠比PLS、基本OLS方法更準(zhǔn)確地預(yù)測(cè)熔融指數(shù)的變化情況。

軟測(cè)量;正交最小二乘;核函數(shù);粒子群

0 引 言

隨著現(xiàn)代工業(yè)過(guò)程的迅速發(fā)展,軟測(cè)量技術(shù)在理論研究和實(shí)踐應(yīng)用中取得了廣泛的成果。大多數(shù)工業(yè)過(guò)程都具有嚴(yán)重的非線性,非線性軟測(cè)量建模方法能夠有效地處理工業(yè)過(guò)程中的非線性,使模型具有較好的預(yù)測(cè)精度。目前,常用的非線性軟測(cè)量建模方法有神經(jīng)網(wǎng)絡(luò)、KPCR、核PLS、支持向量機(jī)、正交最小二乘(OLS)等方法[1-2],這些方法本質(zhì)上都是核建模方法。OLS是一種稀疏核建模方法,其優(yōu)化目標(biāo)包含了局部參數(shù)正則化(LR)和留一法訓(xùn)練均方誤差(MSE),以該目標(biāo)函數(shù)建立的OLS軟測(cè)量模型具有稀疏性和較強(qiáng)的推廣性能[34]。OLS方法通常采用單一高斯核函數(shù)來(lái)處理,不能準(zhǔn)確描述數(shù)據(jù)的分布特性,具有一定的局限性,并且核參數(shù)是人為給定的。

針對(duì)上述問(wèn)題,該文提出一種基于混合核函數(shù)的OLS軟測(cè)量建模方法,并采用粒子群優(yōu)化算法對(duì)核參數(shù)尋優(yōu)。核函數(shù)可以分成局部核函數(shù)和全局核函數(shù)兩類,不論采用局部或全局核函數(shù),都不能準(zhǔn)確描述數(shù)據(jù)的分布特性,采用兩類核函數(shù)的結(jié)合能給模型帶來(lái)較好的泛化能力,提高模型的性能[5]。采用該方法建立工業(yè)聚丙烯熔融指數(shù)的軟測(cè)量模型。

1 OLS建模方法

1.1 OLS算法基本思想

OLS是一種稀疏核建模方法,該方法以模型的泛化性能作為優(yōu)化目標(biāo),構(gòu)建稀疏回歸模型[6]。田華閣等[6]首次將OLS方法用于工業(yè)軟測(cè)量建模,并取得了較好的效果。

已知 x=[x1,x2,…,xN]∈RN×M為系統(tǒng)的輸入變量,y∈RN×1為系統(tǒng)的輸出變量,e為噪聲信號(hào)。采用OLS方法建立x和y之間的回歸模型進(jìn)行非線性辨識(shí):

求解式(1)的參數(shù)β,可對(duì)式(3)所描述的優(yōu)化目標(biāo)進(jìn)行求解:

式(3)本質(zhì)上是最小化訓(xùn)練數(shù)據(jù)的均方誤差(MS E),其結(jié)果為β=(φTφ)-1φTy。由于 φ∈N× N,當(dāng) N較大時(shí),計(jì)算過(guò)程比較復(fù)雜,容易形成維數(shù)災(zāi)難。同時(shí)由于各列訓(xùn)練數(shù)據(jù)中相關(guān)性的存在, φTφ極有可能為病態(tài)矩陣,最終求解的模型參數(shù)出現(xiàn)過(guò)匹配和泛化能力低的現(xiàn)象。針對(duì)上述問(wèn)題, OLS方法對(duì)φ進(jìn)行正交化分解φ=WA。矩陣W和A的計(jì)算可以通過(guò)改進(jìn)的 Gram-Schimt正交化方法來(lái)完成[7],最終結(jié)果如下:

式中 W∈RN×N;wi,wj∈RN×1為列向量,1≤i, j≤N。

則回歸模型可表示:

式中 g——OLS模型需要優(yōu)化求解的參數(shù),且g=Aβ,g=[g1,g2,…,gN]T∈RN×1。

式(6)中,將W看做模型的基。由于建模數(shù)據(jù)中存在相關(guān)性,故僅需要一部分模型基即可建立稀疏模型,即從W中選擇Ns(Ns=N)個(gè)不相關(guān)的模型子集WNs即可,這個(gè)步驟稱為前向子集選擇過(guò)程,這樣最終建立的模型[6]:

式中 WNs——W中的 Ns項(xiàng);gNs——g中的Ns項(xiàng)。

1.2 OLS模型的優(yōu)化目標(biāo)

為了加強(qiáng)模型的稀疏性,提高模型的泛化能力,在優(yōu)化目標(biāo)函數(shù)中加入模型參數(shù)的正則化約束[7],對(duì)式(3)的優(yōu)化目標(biāo)進(jìn)行改進(jìn),如式(8)

式中 Λ =diag{λ1,λ2,…,λN}——正則化參數(shù)。

因?yàn)閃TW+Λ為對(duì)角陣,可得[3]:

其中,λi可根據(jù)貝葉斯學(xué)習(xí)理論得到,更新公式如下:

為了提高模型的泛化能力,OLS方法采用能夠體現(xiàn)模型泛化性能的誤差計(jì)算方法,即基于留一法的訓(xùn)練數(shù)據(jù)均方誤差[3-4]。對(duì)于含有n個(gè)基的模型,LOO MSE計(jì)算式如下:

其中,e(n,-k)k表示建模數(shù)據(jù)不包含 (xk,yk)時(shí),該數(shù)據(jù)的測(cè)試誤差:

根據(jù)留一法的原理計(jì)算Jn是一個(gè)相當(dāng)復(fù)雜的過(guò)程,現(xiàn)有的研究結(jié)果表明其實(shí)沒(méi)有必要對(duì)每個(gè)數(shù)據(jù)進(jìn)行留一法建模測(cè)試,可以根據(jù)下式進(jìn)行計(jì)算[4]。

2 基于混合核函數(shù)的OLS建模方法

2.1 核建模方法

在核建模方法中,核函數(shù)的選擇對(duì)建模結(jié)果有較大的影響。目前常用的簡(jiǎn)單核函數(shù):徑向基核函數(shù)

核函數(shù)通常分為局部核函數(shù)和全局核函數(shù)兩類。局部核函數(shù)具有較強(qiáng)的學(xué)習(xí)能力,泛化能力較弱,而全局核函數(shù)泛化能力較強(qiáng),學(xué)習(xí)能力較弱?？紤]兩類核函數(shù)的特性,該文采用將典型的局部核函數(shù)(徑向基核函數(shù)krbf)與典型的全局核函數(shù)(多項(xiàng)式核函數(shù) kpoly)結(jié)合起來(lái)的方式,構(gòu)造如下形式的混合核函數(shù)

式中 t——混合系數(shù)。

混合系數(shù)t(0≤t≤1)調(diào)節(jié)兩種核函數(shù)對(duì)混合核函數(shù)施加的影響。顯然,當(dāng)t為0時(shí),混合核函數(shù)退化為RBF核函數(shù),而當(dāng)t為1時(shí),則退化為多項(xiàng)式核函數(shù)。通過(guò)調(diào)節(jié)t,則可以使混合核函數(shù)適應(yīng)于不同的數(shù)據(jù)分布,等效于在核函數(shù)的選擇中,融入具體問(wèn)題的先驗(yàn)知識(shí)[8]。

混合核函數(shù)OLS建模方法與基本OLS建模方法的原理類似,所不同的是采用混合核函數(shù)來(lái)代替OLS中的高斯核函數(shù)。

式(1)中的核函數(shù) Kρ(·,·)這里選擇混合核函數(shù) Kmix,即

2.2 基于PSO的核參數(shù)優(yōu)化

在前面構(gòu)造的混合核函數(shù)中存在三個(gè)核參數(shù)(σ,t,q),對(duì)于這三個(gè)核參數(shù)的選擇通常采用人為給定的方法,缺少一定的理論根據(jù),因此該文考慮采用粒子群算法對(duì)核參數(shù)進(jìn)行尋優(yōu)。

PSO算法是基于種群的并行全局搜索算法,采用簡(jiǎn)單的速度、位移模型實(shí)現(xiàn)對(duì)整個(gè)解空間的尋優(yōu),因而概念簡(jiǎn)單易于實(shí)現(xiàn),且沒(méi)有許多參數(shù)需要調(diào)整,具有更快的收斂速度,對(duì)處理高維優(yōu)化問(wèn)題也有一定的優(yōu)勢(shì)[9]。

粒子群算法初始化為一群隨機(jī)粒子,其中每個(gè)粒子為優(yōu)化問(wèn)題的一個(gè)解,然后通過(guò)迭代找到最優(yōu)解。假設(shè)在D維搜索空間中,有 m個(gè)粒子組成一個(gè)粒子群,其中第 i個(gè)粒子的位置為 xi=(xi1, xi2,…,xid),速度為 vi=(vi1,vi2,…,vid)。在每次迭代中,粒子通過(guò)跟蹤粒子本身所找到的最優(yōu)解(個(gè)體極值 pbest)以及整個(gè)種群目前找到的最優(yōu)解(全局極值 gbest)來(lái)更新自己的位置和速度。則位置和速度的更新方程為

式中 w——慣性權(quán)重;c1,c2——學(xué)習(xí)因子。

搜索時(shí),為了防止粒子遠(yuǎn)離搜索空間,粒子的速度通常被限定于一定范圍內(nèi),即 vij∈[-vmax, vmax]。如果粒子的速度超過(guò)該維的最大速度時(shí),該粒子速度被限制為該維的最大速度。同樣,如果某粒子在某維的位置超出該維的最大位置,則該粒子的位置被限制為該維的最大位置。

考慮到基本粒子群算法經(jīng)常發(fā)生早熟收斂等現(xiàn)象,為了保證粒子群算法的收斂,Clerc等[10]通過(guò)研究提出了一種帶收縮因子χ粒子群方法:

式中 ?=c1+c2,?>4。

Clerc等[10]在收縮因子方法中,取c1和c2都為2.05,從而?=4.1,χ=0.729 8。

Eberhart和Shi[11]對(duì)該算法做了進(jìn)一步研究,認(rèn)為當(dāng)取c1=c2=2.05時(shí),限制最大速度vmax= xmax,或者預(yù)先設(shè)置搜索空間的大小,效果更理想。這樣幾乎可以改進(jìn)算法對(duì)所有測(cè)試函數(shù)的求解性能。

對(duì)于PSO優(yōu)化混合核函數(shù)參數(shù)(σ,t,q),每個(gè)粒子由三維參數(shù)(σ,t,q)決定其位置和速度,適應(yīng)度函數(shù)為軟測(cè)量模型中期望輸出與實(shí)際輸出偏差的均方根誤差,即

3 聚丙烯熔融指數(shù)軟測(cè)量建模中的應(yīng)用

利用某公司的Spheripol-Ⅱ工藝聚丙烯生產(chǎn)裝置2007年8～12月的聚丙烯生產(chǎn)過(guò)程數(shù)據(jù),結(jié)合現(xiàn)場(chǎng)操作中的實(shí)際經(jīng)驗(yàn)和機(jī)理分析的結(jié)果,該文挑選用于建立聚丙烯熔融指數(shù)的輔助變量:第一環(huán)管反應(yīng)器中丙烯、氫氣、催化劑的濃度,第二環(huán)管反應(yīng)器中丙烯、氫氣、催化劑的濃度及總的宏觀反應(yīng)熱。經(jīng)過(guò)一系列數(shù)據(jù)預(yù)處理后,最終獲得379組數(shù)據(jù),將這些數(shù)據(jù)分為兩部分,229組數(shù)據(jù)用于建立軟測(cè)量模型,剩余的150組數(shù)據(jù)用于模型測(cè)試。

采用該文提出的方法建立聚丙烯熔融指數(shù)的軟測(cè)量模型,用粒子群尋找(σ,t,q)參數(shù)的最佳數(shù)值時(shí),PSO的粒子個(gè)數(shù)為10,最大迭代次數(shù)為100。粒子群算法經(jīng)過(guò)100次迭代尋優(yōu)結(jié)果(σ,t,q)=(2.777 7,0.582 1,1)。得到基于混合核函數(shù)的OLS方法建立的聚丙烯熔融指數(shù)模型的訓(xùn)練效果及相對(duì)誤差絕對(duì)值如圖1,圖 2所示。

圖1 混合核函數(shù)OLS軟測(cè)量模型的訓(xùn)練效果

圖2 混合核函數(shù)OLS軟測(cè)量模型訓(xùn)練效果相對(duì)誤差

然后分別采用PLS方法、基本OLS方法和基于混合核函數(shù)的OLS方法建立軟測(cè)量模型,比較不同方法的預(yù)測(cè)效果。對(duì)于OLS方法而言,雖然建模數(shù)據(jù)有229組,但是最終用于建模的OLS模型僅使用了16個(gè)基,極大地降低了模型的復(fù)雜性。對(duì)于混合核函數(shù)的OLS方法,最終用于建模的僅有29個(gè)基,同樣大大降低了模型的復(fù)雜性,而且預(yù)測(cè)精度得到了提高,為了比較不同模型的性能,這里使用均方根誤差(RM S E)作為性能指標(biāo)。三種方法的泛化效果如圖3～5及見(jiàn)表1所列。

圖3 PLS軟測(cè)量模型的泛化效果

圖4 OLS軟測(cè)量模型的泛化效果

圖5 混合核函數(shù)OLS軟測(cè)量模型的泛化效果

表1 三種方法軟測(cè)量模型訓(xùn)練和泛化的結(jié)果比較

由表1可以看出,雖然最終用于建模的混合核函數(shù)OLS軟測(cè)量模型使用了29個(gè)模型基,比OLS模型基的個(gè)數(shù)要多,但是其模型的訓(xùn)練誤差和預(yù)測(cè)誤差均低于OLS方法和PLS方法的軟測(cè)量模型,而且對(duì)比圖5與圖3和圖4的泛化效果,可以看出基于混合核函數(shù)的OLS方法建立軟測(cè)量模型比OLS方法和 PLS方法的軟測(cè)量模型預(yù)測(cè)效果較好。

4 結(jié)束語(yǔ)

該文采用混合核函數(shù)方法對(duì)基本的OLS進(jìn)行改進(jìn),提出一種基于混合核函數(shù)的OLS軟測(cè)量建模方法,并且采用 PSO方法對(duì)核參數(shù)進(jìn)行尋優(yōu)。采用實(shí)際的工業(yè)數(shù)據(jù),建立工業(yè)聚丙烯熔融指數(shù)的軟測(cè)量模型,應(yīng)用結(jié)果表明,基于混合核函數(shù)OLS軟測(cè)量建模方法比PLS和基本的OLS方法能夠更為準(zhǔn)確地預(yù)測(cè)聚丙烯熔融指數(shù)的變化情況,具有較好的效果。

[1] 王孝紅,劉文光,于宏亮.工業(yè)過(guò)程軟測(cè)量研究[J].濟(jì)南大學(xué)學(xué)報(bào)(自然科學(xué)版),2009,23(1):80-85.

[2] 朱學(xué)峰.軟測(cè)量技術(shù)及其應(yīng)用[J].華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版),2002,30(11):61-67.

[3] CHEN S,HONG X,LU K B L,et al.Orthogonal-leastsquares Regression:A Unified Approach for Data Modeling [J].Neurocomputing,2009,72(10-12):2670-2681.

[4] CHEN S.Orthogonal-least-squares Forward Selection for Parsimonious Modelling from Data[J].Engineering,2009, 1(2):55-74.

[5] SMITS G F,JORDAN E M.Improving SVM Regression Using Mixturesof Kernels[C]//Proceedingsof the International.Joint Conference on Neural Networks[A]. USA:Honolulu,HI,2002:2785-2790.

[6] 田華閣,田學(xué)民,鄧曉剛.基于Kalman-OLS的聚丙烯熔融指數(shù)軟測(cè)量[J].控制工程,2010,16(S0):83-86.

[7] CHENG S,HONG X,HARRIS C J,etal.Sparse Modeling Using OrthogonalForward Regression with PRESS Statistic and Regularization[J].IEEE Transactions on Systems,Man and Cybernetics-part B:Cybernetics, 2004,34(2):898-911.

[8] 王華忠,俞金壽.混合核函數(shù)PLS建模方法及在軟測(cè)量中的應(yīng)用[J].計(jì)算機(jī)與應(yīng)用化學(xué),2007,24(2):239-243.

[9] 陳 樹(shù),徐保國(guó),王海霞,等.PSO-SVR算法在發(fā)酵過(guò)程控制中的應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用,2007,43(19): 214-216.

[10] CLERC M.TheSwarm andtheQueen:Towards a Deterministic and Adaptive Particle Swarm Optimization [C]//Proceedings of the 1999 Congress on Evolutionary Computation[A]. USA:Washington D.C.,1999: 1951-1957.

[11] EBERHART R C,Shi Y.Comparing Inertia Weights and Constriction Factors in Particle Swarm Optimization[C]// Proceedingsof the 2000 Congress on Evolutionary Computation[A].San Diego,CA,2000:84-88.

[12] 宋紹民,王 敏,胡新晚.基于移動(dòng)最小二乘的傳感器數(shù)據(jù)重構(gòu)[J].自動(dòng)化儀表,2010,(5):16-18.

The Study on the OLS Soft Sensor Modeling Based on the Mixed Kernels

Ju Wen,Tian Xuemin

(The College of Information and Control Eng.China Uni.of Petroleum,Dongying,257061,China)

With regard to the problem that single kernel can not accurately describe the distribution character of data in the kernel modeling method,an algorithm of orthogonal least square(OLS)based the mixed kernels is proposed and used for soft sensor modeling in industrial process.To take the mixed kernels replace single kernel in OLS and utilize properties of local and global kernel of the mixed kernel can improve their genelization ability and nonlinear treatment capacity. The selection ofkernel parameters has great influence for the model,the particle swarm optimization algorithm is used to carry out selection ofkernel parameters. The application of industrial polypropylene melt index soft measurement modeling has indicated that OLS based the mixed kernels can more accurately predict change of index than PLS and basic OLS method.

soft sensor;orthogonal least squares;kernel;particle swarm

TP273

A

1007-7324(2011)01-0031-05

2010-11-08。

國(guó)家863計(jì)劃項(xiàng)目(2007AA04Z193);山東省自然科學(xué)基金項(xiàng)目(Y2007G49)。

巨 穩(wěn)(1985—),女,吉林四平人,碩士研究生,從事工業(yè)過(guò)程建模、軟測(cè)量技術(shù)研究。