發(fā)酵罐KPCA與SVR軟測(cè)量技術(shù)的研究

李浩光,于云華，沈?qū)W峰,黃　磊

(1.中國(guó)石油大學(xué)勝利學(xué)院，山東 東營(yíng) 257061；2.中國(guó)石油大學(xué)(華東)信息與控制工程學(xué)院，山東 東營(yíng) 257061)

0　引言

青霉素發(fā)酵過程具有較強(qiáng)的非線性、時(shí)變性和不確定性，發(fā)酵過程中的基質(zhì)濃度等關(guān)鍵生物參數(shù)因缺乏專用傳感器，難以實(shí)現(xiàn)實(shí)時(shí)在線測(cè)量[1-4]。

針對(duì)生物發(fā)酵過程的復(fù)雜性、多樣性，以及發(fā)酵過程中各過程變量與重要輸出變量之間存在的非線性關(guān)系[5-9]，提出了一種基于核主成分分析-支持向量機(jī)回歸(kernel principal component analysis-support vector regression,KPCA-SVR)的非線性回歸軟測(cè)量方法。該方法采用核函數(shù)為高斯核函數(shù)(Gaussian kernel function，GKF)的核主成分分析(kernel principal components analysis,KPCA)法，將數(shù)據(jù)映射到高維空間中，并對(duì)映射后的數(shù)據(jù)作非線性特征提??；再利用支持向量機(jī)回歸(support vector regression,SVR)法建立軟測(cè)量模型，對(duì)菌體濃度、基質(zhì)濃度和產(chǎn)物濃度等變量進(jìn)行預(yù)測(cè)。試驗(yàn)結(jié)果表明，與常規(guī)方法比較，基于KPCA-SVR的軟測(cè)量模型能夠更好地跟蹤真值的變化趨勢(shì)，且具有更高的預(yù)測(cè)精度，可以實(shí)現(xiàn)青霉素反應(yīng)過程中關(guān)鍵變量的實(shí)時(shí)在線測(cè)量。

1　KPCA特征提取算法的原理

主成分分析(principal components analysis，PCA)是一種無監(jiān)督線性特征提取方法，常用于高維數(shù)據(jù)的降維。而KPCA是一種無監(jiān)督非線性特征提取方法。KPCA將核映射方法引入主成分分析，能夠有效處理非線性數(shù)據(jù)；通過非線性函數(shù)變換，將獲取的數(shù)據(jù)映射到高維特征空間中進(jìn)行處理，以捕捉原始數(shù)據(jù)的非線性分布特性[10-12]。生物發(fā)酵過程中獲取的輔助變量與輸出變量也存在非線性的關(guān)系，采用KPCA方法可以構(gòu)建適用于發(fā)酵過程的回歸預(yù)測(cè)模型。

若原始空間為Rn，輸入數(shù)據(jù)X有m個(gè)樣本，其中各樣本為n維，則X=[x1,x2,…,xm],xi=[xi1,xi2,…,xin],i=1,2,…,m。定義H為高維特征空間(Hilbert泛函空間)，假設(shè)映射Φ：Rn→H,則對(duì)任意xi∈Rn，可以通過非線性變換Φ將其投影至高維空間：

xi→Φ(xi)

(1)

定義核函數(shù):

K=Φ(X)TΦ(X)=[k(xi,xj)]m×m

(2)

式(2)中:

k(xi,xj)=〈Φ(xi)T,Φ(xj)〉=Φ(xi)TΦ(xj)

(3)

將非線性函數(shù)Φ投影至H空間，求得協(xié)方差矩陣：

(4)

設(shè)協(xié)方差矩陣C的特征值為λ、特征向量為V，則：

λV=CV

(5)

存在由特征向量V={Φ(x1)，Φ(x2)，…,Φ(xm)}構(gòu)成的子空間，則必然存在α={α1，α2，…,αm}，并滿足：

(6)

對(duì)式(5)作如下變換：

λ[Φ(xk)×V]=Φ(xk)CVk= 1,2，…，m

(7)

根據(jù)式(4)、式(6)、式(7)，可得：

(8)

再將式(8)整理后得到：

(9)

將式(2)、式(3)代入式(9)，化簡(jiǎn)可得:

mλα=Kα

(10)

由此可解出特征值λ和關(guān)于K矩陣的特征向量α。

在計(jì)算協(xié)方差矩陣前，首先需要進(jìn)行數(shù)據(jù)中心化處理。因此，在上述計(jì)算中，K需要經(jīng)過中心化才能進(jìn)行下一步計(jì)算，即計(jì)算特征向量和特征矩陣。經(jīng)過數(shù)據(jù)中心化之后的K矩陣變?yōu)椋?/p>

(11)

核函數(shù)需要滿足Mercer條件。常見的核函數(shù)如下。

①線性核函數(shù)：K(x,y)=xTy+1。

②多項(xiàng)式核函數(shù)：K(x,y)=(xTy+1)p。

④sigmoid核函數(shù):K(x,y)=tanh(axy+c)。

2　支持向量機(jī)回歸的原理

SVR是基于統(tǒng)計(jì)學(xué)習(xí)理論發(fā)展而來的一種方法，在涉及小樣本數(shù)、非線性和高維數(shù)據(jù)空間的問題時(shí)具有一定的優(yōu)勢(shì)。該方法通過升維，在高維空間中構(gòu)造線性決策函數(shù)。為適應(yīng)訓(xùn)練樣本集的非線性，傳統(tǒng)的擬合方式一般是在線性方程中加入高階項(xiàng)。但該方法存在過擬合的問題。SVR算法采用核函數(shù)的方法可以避免這一問題。因此，使用核函數(shù)代替線性方程中的線性項(xiàng)，可以實(shí)現(xiàn)算法“非線性化”，進(jìn)而實(shí)現(xiàn)非線性回歸[13-15]。

對(duì)于分類問題，支持向量機(jī)相當(dāng)于標(biāo)記樣本為有限集。支持向量機(jī)回歸的問題就是標(biāo)記集合為不可數(shù)。其訓(xùn)練集表示如下：

S={(x1,y1),(x2,y2),…,(xi,yi)|xi∈Rn,yi∈R}

SVR可分為線性SVR和非線性SVR兩種。

(1)線性SVR：對(duì)于給定的樣本集S及?ε>0,若空間Rn中超平面f(x)=+b(w∈Rn,b∈R)滿足|yi-f(xi)|≤ε、?(xi,yi)∈S，則稱f(x)=+b是樣本集合S的ε-線性回歸。

ε-線性回歸問題等價(jià)于以下優(yōu)化問題：

(12)

引入松弛變量，并使用Lagrange 乘子法，得到式(12)的對(duì)偶形式：

(13)

(2)非線性SVR：對(duì)于空間Rn中線性不可分樣本集S，使用非線性函數(shù)φ將S變換至高維特征空間，并在該高維特征空間中進(jìn)行線性回歸，再變換至原始空間Rn中。其對(duì)偶優(yōu)化如式(14)：

(14)

非線性SVR實(shí)現(xiàn)方法如下。

①尋找一個(gè)核函數(shù)K(s,t)，使得K(xi,xj)=<φ(xi),φ(xj)>。

(15)

③計(jì)算b：

(16)

④構(gòu)造非線性函數(shù)：

(17)

3　軟測(cè)量模型的建立

3.1　試驗(yàn)數(shù)據(jù)的獲取

根據(jù)青霉素發(fā)酵機(jī)理以及生產(chǎn)經(jīng)驗(yàn)，選取時(shí)間、溫度、反應(yīng)熱量、通氣量、攪拌速度、發(fā)酵罐壓力、溶氧量值、反應(yīng)器體積、熱水流速、冷水流速、CO2濃度、葡萄糖添加率、基質(zhì)添加率作為模型的輸入量，基質(zhì)濃度、菌體濃度、青霉素濃度作為模型的輸出量。試驗(yàn)共采集了15個(gè)發(fā)酵批次的數(shù)據(jù)，采樣間隔時(shí)間為4 h，獲得3個(gè)離線輸出參量(產(chǎn)物濃度、菌體濃度、基質(zhì)濃度) 。本文將發(fā)酵生產(chǎn)過程中離線化驗(yàn)的測(cè)量值作為預(yù)測(cè)模型的輸出真值。為保證模型包含足夠多的數(shù)據(jù)量，通過多項(xiàng)式插值法得到每隔15 min的在線檢測(cè)數(shù)據(jù)，建立青霉素發(fā)酵數(shù)據(jù)庫(kù)。青霉素發(fā)酵試驗(yàn)單個(gè)批次的發(fā)酵時(shí)間大約為180～200 h。由于采集到的樣本數(shù)據(jù)來自于不同的批次，為便于建立數(shù)學(xué)模型，應(yīng)首先對(duì)樣本數(shù)據(jù)進(jìn)行歸一化預(yù)處理[11]。

3.2　模型建立

青霉素發(fā)酵過程采用基于KPCA特征提取的SVR分析，軟測(cè)量模型如圖1所示。

圖1　軟測(cè)量模型

首先，選取訓(xùn)練樣本集，進(jìn)行歸一化預(yù)處理。選取KPCA的核參數(shù)，對(duì)歸一化預(yù)處理后的數(shù)據(jù)KPCA進(jìn)行特征提取，消除輸入變量之間的相關(guān)性，提取有效信息，并降低特征空間的維數(shù)。再將提取得到的非線性主成分作為SVR的輸入，建立數(shù)學(xué)模型。測(cè)試集用來檢驗(yàn)所建模型的預(yù)測(cè)能力。將測(cè)試集樣本代入模型計(jì)算，得到測(cè)試集樣本所對(duì)應(yīng)的預(yù)測(cè)結(jié)果。在測(cè)試時(shí)，使用留一法來進(jìn)行交叉驗(yàn)證，以檢驗(yàn)所建模型的預(yù)測(cè)與泛化能力[12]。本試驗(yàn)使用的數(shù)據(jù)分析軟件為Matlab 2016b。

3.3　試驗(yàn)及結(jié)果分析

為了檢驗(yàn)所建KPCA-SVR模型的準(zhǔn)確性及其泛化能力，采用測(cè)試樣本集對(duì)該模型的性能進(jìn)行試驗(yàn)驗(yàn)證。KPCA-SVR模型預(yù)測(cè)結(jié)果如圖2所示。

圖2　KPCA-SVR模型預(yù)測(cè)結(jié)果

從圖2中可以看出，采用KPCA-SVR軟測(cè)量建模的輸出預(yù)測(cè)值(軟測(cè)量值)，能夠很好地跟蹤發(fā)酵反應(yīng)過程的真值(離線測(cè)量值)。以圖2(b)為例，模型預(yù)測(cè)值在上升過程中能夠跟蹤真值的變化，具有較好的跟蹤性能，證明了KPCA-SVR的軟測(cè)量模型能夠較準(zhǔn)確地輸出預(yù)測(cè)值。即使只有15個(gè)批次的總樣本量，KPCA-SVR仍具有較好的泛化能力。

為檢驗(yàn)KPCA-SVR方法的預(yù)測(cè)性能，將該方法與其他幾種常規(guī)的回歸預(yù)測(cè)方法進(jìn)行了對(duì)比試驗(yàn)。試驗(yàn)中使用了偏最小二乘回歸(partial least squares regression,PLSR)、主成分回歸(principal component regression,PCR)、主成分-支持向量機(jī)回歸(principal component analysis-support vector regression,PCA-SVR)、反向傳播神經(jīng)網(wǎng)絡(luò)(back propagation artificial neuronal network,BPANN)等幾種預(yù)回歸測(cè)方法，并采用相關(guān)系數(shù)、平均相對(duì)誤差和最大相對(duì)誤差這3個(gè)預(yù)測(cè)性能的評(píng)價(jià)指標(biāo)來比較幾種回歸模型的預(yù)測(cè)效果。多種預(yù)測(cè)方法性能對(duì)比如表1所示。

表1　多種預(yù)測(cè)方法性能對(duì)比

由表1可以看出，KPCA-SVR方法預(yù)測(cè)得到的產(chǎn)物濃度值的最大相對(duì)誤差為8.2%、平均相對(duì)誤差為4.3%、相關(guān)系數(shù)為0.95，為幾種回歸方法中最優(yōu)的性能指標(biāo)。該方法所得預(yù)測(cè)值與真值具有較好的相關(guān)性，預(yù)測(cè)值具有較高的精度，可以為青霉素發(fā)酵罐在線實(shí)時(shí)控制提供可靠的參數(shù)依據(jù)。

4　結(jié)束語

針對(duì)發(fā)酵過程中某些生化參數(shù)難以通過專用傳感器實(shí)時(shí)在線測(cè)量的問題，本文將KPCA與SVR相結(jié)合，建立了青霉素發(fā)酵過程中三個(gè)參量濃度的軟測(cè)量模型。首先，利用KPCA對(duì)樣本數(shù)據(jù)進(jìn)行特征提取，剔除數(shù)據(jù)中的冗余信息，提取得到包含有效信息的主成分，達(dá)到特征降維的目的；然后，利用SVR建立青霉素發(fā)酵過程的預(yù)測(cè)模型，并與其他常規(guī)建模方法進(jìn)行對(duì)比試驗(yàn)。試驗(yàn)結(jié)果表明，KPCA-SVR軟測(cè)量模型的測(cè)量精度高、跟蹤性能好、泛化能力強(qiáng)。與其他方法相比，KPCA-SVR具有更高的預(yù)測(cè)精度，在一定程度上為青霉素的優(yōu)化生產(chǎn)提供了參數(shù)保證，是一種有效的軟測(cè)量建模方法。該軟測(cè)量方法可以滿足青霉素發(fā)酵過程產(chǎn)物濃度的測(cè)量要求，同時(shí)也可以用于其他類似的生化發(fā)酵過程測(cè)量。

參考文獻(xiàn):

[1] 薛堯予,王建林,于濤,等.基于改進(jìn) PSO 算法的發(fā)酵過程模型參數(shù)估計(jì)[J]. 儀器儀表學(xué)報(bào),2010,31(1):178-182.

[2] 王博,孫玉坤,嵇小輔,等.基于PSO-SVM逆的賴氨酸發(fā)酵過程軟測(cè)量[J]. 化工學(xué)報(bào),2012,63(9):3000-3007.

[3] 黃永紅，孫麗娜，孫玉坤，等．海洋蛋白酶發(fā)酵過程生物參數(shù)的軟測(cè)量建模[J]．信息與控制，2013，42(4):506-510．

[4] 曹鵬飛，羅雄麟．化工過程軟測(cè)量建模方法研究進(jìn)展[J]．化工學(xué)報(bào)，2013，64(3):788-800．

[5] 黃麗，孫玉坤，嵇小輔，等．基于CPSO與LSSVM融合的發(fā)酵過程軟測(cè)量建模[J]．儀器儀表學(xué)報(bào)，201l，32(9)：2066-2070．

[6] 吳文元，熊智華，呂寧．支持向量回歸在乙烯裂解產(chǎn)物收率軟測(cè)量中的應(yīng)用[J]．化工學(xué)報(bào)， 2010，61(8):2046-2050．

[7] 唐志杰，唐朝暉，朱紅求．一種基于多模型融合軟測(cè)量建模方法[J]．化工學(xué)報(bào)，2011，62(8):2248-2252．

[8] 劉國(guó)海，周大為，徐海霞，等．基于SVM的微生物發(fā)酵過程軟測(cè)量建模研究[J]．儀器儀表學(xué)報(bào)，2009，30(6)：1228-1232．

[9] 孫玉坤，王博，黃永紅，等．基于聚類動(dòng)態(tài)LS-SVM 的L-賴氨酸發(fā)酵過程[J]．儀器儀表學(xué)報(bào)，2010，31(2):404-409．

[10]唐勇波，桂衛(wèi)華，彭濤．變壓器油中氣體的多核核主元回歸預(yù)測(cè)模型[J]．電機(jī)與控制學(xué)報(bào)，2012，16(11):92-98．

[11]張學(xué)工.模式識(shí)別[M].3版.北京：清華大學(xué)出版社，2010.

[12]嚴(yán)衍祿，陳斌，朱大洲.近紅外光譜分析的原理、技術(shù)與應(yīng)用[M].北京:中國(guó)輕工業(yè)出版社，2007.

[13]THEODORIDIS S,KOUTROUMBAD K.模式識(shí)別[M].4版.北京：電子工業(yè)出版社，2010.

[14]VLADIMIR N V.統(tǒng)計(jì)學(xué)習(xí)理論的本質(zhì)[M].張學(xué)工,譯.北京：清華大學(xué)出版社，2000.

[15]瑞明.支持向量機(jī)理論及其應(yīng)用分析[M].北京：中國(guó)電力出版社,2007:152-153.