優(yōu)化的混合核函數(shù)相關(guān)向量機(jī)在發(fā)酵過(guò)程建模中的應(yīng)用

余榮榮，周家旺

(1.安徽師范大學(xué) 數(shù)學(xué)計(jì)算機(jī)科學(xué)學(xué)院，安徽 蕪湖 241000；2.武漢理工大學(xué) 機(jī)電工程學(xué)院，湖北 武漢 430070)

微生物發(fā)酵過(guò)程復(fù)雜，一些重要的參數(shù)如產(chǎn)物濃度、菌體濃度不能實(shí)時(shí)測(cè)量得到.近年來(lái)，通過(guò)軟測(cè)量技術(shù)，發(fā)酵過(guò)程模型的預(yù)測(cè)精度越來(lái)越高.劉毅等[1]利用最小二乘支持向量機(jī)(LSSVM)與Pensim仿真平臺(tái)建立了青霉素產(chǎn)物濃度等重要過(guò)程變量的在線預(yù)測(cè)模型.相關(guān)向量機(jī)(RVM)是基于支持向量機(jī)的概率模型，采用概率式的預(yù)測(cè)結(jié)果，在貝葉斯框架下用于數(shù)據(jù)分類與預(yù)測(cè)[2].支持向量機(jī)在解決高維、非線性和小樣本問(wèn)題時(shí)具有良好性能[3]，而相關(guān)向量機(jī)與支持向量機(jī)相比，具有更稀疏的結(jié)構(gòu)和更少的相關(guān)向量,且核函數(shù)選擇不局限于Mercer條件等優(yōu)點(diǎn)[4].

本文將高斯核函數(shù)與Sigmoid函數(shù)采用加權(quán)的方式形成混合核函數(shù)應(yīng)用于RVM，并采用差分進(jìn)化算法對(duì)混合核函數(shù)相關(guān)向量機(jī)的參數(shù)進(jìn)行優(yōu)化.對(duì)青霉素發(fā)酵過(guò)程產(chǎn)物濃度進(jìn)行預(yù)測(cè)，并與2種單一核函數(shù)的相關(guān)向量機(jī)建模結(jié)果進(jìn)行比較，仿真表明該混合核函數(shù)模型具有較高的預(yù)測(cè)精度.

1 相關(guān)向量機(jī)

ti=y(xi,ω)+εi.

(1)

與SVM類似，RVM將回歸函數(shù)表示成核函數(shù)K(x,xi)的線性組合形式，即

(2)

其中ω=[ω0,ω1,…,ωN]T是模型的權(quán)值向量，ω0為回歸函數(shù)的偏置.

(3)

基于訓(xùn)練數(shù)據(jù)的獨(dú)立性，引入超參數(shù)β=1/σ2，整個(gè)訓(xùn)練數(shù)據(jù)集的似然函數(shù)為

(4)

其中t=[t1,t2,…,tN]T，φ是核函數(shù)對(duì)輸入xi的響應(yīng)：

(5)

式(3)中α=[α0,α1,…,αN]T，每個(gè)獨(dú)立的超參數(shù)αi只與其對(duì)應(yīng)的權(quán)值ωi相關(guān)，根據(jù)先驗(yàn)分布和似然函數(shù)，利用貝葉斯公式計(jì)算權(quán)值的后驗(yàn)分布，即

(6)

式(6)中，p(ω|α)和p(t|ω,β)均滿足高斯分布，因此其乘積p(ω|α)p(t|ω,β)也滿足高斯分布，而p(t|α,β)不含參數(shù)ω，可看作歸一化參數(shù)，所以權(quán)值的ω后驗(yàn)分布可表示為：

p(ω|t,α,β)=N(μ,Σ) .

(7)

上式中，協(xié)方差Σ=(βφTφ+A)-1，均值μ=βΣφTt，其中A為對(duì)角陣，A=diag{α0,α1,…,αN}.

為獲取ω的最大后驗(yàn)分布，最大化邊緣似然函數(shù)p(ω|t,α,β)取負(fù)對(duì)數(shù)得到目標(biāo)函數(shù)，最后令目標(biāo)函數(shù)分別對(duì)超參數(shù)αi和β求偏導(dǎo)得到優(yōu)化的超參數(shù)：

(8)

(9)

式中，μi為權(quán)值后驗(yàn)均值向量μ的第i個(gè)元素，Σi,i為協(xié)方差陣Σ的第i個(gè)對(duì)角元素，γi=1-αiΣi,i.在RVM訓(xùn)練中，式(8)和(9)需要依次迭代，直到參數(shù)αi和β收斂.將迭代后的最終參數(shù)代入式(2)中得到訓(xùn)練數(shù)據(jù)的回歸模型.

2 多核相關(guān)向量機(jī)及參數(shù)優(yōu)化

對(duì)于相關(guān)向量機(jī)，其核函數(shù)的構(gòu)造和選擇對(duì)于模型預(yù)測(cè)精度影響很大.相關(guān)向量機(jī)只使用單核函數(shù)會(huì)造成性能單一且局限性較強(qiáng).Gauss核函數(shù)是典型的局部核函數(shù)，Sigmoid核函數(shù)是具有全局特性的全局核函數(shù)，結(jié)合二者可以同時(shí)提升學(xué)習(xí)能力和泛化能力.

采取下面的混合方式組成新的混合和函數(shù)：

(10)

其中，m是調(diào)節(jié)系數(shù)，且0

差分進(jìn)化(DE)算法[7-8]是一種生物啟發(fā)式全局搜索算法，和遺傳算法類似，每代迭代過(guò)程中保留最優(yōu)解.采用DE算法進(jìn)行參數(shù)尋優(yōu)，其具體步驟包括：首先根據(jù)待優(yōu)化參數(shù)的維數(shù)種群大小NP，隨機(jī)生成參數(shù)向量作為初始種群：

(11)

(12)

3 發(fā)酵過(guò)程建模

青霉素發(fā)酵中具有時(shí)變性、高度非線性等特征，系統(tǒng)采集的數(shù)據(jù)有噪聲干擾，有損建模精度，需要選取合適的建模方法，才能有效提高模型的預(yù)測(cè)精度[9].Pensim仿真平臺(tái)基于發(fā)酵的機(jī)理模型，考慮了關(guān)鍵變量對(duì)發(fā)酵過(guò)程產(chǎn)生的影響，能模擬包括青霉素產(chǎn)量、溫度、溶解氧量等關(guān)鍵變量[10].

基于Pensim仿真平臺(tái)進(jìn)行某些初始條件的設(shè)定，并在正常情況下產(chǎn)生數(shù)據(jù).在這些數(shù)據(jù)中選取100組作為RVM的訓(xùn)練樣本，同時(shí)也選定用于預(yù)測(cè)的數(shù)據(jù).將混合核函數(shù)用于RVM建模過(guò)程，提高模型擬合精度，同時(shí)采用差分進(jìn)化優(yōu)化算法對(duì)建模過(guò)程參數(shù)進(jìn)行優(yōu)化，找到全局最優(yōu)解.具體建模過(guò)程如圖1所示.

圖2顯示了利用所得數(shù)據(jù)建立的發(fā)酵過(guò)程模型，圖3為模型的預(yù)測(cè)結(jié)果，其表明混合核函數(shù)相關(guān)向量機(jī)能較高精度地預(yù)測(cè)青霉素濃度，可用于發(fā)酵過(guò)程實(shí)時(shí)控制.為比較混合核函數(shù)的優(yōu)越性，分別給出了Gauss核函數(shù)和Sigmoid核函數(shù)分別用于RVM的建模結(jié)果，如圖4、5所示.對(duì)比圖3～5和性能指標(biāo)(表1)，可以看出，混合核函數(shù)模型比單一核函數(shù)模型具有更高的預(yù)測(cè)性能與泛化能力.

表1 青霉素濃度預(yù)測(cè)誤差比較

4 結(jié)語(yǔ)

本文采用Gauss核函數(shù)和sigmoid核函數(shù)結(jié)合形成的混合核函數(shù)應(yīng)用于相關(guān)向量機(jī)的建模，并基于差分進(jìn)化算法對(duì)其參數(shù)進(jìn)行優(yōu)化，建立青霉素發(fā)酵過(guò)程模型，仿真實(shí)驗(yàn)表明了該算法用于青霉素發(fā)酵過(guò)程建模的有效性.本文進(jìn)一步比較了混合核函數(shù)模型與單一核函數(shù)模型的預(yù)測(cè)誤差結(jié)果，表明混合核函數(shù)相關(guān)向量機(jī)有強(qiáng)抗擾能力和令人滿意的預(yù)測(cè)精度.在線優(yōu)化建模參數(shù)并將混合核函數(shù)相關(guān)向量機(jī)應(yīng)用于具體樣機(jī)是下一步需要研究的內(nèi)容.

參考文獻(xiàn):

[1] 劉毅，王海清.采用最小二乘支持向量機(jī)的青霉素發(fā)酵過(guò)程建模研究[J].生物工程學(xué)報(bào), 2006,22 (1):144-149.

[2] TIPPING M E.Sparse Bayesian learning and the relevance vector machine[J].The Journal of Machine Learning Research, 2001(1):211-244.

[3] 谷雨.基于支持向量機(jī)與移動(dòng) Agent 的入侵檢測(cè)系統(tǒng)模型[J].云南民族大學(xué)學(xué)報(bào):自然科學(xué)版, 2008, 17(1): 68-71.

[4] 李剛，邢書寶，薛惠鋒.基于RBF核的SVM及RVM模式分析性能比較[J].計(jì)算機(jī)應(yīng)用研究,2009,26(5): 1782-1784.

[5] 朱世增，黨選舉.基于相關(guān)向量機(jī)的非線性動(dòng)態(tài)系統(tǒng)辨識(shí)[J].計(jì)算機(jī)仿真, 2008, 25(6)：103-107.

[6] 朱永利, 尹金良.組合核相關(guān)向量機(jī)在電力變壓器故障診斷中的應(yīng)用研究[J].中國(guó)電機(jī)工程學(xué)報(bào), 2013, 33(22): 68-74.

[7] 熊偉麗, 許文強(qiáng), 趙兢兢, 等.運(yùn)用ADE算法進(jìn)行Wiener模型辨識(shí)[J].系統(tǒng)仿真學(xué)報(bào), 2013, 25(005): 969-974.

[8] 姜立強(qiáng), 劉光斌, 郭錚.基于差分進(jìn)化算法的 PID 參數(shù)整定[J].計(jì)算機(jī)仿真, 2009 (6): 204-206.

[9] HONG Jeong-jin，ZHANG Jie.Quality prediction for a fed-batch fermentation process using multi-block PLS[J].Springer Proceeding in Physics, 2010, 135:155-162.

[10] 熊偉麗, 王肖, 陳敏芳, 等.基于加權(quán) LS-SVM 的青霉素發(fā)酵過(guò)程建模[J].化工學(xué)報(bào), 2012, 63(9): 2913-2919.