基于改進(jìn)隨機(jī)梯度Boosting算法的軟測(cè)量建模

倉(cāng)文濤，楊慧中

?

基于改進(jìn)隨機(jī)梯度Boosting算法的軟測(cè)量建模

倉(cāng)文濤，楊慧中

（江南大學(xué)輕工過(guò)程先進(jìn)控制教育部重點(diǎn)實(shí)驗(yàn)室，江蘇無(wú)錫 214122）

在建立復(fù)雜化工過(guò)程軟測(cè)量模型時(shí)，使用傳統(tǒng)的隨機(jī)梯度Boosting算法（SGB）建模若收縮參數(shù)選取不當(dāng)會(huì)明顯降低算法收斂速度，且極易陷入過(guò)擬合，難以取得令人滿意的泛化效果。為解決這一問(wèn)題，提出了一種基于SGB集成學(xué)習(xí)的軟測(cè)量建模方法，采用高斯過(guò)程回歸作為基學(xué)習(xí)器，并針對(duì)SGB算法固有的不足，依據(jù)每一次迭代中弱學(xué)習(xí)機(jī)的反饋，自適應(yīng)調(diào)整收縮參數(shù)，改善了SGB算法的過(guò)度擬合，從而提高了集成模型的估計(jì)精度與學(xué)習(xí)效率。將該方法應(yīng)用于某雙酚A裝置的軟測(cè)量建模中，仿真結(jié)果表明，相比于傳統(tǒng)SGB建模，該方法具有更高的泛化性能和學(xué)習(xí)效率。

算法；計(jì)算機(jī)模擬；集成；隨機(jī)梯度Boosting；軟測(cè)量

引 言

化工、冶金、發(fā)酵等過(guò)程工業(yè)通常是一個(gè)具有高度非線性與時(shí)變性的復(fù)雜過(guò)程，一些反映工藝參數(shù)或質(zhì)量指標(biāo)的重要變量目前還缺乏在線測(cè)量的儀器與手段，往往需要通過(guò)在線取樣、離線分析的方法得到。由于離線分析時(shí)間間隔長(zhǎng)、數(shù)據(jù)滯后，難以滿足過(guò)程工業(yè)實(shí)施在線優(yōu)化控制的需求。為解決此類難題，人們提出了軟測(cè)量技術(shù)[1-5]。

軟測(cè)量技術(shù)的基本原理是通過(guò)構(gòu)造某種數(shù)學(xué)模型，建立輔助變量與主導(dǎo)變量之間的關(guān)聯(lián)形式，從而實(shí)現(xiàn)主導(dǎo)變量的實(shí)時(shí)估計(jì)[6-9]。作為軟測(cè)量技術(shù)的核心內(nèi)容，軟測(cè)量建模方法通?？蓜澐譃闄C(jī)理建模和數(shù)據(jù)驅(qū)動(dòng)建模法[10-12]。近年來(lái)，各種基于數(shù)據(jù)驅(qū)動(dòng)的軟測(cè)量技術(shù)已經(jīng)在工業(yè)生產(chǎn)過(guò)程中得到越來(lái)越廣泛的運(yùn)用[13-16]。然而，對(duì)于越來(lái)越復(fù)雜的工業(yè)生產(chǎn)過(guò)程，各種不確定因素導(dǎo)致很難用單一模型來(lái)準(zhǔn)確地表達(dá)實(shí)際工業(yè)過(guò)程。集成學(xué)習(xí)方法的出現(xiàn)，為解決上述問(wèn)題提供了良好的途徑。集成學(xué)習(xí)可以有效地提高軟測(cè)量模型的泛化能力，已經(jīng)成為機(jī)器學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)之一[17-19]。

作為一種重要的集成學(xué)習(xí)方法，Boosting算法的思想起源于Valiant[20]提出的PAC（probably approximately correct）學(xué)習(xí)模型，它能將預(yù)測(cè)精度僅比隨機(jī)猜度略高的弱學(xué)習(xí)機(jī)提升為預(yù)測(cè)精度高的強(qiáng)學(xué)習(xí)機(jī)。1990年，Schapire[21]首次將Boosting算法引入機(jī)器學(xué)習(xí)領(lǐng)域。隨后，為解決早期Boosting算法必須知道弱學(xué)習(xí)算法學(xué)習(xí)正確率下限的問(wèn)題，F(xiàn)reund等[22]于1997年提出了一種名為AdaBoost（adaptive Boosting）的回歸建模方法。AdaBoost最終判別準(zhǔn)則的精確度依賴所有弱學(xué)習(xí)過(guò)程得出的弱學(xué)習(xí)機(jī)，因而更能全面地挖掘弱學(xué)習(xí)算法的能力。2001年，F(xiàn)riedman[23]提出了梯度Boosting算法（gradient Boosting，GB），GB在建立模型時(shí)，使之前模型的殘差往梯度方向減少，從而使得強(qiáng)學(xué)習(xí)機(jī)可以對(duì)損失函數(shù)進(jìn)行極小化優(yōu)化。在此基礎(chǔ)上，F(xiàn)riedman[24]于2002年結(jié)合Bagging思想，在GB算法基礎(chǔ)上引入一個(gè)隨機(jī)化參數(shù)，提出了隨機(jī)梯度Boosting（stochastic gradient Boosting，SGB）方法，其主要思想是在算法的每一次迭代過(guò)程中，隨機(jī)抽取訓(xùn)練樣本的一部分來(lái)擬合弱學(xué)習(xí)機(jī)，因此SGB可以看成是Bagging和Boosting的綜合體。

SGB回歸算法簡(jiǎn)單易用，但與GB算法相比，增加了一個(gè)需要確定的參數(shù)——收縮參數(shù)，合理選取值是該算法成功與否的關(guān)鍵因素：若值選取過(guò)小，則學(xué)習(xí)效率低，收斂速度慢；若值選取過(guò)大，則學(xué)習(xí)不充分，可能會(huì)出現(xiàn)過(guò)擬合現(xiàn)象[25]。為解決這一問(wèn)題，本文對(duì)原始SGB回歸算法進(jìn)行改進(jìn)，采用高斯過(guò)程回歸作為基學(xué)習(xí)器，依據(jù)每一次迭代中弱學(xué)習(xí)機(jī)的反饋，自適應(yīng)調(diào)整該學(xué)習(xí)機(jī)的收縮參數(shù)，使得每次學(xué)習(xí)過(guò)程中性能優(yōu)異的弱學(xué)習(xí)機(jī)得到更多關(guān)注，從而提高集成模型的泛化性能與收斂速度。最后將此改進(jìn)的SGB回歸算法用于某雙酚A生產(chǎn)裝置中2,4-雙酚A濃度的軟測(cè)量建模。

1 高斯過(guò)程回歸

作為近幾年發(fā)展起來(lái)的一種基于高斯隨機(jī)函數(shù)的回歸算法，高斯過(guò)程回歸（Gaussian process regression，GPR）具有嚴(yán)格的統(tǒng)計(jì)學(xué)理論基礎(chǔ)，且對(duì)處理高維數(shù)、小樣本和非線性等復(fù)雜問(wèn)題具有很好的適應(yīng)性[26-28]。與支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)相比，GPR具有容易實(shí)現(xiàn)、非參數(shù)推斷靈活、超參數(shù)自適應(yīng)獲取以及能夠?qū)崿F(xiàn)概率化估計(jì)等優(yōu)點(diǎn)。

給定訓(xùn)練樣本集={(x,y)},=1,2,…,，其中，∈R為維輸入變量，y∈為輸出變量。輸入、輸出之間的回歸關(guān)系由式（1）產(chǎn)生

y=()+(1)

式中，是未知函數(shù)形式；是均值為0、方差為2的高斯噪聲。對(duì)于新的測(cè)試樣本*，其預(yù)測(cè)分布的均值和方差如式（2）、式（3）所示

*(*)=T(*)-1(2)

2*(*)=(*,*)-T(*)-1(*) (3)

式中，(*)=[(*,1),…,(*,)]是測(cè)試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)之間的協(xié)方差矩陣；=(,)是訓(xùn)練數(shù)據(jù)之間的協(xié)方差矩陣；=[1,…,y]T。GPR可以選擇不同的協(xié)方差函數(shù)產(chǎn)生協(xié)方差矩陣，只需要選擇的協(xié)方差函數(shù)能保證產(chǎn)生的協(xié)方差矩陣滿足非負(fù)正定的關(guān)系。本文選擇徑向基函數(shù)作為協(xié)方差函數(shù)

式中，0為函數(shù)控制局部相關(guān)性程度的先驗(yàn)協(xié)方差；w為維輸入變量的相對(duì)重要性權(quán)重；1為噪聲的先驗(yàn)協(xié)方差；為Kronecker算子。GPR需要對(duì)式(4)中的未知參數(shù)0、w、1和高斯噪聲方差2的值進(jìn)行估計(jì)。最常用的方法就是通過(guò)極大似然估計(jì)得到最優(yōu)超參數(shù)

=[0,2,1,…,w,1] (5)

為求得超參數(shù)的值，首先將設(shè)置為某一合理區(qū)間中的隨機(jī)數(shù)，再用共軛梯度迭代法搜索的最優(yōu)值。獲得最優(yōu)值后，對(duì)于測(cè)試樣本*，可以通過(guò)式（2）、式（3）來(lái)估計(jì)GPR模型的輸出值。

2 SGB回歸模型

2.1 SGB加性回歸模型

梯度Boosting作為加性回歸模型的基本原理是：每一次迭代為了減少上一次弱學(xué)習(xí)機(jī)的殘差，在殘差減少的梯度方向上建立一個(gè)新的弱學(xué)習(xí)機(jī)，由此不斷迭代最終產(chǎn)生一個(gè)弱學(xué)習(xí)機(jī)的相加組合，使得組合回歸模型可以對(duì)損失函數(shù)進(jìn)行極小化優(yōu)化[29-30]。令=[1,2,…,]T，基于梯度Boosting算法加性模型的模型輸出()如式（7）表述

(8)

式中，arg min(*)是為使得(*)取最小值的最優(yōu)()，收縮參數(shù)v∈(0,1)稱為“學(xué)習(xí)率”，為子模型個(gè)數(shù)，v和通常都是根據(jù)先驗(yàn)知識(shí)確定的常量。

Friedman[24]于2002年將類似于Bagging的隨機(jī)選擇策略與GB組合，提出了SGB算法。SGB在每一次迭代中，有放回地隨機(jī)抽取訓(xùn)練集中n(n<)個(gè)子樣本，用以替代全部訓(xùn)練數(shù)據(jù)，擬合弱學(xué)習(xí)機(jī)與計(jì)算當(dāng)前迭代中模型更新，抽樣比例由隨機(jī)化參數(shù)表示。當(dāng)=1時(shí)，算法等同于原始的GB算法，由文獻(xiàn)[24]可知，=0.5時(shí)模型泛化性能最佳。SGB回歸模型的學(xué)習(xí)及更新過(guò)程算法描述如下。

（1）建立訓(xùn)練數(shù)據(jù)集=(,)，確定最大迭代次數(shù)及收縮參數(shù)v。

（2）從訓(xùn)練數(shù)據(jù)集中隨機(jī)抽取n個(gè)子樣本，建立基本GPR模型1=1()（弱學(xué)習(xí)機(jī)1），用1估計(jì)全部訓(xùn)練樣本，估計(jì)結(jié)果記為，計(jì)算殘差：，并更新訓(xùn)練數(shù)據(jù)集=(,res,1)。

（3）=2,3,…,，重復(fù)如下步驟。

① 從已更新的訓(xùn)練數(shù)據(jù)集中隨機(jī)抽取n個(gè)子樣本，建立基本GPR模型=f()（弱學(xué)習(xí)機(jī)）用以擬合上一次弱學(xué)習(xí)機(jī)的殘差。

② 用f估計(jì)訓(xùn)練集中所有樣本，估計(jì)結(jié)果記為。

③訓(xùn)練數(shù)據(jù)集更新：=(,res,k)，其中。

④ 最終估計(jì)結(jié)果為

⑤ 對(duì)于新的測(cè)試樣本new，根據(jù)式（9）計(jì)算估計(jì)輸出。

2.2 改進(jìn)的SGB算法

SGB算法在實(shí)施過(guò)程中首先需要確定學(xué)習(xí)率v，而v通常通過(guò)反復(fù)實(shí)驗(yàn)獲得，這就增加了整個(gè)算法操作的復(fù)雜程度，而且SGB算法性能對(duì)v的選擇比較敏感，主要體現(xiàn)為如下幾方面。

（1）雖然運(yùn)用較小的學(xué)習(xí)率（v<0.1）比GB算法能更有效地提高泛化能力，且學(xué)習(xí)率越小，學(xué)習(xí)越充分，然而較小的學(xué)習(xí)率需要更大的迭代次數(shù)才能使模型收斂，這就導(dǎo)致了計(jì)算耗時(shí)的增加，延緩了算法的執(zhí)行效率。

（2）若學(xué)習(xí)率v取值過(guò)大，迭代中由某些性能較差的弱學(xué)習(xí)機(jī)提取出的回歸信息可能存在過(guò)擬合現(xiàn)象，同時(shí)也無(wú)法保證對(duì)訓(xùn)練樣本的充分學(xué)習(xí)，這將嚴(yán)重影響最終集成學(xué)習(xí)的性能。

為此，本文提出了一種改進(jìn)的MSGB算法（modified stochastic gradient Boosting，MSGB），即按照迭代誤差自適應(yīng)調(diào)整v的方法。在整個(gè)SGB迭代學(xué)習(xí)過(guò)程中，v不再是一個(gè)固定先驗(yàn)值，而是根據(jù)每次迭代學(xué)習(xí)時(shí)弱學(xué)習(xí)機(jī)的反饋不斷變化，通過(guò)迭代過(guò)程中弱學(xué)習(xí)機(jī)的反饋結(jié)果，自適應(yīng)地調(diào)節(jié)v，使得整個(gè)學(xué)習(xí)過(guò)程更多地注重性能優(yōu)異的弱學(xué)習(xí)機(jī)。即當(dāng)該次迭代誤差e大于前一次迭代的誤差e-1時(shí)，將v減小；反之，當(dāng)該次迭代誤差e小于前一次迭代誤差e-1時(shí)，將v增大。這樣，可以在整個(gè)迭代過(guò)程中不斷地根據(jù)實(shí)際情況實(shí)時(shí)調(diào)整v的大小，始終向著性能最優(yōu)的方向?qū)ふ易罴咽湛s參數(shù)值，從而克服初始v選擇給SGB算法帶來(lái)的不利影響。本文的具體改進(jìn)思路為：首先，確定初始收縮參數(shù)1的值，并構(gòu)造弱學(xué)習(xí)機(jī)1，學(xué)習(xí)及更新過(guò)程與SGB完全一致。弱學(xué)習(xí)機(jī)每學(xué)習(xí)一次結(jié)束后，計(jì)算本次學(xué)習(xí)的輸出平均相對(duì)誤差

收縮參數(shù)的變化由輸出平均相對(duì)誤差的變化決定

其中，是一個(gè)與平均相對(duì)誤差變化率相關(guān)的系數(shù)，取，∈(0,1)為一個(gè)自定義的比較小的數(shù)，此時(shí)完成收縮參數(shù)調(diào)整，繼續(xù)SGB迭代，直至迭代過(guò)程結(jié)束。建立集成學(xué)習(xí)模型的流程如圖1所示。

通過(guò)上述方法改進(jìn)之后的MSGB算法，不必再為如何確定合適的收縮參數(shù)而反復(fù)嘗試，并能保證SGB向正確方向迭代，同時(shí)可以依據(jù)每一次迭代過(guò)程中的誤差變化，實(shí)時(shí)調(diào)整收縮參數(shù)的值，保證避免過(guò)擬合，最終達(dá)到改善SGB泛化性能的目的。

3 仿真實(shí)驗(yàn)

為了驗(yàn)證改進(jìn)MSGB算法的有效性，本文利用高斯過(guò)程回歸作為基學(xué)習(xí)器，對(duì)某石化廠雙酚A生產(chǎn)中的脫水單元產(chǎn)物2,4-BPA的質(zhì)量指標(biāo)進(jìn)行估計(jì)。分析雙酚A生產(chǎn)工藝可知，影響脫水單元2,4-BPA質(zhì)量指標(biāo)的主要操作變量為脫水塔進(jìn)料流量、溫度、塔頂壓力、塔底壓力、回流溫度、回流流量以及塔頂、塔中部、塔底溫度。

從脫水塔單元現(xiàn)場(chǎng)采集到300組數(shù)據(jù)，選取200組作為訓(xùn)練樣本，100組作為測(cè)試樣本。首先采用主成分分析（principalcomponentanalysis，PCA）算法對(duì)軟測(cè)量的輸入輔助變量進(jìn)行預(yù)處理，用累計(jì)方差貢獻(xiàn)率（cumulative percent variance，CPV）準(zhǔn)則確定PCA主成分個(gè)數(shù)，從而保證所提取的主成分能夠解釋過(guò)程數(shù)據(jù)90%以上的信息。如圖2所示，采用PCA方法提取出5個(gè)主元進(jìn)行軟測(cè)量建模。

考慮訓(xùn)練樣本集規(guī)模，設(shè)定模型參數(shù)為：=0.5，=0.1，=100。為驗(yàn)證本文方法的有效性，分別設(shè)置1=0.9及1=0.8，并重復(fù)兩次實(shí)驗(yàn)。

用200組訓(xùn)練樣本對(duì)SGB-GPR模型與MSGB-GPR模型進(jìn)行訓(xùn)練，圖3為學(xué)習(xí)過(guò)程中訓(xùn)練數(shù)據(jù)均方根誤差（RMSE）隨迭代次數(shù)變化的情況，RMSE定義為

圖4為1=0.9及1=0.8時(shí)，收縮參數(shù)隨迭代次數(shù)變化情況。分析圖3的訓(xùn)練結(jié)果可知，相比于SGB-GPR模型，本文提出的MSGB-GPR模型具有更好的訓(xùn)練精度與更高的學(xué)習(xí)效率。

圖3 訓(xùn)練數(shù)據(jù)RMSE曲線

Fig.3 RMSE curves of training data

為進(jìn)一步驗(yàn)證本文方法對(duì)改善模型泛化性能的有效性，用100組測(cè)試樣本對(duì)MSGB-GPR模型進(jìn)行測(cè)試，并將測(cè)試結(jié)果與SGB-GPR模型進(jìn)行比較，如圖5、圖6所示。

分別列出上述2種建模方法的測(cè)試誤差，各模型的最大絕對(duì)誤差（MAXE）、均方根誤差（RMSE）如表1所示。

通過(guò)圖5、圖6和表1的仿真結(jié)果可知，本文提出的基于改進(jìn)SGB算法的高斯過(guò)程集成軟測(cè)量建模的模型精度和泛化能力明顯優(yōu)于傳統(tǒng)的SGB回歸模型，對(duì)過(guò)程信號(hào)具有較好的跟蹤能力。

表1 兩種模型的測(cè)試誤差

4 結(jié) 論

本文針對(duì)現(xiàn)有SGB回歸算法建立軟測(cè)量模型時(shí)需要反復(fù)實(shí)驗(yàn)確定收縮參數(shù)的不足，依據(jù)弱學(xué)習(xí)機(jī)的反饋，提出了一種自適應(yīng)修正收縮參數(shù)的方法，有效地消除了收縮參數(shù)選擇對(duì)系統(tǒng)的影響。將所提出的方法運(yùn)用于某雙酚A生產(chǎn)裝置軟測(cè)量建模，使用實(shí)際生產(chǎn)數(shù)據(jù)建立2,4-BPA濃度軟測(cè)量模型。仿真結(jié)果表明，改進(jìn)的方法有效地改善了SGB算法性能，估計(jì)精度有了顯著提高，且提高了學(xué)習(xí)效率，具有指導(dǎo)工業(yè)生產(chǎn)的意義。

References

[1] 楊小梅, 劉文琦, 楊俊. 基于分階段的LSSVM 發(fā)酵過(guò)程建模[J]. 化工學(xué)報(bào), 2013, 64(9): 3262-3269. YANG X M, LIU W Q, YANG J. LSSVM modeling for fermentation process based on dividing stages[J]. CIESC Journal, 2013, 64(9): 3262-3269.

[2] 曹鵬飛, 羅雄麟. 化工過(guò)程軟測(cè)量建模方法研究進(jìn)展[J]. 化工學(xué)報(bào), 2013, 64(3): 788-800. CAO P F, LUO X L. Modeling of soft sensor for chemical process[J]. CIESC Journal, 2013, 64(3): 788-800.

[3] KADLEC P, GABRYS B, STRANDT S. Data-driven soft sensors in the process industry[J]. Computers and Chemical Engineering, 2009, 33(4): 795-814.

[4] 雷瑜, 楊慧中. 基于高斯過(guò)程和貝葉斯決策的組合模型軟測(cè)量[J]. 化工學(xué)報(bào), 2013, 64(12): 4434-4438. LEI Y, YANG H Z. Combination model soft sensor based on Gaussian process and Bayesian committee machine[J]. CIESC Journal, 2013, 64(12): 4434-4438.

[5] CAO P F, LUO X L. Modeling for soft sensor systems and parameters updating online[J]. Journal of Process Control, 2014, 24(6): 975-990.

[6] JIN H P, CHEN X G, WANG L,. Adaptive soft sensor development based on online ensemble Gaussian process regression for nonlinear time-varying batch processes[J]. Industrial & Engineering Chemistry Research, 2015, 54(30): 7320-7345.

[7] CAO P F, LUO X L. Soft sensor model derived from wiener model structure: modeling and identification[J]. Chinese Journal of Chemical Engineering, 2014, 22(5): 538-548.

[8] GUO Y F, ZHAO Y, HUANG B. Development of soft sensor by incorporating the delayed infrequent and irregular measurements[J]. Journal of Process Control, 2014, 24(11): 1733-1739.

[9] LIU J L. Developing a soft sensor based on sparse partial least squares with variable selection[J]. Journal of Process Control, 2014, 24(7): 1046-1056.

[10] GE Z Q, HUANG B, SONG Z H. Mixture semi-supervised principal component regression model and soft sensor application[J]. AIChE Journal, 2014, 60(2): 533-545.

[11] YAN X D, YANG W, MA H H,. Soft sensor for ammonia concentration at the ammonia converter outlet based on an improved group search optimization and BP neural network[J]. Chinese Journal of Chemical Engineering, 2012, 20(6): 1184-1190.

[12] JIN X, WANG S Y, HUANG B,. Multiple model based LPV soft sensor development with irregular/missing process output measurement[J]. Control Engineering Practice, 2012, 20(2): 165-172.

[13] LIU Y, GAO Z L, LI P,. Just-in-time kernel learning with adaptive parameter selection for soft sensor modeling of batch processes[J]. Industrial & Engineering Chemistry Research, 2012, 51(11): 4313-4327.

[14] SHAO W M, TIAN X M, WANG P. Soft sensor development for nonlinear and time-varying processes based on supervised ensemble learning with improved process state partition[J]. Asia-Pacific Journal of Chemical Engineering, 2015, 10(2): 282-296.

[15] LIU Y Q, HUANG D P, LI Y. Development of interval soft sensors using enhanced just-in-time learning and inductive confidence predictor[J]. Industrial & Engineering Chemistry Research, 2012, 51(8): 3356-3367.

[16] WANG L, JIN H P, CHEN X G,. Soft sensor development based on the hierarchical ensemble of Gaussian process regression models for nonlinear and non-Gaussian chemical processes[J]. Industrial & Engineering Chemistry Research 2016, 55(28): 7704-7719.

[17] MA M D, WANG S J, WU M F,. Development of adaptive soft sensor based on statistical identification of key variables[J]. Control Engineering Practice, 2009, 17(9): 1026-1034.

[18] LI X L, SU H Y, CHU J. Multiple model soft sensor based on affinity propagation, Gaussian process and Bayesian committee machine[J]. Chinese Journal of Chemical Engineering, 2009, 17(1): 95-99.

[19] LIU J L. On-line soft sensor for polyethylene process with multiple production grades[J]. Control Engineering Practice, 2007, 15(7): 769-778.

[20] VALIANT L G. A theory of the learnable[J]. Communications of the ACM, 1984, 27(22): 1134-1142.

[21] SCHAPIRE R E. The strength of weak learnability[J]. Machine Learning, 1990, 5(2): 197-227.

[22] FREUND Y, SCHAPIRE R E. A decision-theoretic generalization of on-line learning and an application of boosting[J]. Journal of Computer and System Sciences, 1997, 55(1): 119-139.

[23] FRIEDMAN J H. Greedy function approximation: a gradient boosting machine[J]. The Annuals of Statistics, 2001, 29(5): 1189-1232.

[24] FRIEDMAN J H. Stochastic gradient boosting[J]. Computational Statistics and Data Analysis, 2002, 38(4): 367-378.

[25] CAO D S, XU Q S. The boosting: a new idea of building models[J]. Chemometrics and Intelligent Laboratory Systems, 2010, 100(1): 1-11.

[26] SUI Y, ZHANG L. Visual trackinglocally structured Gaussian process regression[J]. IEEE Signal Processing Letters, 2015, 22(9): 1331-1335.

[27] LIU Y, CHEN T, CHEN J H. Auto-switch Gaussian process regression-based probabilistic soft sensors for industrial multigrade processes with transitions[J]. Industrial & Engineering Chemistry Research, 2015, 54(18): 5037-5047.

[28] YAN W J, HU S Q, CHEN T,. Bayesian migration of Gaussian process regression for rapid process modeling and optimization[J]. Chemical Engineering Journal, 2011, 166(3): 1095-1103.

[29] GAO Y B, KONG X Y. Multivariate data modeling using modified kernel partial least squares[J]. Chemical Engineering Research and Design, 2015, 94(1): 466-474.

[30] ZHANG M H, XU Q S, MASSART D L. Boosting partial least squares[J]. Analytical Chemistry, 2005, 77(5): 1423-1431.

Soft sensor modelling method based on modified stochastic gradient Boosting algorithm

CANG Wentao, YANG Huizhong

(Key Laboratory of Advanced Process Control for Light Industry (Ministry of Education), Jiangnan University, Wuxi 214122, Jiangsu, China)

When soft sensor models were constructed for complicated chemical processes by traditional stochastic gradient Boosting (SGB), improper selection of shrinkage parameters would reduce convergence rate of the algorithm, engender overfitting, and sometimes make it difficult to obtain a satisfactory generalization performance. In order to solve this problem, a modified SGB ensemble learning soft sensor was proposed, in which Gaussian process regression (GPR) was adopted as base learner and shrinkage parameters were automatically adjusted according to feedback of a weak learner in each iteration such that both estimation accuracy and learning efficiency were improved. Simulation results in an industrial process of bisphenol A production showed that the modified integration algorithm had higher learning efficiency and generalization performance than traditional SGB models.

algorithm; computer simulation; integration; stochastic gradient Boosting; soft sensor

10.11949/j.issn.0438-1157.20161624

TP 273

A

0438—1157（2017）03—0970—06

國(guó)家自然科學(xué)基金項(xiàng)目（61273070）。

2016-11-16收到初稿，2016-11-26收到修改稿。

聯(lián)系人：楊慧中。第一作者：倉(cāng)文濤（1986—），男，博士研究生。

2016-11-16.

Prof.YANG Huizhong, yhz_jn@163.com

supported by the National Natural Science Foundation of China (61273070).