基于更新樣本智能識(shí)別算法的自適應(yīng)集成建模

湯健　　柴天佑　　劉卓　　余文　　周曉杰

基于更新樣本智能識(shí)別算法的自適應(yīng)集成建模

湯健1，2柴天佑2劉卓2余文3周曉杰2

選擇表征建模對(duì)象特性漂移的新樣本對(duì)軟測(cè)量模型進(jìn)行自適應(yīng)更新，能夠降低模型復(fù)雜度和運(yùn)行消耗，提高模型可解釋性和預(yù)測(cè)精度.針對(duì)新樣本近似線性依靠程度（Approximate linear dependence，ALD）和預(yù)測(cè)誤差（Prediction error，PE）等指標(biāo)只能片面反映建模對(duì)象的漂移程度，領(lǐng)域?qū)＜医Y(jié)合具體工業(yè)過程需要依據(jù)上述指標(biāo)和自身積累經(jīng)驗(yàn)進(jìn)行更新樣本的有效識(shí)別等問題，本文提出了基于更新樣本智能識(shí)別算法的自適應(yīng)集成建模策略.首先，基于歷史數(shù)據(jù)離線建立基于改進(jìn)隨機(jī)向量泛函連接網(wǎng)絡(luò)（Improved random vector functional-link networks，IRVFL）的選擇性集成模型；然后，基于集成子模型對(duì)新樣本進(jìn)行預(yù)測(cè)輸出后采用在線自適應(yīng)加權(quán)算法（On-line adaptive weighting fusion，OLAWF）對(duì)集成子模型權(quán)重進(jìn)行更新，實(shí)現(xiàn)在線測(cè)量階段對(duì)建模對(duì)象特性變化的動(dòng)態(tài)自適應(yīng)；接著基于領(lǐng)域?qū)＜抑R(shí)構(gòu)建模糊推理模型對(duì)新樣本相對(duì)ALD （Relative ALD，RALD）值和相對(duì)PE（Relative PE，RPE）值進(jìn)行融合，實(shí)現(xiàn)更新樣本智能識(shí)別，構(gòu)建新的建模樣本庫；最后實(shí)現(xiàn)集成模型的在線自適應(yīng)更新.采用合成數(shù)據(jù)仿真驗(yàn)證了所提算法的合理性和有效性.

集成學(xué)習(xí)，更新樣本識(shí)別，模糊推理，近似線性依靠，預(yù)測(cè)誤差

引用格式湯健，柴天佑，劉卓，余文，周曉杰.基于更新樣本智能識(shí)別算法的自適應(yīng)集成建模.自動(dòng)化學(xué)報(bào)，2016，42（7）: 1040-1052

工業(yè)過程對(duì)象受原料屬性、產(chǎn)品質(zhì)量和產(chǎn)量及環(huán)境氣候等因素的影響而具有動(dòng)態(tài)特性，這些動(dòng)態(tài)變化通常包括傳感器漂移和過程漂移，在機(jī)器學(xué)習(xí)領(lǐng)域?qū)⑵浣y(tǒng)稱為概念漂移［1］.基于歷史數(shù)據(jù)構(gòu)建的軟測(cè)量模型難以適應(yīng)這些變化，導(dǎo)致預(yù)測(cè)性能下降.處理概念漂移的自適應(yīng)機(jī)理包括樣本選擇（如滑動(dòng)窗口）、樣本加權(quán)（如遞推更新）和在線集成學(xué)習(xí)（如子模型權(quán)重自適應(yīng)、子模型參數(shù)自適應(yīng)、子模型增加或刪減）［2］.集成學(xué)習(xí)模型的更新包括基于樣本和基于批兩種方式，其中基于批的在線集成更新方式的較長(zhǎng)更新時(shí)間周期常導(dǎo)致更新模型難以反映當(dāng)前狀態(tài)，基于樣本的在線集成更新方式則可以快速適應(yīng)過程對(duì)象變化.本文的研究基于后一種更新策略.

采用每個(gè)新樣本均進(jìn)行模型更新并不符合工業(yè)實(shí)際情況.為選擇能夠代表過程對(duì)象概念漂移的新樣本進(jìn)行模型更新，已有策略包括［3］：基于主元分析（Principal component analysis，PCA）模型的平方預(yù)測(cè)誤差（Square prediction error，SPE）和Hotellin′T2指標(biāo)［4］、基于核特征空間近似線性依靠（Approximate linear dependence，ALD）條件［5［7］以及基于建模樣本原始空間ALD條件［8-9］.但是，基于PCA監(jiān)控指標(biāo)的方法因不設(shè)定更新閾值難以有效控制模型更新次數(shù)、基于PEB僅考慮了模型預(yù)測(cè)性能、采用ALD條件雖通過設(shè)定閾值有效控制了模型更新次數(shù)卻未考慮模型預(yù)測(cè)性能的變化.

針對(duì)具體工業(yè)實(shí)踐，領(lǐng)域?qū)＜彝ǔ＞C合考慮過程特性變化和軟測(cè)量模型預(yù)測(cè)性能等指標(biāo)，依據(jù)自身經(jīng)驗(yàn)知識(shí)決策是否有必要進(jìn)行軟測(cè)量模型更新.因此，如何有效地結(jié)合領(lǐng)域?qū)＜抑R(shí)，融合ALD值和模型預(yù)測(cè)誤差（Prediction error，PE）所代表的具有不同視角的概念漂移程度，即基于領(lǐng)域?qū)＜业慕?jīng)驗(yàn)和知識(shí)獲取模糊規(guī)則，對(duì)是否對(duì)軟測(cè)量模型進(jìn)行更新采用智能化識(shí)別是本文的關(guān)注焦點(diǎn).

研究表明，集成學(xué)習(xí)算法具有較好的概念漂移處理能力.文獻(xiàn)［10］給出了基于加權(quán)集成的集成模型自適應(yīng)系統(tǒng)的結(jié)構(gòu).湯健等提出了基于OLKPLS （On-line kernel partial least squares）算法更新回歸子模型和在線自適應(yīng)加權(quán)融合（On-line adaptive weighting fusion，OLAWF）算法更新子模型加權(quán)系數(shù)的磨機(jī)負(fù)荷參數(shù)在線軟測(cè)量方法［9］.上述兩種方法未對(duì)集成模型結(jié)構(gòu)進(jìn)行更新，難以有效地適應(yīng)概念漂移.

文獻(xiàn)［11］提出應(yīng)用于分類問題的選擇性負(fù)相關(guān)學(xué)習(xí)算法；文獻(xiàn)［12］給出預(yù)設(shè)定集成尺寸和權(quán)重更新速率的自適應(yīng)集成模型；文獻(xiàn)［13］提出基于改進(jìn)Adaboost.RT算法的集成模型；文獻(xiàn)［14］提出能夠隨識(shí)別目標(biāo)復(fù)雜程度自適應(yīng)變化的分類器動(dòng)態(tài)選擇與循環(huán)集成方法，并可調(diào)整模型參數(shù)實(shí)現(xiàn)集成模型精度和效率的折衷；文獻(xiàn)［15］指出面向回歸問題的在線集成算法較少，并提出了基于樣本更新的動(dòng)態(tài)在線集成回歸算法.面向高維小樣本數(shù)據(jù)，上述方法難以建立學(xué)習(xí)速度快、性能穩(wěn)定的在線集成模型.

選擇適合的子模型構(gòu)建方法對(duì)集成模型的快速更新極為重要.誤差逆?zhèn)鞑ド窠?jīng)網(wǎng)絡(luò)（Back propagation neural network，BPNN）被過擬合、訓(xùn)練時(shí)間長(zhǎng)等問題所困擾.面對(duì)小樣本數(shù)據(jù)時(shí)，BPNN難以建立穩(wěn)定性較高的預(yù)測(cè)模型.基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化的支持向量機(jī)（Support vector machine，SVM）建模方法適用于小樣本數(shù)據(jù)建模，需要花費(fèi)較多時(shí)間求解最優(yōu)解，難以采用重新訓(xùn)練方式實(shí)現(xiàn)模型快速更新，其在線遞推模型是以次優(yōu)解替代最優(yōu)解.隨機(jī)向量泛函連接網(wǎng)絡(luò)（Random vector functional link，RVFL）求解速度快［16-18］，但在面向小樣本數(shù)據(jù)建模時(shí)同樣存在預(yù)測(cè)性能不穩(wěn)定的問題，并且難以直接用于高維數(shù)據(jù)建模.理論上，基于RVFL的集成模型具有更好的建?？煽啃裕?9-20］.在隱含層映射關(guān)系未知的情況下，將SVM中的核技術(shù)引入RVFL構(gòu)建改進(jìn)的RVFL（Improved RVFL，IRVFL）模型可有效克服上述問題［21］.

RVFL作為一種單隱層的人工神經(jīng)網(wǎng)絡(luò)模型，難以直接采用高維數(shù)據(jù)建模.維數(shù)約簡(jiǎn)是首先需要面對(duì)的問題［22］，解決方法主要是特征選擇［23-24］和特征提?。?5-26］技術(shù).特征選擇方法主要是選擇與函數(shù)分類或估計(jì)目標(biāo)關(guān)系密切的部分變量實(shí)現(xiàn)約簡(jiǎn)；丟棄的部分特征可能會(huì)降低估計(jì)模型的泛化能力.特征提取是采用線性或非線性的方式確定適當(dāng)?shù)牡途S空間取代原始高維空間，無需丟棄部分特征變量，避免了特征選擇技術(shù)丟棄部分特征引起的缺陷.基于偏最小二乘（Partial least squares，PLS）的特征提取方法［27］克服了PCA提取的潛在特征只關(guān)注輸入數(shù)據(jù)、并非能有效用于函數(shù)估計(jì)問題的缺點(diǎn)；并且，PLS遞推算法較為容易實(shí)現(xiàn)［28］.顯然，針對(duì)RVFL難以有效解決高維共線性數(shù)據(jù)的直接建模問題，將其結(jié)合基于PLS的特征提取是較佳的解決方案之一.

綜上，本文提出了基于更新樣本智能識(shí)別的在線集成建模方法.該方法首先提出一種采用模糊規(guī)則融合新樣本的相對(duì)ALD（Relative ALD，RALD）值和相對(duì)PE（Relative PE，RPE）值的智能更新樣本識(shí)別算法，然后采用改進(jìn)的遞推PLS（Recursive，RPLS）對(duì)潛在特征進(jìn)行遞推更新，最后重新訓(xùn)練并優(yōu)化選擇具有快速學(xué)習(xí)能力的IRVFL集成子模型，在線測(cè)量過程中基于OLAWF算法進(jìn)行權(quán)重系數(shù)動(dòng)態(tài)更新.

1　更新樣本識(shí)別概述

離線構(gòu)建的非線性模型f（·）不能代表具有時(shí)變特性的工業(yè)過程的當(dāng)前工況.工業(yè)過程模型在時(shí)刻mn的輸入輸出關(guān)系采用下式表示.

正常工況下運(yùn)行的工業(yè)過程多是慢時(shí)變的，多數(shù)新樣本可能并沒有包含明顯的時(shí)變信息.每次新樣本出現(xiàn)時(shí)，采用每個(gè)新樣本進(jìn)行模型更新不但耗時(shí)而且沒有必要.顯然，識(shí)別能夠代表過程對(duì)象概念漂移的新樣本進(jìn)行離線模型的自適應(yīng)更新對(duì)簡(jiǎn)化模型結(jié)構(gòu)、降低運(yùn)算消耗和提高模型預(yù)測(cè)性能很有必要.

下文描述文獻(xiàn)中常用方法［3］.

1.1基于PCA的方法

基于PCA的過程監(jiān)視方法在化工、半導(dǎo)體制造等具有時(shí)變特性的工業(yè)過程得到成功應(yīng)用.利用建立離線模型f（·）的訓(xùn)練數(shù)據(jù)構(gòu)建PCA模型.將標(biāo)定后的新樣本分為兩部分：

計(jì)算新樣本的SPE和Hotelling′s T2［29］：

通常，SPE用于度量新樣本在殘差子空間上的投影，表示新樣本偏離模型的程度；T2度量新樣本在主元子空間上的變化，表示新樣本在模型內(nèi)部的偏離程度.如果SPE和T2滿足如下條件，不進(jìn)行模型更新［4］：

其中，SPEαpro和表示SPE和T2的控制限，其定義詳見文獻(xiàn)［24］.

1.2基于ALD的方法

相對(duì)于建模樣本，工業(yè)過程中采集的新樣本通常存在突變和緩變兩種變化.文獻(xiàn)［5，8］提出利用新樣本和建模樣本間的ALD值描述這種變化，其定義如下：■■

在線建模過程中，通常比較關(guān)注建模精度和建模速度，它們是兩個(gè)相互沖突的優(yōu)化目標(biāo).實(shí)際應(yīng)用中，不同工業(yè)系統(tǒng)對(duì)建模精度與速度的側(cè)重程度不同，閾值的選擇策略也不同：1）側(cè)重于建模精度時(shí)選擇較小閾值，極限情況是v=0，即每個(gè)新樣本均參與更新；2）側(cè)重于建模速度時(shí)選擇較大閾值，極限情況是v=vlim，即沒有新樣本參與模型更新；3）若需要在建模精度和速度間進(jìn)行均衡，閾值選擇可表述為如下單目標(biāo)優(yōu)化問題［9］：

其中，Jpred（vjv）和Jtime（vjv）是采用閾值時(shí)的建模精度和速度和和是工業(yè)過程可以接受的建模精度、建模速度的下限和上限和是在建模精度和建模速度間進(jìn)行均衡的加權(quán)系數(shù).

通常，最佳閾值需要依據(jù)使用者經(jīng)驗(yàn)和特定領(lǐng)域問題的背景進(jìn)行選擇.

1.3基于PE的方法

文獻(xiàn)［7］基于模型選擇性稀疏策略基本思想（即當(dāng)過程的實(shí)際測(cè)量值能被模型準(zhǔn)確估計(jì)時(shí)，表明當(dāng)前模型是準(zhǔn)確的，不必進(jìn)行模型更新；當(dāng)預(yù)測(cè)誤差超過一定范圍時(shí)進(jìn)行模型更新），提出了基于預(yù)測(cè)誤差限（PE bound，PEB）的更新樣本識(shí)別算法；提出通過有效地與領(lǐng)域?qū)＜业南闰?yàn)知識(shí)相結(jié)合，選擇適合的PEB值可避開完全黑箱數(shù)據(jù)模型的弊端.

當(dāng)PEB滿足如下條件時(shí)，不進(jìn)行模型更新：

該方法依據(jù)實(shí)際需要預(yù)先定義多個(gè)δmn閾值和相應(yīng)規(guī)則對(duì)更新樣本進(jìn)行識(shí)別.

1.4更新方法小結(jié)

由以上表述可知：1）基于PCA模型識(shí)別更新樣本的方法不設(shè)定更新閾值，難以有效控制模型更新次數(shù)，預(yù)測(cè)模型精度與更新速度間的均衡較難控制；2）采用ALD條件在建模樣本的核特征空間和原始空間中判斷新樣本與建模樣本庫的線性獨(dú)立關(guān)系的方法，雖然通過設(shè)定閾值可有效控制模型更新次數(shù)，但對(duì)模型預(yù)測(cè)性能的變化未予以考慮；3）基于PEB的方法考慮模型預(yù)測(cè)性能，難以準(zhǔn)確涵蓋過程特性漂移，而且對(duì)于某些難以在短時(shí)間內(nèi)獲得預(yù)測(cè)變量真值的復(fù)雜工業(yè)過程不能實(shí)現(xiàn)更新樣本的識(shí)別.實(shí)際上，復(fù)雜工業(yè)過程的時(shí)變特性（概念漂移）的影響不僅體現(xiàn)在當(dāng)前單個(gè)新樣本相對(duì)于建模樣本的變化（ALD值）和相對(duì)于舊模型預(yù)測(cè)精度的變化（PE值），還表現(xiàn)為某段時(shí)間內(nèi)ALD值和PE值的累計(jì)變化.

如何依據(jù)這些變化進(jìn)行模型更新與否的識(shí)別決策往往需要領(lǐng)域?qū)＜腋鶕?jù)不同工業(yè)現(xiàn)場(chǎng)的實(shí)際情況而定，即基于專家知識(shí)進(jìn)行智能決策.因此，如何有效地結(jié)合領(lǐng)域?qū)＜抑R(shí)，融合ALD閾值和模型PE值，即基于領(lǐng)域?qū)＜业慕?jīng)驗(yàn)和知識(shí)獲取模糊規(guī)則，綜合考慮新樣本相對(duì)復(fù)雜過程的變化和預(yù)測(cè)輸出的波動(dòng)范圍，研究智能化更新樣本識(shí)別方法是值得關(guān)注的研究熱點(diǎn)之一.

2　基于更新樣本智能識(shí)別的自適應(yīng)集成建模策略及其實(shí)現(xiàn)

通常工業(yè)過程都是在完成當(dāng)前時(shí)刻軟測(cè)量的一段時(shí)間后才能獲得該時(shí)刻對(duì)應(yīng)的真值，其滯后時(shí)間的長(zhǎng)短隨工業(yè)過程的不同而具有差異性.也就是說，我們首先基于舊模型進(jìn)行在線測(cè)量，然后依據(jù)采用離線化驗(yàn)等其他手段得到的真值對(duì)模型進(jìn)行在線更新，為下一時(shí)刻的軟測(cè)量服務(wù)，即分為在線測(cè)量和在線更新兩個(gè)階段.

本文提出基于智能更新樣本識(shí)別算法的在線集成建模策略，由離線建模、在線測(cè)量和在線更新模塊三部分組成，如圖1所示.其中，離線建模由數(shù)據(jù)預(yù)處理、潛在特征提取、候選子模型構(gòu)建、集成子模型選擇與合并等組成；在線測(cè)量模塊由在線數(shù)據(jù)預(yù)處理、在線潛在特征提取、在線集成子模型預(yù)測(cè)、在線子模型權(quán)系數(shù)更新及在線合并子模型輸出等部分組成；在線更新模塊包括數(shù)據(jù)遞推預(yù)處理、智能更新識(shí)別、潛變量特征遞推更新、集成子模型更新、非更新特征及集成子模型賦值等組成部分.

該方法不同于其他在線集成模型方法，集成子模型加權(quán)系數(shù)的更新是在在線測(cè)量階段通過OLAWF算法完成的，能夠更好地適應(yīng)工業(yè)過程的動(dòng)態(tài)變化.

2.1離線建模模塊

此處采用文獻(xiàn)［21］提出的基于潛變量特征的選擇性集成IRVFL的建模策略構(gòu)建離線軟測(cè)量模型，主要包括潛變量特征提取、子模型構(gòu)建、子模型選擇和子模型合并4個(gè)模塊，如圖2所示.

由圖2可知，共有4個(gè)學(xué)習(xí)參數(shù)需要選擇：潛變量特征個(gè)數(shù)h、候選子模型數(shù)量J、IRVFL算法的核參數(shù)和懲罰參數(shù)CRVFL.建立離線選擇性集成模型的過程可表述為求解如下優(yōu)化問題：

圖1 建模策略圖Fig.1　The proposed modeling strategy

圖2　基于潛變量特征的選擇性集成IRVFL離線軟測(cè)量模型建模策略Fig.2　Selective ensemble IRVFL off-line soft sensor model based on latent variable features

其中，JRMSRE表示選擇性集成模型的均方根相對(duì)誤差（Root mean square relative error，RMSRE）；kvalid表示驗(yàn)證樣本集的數(shù)量；OpSel（·）表示集成子模型的優(yōu)化選擇方法；J?表示優(yōu)選的集成子模型的數(shù)量表示優(yōu)選的集成子模型的加權(quán)系數(shù).

分別表示由訓(xùn)練數(shù)據(jù)分解得到的得分矩陣、輸入數(shù)據(jù)負(fù)荷矩陣、輸出數(shù)據(jù)負(fù)荷矩陣和PLS內(nèi)部模型的系數(shù)矩陣.采用Bootstrap算法基于提取的潛在特征矩陣產(chǎn)生的訓(xùn)練子集，即

其中，J是訓(xùn)練子集的數(shù)量，即候選子模型的數(shù)量.采用核矩陣替代RVFL的隱含層特征映射RVFL算法針對(duì)第j個(gè)候選子模型的輸出可表示為

其中，H是RVFL的隱含層矩陣.

從構(gòu)建的J個(gè)候選子模型選擇J?個(gè)集成子模型的過程可表示為

由以上離線建模過程可知，本文建立的選擇集成模型采用“采集訓(xùn)練樣本”的方式產(chǎn)生訓(xùn)練子集并構(gòu)建選擇性集成模型，并非工業(yè)工程常用多模型建模策略所采用的“聚類算法獲得代表不同工況的訓(xùn)練樣本構(gòu)建集成子模型再集成的策略”；此外，本文采用SVM核矩陣替代RVFL的隱含層映射，輸入權(quán)重的隨機(jī)性得到抑制.因此，對(duì)集成模型的學(xué)習(xí)參數(shù)進(jìn)行更新是必要的.另外，無論采用何種方式產(chǎn)生訓(xùn)練子集，只要過程對(duì)象漂移產(chǎn)生的新工況在建模樣本覆蓋范圍之外，都有必要對(duì)集成模型的結(jié)構(gòu)和參數(shù)同時(shí)進(jìn)行更新.

2.2在線測(cè)量模塊

在線數(shù)據(jù)預(yù)處理時(shí)，新樣本采用舊均值和方差進(jìn)行標(biāo)定

新樣本基于第j個(gè)舊集成子模型的預(yù)測(cè)輸出

采用在線AWF算法計(jì)算集成子模型權(quán)系數(shù)［3］

2.3在線更新模塊

通常，獲得k+1時(shí)刻真值后進(jìn)行模型更新，因而在k+1時(shí)刻更新的模型只能在k+2時(shí)刻進(jìn)行基于軟測(cè)量模型的在線測(cè)量輸出.

2.3.1數(shù)據(jù)遞推預(yù)處理

在線數(shù)據(jù)預(yù)處理需考慮新樣本對(duì)舊建模樣本的均值和方差的影響.首先對(duì)舊建模樣本的均值和方差進(jìn)行遞推更新

新樣本標(biāo)定的遞推形式為

2.3.2更新樣本智能識(shí)別更新樣本智能識(shí)別中同時(shí)考慮新樣本ALD值和PE值的影響.基于領(lǐng)域?qū)＜抑R(shí)總結(jié)規(guī)則，建立基于Mamdani模糊推理系統(tǒng)的智能模型對(duì)ALD值和PE值進(jìn)行融合輸出.采用文獻(xiàn)［8］的方法計(jì)算相對(duì)于建模樣本庫的ALD絕對(duì)值

計(jì)算新樣本的相對(duì)ALD（RALD）值ak+1：

上述過程可采用如下公式表示：

考慮k+1時(shí)刻PE值的影響，定義相對(duì)預(yù)測(cè)誤差（RPE）如下：

此處將融合新樣本RPE和RALD值建立的更新樣本智能識(shí)別算法記為Fcom（·），并將智能識(shí)別算法的輸出稱為模糊融合值，記為usk+1，用下式表示：

采用基于專家經(jīng)驗(yàn)總結(jié)的模糊推理規(guī)則實(shí)現(xiàn)對(duì)RALD值和RPE值的融合輸出，參考PID控制器設(shè)計(jì)的比例—積分控制律，總結(jié)如表1所示49條專家規(guī)則.

表1中，RALD、RPE和Us分別表示新樣本面對(duì)舊建模樣本庫的相對(duì)近似線性依靠值、新樣本基于舊模型的相對(duì)預(yù)測(cè)誤差值和模糊融合值.

表1　更新樣本模糊推理規(guī)則Table 1　Fuzzy inference rulers of the updating sample

采用重心法對(duì)Us進(jìn)行去模糊處理.將樣本選擇閾值記為θcom，閾值函數(shù)Fthre（·）可記為

其中，Sk+1=1表示識(shí)別該新樣本為更新樣本.

2.3.3潛變量特征遞推更新

基于以上輸入輸出數(shù)據(jù)建立新PLS模型

2.3.4集成子模型更新

確定采用子模型更新時(shí)，建模樣本集為

因IRVFL算法具有較快的學(xué)習(xí)速度，此處采用新建模樣本庫重新訓(xùn)練方式進(jìn)行集成模型更新.更新后的集成子模型對(duì)訓(xùn)練樣本的輸出為

為保證采集到第（k+2）個(gè)新樣本時(shí)在線測(cè)量模塊可以正常運(yùn)行，需更新的變量及模型包括：建模樣本的均值 uuuk+1和標(biāo)準(zhǔn)差Σk+1，潛變量特征提取模型的Bk，Qk，Pk+1和Wk+1，集成子模型集成子模型預(yù)測(cè)值的均值和方差按如下公式進(jìn)行賦值：

3　仿真驗(yàn)證

采用如下函數(shù)生成仿真數(shù)據(jù)模擬工業(yè)過程的非線性和時(shí)變特性：

仿真合成數(shù)據(jù)分布在C1、C2、C3和C4共4個(gè)不同區(qū)域.訓(xùn)練樣本數(shù)量由分別來自C1、C2和C3區(qū)域的各30個(gè)樣本組成.測(cè)試樣本由C1、C2 和C3區(qū)域的各30個(gè)樣本以及C4區(qū)域的90個(gè)樣本組成.

3.1離線模型結(jié)果

基于90個(gè)訓(xùn)練樣本，采用PLS進(jìn)行特征提取，不同LV的方差貢獻(xiàn)率如表2所示.

表2表明，前3個(gè)LVs分別描述了X-Block和Y-Block方差變化率的99.73%和99.51%.不同模型學(xué)習(xí)參數(shù)（核半徑、懲罰參數(shù)、候選子模型數(shù)量、潛變量數(shù)量）與均方根預(yù)測(cè)相對(duì)誤差（RMSRE）間的關(guān)系如圖3所示.

表2　仿真數(shù)據(jù)的方差貢獻(xiàn)率（%）Table 2　Percent variance contribution of the simulation data（%）

依據(jù)圖3進(jìn)行建模參數(shù)選擇.為便于比較，將RALD值和RPE值采用極差法標(biāo)定在-3與+3之間，測(cè)試樣本相對(duì)于初始建模樣本的RALD值、RPE值及模糊融合值如圖4所示.

由圖4可知，后90個(gè)測(cè)試樣本相對(duì)于建模樣本的變化高于前90個(gè)測(cè)試樣本，主要原因是后90個(gè)樣本代表的新的概念漂移未能被初始建模樣本所覆蓋；以閾值0為界限，由位于閾值線上方的樣本分布可知，所提更新樣本識(shí)別算法可有效地融合RALD值和RPE值.由上可知，進(jìn)行集成模型的在線更新非常必要.

圖3　離線模型學(xué)習(xí)參數(shù)與預(yù)測(cè)誤差Fig.3　Learning parameters and prediction errors of the off-line model

3.2在線模型結(jié)果

模糊融合閾值θcom的大小決定了模型更新次數(shù)的多少，較大的閾值代表更多的樣本參與更新.本文將閾值的取值范圍定為-3～+3之間.當(dāng)θcom= -1.5時(shí)，測(cè)試樣本相對(duì)于在線更新模型建模樣本的RALD值、在線更新模型的RPE值、對(duì)兩者融合的模糊融合值及在線更新模型的測(cè)試曲線，如圖5所示.表3給出了離線模型，基于RALD值、RPE值和模糊融合值的在線更新模型重復(fù)20次的統(tǒng)計(jì)結(jié)果.

圖5和表3表明：

1）從更新最多的樣本編號(hào)上看，本文方法選擇的樣本基本上覆蓋了RALD和RPE方法選擇的樣本，如依據(jù)RALD方法未選擇的第93和97個(gè)樣本、依據(jù)RPE方法未選擇的第99和106個(gè)樣本在本文所提模糊融合方法中均進(jìn)行了選擇，表明該方法可以有效地融合RALD和RPE方法中獨(dú)立存在的片面信息.

2）在模型預(yù)測(cè)性能上，不同更新閾值時(shí)的不同更新方法的最大、最小和平均預(yù)測(cè)誤差如圖6所示.

圖4 測(cè)試樣本相對(duì)于離線模型（建模樣本）的RALD值、RPE值及模糊融合值Fig.4　RALD，RPE and fuzzy fusion values of the testing samples relative to off-line model（modeling samples）

表3　仿真數(shù)據(jù)在線更新模型重復(fù)20次的統(tǒng)計(jì)結(jié)果Table 3　Statistical results of the online updating model with repeated 20 times for the simulation data

圖6表明，未更新時(shí)軟測(cè)量模型具有最差的泛化性能，主要是因?yàn)殡x線模型不能適應(yīng)C4區(qū)域所表征的新工況；對(duì)于基于RALD、基于RPE和本文所提方法更新的軟測(cè)量模型的預(yù)測(cè)性能均有一定程度的提高.在閾值取-1.5時(shí)，基于RPE的方法具有最佳的最大預(yù)測(cè)誤差，本文方法具有最佳的最小和平均預(yù)測(cè)誤差.如，基于本文、RPE和RALD方法的平均RMSRE分別為0.0429、0.0469和0.0892，方差分別為0.0078、0.0008和0.0044.

圖6還表明，從曲線形狀的角度觀察，本文所提方法的預(yù)測(cè)誤差說明存在最佳的閾值能夠使軟測(cè)量模型具有最佳預(yù)測(cè)性能.

3）在更新樣本數(shù)量上，本文方法與基于RALD和RPE方法相當(dāng)，如在樣本更新閾值為-1.5時(shí)，基于本文方法、RPE方法和RALD方法的重復(fù)20次的平均更新樣本數(shù)量分別3.4、2.05和2，表明三種方法均只需采用較少數(shù)量的更新樣本即可得到較佳預(yù)測(cè)性能，原因之一在于每次樣本更新后均是重新建立集成子模型，對(duì)集成模型的結(jié)構(gòu)、權(quán)重系數(shù)等均進(jìn)行了更新；不足之處是未對(duì)集成子模型的超參數(shù)（如核半徑）進(jìn)行更新.如何在線更新模型超參數(shù)將進(jìn)一步研究，以便提高模型的泛化性能.

圖5　θcom=-1.5時(shí)的在線集成模型預(yù)測(cè)輸出Fig.5　Prediction output of the online ensemble model with θcom=-1.5

圖6　基于不同更新樣本識(shí)別方法軟測(cè)量模型的預(yù)測(cè)誤差Fig.6　Prediction errors of the soft sensor models based on different updating sample identification methods

4）從不同閾值的影響上看，理論上閾值越小，模型的預(yù)測(cè)性能越好，即參與更新的樣本越多模型預(yù)測(cè)誤差越小；當(dāng)更新樣本數(shù)量累計(jì)過多時(shí)模型的預(yù)測(cè)性能提高較小，甚至反而下降，這是因?yàn)檫^多與臨近工作點(diǎn)無關(guān)的樣本惡化了模型預(yù)測(cè)性能.下步研究中將考慮如何識(shí)別和刪減惡化模型性能的多余樣本.

5）本文方法與文獻(xiàn)［9］提出的在線KPLS方法相比，模型更新次數(shù)明顯減少，主要原因在于本文所提方法更新了模型結(jié)構(gòu)，進(jìn)一步表明集成模型結(jié)構(gòu)在線更新的必要性和有效性.

綜上，本文方法對(duì)具有明確時(shí)變特性的建模過程數(shù)據(jù)是有效的.需提出的是，模糊規(guī)則的調(diào)整需要領(lǐng)域?qū)＜乙罁?jù)具體建模對(duì)象特性、軟測(cè)量模型性能及其他難以量化的因素等綜合確定.在后續(xù)研究中，需要結(jié)合真實(shí)的時(shí)變工業(yè)過程數(shù)據(jù)進(jìn)行進(jìn)一步的細(xì)化研究.

4　結(jié)論

本文提出的在線更新學(xué)習(xí)中，模型更新次數(shù)是通過模糊規(guī)則融合新樣本的相對(duì)近似線性依靠值和相對(duì)預(yù)測(cè)誤差值確定的.智能識(shí)別模型的模糊規(guī)則主要是依靠領(lǐng)域?qū)＜医?jīng)驗(yàn)確定，在實(shí)際應(yīng)用中需要結(jié)合具體的工業(yè)過程應(yīng)用對(duì)象進(jìn)行提取，并提供可供調(diào)整的人機(jī)交互界面.另外，主要關(guān)注更新樣本近似線性依靠條件，還是預(yù)測(cè)誤差所表征的概念漂移可通過調(diào)整隸屬度函數(shù)進(jìn)一步細(xì)劃.因此，該方法能夠有效地實(shí)現(xiàn)更新樣本的智能識(shí)別，通過合理設(shè)定模糊推理規(guī)則能夠在集成模型預(yù)測(cè)性能與更新效率之間進(jìn)行均衡，結(jié)合具體工程應(yīng)用將具有廣闊前景.

本文方法進(jìn)行近似線性依靠條件計(jì)算需要記錄全部訓(xùn)練樣本，更新集成模型也需要存儲(chǔ)建立核矩陣的潛在特征，導(dǎo)致集成模型存儲(chǔ)的數(shù)量逐漸遞增.集成模型的快速遞推更新、模型超參數(shù)的快速優(yōu)化選擇等問題將在后續(xù)研究中逐步解決.

References

1 Tsymbal A.The Problem of Concept Drift：Definitions and Related Work，Technical Report，The University of Dublin，Trinity College，Department of Computer Science，Dublin，Ireland，2004.

2 Soares S G，Ara′ujo R.An on-line weighted ensemble of regressor models to handle concept drifts.Engineering Applications of Artificial Intelligence，2015，37：392-406

3 Tang Jian，Tian Fu-Qing，Jia Mei-Ying，Li Dong.Load Soft Sensor of Rotating Mechanical Device based on Frequency Spectral Data-driven.Beijing：National Defense Industrial Press，2015.167-173（湯健，田福慶，賈美英，李東.基于頻譜數(shù)據(jù)驅(qū)動(dòng)的旋轉(zhuǎn)機(jī)械設(shè)備負(fù)荷軟測(cè)量.北京：國(guó)防工業(yè)出版社，2015.167-173）

4 Liu J L.On-line soft sensor for polyethylene process with multiple production grades.Control Engineering Practice，2007，15（7）：769-778

5 Engel Y，Mannor S，Meir R.The kernel recursive leastsquares algorithm.IEEE Transactions on Signal Processing，2004，52（8）：2275-2285

6 Yu W.Fuzzy modelling via on-line support vector machines. International Journal of Systems Science，2010，41（11）：1325-1335

7 Liu Y，Wang H Q，Yu J，Li P.Selective recursive kernel learning for online identification of nonlinear systems with NARX form.Journal of Process Control，2001，20（2）：181-194

8 Tang J，Yu W，Chai T Y，Zhao L J.On-line principal component analysis with application to process modeling.Neurocomputing，2012，82：167-168

9 Tang Jian，Chai Tian-You，Yu Wen，Zhao Li-Jie.On-line KPLS algorithm with application to ensemble modeling parameters of mill load.Acta Automatica Sinica，2013，39（5）：471-486（湯健，柴天佑，余文，趙立杰.在線KPLS建模方法及在磨機(jī)負(fù)荷參數(shù)集成建模中的應(yīng)用.自動(dòng)化學(xué)報(bào)，2013，39（5）：471-486）

10 Kadlec P，Grbi′c R，Gabrys B.Review of adaptation mechanisms for data-driven soft sensors.Computers and Chemical Engineering，2011，35（1）：1-24

11 Tang K，Lin M L，Minku F，Yao X.Selective negative correlation learning approach to incremental learning.Neurocomputing，2009，72（13-15）：2796-2805

12 van Heeswijk M，Miche Y，Lindh-Knuutila T，Hilbers P A，Honkela T，Oja E，Lendasse A.Adaptive ensemble models of extreme learning machines for time series prediction.In：Proceedings of the 19th International Conference on Artificial Neural Networks.Limassol，Cyprus：Springer-Verlag，2009.305-314

13 Tian H X，Mao Z Z.An ensemble ELM based on modified AdaBoost.RT algorithm for predicting the temperature of molten steel in ladle furnace.IEEE Transactions on Automation Science and Engineering，2010，7（1）：73-80

14 Hao Hong-Wei，Wang Zhi-Bin，Yin Xu-Cheng，Chen Zhi-Qiang.Dynamic selection and circulating combination for multiple classifier systems.Acta Automatica Sinica，2011，37（11）：1290-1295（郝紅衛(wèi)，王志彬，殷緒成，陳志強(qiáng).分類器的動(dòng)態(tài)選擇與循環(huán)集成方法.自動(dòng)化學(xué)報(bào)，2011，37（11）：1290-1295）

15 Soares S G，Ara′ujo R.A dynamic and on-line ensemble regression for changing environments.Expert Systems with Applications，2015，42（6）：2935-2948

16 Pao Y H，Takefuji Y.Functional-link net computing：theory，system architecture，and functionalities.Computer，1992，25（5）：76-79

17 Igelnik B，Pao Y H.Stochastic choice of basis functions in adaptive function approximation and the functional-link net.IEEE Transactions on Neural Network，1995，6（6）：1320-1329

18 Comminiello D，Scarpiniti M，Azpicueta-Ruiz L A，Arenas-Garc′?a J，Uncini A.Functional link adaptive filters for nonlinear acoustic echo cancellation.IEEE Transactions on Audio，Speech，and Language Processing，2013，21（7）：1502-1512

19 Alhamdoosh M，Wang D H.Fast decorrelated neural network ensembles with random weights.Information Sciences，2014，264（6）：104-117

20 Cao F L，Wang D H，Zhu H Y，Wang Y G.An iterative learning algorithm for feedforward neural networks with random weights.Information Sciences，2016，328：546-557

21 Tang J，Jia M Y，Li D.Selective ensemble simulate metamodeling approach based on latent features extraction and kernel learning.In：Proceedings of the 27th Chinese Control and Decision Conference（2015 CCDC）.Qingdao，China：IEEE，2015.6503-6508

22 Fukunaga K，Hayes R R.Effects of sample size in classifier design.IEEE Transactions on Pattern Analysis and Machine Intelligence，1989，11（8）：873-885

23 Tang Jian，Chai Tian-You，Cong Qiu-Mei，Yuan Ming-Zhe，Zhao Li-Jie，Liu Zhuo，Yu Wen.Soft sensor approach for modeling mill load parameters based on EMD and selective ensemble learning algorithm.Acta Automatica Sinica，2014，40（9）：1853-1866（湯健，柴天佑，叢秋梅，苑明哲，趙立杰，劉卓，余文.基于EMD和選擇性集成學(xué)習(xí)算法的磨機(jī)負(fù)荷參數(shù)軟測(cè)量.自動(dòng)化學(xué)報(bào)，2014，40（9）：1853-1866）

24 Tang J，Yu W，Chai T Y，Liu Z，Zhou X J.Selective ensemble modeling load parameters of ball mill based on multiscale frequency spectral features and sphere criterion.Mechanical Systems and Signal Processing，2016，66-67：485 -504

25 Tang J，Chai T Y，Liu Z，Yu W.Selective ensemble modeling based on nonlinear frequency spectral feature extraction for predicting load parameter in ball mills.Chinese Journal of Chemical Engineering，2015，23（12）：2020-2028

26 Yu Jian-Bo，Lu Xiao-Lei，Zong Wei-Zhou.Wafer defect detection and recognition based on local and nonlocal linear discriminant analysis and dynamic ensemble of Gaussian mixture models.Acta Automatica Sinica，2016，42（1）：47-59（余建波，盧笑蕾，宗衛(wèi)周.基于局部與非局部線性判別分析和高斯混合模型動(dòng)態(tài)集成的晶圓表面缺陷探測(cè)與識(shí)別.自動(dòng)化學(xué)報(bào)，2016，42（1）：47-59）

27 Dhanjal C，Gunn S R，Shawe-Taylor J.Efficient sparse kernel feature extraction based on partial least squares.IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，31（8）：1347-1361

28 Qin S J.Recursive PLS algorithms for adaptive data modeling.Computers and Chemical Engineering，1998，22（4-5）：503-514

29 Yue H H，Qin S J.Reconstruction-based fault identification using a combined index.Industrial and Engineering Chemistry Research，2001，40（20）：4403-4414

湯 健北方交通大學(xué)計(jì)算技術(shù)研究所博士后.1998年在海軍工程學(xué)院獲工學(xué)學(xué)士學(xué)位，2006年和2012年在東北大學(xué)分別獲得控制理論與控制工程專業(yè)碩士和博士學(xué)位.主要研究方向?yàn)楣I(yè)過程綜合自動(dòng)化系統(tǒng)，基于數(shù)據(jù)驅(qū)動(dòng)的軟測(cè)量，復(fù)雜系統(tǒng)建模與仿真.

E-mail:tjian001@126.com

（TANG JianPostdoctor at the Research Institute of Computing Technology，Beifang Jiaotong University.He received his bachelor degree from Naval College of Engineering in 1998，master degree and Ph.D.degree in control theory and control engineering from Northeastern University in 2006 and 2012，respectively.His research interest covers integrated automation of industrial processes，soft sensor based on data-driven，modeling and simulation of complex system.）

柴天佑中國(guó)工程院院士，東北大學(xué)教授，IEEE Fellow，IFAC Fellow，歐亞科學(xué)院院士.主要研究方向?yàn)樽赃m應(yīng)控制，智能解耦控制，流程工業(yè)綜合自動(dòng)化理論、方法與技術(shù).本文通信作者.

E-mail:tychai@mail.neu.edu.cn

（CHAITian-YouAcademician of Chinese Engineering Academy，professor at Northeastern University，IEEE Fellow，IFAC Fellow，and academician of the International Eurasian Academy of Sciences.His research interest covers adaptive control，intelligent control，and integrated automation of industrial process.Corresponding author of this paper.）

劉卓東北大學(xué)博士研究生.主要研究方向?yàn)閺?fù)雜工業(yè)過程建模.

E-mail:liuzhuo@ise.neu.edu.cn

（LIUZhuoPh.D.candidateat Northeastern University.Her main research interest is soft sensor modeling for complex industries.）

余文墨西哥國(guó)立理工大學(xué)高級(jí)研究中心自動(dòng)化部教授.1990年在清華大學(xué)獲學(xué)士學(xué)位，1992年和1995年在東北大學(xué)分別獲得電子工程專業(yè)的碩士和博士學(xué)位.自2006年至今一直擔(dān)任東北大學(xué)的訪問教授.主要研究方向?yàn)閺?fù)雜工業(yè)過程建模與控制，機(jī)器學(xué)習(xí).

E-mail:yuw@ctrl.cinvestav.mx

（YU WenProfessor in the Departamento de Control Automatico of the Centro de Investigation de Estudios Avanzados，National Polytechnic Institute M′exico.He received his bachelor degree from Tsinghua University in 1990，the master and Ph.D.degrees，both in electrical engineering from Northeastern University in 1992 and 1995，respectively.He holds a visiting professorship at Northeastern University from 2006.His research interest covers modeling and control of the complex industrial process，and machine learning.）

周曉杰東北大學(xué)流程工業(yè)綜合自動(dòng)化國(guó)家重點(diǎn)實(shí)驗(yàn)室副教授.主要研究方向?yàn)閺?fù)雜工業(yè)過程建模與機(jī)器學(xué)習(xí).

E-mail:xjzhou@mail.neu.edu.cn

（ZHOU Xiao-JieAssociate professor at the State Key Laboratory of Synthetical Automation for Process Industries，Northeastern University.Her research interest covers dynamic system modeling for complex industrial processes and machine learning.）

Adaptive Ensemble Modelling Approach Based on Updating Sample Intelligent Identification

TANG Jian1，2CHAI Tian-You2LIU Zhuo2YU Wen3ZHOU Xiao-Jie2

Some new samples can represent concept drift of the modeling plant.Adaptive updating soft sensor model with these new samples can reduce model complexity and running consumption，improve model interpretation and prediction performance.Concept drift embodies on both approximate linear dependence（ALD）and prediction error（PE）.In industrial practice，whether to update the old soft measuring models should be decided by the domain experts.Aimmed at these problems，a new online ensemble modeling approach based on updating sample intelligent identification is proposed in this paper.At first，the offline ensemble model based on improved random vector functional-link networks（IRVFL）algorithm is used for online prediction using the new sample.Then，relative ALD（RALD）and relative PE（RPE）values of the new sample are fed into the fuzzy inference model based on domain expert′s knowledge，whose output is used to identify whether this new sample is taken to updating the model.At last，the ensemble model is updated with the re-training strategy.Simulation results based on synthetic data show that the proposed method is valid and effective.

Ensemble learning，updating sample identification，fuzzy inference，approximate linear dependence，prediction error

10.16383/j.aas.2016.c150766

Tang Jian，Chai Tian-You，Liu Zhuo，Yu Wen，Zhou Xiao-Jie.Adaptive ensemble modelling approach based on updating sample intelligent identification.Acta Automatica Sinica，2016，42（7）:1040-1052

2015-11-20錄用日期2016-03-10
Manuscript received November 20，2015；accepted March 10，2016
國(guó)家高技術(shù)研究發(fā)展計(jì)劃（863計(jì)劃）（2015AA043802），國(guó)家自然科學(xué)基金（61573364，61273177，61305029，61503066，61573249），中國(guó)博士后科學(xué)基金（2013M532118，2015T81082，2015M581355），流程工業(yè)綜合自動(dòng)化國(guó)家重點(diǎn)實(shí)驗(yàn)室開放課題基金資助項(xiàng)目（PAL-N2015 04），江蘇高校優(yōu)勢(shì)學(xué)科建設(shè)工程資助項(xiàng)目，江蘇省大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心資助
Supported by National High Technology Research and Development Program of China（863 Program）（2015AA043802），National Natural Science Foundation of China（61573364，612731 77，61305029，61503066，61573249），Postdoctoral Science Foundation of China（2013M532118，2015T81082，2015M581355），Open Project Fund of the State Key Laboratory of Synthetical Automation of Process Industry（PAL-N201504），the Priority Academic Program Development of Jiangsu Higher Education Institutions，and Collaborative Innovation Center of At-

mospheric Environment and Equipment Technology of Jiangsu Province
本文責(zé)任編委吳立剛
Recommended by Associate Editor WU Li-Gang
1.北方交通大學(xué)計(jì)算所北京 100029中國(guó)2.東北大學(xué)流程工業(yè)綜合自動(dòng)化國(guó)家重點(diǎn)實(shí)驗(yàn)室沈陽 110004中國(guó)3.墨西哥國(guó)立理工大學(xué)高級(jí)研究中心（CINVESTAV-IPN）墨西哥07360墨西哥
1.Research Institute of Computing Technology，Beifang Jiaotong University，Beijing 100029，China2.State Key Laboratory of Synthetical Automation for Process Industries，Northeastern University，Shenyang 110004，China3.Departamento de Control Automatico，CINVESTAV-IPN，M′exico D.F.07360，M′exico