貝葉斯框架下的自適應(yīng)質(zhì)量變量預(yù)測模型

朱雨婷，田 穎

（1.上海理工大學(xué)機(jī)械工程學(xué)院；2.上海理工大學(xué)光電信息與計算機(jī)工程學(xué)院，上海 200093）

0 引言

在工業(yè)生產(chǎn)過程中，關(guān)鍵產(chǎn)品質(zhì)量指標(biāo)測定對于提高生產(chǎn)效率、保障生產(chǎn)安全具有重要作用［1］。軟測量技術(shù)主要通過建立一定的數(shù)學(xué)模型，利用易于獲得的過程變量估計難以測得的關(guān)鍵變量［2］。軟測量建模是該技術(shù)的核心內(nèi)容。

貝葉斯網(wǎng)絡(luò)［3-5］（Bayesian Network，BN）是一種基于概率建立的數(shù)學(xué)模型，對于解決工業(yè)生產(chǎn)工程中變量不確定性與不完整性問題具有很強優(yōu)勢。因而貝葉斯網(wǎng)絡(luò)在質(zhì)量變量預(yù)測中的應(yīng)用成為研究熱點。本文利用最大期望（Expectation Maximization，EM）算法對高斯混合模型［6-8］中的未知參數(shù)進(jìn)行估計，以獲得高斯混合模型逼近貝葉斯網(wǎng)絡(luò)聯(lián)合概率，降低網(wǎng)絡(luò)訓(xùn)練過程復(fù)雜度，實現(xiàn)質(zhì)量變量預(yù)測。EM 算法作為一種迭代算法，被用于帶有隱變量的概率參數(shù)模型最大似然估計，其最大不足在于不能自動調(diào)整混合模型中單高斯模型數(shù)量，只能事先賦予初值，導(dǎo)致難以選擇最優(yōu)的模型數(shù)值，且會導(dǎo)致混合模型中參數(shù)估計產(chǎn)生偏差。針對該問題，已有研究從不同方面提供了較合適的解決方案，其中最經(jīng)典的是由Figueiredo 等［9］提出的F-J算法，但該算法不能解決自動消除權(quán)值過小的單高斯模型問題。因此，為了優(yōu)化高斯模型結(jié)構(gòu)，可引入帶有合并算子的F-J 算法。

另一方面，當(dāng)過程變量之間存在線性關(guān)系時，將對基于貝葉斯網(wǎng)絡(luò)的質(zhì)量變量預(yù)測模精度和泛化能力造成一定影響。因此有必要在訓(xùn)練網(wǎng)絡(luò)前，對過程變量進(jìn)行主成分特征提?。?0-12］。這不僅可以解決過程變量之間的線性問題，對數(shù)據(jù)降維，還能將提取的主元作為網(wǎng)絡(luò)輸入變量，降低網(wǎng)絡(luò)訓(xùn)練難度。

再者，在實際工業(yè)生產(chǎn)過程中，機(jī)器老化、工作環(huán)境等因素變化會導(dǎo)致模型退化問題［13-15］。因此，進(jìn)一步引入即時學(xué)習(xí)這一自適應(yīng)策略［16-18］，對于實時的待測樣本，通過比對數(shù)據(jù)庫已知的有標(biāo)簽樣本，選擇相似度最高的一組訓(xùn)練質(zhì)量變量預(yù)測模型，可提高模型預(yù)測精度和泛化能力。為了提高樣本選擇速度，本文認(rèn)為由于在較短的時間內(nèi)獲得的有標(biāo)簽樣本具有同一性。基于該思想，對數(shù)據(jù)庫樣本進(jìn)行分組可在一定程度上縮短網(wǎng)絡(luò)訓(xùn)練時間。

由此，本文提出基于PCA-BN 的自適應(yīng)質(zhì)量變量預(yù)測模型。首先，對于數(shù)據(jù)庫中的有標(biāo)簽樣本進(jìn)行分塊，當(dāng)待測樣本出現(xiàn)時，將待測樣本過程變量與各組過程變量均值進(jìn)行相似度計算，將相似度極高的幾組有標(biāo)簽樣本融合成訓(xùn)練樣本；其次，將獲得的訓(xùn)練樣本先通過主成分特征提取，取消變量之間關(guān)聯(lián)性，將提取得到的特征變量作為貝葉斯網(wǎng)絡(luò)的輸入建立質(zhì)量變量模型，提高模型精度；第三，在通過高斯混合模型逼近貝葉斯網(wǎng)絡(luò)獲得參數(shù)估計的過程中，利用帶有合并算子的F-J 算法自動消除權(quán)值過小的單高斯模型問題，使EM 算法順利收斂，獲得結(jié)構(gòu)清晰簡化的GMM 模型；最后，利用基于PCA-BN 的自適應(yīng)質(zhì)量變量預(yù)測模型，估計待測樣本。該方法綜合利用即時學(xué)習(xí)提高模型泛化能力與BN 強大的函數(shù)逼近能力，基于田納西伊斯曼（Tennessee Eastman，TE）仿真過程獲得的數(shù)據(jù)可驗證方法可行性及有效性。

1 基于即時學(xué)習(xí)的快速訓(xùn)練樣本選取

即時學(xué)習(xí)（Just-in-time learnnig，JITL）可以同時處理非線性和時變性問題，其優(yōu)勢在于可建模提供準(zhǔn)確的訓(xùn)練樣本集。但是在樣本選取過程中，需將待測樣本與數(shù)據(jù)庫中的每一個樣本進(jìn)行相似度對比，時耗很大。為了進(jìn)一步提高樣本選擇速度，本文認(rèn)為在一定時間間隔內(nèi)，工業(yè)過程狀態(tài)不發(fā)生漂移等變化，獲取的數(shù)據(jù)樣本應(yīng)具有同一性。因此，將數(shù)據(jù)庫X總=[x1,x2,x3,…xN]劃分成小的塊S=[s1,s2,s3,…sM]，計算每個塊均值U=[u1,u2,u3,…uM]，選擇均值與待測樣本xq相似度較高的一組作為訓(xùn)練子集，建立待測樣本最優(yōu)局部模型。

余弦距離是典型的相似度計算方法之一，利用空間中兩個向量之間的夾角余弦值作為衡量標(biāo)準(zhǔn)，其度量準(zhǔn)則如式（1）所示。

其中，θi表示數(shù)據(jù)庫中第i個塊均值與待測樣本xq的夾角，uij表示第i個塊均值的第j個變量，d為總變量個數(shù)。

余弦值越大，即越接近1，則表示夾角越接近0°，相似程度越高。計算出m個塊與待測樣本余弦值，選擇一組較大值，將其對應(yīng)的樣本子集合成為1 個訓(xùn)練集。

2 主成分分析

主成分分析（Principal Component Analysis，PCA）能夠通過線性變換，用少數(shù)幾個主成分解釋多個變量之間的內(nèi)部結(jié)構(gòu)。本文對于獲得的訓(xùn)練樣本集，利用PCA 進(jìn)行線性變換，一方面可對數(shù)據(jù)降維，降低后續(xù)網(wǎng)絡(luò)訓(xùn)練復(fù)雜度；另一方面可消除變量之間的相關(guān)性，提高模型預(yù)測精度。

首先，對樣本x=[x1,x2,x3,…xd]進(jìn)行線性變換。

其中，d表示變量個數(shù)，zi是由過程變量通過線性變換獲得的中間變量，aij表示變量x-j對成分zi的貢獻(xiàn)。

將有n個樣本的訓(xùn)練集X=[X1,X2,X3,…,Xn] 進(jìn)行標(biāo)準(zhǔn)化，得到相關(guān)系數(shù)R。

其次，根據(jù)協(xié)方差矩陣計算特征值、主成分貢獻(xiàn)率和累積方差貢獻(xiàn)率，確定主成分個數(shù)。因為R是正定矩陣，特征值為正，即λ1＞λ2＞...＞λn＞0，v1,v2,v3,…,vn為對應(yīng)的歸一化特征向量。特征值表示各主成分方差，其值反映了各主成分影響。主成分貢獻(xiàn)率計算方式為：

其中，φi是成分zi的貢獻(xiàn)率。

3 基于貝葉斯網(wǎng)絡(luò)的質(zhì)量變量預(yù)測模型

3.1 模型結(jié)構(gòu)

貝葉斯網(wǎng)絡(luò)（BN）又被稱為信念網(wǎng)絡(luò)，是一種概率圖模型，可以模擬人類處理推理過程中不確定因果關(guān)系，其拓?fù)浣Y(jié)構(gòu)本質(zhì)是一個有向無環(huán)圖，由隨機(jī)變量為節(jié)點及連接節(jié)點的有向弧構(gòu)成。本文為簡化網(wǎng)絡(luò)訓(xùn)練過程，選擇原因節(jié)點時，盡可能滿足兩個條件：一是變量滿足條件獨立，二是各節(jié)點間不存在父節(jié)點。對于數(shù)據(jù)變量組合x=[x1,x2,x3,…xd,y]，本文用于質(zhì)量變量預(yù)測的貝葉斯網(wǎng)絡(luò)模型如圖1 所示。

Fig.1 Quality variable prediction model based on Bayesian network圖1 基于貝葉斯網(wǎng)絡(luò)的質(zhì)量變量預(yù)測模型

其中，原因節(jié)點x1,x2,…xd表示過程變量，結(jié)果節(jié)點y表示質(zhì)量變量，即模型獲得的估計值。進(jìn)而，過程變量的聯(lián)合概率分布可表示為：

其中，p(xi|parents(xi)) 表示xi的條件概率分布，p(y|parents(y))表示y的條件概率分布。

3.2 貝葉斯網(wǎng)絡(luò)聯(lián)合概率密度的近似求解

貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，不易于求解，故而通過建立高斯混合模型近似求解貝葉斯網(wǎng)絡(luò)聯(lián)合概率密度，可以得到結(jié)構(gòu)相對簡化的網(wǎng)絡(luò)模型。

3.2.1 高斯混合模型

高斯混合模型（Gaussian mixture model，GMM）由多個單高斯混合而成，數(shù)據(jù)中的每1 個樣本都能被分到對應(yīng)的高斯元中。設(shè)訓(xùn)練樣本集X=[X1,X2,X3,…,Xn]，樣本數(shù)為m，維數(shù)為d。若這組數(shù)據(jù)共由M 個不同的單高斯分布生成，則Xi的混合概率可表示為：

其中，αl是第l 個高斯元Cl的混合系數(shù)，滿足，μl和σl分別是Cl的均值和協(xié)方差，θl=(μl,σl)。需注意兩個問題：①當(dāng)σl是奇異的，則而且σl是不可逆的；②當(dāng)pl(Xi|θl)=0，則pl(Xi|θl)不能為分母。這兩個問題均會導(dǎo)致算法終止，故將式（7）改寫成式（8）。

其中，η1、η2、η3是非常小的數(shù)值，I是單位矩陣。

因此，GMM 模型可對未知參數(shù)Θ={(α1,θ1),(α2,θ2),...,(αM,θM)}進(jìn)行估計。

3.2.2 基于改進(jìn)F-J 算法的EM 算法

EM 算法常用于GMM 參數(shù)Θ的估計，假設(shè)樣本X=[X1,X2,X3,…,Xn]，將作為GMM 模型參數(shù)初始值，將高斯元數(shù)量初始設(shè)為M0，則混合系數(shù)初始值定為1/M0。

首先進(jìn)行基于改進(jìn)F-J 算法的EM 算法運算，如式（9）所示。

其中，p(s)(Ck(s)|Xj)表示第s次迭代時第j個樣本屬于第k個高斯元Ck(s)的后驗概率。

運算第二步驟為：

其中，μk(s+1)、σk(s+1)、αk(s+1)分別表示第s+1 次迭代中高斯元Ck(s+1)的均值、協(xié)方差和混合系數(shù)，V=(d2+3d)/2，d是過程變量個數(shù)。

在進(jìn)行步驟二時，合并算子過程為：令Ci(s)為第s次迭代時，混合系數(shù)值最小成分，并且值為αi(s)，相應(yīng)由Ms個成分混合組成。

（1）當(dāng)αi(s)＜1/M0，則計算Ci(s)和其他各成分的距離，將成分Ci(s)與其距離最近的Cj(s)合并，獲取更新后的混合系數(shù)后重復(fù)該步驟。

（2）當(dāng)所有αi(s)＞1/M0，則需要檢查兩次迭代中參數(shù)是否發(fā)生變化，如果超出特定的1 個非常小的范圍，重復(fù)上一步驟；否則，停止迭代。

按照上述步驟更新高斯模型參數(shù)，可以保證每個高斯成分具有顯著的占比。

3.3 模型構(gòu)建

本文針對一非線性多輸入單輸出系統(tǒng)，采用高斯混合分布近似求得貝葉斯網(wǎng)絡(luò)聯(lián)合概率密度后，可根據(jù)原因節(jié)點（過程變量）的值預(yù)測結(jié)果節(jié)點（質(zhì)量變量）值。

設(shè)p(x;μ,σ)為多維正態(tài)密度函數(shù)，μ，σ分別為均值、協(xié)方差矩陣，如果xT=(x1T,x2T)，μ=(μ1T,μ2T)且σ=，其中，x1表示過程變量，x2表示質(zhì)量變量，則貝葉斯網(wǎng)絡(luò)聯(lián)合概率密度由式（5）可進(jìn)一步表示為：

對于第l個高斯元可得：

則對于混合模型有：

進(jìn)而，根據(jù)貝葉斯公式推導(dǎo)可得：

最后，根據(jù)x2的估計值可得：

4 基于PCA-BN 的自適應(yīng)策略建模及仿真

4.1 基于PCA-BN 的自適應(yīng)策略建模

依據(jù)建模原理，建立基于PCA-BN 的自適應(yīng)策略模型，其結(jié)構(gòu)如圖2 所示。首先，將現(xiàn)有數(shù)據(jù)庫數(shù)據(jù)分塊，產(chǎn)生多個局部數(shù)據(jù)子集，將查詢樣本與這些數(shù)據(jù)子集進(jìn)行相似度對比，選擇最具有相似性的一組數(shù)據(jù)子集構(gòu)建訓(xùn)練集；然后，對訓(xùn)練集的過程變量進(jìn)行主元提取，并將提取的變量作為貝葉斯網(wǎng)絡(luò)輸入，最后對查詢樣本進(jìn)行質(zhì)量變量預(yù)測輸出。

Fig.2 Process of adaptive strategy prediction model based on PCA-BN圖2 基于PCA-BN 的自適應(yīng)策略預(yù)測模型流程

4.2 工業(yè)應(yīng)用

Downs 等［19］依據(jù)實際化工過程建立了Tenessee East?man（TE）仿真系統(tǒng)，詳細(xì)流程結(jié)構(gòu)如圖3 所示。在過程控制的研究領(lǐng)域中，由于TE 過程可較好地體現(xiàn)實際工業(yè)生產(chǎn)過程中的許多典型特征，因此常應(yīng)用于質(zhì)量變量預(yù)測、過程監(jiān)控與故障檢測研究。

Fig.3 Flow of TE porcess圖3 TE 過程流程

TE 仿真主要由反應(yīng)器、冷凝器、壓縮機(jī)、氣液分離器和汽提塔5 個模塊構(gòu)建而成［19］。數(shù)據(jù)集由測量變量和操作變量兩部分組成。整個反應(yīng)過程涉及XA、XB、XC、XD、XE、XF、XG、XH 等8 種物質(zhì)，其中XG、XH 為最終產(chǎn)品，牽涉的反應(yīng)如式（19）所示。

TE 過程涉及到11 個操作變量、41 個測量變量，其中測量變量可再細(xì)分為22 個連續(xù)過程變量和19 個非連續(xù)組分變量［20］。其中，對最終產(chǎn)品XG、XH 的實時監(jiān)測為有效提高輸出產(chǎn)品質(zhì)量控制系統(tǒng)奠定了基礎(chǔ)。本文主要研究多輸入單輸出的非線性系統(tǒng)，利用成分分析儀分析獲得19 個非連續(xù)組分變量，該過程相對較為復(fù)雜，故選擇33 維變量作為輸入，即由11 個操作變量和22 個連續(xù)過程變量組成輸入，并選擇最終的XG 成分含量作為輸出變量，進(jìn)而建立預(yù)測模型。具體步驟為：①將數(shù)據(jù)庫數(shù)據(jù)進(jìn)行分塊，將大的數(shù)據(jù)集分成若干個局部數(shù)據(jù)子集；②對于待測樣本，先篩選出這些數(shù)據(jù)子集中與之相似度較高的一組有標(biāo)簽樣本作為模型訓(xùn)練集；③利用主成分分析對輸入變量作特征提取，消除變量之間的相關(guān)性，降低數(shù)據(jù)維數(shù)，簡化貝葉斯網(wǎng)絡(luò)復(fù)雜度；④利用獲得的主成分變量作為貝葉斯網(wǎng)絡(luò)原因節(jié)點，對應(yīng)的XG 成分作為結(jié)果節(jié)點，建立TE 過程的自適應(yīng)PCA-BN 質(zhì)量變量預(yù)測模型。

本文共有960 組數(shù)據(jù)，選擇60 組作為測試樣本，900組作為數(shù)據(jù)庫，鑒于主元個數(shù)設(shè)定為17，所以每次從中選擇600 組作為訓(xùn)練樣本。若測試樣本數(shù)量過少，算法將無法正常運行［6］。

為了證明本文方法可行性，將其與同等情況下的PCR和PCA-BN 的預(yù)測結(jié)果相對比，如圖4-圖6 所示（彩圖掃OSID 碼可見），MAE 分別降低了26.2% 和14.4%，RMSE 分別降低了10.3% 和7.5%，RE 分別降低了11.5% 和8.3%。MAE（Maximum Relative Error）表示最大相對誤差，RMSE（Root Mean Square error）表示均方根誤差，RM（Relative Er?ror）表示相對誤差。經(jīng)對比可以看出基于JITL 的PCA-BN預(yù)測精度比傳統(tǒng)方法更高，可有效解決軟測量過程中時變性問題。

Fig.4 Prediction curve based on PCR圖4 基于PCR 的預(yù)測曲線

Fig.5 Prediction curve based on pca-bn圖5 基于PCA-BN 的預(yù)測曲線

Fig.6 Prediction curve based on adaptive strategy in Bayesian framework圖6 貝葉斯框架下基于自適應(yīng)策略下的預(yù)測曲線

5 結(jié)語

本文將JITL 與PCA-BN 結(jié)合，提出了基于PCA-BN的自適應(yīng)質(zhì)量變量預(yù)測模型。首先利用JITL 從分塊好的數(shù)據(jù)庫數(shù)據(jù)集中，選出與待測樣本相似度較高的1 組局部模塊作為訓(xùn)練樣本，縮短樣本篩選時間；再利用PCA 提取過程變量主元，借此作為原因節(jié)點進(jìn)行降維并簡化BN 網(wǎng)絡(luò)；接著利用帶有合并算子的F-J 算法改善EM 算法，從而獲得高斯混合模型參數(shù)估計；最后基于高斯混合模型逼近貝葉斯網(wǎng)絡(luò)聯(lián)合概率密度的思想，訓(xùn)練得到清晰簡化的網(wǎng)絡(luò)模型，進(jìn)而估計質(zhì)量變量值。使用該方法建立TE 過程的成分XG 預(yù)測模型與PCR，PCA-BN 等方法相比，預(yù)測精度更高。但該方法仍存在不足之處，對于每一個查詢樣本，都需重新選取訓(xùn)練樣本從而建立一個新的貝葉斯網(wǎng)絡(luò)，較之傳統(tǒng)方法雖然預(yù)測精度有所改善，但是計算時耗也會更大。如何在提高精度的基礎(chǔ)上，還能控制計算時長，仍需進(jìn)一步研究。