基于改進(jìn)的PCA-RBFNN過程變量軟測(cè)量建模及應(yīng)用

朱荷蕾，高慧敏

(嘉興學(xué)院 信息科學(xué)與工程學(xué)院，浙江 嘉興 314001)

0 引言

工業(yè)生產(chǎn)體系中多采用集散控制和現(xiàn)場(chǎng)總線技術(shù)，特別是自動(dòng)化流水線生產(chǎn)系統(tǒng)，工藝生產(chǎn)過程的控制完全由現(xiàn)場(chǎng)數(shù)據(jù)進(jìn)行驅(qū)動(dòng)。然而，一旦現(xiàn)場(chǎng)傳感器出現(xiàn)數(shù)據(jù)故障，則會(huì)引起生產(chǎn)系統(tǒng)暫?；蛑兄?，不但可能引發(fā)安全事故，而且后續(xù)生產(chǎn)恢復(fù)的工作量也極其繁重，嚴(yán)重影響生產(chǎn)進(jìn)度。本文針對(duì)生產(chǎn)過程中存在的不易測(cè)量或者需要多重測(cè)量的關(guān)鍵工藝參數(shù)，提出一種軟測(cè)量建模方法，以實(shí)現(xiàn)過程變量的在線軟測(cè)量及實(shí)時(shí)監(jiān)控，提高現(xiàn)場(chǎng)生產(chǎn)過程的安全性、穩(wěn)定性。

軟測(cè)量就是通過選擇與被估計(jì)變量相關(guān)的一系列可測(cè)變量，構(gòu)造以可測(cè)變量為輸入、被估計(jì)變量為輸出的數(shù)學(xué)模型。目前，該方法的研究主要集中在混合建模[1-2]，一方面通過主成分分析(Principal Component Analysis，PCA)、偏最小二乘法(Partial Least Square，PLS)等回歸分析技術(shù)解決模型輸入變量?jī)?yōu)化選擇問題；另一方面利用神經(jīng)網(wǎng)絡(luò)、模糊數(shù)學(xué)、統(tǒng)計(jì)學(xué)習(xí)等人工智能理論在非線性擬合方面的優(yōu)勢(shì)提高模型預(yù)測(cè)精度。例如：ZHAO等[3]提出了自適應(yīng)加權(quán)最小二乘支持向量機(jī)(Least Squares Support Vector Machine，LSSVM)的軟測(cè)量模型，實(shí)現(xiàn)了催化重整生產(chǎn)過程中芳烴產(chǎn)量的在線預(yù)測(cè)；SUN等[4]提出PCA-PSO-LSSVM模型對(duì)造紙廢水厭氧處理系統(tǒng)中水質(zhì)的化學(xué)需氧量(Chemical Oxygen Demand,COD)進(jìn)行在線軟測(cè)量；WEI[5]結(jié)合主成分分析和徑向基(Radial Basis Function，RBF)神經(jīng)網(wǎng)絡(luò)模型對(duì)臺(tái)風(fēng)期間水庫(kù)流域的降水量進(jìn)行定量預(yù)報(bào)；ZHANG等[6]提出了基于SVM和遺傳神經(jīng)網(wǎng)絡(luò)(Genetic Algorithm Neural Network，GA-NN)的預(yù)測(cè)模型,實(shí)現(xiàn)了油水兩相流中水分含量的軟測(cè)量。

但上述方法在對(duì)過程變量進(jìn)行回歸分析時(shí)存在一些缺陷，例如文獻(xiàn)[3]中主成分分析(PCA)篩選出的綜合變量過少導(dǎo)致系統(tǒng)特性丟失，降低了預(yù)測(cè)模型的泛化能力；文獻(xiàn)[4-5]將經(jīng)主成分分析后的主元變量作為神經(jīng)網(wǎng)絡(luò)的輸入，導(dǎo)致模型預(yù)測(cè)精度不高。同時(shí)，這些方法多側(cè)重于某一應(yīng)用領(lǐng)域，研究重點(diǎn)在模型結(jié)構(gòu)改進(jìn)和權(quán)值優(yōu)化上，造成模型本身比較復(fù)雜，增加了實(shí)際工程中的應(yīng)用難度。本文提出一種改進(jìn)的PCA-RBFNN軟測(cè)量建模方法，根據(jù)過程變量集合的PCA相關(guān)性分析，篩選出最能體現(xiàn)系統(tǒng)運(yùn)行特性的過程變量子集作為RBF神經(jīng)網(wǎng)絡(luò)的輸入，解決了直接利用主成分變量建模時(shí)模型泛化能力弱、解釋性不足的問題。同時(shí)在RBFNN的構(gòu)建過程中采用梯度下降法優(yōu)化網(wǎng)絡(luò)參數(shù)，提高模型精度。該方法能夠在減少現(xiàn)場(chǎng)數(shù)據(jù)采集量的同時(shí)實(shí)現(xiàn)過程變量的在線預(yù)測(cè)，滿足現(xiàn)場(chǎng)過程控制的要求。

1 改進(jìn)的PCA-RBFNN模型

1.1 模型結(jié)構(gòu)

改進(jìn)的PCA-RBFNN模型主要由PCA變量篩選和RBF神經(jīng)網(wǎng)絡(luò)兩部分組合而成，如圖1所示。首先對(duì)樣本空間數(shù)據(jù)進(jìn)行主成分分析，找出最能體現(xiàn)系統(tǒng)運(yùn)行特性的原始過程變量作為網(wǎng)絡(luò)的新輸入；然后利用梯度下降法對(duì)RBF網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練和優(yōu)化，直到滿足精度要求。

1.2 PCA變量篩選

在改進(jìn)的PCA-RBFNN模型中，設(shè)過程變量的運(yùn)行數(shù)據(jù)構(gòu)成樣本空間為矩陣X(I×J)，其中I為樣本數(shù)，J為過程變量個(gè)數(shù)，則矩陣X的主成分分析結(jié)果[7-8]為：

X=(x1,x1,…xJ)=FAT，A=(α1,α2,…,αJ)，F(xiàn)=(F1,F2,…,FJ)；S=diag{λ1,λ2,…,λJ}，λ1≥λ2≥…≥λJ。

(1)

式中:xk=(x1k,x2k,…,xJk)T,k=1,2,…,J，為第k個(gè)過程變量樣本向量；αk=(a1k,a2k,…,aJk)T為矩陣X經(jīng)主成分分析后第k個(gè)特征向量；Fk為主成分向量；λk=Var(Fk)為主成分向量Fk在第k個(gè)特征向量方向上提取的特征值；S為J個(gè)特征值按照從大到小排列構(gòu)成的對(duì)角矩陣。主成分分析后可得到J個(gè)主成分，每個(gè)主成分包含的變異信息量是遞減的，則第k個(gè)主成分的貢獻(xiàn)率Ck以及前p個(gè)主成分的累計(jì)貢獻(xiàn)率CCp分別為：

(2)

本文采用主成分分析變量篩選方法直接從原始過程變量集合中選擇過程變量子集合，以較少的數(shù)據(jù)量獲得理想的建模效果，其篩選流程如圖2所示。

首先對(duì)過程變量集合的樣本數(shù)據(jù)進(jìn)行第一次主成分分析，在特征值序列中找到最小特征值λmin，若其貢獻(xiàn)率ρλmin小于設(shè)定值ρ0，則說明其主成分對(duì)總體的貢獻(xiàn)量最小，在特征值λmin對(duì)應(yīng)的特征向量αmin中找出所占權(quán)數(shù)最大的分量，該分量對(duì)應(yīng)的過程變量xd即為需要?jiǎng)h除的變量，因?yàn)檫^程變量xd在貢獻(xiàn)量最小的主成分中起最主要的作用。在樣本空間中刪除過程變量xd的樣本數(shù)據(jù)，然后對(duì)保留下來的樣本空間數(shù)據(jù)重新進(jìn)行主成分分析，若找到的最小特征值λmin貢獻(xiàn)率仍然小于設(shè)定值ρ0，則繼續(xù)刪除對(duì)應(yīng)的過程變量，更新樣本空間后重新進(jìn)行主成分分析，直到最小特征值λmin貢獻(xiàn)率大于設(shè)定值ρ0，則輸出樣本空間中最終保留的過程變量集合，該集合中的過程變量具有對(duì)原變量系統(tǒng)最佳的解釋能力。通過主成分分析篩選變量法找到了軟測(cè)量建模中與被估計(jì)變量最相關(guān)的過程變量子集合，不但減小了建模工作量，而且保證了模型的可靠性和穩(wěn)定性。

1.3 RBF神經(jīng)網(wǎng)絡(luò)參數(shù)

模型中RBF神經(jīng)網(wǎng)絡(luò)采用3層前饋網(wǎng)絡(luò)[9-10]，其多輸入單輸出結(jié)構(gòu)如圖3所示。第一層為輸入層，有M個(gè)信號(hào)源輸入節(jié)點(diǎn)；第二層為隱含層，有H個(gè)隱節(jié)點(diǎn)；第三層是輸出層，有1個(gè)輸出節(jié)點(diǎn)。

經(jīng)PCA變量篩選后所保留下來的過程變量的歷史數(shù)據(jù)作為訓(xùn)練樣本集，設(shè)樣本數(shù)為Q,則RBF神經(jīng)網(wǎng)絡(luò)的輸入和輸出關(guān)系可用線性回歸模型[12]表示為:

(3)

寫為矩陣形式，即：

d=Θw+e。

(4)

RBF神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)重點(diǎn)在于對(duì)網(wǎng)絡(luò)參數(shù)的求解[11-12]，主要包括隱含層節(jié)點(diǎn)的數(shù)據(jù)中心ch、基函數(shù)的擴(kuò)展系數(shù)σh和隱含層到輸出層的連接權(quán)值wh。 采用監(jiān)督學(xué)習(xí)算法對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練[13]，并通過梯度下降法對(duì)參數(shù)進(jìn)行優(yōu)化。設(shè)定目標(biāo)函數(shù)為

(5)

由式(4)和式(5)，第i個(gè)樣本輸入的模型誤差為：

(6)

目標(biāo)函數(shù)E在ch、σh及wh方向上的梯度為ch、σh及wh，有

(7)

(8)

(9)

為使目標(biāo)函數(shù)最小化，各參數(shù)的修正量與其負(fù)梯度成正比，即:

Δch=-ηch; Δσh=-ησh; Δwh=-ηwh。

(10)

其中η為參數(shù)修正的學(xué)習(xí)率。在RBF神經(jīng)網(wǎng)絡(luò)參數(shù)訓(xùn)練優(yōu)化過程中，對(duì)于每個(gè)輸入樣本xi，可根據(jù)式(10)中的修正量對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整，使目標(biāo)函數(shù)取得最小值。在參數(shù)優(yōu)化前需要對(duì)參數(shù)進(jìn)行初始化，具體方法為：

(1)對(duì)訓(xùn)練樣本集進(jìn)行k-means聚類得到H個(gè)聚類，將這些聚類中心作為隱含層節(jié)點(diǎn)的數(shù)據(jù)中心。

(2)基函數(shù)的擴(kuò)展系數(shù)為：

(11)

式中cmax為數(shù)據(jù)中心的最大距離。

(3)隱含層到輸出層的連接權(quán)值可以用最小均方誤差法[14]直接計(jì)算得到，公式為：

w=Θ+d,Θ+=(ΘTΘ)-1ΘT。

(12)

式中Θ+是回歸向量矩陣的偽逆。

2 模型驗(yàn)證及性能分析

2.1 應(yīng)用實(shí)例

圖4是紡織原料生產(chǎn)中某工藝過程示意圖，為典型的間歇生產(chǎn)過程，其過程變量為壓力P1、P2、P3、P4，溫度T1、T2，液位L1、L2、L3，對(duì)應(yīng)各個(gè)傳感器的屬性及數(shù)據(jù)測(cè)量范圍如表1所示。

表1 過程變量傳感器屬性及數(shù)據(jù)范圍

液位L1為浮標(biāo)式液位傳感器,安裝于反應(yīng)室底部，工作條件比較惡劣，常有短暫數(shù)據(jù)不準(zhǔn)或缺失問題，故選為被估計(jì)變量，利用本文所提出的改進(jìn)PCA-RBFNN建模方法，建立該變量的軟測(cè)量模型，如圖5所示。

2.2 數(shù)據(jù)預(yù)處理和過程變量篩選

在歷史數(shù)據(jù)庫(kù)中選取1個(gè)批次的全部數(shù)據(jù)作為建模樣本，采樣點(diǎn)數(shù)量為250，記為矩陣X(250×9)，為消除變量量綱及數(shù)值大小的影響，需要對(duì)X進(jìn)行標(biāo)準(zhǔn)化處理[15-16]，分別采用Min-Max標(biāo)準(zhǔn)化和Z-score標(biāo)準(zhǔn)化。

(13)

(14)

式(13)中:xj、x′j分別為第j個(gè)過程變量的原始值和標(biāo)準(zhǔn)化后的值；xmax、xmin分別為原始值中的最大值和最小值。Min-Max標(biāo)準(zhǔn)化方法用于RBF神經(jīng)網(wǎng)絡(luò)輸入數(shù)據(jù)的預(yù)處理，其將原始值映射到[-1，1]范圍內(nèi)。

2.3 改進(jìn)PCA-RBFNN模型的構(gòu)建及輸出性能

將篩選出的過程變量子集作為改進(jìn)PCA-RBFNN軟測(cè)量模型RBF網(wǎng)絡(luò)的輸入，被估計(jì)變量L1(反應(yīng)室液位)作為RBF網(wǎng)絡(luò)的輸出，則過程變量子集的樣本數(shù)據(jù)Xin(250×5)、被估計(jì)變量L1的樣本數(shù)據(jù)Y(250×1)組成了RBF神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本集。RBF網(wǎng)絡(luò)參數(shù)設(shè)置如下：模型誤差目標(biāo)E為1.0e-05；隱含層節(jié)點(diǎn)數(shù)量為250；學(xué)習(xí)效率η為0.1。網(wǎng)絡(luò)訓(xùn)練時(shí)，首先采用K-means聚類和最小均方誤差法初始化數(shù)據(jù)中心、擴(kuò)展系數(shù)和連接權(quán)值，然后按照梯度下降法不斷優(yōu)化網(wǎng)絡(luò)參數(shù)，直到網(wǎng)絡(luò)收斂且輸出誤差滿足預(yù)先設(shè)定的誤差目標(biāo)為止。

選取殘差(δ)、相對(duì)誤差(RE)、平均相對(duì)誤差(MRE)、誤差平方和(ESS)、均方根誤差(RMSE)、相關(guān)系數(shù)(CC)和效率系數(shù)(CE)7個(gè)指標(biāo)定量描述模型的輸出性能，如下：

(15)

由表2可知，隨著網(wǎng)絡(luò)誤差目標(biāo)的提高，網(wǎng)絡(luò)訓(xùn)練迭代次數(shù)不斷增加，模型輸出的誤差平方和、均方根誤差均不斷減小。當(dāng)誤差目標(biāo)分別為1.0e-05和1.0e-06時(shí)，網(wǎng)絡(luò)訓(xùn)練次數(shù)需要增加2倍，而輸出誤差減小并不明顯，因此考慮到訓(xùn)練時(shí)間和計(jì)算量等因素，選取合適的誤差目標(biāo)為1.0e-05。

表2 不同網(wǎng)絡(luò)精度目標(biāo)下模型的輸出性能對(duì)比

2.4 改進(jìn)前后PCA-RBFNN模型的性能對(duì)比

為對(duì)比改進(jìn)前后兩種模型，本文構(gòu)建了改進(jìn)前的PCA-RBFNN模型，通過對(duì)8個(gè)原始過程變量進(jìn)行主成分分析，按照累計(jì)貢獻(xiàn)率超過85%的原則，選取兩個(gè)主成分變量PC1和PC2作為RBF神經(jīng)網(wǎng)絡(luò)的輸入進(jìn)行建模。

(16)

式中，PC1、PC2兩個(gè)主成分變量為8個(gè)原始過程變量的線性組合。建模樣本數(shù)據(jù)、驗(yàn)證樣本以及模型參數(shù)設(shè)置與2.3節(jié)中改進(jìn)模型相同。

如圖9所示為兩個(gè)模型的殘差對(duì)比，改進(jìn)前模型的殘差分布在[-21 mm,21 mm]范圍內(nèi)，而改進(jìn)后模型的殘差范圍減小為[-11 mm,11 mm]，說明改進(jìn)模型的預(yù)測(cè)輸出與測(cè)量值擬合得更好，模型預(yù)測(cè)精度得到提高。

如圖10所示為兩個(gè)模型的相對(duì)誤差對(duì)比，為便于說明，圖中縱坐標(biāo)采用對(duì)數(shù)形式，可以看出在開始幾個(gè)采樣點(diǎn)位置處兩個(gè)模型均存在較大的相對(duì)誤差，沿著采樣點(diǎn)軸向方向，相對(duì)誤差呈逐漸減小的趨勢(shì)。兩個(gè)模型的平均相對(duì)誤差分別為2.843 1e-2、5.292e-3，改進(jìn)模型的相對(duì)誤差在總體分布上明顯小于改進(jìn)前模型。

由表3可知，改進(jìn)模型的誤差平方和、均方根誤差相比改進(jìn)前模型均降低了一個(gè)數(shù)量級(jí)，進(jìn)一步說明改進(jìn)模型的預(yù)測(cè)輸出在整體上較改進(jìn)前有了很大的提高。同時(shí)，改進(jìn)模型的相關(guān)系數(shù)和效率系數(shù)也有所提高，說明模型的預(yù)測(cè)性能得到提升。

表3 兩種模型的性能指標(biāo)對(duì)比

改進(jìn)前,模型雖然使用了8個(gè)過程變量數(shù)據(jù)，但實(shí)際的模型輸入是主成分分析后的2個(gè)主成分變量，導(dǎo)致建模時(shí)輸入節(jié)點(diǎn)數(shù)量過少，損失了一部分系統(tǒng)運(yùn)行信息，造成模型精度不高、泛化能力不強(qiáng)。而改進(jìn)模型使用5個(gè)原始過程變量數(shù)據(jù)作為模型輸入，在保證模型精度的同時(shí)減少了建模運(yùn)算量。在實(shí)際應(yīng)用中改進(jìn)模型可以以較少的現(xiàn)場(chǎng)數(shù)據(jù)采集量實(shí)現(xiàn)關(guān)鍵參數(shù)的精確預(yù)測(cè)。

3 結(jié)束語(yǔ)

本文針對(duì)生產(chǎn)過程中關(guān)鍵過程變量的預(yù)測(cè)提出了改進(jìn)PCA-RBFNN軟測(cè)量建模方法，通過對(duì)過程變量集進(jìn)行主成分分析篩選確定出對(duì)系統(tǒng)運(yùn)行特性具有最佳解釋能力的過程變量子集，降低了建模輸入維數(shù)和模型運(yùn)算量，同時(shí)采用梯度下降法訓(xùn)練和校正RBF神經(jīng)網(wǎng)絡(luò)，并分析和對(duì)比改進(jìn)前后兩種模型的輸出性能。通過實(shí)例建模及模型輸出性能對(duì)比，表明改進(jìn)模型能夠在減少現(xiàn)場(chǎng)數(shù)據(jù)采集量的同時(shí)實(shí)現(xiàn)過程變量的精確在線預(yù)測(cè)，具有較好的泛化能力和輸出精度。

在后續(xù)的研究中，將針對(duì)主成分分析時(shí)所使用的生產(chǎn)過程數(shù)據(jù)進(jìn)行數(shù)據(jù)歸一化預(yù)處理，以改善PCA變量篩選時(shí)的計(jì)算精度和效率，從而提高模型整體的輸出性能。