基于集成KPCA的非線性工業(yè)過程狀態(tài)監(jiān)測

鄭 丹 陳 路 童楚東

(寧波大學(xué)信息科學(xué)與工程學(xué)院 浙江 寧波 315211)

0 引 言

隨著復(fù)雜工業(yè)系統(tǒng)及智能傳感技術(shù)的快速發(fā)展,故障檢測在確保過程安全中起到了重要的作用并得到廣泛研究[1-3]。多元統(tǒng)計(jì)過程監(jiān)測(MSPM)是最為典型的一種數(shù)據(jù)驅(qū)動方法[4-6],其中主成分分析(PCA)、偏最小二乘(PLS)和獨(dú)立成分分析(ICA)是較為常用的[7-11]。上述這些方法多用于處理線性過程,當(dāng)處理復(fù)雜的非線性數(shù)據(jù)過程時往往表現(xiàn)不佳[12-13]。

為了克服這個缺點(diǎn),人們引入了核函數(shù)來解決,如KPCA[14],KPCA是一種進(jìn)行非線性降維的有力工具,其主要思想是將輸入數(shù)據(jù)通過隱式非線性映射映射到高維特征空間中,然后在此空間中對數(shù)據(jù)進(jìn)行分析,通過計(jì)算T2和SPE統(tǒng)計(jì)量來監(jiān)測過程的運(yùn)行狀態(tài)。與其他的線性方法相比,KPCA較好地解決了非線性數(shù)據(jù)監(jiān)測問題,但是其性能很大程度上受核函數(shù)及核函數(shù)參數(shù)寬度的影響,截至目前依然沒有較好的標(biāo)準(zhǔn)來確定核函數(shù)及其參數(shù)寬度。而不同的核函數(shù)及參數(shù)可能只對某些特定的故障有較好的監(jiān)測性能,對另一部分的故障則不能很好地監(jiān)測。也就是說不同的故障需要不同的核函數(shù)及其參數(shù)來最大化其故障監(jiān)測效果。

為了能有效地監(jiān)測故障,本文提出一種基于集成學(xué)習(xí)的KPCA非線性工業(yè)過程狀態(tài)監(jiān)測方法(IKPCA)。集成學(xué)習(xí)的基本思想是將多個解組合成一個整體解,而這個整體解的性能總是能明顯優(yōu)于單個解的結(jié)果[15]?；谶@個啟發(fā),我們發(fā)現(xiàn)選擇不同核函數(shù)及參數(shù)可以很容易地獲得KPCA模型的多樣性,然后通過貝葉斯推理,將不同子模型的監(jiān)測結(jié)果進(jìn)行組合,產(chǎn)生新的集成結(jié)果。這種方法不僅對核函數(shù)及參數(shù)的選取不敏感,而且也大大提高監(jiān)控性能。

1 基本方法

KPCA能有效提取非線性特征。KPCA首先是將非線性數(shù)據(jù)映射到特征空間中,然后在特征空間中進(jìn)行主成分分析,以提取主要成分。假設(shè)原始數(shù)據(jù)為X=[x1,x2,…xn]∈Rm×n,其中:m為數(shù)據(jù)量;n為變量數(shù)。首先通過映射函數(shù)φ將數(shù)據(jù)映射到特征空間。那么特征空間數(shù)據(jù)的協(xié)方差矩陣可以表示如下:

(1)

式(1)的特征值λ和特征向量V一定滿足:

λV=CV

(2)

由于C是未知的,所以式(2)中的特征值與特征值向量并不能直接求出,這時可以通過引入非線性變換來解決,在式(2)的左右兩邊同時乘以φ(xj),如下:

λφ(xj)V=φ(xj)CV

(3)

式中:V為所有λ≠0的特征向量,且都存在于特征空間中。因此一定存在系數(shù)ai(i=1,2,…,n),使得:

(4)

我們知道核矩陣可表示為:

Kij=K(xi,xj)=φ(xi)φ(xj)

(5)

式中:K(xi,xj)為核函數(shù)。將式(1)與式(4)代入式(3),然后就將求C的特征值和特征向量轉(zhuǎn)換為求取核矩陣的特征值與特征向量,如式(6)所示。

nλa=Ka

(6)

式中:a為特征向量。經(jīng)過計(jì)算最后我們需要的特征空間數(shù)據(jù)映射結(jié)果如下:

(7)

式中:p為選取的特征值個數(shù),可根據(jù)貢獻(xiàn)率確定p的值。在監(jiān)測工業(yè)過程時根據(jù)指標(biāo)的不同變化判斷過程是否有故障發(fā)生。常用的監(jiān)測指標(biāo)是基于距離的監(jiān)測指標(biāo),T2統(tǒng)計(jì)量與SPE統(tǒng)計(jì)量,具體計(jì)算過程如下:

T2=tTΛ-1t

(8)

式中:t為特征向量;Λ為根據(jù)排序選出特征值構(gòu)成的矩陣。

(9)

式中:n0為非零特征值的個數(shù),通過判斷T2統(tǒng)計(jì)量與SPE統(tǒng)計(jì)量是否超過控制限來監(jiān)測過程是否正常。傳統(tǒng)KPCA過程監(jiān)測中使用頻率較高的核函數(shù)有如下幾種。

Gaussian Kernel:

(10)

Ploynomial Kernel:

k(x,y)=(1+)d

(11)

Cauchy Kernel:

(12)

式中:c、d和e為各個核函數(shù)的參數(shù)?；趥鹘y(tǒng)KPCA故障監(jiān)測的一般步驟如下,過程一般分為離線建模部分和在線監(jiān)測部分。

離線部分:

步驟1獲取訓(xùn)練數(shù)據(jù)并將訓(xùn)練數(shù)據(jù)標(biāo)準(zhǔn)化,統(tǒng)一量綱。

步驟2選取合適的核函數(shù)以及其參數(shù)構(gòu)建KPCA模型。

步驟3將訓(xùn)練數(shù)據(jù)通過非線性映射,映射到特征空間并計(jì)算主成分。

步驟4通過步驟3得到主成分后計(jì)算T2與SPE控制線。

在線部分:

步驟5收集在線數(shù)據(jù),并進(jìn)行標(biāo)準(zhǔn)化。

步驟6根據(jù)離線訓(xùn)練好的模型計(jì)算T2統(tǒng)計(jì)量與SPE統(tǒng)計(jì)量。

步驟7將T2統(tǒng)計(jì)量與SPE統(tǒng)計(jì)量與控制限進(jìn)行比較,如果T2統(tǒng)計(jì)量與SPE統(tǒng)計(jì)量都低于控制限為正常,否則為發(fā)生故障。

傳統(tǒng)的基于KPCA故障監(jiān)測方法很好地解決了在實(shí)際生活中遇到非線性數(shù)據(jù)的問題,但核函數(shù)及參數(shù)的選取是否合適對最終監(jiān)測效果有很大的影響,單一的KPCA模型并不能保證對每種故障都有好的監(jiān)測效果。因此,為了能更有效地進(jìn)行過程監(jiān)測,應(yīng)該根據(jù)特定的故障信息選擇特定的核函數(shù)及參數(shù),建立模型。然而,大多數(shù)情況下故障信息是不可知的。在這種情況下僅憑經(jīng)驗(yàn)確定也顯得極其盲目,目前依然沒有較為理想的選取方法,如果不幸選擇了一個差的模型,監(jiān)測性能會大大降低。

2 改進(jìn)非線性故障檢測的IKPCA

2.1 IKPCA監(jiān)測方法

基于KPCA的故障檢測模型檢測效果不穩(wěn)定,對核函數(shù)與核函數(shù)參數(shù)選取敏感。為了克服基于單一KPCA模型的缺點(diǎn),將集成學(xué)習(xí)應(yīng)用到KPCA模型中。在監(jiān)測過程時不是選擇單一的核函數(shù)及參數(shù),而是選擇一系列具有不同寬度的核函數(shù)。IKPCA通過將不同子模型的結(jié)果進(jìn)行組合,構(gòu)成最終決策。由集成學(xué)習(xí)的特征可知,這個最終決策的性能總是能明顯優(yōu)于單個模型所得到的結(jié)果。通過這個方法可以大大提高故障的檢測效率和穩(wěn)定性。現(xiàn)在面臨的問題是怎么把不同子模型的監(jiān)測結(jié)果合理組合到最終決策中。我們知道每個子模型都有自己的核函數(shù)及核函數(shù)參數(shù),在監(jiān)測過程中可以得到不同的檢測結(jié)果。這里利用了貝葉斯的方法,將常規(guī)的檢測統(tǒng)計(jì)值轉(zhuǎn)化為各個子模型的故障概率,接著進(jìn)行融合進(jìn)而得到最終決策。

在第一次集成時,選取一個核函數(shù),以高斯核函數(shù)為例,如式(10),并選取t個不同寬度的核函數(shù)參數(shù)。

(13)

式中:i=1,2,…,t;c表示核函數(shù)參數(shù)。利用選好的核函數(shù)及不同寬度參數(shù)構(gòu)造出不同的基本KPCA模型,那么我們有:

(14)

(15)

(16)

(17)

(18)

(19)

(20)

(21)

(22)

將同一核函數(shù)不同參數(shù)的子模型監(jiān)測結(jié)果通過前面的計(jì)算全部轉(zhuǎn)化為故障概率后,我們可以通過下面的加權(quán)組合方法進(jìn)行組合。得到一次集成后的監(jiān)測統(tǒng)計(jì)量:

(23)

(24)

我們只完成了對同一核函數(shù)不同參數(shù)的集成,依然面臨著選擇核函數(shù)的問題,如果選擇不當(dāng),也可能會出現(xiàn)對部分故障監(jiān)測效果不好的情況。接下來要把第一次集成的結(jié)果繼續(xù)進(jìn)行融合,獲得第二次集成結(jié)果,以屏蔽選取核函數(shù)對檢測結(jié)果的影響。具體計(jì)算可通過如下公式完成:

(25)

(26)

最終結(jié)果我們可以通過顯著性水平α判斷所監(jiān)控的過程是否發(fā)生故障。當(dāng)IT2<α且ISPE<α?xí)r判斷為正常,其他情況則判斷為故障。具體流程如圖1所示。

圖1 IKPCA流程

IKPCA通過對不同KPCA子模型進(jìn)行集成,增強(qiáng)了核函數(shù)及參數(shù)選取的魯棒性,同時從圖1可以看出,IKPCA計(jì)算量較大,需要占用較多的運(yùn)算資源,可以通過分布式計(jì)算方法進(jìn)行計(jì)算,在多個服務(wù)器上并行運(yùn)行,保證計(jì)算時間,在提高監(jiān)測效果的同時保證監(jiān)測效率。

2.2 IKPCA監(jiān)測步驟

基于IKPCA過程檢測的具體步驟如下,實(shí)現(xiàn)過程包括兩個階段,離線建模和在線檢測。

離線建模:

步驟1收集訓(xùn)練數(shù)據(jù)X∈Rm×n,m為變量數(shù)n為收集的樣本數(shù),對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化。

步驟2選取h個核函數(shù),并為對應(yīng)的核函數(shù)分別選取t個不同寬度的核函數(shù)參數(shù)。

步驟3使用選好的核函數(shù)及參數(shù)構(gòu)造KPCA。

步驟4提取子模型的非線性主成分。

步驟5計(jì)算T2與SPE控制限。

在線檢測:

步驟6將新的數(shù)據(jù)樣本進(jìn)行標(biāo)準(zhǔn)化。

步驟7提取新樣本數(shù)據(jù)的非線性主成分。

步驟8計(jì)算樣本的T2統(tǒng)計(jì)量與SPE統(tǒng)計(jì)量。

步驟9利用貝葉斯方法,把得到的監(jiān)測統(tǒng)計(jì)值通過式(15)-式(22)轉(zhuǎn)化為故障概率。

步驟10用式(23)-式(24)計(jì)算出第一次集成后的監(jiān)測指數(shù)ET2與ESPE。

步驟11重復(fù)上面的過程直到計(jì)算出所有核函數(shù)的ET2與ESPE。

步驟12將所有同一核函數(shù)不同參數(shù)融合后的結(jié)果ET2與ESPE,通過式(25)與式(26)再次進(jìn)行組合得到IT2與ISPE。

步驟13通過控制線α,判斷這個過程是否有故障發(fā)生,如果IT2<α且ISPE<α則為正常,否則為故障。

3 案例研究

本節(jié)我們先通過一個簡單的模擬實(shí)驗(yàn),驗(yàn)證選取不同參數(shù)與核函數(shù)對基于KPCA的故障檢測結(jié)果的影響,說明選取單一的核函數(shù)及參數(shù)不能對所有故障都有好的監(jiān)測性能。并使用本文所提出的IKPCA檢測方法,對仿真案例進(jìn)行監(jiān)測,與傳統(tǒng)的KPCA模型進(jìn)行比較,評估該方法的可行性。

為了描述不同寬度參數(shù)選擇對故障檢測性能的影響及IKPCA檢測方法的有效性,本文模擬一個簡單地?fù)碛腥齻€變量的過程,并用不同的核函數(shù)和不同寬度參數(shù)進(jìn)行分析。首先通過如下方法產(chǎn)生模擬數(shù)據(jù)[16]。每個數(shù)據(jù)中包含三個變量[x1,x2,x3]。

x1=β+e1

x2=β2-3β+e2

x3=-β3+3β2+e3

(27)

式中:e1、e2與e3為獨(dú)立的噪聲變量,且e1,e2,e3∈N(0,0.01);β∈U(0,2)。由式(27)隨機(jī)產(chǎn)生300個數(shù)據(jù)作為正常數(shù)據(jù)用于訓(xùn)練產(chǎn)生模型。與此同時通過對其中某個變量添加噪聲的方式,產(chǎn)生兩組包含300個數(shù)據(jù)的測試樣本,兩種微小故障我們通過如下方法進(jìn)行實(shí)現(xiàn):

故障A:生成故障數(shù)據(jù)時,前100個數(shù)據(jù)正常,從第101個數(shù)據(jù)開始給第二個參數(shù)加入1.5階躍變化。

故障B:生成故障B時,前100個數(shù)據(jù)正常,從第101個數(shù)據(jù)開始給第三個參數(shù)引入-3.5的階躍變化。

針對這一簡單過程,分別建立了四個不同的KPCA模型。具體如下,我們選取了兩個核函數(shù),高斯核函數(shù)(Gaussian Kernel)如式(10)所示,與柯西核函數(shù)(Cauchy Kernel)如式(12)所示,組成的模型我們用KPCA_G與KPCA_C表示。其中高斯核函數(shù)參數(shù)選取的參數(shù)為15m和50m,柯西核函數(shù)的兩個參數(shù)為15m和50m,m為輸入數(shù)據(jù)的維數(shù),由式(27)可知m=3。對于四個不同的KPCA模型其主元個數(shù)通過方差累計(jì)貢獻(xiàn)率確定為3。表1顯示了基于不同核函數(shù)與不同寬度參數(shù)的KPCA模型對故障A與故障B的檢測結(jié)果。

表1 故障A與故障B的故障檢測率(%)

可以看出KPCA_C參數(shù)為e=15m的模型相對于KPCA_C參數(shù)為e=50m的模型對故障A的檢查效果要更好,但是KPCA_C參數(shù)為50m的模型檢測故障B時SPE為58.5%,高于e=15m的模型。同樣地,KPCA_C參數(shù)為e=15m的模型與KPCA_G參數(shù)為c=15m的模型相比,前者檢測故障A時T2和SPE好于后者,但后者檢測故障B時SPE為63%,明顯好于KPCA_C參數(shù)為15m模型對故障B的SPE。由此可見進(jìn)行故障檢測時參數(shù)及核函數(shù)的選取對檢測結(jié)果影響巨大,不同故障可能需要不同核函數(shù)及參數(shù)最大化其檢測性能。

我們利用本文提出的IKPCA檢測方法對上面的示例進(jìn)行檢測。IKPCA對T2與SPE的檢測結(jié)果與其他模型的檢測結(jié)果相比較可以看出,IKPCA對我們模擬的故障A和故障B可以同時得到更好的檢測結(jié)果,檢測故障A時IKPCA的T2與SPE分別為55.5%和47.5%,遠(yuǎn)遠(yuǎn)高于其他四個模型,同樣地,對故障B的檢測率也高于其他模型,避免了選取單一核函數(shù)和單一參數(shù)導(dǎo)致只能較好監(jiān)測部分故障的缺點(diǎn)。

4 TE案例研究

Tennessee Eastman Process(TE Process)是由Downs和Vogel提出的一個用于過程驗(yàn)證的仿真平臺。目前已被廣泛認(rèn)可和使用。這個平臺包括了五個主要的操作單元:反應(yīng)器、冷凝器、分離器、汽提塔和循環(huán)壓縮機(jī),有四種反應(yīng)氣體(A、B、C和E)、兩種液體產(chǎn)物(G和H)、一種副產(chǎn)品(F)和少量惰性氣體(B),真實(shí)描述了設(shè)備、能量和裝置之間的關(guān)系[17]。TE過程共有22個連續(xù)過程變量和19個非連續(xù)變量,分別由3臺成分分析儀和12個操作變量采集。本文中除了反應(yīng)器攪拌器的攪拌速度外,所有22個連續(xù)變量和11個操作變量都被選作用于過程檢測。TE模擬器可產(chǎn)生21種不同類型的故障,其中包括15種已知故障類型和6種未知故障類型,具體在表2中給出。本節(jié)我們將用IKPCA和傳統(tǒng)KPCA監(jiān)測TE模型,驗(yàn)證IKPCA的有效性。

表2 TE過程的故障類型

訓(xùn)練數(shù)據(jù)集共包含960個正常情況下采集的樣本,每個故障的測試數(shù)據(jù)集包含960個樣本,從第161個樣本開始引入故障。在故障檢測中,大家一般通過經(jīng)驗(yàn)確定核函數(shù)及核函數(shù)參數(shù)。這里我們選取了3個模型,分別是KPCA_P(基于Ploynomial Kernel的KPCA模型)參數(shù)為d=2[18]、KPCA_G(基于Gaussian Kernel的KPCA模型)參數(shù)為c=10m[19]和KPCA_C(基于Cauchy Kernel的KPCA模型)由于使用Cauchy Kernel進(jìn)行故障監(jiān)測的較少,所以經(jīng)反復(fù)實(shí)驗(yàn)參數(shù)選取為監(jiān)測效果較好的e=8 000。用這三個模型進(jìn)行對比實(shí)驗(yàn),并為不同的模型均勻選取系列參數(shù),其中:KPCA_P參數(shù)為d=t、KPCA_G參數(shù)為c=2t-15m、KPCA_C參數(shù)為e=1 000t,t=1,2,…,8。通過這些KPCA子模型建立IKPCA。顯然用于對比的三個模型也是IKPCA的子模型。建立每個子模型時保留30個主成分,顯著性水平設(shè)為0.01。接下來用我們選取三個KPCA模型和IKPCA模型對21種故障進(jìn)行檢測。在表3中列出了四種模型對21種故障的檢測率,可以看出,幾乎對于所有的故障類型IKPCA都能更加準(zhǔn)確地檢測出來,避免了只能較好檢測部分故障的缺點(diǎn)。

表3 21種故障的故障檢測率

故障5是冷凝器冷卻水進(jìn)口溫度的躍階變化,冷凝器出口到氣液分離器的流速增加,導(dǎo)致氣液溫度和分離器冷卻水出口溫度升高。通過閉環(huán)控制可以使分離器溫度回到設(shè)定值附近。從表3的結(jié)果可以看出檢測故障5時,SPE與T2統(tǒng)計(jì)量同時取得了較好的檢測效果,避免了選取某一模型而導(dǎo)致的只有SPE或T2效果好的情況。故障10是4號流(C進(jìn)料)是隨機(jī)溫度變化,四個模型對該故障檢測結(jié)果如圖2和圖3所示?？梢园l(fā)現(xiàn)與其他子模型相比,IKPCA檢測所得到的SPE和T2性能要更好。特別地,在400到600之間有許多故障樣本無法被SPE統(tǒng)計(jì)量檢測到的IKPCA的SPE幾乎大部分都可以檢測到。16和19是兩種未知故障,從表3中可以看到IKPCA的SPE比其他模型的SPE對故障檢測效果更好,更加敏感。故障20也是一種未知故障,IKPCA對故障20的T2和SPE檢測率分別是81.4%和88.6%,遠(yuǎn)遠(yuǎn)高于其他模型的檢測結(jié)果。由上可知IKPCA提高了故障的檢測性能且避免了單一核函數(shù)模型只能對其中部分故障較好監(jiān)測的問題。

圖2 故障10檢測1

圖3 故障10檢測2

5 結(jié) 語

本文針對傳統(tǒng)KPCA監(jiān)測方法的不足之處提出一種基于集成學(xué)習(xí)和貝葉斯推理的IKPCA監(jiān)測方法。IKPCA首先利用集成學(xué)習(xí)方法建立多個具有不同核函數(shù)和參數(shù)的KPCA子模型,然后利用貝葉斯推理策略分兩次將不同KPCA子模型的結(jié)果融合,得出最終的故障監(jiān)測概率。實(shí)驗(yàn)結(jié)果表明,與通過經(jīng)驗(yàn)選擇單一的核函數(shù)及參數(shù)的KPCA模型相比,IKPCA模型不僅對參數(shù)及核函數(shù)的選取有更強(qiáng)的魯棒性,而且可以顯著地提高監(jiān)測性能,保證了對每種故障能較好的監(jiān)測,具有廣闊的應(yīng)用場景。例如,基于核的非線性故障診斷、故障識別、故障分類等,我們都可以采用這種思想,以達(dá)到更好的效果。