PCA－ICA化工過程監(jiān)控中的PCA白化性能分析

姜慶超， 顏學(xué)峰

（華東理工大學(xué)化工過程先進(jìn)控制和優(yōu)化技術(shù)教育部重點實驗室，上海200237）

獨立元分析（independent component analysis，ICA）是一種用于揭示隨機變量，測量數(shù)據(jù)或信號隱藏成分的多元統(tǒng)計技術(shù)，已廣泛應(yīng)用于過程監(jiān)控領(lǐng)域［1－3］，其可以看成基于主元分析（principal component analysis，PCA）過程監(jiān)控方法的延展［1，3］。PCA過程監(jiān)控方法假設(shè)：（1）過程變量均滿足高斯分布；（2）觀測變量滿足獨立同分布。然而，實際的工業(yè)過程并不一定滿足這些假設(shè)；PCA只能去除變量之間的相關(guān)性，并不能保證其相互獨立；一些觀測數(shù)據(jù)中包含的隱變量也不能得到有效的估計［4－5］。而ICA并不需要上述假設(shè)，其一方面能夠充分利用高階統(tǒng)計量，另一方面能夠從觀測數(shù)據(jù)中提取更好反映過程特征的、相互獨立的獨立元，進(jìn)而實現(xiàn)更有效地過程監(jiān)控。因此，人們對基于ICA過程監(jiān)控的關(guān)注日益增加，動態(tài)ICA、核ICA等用于解決不同過程對象監(jiān)控問題的擴展方法也不斷涌現(xiàn)，取得了良好的監(jiān)控效果［6－8］。在基于ICA的過程監(jiān)控中，觀測數(shù)據(jù)的白化處理是必要的，其中最常用的是PCA白化。目前，大多數(shù)學(xué)者注重于尋找白化后數(shù)據(jù)的獨立元，而沒有對白化處理本身進(jìn)行分析［2，9－10］。同時，有些學(xué)者認(rèn)為在白化階段，可以通過PCA對數(shù)據(jù)進(jìn)行去噪和降維處理，使獨立元的選取變得更為容易［3］。事實上，數(shù)據(jù)的白化處理會對過程獨立元的選取以及過程監(jiān)控的結(jié)果產(chǎn)生影響。白化處理不當(dāng)，會造成過程重要信息的損失［1］，導(dǎo)致過程故障的漏檢或者故障源誤識別，最終影響過程監(jiān)控效果。本文對基于ICA（PCA－ICA）過程監(jiān)控的PCA白化行為進(jìn)行了深入分析，找到PCA白化過程中存在的問題，并提出一種減少故障信息損失，改善過程監(jiān)控性能的有效建議。

1 數(shù)據(jù)的白化處理

在對過程數(shù)據(jù)進(jìn)行獨立元分析之前，要先對混合向量做白化或球面化處理。如果一個零均值向量z＝［z1，…，zn］T的元素zi是不相關(guān)的且具有單位方差，用協(xié)方差矩陣的形式表示即E＝｛zzT｝＝I，其中I為單位矩陣，則稱該向量z為白的。例如白噪聲，元素zi可以是一個時間序列在相繼時間點i＝1，2，…，n的值，且在噪聲序列中無時間上的相關(guān)性。白化問題的本質(zhì)是去相關(guān)加上縮放，因此可以通過線性變換來完成，PCA變換便是其中一種最常用的方法［1］。假設(shè)均值方差標(biāo)準(zhǔn)化處理后的正常樣本數(shù)據(jù)為X∈Rn×m（n為采樣點數(shù)，m為觀測變量數(shù)），建立PCA模型為：

在PCA模型中，Hotelling T2統(tǒng)計量由T2＝xTP（∑k）－1PTx給出。T2統(tǒng)計量具有直接沿著每個主元方向測量數(shù)據(jù)變異的特性［12－13］，每個主元的T2統(tǒng)計量能夠表征樣本數(shù)據(jù)沿該主元方向的變異程度。經(jīng)過PCA白化處理后，得到了不相關(guān)變量矩陣T；基于T，估計ICA模型。

2 獨立元分析

ICA模型估計的出發(fā)點就是根據(jù)非高斯即獨立原理，將非高斯性極大化。衡量非高斯性的方法主要有：基于峭度的方法和基于負(fù)熵的方法。在這里，采用負(fù)熵作為非高斯的度量。對于白化后的矩陣T，可以建立ICA過程模型為TT＝BS，S＝ˉBTT，即

式中S∈Rl×n，B∈Rk×l和∈Rt×k分別為獨立元矩陣、變化矩陣和變換矩陣B的偽逆，l為過程獨立元的個數(shù)，W∈Rl×m為信源分離矩陣。W需要先通過微分熵準(zhǔn)則來估計，獲得S的估計模型

一個密度為py（η）的隨機向量，其微分熵定義為：

在信息論中，一個基本的結(jié)論為：在具有相同方差的所有隨機變量中，高斯變量具有最大的熵。這表明熵可以作為非高斯性的一種度量。為使非高斯性度量為非負(fù)的量值，且使高斯變量其取值為零，負(fù)熵被定義為：

其中ygauss是與y具有相同相關(guān)矩陣的高斯隨機向量。如果用一個非二次函數(shù)G，J（y）的計算可以近似為

式中c＞0為一個與計算信源分離矩陣W無關(guān)的常數(shù)。單個獨立元可以表示為s＝wXT，其中w為W的行向量，最常用W矩陣的估計算法是Fast ICA算法［1］。

I2統(tǒng)計量用來測量特征空間中的數(shù)據(jù)變異，其定義為：

其中snew（i）為i時刻新觀測數(shù)據(jù)x（i）在獨立元方向上的投影，snew（i）＝Wx（i）。I2統(tǒng)計量控制限由核密度估計得出［2］。

3 PCA白化對ICA過程監(jiān)控的影響分析

3.1 簡易仿真過程的PCA白化分析

針對以下8變量過程仿真系統(tǒng)：

x1＝3＋0.2ε1（n）；

x2＝11＋0.2ε2（n）；

x3＝17＋0.3ε3（n）；

x4＝200＋0.3ε4（n）；

x5＝20－0.3x1＋0.8x2＋4ε5（n）；

x6＝21＋x2－0.3x3＋x5＋5ε6（n）；

x7＝30－0.5x1＋0.8x2＋x4；

x8＝15＋x2＋x3；

x＝［x1x2x3x4x5x6x7x8］

其中變量xi（i＝1，2，…，8）為觀測變量，εj（n）～N（0，1）（j＝1，2，…，6），n為采樣數(shù)。選取n＝100個正常運行樣本作為建模樣本，通過PCA白化后，建立ICA過程監(jiān)控模型。選取另外200個采樣時刻的數(shù)據(jù)作為測試樣本，這些數(shù)據(jù)在第151個時刻對x6引入了正20的均值偏差干擾，即x6＝21＋x2－0.3x3＋x5＋5ε6（n）＋20，利用建立的PCA－ICA模型對其進(jìn)行故障檢測。

圖1給出了基于正常過程樣本數(shù)據(jù)各主元方差以及累積方差貢獻(xiàn)圖，其中，前5個主元的累積方差貢獻(xiàn)率達(dá)到了97.5%。因此，在PCA白化階段通常保留前5個主元而舍棄主元6－8。基于前5個主元形成的樣本數(shù)據(jù)，建立ICA模型，并對得到的測試樣本數(shù)據(jù)進(jìn)行故障檢測。其故障檢測效果如圖2所示。從圖2中可以看出，PCA－ICA過程監(jiān)控沒有取得好的效果，沒有及時將過程故障檢測出來。

Fig.1 Cumulative variances contributions of principal components in the 8 variables process圖1 8變量過程主元累積方差貢獻(xiàn)圖

Fig.2 Monitoring performance of ICA with 97.5% variances contributions retained in PCA whitening圖2 PCA白化過程保留97.5%方差貢獻(xiàn)率的ICA過程監(jiān)控效果

為了分析PCA白化對ICA過程監(jiān)控的影響，將沿著第m個主元方向的T2統(tǒng)計量T2m定義為：

其中x為采樣數(shù)據(jù)，pm為載荷矩陣P中第m個載荷向量，λm為正常樣本協(xié)方差矩陣的第m 個特征根。用統(tǒng)計量表征故障數(shù)據(jù)沿每個主元方向的變異程度，其結(jié)果如圖3所示。從圖3中可以看出，當(dāng)故障發(fā)生時，故障數(shù)據(jù)沿著第6個主元方向具有最大的變異性，沿著第6個主元方向統(tǒng)計量顯示出良好的故障檢測性能，即第6個主元方向上包含了該故障的主要信息。在圖3中，前5個主元包含著正常樣本的大量方差信息；而當(dāng)故障發(fā)生時，數(shù)據(jù)在前5個主元方向上的變異程度很小，即可認(rèn)為故障信息較少；而第6個主元方向包含著較多能夠表征故障的信息。如果在PCA白化時第6主元被剔除，就會造成故障信息的丟失，進(jìn)而影響ICA的過程檢測效果。

Fig.3 T2 statistics along each principal component in the 8 variables process when the fault occurs圖3 故障發(fā)生時8變量過程中沿著每一個主元方向的T2統(tǒng)計量

下面考察保留6個主元的PCA－ICA過程監(jiān)控效果，結(jié)果如圖4所示。白化階段保留了主元6之后，ICA過程監(jiān)控能及時地檢測出故障，改善了過程監(jiān)控性能。

Fig.4 Monitoring performance of ICA with fault information retained in PCA whitening圖4 白化階段保留故障信息主元的ICA過程監(jiān)控效果

3.2 TE過程的PCA白化分析

TE過程（Tennessee－Eastman Process，TEP）是由伊斯曼化學(xué)品公司創(chuàng)建的，是基于一個真實工業(yè)過程的仿真，其目的是為評價過程控制和監(jiān)控方法提供一個現(xiàn)實的工業(yè)過程。流程包括反應(yīng)器、冷凝器、壓縮機、分離器和汽提塔等5個主要單元，涉及A，B，C，D，E，F(xiàn)，G和H等8種成分，含有41個測量變量和12個控制變量，能產(chǎn)生21種預(yù)設(shè)故障［14－16］。對其中52個變量進(jìn)行分析，采樣時間間隔為3min，仿真過程為48h，所有故障均在第161個采樣點時引入。下面對基于PCA白化的ICA過程監(jiān)控故障檢測性能進(jìn)行分析。

圖5給出了基于正常樣本得到的各主元方差貢獻(xiàn)圖，其中前40個主元累積方差貢獻(xiàn)率達(dá)到98%以上。因此，通常認(rèn)為前40個主元幾乎包含著過程的全部信息；主元41至50主要包含著噪聲信息，在PCA白化階段被舍棄。

Fig.5 Cumulative variances contributions of principal components in TE process圖5 TE過程主元累積方差貢獻(xiàn)圖

下面考察白化過程中保留不同主元對ICA過程監(jiān)控效果的影響。圖7和圖8中分別給出了當(dāng)TE過程中故障1和故障16發(fā)生時，基于PCAICA過程監(jiān)控中分別保留主元1－10、主元11－20、主元21－30、主元31－40以及41－50時的I2統(tǒng)計量對故障的監(jiān)控效果。

從圖7中可以看出，在PCA白化階段保留前幾個方差貢獻(xiàn)率大的主元，然后建立ICA模型使用I2統(tǒng)計量對故障1進(jìn)行監(jiān)控也可以取得較好的監(jiān)控效果。這是因為故障1發(fā)生時大量主元的變異程度都較大，因而在白化階段保留任一部分主元均可對過程實現(xiàn)較好的監(jiān)控。

Fig.6 T2 statistics along each principal component in the 8 variables process when fault 16 occurs圖6 故障16發(fā)生時沿著每一個主元方向的T2統(tǒng)計量

從圖8中可以看出，在PCA白化過程中保留前40個主元會造成故障16故障信息的丟失，無法通過I2統(tǒng)計量將故障16檢測出來；主元41－50方向上包含著較多的故障信息，若僅保留主元41－50可以獲得良好的監(jiān)控效果。

Fig.7 Monitoring performance of ICA with different principal components retained in PCA whitening when fault 1 occurs in TE process圖7 白化階段保留不同主元的ICA過程監(jiān)控對TE過程中故障1的監(jiān)控效果

4 結(jié)束語

從以上的分析中可以看出，在白化階段對數(shù)據(jù)進(jìn)行降維處理是有風(fēng)險的，可能會造成有用故障信息的丟失，導(dǎo)致故障漏檢，造成安全事故。PCA白化的本質(zhì)是將過程數(shù)據(jù)通過線性變換投影到不相關(guān)的主元上，即將過程信息映射到不同的主元方向上，如果在PCA白化階段對數(shù)據(jù)進(jìn)行降維處理，就會去除過程數(shù)據(jù)沿著某一方向的信息。仿真分析發(fā)現(xiàn)：包含正常樣本數(shù)據(jù)最大方差信息的主元并不一定包含著最大的故障信息；反之，包含正常樣本數(shù)據(jù)最小方差信息的主元可能包含顯著的故障信息。舍棄某些方差較小的主元進(jìn)行數(shù)據(jù)降維，可能將包含過程故障信息的主元剔除，影響ICA的過程監(jiān)控效果?；谝陨戏治?，建議在PCA白化階段，只舍棄部分對應(yīng)特征值為0的主元，盡量不對過程數(shù)據(jù)進(jìn)行降維處理，以避免在白化過程中造成故障信息的丟失，影響過程監(jiān)控效果。

Fig.8 Monitoring performance of ICA with different principal components retained in PCA whitening when fault 16 occurs in TE process圖8 白化階段保留不同主元的ICA過程監(jiān)控對TE過程中故障16的監(jiān)控效果

［1］ Hyv?rinen A，Karhunen J，Oja E.Independent component analysis［M］.［s.n.］：John wiley ＆sons，Inc，2001.

［2］ Lee J M，Yoo C K，Lee I B.Statistical process monitoring with independent component analysis［J］.Journal of process control，2004，14：467－485.

［3］ 陳國金，梁軍，錢積新.獨立元分析方法（ICA）及其在化工過程監(jiān)控和故障診斷中的應(yīng)用［J］.化工學(xué)報，2003，54（10）：1474－1477.

［4］ 王海清，宋執(zhí)環(huán)，王慧.PCA過程監(jiān)測方法的故障檢測行為分析［J］.化工學(xué)報，2002，54（3）：297－301.

［5］ Lee J M，Yoo C K，Lee I B.Statistical process monitoring with independent component analysis［J］.Journal of process control，2004，14：467－485.

［6］ Lee J M，Yoo C K，Lee I B.Statistical monitoring of dynamic processes based on dynamic independent component analysis［J］.Chemical engineering science，2004，59：2995－3006.

［7］ Wang L，Shi H B.Multivariate statistical process monitoring using an improved independent component analysis［J］.Chemical engineering research and design，2010，88：403－414.

［8］ Odiowei P P，Cao Y.State－space independent component analysis for nonlinear dynamic process monitoring［J］.Chemometrics and intelligent laboratory systems，2010，103：59－65.

［9］ Hoyer P O，Hyv?rinen A.Independent component analysis applied to feature extraction from color and stereo images［J］.Computation in neural systems，2000，11（3）：191－210.

［10］ Zhang Y W，Zhang Y.Fault detection of non－Gaussian processed based on modified independent component analysis［J］.Chemical engineering science，2010，65：4530－4539.

［11］ Johnson R A，Wichern D W.Applied Multivariate statistical analysis［M］.6th ed.［s.n.］：Pearson education，Inc，2007.

［12］ Jackon J E.Quality control methods for several related variables［J］.Technometrics，1959，1：359－377.

［13］ Chiang L H，Russell E L，Braatz R D.Fault detection and diagnosis in industrial systems［M］.London：Springer，2001.

［14］ Downs J J，Vogel E F.A plant－wide industrial－process control［J］.Computers ＆chemical engineering，1993，17：245－255.

［15］ McAvoy T J，Ye N.Base control for the Tennessee Eastman problem［J］.Computers ＆chemical engineering，1994，18（5）：383－413.

［16］ McAvoy T J，Ye N，Chan G.An improved base control for the Tennessee Eastman problem［C］／／In proc.of the American control conf.［s.n］：IEEE press，1995：240－244.