基于互信息的PCA方法及其在過程監(jiān)測中的應(yīng)用

童楚東，史旭華

（寧波大學(xué)信息科學(xué)與工程學(xué)院，浙江 寧波 315211）

基于互信息的PCA方法及其在過程監(jiān)測中的應(yīng)用

童楚東，史旭華

（寧波大學(xué)信息科學(xué)與工程學(xué)院，浙江 寧波 315211）

主元分析（PCA）是一種經(jīng)典的特征提取方法，已被廣泛用于多變量統(tǒng)計(jì)過程監(jiān)測，其算法的本質(zhì)在于提取過程數(shù)據(jù)各變量之間的相關(guān)性。然而，傳統(tǒng)PCA算法中定義的相關(guān)性矩陣局限于計(jì)算變量間的線性關(guān)系，無法衡量兩個(gè)變量間相互依賴的強(qiáng)弱程度。為此，提出一種新的基于互信息的PCA方法（MIPCA）并將之應(yīng)用于過程監(jiān)測。與傳統(tǒng)PCA所不同的是，MIPCA通過計(jì)算兩兩變量間的互信息來定義相關(guān)性，將原始相關(guān)性矩陣取而代之為互信息矩陣，并利用該互信息矩陣的特征向量實(shí)現(xiàn)對過程數(shù)據(jù)的特征提取。在此基礎(chǔ)上，可以建立相應(yīng)的統(tǒng)計(jì)監(jiān)測模型。最后，通過實(shí)例驗(yàn)證MIPCA用于過程監(jiān)測的可行性和有效性。

主元分析；數(shù)值分析；過程系統(tǒng)；互信息；故障檢測；統(tǒng)計(jì)過程監(jiān)測

引 言

近年來，針對以主元分析（PCA）為代表的多變量統(tǒng)計(jì)過程監(jiān)測方法的研究已經(jīng)受到了工業(yè)界和學(xué)術(shù)界的廣泛關(guān)注，其基本思想都是從工業(yè)過程采集的數(shù)據(jù)中挖掘出能反映過程運(yùn)行狀況的潛在信息[1-2]。這類方法通常是在分析高維過程數(shù)據(jù)特征后，按照一定的方式將其投影降維至低維子空間，并將獲得的信息以統(tǒng)計(jì)量的形式提供給操作人員。它不需要過程的機(jī)理模型，因而很適合于監(jiān)測現(xiàn)代大型復(fù)雜化工業(yè)過程[2-4]。

通常來講，PCA這種經(jīng)典的特征提取方法是通過計(jì)算過程數(shù)據(jù)集的協(xié)方差矩陣或相關(guān)矩陣，再利用矩陣的特征向量確定降維投影的方向。它所提取的潛隱變量（或稱主元）能體現(xiàn)原始數(shù)據(jù)空間的相關(guān)性特征。雖然，PCA方法用于分析過程數(shù)據(jù)時(shí)意義明確，易于實(shí)施，但是，計(jì)算變量間的協(xié)方差或相關(guān)系數(shù)只能反映變量之間的線性關(guān)系，無法衡量變量間的非線性關(guān)系[5]。因此，傳統(tǒng)的PCA方法用于提取數(shù)據(jù)特征時(shí)具有很大的局限性。以核PCA（kernel PCA, KPCA）方法[6]為基礎(chǔ)的非線性過程監(jiān)測方法雖然能有效應(yīng)對非線性過程數(shù)據(jù)，但是針對映射后的高維空間數(shù)據(jù)變量間的相關(guān)性，KPCA方法依舊計(jì)算的是相關(guān)系數(shù)，仍未涉及變量之間的非線性相關(guān)性。值得注意的是，KPCA在建立模型時(shí)，需要人為地設(shè)定核函數(shù)及其參數(shù)，不同的參數(shù)設(shè)置會直接影響到KPCA方法的故障檢測效果[7]。此外，其他借鑒和學(xué)習(xí)技巧的非線性過程監(jiān)測算法，如Kernel Dissimilarity[8]、核獨(dú)立元分析[4]等已被相繼提出并用于解決非線性過程監(jiān)測問題。

在信息論領(lǐng)域里，互信息是一種很有用的信息度量，它可以用來解釋一個(gè)隨機(jī)變量中包含的另一個(gè)隨機(jī)變量的信息量[9]?；バ畔⑦@種度量相關(guān)性的方式在于衡量兩個(gè)變量間的共同擁有的信息，不局限于單純的線性關(guān)系，對變量之間的非線性關(guān)系也能進(jìn)行評估?；バ畔⑹且环N無參數(shù)、非線性的測度指標(biāo)，目前，它已經(jīng)在數(shù)據(jù)分析與建模領(lǐng)域引起了較多的關(guān)注[10-11]。此外，多變量統(tǒng)計(jì)過程監(jiān)測領(lǐng)域也有一些借鑒互信息分析處理過程數(shù)據(jù)的研究成果[12-13]。

本文針對傳統(tǒng)PCA算法定義相關(guān)性矩陣只考慮變量間線性關(guān)系的不足，提出一種基于互信息的PCA算法（MIPCA）用于統(tǒng)計(jì)過程建模。具體來講，該算法首先計(jì)算過程數(shù)據(jù)集兩兩測量變量間的互信息，并組建相應(yīng)的互信息矩陣。然后，對該互信息矩陣進(jìn)行特征值分解，并選取少數(shù)幾個(gè)占主導(dǎo)地位的特征向量作為降維投影方向。最后，對所提取的成分信息和模型殘差信息分別構(gòu)造統(tǒng)計(jì)量作為過程監(jiān)測指標(biāo)。值得注意的是，用于監(jiān)測模型殘差變化的傳統(tǒng)指標(biāo)，即平方預(yù)測誤差（SPE或Q），已不適合監(jiān)測MIPCA模型的殘差。因?yàn)?，傳統(tǒng)Q統(tǒng)計(jì)量假設(shè)模型殘差各向同性且方差最小[14]。為此，本文在MIPCA模型的基礎(chǔ)上，進(jìn)一步地對模型殘差進(jìn)行奇異值分解，然后對非零奇異值對應(yīng)的成分建立T2統(tǒng)計(jì)量進(jìn)行監(jiān)測。最后，利用Tennessee Eastmann（TE）[15]仿真實(shí)驗(yàn)平臺對比分析MIPCA與其他方法（PCA和KPCA）的監(jiān)測效果，驗(yàn)證該方法的有效性。

1 基本方法

1.1 主元分析（PCA）

PCA是一種經(jīng)典的數(shù)據(jù)降維方法，其提取的主元可以摒除原始數(shù)據(jù)空間的冗余信息而保留大量的方差信息，并且各主元變量相互正交[16]。假設(shè)X∈Rn×m（n為樣本數(shù)，m為變量數(shù)）是一個(gè)經(jīng)過標(biāo)準(zhǔn)化處理后的數(shù)據(jù)矩陣，通過對X進(jìn)行奇異值分解，可建立PCA統(tǒng)計(jì)模型，即[1]

式中，T∈Rn×d和P∈Rm×d分別是主元得分矩陣和載荷矩陣，分別是殘差得分矩陣和載荷矩陣，E∈Rn×m為殘差矩陣，d＜m為選取的主元個(gè)數(shù)。式（1）說明X在載荷矩陣各向量方向上的投影即是得分矩陣。在求解PCA模型的過程中，主元載荷向量實(shí)際上是X的協(xié)方差矩陣C

前d個(gè)最大特征值Λ=diag{λ1,λ2,…,λd}所對應(yīng)的特征向量。因此，所投影得到的主元能體現(xiàn)X中各變量間的相關(guān)性。

當(dāng)PCA統(tǒng)計(jì)模型應(yīng)用于故障檢測時(shí)，需要對主元和殘差信息分別構(gòu)建T2統(tǒng)計(jì)量和Q統(tǒng)計(jì)量，即

從上兩式中可以發(fā)現(xiàn)，2T和Q指標(biāo)分別定義了平方馬氏距離和平方歐式距離。對應(yīng)控制限的確定方法可參考文獻(xiàn)[1]。

1.2 互信息（MI）

互信息（MI）是信息論里一種有用的信息度量，它可以看成是一個(gè)隨機(jī)變量中包含的關(guān)于另一個(gè)隨機(jī)變量的信息量，或者說是一個(gè)隨機(jī)變量由于已知另一個(gè)隨機(jī)變量而減少的不肯定性。設(shè)兩個(gè)隨機(jī)變量x和y的聯(lián)合分布為p(x,y)，邊緣概率分別為p(x)和p(y)，互信息I(x,y)則定義成

若x和y之間不存在重疊的信息，即相互獨(dú)立時(shí)，互信息值等于0。反之，若兩者間的相關(guān)性越高，互信息值越大。由式（7）可知，求解(,)Ix y需要已知變量x和y的分布密度概率，這在實(shí)際中通常是很難滿足的，常用的解決方法是使用核密度估計(jì)方法來確定對應(yīng)的概率值。

2 基于MIPCA的過程監(jiān)測方法

2.1 MIPCA算法

互信息可以用來衡量變量間共有的信息量，它所定義的相關(guān)性不局限于線性關(guān)系。因此，利用互信息定義相關(guān)性矩陣具有比較大的優(yōu)勢，這也就是本文所提出的MIPCA算法的基本出發(fā)點(diǎn)。將式（4）中協(xié)方差矩陣各元素替換為互信息，即

其中，Ci,j為相關(guān)性矩陣C中的第(i,j)個(gè)元素，I(xi,xj)為測量變量xi和xj的互信息值。在本文中，互信息的計(jì)算直接采用MATLAB工具箱MIToolbox[17]。

與PCA算法類似，MIPCA求解投影向量的問題可以轉(zhuǎn)化為如下特征值問題，即

式（9）中前k個(gè)最大的特征值γ1≥γ2≥…≥γk所對應(yīng)的特征向量A=[α1,α2,…,αk]即是MIPCA算法的投影向量?；诖耍纯山⑷缦翸IPCA模型

其中，Y=XA為MIPCA算法的潛隱變量所組成的矩陣，F(xiàn)∈Rn×m是模型殘差矩陣。Y和F分別定義了MIPCA模型的特征子空間（feature subspace，F(xiàn)S）和殘差空間（residual subspace，RS）。

2.2 基于MIPCA模型的過程監(jiān)測方法

當(dāng)MIPCA用于在線監(jiān)測新采集的樣本數(shù)據(jù)x∈Rm×1時(shí)，需首先將其投影至特征子空間中，

new并建立如下監(jiān)測統(tǒng)計(jì)量

其中，ynew=ATxnew，S為式（10）中Y的協(xié)方差矩陣，F(xiàn)α(k,n?k)表示自由度為k和n?k的F分布在置信限α下的取值。

通常情況下，式（6）中定義的Q統(tǒng)計(jì)量可用來監(jiān)測MIPCA模型殘差空間的變化情況，但是F中有不可忽略的方差信息。因而，需要對殘差作進(jìn)一步的處理。利用奇異值分解可以將F表示成如下形式

其中，Q=UD=FV=X(I?AAT)V，對角矩陣D∈R(m?k)×(m?k)對角線上的元素為m?k個(gè)非零奇異值，V∈Rm×(m?k)則由這m?k個(gè)非零奇異值所對應(yīng)的向量組成，且相互正交。那么新樣本xnew所對應(yīng)的殘差信息就被進(jìn)一步的表示成

由于殘差量各方向上的方差大小不一，可對式（13）構(gòu)造如下平方馬氏距離統(tǒng)計(jì)量

相比之下，傳統(tǒng)的Q統(tǒng)計(jì)量采用的是平方歐式距離，要求殘差信息的方差各向同性且大小可忽略，沒有充分考慮殘差量中方差大小不同所帶來的影響。另外，統(tǒng)計(jì)量的控制限確定方式與式（11）類似。

3 仿真實(shí)驗(yàn)研究

為了測試各種不同監(jiān)測方法的有效性和優(yōu)越性，一個(gè)合適的測試平臺必不可少。在目前發(fā)表的眾多論文中，TE仿真過程是一個(gè)被學(xué)者們廣泛采納的測試平臺，這主要是因?yàn)樗姆磻?yīng)過程和生產(chǎn)結(jié)構(gòu)都是非常復(fù)雜的，已經(jīng)成為測試不同控制方法和過程監(jiān)測策略的標(biāo)準(zhǔn)實(shí)驗(yàn)平臺[18-20]。TE過程的流程示意圖如圖1所示，主要由連續(xù)攪拌反應(yīng)器、產(chǎn)品冷凝器、氣液分離塔、汽提塔和離心式壓縮機(jī)等5個(gè)生產(chǎn)單元組成。TE過程可連續(xù)測量22個(gè)過程變量和12個(gè)操作變量，還可以仿真模擬21種不同的故障類型，詳細(xì)資料可參見文獻(xiàn)[18]。在本文的研究中，選取過程可連續(xù)測量的33個(gè)變量作為監(jiān)測變量，詳情可參考文獻(xiàn)[7]。過程的測試數(shù)據(jù)集可從網(wǎng)站http://web. mit.edu/braatzgroup/links.html上下載。

離線建模階段，利用正常工況下的960個(gè)樣本建立PCA、KPCA和MIPCA的過程監(jiān)測模型以作對比分析用。其中，PCA和MIPCA模型選取的潛隱變量個(gè)數(shù)都取為9，KPCA模型的高斯核函數(shù)參數(shù)c與潛隱變量個(gè)數(shù)d設(shè)定值參考文獻(xiàn)[21,22]，考慮兩組不同的參數(shù)設(shè)定值，置信限α統(tǒng)一取值99%。

圖1 TE過程結(jié)構(gòu)Fig.1 Flowsheet of Tennessee Eastman process

首先，利用PCA和MIPCA方法對TE過程21種故障工況進(jìn)行監(jiān)測，并計(jì)算針對每種故障監(jiān)測的故障漏報(bào)率，詳情列于表1中。值得注意的是，故障3、9和15由于對過程的影響甚微，很多文獻(xiàn)都證實(shí)這3種故障是很難被有效地檢測出來的[7,23]。因此，在本文研究中不予考慮。在表1中，取得最小漏報(bào)率的監(jiān)測指標(biāo)已用黑體標(biāo)出。顯而易見，MIPCA方法在絕大多數(shù)故障類型上能取得優(yōu)越于傳統(tǒng)PCA方法的監(jiān)測結(jié)果。尤其是針對故障5、10、16、19，故障漏報(bào)率得到大幅度的下降。雖然，MIPCA方法在故障13、17和18上的監(jiān)測效果不如傳統(tǒng)PCA方法優(yōu)越，但是相應(yīng)的漏報(bào)率相差微乎其微。為了更好地體現(xiàn)MIPCA相對于PCA方法的優(yōu)越性，將故障5的過程監(jiān)測圖顯示于圖2中。很顯然，傳統(tǒng)PCA方法對故障5存在很大的漏報(bào)，而MIPCA方法能一直持續(xù)觸發(fā)故障警報(bào)。

表1 TE過程故障漏報(bào)率Table 1 Fault missing alarm rates of TE process: PCAvsMIPCA/%

圖2 故障5的過程監(jiān)測結(jié)果Fig.2 Monitoring charts of fault 5

表2 TE過程故障漏報(bào)率Table 2 Fault missing alarm rates of TE process: KPCAvsMIPCA/%

其次，為了更進(jìn)一步地驗(yàn)證MIPCA方法相比于KPCA方法的優(yōu)越性，將它們對應(yīng)的故障檢測結(jié)果列于表2中。值得注意的是，由于KPCA模型建立時(shí)需人為確定對應(yīng)核函數(shù)參數(shù)與潛隱變量個(gè)數(shù)，而前面已經(jīng)提到核參數(shù)與潛隱變量的選擇會對KPCA方法產(chǎn)生影響。因此，表中2所列的KPCA方法的監(jiān)測結(jié)果分兩組，分別對應(yīng)文獻(xiàn)[21]和[22]中的參數(shù)取值。從表2中可以發(fā)現(xiàn)，KPCA方法在c=1024 m，d=29這組參數(shù)取值下，在絕大多數(shù)故障類型上能取得優(yōu)越于MIPCA方法的監(jiān)測結(jié)果。但是，KPCA方法在另外一組參數(shù)取值條件下，故障檢測效果遠(yuǎn)不如本文所提出的MIPCA方法。因此，KPCA方法的監(jiān)測效果在一定程度上取決于參數(shù)的設(shè)定。若是沒有充分的經(jīng)驗(yàn)知識，實(shí)際應(yīng)用中很難為之確定一組較好的參數(shù)值。可以說，相比于KPCA這種非線性的過程監(jiān)測方法，本文的MIPCA方法仍具有一定的優(yōu)越性。

在對比分析了MIPCA方法故障漏報(bào)效果后，還需繼續(xù)驗(yàn)證MIPCA方法的故障誤報(bào)率。通常來講，較低的故障漏報(bào)率容易對應(yīng)較高的故障誤報(bào)率，也即將正常數(shù)據(jù)樣本錯(cuò)誤的判別為故障。利用另一組正常工況下采集到的500個(gè)數(shù)據(jù)，檢驗(yàn)PCA和MIPCA各統(tǒng)計(jì)指標(biāo)的誤報(bào)率，對應(yīng)結(jié)果如表3所示。從表中可以看出，MIPCA的故障誤報(bào)率略低于PCA算法。通過表1～表3的對比分析，充分驗(yàn)證了基于MIPCA的過程監(jiān)測方法的優(yōu)越性和有效性。

表3 TE過程故障誤報(bào)率Table 3 Fault false alarm rates of TE process/%

4 結(jié) 論

本文提出了一種基于MIPCA的統(tǒng)計(jì)過程監(jiān)測方法。針對傳統(tǒng)PCA模型求解過程中未充分考慮過程數(shù)據(jù)測量變量間的非線性相關(guān)性，在原有PCA方法的基礎(chǔ)上，引入互信息定義數(shù)據(jù)的相關(guān)性矩陣。新的MIPCA方法不再局限于描述過程數(shù)據(jù)變量間的線性相關(guān)性，能為過程數(shù)據(jù)建立更確切的描述模型。在TE過程上的仿真研究也充分說明了MIPCA方法優(yōu)越于傳統(tǒng)PCA方法。然而，MIPCA仍舊是一種線性投影方法，如何把該方法擴(kuò)展成非線性形式，對下一步的工作提出了挑戰(zhàn)。此外，針對故障診斷的研究還需進(jìn)一步的研究。

[1] Qin S J. Statistical process monitoring: basics and beyond [J].Journalof Chemometrics, 2003, 17 (7/8): 480-502.

[2] Ge Z, Song Z, Gao F. Review of recent research on data-based process monitoring [J].Industrial & Engineering Chemistry Research, 2013, 52 (10): 3543-3562.

[3] Qin S J. Survey on data-driven industrial process monitoring and diagnosis [J].Annual Reviews in Control, 2012, 36 (2): 220-234.

[4] Fan J, Wang Y. Fault detection and diagnosis of non-linear non-Gaussian dynamic processes using kernel dynamic independent component analysis [J].Information Sciences, 2014, 259: 369-379.

[5] Fan Xueli (范雪莉), Feng Haihong (馮海泓), Yuan Meng (原猛). PCA based on mutual information for feature selection [J].Control and Decision (控制與決策)，2013, 28 (6): 915-919.

[6] Lee J M, Yoo C K, Choi S W, Vanrolleghem P A, Lee I B. Nonlinear process monitoring using kernel principal component analysis [J].Chemical Engineering Science, 2004, 59 (1): 223-234.

[7] Tong C, Song Y, Yan X. Distributed statistical process monitoring based on four-subspace construction and Bayesian inference [J].Industrial & Engineering Chemistry Research, 2013, 52 (29): 9897-9907.

[8] Zhao C, Wang F, Zhang Y. Nonlinear process monitoring based on kernel dissimilarity analysis.Control Engineering Practice, 2009, 17 (1): 221-230.

[9] Li W. Mutual information functions versus correlation functions [J].Journal of Statistical Physics, 1990, 60 (5/6): 823-837.

[10] Kwak N, Choi C. Input feature selection for classification problems [J].IEEE Transactions on Neural Networks, 2002, 13 (1): 143-159.

[11] Han M, Ren W, Liu X. Joint mutual information-based input variable selection for multivariate time series modeling [J].Engineering Applications of Artificial Intelligence, 2015, 37: 250-257.

[12] Verron S, Tiplica T, Kobi A. Fault detection and identification with a new feature selection based on mutual information [J].Journal of Process Control, 2008, 18 (5):479-490.

[13] Jiang Q, Yan X. Plant-wide process monitoring based on mutual information-multiblock principal component analysis [J].ISATransactions, 2014, 53 (5): 1516-1527.

[14] Ge Zhiqiang (葛志強(qiáng)), Song Zhihuan (宋執(zhí)環(huán)). PICA based process monitoring method [J].Journal of Chemical Industry and Engineering(China) (化工學(xué)報(bào)), 2008, 59 (7): 1665-1670.

[15] Downs J J, Vogel E F. A plant-wide industrial process control problem [J].Computers & Chemical Engineering, 1993, 17 (3): 245-255.

[16] Xie L, Lin X, Zeng J. Shrinking principal component analysis for enhanced process monitoring and fault isolation [J].Industrial & Engineering Chemistry Research, 2013, 52 (49): 17475-17486.

[17] MIToolbox for C and MATLAB. http://www.cs.man.ac.uk/~pococka4 /MIToolbox.html.

[18] Chiang L H, Russell E L, Braatz R D. Fault Detection and Diagnosis in Industrial Systems [M]. London: Springer-Verlag, 2001.

[19] Tong C, Palazoglu A, Yan X. Improved ICA for process monitoring based on ensemble learning and Bayesian inference [J].Chemometrics & Intelligent Laboratory Systems, 2014, 135: 141-149.

[20] Zhao Zhonggai (趙忠蓋), Liu Fei (劉飛). Factor analysis and its application to process monitoring [J].Journal of Chemical Industry and Engineering(China) (化工學(xué)報(bào)), 2007, 58 (4): 970-974.

[21] Lee J M, Qin S J, Lee I B. Fault detection of non-linear processes using kernel independent component analysis[J].The Canadian Journal of Chemical Engineering, 2007, 85 (4), 526-536.

[22] Shao J D, Rong G, Lee J M. Generalized orthogonal locality preserving projections for nonlinear fault detection and diagnosis[J].Chemometrics & Intelligent Laboratory Systems, 2009, 96 (1): 75-83.

[23] Wang J, He Q P. Multivariate statistical process monitoring based on statistics pattern analysis [J].Industrial & Engineering Chemistry Research, 2010, 49 (17): 7858-7869.

Mutual information based PCA algorithm with application in process monitoring

TONG Chudong, SHI Xuhua
(Faculty of Electrical Engineering & Computer Science,Ningbo University,Ningbo315211,Zhejiang,China)

Principal component analysis (P monitoring CA) is a classical algorithm for feature extraction and has been widely used in multivariate statistical process. The essence of the PCA algorithm is to extract the correlation between process variables. However, the correlation matrix defined in the traditional PCA algorithm is limited to consider the linear relationship between variables, which cannot be employed to analyze the mutual dependence between two measured variables. With recognition of this lack, a novel mutual information based PCA (MIPCA) method is proposed for process monitoring. Distinct from the traditional PCA, MIPCA defines the relationship between variables by calculating the mutual information, and the original correlation matrix is replaced by the resulting mutual information matrix. The eigenvectors of the mutual information matrix can thus be utilized as the directions of feature extraction. On the basis of MIPCA, a statistical process monitoring model can then be constructed. Finally, the feasibility and effectiveness of the MIPCA-based monitoring method are validated by a well-known chemical process.

principal component analysis; numerical analysis; process systems; mutual information; fault detection; statistical process monitoring

SHI Xuhua, shixuhua@nbu.edu.cn

10.11949/j.issn.0438-1157.20150374

TP 277

：A

：0438—1157（2015）10—4101—06

2015-03-23收到初稿，2015-05-29收到修改稿。

聯(lián)系人：史旭華。

：童楚東（1988—），男，博士，講師。

浙江省自然科學(xué)基金項(xiàng)目（LY14F030004）；浙江省科技廳公益項(xiàng)目（2015C31017）。

Received date: 2015-03-23.

Foundation item: supported by the Natural Science Foundation of Zhejiang Province, China (LY14F030004).