稀疏特征選擇在過程工業(yè)故障診斷中的應(yīng)用

于春梅

西南科技大學(xué)信息工程學(xué)院，四川綿陽 621010

稀疏特征選擇在過程工業(yè)故障診斷中的應(yīng)用

于春梅

西南科技大學(xué)信息工程學(xué)院，四川綿陽 621010

從一定意義上講，故障診斷可以看成是用模式識別或者模式分類方法來解決故障的分類問題[1]。作為一種有效的降維手段，多元統(tǒng)計類方法在大規(guī)模工業(yè)系統(tǒng)，如過程工業(yè)的故障檢測和診斷中發(fā)揮了重要作用。已經(jīng)證明，如果直接對被測量采用主元分析法（Principal Component Analysis，PCA）或者Fisher判據(jù)分析法（Fisher Discriminant Analysis，F(xiàn)DA），得出的故障診斷結(jié)果并不理想。特征選擇方法從原始空間選擇子集，不僅可以降低數(shù)據(jù)維數(shù)，減少計算量；還可以去除冗余信息，有效提高故障診斷效果[2]。

影響特征選擇的兩個主要因素一是選擇準(zhǔn)則（影響精度），二是搜索算法（影響速度）。對于選擇準(zhǔn)則，一般采用可分性準(zhǔn)則或基于時頻分析的方法；搜索算法一般分為窮盡搜索、順序搜索和隨機(jī)搜索。對特征選擇的改進(jìn)要么在選擇準(zhǔn)則上有所創(chuàng)新，要么在搜索算法上下功夫，又或者二者兼而有之。隨著對壓縮傳感研究的深入，不少學(xué)者意識到特征選擇問題也可以表示成壓縮傳感的優(yōu)化問題求解；這時，選擇準(zhǔn)則為優(yōu)化目標(biāo)函數(shù)，而搜索算法則是優(yōu)化問題的求解算法。Yang等[3]將識別問題轉(zhuǎn)化為尋找訓(xùn)練集中圖像特征的稀疏表達(dá)問題；Cao等[4]利用稀疏優(yōu)化問題選擇基因SNP數(shù)據(jù)中的關(guān)鍵部分；二者均取得了較好的效果；但所采用的特征并不適用于過程工業(yè)數(shù)據(jù)。如何基于稀疏優(yōu)化來選擇過程工業(yè)數(shù)據(jù)的關(guān)鍵特征，使其利于對特定故障的診斷？基于稀疏表達(dá)的特征選擇與傳統(tǒng)的基于小波包和B距離的方法相比是否有優(yōu)勢？是本文的一個關(guān)鍵問題。

另外，近年來還有其他一些基于稀疏優(yōu)化的算法在模式識別等領(lǐng)域取得了不錯的效果。Zou等[5]基于PCA可以寫成回歸類型的優(yōu)化問題，將1范數(shù)項(xiàng)加入優(yōu)化準(zhǔn)則，以得到PCA負(fù)荷向量的稀疏解，即為SPCA（sparsePCA）[6]；趙忠蓋等[7]則引入了稀疏核主元分析（SKPCA），提高了監(jiān)控的實(shí)時性。這兩種方法雖然適用于過程工業(yè)數(shù)據(jù)，但只進(jìn)行了故障監(jiān)測的驗(yàn)證，沒有相關(guān)故障診斷的結(jié)果。Qiao等[8-9]將稀疏保持投影（Sparsity Preserving Projection，SPP）應(yīng)用于人臉識別，其思想是在低維空間保持稀疏重構(gòu)關(guān)系。Wright等[10]采用稀疏表達(dá)分類器（Sparse Representation Classifier，SRC）進(jìn)行人臉識別，取得了較好的效果，并被推廣應(yīng)用于其他應(yīng)用[11-13]。以上方法雖然取得了不錯的效果，但均缺乏過程工業(yè)故障診斷的有力例證。那么這些方法是否適用于過程工業(yè)的故障診斷？與特征選擇后再進(jìn)行故障診斷的方法相比，結(jié)果怎樣？是本文的另一個關(guān)鍵。

本文接下來將首先介紹基于小波包和B距離的特征提取方法在故障診斷中的應(yīng)用，接著從SRC、SPP和SPCA，引入本文所提出的基于稀疏表達(dá)的特征提取方法，并給出算法步驟。選擇出關(guān)鍵變量后，再采用Bayes分類器診斷田納西一伊斯曼（TE）過程的三類故障（http：// brahms.scs.uiuc.edu），最后給出本文方法與小波包分解和B距離方法，以及SRC、SPP、SPCA方法的比較結(jié)果。

1 基于小波包分解和B距離的特征選擇

基于小波包分解和B距離的特征選擇為特征選擇的經(jīng)典方法，本文將它們作為比較算法。下面簡單介紹將它們用于TE過程特征選擇的實(shí)施方法。

Bhattacharyya距離提供了一種兩類數(shù)據(jù)的可分性測度，簡稱B距離，其定義為：

其中，(μ1，Σ1)，(μ2，Σ2)，分別為兩類數(shù)據(jù)的均值和方差。特征選擇即選擇B距離大的變量而舍棄B距離小的變量。由于要測試的是三類故障，因此在排序時，對兩兩數(shù)據(jù)分別進(jìn)行變量排序，以和作為每個變量的總排名依據(jù)。

與B距離不同，小波包分解考慮數(shù)據(jù)的時頻域特性，由小波包分解系數(shù)的大小來確定哪些變量為重要變量。設(shè)xj(i)，i=1，2，…，l，j=1，2，…，52為TE過程的第j個檢測變量的離散采樣序列，選擇二進(jìn)小波包變換，在2N分辨率下分析，分解后的信號用xj(n，k)表示，這里n= 0，1，…，N表示分解的層數(shù)，k=1，2，…，2n代表頻段。

定義原信號能量（第j個變量）：

由于各測量量具有不同的量程，為了避免大信號占絕對主導(dǎo)，定義分解后的能量和為：

設(shè)第j個測量量在正常模式下分解后的能量和為(j)，故障情況下分解后的能量和為(j)。計算各變量在不同模式下的能量差向量：

按照能量差的大小排序，并記下每個變量對應(yīng)的序號。與B距離方法相同，在排序時，對兩兩數(shù)據(jù)分別進(jìn)行變量排序，以和作為每個變量的總排名依據(jù)。

2 基于稀疏表達(dá)的特征提取

2.1 基于稀疏表達(dá)的模式識別方法

近年來，基于稀疏表達(dá)的方法在模式識別領(lǐng)域已經(jīng)取得了不少成果，其中應(yīng)用最為廣泛的是稀疏表達(dá)分類SRC和稀疏投影保持SPP。這兩者的核心均為求解典型的稀疏優(yōu)化問題：

對于SPP，A為訓(xùn)練樣本組成的矩陣，但每次抽出一列作為y，得到一個對應(yīng)的s，設(shè)共有N個訓(xùn)練樣本，則共進(jìn)行N次優(yōu)化求解，得到N個稀疏向量，這些稀疏向量在對應(yīng)位置填充0以擴(kuò)充向量，并組成稀疏權(quán)重矩陣；以此為基礎(chǔ)，求降維矩陣，使稀疏重構(gòu)誤差最小，將降維的測試樣本與降維的訓(xùn)練樣本比較距離，即可實(shí)現(xiàn)歸類。

除了這兩種方法之外，還有一種PCA的稀疏版本，將PCA問題轉(zhuǎn)化為回歸問題，并增加1范數(shù)項(xiàng)。

其中，A為訓(xùn)練樣本，Ai為A的第i行，n為樣本數(shù)，β?為所求的稀疏負(fù)荷向量，k為主元數(shù)量。

以上三種方法中，SPP計算比較麻煩，且不能求解樣本數(shù)大于變量數(shù)的情形；SRC已經(jīng)被成功用于模式識別，但對于過程工業(yè)的故障診斷還沒有例證；SPCA可以方便地實(shí)現(xiàn)檢測，尚沒有作者實(shí)現(xiàn)識別或診斷。將提出基于稀疏優(yōu)化的特征提取方法，并與以上方法比較。

2.2 基于稀疏表達(dá)的特征提取

與以上方法不同，本文目的是從眾多測量變量中選擇出最利于分類的變量，然后采用Bayes分類器對測試樣本進(jìn)行分類。為了得到關(guān)鍵變量，對于A矩陣，不是直接由樣本構(gòu)成，而是分別用幾類訓(xùn)練樣本的均值和方差作為樣本的特征來構(gòu)成，其形式為：

表1 各種算法故障識別錯誤率（%）

其中，meani，vari，i=0，1，2分別代表故障i的均值和方差。對于輸出y，參考用于分類判別的部分最小二乘（Partial Least Squares，PLS）的輸出定義，3類共定義3列；第一列僅與故障0對應(yīng)的元素為1，其余為0，第二列僅與故障1對應(yīng)的元素為1，第三列僅與故障2對應(yīng)的元素為1，形如：

在滿足Y=AS的條件下，為了得到稀疏解，求解l1范數(shù)約束的最小二乘擬合問題，并轉(zhuǎn)化為無約束優(yōu)化問題。

所求稀疏矩陣分別由與Y的各列對應(yīng)的稀疏向量構(gòu)成：

其中S表示不同變量對幾類的貢獻(xiàn)。如果所得的S是稀疏的，則表明少數(shù)不為0的元素對應(yīng)的變量對分類起主導(dǎo)作用，將選擇這些變量作為關(guān)鍵變量用于故障分類。

2.3 算法步驟

采用同倫算法來求解式（10）。同倫是指隨著λ增大，目標(biāo)函數(shù)從l2懲罰轉(zhuǎn)為l1懲罰。式（10）λ≥0的解路徑{λ:λ∈[0，∞)}是多邊形的，而且，解路徑的頂點(diǎn)對應(yīng)解子集。子集為關(guān)于λ的分段常數(shù)，僅在λ的關(guān)鍵值（對應(yīng)解路徑的頂點(diǎn)）發(fā)生變化。這個演變的子集（evolving subset）叫做有效集（active set），基于此提出的同倫算法沿著解路徑從一個頂點(diǎn)跳到另一個頂點(diǎn)，開始于空的有效集λ=0(λ→∞)，在每個頂點(diǎn)，通過添加或移出變量來迭代更新有效集。對于k稀疏問題，同倫算法在k步找到最優(yōu)解[14]，其算法步驟如下：

3 仿真比較

采用田納西-伊斯曼（TE）過程數(shù)據(jù)為仿真數(shù)據(jù)源，以故障0、1、2的訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)來進(jìn)行仿真實(shí)驗(yàn)，故障0指正常工況，故障1和故障2均在第160個采樣周期后引入；訓(xùn)練樣本從第70個開始取，幾種方法所選的關(guān)鍵變量均為6個，SPCA、SPP以及SRC的稀疏度為6。

根據(jù)前述的過程，采用小波包分解方法得到的關(guān)鍵變量為50，19，37，10，47，1；采用B距離方法得到的關(guān)鍵變量為18，19，1，50，47，44；采用本文方法得到的關(guān)鍵變量為44，47，19，16，3，2。提取完成后采用Bayes分類器進(jìn)行分類，得到了不同訓(xùn)練樣本的情形各種算法的識別錯誤率比較如表1。表中識別錯誤率是指故障1和故障2的漏報、誤警和錯分率之和的平均，由于故障1和故障2起始時均無故障，而是在第160個采樣周期加入故障，因而這里的識別錯誤率也包含了對于故障0的識別，也即故障的檢測。

由表1可以看出，多數(shù)情況下，SPCA比PCA效果要好，也比SRC和SPP好；無論是小波包、B距離還是本文方法，特征選擇后的效果都要明顯好于PCA和FDA，也普遍好于SPCA；在小樣本情形，基于稀疏選擇的診斷效果與其他兩種選擇方法相差不大，樣本數(shù)大于50時，基于稀疏選擇的效果明顯好于其他兩種。

4 結(jié)論

本文提出一種基于稀疏優(yōu)化的方法來選擇過程工業(yè)數(shù)據(jù)的關(guān)鍵特征，使其利于故障診斷?；赥E過程數(shù)據(jù)進(jìn)行了仿真，一方面比較其與傳統(tǒng)的PCA、FDA、基于小波包和B距離的特征選擇方法；另一方面，將近年來常用的SRC、SPP和SPCA用于TE過程的故障診斷，與本文提出的特征選擇方法后再用Bayes分類器進(jìn)行故障診斷的方法相比較。從仿真結(jié)果可以得出以下結(jié)論：（1）幾種稀疏算法中，SRC和SPP效果甚至不如普通PCA，SPCA則優(yōu)勢較為明顯，可以說除SPCA外，其余兩種并不適用于過程工業(yè)數(shù)據(jù)。（2）特征選擇確實(shí)是提高故障診斷效果的有效手段，與傳統(tǒng)的基于時頻域和基于距離準(zhǔn)則的變量選擇方法相比，基于稀疏選擇的診斷效果更好。（3）從算法的角度看，基于稀疏優(yōu)化的方法還存在所需的訓(xùn)練樣本少、計算簡單的優(yōu)點(diǎn)。綜上所述，本文提出的稀疏方法可以勝任故障診斷前期的特征選擇工作。

[1]于春梅.過程工業(yè)核化多元統(tǒng)計故障診斷方法研究[D].西安：西北工業(yè)大學(xué)，2010.

[2]吳斌，于春梅，李強(qiáng).過程工業(yè)故障診斷[M].北京：科學(xué)出版社，2011.

[3]Yang A Y，John W，Ma Yi，et al.Feature selection in face recognition：a sparse representation perspective，Technical Report No.UCB/EECS-2007-99[R/OL].California：University of California at Berkeley 2007.http：//www.eecs.berkeley. edu/Pubs/TechRpts/2007/EECS-2007-99.html.

[4]Cao Hongbao，Wang Yuping.Integrated analysis of gene expression and copy number data using sparse representation based clustering model[C]//Proceedings of the ISCA 3rd International Conference on Bioinformatics and Computational Biology，BICoB-2011，New Orleans，Louisiana，USA，2011：172-177.

[5]Zou Hui，Trevor H，Robert T.Sparse Principal Component Analysis[J].Journal of Computational and Graphical Statistics，2006，15（2）：265-286.

[6]Lee S，Epstein M P，Duncan R，et al.Sparse Principal Component Analysis for identifying ancestry-informative markers in genome-wide association studies[J].Genet Epidemiol，2012，36（4）：293-302.

[7]趙忠蓋，劉飛.基于稀疏核主元分析的在線非線性過程監(jiān)控[J].化工學(xué)報，2008，59（7）：1773-1777.

[8]Qiao L，Chen S，Tan X.Sparsity preserving projections with applications to face recognition[J].Pattern Recognition，2010，43（1）：331-341.

[9]相文楠，趙建立.監(jiān)督型稀疏保持投影[J].計算機(jī)工程與應(yīng)用，2011，47（29）：186-188.

[10]Wright J，Yang A Y，Ganesh A，et al.Robust face recognition via sparse representation[J].IEEE Trans on Pattern Anal Mach Intell，2009，31（2）：210-227.

[11]董麗夢，李鏘，關(guān)欣.基于稀疏表示分類器的和弦識別研究[J].計算機(jī)工程與應(yīng)用，2012，48（29）：133-136.

[12]李心潔，王春恒.基于稀疏表達(dá)的視頻文字檢測[J].計算機(jī)工程，2011，37（6）：145-147.

[13]Gao Shenghua，Tsang Ivor Wai-Hung，Chia Liang-Tien. Kernel sparse representation for image classification and face recognition[C]//Proceedings of the 11th European Conference on Computer Vision：Part IV.Berlin Heidelberg：Springer-Verlag，2010：1-14.

[14]Donoho D L，Yaakov T.Fast solution of l1-norm minimization problems when the solution may be sparse[J]. IEEE Transactions on Information Theory，2008，54（11）：4789-4812.

YU Chunmei

School of Information Engineering,Southwest University of Science and Technology,Mianyang,Sichuan 621010,China

In this paper,a new sparse representation based feature selection method is proposed,in which the sample matrix is composed of the mean and variant of training sample,and testing sample is the index vector responding to sample matrix. Homotopy algorithm is used to solve the optimization problem.Traditional selecting methods based on wavelet package decomposition and Bhattacharyya distance methods,and recently used sparse methods,sparse representation classifier, sparsity preserving projection and sparse principal component analysis,are compared to the proposed method.Simulations show the proposed selecting method gives the improved performance on fault diagnosis with Tennessee Eastman Process data.

sparse representation;feature selection;fault diagnosis;process industry

提出一種基于稀疏表達(dá)的特征選擇方法，用訓(xùn)練樣本的均值和方差組成優(yōu)化算法的樣本矩陣，測試樣本采用與樣本矩陣對應(yīng)的指示向量，采用同倫算法求解優(yōu)化問題。給出了算法的詳細(xì)流程，并與傳統(tǒng)的B距離法和小波包變換特征選擇方法以及近年來常用的稀疏表達(dá)分類、稀疏投影保持和稀疏主元分析針對田納西-伊斯曼過程進(jìn)行故障診斷結(jié)果比較，結(jié)果表明所提出的方法故障診斷的誤報率較低。

稀疏表達(dá)；特征選擇；故障診斷；過程工業(yè)

A

TP277

10.3778/j.issn.1002-8331.1210-0318

YU Chunmei.Sparse feature selection method for fault diagnosis of process industry.Computer Engineering and Applications,2014,50（18）：257-260.

國家自然科學(xué)基金（No.60802040）。

于春梅（1970—），女，博士，教授，主要研究方向?yàn)橄到y(tǒng)辨識，故障診斷，模式識別等。

2012-10-30

2012-12-20

1002-8331（2014）18-0257-04

CNKI網(wǎng)絡(luò)優(yōu)先出版：2013-01-15，http://www.cnki.net/kcms/detail/11.2127.TP.20130115.1140.008.html