蘇祖強,湯寶平,姚金寶
(重慶大學機械傳動國家重點實驗室,重慶 400030)
基于敏感特征選擇與流形學習維數(shù)約簡的故障診斷
蘇祖強,湯寶平,姚金寶
(重慶大學機械傳動國家重點實驗室,重慶 400030)
針對故障診斷中特征集包含非敏感特征和維數(shù)過高的問題,提出基于特征選擇(Feature Selection,F(xiàn)S)與流形學習維數(shù)約簡的故障診斷方法。提出一種改進的核空間距離測度特征選擇方法(Improved Kernel Distance Measurement Feature Selection,IKDM-FS),在核空間中計算樣本類間距離和類內散度,優(yōu)選出使樣本類間距大、類內散度小的特征,并根據(jù)特征的敏感程度對特征進行加權。通過線性局部切空間排列算法(Linear Local Tangent Space Alignment,LLTSA)對由敏感特征組成的特征子集進行特征融合,提取出對故障分類更加敏感的融合特征,并輸入加權k最近鄰分類器(Weighted k Nearest Neighbor Classifier,WKNNC)進行故障識別。WKNNC具有比k最近鄰分類器(k Nearest Neighbor Classifier,KNNC)更加穩(wěn)定的識別精度。最后,通過滾動軸承故障模擬實驗驗證了該方法的有效性。
故障診斷;特征選擇;改進的核空間距離測度;線性局部切空間排列;加權k最近鄰分類器
要對機械故障進行更加準確、有效地診斷,就必須要提取大量的故障特征,獲得盡可能多的、從各個方面反映故障的特征信息。但是,這會造成特征集的維數(shù)過高,同時還可能引入非敏感特征,嚴重地影響了故障診斷精度的進一步提高。
故障特征往往都是非線性的,因此,使用傳統(tǒng)的線性降維方法來解決特征集維數(shù)過高的問題,不能得到很好的效果。最近,不少專家、學者將非線性流形學習方法引入到故障診斷中,實現(xiàn)對高維故障特征集的維數(shù)約簡,并取得了很好的效果,如:Li等[1]利用監(jiān)督局部線性嵌入算法實現(xiàn)故障特征集的維數(shù)約簡,提高了故障診斷的精度;蔣全勝等[2]利用拉普拉斯特征映射算法進行特征映射,在降維的同時有效地保留了原始特征集全局分布的幾何結構信息;李鋒等[3]則通過線性局部切空間排列算法對故障特征集進行維數(shù)約簡,以獲得更好的故障診斷效果,等。但是,非線性流形學習算法仍然無法消除非敏感特征的影響,導致故障診斷精度難以進一步提高。
本文提出基于特征選擇(FS)與流形學習維數(shù)約簡相結合的故障診斷方法:首先,采用改進的核空間距離測度特征選取方法(IKMD-FS)優(yōu)選出特征集中對故障敏感的特征組成敏感特征子集,并根據(jù)特征的敏感程度對其進行加權;然后,通過線性局部切空間排列算法(LLTSA)[4]對優(yōu)選出的敏感特征子集進行降維,以獲取對故障更加敏感的融合故障特征。最后,通過加權k最近鄰分類器(WKNNC)[5]進行故障模式識別。
1.1 核空間距離測度特征選擇
對小樣本集和線性不可分數(shù)集進行特征選擇時,基于傳統(tǒng)的距離測度特征選擇方法難以取得滿意的效果。為了克服這一不足,蔡哲元等[6]基于核方法提出基于核空間距離測度的特征選擇方法(Kernel Distance Measurement Feature Selection,KDM-FS),將核空間距離作為可分性判據(jù),認為使核空間中不同類樣本間距離大的特征具有更好的分類性能。
核方法常用于支持矢量機[7]來對線性不可分數(shù)據(jù)集進行分類,其基本思想是通過映射函數(shù)φ(x)將樣本從線性不可分的低維空間非線性地映射到線性可分的高維核空間進行處理,而核空間中向量的點積可由核函數(shù)得到:K(x,y)=(φ(x),φ(y))。因此,可根據(jù)核函數(shù)得到任意兩點p1,p2間的核空間距離Dk(p1,p2):
常用的核函數(shù)有線性核函數(shù)、多項式核函數(shù)和高斯徑向基核函數(shù)等。其中高斯徑向基核函數(shù)具有單一的對數(shù)形式,能夠極大地削弱數(shù)據(jù)集中可能包含的離群點對特征選取的影響,且計算方便、參數(shù)較少,因此此處選用高斯徑向基核函數(shù)[6],其形式如式(2)所示:
當選用高斯徑向基核函數(shù)進行計算時,式(1)可進一步化簡為如下形式:
在樣本點核空間距離的基礎上,可以計算得到第a(a=1,…,C)類樣本集和第b(b=1,…,C)類樣本集間的平均距Dabk,C為樣本類別數(shù):
式中:Na,Nb分別表示第a類樣本集和第b類樣本集的樣本數(shù),xai代表第a類樣本集中的第i個樣本,xbj代表第b類樣本集中的第j個樣本。而基于核方法的可分性判據(jù)Jk,即核空間中不同類樣本集間距離的平均值,可由下式計算得到:
根據(jù)蔡哲元等[6]的經(jīng)驗,在對核參數(shù)σ進行選取時,可在各類樣本集中隨機選擇10組樣本,對每組樣本在參數(shù)空間[-6,6]中找到使其核空間距離測度最大的值作為核參數(shù),將10組樣本核參數(shù)的平均值作為最終的核參數(shù)。雖然KDM-FS克服了傳統(tǒng)方法的一些不足,在選擇精度上有了一定程度的提高,但是由于沒有考慮樣本類內聚集程度對特征可分性的影響,這樣可能無法將非敏感特征完全排除。
1.2 改進的核空間距離測度特征選擇
針對KDM-FS的不足,本文提出了IKDM-FS,將核空間中樣本類間距離與樣本類內散度一起作為可分性判據(jù),認為使樣本在核空間中類間距大且類內散度小的特征具有更好的分類性能。改進算法中樣本類間距離計算方法與1.1節(jié)相同,而核空間中樣本類內散度的計算過程如下:
式中:Na和xai的定義與1.1節(jié)相同,而為第a類樣本集的均值,計算如下:
最后,通過計算核空間中類間距離和類內散度的比值來判定特征的敏感程度:
其中:ξl為第l(l=1,…,Nf)個故障特征的特征敏感度,Nf為故障特征個數(shù)。為方便進行后續(xù)處理,此處對特征敏感度ξl進行了歸一化處理,將特征敏感度值轉化到值域空間[0,1]上,歸一化后的敏感度值仍記為ξl:
最后,通過歸一化的特征敏感度ξl值優(yōu)選出敏感特征,顯然ξl值越大的特征對故障越敏感。
1.3 特征加權
雖然通過特征選擇排除了大量的干擾特征和非敏感特征,使得流形學習的降維效果有所改善,但是在使用流形學習算法進行非線性維數(shù)約簡時,通常給所有特征賦予相同的權值1,即認為所有特征都具有相同的重要程度[1-3],這使得敏感特征的優(yōu)越性無法得到充分地體現(xiàn)。因此,為了使更加敏感的特征在故障診斷中起更重要的作用,本文提出根據(jù)特征的敏感程度對特征進行加權處理,將ξl作為權值給特征進行加權,使得在對數(shù)據(jù)集進行非線性維數(shù)約簡時每個特征的重要程度有所不同。本文以所采用的LLTSA為例說明特征加權的作用。LLTSA通過主成分分析[8]算法來獲取特征集的局部流形結構,主成分分析算法根據(jù)特征方差大小來判定特征包含信息量的多少,而給敏感特征加權能使其方差相對于其它敏感程度較低的特征而言增大,如下式所示:
其中:σ2ξl為加權后樣本集的方差,σ2=E(xi-E(xi)2),(i=1,…,N)為加權前的方差,xi為
C樣本集的第i個樣本,N=a∑=1Na為樣本集的樣本總數(shù)。因此對特征進行加權相當于使低維子空間的坐標軸偏向于更敏感的特征,使其在故障診斷中起更加重要的作用。
LLTSA是一種十分有效的非線性維數(shù)約簡方法[4],其基本思想是通過樣本點鄰域的低維切空間來描述流形局部幾何結構,然后將低維切空間進行全局排列得到樣本點的低維全局坐標。該方法是對局部切空間排列算法[9]的線性逼近,具有很好的推廣和聚類能力,同時具有顯性的映射關系,能夠將新增樣本點直接映射到所屬低維子空間。LLTSA的實現(xiàn)主要包含以下幾個步驟:
(1)構造鄰域:對每個樣本點xi(i=1,…,N)確定其k個近鄰點Xi=[xi1,xi2,…,xik],N為樣本集包含的樣本個數(shù)。
(2)提取局部信息:為了保證Xi的局部結構,采用切空間來對Xi的結構進行線性逼近,即:
其中:x為局部鄰域Xi的中心點,Hk=I-eeT/k為中心化矩陣。最優(yōu)的局部映射Qi由XiHk的d(d為低維流形子空間的維數(shù))個最大特征值對應的特征向量構成。通過Qi即可得到Xi的局部線性逼近Ωi=[θi1,θi2,…,θik],即Ωi=QTiXiHk,其中θij為xij的局部低維表述。
(3)局部切空間全局排列:局部切空間全局排列的目標是找到一組低維坐標T=[t1,…,tN],使得將所有樣本點xi的局部切空間Ωi映射到全局低維坐標Ti=[ti1,…,tik]的誤差之和最小,即:
式中:Li為將Ωi映射到Ti的映射矩陣。由上式易得,當Li=TiHk(I-Ω+iΩi)時映射誤差最小。其中Ω+i為Ωi的Moore-Penrose廣義逆。若令Si(i=1,…,N)為一個0-1選擇矩陣則Ti=TSi,記Wi=Hk(I-Ω+iΩi),(i=1,…,N),則式(12)可進一步轉化為:
其中:S=[S1,…,SN]、W=dig(W1,…,WN)。為了保證T的唯一性,給其添加了一個約束I=TTT,且考慮到最終需要得到一個顯性的映射關系:T=ATXHN,若令B=SWWTST,則可將式(13)的最小化問題轉化為廣義特征值的求解:
與上式中最小的d個廣義特征值相對應的廣義特征向量αi,…,αd組成的矩陣即為映射矩陣A。通過映射矩陣A可以將樣本集從高維空間映射到低維流形子空間:T=ATXHN,從而實現(xiàn)對高維特征集的維數(shù)約簡得到低維的融合特征子集。融合特征集比原始高維特征子集更加敏感,且特征間相互獨立,具有很好的可分性,將其輸入分類器即可識別出故障的類別。
WKNNC[5]是k最近鄰分類器(KNNC)[10]的改進算法。若設Y={(yi,li),yi∈Rd,i=1,…,N}是由N個樣本組成的訓練樣本集,li(i=1,…,Ks)是樣本的類別標簽,yi為測試樣本,Ks為樣本類別數(shù),則分類器的目標是識別出測試樣本yt的類別lt。
傳統(tǒng)KNNC的原理是根據(jù)測試樣本和訓練樣本之間的距離,在訓練樣本集中選取出離測試樣本最近的kc個樣本yj(j=1,…,kc),而在這kc個訓練樣本中擁有最多樣本的樣本類即為測試樣本的類別,如下式所示:
其中:
KNNC直接根據(jù)訓練樣本集在測試樣本的kc個最近鄰樣本中所包含的樣本個數(shù)來確定測試樣本的類別,其識別精度容易受到分類器鄰域大小kc值的影響,這種影響在樣本集分布發(fā)散時表現(xiàn)得尤為明顯,且分類器的最佳領域大小kc也難以確定。因此,Hechenbichler等[5]提出了WKNNC,對測試樣本yt和其近鄰訓練樣本yj同類的概率進行累加,得到y(tǒng)t為類別li(i=1,2,…,K)的后驗概率,將后驗概率最大的訓練樣本類作為測試樣本的類別:
式中:lj(j=1,…,kc)代表yt的第j個近鄰樣本的類別。而在計算測試樣本yt和訓練樣本yj同類的概率時,選用高斯核函數(shù)將標準化后的yt與yj的距離D(yt,yj)轉化為樣本yt和yJ同類的概率[5,11]:
其中:D(yt,yj)為標準化后的yt與yj的距離,其計算過程為:
式中yk+1是測試樣本yt的第k+1個最近鄰樣本。由于WKNNC是通過后驗概率大小來判斷測試樣本類別的,因此較KNNC而言具有更加穩(wěn)定的識別精度,受鄰域大小選取的影響小。
本文選取11個時域特征(均值、方差、均方根、峰值、偏態(tài)系數(shù)等)和13個頻域特征(中心頻率、頻譜均值、頻譜均方根、頻率方差等)組成原始特征集,特征集詳細情況見文獻[10]。
本文提出的故障診斷方法實現(xiàn)過程如圖1所示。
圖1 故障診斷算法的實現(xiàn)Fig.1 Flow chart of the fault diagnosismethod
本文方法的實現(xiàn)過程主要有以下幾個步驟:
(1)基于IKDM-FS優(yōu)選出過故障敏感的特征、根據(jù)敏感程度對其加權組成敏感特征子集,并得到高維故障樣本集X={xi∈RD,i=1,2,…,N},其中xi為由敏感特征組成的故障樣本,D為敏感特征的個數(shù)。
(2)將高維故障樣本集輸入LLTSA進行訓練,得到映射矩陣A及故障樣本的低維全局坐標{yi∈Rd,i=1,2,…,N},其中d為融合特征的個數(shù)。而低維的故障樣本集及其類別標簽則組成了WKNNC的訓練樣本集{yi,li}。
(3)通過映射矩陣A對測試樣本進行特征融合,將結果輸入WKNNC得到測試樣本的故障類別。
5.1 實驗數(shù)據(jù)
本文的實驗數(shù)據(jù)來源于凱斯西儲大學(Case Western Reserve University)電氣工程實驗室的滾動軸承實驗數(shù)據(jù)。實驗軸承型號為6205-2RS,軸承內徑為25 mm,外徑為52 mm,厚度為15 mm,節(jié)徑為39.04 mm。實驗臺主軸轉速為1 750 r/min,采樣頻率為48 kHz,振動信號由安裝在軸承座上的加速度傳感器獲取。按時間順序以4 028個采樣值為1組,分別測取損傷尺寸為0.355 6 mm的軸承外圈故障、內圈故障、滾動體故障(嚴重)和故障尺寸為0.177 8 mm的軸承滾動體故障(輕度)及正常狀態(tài)下的振動信號各50組(共250組),以其中的30組作為訓練樣本,剩余的20組作為測試樣本。圖2為軸承各狀態(tài)下振動信號的時域波形。
圖2 軸承各狀態(tài)下振動信號的時域波形Fig.2 The time-domain waveform of the 5 kinds of fault signals
5.2 實驗結果
圖3為兩種特征選取方法的計算結果,本文選取敏感程度ξl大于0.5的特征做為敏感特征。從圖3的結果可以看出:基KDM-FS優(yōu)選出的敏感特征為:第2、3、4、5、10、11、12、13、14、23個特征,共10個特征,記為X1;而本文提出的IKDM-FS優(yōu)選出的敏感特征為:第2、3、4、5、7、9、10、12、13個特征,共9個特征,記為X2。同時,根據(jù)特征的敏感程度ξl對特征子集X1、X2中的特征進行加權處理,加權后的特征子集仍記為X1、X2。
圖3 特征選取結果Fig.3 Result of the feature selection
分別將X1,X2和原始特征集(X)輸入LLTSA進行特征融合,LLTSA有兩個參數(shù)需要設置:低維子空間的維數(shù)d和鄰域大小k。目前關于流形學習參數(shù)的選取還沒有統(tǒng)一的評價指標,在實際應用中通常將低維子空間的維數(shù)d選擇為樣本類別數(shù)C減1[12],因此本文選取低維子空間的維數(shù)d=4;而在選擇鄰域大小k時,如果k值太小無法保證鄰域間信息的互通,k值太大則將破壞流形的局部結構,但k值應當滿足大于低維子空間的維數(shù)d、小于各類樣本的樣本數(shù)Ni(i=1,…,C),即d<k<N[13],針對本文則應當滿足4<k<30,本文選取領域大小K=8。
圖4所示為原始特征集的非線性將維結果,可以看出,由于原始混合特征集中包含較多的非敏感特征,因此特征融合效果不理想,兩種滾動體故障(嚴重、輕度)仍然沒有被有效地分離開。
圖4 原始混合特征集(X)的降維結果Fig.4 Processing result of the raw feature setby LLTSA
圖5 KDM-FS選取的敏感特征子集(X1)的降維結果Fig.5 Processing result of the feature subset X1by LLTSA
圖6 IKDM-FS選取的敏感特征子集(X2)的降維結果Fig.6 Processing result of the feature subset X2by LLTSA
圖5為基于KDM-FS的敏感特征子集進行特征融合的結果,可以看出,由于排除了部分的非敏感特征,降維后基本能夠將幾種軸承狀態(tài)分離開。但是,由于沒有考慮特征的類內散度,造成非敏感特征沒有完全排除或者敏感特征誤選的情況,因此,降維后樣本類內散度仍然很大,且外圈故障和滾動體故障(嚴重)還存在較大的耦合。
圖6中為IKDM-FS的敏感特征子集進行特征融合的結果,可以看出,由于IKDM-FS充分地考慮了特征樣本的類內散度和類間距離,能夠有效地排除非敏感特征,因此通過特征融合后,很好地將幾種軸承狀態(tài)樣本分離開,同時具有較好的聚類效果。
最后,將融合敏感特征子集輸入分類器進行故障識別。為了驗證分類器鄰域大小kc對識別精度的影響,本文分別選取分類器的鄰域大小kc=8、10、12進行實驗,實驗結果如表1所示。
從表1可以看出,由于原始特征集中包含有非敏感特征,因此,故障識別精度較低,平均識別率為94%;而KDM-FS沒有考慮樣本類內散度的影響,導致非敏感特征沒有完全排除或者敏感特征誤選,影響了識別精度的進一步提高,其平均識別率為97%;本文提出的IKMD-FS充分地利用了核空間中樣本類內散度和類間距離,有效地排除了非敏感特征,因此其能夠準確、有效地識別出故障的類別。
通過對比試驗可以看出:WKNNC的識別精度幾乎不受鄰域大小kc的影響,而KNNC的識別精度受鄰域大小kc的影響比較明顯。
本文提出基于敏感特征選取與流形學習維數(shù)約簡的故障診斷方法,其原理是:結合敏感特征選取與流形學習維數(shù)約簡的特點,有效地排除原始特征集中的非敏感特征并對其進行非線性維數(shù)約簡,得到對故障更加敏感的融合特征子集,然后通過WKNNC對故障進行模式識別。通過實驗驗證,本文方法能夠有效、精確地識別出故障的類別,為故障診斷提供了一種新的解決思路。
本文的后續(xù)研究可以從以下幾個方面進行:
(1)深入研究故障機理,揭示故障與故障特征之間的本質聯(lián)系。
(2)特征加權的權值選取規(guī)則還需要進一步的分析和研究。
(3)本文還未對早期故障(即故障萌芽即將出現(xiàn)、剛剛出現(xiàn)或者故障程度尚輕微)進行研究,后續(xù)研究可深入到早期故障的預示與識別。
表1 幾種故障狀態(tài)的識別精度(W、K分別代表WKNNC和KNNC)Tab.1 The recognition accuracy of the 5 kinds of fault signals of bearing(W、K indicateW KNNC and KNNC respectively)
[1]Li B W,Zhang Y.Supervised locally linear embedding projection(SLLEP)for machinery fault diagnosis[J].Mechanical Systems and Signal Processing,2011,25:3125-3134.
[2]蔣全勝,賈民平,胡建中,等.基于拉普拉斯特征映射的故障模式識別方法[J].系統(tǒng)仿真學報,2008,20(20):5710-5713.
JIANG Quan-sheng,JIA Min-ping,HU Jian-zhong,et al.Method of fault pattern recognition based on laplacian eigenmaps[J].Journal of System Simulation,2008,20(20):5710-5713.
[3]李 鋒,湯寶平,陳法法.基于線性局部切空間排列維數(shù)化簡的故障診斷[J].振動與沖擊,2012,31(13):36-40.
LI Feng,TANG Bao-ping,CHEN Fa-fa.Fault diagnosis model based on dimension reduction using linear local tangent space alignment[J].Journal of Vibration and Shock,2012,31(13):36-40.
[4]Zhang TH,Yang J,Zhao D L,et al.Linear local tangent space alignment and application to face recognition[J].Mechanical Systems and Signal Processing,2007,70:1547-1553.
[5]Hechenbichler W,Schliep K.Weighted K-nearest-neighbor techniques and ordinal classification[OL].http://Epub.ub.Uni-muenchen.de/1769/,2007-4-10/2008-9-12.
[6]蔡哲元,余建國,李先鵬,等.基于核空間距離測度的特征選擇[J].模式識別與人工智能,2010,23(2):235-240.
CAIZhe-yuan,YU Jian-guo,LI Xian-peng,et al.Feature selection algorithm based on kernel distance measure[J].Pattern Recognition and Artificial Intelligence,2010, 23(2):234-240.
[7]Avci E,Turkoglu L.An intelligent diagnosis system based on principle component analysis and ANFIS for the heart valve[J].Expert Systems with Applications,2009,36(2):2873-2878.
[8]Zhang Z Y,Zha H Y.Peincipal manifolds and nonlinear dimension reduction via local tangent space alignment[J].SIAMJournalof Scientific Computation,2004,26(1):313-338.
[9]Songbo T.An effective refinement strategy for KNN text classifier[J].Expert Systems with Applications,2006,30:290-298.
[10]雷亞國,何正嘉,訾艷陽.基于混合智能新模型的故障診斷[J].機械工程學報,2008,44(7):112-117.
LEI Ya-guo,HE Zheng-jia,ZI Yan-yang.Fault diagnosis based on novel hybrid intelligentmodel[J].Chinese Journal ofMechanical Engineering,2008,44(7):112-117.
[11]朱明旱,羅大庸,易勵群.一種序列的加權kNN分類方法[J].電子學報,2009,37(11):2584-2588.
ZHU Ming-han,LUO Da-yong,YI Li-qun.A sequential weighted k-Nearest neighbor classificationmethod[J].A c ta Electronica Sinica,2009,37(11):2584-2588.
[12]Kouropteva O.Unsupervised learning with locally linear embedding algorithm;an experimental study[D].Finland:University of Joensuu.Department of Computer Science and Statistics,2001.
[13]宋 濤,湯寶平,李 鋒.基于流行學習和K-最近鄰分類器的旋轉機械故障診斷方法[J].振動與沖擊,2013,32(5):149-153.
SONG Tao,TANG Bao-ping,LI Feng.Fault diagnosis method for rotatingmachinery based onmanifold learning and K-nearest neighbor classifier[J].Journal of Vibration and Shock,2013,32(5):149-153.
Fau lt diagnosism ethod based on sensitive feature selection and manifold learning dimension reduction
SU Zu-qiang,TANG Bao-ping,YAO Jin-bao
(The State Key Laboratory of Mechanical Transmission,Chongqing University,Chongqing400030,China)
A fault diagnosis method based on feature selection(FS)and linear local tangent space alignment(LLTSA)was proposed,aiming at solving the problem that there are non-sensitive features and over-high dimensions in the feature set of a fault diagnosis.Firstly,improved kernel distance measurement feature selection method(IKDM-FS)was proposed considering both the distance between classes and the dispersion within a class,and the selected sensitive features were weighted with their sensitive-values.The weighted sensitive feature subset was compressed with LLTSA to reduce its dimensions and get the compressed more sensitive feature subset.Then,the feature subset was fed into a weighted k nearest neighbor classifier(WKNNC)to recognize the fault type,its recognition accuracy wasmore stable compared with that of a k nearest neighbor classification(KNNC).At last,the validity of the proposed method was verified with fault diagnosis tests of a rolling bearing.
fault diagnosis;feature selection;improved kernel distance measurement;linear local tangent space alignment;weighted k nearest neighbor classifier
TH165.3;TN911.2
A
國家自然科學基金項目(51275546,51375514);高等學校博士學科點專項科研基金資助(20130191130001)
2012-12-17 修改稿收到日期:2013-03-23
蘇祖強男,博士生,1987年生
湯寶平男,博士,教授,1971年生