基于深度小波自動編碼器和極限學(xué)習(xí)機(jī)的軸承故障診斷

陶沙沙， 郭順生

(1.武漢理工大學(xué)機(jī)電工程學(xué)院， 武漢 430070； 2.成都工業(yè)職業(yè)技術(shù)學(xué)院, 成都 610000)

隨著科學(xué)技術(shù)的迅速發(fā)展，現(xiàn)代旋轉(zhuǎn)機(jī)械呈現(xiàn)出高速、大規(guī)?；凹苫奶攸c，并在不同行業(yè)中起著越來越重要的作用[1]。滾動軸承不僅是旋轉(zhuǎn)機(jī)械中最重要的部件，也是一種易受損部件，因此，能夠自動、及時地識別軸承運(yùn)行狀態(tài)對于減少意外停機(jī)和經(jīng)濟(jì)損失變得越來越重要[2]。

智能診斷是近年來機(jī)械故障檢測技術(shù)新的發(fā)展趨勢，它能夠有效地分析收集到的海量數(shù)據(jù)，并自動提供可靠的診斷結(jié)果[3-4]。在各種智能診斷方法中，人工神經(jīng)網(wǎng)絡(luò)(artificial neural network,ANN)和支持向量機(jī)(support vector machine,SVM)是近幾十年來應(yīng)用最廣泛的兩種方法[5-6]。但是上述方法的診斷性能在很大程度上依賴于特征提取和選擇，如何針對不同的診斷任務(wù)從原始特征集中選擇最敏感的特征向量是限制上述方法的關(guān)鍵問題。因此，急需發(fā)展一種深度架構(gòu)，能夠?qū)崿F(xiàn)對原始振動數(shù)據(jù)的無監(jiān)督特征學(xué)習(xí)。

深度自動編碼器(deep automatic encoder,DAE)是一種無監(jiān)督的特征學(xué)習(xí)模型，由于其兼容性較強(qiáng)得到了廣泛的關(guān)注。然而，將標(biāo)準(zhǔn)DAE直接應(yīng)用于軸承智能故障診斷還存在著一定的難度。因為在實際工程中，從軸承收集到的振動信號往往十分復(fù)雜，噪聲較大且不穩(wěn)定，而標(biāo)準(zhǔn)DAE的激活函數(shù)Sigmoid函數(shù)很難建立軸承各種狀態(tài)與振動信號之間的映射關(guān)系[7]?？紤]到小波函數(shù)能夠通過改變尺度因子和位移因子，具有良好的時頻局部化特性和聚焦特征，并且成功地作為新激活函數(shù)構(gòu)建了所謂小波神經(jīng)網(wǎng)絡(luò)[8]?，F(xiàn)提出一種基于深度小波去噪自動編碼器和極限學(xué)習(xí)機(jī)的新型方法，用于滾動軸承的智能故障診斷。

1 深度小波去噪自動編碼器

1.1 標(biāo)準(zhǔn)去噪自動編碼器

去噪自動編碼器作為一種無監(jiān)督神經(jīng)網(wǎng)絡(luò)[9]，能夠使得輸入數(shù)據(jù)和輸出結(jié)果之間的重構(gòu)誤差最小化。標(biāo)準(zhǔn)去噪自動編碼器的結(jié)構(gòu)包括輸入層、隱含層和輸出層。

該編碼器的激活函數(shù)為Sigmoid函數(shù)。對于訓(xùn)練樣本x=[x1,x2,…,xm]T，首先通過Sigmoid激活函數(shù)將輸入數(shù)據(jù)轉(zhuǎn)換為一個隱含特征向量h=[h1,h2,…,hp]T，相應(yīng)的轉(zhuǎn)換公式為

h=sign(Wx+b)

(1)

sign(t)=1/(1+e-t)

(2)

(3)

式(3)中：θ′={W′,b′}為隱含層與輸出層之間的參數(shù)集。訓(xùn)練去噪自動編碼器是為了將參數(shù)集θ={θ,θ′}={W,b,W′,b′}的重構(gòu)誤差優(yōu)化至最小。對于含有S個未標(biāo)記訓(xùn)練樣本的樣本集{x1,x2,…,xS}，定義重構(gòu)誤差為

(4)

1.2 深度小波去噪自動編碼器

標(biāo)準(zhǔn)去噪自動編碼器具有強(qiáng)自適應(yīng)、強(qiáng)魯棒性、強(qiáng)推理能力和無監(jiān)督特征學(xué)習(xí)能力的特點[10]。小波變換具有時頻局部化和聚焦特征。因此，結(jié)合標(biāo)準(zhǔn)去噪自動編碼器和小波變換的優(yōu)點來解決實際問題具有重要的意義。提出一種新型的無監(jiān)督神經(jīng)網(wǎng)絡(luò)——小波自動編碼器(wavelet automatic encoder,WAE)，它具有較強(qiáng)的信號捕獲能力，能夠從復(fù)雜和非平穩(wěn)振動信號中獲取典型信息。

WAE模型用小波函數(shù)作為激活函數(shù)，從而代替?zhèn)鹘y(tǒng)的Sigmoid函數(shù)，可以用不同的分辨率描述不同的信號特征。輸入層和輸出層都有m(i,k=1,2,…,m)個節(jié)點，隱含層有p(j=1,2,…,p)個節(jié)點。對于一個訓(xùn)練樣本x=[x1,x2,…,xm]T，隱含層節(jié)點j的輸出為

(5)

式(5)中：ψ(·)為小波激活函數(shù)；xk為訓(xùn)練樣本的第k維輸入；Wjk為輸入節(jié)點k與隱含層節(jié)點j之間的連接權(quán)值；aj和cj分別表示隱含層節(jié)點j的小波激活函數(shù)的尺度因子和平移因子。

Morlet小波在時域被定義為復(fù)指數(shù)函數(shù)，在頻域具有高斯窗的形狀。在各種小波函數(shù)中，由于Morlet小波與機(jī)械脈沖信號有著很高的相似性，是應(yīng)用最廣泛的旋轉(zhuǎn)機(jī)械特征提取和故障診斷方法[11]。但是，Morlet小波在不同中心頻率條件下可能表現(xiàn)出不同的性質(zhì)，當(dāng)中心頻率大于5 Hz時，Morlet小波作用有限。因此，如何確定Morlet小波的參數(shù)對于信號處理是非常重要的。根據(jù)文獻(xiàn)[11]以及從不同工作狀況采集振動信號的要求，采用Morlet小波實部作為非線性激活函數(shù)來設(shè)計WAE，其表達(dá)式為

ψ(t)=cos(5t)exp(-t2/2)

(6)

基于Morlet小波的隱含層節(jié)點j的輸出可表示為

(7)

相應(yīng)的WAE輸出可以表示為

(8)

為了更好地獲得輸入數(shù)據(jù)的特征并且克服特征學(xué)習(xí)的過度完備性，通常將基于Kullback-Leibler (KL)散度的稀疏表示技術(shù)引入到不同類型的去噪自動編碼器的重構(gòu)誤差函數(shù)中[12]。定義WAE的改進(jìn)重構(gòu)誤差函數(shù)為

(9)

WAE訓(xùn)練的目的是優(yōu)化參數(shù)集θWAE={Wij,Wjk,aj,cj}，使重構(gòu)誤差最小。反向傳播算法是一種常用的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，為了進(jìn)一步提高收斂速度，引入了動量項。最后，參數(shù)的新規(guī)則可以表示為

(10)

(11)

(12)

(13)

式中：η為學(xué)習(xí)速率；α∈[0.9,1]為動量因子；E(t)為第t次迭代時WAE的重構(gòu)誤差。

為了進(jìn)一步提高學(xué)習(xí)特征的質(zhì)量，在WAEs的基礎(chǔ)上構(gòu)建深度架構(gòu)。由3種WAE組成的DWAE逐層構(gòu)建過程。首先，利用采集到的振動數(shù)據(jù)訓(xùn)練第1個WAE，將采集到的振動數(shù)據(jù)從輸入層轉(zhuǎn)換為隱含層，學(xué)習(xí)特征I。然后，特征I成為第2個WAE的輸入，用來獲取特征II。第3個WAE將繼續(xù)按照該模式進(jìn)行訓(xùn)練，以獲得特性III。最后，將學(xué)習(xí)到的最高層次特征輸入分類器進(jìn)行故障模式識別。

2 智能故障診斷

2.1 極限學(xué)習(xí)機(jī)

為了實現(xiàn)故障模式的自動識別，需要在DWAE的頂層增加一個智能分類器。極限學(xué)習(xí)機(jī)是一種新型的分類器[13]，它可以看作一種單隱含層前饋神經(jīng)網(wǎng)絡(luò)。與其他分類算法不同，ELM在訓(xùn)練精度和訓(xùn)練速度方面表現(xiàn)出不錯的特點，比較適用于監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)問題[14]。

(14)

式(14)中：g(·)為ELM的Sigmoid激活函數(shù)；Wi=[wi1,wi2,…,wip]T為隱含層節(jié)點i的輸入權(quán)重；βi為隱含層節(jié)點i的輸出權(quán)重；bi為隱含層節(jié)點i的偏差，oj為第j個樣本的ELM分類器的結(jié)果輸出。式(14)可以簡寫為

Hβ=T

(15)

式(15)中：

H=

(16)

(17)

式中：H為隱含層的輸出矩陣；H的第i列是對應(yīng)訓(xùn)練樣本的第i個隱含層節(jié)點輸出；β是隱含層和輸出層之間的輸出權(quán)重向量；T是目標(biāo)矩陣；ELM訓(xùn)練旨在找到參數(shù)β在輸出矩陣和目標(biāo)矩陣之間的最小誤差。根據(jù)文獻(xiàn)[15]，輸出權(quán)重β可以通過式(18)得到：

β=H+T

(18)

式(18)中：H+為隱含層輸出矩陣H的Moore-Penrose廣義逆。

2.2 智能故障診斷流程

智能故障診斷流程如圖1所示，一般步驟如下。

圖1 智能故障診斷流程Fig.1 Flow of intelligent fault diagnosis

(1)利用加速傳感器測量滾動軸承的振動數(shù)據(jù)。

(2)不進(jìn)行任何信號預(yù)處理或特征提取，將原始振動數(shù)據(jù)分別分為訓(xùn)練樣本和測試樣本。

(3)構(gòu)造深度小波自動編碼，用于原始振動數(shù)據(jù)的無監(jiān)督特征學(xué)習(xí)。

步驟1選擇Morlet小波作為激活函數(shù)，用來設(shè)計小波去噪自動編碼器。

步驟2使用訓(xùn)練樣本對第1個WAE進(jìn)行訓(xùn)練，然后使用等式(7)、式(8)計算隱含層和輸出層的輸出。

步驟3使用式(9)計算第1次WAE的損失函數(shù)，使用式(10)～式(13)校正參數(shù)。

步驟4完成第1次WAE的訓(xùn)練。

步驟5使用第1個WAE的隱含觀測量作為第2個WAE的輸入數(shù)據(jù)，可以根據(jù)相同的規(guī)則進(jìn)行訓(xùn)練。

步驟6重復(fù)步驟1～步驟5直到最后一個WAE，然后就能成功構(gòu)造出DWAE，可以對原始振動數(shù)據(jù)進(jìn)行無監(jiān)督特征學(xué)習(xí)。

(4)利用學(xué)習(xí)到的訓(xùn)練樣本的深度特征訓(xùn)練ELM分類器。

(5)通過測試樣本驗證該方法的有效性。

3 實驗驗證

3.1 滾動軸承試驗數(shù)據(jù)

以凱斯西儲大學(xué)實驗室的滾動軸承實驗數(shù)據(jù)為研究對象[16]。實驗裝置主要由三相感應(yīng)電機(jī)、測試軸承和負(fù)載電機(jī)組成。每個軸承分別在四種不同負(fù)荷(0、1、2、3 hP)下進(jìn)行測試，將故障直徑分別為0.018、0.036、0.054、0.072 cm的單點故障引入軸承。在驅(qū)動端附近放置一個加速度計來收集振動信號。

利用采集到的1 797 r/min以下的振動數(shù)據(jù)來構(gòu)建數(shù)據(jù)樣本。建立12種軸承運(yùn)行狀態(tài)，包括不同故障類型、不同故障程度和不同故障定位。每個軸承狀況由150個樣本組成，每個樣本代表一個采集到的振動信號，包含800個數(shù)據(jù)點。為了避免診斷結(jié)果的偶然性，每種狀況隨機(jī)抽取100個樣本進(jìn)行訓(xùn)練，其余50個樣本進(jìn)行測試。圖2所示為12種承軸狀態(tài)的原始數(shù)據(jù)樣本(前800個數(shù)據(jù)點)。

圖2 12種滾動軸承運(yùn)行狀況的振動信號Fig.2 Vibration signals of 12 kinds of rolling bearings

3.2 深度特征評價

每次去噪自動編碼器訓(xùn)練或WAE訓(xùn)練的目的都是優(yōu)化參數(shù)，使重構(gòu)誤差最小。將本文方法中最高階基模型的重構(gòu)誤差曲線與標(biāo)準(zhǔn)DAE的進(jìn)行比較，如圖3所示。從圖3可以看出，本文方法的重構(gòu)誤差曲線收斂速度更快。

圖3 重構(gòu)誤差對比曲線Fig.3 Reconstruct error contrast curve

為了顯示該方法的特征學(xué)習(xí)能力，對DWAE學(xué)習(xí)的深度特征、DAE學(xué)習(xí)的深度特征和手動提取的特征的質(zhì)量進(jìn)行了比較和評價。以第1次試驗為例，考慮到DWAE學(xué)習(xí)的深度特征(80維)、DAE學(xué)習(xí)的深度特征(100維)和手動提取的特征(80維)均為高維數(shù)據(jù)，利用核主成分分析(kernel principal component analysis,KPCA)進(jìn)行可視化。圖4、圖5分別是不同類型特征的二維和三維可視化，其中KPCA1、KPCA2、KPCA3分別代表前3種主要成分。從圖4、圖5可知，與其他兩種特征相比，DWAE學(xué)習(xí)到的深度特征能夠更清晰地表示輸入數(shù)據(jù)。主要原因是：①所提出的深度模型具有較強(qiáng)的從輸入數(shù)據(jù)中學(xué)習(xí)代表性信息的能力；②小波激活函數(shù)具有時頻局部化特性和聚焦特性，對非平穩(wěn)信號處理非常有效。

圖4 KPCA實現(xiàn)不同特征的二維可視化Fig.4 KPCA realizes two-dimensional visualization of different features

圖5 KPCA實現(xiàn)不同特征的三維可視化Fig.5 KPCA realizes three-dimensional visualization of different features

為了進(jìn)一步評價故障模式分類中不同冗余特征的質(zhì)量，計算了兩個參數(shù)，類間協(xié)方差SB和類內(nèi)協(xié)方差SW。定義兩個參數(shù)為[17]

(19)

(20)

式中：

(21)

(22)

類間協(xié)方差可以用來描述不同類間的離散程度，類內(nèi)協(xié)方差表示同一類內(nèi)的聚類程度。一般來說，越大的類間協(xié)方差以及越小類內(nèi)協(xié)方差表明輸入數(shù)據(jù)集具有較強(qiáng)的類區(qū)分度。采用4個評價指標(biāo)對不同特征的質(zhì)量進(jìn)行綜合定量描述，定義為

(23)

(24)

(25)

(26)

式中：tr(A)表示矩陣A的軌跡。

4個指標(biāo)Ji(i=1,2,3,4)結(jié)合了類間協(xié)方差和類內(nèi)協(xié)方差，計算結(jié)果如表1、圖6所示。根據(jù)評價標(biāo)準(zhǔn)，更大的Ji(i=1,2,3,4)意味著更好的分類結(jié)果?？梢园l(fā)現(xiàn)，基于DWAE的深度特征學(xué)習(xí)的4個評價指標(biāo)分別是1.277 5、0.391 7、0.6255、2.669 2，這些都略大于基于DAE的深度特征學(xué)習(xí)，且遠(yuǎn)大于人為提取特征。實際上，利用DWAE的深度特征學(xué)習(xí)存在著最大的類間協(xié)方差以及最小的類內(nèi)協(xié)方差。

表1 不同特征的定量評價Table 1 Quantitative evaluation of different characteristics

圖6 不同特征的歸一化評價指標(biāo)Fig.6 Normalized evaluation indicators for different characteristics

3.3 對比分析

為了驗證本文方法的有效性，與標(biāo)準(zhǔn)DAE、小波神經(jīng)網(wǎng)絡(luò)(wavelet neural network,WNN)、BP神經(jīng)網(wǎng)絡(luò)(back propagation neural network,BPNN)以及SVM等4種傳統(tǒng)的智能診斷方法對同一數(shù)據(jù)集進(jìn)行對比分析。其中，所有深度學(xué)習(xí)方法的輸入都是800維原始振動數(shù)據(jù)。標(biāo)準(zhǔn)DAE的分類器有兩種類型，即傳統(tǒng)的Softmax分類器和提出的ELM分類器。本文方法側(cè)重于滾動軸承的智能故障診斷，不需要任何信號預(yù)處理或特征提取，這與傳統(tǒng)的智能方法完全不同。

另外，WNN、BPNN和SVM有兩種輸入類型。一個是800維原始振動數(shù)據(jù)，另一個是從每個頻段信號中提取80個特征參數(shù)。

其他7種方法的主要參數(shù)描述如下。

方法2(標(biāo)準(zhǔn)DAE+Softmax)：采用Softmax分類器。由實驗確定，標(biāo)準(zhǔn)DAE的體系結(jié)構(gòu)是800-400-200-100。其學(xué)習(xí)速率為0.1，迭代次數(shù)為120。

方法3(標(biāo)準(zhǔn)DAE+ELM)：通過實驗確定，DAE體系結(jié)構(gòu)為800-400-200-100。其學(xué)習(xí)速率為0.1，迭代次數(shù)為120。采用ELM分類器(100-270-12)。

方法4(使用原始數(shù)據(jù)的BPNN)：由指導(dǎo)原則和經(jīng)驗決定，體系結(jié)構(gòu)為800-1400-12。其學(xué)習(xí)速率為0.1，迭代次數(shù)為600。

方法5(利用手動特征的BPNN)：體系結(jié)構(gòu)為80-150-12，學(xué)習(xí)速率為0.1，迭代次數(shù)為400。

方法6(使用原始數(shù)據(jù)的WNN)：選擇Morlet小波函數(shù)作為激活函數(shù)。由指導(dǎo)原則和經(jīng)驗決定，體系結(jié)構(gòu)為800-1200-12。其學(xué)習(xí)速率為0.1，迭代次數(shù)為600。

方法7(利用手動特征的WNN)：采用小波函數(shù)作為激活函數(shù)。體系結(jié)構(gòu)為80-140-12，其學(xué)習(xí)速率為0.1，迭代次數(shù)為400。

方法8(使用原始數(shù)據(jù)的SVM)：利用徑向基函數(shù)核。將懲罰因子和核函數(shù)半徑分別設(shè)置為40和0.18。每一個都是通過10倍交叉驗證確定的。

方法9(利用手動特征的SVM)：利用徑向基函數(shù)核。將懲罰因子和核函數(shù)半徑分別設(shè)置為30和0.32。

通過5次實驗驗證方法的穩(wěn)定性。圖7所示為每次試驗的詳細(xì)結(jié)果，平均測試精度如表2所示。從圖7中可以看出，所提出的基于深度小波去噪自動編碼器和極限學(xué)習(xí)機(jī)相結(jié)合的方法每次試驗的檢測精度分別為95.5%、95.12%、95.33%、95.05%、95.17%。從表2可以觀察到的，該方法的平均精度為95.20%，而使用原始振動數(shù)據(jù)的標(biāo)準(zhǔn)DAE+Softmax、標(biāo)準(zhǔn)DAE+ELM、BPNN、WNN、SVM平均測試精度分別為89.70%、89.93%、49.43%、52.60%、54.03%。在特征提取后，雖然BPNN、WNN、SVM的準(zhǔn)確率分別提高到85.43%、89.17%、87.97%，但它們的性能仍然無法與本文方法相比。此外，本文方法的標(biāo)準(zhǔn)差為0.217 3，遠(yuǎn)小于其他8種方法。圖8給出了所有方法的平均計算時間，包括特征學(xué)習(xí)階段和故障分類階段。所提方法的平均計算時間為255.89 s，而其他方法的平均計算時間分別為266.89、227.6、256.92、31.21、208.71、24.8、163.91、20.41 s。

圖8 不同方法的平均計算時間Fig.8 Average computing time for different methods

表2 不同方法的診斷結(jié)果Table 2 Diagnostic results of different methods

圖7 不同方法的診斷結(jié)果對比Fig.7 Comparison of diagnostic results of different methods

通過比較可知：①小波神經(jīng)網(wǎng)絡(luò)、SVM和BPNN的診斷性能在很大程度上依賴于人工特征提取。通過設(shè)計一些新特征或從原始的特征集中選擇最敏感特征后，能夠進(jìn)一步提高測試的準(zhǔn)確性，但是會大幅增加計算時間和難度。②在使用原始振動數(shù)據(jù)時，深度學(xué)習(xí)方法(DWAE和DAE)與BPNN、WNN和SVM相比，具有更高的測試精度和更好的穩(wěn)定性。深度學(xué)習(xí)方法的優(yōu)勢主要來自于逐層特征學(xué)習(xí)過程，能夠從原始數(shù)據(jù)中自動獲取有用的代表性信息。③提出的DWAE方法的診斷精度略高于采用Softmax或ELM分類器的標(biāo)準(zhǔn)DAE。其原因是該方法充分利用了DAE和小波激活函數(shù)，可以進(jìn)一步提高非平穩(wěn)振動信號的特征學(xué)習(xí)能力。④由于隱含層的增加，使得當(dāng)前深度學(xué)習(xí)的計算時間大于BPNN、WNN、SVM。然而，隨著現(xiàn)代硬件技術(shù)和訓(xùn)練算法的快速發(fā)展，可以充分相信，各種深度學(xué)習(xí)模型可以更高效地完成[3]。

提出的DWAE包含1個輸入層和3個隱含層，由3個WAE組成。ELM是在DWAE學(xué)習(xí)到的深度特征數(shù)據(jù)基礎(chǔ)上進(jìn)行故障分類的，它包含一個輸入層、隱含層和輸出層。深度學(xué)習(xí)模型的框架設(shè)計仍然是一個很大的挑戰(zhàn)，目前還沒有理論方法來解決這個問題。采用類似于文獻(xiàn)[14]的簡單思想，通過實驗選擇了一種具有3個隱含層的DWAE。式(9)中的稀疏懲罰因子β和稀疏參數(shù)ρ是DWAE的兩個重要參數(shù)。采用交叉驗證方法來確定最優(yōu)參數(shù)集(β,ρ)，β的候選集為[1,2,3,4,5,6,7,8,9]以及ρ為[0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9]。圖9為第1次試驗的精度與參數(shù)集(β,ρ)之間的關(guān)系?？梢郧宄乜吹剑葘ο∈鑵?shù)ρ較為敏感，較小的稀疏值似乎是更好的選擇。

圖9 精度與參數(shù)集(β,ρ)的關(guān)系Fig.9 The relationship between accuracy and parameter set (β,ρ)

4 結(jié)論

提出了一種新型的基于深度小波自動編碼和極限學(xué)習(xí)機(jī)相結(jié)合的方法用于軸承智能故障診斷。應(yīng)用該方法對實驗得到的軸承振動信號進(jìn)行了分析，得出如下結(jié)論。

(1)DWAE克服了手動特征提取的依賴，大大地簡化了特征選取的步驟，而且對比與DAE能夠更加精確地選擇原始振動信號中的敏感特征信號。

(2)深度學(xué)習(xí)方法相較于淺層學(xué)習(xí)來說具有更高的測試精度和更好的穩(wěn)定性。

(3)DWAE與ELM相結(jié)合的軸承智能故障診斷方法能夠在無監(jiān)督條件下自動提取特征向量，并且能夠保證較高的故障診斷率，具備較為優(yōu)良的應(yīng)用前景。