基于非降維注意力機制的滾動軸承故障診斷方法

劉 闖，郝潤芳，程永強，閆文恒

(太原理工大學(xué) 信息與計算機學(xué)院，山西 晉中 030600)

滾動軸承作為常用的工業(yè)零部件之一，在工業(yè)社會中有著廣泛而重要的應(yīng)用[1]。由于滾動軸承在旋轉(zhuǎn)機械的運轉(zhuǎn)環(huán)境封閉且復(fù)雜，在應(yīng)用過程中滾動軸承存在老化、損壞等問題，由此產(chǎn)生的各種故障可能會造成安全事故和巨大經(jīng)濟(jì)損失[2]。因此工業(yè)上需要準(zhǔn)確高效的智能化故障診斷算法，對海量的故障監(jiān)測信號進(jìn)行端到端的實時診斷。

軸承故障診斷的常見方法是在旋轉(zhuǎn)機械運行時，對不同工況下傳感器采集到的振動信號進(jìn)行實時監(jiān)測，并采用智能故障診斷方法對其故障類型進(jìn)行識別[3]?，F(xiàn)有的智能診斷算法可以分為基于信號處理的方法和基于深度學(xué)習(xí)的方法[4]，基于信號處理的方法需要預(yù)先人工提取軸承故障信號的特征，再輸入到支持向量機(support vector machine，SVM)[5]、k-鄰近算法(k-neighbor algorithm)[6]和人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network，ANN)[7]等機器學(xué)習(xí)模型中，進(jìn)行參數(shù)尋優(yōu)，訓(xùn)練出擬合程度最高的模型進(jìn)行軸承故障識別。此類方法能夠一定程度上識別出不同故障類型的軸承樣本，但是在復(fù)雜的診斷環(huán)境、多樣化的診斷任務(wù)以及診斷樣本容量很大的情況下，依賴人工的特征工程耗時費力，局限性大，應(yīng)用場景有限。

目前現(xiàn)代化機電裝備監(jiān)測點多，設(shè)備服役周期長，故障監(jiān)測系統(tǒng)很容易獲得海量的工業(yè)數(shù)據(jù)，因此基于深度學(xué)習(xí)的故障診斷方法逐漸成為研究熱點[8]。借助于神經(jīng)網(wǎng)絡(luò)所特有的前向傳播和反向傳播機制，一些經(jīng)典的深度學(xué)習(xí)模型如深度卷積神經(jīng)網(wǎng)絡(luò)[9]、循環(huán)神經(jīng)網(wǎng)絡(luò)[10]等直接對原始的故障信號進(jìn)行特征提取，自動學(xué)習(xí)并更新網(wǎng)絡(luò)參數(shù)，并端到端地對故障軸承做出準(zhǔn)確的分類。

然而在實際工業(yè)環(huán)境中，軸承信號混有大量環(huán)境噪聲，淺層的深度學(xué)習(xí)網(wǎng)絡(luò)模型受限于網(wǎng)絡(luò)層的特征表征能力，不太容易分辨出噪聲環(huán)境下的軸承故障樣本。而且，在特征提取過程中對特征圖的每一個通道分配同樣的權(quán)重，會降低網(wǎng)絡(luò)模型的專注度，提取到冗余故障信息，并對計算資源造成一定程度的浪費。WU et al[11]將注意力機制融入到多尺度CNN中，對多尺度特征進(jìn)行有效融合，模型的抗噪性能有所提高。WANG et al[12]將注意力機制和雙向長短時記憶神經(jīng)網(wǎng)絡(luò)(Bidirectional LSTM，Bid_LSTM)相結(jié)合，實現(xiàn)特征的時序表達(dá)并賦予不同權(quán)重突出重要特征對分類結(jié)果的影響。但是，上述研究方法所提到的注意力機制本質(zhì)上是一種全局通信的降維注意力機制，它的全部通道參與全連接層的非線性變換，降低了注意力機制的準(zhǔn)確性，削弱了對重要通道的權(quán)值分配。

基于此，本文提出了一種將非降維注意力機制嵌入到殘差神經(jīng)網(wǎng)絡(luò)中的滾動軸承故障診斷模型，增加網(wǎng)絡(luò)的深度同時加強對網(wǎng)絡(luò)層重要特征通道的識別度。具體來說，非降維注意力機制采用通道壓縮-網(wǎng)絡(luò)層激勵-尺度變換的思想，對輸入特征通道進(jìn)行壓縮，并對特征圖通道進(jìn)行局部通信并輸出注意力向量，提高注意力機制的性能。同時在每一個殘差塊中兩個殘差單元提取完故障特征之后，進(jìn)行非降維注意力特征變換，增強非降維注意力機制對全局特征圖故障信息的融合。最后將深度殘差網(wǎng)絡(luò)的殘差塊使用跳躍鏈接進(jìn)行級聯(lián)，形成堆疊的非降維注意力殘差塊網(wǎng)絡(luò)結(jié)構(gòu)，對輸入的十類故障軸承進(jìn)行診斷。

1 殘差神經(jīng)網(wǎng)絡(luò)

針對深層神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中因參數(shù)優(yōu)化困難導(dǎo)致的網(wǎng)絡(luò)退化問題，HE et al[13]提出殘差神經(jīng)網(wǎng)絡(luò)(ResNet)，通過堆疊殘差塊構(gòu)建模型。殘差塊的輸入為x，經(jīng)過兩個卷積層，得到基礎(chǔ)映射函數(shù)H(x).基于殘差學(xué)習(xí)的思想，殘差塊引入跳層連接重構(gòu)堆疊網(wǎng)絡(luò)層的學(xué)習(xí)過程，使網(wǎng)絡(luò)層的殘差映射函數(shù)F(x)去擬合H(x)-x.其中的表達(dá)式如下：

F(x)=W2(ReLU(W1(x))) .

(1)

式(1)中的W1和W2代表殘差塊中的卷積層1和卷積層2，ReLU代表修正線性單元。當(dāng)殘差塊的輸出F(x)=0時，殘差塊的基礎(chǔ)映射函數(shù)變?yōu)镠(x)=x，實現(xiàn)了殘差塊輸入與輸出的恒等映射。同時根據(jù)反向傳播的鏈?zhǔn)角髮?dǎo)法則可知殘差部分的反傳梯度為(?H)/(?x)+1，模型只需最小化殘差映射來逼近恒等映射就能保證底層回傳梯度非零，增加網(wǎng)絡(luò)前后層信息交互的順暢性，發(fā)揮出深層神經(jīng)網(wǎng)絡(luò)的優(yōu)勢。

2 嵌入非降維注意力的故障診斷模型

由于滾動軸承信號具有隨機非平穩(wěn)的特點，且在實際工業(yè)應(yīng)用中容易混入環(huán)境噪聲。為了使故障診斷算法具有一定的抗噪能力和泛化能力，本文提出了嵌入非降維注意力機制的殘差網(wǎng)絡(luò)滾動軸承故障診斷模型，將非降維注意力模塊嵌入深度殘差網(wǎng)絡(luò)中，提高模型在噪聲環(huán)境下對故障軸承重要特征的甄別能力。

2.1 可嵌入非降維注意力模塊

為了提高注意力機制的效率，本文基于“壓縮-激勵-變換”的通道變化思想，提出如圖1所示的非降維注意力機制。它通過以下3個步驟將輸入特征圖映射到重新分配權(quán)值的特征圖Y.

1)通道壓縮。非降維注意力模塊使用全局平均池化輸入特征圖X的所有通道進(jìn)行壓縮變換Fsq，得到一組未激活的神經(jīng)元。采用的原理如(2)式，XC為特征圖X=[X1,X2,…,XC]的第C個通道，F(xiàn)sq(·)為全局平均池化操作，它將輸入特征圖X在通道維度上對尺寸為H、W的特征圖H×W個特征值求平均，輸出z=[z1,z2,…,zC]為1×1×C的張量。

(2)

圖1 非降維注意力機制Fig.1 Non-dimensionality reduction attention mechanism

2) 網(wǎng)絡(luò)層激勵。如圖1所示，通道壓縮的輸出z通過固定大小的一維卷積核進(jìn)行局部跨通道通信達(dá)到非降維效果。然后使用全連接層對非降維的特征進(jìn)行全通道的全局通信，增加非線性，得到輸入特征圖通道對故障樣本的注意力權(quán)值。它的原理如式(3)：

s=Fex(z,U)=σ(U2(δ(U1(z)))) .

(3)

式中，s=[s1,s2,…,sC]為網(wǎng)絡(luò)激勵層的輸出即注意力分?jǐn)?shù)，F(xiàn)ex(·)表示網(wǎng)絡(luò)層激勵操作，U1(·)表示跨通道通信，它的計算原理如式(4)：

(4)

3) 尺度變換。式(5)中，F(xiàn)sc(·)將輸入X與注意力分?jǐn)?shù)s相乘，映射到擁有相同維度的輸出特征空間，得到融合非降維注意力機制的特征圖Y=[Y1,Y2,…,YC].

Y=Fsc(s,X)=sT×X.

(5)

2.2 嵌入非降維注意力機制的深度殘差網(wǎng)絡(luò)

本文將非降維注意力機制嵌入殘差塊作為網(wǎng)絡(luò)的基本單元，如圖2所示，它由殘差塊和非降維注意力模塊組成。非降維注意力模塊則是由5個網(wǎng)絡(luò)層構(gòu)成，由于采取非降維思想，因此在整個參數(shù)提取過程中，維度始終保持(1,1,C)不變。其中在殘差塊1中，為方便進(jìn)行特征融合，跳躍鏈接部分通過1×1卷積調(diào)整殘差塊1的特征圖尺寸和數(shù)目與輸出特征圖保持一致，第2個殘差塊由于沒有降采樣過程，故跳躍鏈接不做改變。

圖2 非降維注意力殘差塊Fig.2 Non-dimensionality reduction attention residual block

將非降維注意力殘差塊堆疊得到本文模型，如圖3所示。在數(shù)據(jù)預(yù)處理部分，模型的輸入使用滑動窗口在軸承振動信號上等距離截取固定長度的信號v1,v2,…,vn，每一段信號由1 024個點組成，再將截取到的信號通過像素重排列得到32×32數(shù)字矩陣。在特征提取部分，使用6個圖2所示的注意力殘差塊堆疊而成，第一個階段由卷積步長為2的二維卷積層代替池化層達(dá)到特征圖尺寸減半的效果，由卷積公式：o=(n+2p-f)/s+1可知，o為輸出特征圖尺寸，n為輸入特征圖尺寸，p為零填充數(shù)，f為卷積核大小，s為卷積步長，可以對輸入軸承故障樣本迅速降低一半的分辨率，增加卷積操作中的特征提取的效率。

圖3 非降維注意力網(wǎng)絡(luò)診斷模型Fig.3 Non-dimension reduction attention network diagnosis model

第二階段由兩個注意力殘差塊組成。在第一個注意力殘差塊的第一個卷積層使用步長為1的卷積核，因此特征圖的尺寸保持不變，并繼續(xù)提取軸承振動信號深層故障特征。第三、四階段的第一個殘差塊使用步長為2的卷積降低特征圖的分辨率，同時特征通道翻倍。因此維度為(32,32)的軸承故障樣本一共經(jīng)過3次降維，特征尺寸變?yōu)?4,4)，通道數(shù)變?yōu)?4.最后在第五個階段，使用全局平均池化，將維度壓縮至(1,64)，通過全連接層和Softmax函數(shù)輸出十種故障類型的分?jǐn)?shù)。

3 實驗分析

本文引用美國凱斯西儲大學(xué)電氣工程實驗中心的軸承故障數(shù)據(jù)集進(jìn)行實驗。使用SKF6205型電機軸承支撐電機的旋轉(zhuǎn)軸。實驗數(shù)據(jù)由安裝在電機軸承驅(qū)動端和風(fēng)扇端的加速度傳感器采集，采樣頻率為12 kHz.試驗臺模擬了滾球體、內(nèi)滾環(huán)和外滾環(huán)三個位置的損傷情況，依據(jù)電火花侵蝕程度不同分為0.18 mm、0.36 mm和0.54 mm三種損傷尺寸，加上健康的軸承信號，因此診斷任務(wù)是區(qū)分十種不同的軸承故障類型。

本文使用如圖3中所示的1 024大小的滑動窗滑動采集負(fù)載0(1 797 r/min)、負(fù)載1(1 772 r/min)和負(fù)載2(1 747 r/min)下的軸承數(shù)據(jù)構(gòu)建A、B、C三個數(shù)據(jù)集，如表1所示，每個數(shù)據(jù)集包含10 000個樣本，按照7∶2∶1劃分訓(xùn)練集7 000、驗證集2 000和測試集1 000的樣本容量。將長度為1 024的時域信號轉(zhuǎn)換為32×32的數(shù)字矩陣，輸入到非降維注意力殘差網(wǎng)絡(luò)中。

表1 滾動軸承的分類信息Table 1 Classification information of rolling bearings

3.1 確定非降維注意力機制超參數(shù)

為了確定注意力殘差塊中非降維注意力機制的跨通道通信覆蓋率參數(shù)k和非降維注意力機制最優(yōu)的嵌入位置，本文引入控制變量的實驗方法，進(jìn)行兩組對比試驗。網(wǎng)絡(luò)模型的詳細(xì)結(jié)構(gòu)如圖3所示。

3.1.1非降維注意力跨通道通信覆蓋率

卷積核的大小影響模型的性能[13]，因此選定k為3，5，7，9四個不同的數(shù)值進(jìn)行試驗。考慮到非降維注意力模塊的可移植性很強，而且注意力機制的作用時機可能會對網(wǎng)絡(luò)的診斷性能造成影響，組合如圖2所示紅色虛線框中的3種注意力機制的位置，第一種是前向注意力機制，即在非降維注意力殘差塊的殘差塊1提取特征之前就對輸入的特征圖進(jìn)行非降維注意力分?jǐn)?shù)的分配，而第二種恒等注意力機制則是分為兩個并行的支路，即輸入特征圖分別進(jìn)入注意力分?jǐn)?shù)分配的支路和殘差塊1的特征提取支路，最后在殘差塊1的激活函數(shù)之后將兩條支路的結(jié)果相加。而本文采用的標(biāo)準(zhǔn)注意力機制是在非降維注意力殘差塊的殘差塊1提取完特征之后，再對特征圖進(jìn)行注意力分?jǐn)?shù)的分配。將數(shù)據(jù)集A中的訓(xùn)練樣本輸入到模型中，在測試集數(shù)據(jù)上對訓(xùn)練好的融入3種不同注意力機制的網(wǎng)絡(luò)進(jìn)行驗證，顯示標(biāo)準(zhǔn)注意力機制的準(zhǔn)確率略高于前向注意力和恒等注意力機制。嵌入非降維注意力機制后，圖4(a)、(b)和(c)中，當(dāng)k等于3時準(zhǔn)確率最低，隨著k值增大，準(zhǔn)確率有逐漸增加的趨勢，當(dāng)增大到7時，準(zhǔn)確率達(dá)到最高。同時在標(biāo)準(zhǔn)注意力的嵌入位置下，模型的準(zhǔn)確率達(dá)到最高。

圖4 不同嵌入位置下對實驗結(jié)果的影響Fig.4 Impact on experimental results under different embedding positions

3.1.2標(biāo)準(zhǔn)注意力殘差網(wǎng)絡(luò)的分類實驗

選定跨通道通信覆蓋率k為7和標(biāo)準(zhǔn)注意力嵌入位置。圖5(a)所示為本文模型的分類效果，圖5(b)所示為融入降維注意力機制殘差網(wǎng)絡(luò)模型的分類效果，橫坐標(biāo)為測試的樣本個數(shù)，縱坐標(biāo)為軸承故障的類別。由圖5(a)可以看出，出現(xiàn)了少許軸承類別故障分類錯誤，整體分類性能優(yōu)于圖5(b)降維注意力機制。這說明非降維注意力機制的跨通道通信的注意力方式相比于全部通道參與權(quán)重分配計算更加高效。

圖5 兩種注意力機制的分類效果對比Fig.5 Comparison of classification effects of two attentions

3.2 降噪性能分析

在實際工作環(huán)境中，軸承振動信號的采集往往受到噪聲的干擾，淺層的神經(jīng)網(wǎng)絡(luò)模型由于特征提取能力有限，對軸承故障狀態(tài)的識別率降低。為了驗證本文提出模型在噪聲環(huán)境下的穩(wěn)定性，同時對比不同故障診斷算法模型性能的優(yōu)劣，在試驗中添加多種信噪比SNR(Signal to Noise Ratio)的加性白噪聲。如圖6所示，在圖6(a)健康軸承信號和圖6(e)滾球故障信號中加入圖6(b)信噪比為2的加性白噪聲，得到圖6(c)混入噪聲的健康軸承信號和圖6(g)混入噪聲的B021故障信號。圖6(d)和圖6(h)將一維加噪信號轉(zhuǎn)換為噪聲數(shù)字矩陣。

圖6 加噪故障樣本的一維、二維可視化圖Fig.6 One-dimensional and two-dimensional visualization of noisy fault samples

本文依次和以下算法進(jìn)行對比：ResNet方法[14]、融合普通降維注意力機制的殘差網(wǎng)絡(luò)[15]、WDCNN-1d方法[16]和本文算法，實驗在A、B兩個數(shù)據(jù)集上進(jìn)行，我們使用不含噪聲的訓(xùn)練集訓(xùn)練以上四種模型，然后將添加不同信噪比噪聲的測試集輸入到訓(xùn)練好的診斷模型中檢測模型抗噪性能。四種算法在數(shù)據(jù)集A和B上的診斷結(jié)果如圖7(a)和7(b)所示。

圖7 不同噪聲下模型準(zhǔn)確率對比Fig.7 Comparison of model accuracy under different noises

圖7(a)顯示，相較于其他方法，本文的方法在變噪聲的情況下都能達(dá)到較高的準(zhǔn)確率，平均準(zhǔn)確率達(dá)到97.68%.WDCNN在噪聲條件下的準(zhǔn)確率明顯低于其他網(wǎng)絡(luò)模型，受限于淺層網(wǎng)絡(luò)結(jié)構(gòu)的表達(dá)能力。在12 dB信噪比下，非降維注意力殘差網(wǎng)絡(luò)準(zhǔn)確率為99.5%，Resnet方法準(zhǔn)確率為90.2%，降維注意力殘差網(wǎng)絡(luò)準(zhǔn)確率為96.2%，加入注意力機制之后的準(zhǔn)確率漲點明顯，同時非降維注意力機制準(zhǔn)確率最高，這說明非降維注意力機制實現(xiàn)了更好的跨通道通信效果，準(zhǔn)確地學(xué)習(xí)到特征圖各通道的注意力權(quán)重，使得網(wǎng)絡(luò)的整體性能有了進(jìn)一步的提升。在圖7(b)中，融合了非降維注意力機制的殘差網(wǎng)絡(luò)在2 dB到12 dB信噪比的區(qū)間上，整體比較平滑，有一定的泛化性能，可以適應(yīng)工業(yè)環(huán)境中復(fù)雜的故障診斷任務(wù)。

3.3 可視化分析

本文引入了基于流形學(xué)習(xí)思想的降維可視化工具t-SNE.它能夠?qū)颖緮?shù)據(jù)的高維特征映射到低維并保持特征相近，觀察分類樣本的聚散程度。使用t-SNE對未經(jīng)網(wǎng)絡(luò)模型處理的7 000個樣本進(jìn)行降維可視化，如圖8(a)所示，十類故障樣本互相疊加。然后分別將7 000樣本、2 000個樣本和1 000個不同容量的測試樣本輸入到模型中，對模型最后一層全連接層學(xué)習(xí)到的特征進(jìn)行降維處理。如圖8(b)、(c)、(d)顯示，經(jīng)過模型特征學(xué)習(xí)之后，各狀態(tài)下的故障樣本均具有明顯的分離度，Softmax分類層能準(zhǔn)確分辨出十類故障樣本，并且它們完全各自聚成團(tuán)。這反映出融合了非降維注意力機制的殘差網(wǎng)絡(luò)能夠?qū)收蠘颖具M(jìn)行有效的特征學(xué)習(xí)。

4 結(jié)論

為了使模型適應(yīng)于多負(fù)載、強噪聲的工業(yè)環(huán)境下的故障診斷任務(wù)，進(jìn)一步提高診斷精度，本文提出了一種基于非降維注意力殘差網(wǎng)絡(luò)的智能故障診斷算法，在數(shù)據(jù)處理階段，將軸承的一維振動信號轉(zhuǎn)換為二維數(shù)字矩陣，直接利用二維卷積進(jìn)行特征提取。在注意力模塊中，使用更高效的局部通信的非降維方法，增強模型對重要特征的權(quán)值分配，使模型在噪聲環(huán)境下具有較強的抗噪能力和一定的泛化性能。但是本文模型的超參數(shù)較多，在參數(shù)選擇過程中具有一定隨機性，后續(xù)將針對參數(shù)尋優(yōu)的方法進(jìn)行研究。

圖8 t-SNE降維可視化示意圖Fig.8 t-SNE dimensionality reduction visualization diagram