基于多粗粒度與注意力網(wǎng)絡(luò)的軸承剩余壽命預(yù)測(cè)

莫仁鵬，司小勝，李天梅，朱 旭，胡昌華

(火箭軍工程大學(xué)導(dǎo)彈工程學(xué)院，陜西 西安 710025)

0 引 言

在生產(chǎn)活動(dòng)中，機(jī)械設(shè)備的安全可靠運(yùn)行至關(guān)重要，對(duì)生產(chǎn)效益和生產(chǎn)安全有著重大影響。但由于內(nèi)部損耗和外部環(huán)境的影響，機(jī)械設(shè)備在長(zhǎng)期運(yùn)行過(guò)程中不可避免地會(huì)發(fā)生性能退化現(xiàn)象，當(dāng)退化到一定程度會(huì)徹底失效，進(jìn)而影響生產(chǎn)活動(dòng)的正常進(jìn)行。而軸承作為機(jī)械設(shè)備的支撐部件，其退化現(xiàn)象尤為明顯，因此有必要對(duì)軸承進(jìn)行剩余使用壽命（remaining useful life，RUL）預(yù)測(cè)，實(shí)時(shí)掌握其健康狀況，并進(jìn)行適當(dāng)?shù)木S修或替換，從而避免機(jī)械設(shè)備突然失效、對(duì)生產(chǎn)活動(dòng)造成不必要的破壞。

目前流行的RUL預(yù)測(cè)方法主要包括統(tǒng)計(jì)數(shù)據(jù)驅(qū)動(dòng)方法[1-3]和深度學(xué)習(xí)方法，但統(tǒng)計(jì)數(shù)據(jù)方法的預(yù)測(cè)效果受限于模型的選擇是否合適，而深度學(xué)習(xí)方法具有對(duì)大數(shù)據(jù)和非線性信息的強(qiáng)大處理能力，且不需要復(fù)雜的先驗(yàn)知識(shí)，因此基于深度學(xué)習(xí)的RUL預(yù)測(cè)方法引起了廣大研究者的關(guān)注[4]。Ambadekar等[5]以顯微鏡觀察刀具的磨損情況并進(jìn)行拍照，再將這些照片輸入到卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）中提取刀具的退化特征并進(jìn)行RUL預(yù)測(cè)；Deutsch等[6]以深度置信網(wǎng)絡(luò)學(xué)習(xí)得到具有代表性的健康指標(biāo)，再基于前饋神經(jīng)網(wǎng)絡(luò)（feedforward neural network，F(xiàn)NN）預(yù)測(cè) RUL，通過(guò)齒輪實(shí)例和軸承實(shí)例對(duì)所提方法進(jìn)行了驗(yàn)證；Hinchi等[7]首先利用CNN網(wǎng)絡(luò)提取局部特征，再引入長(zhǎng)短期記憶網(wǎng)絡(luò)捕獲退化過(guò)程并預(yù)測(cè)軸承的RUL。

以上深度學(xué)習(xí)方法僅在單一尺度上學(xué)習(xí)機(jī)械信號(hào)的退化信息，沒(méi)有考慮到機(jī)械信號(hào)所蘊(yùn)含的退化信息往往分布在多個(gè)時(shí)間尺度上[8]。鑒于此，本文提出一種可以自動(dòng)提取多尺度退化特征的RUL預(yù)測(cè)方法，所提方法通過(guò)對(duì)軸承的原始振動(dòng)信號(hào)進(jìn)行多粗粒度操作獲得多尺度信號(hào)，再基于CNN網(wǎng)絡(luò)進(jìn)行深層特征提取與融合，并引入注意力機(jī)制進(jìn)行特征重標(biāo)定，以強(qiáng)化對(duì)RUL預(yù)測(cè)任務(wù)貢獻(xiàn)度更大的特征，最后利用FNN網(wǎng)絡(luò)映射得到軸承的RUL預(yù)測(cè)值。

1 基于多粗粒度與注意力網(wǎng)絡(luò)的軸承RUL預(yù)測(cè)方法

本文所提方法的整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，主要包括多尺度粗粒度層、多尺度特征融合層、注意力加權(quán)層以及RUL預(yù)測(cè)層。

圖1 本文方法的整體網(wǎng)絡(luò)結(jié)構(gòu)

1.1 多尺度粗粒度層

對(duì)機(jī)械設(shè)備的振動(dòng)信號(hào)進(jìn)行多尺度粗粒度處理得到的多尺度特征，能更全面地表征機(jī)械設(shè)備的健康狀態(tài)[9-11]。因此首先采用多尺度粗粒度層處理軸承振動(dòng)數(shù)據(jù)，具體過(guò)程如圖2所示。

圖2 多粗粒度處理

設(shè)傳感器對(duì)軸承監(jiān)測(cè)得到的某樣本數(shù)據(jù)為x={x1,···,xi,···,xN}，其中xi為第i個(gè)振動(dòng)數(shù)值，N為樣本數(shù)據(jù)的長(zhǎng)度。對(duì)振動(dòng)信號(hào)進(jìn)行多粗粒度處理，即分別以不同尺度的滑動(dòng)窗在該振動(dòng)信號(hào)上無(wú)重疊地移動(dòng)，然后分別計(jì)算每個(gè)窗口內(nèi)的均值作為新的信號(hào)數(shù)據(jù)，從而獲得蘊(yùn)含更豐富退化信息的多尺度信號(hào)，公式如下：

其中 τ為滑動(dòng)窗尺度即粗粒度，本文使用了1、2、4三個(gè)粗粒度，粗粒度1即為原始振動(dòng)信號(hào)，粗粒度2處理過(guò)后的信號(hào)長(zhǎng)度為原信號(hào)的一半，粗粒度4處理過(guò)后的信號(hào)長(zhǎng)度為原信號(hào)的1/4。在網(wǎng)絡(luò)中，以多個(gè)尺寸的池化層來(lái)實(shí)現(xiàn)多尺度信號(hào)的自動(dòng)提取。

1.2 多尺度特征融合層

CNN網(wǎng)絡(luò)主要包括卷積層和池化層，卷積層的卷積操作可以很好捕捉到軸承監(jiān)測(cè)數(shù)據(jù)的非線性退化信息，卷積層的計(jì)算公式如下：

?——卷積運(yùn)算；

W——卷積核權(quán)重；

b——偏置；

σ(·)——非線性激活函數(shù)，通常選擇為修正線

性單元（rectified linear unit，ReLU）。

本文采用大步幅的卷積層代替池化層進(jìn)行特征壓縮，可以降低網(wǎng)絡(luò)的整體參數(shù)量，并提高預(yù)測(cè)模型的計(jì)算效率。不同粗粒度處理得到的多尺度信號(hào)長(zhǎng)度不一致，因此在利用多個(gè)大步幅卷積層分別學(xué)習(xí)每個(gè)尺度信號(hào)的深層特征時(shí)，不同尺度對(duì)應(yīng)的步幅組合亦有所不同，最終要確保三個(gè)尺度的深層特征在進(jìn)行拼接時(shí)保持長(zhǎng)度統(tǒng)一。此外，在本文中，將不同尺度的深層特征簡(jiǎn)單拼接后得到合并特征，再將其輸入到一個(gè)公共的卷積層中進(jìn)行融合，以學(xué)習(xí)不同尺度特征之間的潛在關(guān)系。

1.3 注意力加權(quán)層

本文在預(yù)測(cè)網(wǎng)絡(luò)中引入改進(jìn)的卷積注意力模塊（convolutional block attention module，CBAM）[12]對(duì)深層特征進(jìn)行特征重標(biāo)定，CBAM包括通道注意力和空間注意力，分別在通道維度和空間維度上加強(qiáng)重要特征并抑制相對(duì)不重要的特征。傳統(tǒng)的CBAM先以通道注意力強(qiáng)化重要通道，之后再以空間注意力為補(bǔ)充，為不同的空間位置賦予最佳權(quán)重。但考慮到軸承原始振動(dòng)信號(hào)為一維時(shí)序數(shù)據(jù)，因此本文先使用空間注意力進(jìn)行權(quán)重分配，再以通道注意力作為補(bǔ)充，避免通道注意力加權(quán)之后破壞時(shí)序結(jié)構(gòu)，影響空間注意力的效果。改進(jìn)的CBAM模塊如圖3所示。

圖3 改進(jìn)的CBAM模塊

設(shè)待標(biāo)定的深層特征為F，計(jì)算其空間注意力權(quán)重Ms(F)，將該權(quán)重與F相乘得到加權(quán)后的特征F1；再針對(duì)F1計(jì)算得到相應(yīng)的通道注意力權(quán)重Mc(F1)，并與F1相乘得到最終的加權(quán)特征F2，計(jì)算公式如下：

其中 ⊙表示逐元素相乘。

空間注意力Ms(F)與通道注意力Mc(F1)的計(jì)算公式如下：

式中：conv——單核卷積層；

MLP— —單共享參數(shù)的三層感知器，兩端的感知器神經(jīng)元個(gè)數(shù)與通道數(shù)相等，中間層感知器神經(jīng)元個(gè)數(shù)為：通道數(shù)/壓縮率，這種瓶頸結(jié)構(gòu)能有效減少模塊參數(shù)量；

GAP和GMP— —單全局平均池化和全局最大池化，用來(lái)壓縮通道信息或空間信息為一個(gè)表示符，以表征對(duì)應(yīng)通道或空間所包含的退化信息量；

δ(·)——sigmoid激活函數(shù)。

1.4 剩余壽命預(yù)測(cè)

最后，將經(jīng)注意力重標(biāo)定的特征輸入到FNN網(wǎng)絡(luò)中進(jìn)行RUL預(yù)測(cè)。FNN網(wǎng)絡(luò)由多個(gè)全連接層組成，并且最后一個(gè)全連接層的神經(jīng)元個(gè)數(shù)為1，如此便可映射得到一個(gè)單值數(shù)據(jù)，即為RUL預(yù)測(cè)值。全連接層的計(jì)算公式如下：

D——第l層的神經(jīng)元總數(shù)；

Wi,j——兩個(gè)神經(jīng)元之間{的連接權(quán)重。}

設(shè)某軸承振動(dòng)信號(hào)為X=X1,···,Xj,···,XV，Xj為第j個(gè)樣本的數(shù)據(jù)，V為樣本總數(shù)。將每個(gè)樣本數(shù)據(jù)輸入到預(yù)測(cè)網(wǎng)絡(luò)中，經(jīng)過(guò)多尺度粗粒度層、多尺度特征融合層、注意力加權(quán)層以及全連接層后，最終得到該樣本對(duì)應(yīng)的RUL預(yù)測(cè)值。

在訓(xùn)練網(wǎng)絡(luò)時(shí)，以預(yù)測(cè)值和真實(shí)值的均方誤差作為損失函數(shù)，并通過(guò)誤差反向傳播算法更新網(wǎng)絡(luò)參數(shù)，以逐漸最小化損失函數(shù)、減少預(yù)測(cè)誤差。經(jīng)過(guò)多次訓(xùn)練后，損失函數(shù)將降低到很小的程度，此時(shí)網(wǎng)絡(luò)能較好地捕捉到樣本數(shù)據(jù)到RUL真實(shí)值之間的映射關(guān)系。當(dāng)輸入新的樣本數(shù)據(jù)到訓(xùn)練好的網(wǎng)絡(luò)中，便可準(zhǔn)確地預(yù)測(cè)出當(dāng)前的RUL值。

2 實(shí)驗(yàn)驗(yàn)證

2.1 實(shí)驗(yàn)數(shù)據(jù)

采用FEMTO-st研究所的PRONOSTIA軸承數(shù)據(jù)集[13]來(lái)驗(yàn)證所提方法的有效性。該軸承數(shù)據(jù)集的振動(dòng)信號(hào)通過(guò)在加速度傳感器上采樣獲得，采樣間隔為10 s，每個(gè)采樣點(diǎn)內(nèi)有2560個(gè)數(shù)值。包含了3個(gè)工況下的17個(gè)軸承的全壽命振動(dòng)信號(hào)，監(jiān)測(cè)了每個(gè)軸承由正常狀態(tài)退化至失效的振動(dòng)加速度值，在這個(gè)過(guò)程中，振動(dòng)加速度值逐漸增大。

本文選用工況1的7個(gè)軸承進(jìn)行實(shí)驗(yàn)，每個(gè)軸承隨機(jī)選取70%的采樣點(diǎn)作為訓(xùn)練集樣本，其余30%的采樣點(diǎn)作為測(cè)試集樣本。利用訓(xùn)練集訓(xùn)練好網(wǎng)絡(luò)模型后，將測(cè)試集數(shù)據(jù)輸入到網(wǎng)絡(luò)中得到RUL預(yù)測(cè)值，以測(cè)試集RUL預(yù)測(cè)值和對(duì)應(yīng)RUL真實(shí)值之間的均方根誤差（RMSE）作為評(píng)價(jià)指標(biāo)來(lái)評(píng)估所提方法的預(yù)測(cè)性能。

為了降低網(wǎng)絡(luò)訓(xùn)練難度，對(duì)軸承每個(gè)采樣點(diǎn)的RUL值進(jìn)行歸一化處理。例如軸承1-1一共包含2803個(gè)采樣點(diǎn)，其全壽命為 28030 s，則在第 2000 個(gè)采樣點(diǎn)對(duì)應(yīng)的RUL為8030 s，對(duì)其進(jìn)行歸一化得到：RUL2000=8 030/28 030≈0.286 5。

2.2 實(shí)驗(yàn)設(shè)置

經(jīng)過(guò)多次實(shí)驗(yàn)，網(wǎng)絡(luò)超參數(shù)設(shè)置如表1時(shí)，所提方法會(huì)取得較好的預(yù)測(cè)效果。其余的實(shí)驗(yàn)設(shè)置如下：優(yōu)化器為Adam，學(xué)習(xí)率為0.001，共訓(xùn)練30次。此外本文的實(shí)驗(yàn)環(huán)境為：Tensorflow2.0，keras2.3.1，python3.6。

表1 網(wǎng)絡(luò)超參數(shù)

2.3 分析實(shí)驗(yàn)

在CBAM模塊中，多層感知器的中間層壓縮率ratio的大小決定了該模塊的參數(shù)量，ratio越大則參數(shù)量越小，但過(guò)大的ratio可能會(huì)影響RUL的預(yù)測(cè)精度，為了在盡可能地減小模型參數(shù)規(guī)模的同時(shí)保證網(wǎng)絡(luò)的預(yù)測(cè)精度，對(duì)ratio的選擇進(jìn)行了相關(guān)實(shí)驗(yàn)。

分別觀察不同ratio情況下網(wǎng)絡(luò)對(duì)軸承1-1的預(yù)測(cè)效果，此外，去除CBAM模塊（MScale）、既無(wú)CBAM模塊又不采用多尺度粗粒度策略（SScale）亦作為對(duì)照組參與實(shí)驗(yàn)，以驗(yàn)證注意力機(jī)制和多尺度策略對(duì)RUL預(yù)測(cè)任務(wù)的有效性。實(shí)驗(yàn)結(jié)果如表2所示。

表2 分析實(shí)驗(yàn)

由表2可以發(fā)現(xiàn)，ratio=16時(shí)網(wǎng)絡(luò)的預(yù)測(cè)效果最好，且CBAM模塊的參數(shù)規(guī)模亦比較輕量，當(dāng)ratio繼續(xù)增加時(shí)，模塊參數(shù)的減少量不大，且預(yù)測(cè)效果反而下降，因此最終選擇16作為CBAM模塊的壓縮率。此外，無(wú)論ratio取何值，含有CBAM模塊的網(wǎng)絡(luò)皆比MScale網(wǎng)絡(luò)的預(yù)測(cè)效果要好，這說(shuō)明在預(yù)測(cè)網(wǎng)絡(luò)中引入了改進(jìn)的CBAM模塊后，注意力機(jī)制能根據(jù)對(duì)RUL任務(wù)的貢獻(xiàn)度大小，自適應(yīng)的為深層退化特征分配最佳權(quán)重，從而提高RUL預(yù)測(cè)精度；而MScale網(wǎng)絡(luò)的預(yù)測(cè)效果又要強(qiáng)于SScale網(wǎng)絡(luò)，驗(yàn)證了多尺度粗粒度策略可以從軸承原始振動(dòng)信號(hào)中提取更豐富的退化信息，有利于RUL預(yù)測(cè)任務(wù)的進(jìn)行。

確定網(wǎng)絡(luò)超參數(shù)后，基于所提方法對(duì)軸承1-1、1-2的測(cè)試集進(jìn)行RUL預(yù)測(cè)，結(jié)果如圖4所示。

圖4 所提方法對(duì)測(cè)試集的RUL預(yù)測(cè)結(jié)果

在軸承1-1和軸承1-2測(cè)試集上的RUL預(yù)測(cè)值與真實(shí)值較為接近，反映了訓(xùn)練好的預(yù)測(cè)網(wǎng)絡(luò)能較好地捕捉到采樣點(diǎn)數(shù)據(jù)和對(duì)應(yīng)RUL之間的關(guān)系，驗(yàn)證了所提方法的有效性。

2.4 對(duì)比實(shí)驗(yàn)

分別以深度神經(jīng)網(wǎng)絡(luò)（DNN）[14]、卷積神經(jīng)網(wǎng)絡(luò)（CNN）[15]以及無(wú)注意力機(jī)制的多尺度粗粒度方法（MScale）對(duì)工況1的7個(gè)軸承進(jìn)行RUL預(yù)測(cè)，并與本文方法進(jìn)行對(duì)比。對(duì)比方法的實(shí)驗(yàn)條件與本文保持一致，同樣隨機(jī)劃分每個(gè)軸承的70%采樣點(diǎn)作為訓(xùn)練集，其余采樣點(diǎn)作為測(cè)試集。實(shí)驗(yàn)結(jié)果（RMSE）如表3所示。

表3 不同網(wǎng)絡(luò)在測(cè)試集上的RMSE

由于CNN網(wǎng)絡(luò)的特征提取能力要強(qiáng)于DNN網(wǎng)絡(luò)，因此CNN網(wǎng)絡(luò)的預(yù)測(cè)效果比DNN網(wǎng)絡(luò)更好；而MScale網(wǎng)絡(luò)的預(yù)測(cè)效果又優(yōu)于CNN網(wǎng)絡(luò)，這體現(xiàn)了多尺度粗粒度操作獲得的多尺度特征，可以捕獲更多的軸承退化信息，從而提高網(wǎng)絡(luò)對(duì)軸承的RUL預(yù)測(cè)準(zhǔn)確度；最后，本文方法在所有軸承上皆表現(xiàn)出了最佳的預(yù)測(cè)性能，驗(yàn)證了本文方法在對(duì)軸承進(jìn)行RUL預(yù)測(cè)時(shí)的優(yōu)越性。

3 結(jié)束語(yǔ)

考慮到機(jī)械信號(hào)往往分布在多個(gè)時(shí)間尺度上，本文采用多粗粒度操作處理軸承的原始振動(dòng)信號(hào)，以獲得的多尺度信號(hào)蘊(yùn)含更豐富的退化信息。此外，由于網(wǎng)絡(luò)深層特征中的不同通道（不同空間）對(duì)RUL預(yù)測(cè)任務(wù)的貢獻(xiàn)度不一致，在預(yù)測(cè)網(wǎng)絡(luò)中引入改進(jìn)的CBAM注意力模塊對(duì)深層特征進(jìn)行特征重標(biāo)定，以增強(qiáng)重要特征并抑制無(wú)效特征?；赑RONOSTIA軸承數(shù)據(jù)進(jìn)行了分析實(shí)驗(yàn)和對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，所提方法能較好地捕捉到監(jiān)測(cè)數(shù)據(jù)和RUL值之間的映射關(guān)系，且多尺度粗粒度策略和注意力機(jī)制可以有效提高軸承的RUL預(yù)測(cè)精度，與其他網(wǎng)絡(luò)的對(duì)比實(shí)驗(yàn)表明，所提方法具有更佳的預(yù)測(cè)性能。