基于多尺度和注意力機(jī)制的滾動(dòng)軸承故障診斷

丁 雪 鄧艾東 李 晶,3 鄧敏強(qiáng) 徐 碩 史曜煒

(1東南大學(xué)能源與環(huán)境學(xué)院， 南京 210096)(2東南大學(xué)火電機(jī)組振動(dòng)國(guó)家工程研究中心， 南京 210096)(3南京審計(jì)大學(xué)信息工程學(xué)院， 南京 211815)

滾動(dòng)軸承作為風(fēng)電機(jī)組傳動(dòng)鏈系統(tǒng)的關(guān)鍵部件，在運(yùn)行過程中極易受到力、熱及振動(dòng)等非線性、非平穩(wěn)因素的影響[1]，從而產(chǎn)生變形、裂紋、斷裂等損傷，進(jìn)而嚴(yán)重影響風(fēng)電機(jī)組的運(yùn)行[2].因此，對(duì)滾動(dòng)軸承進(jìn)行精確的故障診斷不僅可以降低維修成本，而且可以提高風(fēng)電機(jī)組的可靠性和穩(wěn)定性，具有重要的現(xiàn)實(shí)意義.

近年來，卷積神經(jīng)網(wǎng)絡(luò)(CNN)作為深度學(xué)習(xí)的重要分支之一，已逐漸成為故障診斷領(lǐng)域的研究熱點(diǎn).李恒等[3]將短時(shí)傅里葉變換后的二維時(shí)頻譜圖作為CNN的輸入，提高了模型的魯棒性.陳仁祥等[4]應(yīng)用離散小波變換構(gòu)造原始信號(hào)的時(shí)頻矩陣并送入CNN網(wǎng)絡(luò)進(jìn)行分類，以驗(yàn)證所提方法的可行性.曲建嶺等[5]將原始振動(dòng)信號(hào)直接作為一維卷積神經(jīng)網(wǎng)絡(luò)的輸入，依靠模型自身的結(jié)構(gòu)對(duì)原始信號(hào)進(jìn)行特征提取和故障分類.

雖然上述文獻(xiàn)均表明CNN網(wǎng)絡(luò)在滾動(dòng)軸承故障診斷中的可行性，但仍然存在以下問題：傳統(tǒng)的CNN網(wǎng)絡(luò)都采用單一尺度卷積核提取特征值，無法捕獲振動(dòng)信號(hào)的多尺度特征；當(dāng)前提出的模型絕大多數(shù)僅將獲得的特征簡(jiǎn)單堆疊后進(jìn)行故障診斷，并未考慮多尺度特征在故障診斷中的不同權(quán)重影響.

針對(duì)上述問題，本文提出了一種多尺度注意力卷積神經(jīng)網(wǎng)絡(luò)(MSACNN)模型.該模型通過多尺度層對(duì)不同尺度特征的信息進(jìn)行融合，然后引入注意力機(jī)制使模型更加關(guān)注于具有判別力的特征，從而提高模型的特征學(xué)習(xí)能力，最后通過全連接層的多分類函數(shù)實(shí)現(xiàn)滾動(dòng)軸承的故障診斷.實(shí)驗(yàn)結(jié)果表明，本文模型不僅在同負(fù)載各測(cè)試集上達(dá)到很高的準(zhǔn)確率，而且在變負(fù)載工況下具有較強(qiáng)的遷移泛化能力和魯棒性；同時(shí)，該模型在強(qiáng)噪聲環(huán)境下也具有良好的診斷性能.

1 原理

1.1 CNN基本網(wǎng)絡(luò)結(jié)構(gòu)

卷積層由多個(gè)卷積核組成，卷積層利用卷積核對(duì)輸入數(shù)據(jù)的局部區(qū)域執(zhí)行卷積運(yùn)算，并通過激活函數(shù)生成輸出特征圖[6]，卷積的運(yùn)算過程如下：

(1)

池化層通過池化核對(duì)卷積層的輸出進(jìn)行降采樣操作，在保留原有主要特征的基礎(chǔ)上實(shí)現(xiàn)了降維減參[7]，同時(shí)使網(wǎng)絡(luò)結(jié)構(gòu)不易出現(xiàn)過擬合.最常用的池化層是最大池化層，其數(shù)學(xué)表達(dá)式為

(2)

式中，ah(m,t)為第h層中第m個(gè)特征圖的第t個(gè)神經(jīng)元的激活值；g為池化區(qū)域的寬度；n為第n個(gè)池化核；ph(m,n)為相應(yīng)池化層的輸出.

1.2 注意力機(jī)制

圖1 注意力機(jī)制示意圖

SE模塊的工作過程分為3個(gè)步驟：壓縮、激發(fā)和乘積.首先是壓縮操作，沿著特征通道的方向?qū)×W×C維的特征圖通過全局平均池化操作壓縮為1×1×C的向量，其中每個(gè)通道的二維特征圖壓縮成一個(gè)具有全局感受野的通道特征響應(yīng)值.其計(jì)算過程如下：

(3)

式中，uc(v,w)為v×w通道的二維矩陣；v=1,2,…,H；w=1,2,…,W；c為壓縮通道的第c個(gè)元素；zc為壓縮操作后的輸出.

其次是激發(fā)操作，使用2個(gè)全連接層和一個(gè)sigmoid激活函數(shù)來參數(shù)化門控機(jī)制.全連接層用于更好地融合全部的輸入特征信息，而sigmoid函數(shù)用于將輸入特征映射為0～1之間的歸一化權(quán)重，其具體實(shí)現(xiàn)過程如下：

sc=σ(W2δ(W1zc))

(4)

式中，σ為sigmoid函數(shù)；δ為Relu激活函數(shù)；W1、W2為2個(gè)全連接層的權(quán)重；sc為激發(fā)操作后的輸出.

最后是乘積操作，經(jīng)過上述操作得到的通道權(quán)重利用乘法逐通道加權(quán)到原來的特征上，從而在通道維度上實(shí)現(xiàn)對(duì)原始特征的重新分配.計(jì)算公式如下：

(5)

2 MSACNN模型結(jié)構(gòu)

2.1 模型結(jié)構(gòu)

本文在多尺度和注意力機(jī)制的基礎(chǔ)上構(gòu)建了如圖2所示的網(wǎng)絡(luò)模型結(jié)構(gòu)：該模型主要由2個(gè)卷積-卷積-最大池化對(duì)、一個(gè)多尺度特征提取層、一個(gè)注意力機(jī)制融合層、一個(gè)全局平均池化層和2個(gè)全連接層組成.2個(gè)卷積-卷積-最大池化對(duì)借鑒了VGGNet的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，連接在其之后的是多尺度特征提取層，該層由卷積核大小分別為3、5的卷積層和用于降維減參、卷積核大小為1的PW(PointWise)卷積層構(gòu)成.通過將這2對(duì)卷積層進(jìn)行拼接，拓寬了網(wǎng)絡(luò)的寬度并提取到了豐富的多尺度特征.為獲得更高維度的特征信息，使模型的注意力集中在更具判別性的特征上，將上述得到的多尺度特征引入到注意力模塊，對(duì)更重要的特征賦予更多的權(quán)重，接著進(jìn)入全局平均池化層，以進(jìn)一步減少參數(shù)并防止過擬合.最后通過2個(gè)全連接層和Softmax分類器輸出故障分類的診斷結(jié)果.

圖2 MSACNN模型結(jié)構(gòu)

2.2 模型參數(shù)

MSACNN模型在卷積過程中大部分采用3×3的卷積核，這是因?yàn)檩^小的卷積核能夠保證在具有相同感知野的情況下，提升網(wǎng)絡(luò)深度，保證網(wǎng)絡(luò)精度，從而在一定程度上提升模型的效果.在訓(xùn)練過程中，迭代次數(shù)設(shè)置為80，批次大小設(shè)置為32，將學(xué)習(xí)速率為0.001的Adam優(yōu)化器用于更新網(wǎng)絡(luò)參數(shù)，該模型的其他參數(shù)在表1中列出.

3 實(shí)驗(yàn)分析

3.1 CWRU軸承故障數(shù)據(jù)集

采用美國(guó)凱斯西儲(chǔ)大學(xué)(CWRU)軸承故障數(shù)據(jù)集對(duì)本文方法的有效性進(jìn)行驗(yàn)證.

3.1.1 數(shù)據(jù)集

CWRU滾動(dòng)軸承試驗(yàn)臺(tái)如圖3所示，該試驗(yàn)臺(tái)由1.5 kW的電動(dòng)機(jī)(左側(cè))、轉(zhuǎn)矩傳感器(中間)和功率計(jì)(右側(cè))組成.以驅(qū)動(dòng)端軸承SKF6205作為研究對(duì)象，系統(tǒng)采樣頻率為12 kHz.軸承故障由電火花技術(shù)單點(diǎn)引入，分為內(nèi)圈故障、滾動(dòng)體故障和外圈故障3種故障類型，每種故障類型包含3種故障尺寸：0.177 8、0.355 6和0.533 4 mm，因此可將軸承狀態(tài)分為9種故障狀態(tài)和1種正常狀態(tài)，共10種軸承狀態(tài).分別在0、0.735、1.471、2.206 kW四種不同負(fù)載下采集軸承振動(dòng)以用于實(shí)驗(yàn).

表1 MSACNN模型參數(shù)

圖3 CWRU滾動(dòng)軸承試驗(yàn)臺(tái)

為避免數(shù)據(jù)樣本過少而導(dǎo)致的過擬合問題，本文采用重疊采樣的方式進(jìn)行數(shù)據(jù)增強(qiáng)，如圖4所示.從原始振動(dòng)信號(hào)的起始點(diǎn)開始采集，每次采集 2 500 個(gè)點(diǎn)，采集完成后則向后移動(dòng)200個(gè)數(shù)據(jù)點(diǎn)繼續(xù)采集，每種故障狀態(tài)采集500個(gè)樣本.其中，300個(gè)樣本作為訓(xùn)練集，100個(gè)樣本作為驗(yàn)證集，其余100個(gè)樣本作為測(cè)試集，故每種負(fù)載下總共 5 000 個(gè)樣本，具體的實(shí)驗(yàn)數(shù)據(jù)情況如表2所示.為驗(yàn)證MSACNN模型的有效性，創(chuàng)建了數(shù)據(jù)集A、B、C、D、E，具體情況如表3所示.

圖4 數(shù)據(jù)重疊采樣示意圖

表2 實(shí)驗(yàn)數(shù)據(jù)描述

表3 所創(chuàng)建數(shù)據(jù)集的描述

3.1.2 數(shù)據(jù)集重構(gòu)

表2所示的數(shù)據(jù)集為原始振動(dòng)數(shù)據(jù)的一維時(shí)間序列形式.為充分利用卷積神經(jīng)網(wǎng)絡(luò)在圖像分類中的優(yōu)勢(shì)，便于卷積和池化等操作，本文將一維信號(hào)轉(zhuǎn)換為二維圖像以用作模型的輸入.一維原始數(shù)據(jù)[2 500，1]重構(gòu)為二維特征圖形式[50，50，1]，其中1表示1通道.重構(gòu)方法示意圖如圖5所示，具體過程為：首先等長(zhǎng)截取長(zhǎng)度為2 500的一維時(shí)間序列樣本，截取50段，每段含50個(gè)數(shù)據(jù)點(diǎn)，然后將該50段數(shù)據(jù)進(jìn)行堆疊以獲得一個(gè)50×50的二維特征圖，因此每類軸承狀態(tài)均有500個(gè)格式為[50，50，1]的輸入特征圖樣本數(shù)據(jù)[7].

圖5 輸入數(shù)據(jù)格式重構(gòu)

3.2 同負(fù)載下故障診斷結(jié)果及與其他方法的比較

為更好地分析所提模型的診斷性能，本文分別使用創(chuàng)建的數(shù)據(jù)集A～E進(jìn)行實(shí)驗(yàn)，并將該模型與相關(guān)文獻(xiàn)中一些模型在數(shù)據(jù)集A～E下的分類準(zhǔn)確率進(jìn)行了比較，如基于集成經(jīng)驗(yàn)?zāi)B(tài)分解(EEMD)的支持向量機(jī)診斷模型[9]、基于稀疏濾波無監(jiān)督特征學(xué)習(xí)模型[10]、基于時(shí)域振動(dòng)信號(hào)的多層感知器(MLP)模型(Time+MLP)[11]、基于小波包能量(WPE)和深度卷積網(wǎng)絡(luò)的能量波動(dòng)多尺度特征挖掘模型(WPE+CNN)[12]、基于數(shù)據(jù)驅(qū)動(dòng)的多頭注意力卷積神經(jīng)網(wǎng)絡(luò)智能故障診斷模型Multihead CNN[13]和基于一維卷積神經(jīng)網(wǎng)絡(luò)的故障診斷模型1D-CNN[14].不同模型對(duì)不同數(shù)據(jù)集的故障診斷準(zhǔn)確率如表4所示.

表4 不同模型對(duì)5個(gè)數(shù)據(jù)集的故障識(shí)別準(zhǔn)確率 %

如表4所示，在同負(fù)載(訓(xùn)練集、驗(yàn)證集和測(cè)試集均為同一負(fù)載數(shù)據(jù))的情況下，本文提出的模型在無需提取任何特征的情況下，在數(shù)據(jù)集E上的故障診斷準(zhǔn)確率達(dá)到100%，明顯高于文獻(xiàn)[9]，原因主要在于該類模型的學(xué)習(xí)效果對(duì)所提取特征的依賴性較強(qiáng)，然而人工提取的特征適應(yīng)性較差，因此在混有多種負(fù)載的數(shù)據(jù)集E上表現(xiàn)較差，這也突出了深度學(xué)習(xí)自動(dòng)提取特征的優(yōu)勢(shì).與其他深度學(xué)習(xí)方法[10-14]相比，本文模型的故障識(shí)別準(zhǔn)確率也優(yōu)于其他方法，在數(shù)據(jù)集A～E上的識(shí)別準(zhǔn)確率均可達(dá)到100%.其原因在于多尺度分析方法和注意力機(jī)制相結(jié)合的二維卷積神經(jīng)網(wǎng)絡(luò)能夠挖掘數(shù)據(jù)的內(nèi)在聯(lián)系，自動(dòng)提取抽象特征，并可對(duì)特征實(shí)現(xiàn)權(quán)重分配，從而達(dá)到更高的診斷精度.

3.3 抗噪性能分析

工業(yè)系統(tǒng)中滾動(dòng)軸承的振動(dòng)信號(hào)具有高度的復(fù)雜性和強(qiáng)烈的環(huán)境噪聲，因此在不同噪聲信號(hào)的影響下對(duì)軸承的故障進(jìn)行準(zhǔn)確診斷尤為重要.評(píng)價(jià)信號(hào)噪聲強(qiáng)弱的標(biāo)準(zhǔn)是信噪比(SNR),為模擬實(shí)際工業(yè)系統(tǒng)中的噪聲環(huán)境，可在原始振動(dòng)信號(hào)中加入具有不同信噪比的高斯白噪聲以形成含噪聲的復(fù)合信號(hào).SNR計(jì)算公式如下：

(6)

式中，Psignal為信號(hào)的能量；Pnoise為噪聲的能量.

為驗(yàn)證本文所提模型的抗噪性能，與帶有訓(xùn)練干擾的卷積神經(jīng)網(wǎng)絡(luò)(TICNN)[15]、基于寬內(nèi)核的卷積神經(jīng)網(wǎng)絡(luò)(WDCNN)[16]、WDCNN(with adaBN)[16]、基于多尺度粗粒度層的卷積神經(jīng)網(wǎng)絡(luò)(MSAFCN)[17]等模型進(jìn)行對(duì)比.在內(nèi)圈故障的原始振動(dòng)信號(hào)上加入信噪比為-4～10 dB范圍的高斯白噪聲，實(shí)驗(yàn)結(jié)果如圖6所示.

圖6 本文模型和4種模型在不同噪聲環(huán)境下的性能

顯然，本文模型優(yōu)于其他4種CNN模型，在信噪比范圍為-4～10 dB時(shí)，其平均診斷準(zhǔn)確率超過99.8%.總體而言，5種模型的精度隨著信噪比的增加而提高，當(dāng)信噪比超過2 dB后，精度的變化趨于穩(wěn)定.這是因?yàn)樵谠肼曒^小的情況下，診斷精度主要取決于模型本身提取故障特征的能力.當(dāng)信噪比從0 dB到10 dB變化時(shí)，只有本文模型始終保持在100%的識(shí)別準(zhǔn)確率，表明該算法具有較高的故障特征提取能力.當(dāng)信噪比降至-4 dB時(shí)，本文模型仍能達(dá)到98.90%的識(shí)別準(zhǔn)確率，分別比TICNN、WDCNN、WDCNN(with adaBN) 和MSAFCN高16.85%、31.95%、6.25%、14.13%.實(shí)驗(yàn)結(jié)果表明，本文模型在沒有任何去噪預(yù)處理的情況下，仍可保持很強(qiáng)的抗噪聲能力，具有較好的魯棒性.

3.4 跨不同負(fù)載域的軸承診斷結(jié)果與分析

為驗(yàn)證本文模型在負(fù)載變化時(shí)故障診斷的遷移通用能力，模型訓(xùn)練和測(cè)試所用的數(shù)據(jù)均來自不同負(fù)載.例如，B-C表示在數(shù)據(jù)集B上訓(xùn)練樣本，在數(shù)據(jù)集C上進(jìn)行測(cè)試，每個(gè)方法實(shí)驗(yàn)10次以最大程度減少隨機(jī)性.本文將在數(shù)據(jù)集B上進(jìn)行訓(xùn)練，在數(shù)據(jù)集C、D上分別進(jìn)行測(cè)試；然后再在數(shù)據(jù)集C上進(jìn)行訓(xùn)練，在數(shù)據(jù)集B、D上進(jìn)行測(cè)試，最后將實(shí)驗(yàn)結(jié)果與基于快速傅立葉變換的多層感知器(FFT-MLP)模型、1D-CNN[14]模型、基于改進(jìn)多尺度和注意力的卷積網(wǎng)絡(luò)(IMS-FACNN)[18]模型和WDCNN[16]進(jìn)行對(duì)比，結(jié)果如圖7所示.

圖7 不同模型的負(fù)載適應(yīng)性測(cè)試結(jié)果比較

由圖7可看出，F(xiàn)FT-MLP在域適應(yīng)方面表現(xiàn)最差，平均準(zhǔn)確率為81.38%，相比之下，本文模型具有更高的準(zhǔn)確率，平均準(zhǔn)確率為97.20%，這也表明本文所提模型從原始信號(hào)中學(xué)習(xí)的特征比傳統(tǒng)的頻率特征更具有域不變性.對(duì)于1D-CNN和IMS-FACNN這2種深度卷積模型而言，其每個(gè)域適應(yīng)實(shí)驗(yàn)的準(zhǔn)確率均明顯低于本文模型.WDCNN雖然從數(shù)據(jù)集B到C的準(zhǔn)確率略高于本文模型，但是當(dāng)從數(shù)據(jù)集B到D、C到B和C到D進(jìn)行自適應(yīng)時(shí)，本文模型的分類精度均高于WDCNN，域適應(yīng)的穩(wěn)定性較強(qiáng).

3.5 特征可視化

卷積神經(jīng)網(wǎng)絡(luò)的黑匣子特性使得理解其內(nèi)在的學(xué)習(xí)機(jī)制變得尤為困難.因此，為理解本文模型的內(nèi)部操作過程，將對(duì)模型輸出的(多尺度層前、多尺度層后、注意力機(jī)制后和全連接層后)特征圖進(jìn)行可視化，此外，還將對(duì)上述輸出的特征通過t-SNE(t-distributed stochastic neighbor embedding)算法降為二維并進(jìn)行可視化.

3.5.1 卷積核輸出特征圖的可視化

本文抽取訓(xùn)練集中某個(gè)故障樣本的圖片作為模型的輸入，并將模型的卷積層1-1、卷積層1-2、最大池化層1-3、卷積層2-1、卷積層2-2、最大池化層2-3和多尺度特征提取層分別進(jìn)行輸出特征圖的可視化，可視化結(jié)果如圖8所示.由圖可知，模型的淺層網(wǎng)絡(luò)提取的是紋理、細(xì)節(jié)特征，其包含更多的特征，也具備提取關(guān)鍵特征的能力.而隨著模型層數(shù)的加深，更深層次的網(wǎng)絡(luò)提取的是輪廓、形狀和最強(qiáng)特征，但提取的有效特征越來越少，也越來越抽象，越來越稀疏.

(a) 第1個(gè)卷積-卷積-池化對(duì)后的特征圖

(b) 第2個(gè)卷積-卷積-池化對(duì)后的特征圖

(c) 多尺度特征提取層后的特征圖

3.5.2 t-SNE降維可視化

上述中間特征圖的可視化較為抽象，下面利用t-SNE降維算法將各層特征降為二維以更直觀地表示故障診斷分類過程，其中C1～C10表示軸承狀態(tài)的10種不同類別.原始振動(dòng)信號(hào)故障特征、信號(hào)經(jīng)過幾次卷積池化操作但未進(jìn)入多尺度層前的輸出特征、進(jìn)入多尺度層然后的輸出特征、進(jìn)入注意力機(jī)制模塊后的輸出特征和進(jìn)入全連接層后的輸出特征這5個(gè)t-SNE特征可視化結(jié)果如圖9所示.

如圖9(a)所示，原始振動(dòng)信號(hào)的特征交互重疊，雜亂無章地分布在整個(gè)空間中，沒有明顯的分界線.由圖9(b)可知，經(jīng)過幾次卷積池化操作，相同類別特征的點(diǎn)開始逐漸聚集，但不同樣本之間仍存在大面積重疊的現(xiàn)象.由圖9(c)可知，經(jīng)過多尺度層的多尺度特征提取作用，不同類別樣本之間的故障特征界限開始逐漸清晰，可在一定程度上區(qū)分部分樣本類別.由圖9(d)可知，由于注意力機(jī)制對(duì)特征的權(quán)重分配操作，各類樣本特征越來越分散，各種類別已基本被分開.由圖9(e)可知，經(jīng)過全連接層后，類與類之間的距離更大，各樣本之間的特征分離度達(dá)到最高.綜上可知，本文模型可從輸入的原始信號(hào)中有效提取特征，具備很好的分類性能.

(a) 原始振動(dòng)信號(hào)

(b) 信號(hào)進(jìn)入多尺度層前的特

(c) 信號(hào)進(jìn)入多尺度層后的

(d) 信號(hào)進(jìn)入注意力層后的特

(e) 信號(hào)進(jìn)入全連接層后的特征圖像

4 結(jié)論

1)MSACNN模型將一維時(shí)間序列轉(zhuǎn)化為二維圖像作為模型的輸入，并通過大量數(shù)據(jù)的學(xué)習(xí)以自適應(yīng)提取軸承的故障特征，避免了人工提取特征的過程，擺脫了對(duì)復(fù)雜信號(hào)處理技術(shù)的依賴，提高了診斷效率.

2)MSACNN模型具有較強(qiáng)的抗噪聲干擾能力，在噪聲環(huán)境下仍然具有良好的故障診斷性能.

3)MSACNN模型不僅能在同負(fù)載各測(cè)試集上達(dá)到很高的準(zhǔn)確率，而且對(duì)不同負(fù)載工況也有較高的準(zhǔn)確率，模型在識(shí)別精度和診斷魯棒性方面兼具良好表現(xiàn).

4)本文模型較復(fù)雜，運(yùn)算成本較大，在后續(xù)工作中會(huì)繼續(xù)優(yōu)化模型，以更好地學(xué)習(xí)特征表示，在提高診斷性能的同時(shí)簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)，最大程度地降低運(yùn)算成本.