基于自注意力的時(shí)頻特征融合軸承故障診斷方法

摘 要：針對(duì)故障診斷中單一時(shí)、頻域信號(hào)蘊(yùn)含特征不全面，導(dǎo)致傳統(tǒng)故障診斷模型泛化能力不強(qiáng)的問題，提出一種基于自注意力的時(shí)頻特征融合軸承故障診斷方法。該方法首先將原始信號(hào)和相應(yīng)頻譜作為雙通道輸入，時(shí)頻交叉注意力能夠通過時(shí)域發(fā)現(xiàn)頻域的隱性特征，通過頻域發(fā)現(xiàn)時(shí)域的隱性特征，經(jīng)過多層時(shí)頻交叉注意力進(jìn)行全局特征提取的同時(shí)產(chǎn)生深度融合的時(shí)頻融合特征；其次將時(shí)頻融合特征輸入改進(jìn)的多尺度殘差網(wǎng)絡(luò)進(jìn)一步提取局部特征，經(jīng)全連接層降維并輸出診斷結(jié)果；最后采用凱斯西儲(chǔ)大學(xué)軸承數(shù)據(jù)集、帕德博恩大學(xué)軸承數(shù)據(jù)集和某工廠減速機(jī)軸承故障數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)驗(yàn)證，結(jié)果表明該方法診斷準(zhǔn)確率及泛化能力顯著提升，同工況診斷準(zhǔn)確率可達(dá)99%以上、跨工況診斷準(zhǔn)確率可達(dá)95%以上。

關(guān)鍵詞：軸承故障診斷；自注意力；特征融合；深度學(xué)習(xí)；多尺度殘差網(wǎng)絡(luò)

DOI：10.15938/j.jhust.2024.06.001

中圖分類號(hào)： TP306.1

文獻(xiàn)標(biāo)志碼： A

文章編號(hào)： 1007-2683（2024）06-0001-12

收稿日期： 2023-06-29

基金項(xiàng)目： 2021年度京津冀基礎(chǔ)研究合作專項(xiàng)項(xiàng)目（21JCZXJC00050）；2022年河北省自然科學(xué)基金（F2022202021）；電氣傳動(dòng)國家工程研究中心創(chuàng)新基金（GE2022ZL001）.

作者簡介：

劉 晶（1979—），女，博士，研究員，中國計(jì)算機(jī)學(xué)會(huì)（CCF）杰出會(huì)員；

張明輝（1999—），男，碩士研究生.

通信作者：

季海鵬（1981—），男，博士，副研究員，E-mail：haipeng@jingnuodata.com.

Bearing Fault Diagnosis Method Based on Self-attentional

Time-frequency Feature Fusion

LIU Jing1，2，3， ZHANG Minghui1， WU Jian4， CHEN Erlong4， JI Haipeng2，3，5

（1.College of Artificial Intelligence， Hebei University of Technology， Tianjin 300400， China;

2.Hebei Data Industrial Intelligent Engineering Research Center， Tianjin 300400， China;

3.Tianjin Development Zone Jingnuo Data Technology Co. Ltd.， Tianjin 300400， China;

4.Tianjin Electric Science Research Institute Co. Ltd.， Tianjin 300400， China;

5.College of Materials Science and Engineering， Hebei University of Technology， Tianjin 300400， China）

Abstract：Aiming at the problem that the single time and frequency domain signal contains incomplete features in bearing fault diagnosis， which leads to the poor generalization ability of traditional fault diagnosis models， a bearing fault diagnosis method based on self-attention time-frequency feature fusion was proposed. Firstly， the original signal and the corresponding spectrum were taken as dual channel inputs， and the time-frequency cross-attention was able to discover the implicit features in the frequency domain through the time domain， and the implicit features in the time domain were found through the frequency domain. After multi-layer time-frequency cross-attention for global feature extraction， deep fusion time-frequency fusion features were generated. Secondly， the time-frequency fusion features were input into the improved multi-scale residual network to further extract local features， and the dimension was reduced through the fully connected layer and the diagnosis results were output. Finally， the bearing fault data set of Case Western Reserve University and the reducer bearing fault data set of a factory were used for experimental verification. The results show that the diagnostic accuracy and generalization ability of the proposed method are significantly improved， and the diagnostic accuracy of the same working condition can reach more than 99%， and the cross-condition diagnosis accuracy can reach more than 95%.

Keywords：bearing fault diagnosis; self-attention; feature fusion; deep learning; multi-scale residual networks

0 引 言

軸承作為旋轉(zhuǎn)機(jī)械設(shè)備的重要部件，一旦出現(xiàn)故障，輕則降低生產(chǎn)效率，重則造成嚴(yán)重的安全事故，因此高效、可靠的軸承故障診斷成為了研究熱點(diǎn)［1］。目前，軸承故障診斷方法主要分為傳統(tǒng)的時(shí)頻分析結(jié)合數(shù)理統(tǒng)計(jì)的方法［2］和基于數(shù)據(jù)驅(qū)動(dòng)的故障診斷方法［3-4］。傳統(tǒng)故障診斷方法從時(shí)域、頻域或時(shí)頻域等方面對(duì)信號(hào)進(jìn)行特征分析和特征提取從而實(shí)現(xiàn)故障識(shí)別，其中時(shí)頻分析方法主要包括：傅里葉變換［5］、小波變換［6］、變模態(tài)分解［7］、希爾伯特-黃變換［8］等，基于時(shí)頻分析的故障診斷方法雖然已經(jīng)取得了不錯(cuò)的診斷效果，但存在對(duì)先驗(yàn)知識(shí)要求過高、信號(hào)處理方法復(fù)雜等問題，那么先進(jìn)行時(shí)頻分析，初步提取特征，后續(xù)再輸入到深度學(xué)習(xí)模型中進(jìn)一步提取深層特征逐漸成常見處理方法。傅里葉變換和小波變換作為最常用的時(shí)頻分析方法，都有自身的優(yōu)勢(shì)與劣勢(shì)，小波變換能夠?qū)r(shí)域信號(hào)轉(zhuǎn)換為小波時(shí)頻圖，同時(shí)包含時(shí)域、頻域信息，但是存在小波基選取難的問題。在盡可能少的依賴先驗(yàn)知識(shí)的條件下，傅里葉變換能夠直接獲得時(shí)域信號(hào)的頻譜，而且屬于一維信號(hào)，在模型訓(xùn)練中相比于小波時(shí)頻圖還具有時(shí)間復(fù)雜度和空間復(fù)雜度上的優(yōu)勢(shì)，故本文選擇傅里葉變換求頻譜作為頻域輸入。

近年來，隨著工業(yè)物聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)驅(qū)動(dòng)的故障診斷方法能夠直接從振動(dòng)信號(hào)中挖掘深層特征并構(gòu)建診斷模型，因此受到廣泛關(guān)注?；跀?shù)據(jù)驅(qū)動(dòng)的軸承故障診斷模型大多基于卷積神經(jīng)網(wǎng)絡(luò)［9-10］（convolutional neural network，CNN）和長短時(shí)記憶網(wǎng)絡(luò)［11-12］（long short-term mermory，LSTM）兩種方法，例如CHEN等［13］采用軸承原始振動(dòng)信號(hào)作為雙通道輸入，使用兩個(gè)不同大小的卷積核分別進(jìn)行特征提取和特征融合，然后利用LSTM挖掘融合特征中的時(shí)序信息完成故障分類；CHOUDHARY等［14］以6種故障狀態(tài)的軸承熱圖像作為研究對(duì)象，對(duì)比了基于LeNet-5的CNN網(wǎng)絡(luò)和傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)（artificial neural network，ANN）的診斷效果，證明CNN在故障診斷準(zhǔn)確率方面明顯優(yōu)于ANN；ZOU等［15］提出一種多尺度加權(quán)熵形態(tài)濾波和雙向長短記憶網(wǎng)絡(luò)（Bi-LSTM）結(jié)合的故障診斷方法，該方法克服了各本征模態(tài)分量之間的模態(tài)混疊現(xiàn)象，在診斷準(zhǔn)確率和模型收斂速度均取得較好效果；TONG等［16］為充分挖掘振動(dòng)信號(hào)中的時(shí)空信息，將深度殘差收縮網(wǎng)絡(luò)與Bi-LSTM相結(jié)合，分別提取振動(dòng)信號(hào)的空間和時(shí)間特征，進(jìn)一步解決了軸承振動(dòng)信號(hào)長期依賴問題，有效提高了診斷效果。綜上所述，采用CNN、LSTM可以有效提取故障特征，且取得了較好的效果，但是由于CNN依賴卷積核進(jìn)行特征提取，而卷積核只能關(guān)注感受野范圍內(nèi)的特征，從而缺乏全局特征提取能力，對(duì)于具有強(qiáng)非線性、非平穩(wěn)性的軸承振動(dòng)信號(hào)難免丟失部分隱性故障特征，影響故障診斷效果；而LSTM的優(yōu)勢(shì)在于時(shí)序特征提取能力，但是其記憶機(jī)制只能保持短期記憶，對(duì)于軸承振動(dòng)信號(hào)這種長序列無法關(guān)注全局特征。

Transformer［17］是在2017年提出的用于自然語言處理（natural language processing，NLP）任務(wù)的模型結(jié)構(gòu)，完全依賴自注意力處理輸入數(shù)據(jù)。在NLP領(lǐng)域中，句子中的每個(gè)單詞都被編碼為獨(dú)熱向量并進(jìn)行位置嵌入后輸入到模型中，自注意力處理每個(gè)向量時(shí)，可以關(guān)注整個(gè)輸入序列，從而為語言模型提供了考慮上下文的能力。此外，在時(shí)序數(shù)據(jù)預(yù)測(cè)、音頻分類、計(jì)算機(jī)視覺等領(lǐng)域，各種改進(jìn)的Transformer結(jié)構(gòu)得到了廣泛研究，并取得了突破性進(jìn)展。例如為了解決Transformer對(duì)長時(shí)間序列數(shù)據(jù)預(yù)測(cè)存在的高時(shí)間復(fù)雜度、高內(nèi)存使用等問題，ZHOU等［18］提出了Informer，使時(shí)間、空間復(fù)雜度均達(dá)到 水平，而且預(yù)測(cè)效果顯著提高；GONG等［19］將音頻轉(zhuǎn)換為時(shí)頻圖作為模型輸入，提出了首個(gè)無卷積音頻分類模型，利用Transformer強(qiáng)大的上下文捕捉能力，取得了很好的效果，證明自注意力對(duì)音頻信號(hào)的特征提取也具有優(yōu)秀的性能；另外，LIU等［20］提出了Swin Transformer，將圖片分割為多個(gè)Patch并映射為向量作為模型輸入，有效降低了模型的計(jì)算量，分類準(zhǔn)確率在Image Net數(shù)據(jù)集上取得了當(dāng)時(shí)最先進(jìn)效果。綜上所述，自注意力能夠關(guān)注輸入序列的上下文信息，而且大部分計(jì)算能夠并行完成，對(duì)于長序列特征提取具有很強(qiáng)的適應(yīng)性。在軸承故障診斷領(lǐng)域，可以將一段時(shí)序信號(hào)分割為小段序列并編碼為向量，同時(shí)利用注意力來加權(quán)不同時(shí)段，從而更好的捕捉序列中的信息，基于此本文提出了基于自注意力的時(shí)頻特征融合軸承故障診斷方法，主要工作如下：

1）針對(duì)傳統(tǒng)軸承故障診斷模型缺乏關(guān)注全局特征能力，導(dǎo)致特征提取不充分的問題，提出基于自注意力的時(shí)頻特征融合模塊（time-frequency fusion，TFF），將原始信號(hào)和相應(yīng)頻譜同時(shí)輸入到模型中，利用時(shí)頻交叉注意力能夠在特征融合同時(shí)進(jìn)行全局特征提取，實(shí)現(xiàn)深度特征融合，提高軸承故障診斷的準(zhǔn)確率。

2）為進(jìn)一步提高模型泛化能力，同時(shí)避免全注意力網(wǎng)絡(luò)參數(shù)量過大，提出改進(jìn)的多尺度殘差網(wǎng)絡(luò)，基于時(shí)頻融合特征采用不同大小的卷積核進(jìn)一步提取更全面的局部特征，構(gòu)建先全局后局部的模型結(jié)構(gòu)。

3）將本文所提軸承故障診斷方法用于凱斯西儲(chǔ)大學(xué)軸承數(shù)據(jù)集和某工廠減速機(jī)故障數(shù)據(jù)集的同工況和跨工況故障診斷，進(jìn)一步驗(yàn)證該方法泛化能力的提升。

1 方法架構(gòu)

傳統(tǒng)時(shí)頻特征融合故障診斷方法通常的處理流程如圖1所示，首先分別對(duì)時(shí)域輸入和頻域輸入進(jìn)行特征提取；其次進(jìn)行展平、拼接等操作獲得拼接的時(shí)頻域特征，并通過全連接層或卷積層進(jìn)行特征融合；最后進(jìn)一步提取特征并輸出診斷結(jié)果。傳統(tǒng)的時(shí)頻特征融合依賴卷積層、全連接層等網(wǎng)絡(luò)結(jié)構(gòu)，缺乏關(guān)注全局特征的能力，無法進(jìn)行深度特征融合，而且融合特征僅由拼接時(shí)、頻特征向量得到，與單獨(dú)使用時(shí)、頻域特征進(jìn)行故障診斷沒有本質(zhì)差別。本文提出的基于自注意力的時(shí)頻特征融合模塊是Transformer Encoder的改進(jìn)結(jié)構(gòu)，同時(shí)接受時(shí)、頻域輸入，利用時(shí)頻交叉注意力在特征融合的同時(shí)進(jìn)行全局特征提取，獲得深度融合的時(shí)頻融合特征，本文模型處理流程如圖2所示。

針對(duì)傳統(tǒng)軸承故障診斷方法通常缺乏關(guān)注全局特征的能力，造成故障特征丟失，本文提出基于自注意力的時(shí)頻融合軸承故障診斷方法，該方法根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)關(guān)注特征的不同，主要分為基于自注意力的時(shí)頻特征融合模塊和改進(jìn)的多尺度殘差網(wǎng)絡(luò)（multi-scale residual network，MSRN）兩部分，分別關(guān)注全局特征和局部特征。模型結(jié)構(gòu)如圖3所示，雙通道輸入由原始振動(dòng)信號(hào)和相應(yīng)的頻譜組成，首先對(duì)輸入進(jìn)行Patch Embedding，即分別將時(shí)、頻域輸入分割成一定數(shù)量的塊，目的是以更小的時(shí)間粒度且分頻段地關(guān)注故障特征，并將所有的塊映射到相同的維數(shù)以便于模型進(jìn)行計(jì)算。傳統(tǒng)故障診斷方法通常以故障頻率的一倍頻、二倍頻、三倍頻等作為故障診斷的重要依據(jù)，即在不同頻段均含有故障特征，本文將時(shí)、頻域輸入進(jìn)行劃分能夠使模型關(guān)注不同頻段具有的故障特征以獲得更豐富的特征；其次進(jìn)行Position Embedding，即位置嵌入，通過位置嵌入向量能夠使分塊后數(shù)據(jù)仍具有順序性；然后將處理后的時(shí)、頻域數(shù)據(jù)輸入到多層堆疊的基于自注意力的時(shí)頻特征融合模塊，通過時(shí)頻交叉注意力進(jìn)行全局特征提取的同時(shí)進(jìn)行特征融合，產(chǎn)生深度融合時(shí)頻融合特征；最后，將獲得的時(shí)頻融合特征輸入到改進(jìn)的多尺度殘差網(wǎng)絡(luò)提取不同尺度的局部特征并經(jīng)全連接層降維，輸出診斷結(jié)果。

1.1 基于自注意力的時(shí)頻特征融合模塊

TFF接受1維序列輸入，軸承振動(dòng)的信號(hào)時(shí)、頻域特征x、y都屬于一維信號(hào)，即x∈RH1×1，y∈RH2×1，其中H1為時(shí)域信號(hào)采樣點(diǎn)數(shù)，H2為頻域信號(hào)數(shù)據(jù)點(diǎn)數(shù)。原始振動(dòng)信號(hào)和頻譜分別作為時(shí)、頻域特征輸入，由于頻譜的數(shù)據(jù)點(diǎn)數(shù)通常為原始振動(dòng)信號(hào)的一半，分割為N個(gè)Patch后數(shù)據(jù)點(diǎn)數(shù)量是不同的，因此需要進(jìn)行Patch Embedding，保證時(shí)、頻特征的維度一致，即經(jīng)過一個(gè)線性層將每個(gè)Patch統(tǒng)一映射到D維度。通過標(biāo)準(zhǔn)的可學(xué)習(xí)1D位置嵌入（position embedding），保留Patch的位置信息，使分塊后的序列仍有順序性。

z0=（zx0，zy0）（1）

zx0=［x1E;x2E;…;xNE］+Epos，E∈R（P1×1）×D（2）

zy0=［y1E;y2E;…;yNE］+Epos，E∈R（P2×1）×D（3）

式中：z0為模型輸入，包括時(shí)域輸入zx0和頻域輸入zy0；每個(gè)Patch乘以E代表Patch Embedding操作；Epos為位置嵌入向量；P1、P2分別為時(shí)、頻域每個(gè)Patch的長度；D為TFF內(nèi)部處理數(shù)據(jù)的維度。

TFF由時(shí)頻交叉注意力（time-frequency cross attention，TFCA）和MLP模塊組成，如圖4所示。在每個(gè)模塊前應(yīng)用層標(biāo)準(zhǔn)化（layer norm，LN），并在每個(gè)模塊之后使用殘差連接。TFF的層數(shù)L可由人為設(shè)定，層數(shù)越多意味著模型中參數(shù)數(shù)量越多，訓(xùn)練就越困難，而且層數(shù)過多的模型在數(shù)據(jù)集不大時(shí)效果反而更差。本文設(shè)置L=3，獲得較好診斷效果的同時(shí)模型的時(shí)間、空間性能都比較好。

z′l=TFCA（LN（zl－1））+zl－1（4）

zl=MLP（LN（zl－1））+zl－1（5）

式中：z′l為第l層中間狀態(tài)；zl為第l層輸出。

TFCA處理單個(gè)Patch的流程如圖5所示，首先將時(shí)域、頻域輸入經(jīng)過一個(gè)線性層分別生成（qit，kit，vit）和（qif，kif，vif），其中qit為Qt中的一列，即Qt=Wqzx=［q1t，q2t，…，qNt］；其次將多個(gè)Patch分別做同樣的操作得到（Q，K，V）；最后做時(shí)頻交叉注意力，實(shí)現(xiàn)特征融合。Wq為可學(xué)習(xí)的參數(shù)矩陣，隨著模型訓(xùn)練不斷優(yōu)化。

TFCA（zx，zy）=softmax（QtKTfdk）Vf，softmax（QfKTtdk）Vt（6）

其中：dk為Q、K的維度；zx、zy分別為時(shí)、頻域輸入；因?yàn)閟oftmax的輸入很大時(shí)梯度趨于零，為了使梯度不至于太小，所以除以dk，使QKdk的分布盡可能接近均值為0，方差為1的正態(tài)分布。

MLP的結(jié)構(gòu)如圖6所示，包括兩層線性層并采用GELU激活函數(shù)，中間隱層的維度為mlp_dim=1024。在時(shí)頻交叉注意力后加入這一結(jié)構(gòu)的作用是為了進(jìn)行特征提取，增強(qiáng)模型的表達(dá)能力。由于TFCA和MLP本質(zhì)上都是矩陣乘法運(yùn)算，即線性變換，線性變換的學(xué)習(xí)能力遠(yuǎn)不如非線性變換，因此加入激活函數(shù)提高模型的學(xué)習(xí)能力。GELU激活函數(shù)對(duì)于小于零的值會(huì)輸出小的負(fù)值，相比于卷積網(wǎng)絡(luò)中常用的ReLU對(duì)小于0的值全部輸出為零，有利于穩(wěn)定網(wǎng)絡(luò)梯度，不易造成梯度爆炸和梯度消失。

對(duì)于一段輸入，進(jìn)行多次注意力是有益的。在查詢（Q）、鍵（K）和值（V）的每個(gè)投影上，并行執(zhí)行注意力函數(shù)，生成輸出值，即多頭注意力機(jī)制（multi-head self-attention，MSA）。MSA擴(kuò)展了自注意力關(guān)注于不同位置的能力，同時(shí)MSA可以并行計(jì)算，在高度并行環(huán)境（如GPU）中具有很高的計(jì)算效率，本文設(shè)置h=6。

MultiHead（Q，K，V）=Concat（head1，…，headh）

where headi=TFCA（zx，zy）（7）

其中：Q、K∈Rdk×N1;V∈Rdv×N2。

1.2 改進(jìn)的多尺度殘差網(wǎng)絡(luò)

為避免全注意力網(wǎng)絡(luò)參數(shù)量過大，造成模型不易訓(xùn)練且容易過擬合的問題，采用卷積結(jié)構(gòu)構(gòu)建局部特征提取模塊，提高模型泛化能力的同時(shí)整個(gè)模型參數(shù)數(shù)量不至于太大。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)依賴單一尺寸卷積核，由于卷積核只能關(guān)注感受野范圍內(nèi)的特征，其特征提取能力對(duì)于一些復(fù)雜任務(wù)往往效果不佳，尤其是軸承振動(dòng)信號(hào)本身具有非線性、非平穩(wěn)性，進(jìn)一步造成隱性特征難提取。為提取更豐富的特征，本文提出改進(jìn)的多尺度殘差網(wǎng)絡(luò)，該網(wǎng)絡(luò)由多個(gè)多尺度殘差塊（multiscale residual block，MSRB）組成。MSRB內(nèi)部包含一個(gè)殘差連接，1×3卷積、1×5卷積和1×7卷積，如圖7所示。多個(gè)尺寸的卷積核能夠關(guān)注不同尺度的局部特征，同時(shí)殘差連接能夠使輸出中包含部分輸入的信息，緩解因網(wǎng)絡(luò)層數(shù)加深帶來的梯度消失問題，加快模型收斂速度。本文MSRN堆疊3層多尺度殘差塊，連接兩層全連接層進(jìn)行特征降維，經(jīng)softmax處理得到概率分布，概率最大的類別即為模型預(yù)測(cè)的分類。

卷積層的作用是特征提取，具有參數(shù)數(shù)量少、計(jì)算速度快、擬合能力強(qiáng)的特點(diǎn)，許多領(lǐng)域的優(yōu)秀模型都是基于卷積構(gòu)建的。CNN通過卷積核在數(shù)據(jù)上的滑動(dòng)計(jì)算獲得抽象程度更高的特征，過程如式（8）：

F=f（wx+b）（8）

其中：F表示卷積層輸出；f表示卷積操作；w和b分別表示卷積核權(quán)重和偏置向量。

激活層的作用是對(duì)輸入特征做非線性映射，將輸入特征映射到高維非線性空間，能夠增強(qiáng)網(wǎng)絡(luò)的表達(dá)能力。經(jīng)過大量模型檢驗(yàn)，ReLU激活函數(shù)的稀疏性能夠有效緩解模型過擬合。

ReLU（x）=max（0，x）（9）

MSRB中大量使用批標(biāo)準(zhǔn)化層（batch normalization，BN）保證各層輸入特征的分布相對(duì)穩(wěn)定。BN層將數(shù)據(jù)的均值和方差控制在相對(duì)穩(wěn)定的區(qū)間，使學(xué)習(xí)過程更加平穩(wěn)，學(xué)習(xí)到的模型對(duì)于數(shù)據(jù)的適應(yīng)性更高。

2 實(shí)驗(yàn)分析

2.1 實(shí)驗(yàn)平臺(tái)

本文實(shí)驗(yàn)在Windows 10 64位操作系統(tǒng)上運(yùn)行，處理器為AMD Ryzen 7 5800H，GPU為RTX3060，運(yùn)行內(nèi)存16.0GB，軟件環(huán)境為Python3.9+Pytorch1.7.1。

2.2 數(shù)據(jù)集描述

數(shù)據(jù)輸入之前要進(jìn)行數(shù)據(jù)預(yù)處理，本文對(duì)所有數(shù)據(jù)集采用相同的預(yù)處理方法。首先，將連續(xù)的時(shí)域振動(dòng)信號(hào)切分為800個(gè)數(shù)據(jù)點(diǎn)的樣本，不同故障類型按順序交錯(cuò)排列，并附加對(duì)應(yīng)故障類型的標(biāo)簽，這樣做的好處是模型學(xué)習(xí)到更多，而不止同一個(gè)故障類型的特征。構(gòu)造頻域輸入需要對(duì)時(shí)域數(shù)據(jù)進(jìn)行快速傅里葉變換，將其輸出平方再開方，就得到了頻譜，由于頻譜是對(duì)稱的，所以只取單邊譜即可，即前400個(gè)點(diǎn)作為模型的頻域輸入。為了驗(yàn)證本文方法在同工況和跨工況故障診斷準(zhǔn)確率以及泛化能力，采用凱斯西儲(chǔ)大學(xué)軸承數(shù)據(jù)集、帕德博恩大學(xué)軸承數(shù)據(jù)集和某工廠減速機(jī)軸承故障數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)驗(yàn)證。

數(shù)據(jù)集1：美國凱斯西儲(chǔ)大學(xué)（case western reserve university，CWRU）軸承數(shù)據(jù)中心的軸承數(shù)據(jù)集。驅(qū)動(dòng)端待測(cè)軸承型號(hào)為SKF6205深溝球軸承、風(fēng)扇端為SKF6203深溝球軸承。采用電火花技術(shù)對(duì)待測(cè)軸承設(shè)置內(nèi)圈（inner raceway，IR）、外圈（out raceway，OR）、滾動(dòng)體（ball，BO）3種故障，每處故障直徑又分為0.007inch、0.014inch、0.021inch（1inch=2.54cm）3種。數(shù)據(jù)采集分別在4種不同負(fù)載（0、1、2、3馬力）下進(jìn)行，由放置在驅(qū)動(dòng)端和風(fēng)扇端的加速度傳感器分別以12kHz、48kHz的采樣頻率記錄振動(dòng)數(shù)據(jù)，最終采集到正常樣本8個(gè)、外圈故障樣本53個(gè)、內(nèi)圈故障23個(gè)以及滾動(dòng)體故障樣本11個(gè)。本文擬采用48kHz采樣頻率下3種不同負(fù)載（1、2、3馬力）的數(shù)據(jù)集進(jìn)行同工況和跨工況對(duì)比實(shí)驗(yàn)，故障類別共10類，如表1所示。每個(gè)工況下樣本數(shù)量為4750個(gè)，即每類樣本475個(gè)，單個(gè)樣本長度800個(gè)數(shù)據(jù)點(diǎn)，訓(xùn)練集與測(cè)試集之比為6∶4。

數(shù)據(jù)集2：德國帕德博恩軸承數(shù)據(jù)集（paderborn university，PU），是一個(gè)包括人為故障和真實(shí)損壞的軸承故障數(shù)據(jù)集，采樣頻率為64kHz。根據(jù)轉(zhuǎn)速、軸承上的徑向力、負(fù)載扭矩的不同，分別采集4種工況下的振動(dòng)信號(hào)，如表2所示。

本文選擇4種工況下的4種故障數(shù)據(jù)加一類正常數(shù)據(jù)。其中外圈故障、內(nèi)圈故障的兩種故障不同的嚴(yán)重程度作為單獨(dú)的故障類型，如表3所示。每種工況下每類312條數(shù)據(jù)，即樣本總數(shù)為312×5×4，訓(xùn)練集與測(cè)試集之比為6∶4，單個(gè)樣本長度為800個(gè)數(shù)據(jù)點(diǎn)。

數(shù)據(jù)集3：某工廠CG26-112A-18.99-A型號(hào)減速機(jī)的故障數(shù)據(jù)。在蝸桿下徑向方向設(shè)置加速度傳感器，采集振動(dòng)加速度信號(hào)，采樣頻率為20kHz，輸入軸轉(zhuǎn)速為1500r/min。共獲得高速軸松動(dòng)、蝸桿劃痕、中間軸竄動(dòng)和正常4類故障數(shù)據(jù)，每類故障數(shù)據(jù)又分為有負(fù)載和無負(fù)載兩種工況，最終采集到8類樣本，每類樣本數(shù)量為500，如表4所示。所用的數(shù)據(jù)預(yù)處理方法與CWRU數(shù)據(jù)集相同，單個(gè)樣本長度為800個(gè)數(shù)據(jù)點(diǎn)，訓(xùn)練集與測(cè)試集之比為6∶4。

2.3 對(duì)比實(shí)驗(yàn)分析

為驗(yàn)證本文模型的有效性，采用以下5種模型進(jìn)行對(duì)比實(shí)驗(yàn)，將故障診斷準(zhǔn)確率和標(biāo)準(zhǔn)差作為重要指標(biāo)。

1）TFF-MRSN：即本文所提模型，模型主體結(jié)構(gòu)包括三層TFF模塊和三層MSRB，模型參數(shù)設(shè)置如表5所示。

2）TFF-Res：將模型1）的MSRN部分替換為3層單尺度殘差網(wǎng)絡(luò)，卷積核大小為5。

3）TFF：全注意力網(wǎng)絡(luò)結(jié)構(gòu)，即將本文模型的MSRN部分刪除掉，其余參數(shù)與模型1）相同。

4）MSRN：采用6層MSRB組成多尺度殘差網(wǎng)絡(luò)，前三層處理時(shí)、頻雙通道特征，后三層處理融合特征。相較于純CNN網(wǎng)絡(luò)還加入多尺度殘差的結(jié)構(gòu)，能夠代表基于CNN的故障診斷方法。

5）LSTM-CNN：即文［21］中的模型結(jié)構(gòu)，并進(jìn)行部分調(diào)整以適應(yīng)本文數(shù)據(jù)輸入，采用雙層LSTM分別提取時(shí)頻域特征，中間層采用3層卷積神經(jīng)網(wǎng)絡(luò)進(jìn)一步提取時(shí)頻融合特征，最后經(jīng)全連接層降維并輸出診斷結(jié)果。

2.3.1 CWRU數(shù)據(jù)集測(cè)試

為驗(yàn)證時(shí)頻雙通道輸入相較于傳統(tǒng)單一時(shí)、頻域輸入，對(duì)模型準(zhǔn)確率的提高具有更大優(yōu)勢(shì)。將各個(gè)對(duì)比模型在單一時(shí)域、單一頻域、時(shí)頻雙通道輸入條件下進(jìn)行訓(xùn)練以及準(zhǔn)確率測(cè)試，取最終模型在測(cè)試集上5個(gè)輪次準(zhǔn)確率的平均值作為模型準(zhǔn)確率，結(jié)果如表6、表7所示。5次實(shí)驗(yàn)診斷準(zhǔn)確率的標(biāo)準(zhǔn)差如表8所示。

首先，由表6可知各個(gè)模型在單通道時(shí)域輸入的條件下準(zhǔn)確率均較低，幾乎都在50%到70%之間，在實(shí)際工廠中是不可用的；其次，證明了直接對(duì)具有非線性、非平穩(wěn)性的原始振動(dòng)信號(hào)進(jìn)行特征提取難以獲得較好的診斷效果；再次，說明時(shí)域信號(hào)中也蘊(yùn)含部分故障特征，模型能夠達(dá)到60%左右的診斷準(zhǔn)確率就是依靠時(shí)域信號(hào)中的隱性特征實(shí)現(xiàn)的；最后，為充分利用時(shí)域信號(hào)中的部分隱性特征完成故障診斷，故采用時(shí)頻雙通道輸入。頻域信號(hào)采用由原始信號(hào)經(jīng)快速傅里葉變換獲得的頻譜，與原始振動(dòng)信號(hào)組成時(shí)頻雙通道輸入。由表7可知，各工況下單通道頻域輸入和時(shí)頻雙通道輸入的故障診斷準(zhǔn)確率，MSRN和LSTM-CNN雙通道輸入下準(zhǔn)確率明顯高于單通道頻域，MSRN平均準(zhǔn)確率提升了17.94%，LSTM-CNN平均提升了27.12%，說明時(shí)頻雙通道輸入能夠有效提升模型診斷準(zhǔn)確率。3種基于TFF的模型在單通道頻域和時(shí)頻雙通道輸入條件下準(zhǔn)確率差距不大，雙通道輸入條件下3種基于TFF構(gòu)建的模型準(zhǔn)確率均能達(dá)到98%以上，且本文模型在各工況下診斷準(zhǔn)確率略高于其他基于TFF構(gòu)建的模型，相較于平均準(zhǔn)確率只有93.8%的MSRN提升了4.57%，而LSTM-CNN與MSRN相差不大，說明本文TFF模塊有效提高了診斷準(zhǔn)確率。表8展示了同工況故障診斷的標(biāo)準(zhǔn)差，其中單通道時(shí)域遠(yuǎn)大于頻域和雙通道，各模型單通道時(shí)域的標(biāo)準(zhǔn)差都在4%及以上的水平，訓(xùn)練的模型很不穩(wěn)定。頻域和雙通道下的標(biāo)準(zhǔn)差在0.5以下，訓(xùn)練比較穩(wěn)定，而且雙通道輸入進(jìn)一步降低了標(biāo)準(zhǔn)差，能夠提高模型的可靠性。

5種對(duì)比模型在1馬力（horse power，HP）負(fù)載的CWRU數(shù)據(jù)集上進(jìn)行訓(xùn)練，采用雙通道輸入，訓(xùn)練集與測(cè)試集之比為6∶4，模型訓(xùn)練20輪的測(cè)試集準(zhǔn)確率曲線如圖8和圖9所示。為避免訓(xùn)練結(jié)果的偶然性，重復(fù)5次實(shí)驗(yàn)后取平均值。MSRN和LSTM-CNN模型在測(cè)試集上準(zhǔn)確率只有94%左右，這兩種對(duì)比方法無論在診斷準(zhǔn)確度和模型收斂速度方面都明顯更差，原因主要有兩點(diǎn)：①依賴傳統(tǒng)卷積結(jié)構(gòu)和LSTM的模型特征提取能力不足，不能充分挖掘隱性特征；②本文比一般的情況設(shè)置更少的訓(xùn)練集，更多的測(cè)試集，特征提取能力較差的模型表現(xiàn)就會(huì)相對(duì)更差。其余3種基于TFF構(gòu)建的模型，最終測(cè)試集準(zhǔn)確率相差較小，均達(dá)到98%以上，單就同工況診斷準(zhǔn)確率3種模型均表現(xiàn)較好，但是由于TFF和TFF-Res模型相較于本文模型參數(shù)數(shù)量更少，所以在收斂速度上略強(qiáng)于本文模型。

為了適應(yīng)實(shí)際生產(chǎn)條件下的故障診斷，模型必須具備更強(qiáng)的泛化能力，同工況診斷準(zhǔn)確率并不能衡量一個(gè)模型泛化能力的高低。本文通過跨工況故障診斷準(zhǔn)確率來測(cè)試模型泛化能力，同時(shí)進(jìn)一步驗(yàn)證雙通道輸入的優(yōu)越性，由于單一時(shí)域輸入條件下模型準(zhǔn)確率較低，故不再做跨工況對(duì)比實(shí)驗(yàn)，單一頻域輸入和時(shí)頻雙通道輸入的跨工況故障診斷結(jié)果如表9、表10所示。其中a-b表示在a馬力負(fù)載的數(shù)據(jù)集上訓(xùn)練的模型，采用b馬力負(fù)載的數(shù)據(jù)集進(jìn)行故障診斷測(cè)試，a，b∈1，2，3。由表9可知，雙通道輸入條件下本文模型TFF-MSRN在各個(gè)跨工況測(cè)試中均取得最優(yōu)效果，其中1-2條件下本文模型與TFF-Res都能達(dá)到95%以上，但1-3條件下本文模型有89%的準(zhǔn)確率，比TFF-Res高3%以上，說明本文提出的多尺度殘差塊有效提高了模型泛化能力，且性能優(yōu)于單一尺度的殘差網(wǎng)絡(luò)。TFF模型是全注意力網(wǎng)絡(luò)結(jié)構(gòu)，沒有設(shè)置關(guān)注局部特征的結(jié)構(gòu)，所以跨工況診斷準(zhǔn)確率較差，本文模型相比于TFF跨工況故障診斷準(zhǔn)確率平均提升了7.54%。MSRN和LSTM-CNN的跨工況診斷準(zhǔn)確率基本都在90%以下，已經(jīng)在實(shí)際工廠的故障診斷中不可用，綜上所述，本文提出的TFF-MSRN模型同工況、跨工況條件下都具有更高的診斷準(zhǔn)確率以及更好的泛化能力。雙通道輸入相比于單通道頻域輸入，五種模型的平均跨工況故障診斷準(zhǔn)率分別提升了1.56%、1.31%、1.38%、5.6%、21.82%，驗(yàn)證了雙通道輸入能夠有效提高模型故障診斷準(zhǔn)確率。此外，1馬力數(shù)據(jù)訓(xùn)練的模型平均跨工況準(zhǔn)確率最大，3馬力負(fù)載的數(shù)據(jù)上訓(xùn)練的模型平均跨工況故障診斷準(zhǔn)確率最小，造成這一現(xiàn)象的原因可能是軸承負(fù)載越大，振動(dòng)信號(hào)中混合的噪聲越多，其非線性、非平穩(wěn)性越明顯，所以模型能學(xué)習(xí)到的特征就越少，在進(jìn)行構(gòu)建診斷模型時(shí)盡量選擇低負(fù)載的數(shù)據(jù)進(jìn)行訓(xùn)練，有助于模型泛化能力的提高。

2.3.2 帕德博恩大學(xué)軸承故障數(shù)據(jù)集測(cè)試

為了進(jìn)一步驗(yàn)證本文所提模型在故障診斷上的泛化性能及對(duì)不同數(shù)據(jù)集的適應(yīng)性，同樣在帕德博恩大學(xué)軸承故障數(shù)據(jù)集上進(jìn)行準(zhǔn)確率測(cè)試。實(shí)驗(yàn)分別在單通道時(shí)域、單通道頻域和雙通道條件下進(jìn)行，選擇工況0的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。由于各模型單通道時(shí)域條件下的診斷準(zhǔn)確率均沒有超過40%，故不再單獨(dú)分析，主要分析單通道頻域和雙通道條件下的診斷效果，如表11所示。將模型在測(cè)試集上5個(gè)輪次的平均準(zhǔn)確率作為最終準(zhǔn)確率，實(shí)驗(yàn)重復(fù)5次求平均值。

由表11可知，無論單通道還是雙通道TFF-MSRN的準(zhǔn)確率都可達(dá)到95%以上，而TFF-RES和TFF模型分別達(dá)到95.01%、94.95%，略低于TFF-MSRN。MSRN雙通道下準(zhǔn)確率為91.89%，相比于本文模型低了3.6%。LSTM-CNN的診斷準(zhǔn)確率均為達(dá)到80%以上，表現(xiàn)較差，標(biāo)準(zhǔn)差分別為11.71和7.75，表明模型訓(xùn)練很不穩(wěn)定，每次訓(xùn)練得到的模型效果差距很大。其余4種模型的標(biāo)準(zhǔn)差分別為0.48、0.74、0.29、1.33，基本都在可以接受的范圍內(nèi)?？傮w來看，雙通道相比于單通道頻域在準(zhǔn)確率上都有一定提升，且標(biāo)準(zhǔn)差減小，說明雙通道輸入有利于提高模型準(zhǔn)確率，且使得模型訓(xùn)練更穩(wěn)定。

同樣的，在PU數(shù)據(jù)集上進(jìn)行跨工況對(duì)比實(shí)驗(yàn)，將工況0下訓(xùn)練的模型，在其他工況條件下進(jìn)行測(cè)試，單通道、雙通道實(shí)驗(yàn)結(jié)果如表12、13所示。

PU數(shù)據(jù)集與CWRU數(shù)據(jù)集不同，其4種工況分別改變了轉(zhuǎn)速、徑向力、扭矩3種條件，而CWRU不同工況只改變了軸承負(fù)載。PU數(shù)據(jù)集能夠更全面地測(cè)試模型的跨工況診斷的泛化性能。工況1改變了軸承轉(zhuǎn)速，由1500r/min變?yōu)?00r/min，由表12、表13可知，各模型診斷準(zhǔn)確率均較低（40%左右），說明改變轉(zhuǎn)速對(duì)診斷準(zhǔn)確率影響很大，未來可以考慮進(jìn)一步更新模型結(jié)構(gòu)以改善轉(zhuǎn)速變換時(shí)模型泛化能力不強(qiáng)的問題。本文所提方法仍略高于其余基于TFF的模型和MSRN，LSTM-CNN在0-1的跨工況條件下準(zhǔn)確率比其余模型更高，單通道達(dá)到47.34%，雙通道達(dá)到了60.65%，造成這一現(xiàn)象的原因主要是LSTM-CNN模型的學(xué)習(xí)能力不強(qiáng)，因?yàn)樵谕r診斷中，其單雙通道診斷準(zhǔn)確率分別為75.79、78.05，遠(yuǎn)低于TFF-MSRN的95%以上的診斷準(zhǔn)確率，所以LSTM-CNN并沒有在一個(gè)工況下學(xué)習(xí)到足夠的特征，對(duì)于不同工況數(shù)據(jù)反而具有更好的適應(yīng)性，但是其診斷準(zhǔn)確率不能達(dá)到可用的范圍，也不是一個(gè)理想的模型。不考慮0-1跨工況條件下，由單通道頻域變?yōu)殡p通道輸入，各個(gè)模型診斷準(zhǔn)確率平均提升了2.49%、5.8%、3.12%、3.2%、-3.05%，只有LSTM-CNN平均準(zhǔn)確率下降，其余模型的準(zhǔn)確率均有提升。綜上所述，再次證明雙通道輸入能有效提高模型診斷準(zhǔn)確率及泛化性能，且能夠使模型訓(xùn)練過程更穩(wěn)定。

2.3.3 減速機(jī)軸承故障數(shù)據(jù)集測(cè)試

上述實(shí)驗(yàn)已經(jīng)證明了雙通道輸入的優(yōu)勢(shì)，以下實(shí)驗(yàn)只在雙通道輸入條件下進(jìn)行測(cè)試。在無負(fù)載數(shù)據(jù)集上測(cè)試同工況下故障診斷準(zhǔn)確率，取5次實(shí)驗(yàn)的平均值作為最終結(jié)果，訓(xùn)練集與測(cè)試集上的準(zhǔn)確率隨訓(xùn)練輪數(shù)變化曲線如圖10和圖11所示。

對(duì)比圖10和圖11可知，在無負(fù)載數(shù)據(jù)集上3種基于TFF的模型訓(xùn)練集、測(cè)試集準(zhǔn)確率均可達(dá)到98%以上，而MSRN網(wǎng)絡(luò)準(zhǔn)確率只有95%左右，相較于使用了TFF模塊的模型低3%。LSTM-CNN模型準(zhǔn)確率也可達(dá)97%以上，但與本文模型相比仍相差1%～2%。為進(jìn)一步測(cè)試本文模型的泛化能力，將無負(fù)載數(shù)據(jù)下訓(xùn)練的模型在有負(fù)載數(shù)據(jù)集上進(jìn)行跨工況故障診斷測(cè)試，結(jié)果如圖12所示。本文模型TFF-MSRN模型跨工況準(zhǔn)確率可達(dá)95.04%，較TFF-Res提高3.8%，較TFF提高11.99%，而MSRN模型準(zhǔn)確率僅有52.42%，LSTM-CNN模型僅有70%，是現(xiàn)實(shí)生產(chǎn)中不可用的水平診斷準(zhǔn)確率方面有很大的提升空間，由圖12可知使用了TFF的模型均在80%以上，而且使用了加入局部特征提取模塊的TFF-MSRN和TFF-Res模型準(zhǔn)確率超過90%。綜上，證明本文所提TFF模塊有效提高了故障診斷準(zhǔn)確率，且結(jié)合MSRN能夠顯著提升跨工況故障診斷能力。

3 結(jié) 論

本文提出了一種基于自注意力的時(shí)頻特征融合軸承故障診斷方法，利用多層時(shí)頻交叉注意力進(jìn)行全局特征提取以及特征融合，通過時(shí)域發(fā)現(xiàn)頻域的隱性特征，通過頻域發(fā)現(xiàn)時(shí)域的隱性特征，并運(yùn)用MSRN進(jìn)一步提取局部特征，從而實(shí)現(xiàn)軸承故障定位、故障嚴(yán)重程度的判斷等。通過CWRU軸承故障數(shù)據(jù)集和某工廠減速機(jī)故障數(shù)據(jù)集進(jìn)行驗(yàn)證，實(shí)驗(yàn)結(jié)果表明，本文方法具有較高的診斷準(zhǔn)確率和較強(qiáng)泛化能力。同時(shí)得出以下結(jié)論：

1）時(shí)頻交叉注意力同時(shí)關(guān)注時(shí)、頻域全局特征，能夠有效提取振動(dòng)信號(hào)的深層特征，診斷準(zhǔn)確率優(yōu)于傳統(tǒng)基于CNN和LSTM的診斷模型，在大多數(shù)條件下故障診斷準(zhǔn)確率能夠提升5%以上，少數(shù)條件下提升更明顯。

2） MSRN采用多個(gè)不同大小的卷積核進(jìn)一步提取更為全面的局部特征，有效提高了模型的泛化能力，具體表現(xiàn)為模型跨工況診斷能力大大提升，模型更加穩(wěn)定。

未來研究可以考慮降低模型參數(shù)量，提高模型運(yùn)行效率，且在跨工況故障診斷方面還存在較大提升空間，可進(jìn)一步結(jié)合域適應(yīng)相關(guān)技術(shù)以提高模型跨工況診斷準(zhǔn)確率。

參 考 文 獻(xiàn)：

［1］ LIU Ruonan， YANG Boyuan， ZIO E， et al. Artificial Intelligence for Fault Diagnosis of Rotating Machinery： A Review［J］. Mechanical Systems amp; Signal Processing，2018， 108（AUG.）：33.

［2］ 胡春生，李國利，趙勇，等.變工況滾動(dòng)軸承故障診斷方法綜述［J］.計(jì)算機(jī)工程與應(yīng)用，2022，58（18）：26.

HU Chunsheng， LI Guoli， ZHAO Yong， et al. Summary of Fault Diagnosis Methods for Rolling Bearings under Variable Working Conditions［J］. Computer Engineering and Applications， 2022， 58（18）：26.

［3］ 文成林，呂菲亞.基于深度學(xué)習(xí)的故障診斷方法綜述［J］.電子與信息學(xué)報(bào)，2020，42（1）：234.

WEN Chenglin， LU Feiya. Review on Deep Learning Based Fault Diagnosis［J］. Journal of Electronics amp; Information Technology， 2020， 42（1）： 234.

［4］ 張涵，鄒方豪，孟良，等.IPSO-RVM的軸承故障識(shí)別方法［J］.哈爾濱理工大學(xué)學(xué)報(bào)，2022，27（5）：64.

ZHANG Han， ZOU Fanghao， MENG Liang， et al.Research on Bearing Fault Diagnosis Method Based on IPSO-RVM［J］. Journal of Harbin University of Science and Technology，2022，27（5）：64.

［5］ WANG Tianyang， LIANG Ming， LI Jianyong， et al. Rolling Element Bearing Fault Diagnosis Via Fault Characteristic Order （FCO） Analysis［J］. Mechanical Systems and Signal Processing，2014，45（1）：139.

［6］ 袁建虎，韓濤，唐建，等.基于小波時(shí)頻圖和CNN的滾動(dòng)軸承智能故障診斷方法［J］.機(jī)械設(shè)計(jì)與研究，2017，33（2）：93.

YUAN Jianhu， HAN Tao， TANG Jian， et al. An Approach to Intelligent Fault Diagnosis of Rolling Bearing Using Wavelet Time-Frequency Representations and CNN［J］. Machine Design amp; Research， 2017， 33（2）： 93.

［7］ 劉建昌，權(quán)賀，于霞，等.基于參數(shù)優(yōu)化VMD和樣本熵的滾動(dòng)軸承故障診斷［J］.自動(dòng)化學(xué)報(bào)，2022，48（3）：808.

LIU Jianchang， QUAN He， YU Xia， et al. Rolling Bearing Fault Diagnosis Based on Parameter Optimization［J］. Acta Automatica Sinica， 2022， 48（3）：808.

［8］ 周小龍，劉薇娜，姜振海，等.改進(jìn)的HHT方法及其在旋轉(zhuǎn)機(jī)械故障診斷中的應(yīng)用［J］.振動(dòng)與沖擊，2020，39（7）：189.

ZHOU Xiaolong， LIU Weina， JIANG Zhenhai， et al. Improved HHT Method and Its Applications in Rotatingmachinery Fault Diagnosis［J］. Journal of Vibration and Shock， 2020，39（7）：189.

［9］ 董永峰，孫躍華，高立超，等.基于改進(jìn)一維卷積和雙向長短期記憶神經(jīng)網(wǎng)絡(luò)的故障診斷方法［J］.計(jì)算機(jī)應(yīng)用，2022，42（4）：1207.

DONG Yongfeng， SUN Yuehua， GAO Lichao， et al. Fault Diagnosis Method Based on Improved One-dimensional Convolutional and Bidirectional Long Short-term Memory Neural Networks［J］. Journal of Computer Applications， 2022， 42（4）： 1207.

［10］唐貴基，田寅初，田甜.基于AlexNet-Adaboost的多工況滾動(dòng)軸承故障識(shí)別方法［J］.振動(dòng)與沖擊，2022，41（2）：20.

TANG Guiji， TIAN Yinchu， TIAN Tian. Multi-working Condition Rolling Bearing Fault Identification Methodbased on the AlexNet-Adaboost Algorithm［J］. Journal of Vibration and Shock，2022，41（2）：20.

［11］沈濤，李舜酩.針對(duì)滾動(dòng)軸承故障的批標(biāo)準(zhǔn)化CNN-LSTM診斷方法［J］.計(jì)算機(jī)集成制造系統(tǒng)，2022，28（12）：3946.

SHEN Tao， LI Shunming. CNN-LSTM Method with Batch Normalization for Rolling Bearing Fault Diagnosis［J］. Computer Integrated Manufacturing Systems，2022，28（12）：3946.

［12］柳秀，馬善濤，謝怡寧，等.面向軸承故障診斷的深度學(xué)習(xí)方法［J］.哈爾濱理工大學(xué)學(xué)報(bào)，2022，27（4）：118.

LIU Xiu， MA Shantao， XIE Yining， et al. Deep Learning Method for Bearing Fault Diagnosis［J］. Journal of Harbin University of Science and Technology，2022，27（4）：118.

［13］CHEN Xiaohan， ZHANG Beike， Dong Gao. Bearing Fault Diagnosis Base on Multi-scale CNN and LSTM Model［J］.Journal of Intelligent Manufacturing， 2021，32（4）：971.

［14］CHOUDHARY A， MIAN T， FATIMA S. Convolutional Neural Network Based Bearing Fault Diagnosis of Rotating Machine Using Thermal Images［J］. Measurement， 2021， 176：109196.

［15］ZOU Fengqian， ZHANG Haifeng， SANG Shengtian， et al. Bearing Fault Diagnosis Based on Combined Multi-scale Weighted Entropy Morphological Filtering and Bi-LSTM［J］. Applied Intelligence， 2021， 51（10）： 6647.

［16］TONG Yizhi， WU Ping， HE Jiajun， et al. Bearing Fault Diagnosis by Combining a Deep Residual Shrinkage Network and Bidirectional LSTM［J］. Measurement Science and Technology，2021，33（3）：034001.

［17］VASWANI A， SHAZEER N， PARMAR N， et al. Attention is All You Need［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 6000.

［18］ZHOU Haoyi， ZHANG Shanghang， PENG Jieqi， et al.Informer： Beyond Efficient Transformer for Long Sequence Time-series Forecasting［C］//Proceedings of the AAAI Conference on Artificial Intelligence， 2021， 35（12）：11106.

［19］GONG Y， CHUNG Y A， Glass J. Ast： Audio Spectrogram Transformer［C］//Hynek Hemansk. Interspeech 2021. Brno， Czechia： International Speech Communication Association， 2021： 571.

［20］LIU Ze， LIN Yutong， CAO Yue， et al. Swin Transformer： Hierarchical Vision Transformer using Shifted Windows［C］//2021 IEEE/CVF International Conference on Computer Vision （ICCV）， Montreal， QC， Canada： 2021： 9992.

［21］郭文博，石剛，劉曉松.小波包能量譜結(jié)合LSTM-CNN-CBAM的旋轉(zhuǎn)機(jī)械故障診斷［J］.組合機(jī)床與自動(dòng)化加工技術(shù)，2022（10）：69.

GUO Wenbo， SHI Gang， LIU Xiaosong. Fault Diagnosis of Rotating Machinery Based on Wavelet Packet Energy Spectrum and LSTM-CNN-CBAM［J］. ModularMachine Tool amp; Automatic Manufacturing Technique，2022（10）：69.

（編輯：溫澤宇）