混合注意力機制的旋轉(zhuǎn)機械故障診斷方法

付忠廣，高玉才，王詩云，謝玉存，翟世臣

（1.華北電力大學電站能量傳遞轉(zhuǎn)化與系統(tǒng)教育部重點實驗室，北京 102206；2.南京航空航天大學計算機科學與技術(shù)學院，江蘇 南京 210016）

旋轉(zhuǎn)機械廣泛應(yīng)用于各種工農(nóng)業(yè)生產(chǎn)場合，工作環(huán)境復雜多變，故障發(fā)生率相對較高，容易造成重大經(jīng)濟損失和人身傷亡事故，因此研究旋轉(zhuǎn)機械的故障診斷具有十分重要的意義［1］。

傳統(tǒng)的故障診斷方法需要依賴專家經(jīng)驗人工提取故障特征，效率低下。大數(shù)據(jù)和人工智能技術(shù)的發(fā)展為智能化故障診斷技術(shù)開辟了一條新路徑，尤其是神經(jīng)網(wǎng)絡(luò)技術(shù)，能夠自動地學習數(shù)據(jù)之間的相關(guān)性，實現(xiàn)端到端的智能化故障診斷［2］，可以利用計算機系統(tǒng)實現(xiàn)旋轉(zhuǎn)機械運行狀態(tài)的實時監(jiān)測。梁睿君等［3］利用連續(xù)小波變換處理振動信號并構(gòu)造其時頻圖，然后利用二維卷積神經(jīng)網(wǎng)絡(luò)進行圖像識別，成功將卷積神經(jīng)網(wǎng)絡(luò)運用到齒輪箱故障診斷中，取得良好效果。注意力機制［4］是深度學習研究中的重點課題之一，對于目標任務(wù)，其能夠有針對性地選擇有利用價值的信息，提高信息處理的效率與準確性，進而提升算法性能。本文將注意力機制與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，將其運用到旋轉(zhuǎn)機械故障診斷中，實驗結(jié)果表明該方法有很大的優(yōu)越性。

1 數(shù)學方法原理

1.1 連續(xù)小波變換

小波變換的理論來源為傅里葉變換，廣泛應(yīng)用于信號處理與分析領(lǐng)域［5］。在連續(xù)小波變換中，信號用小波函數(shù)系表示，函數(shù)f(t)∈L2(R)的連續(xù)小波變換定義為

式中：參數(shù)a、b分別為尺度因子、平移因子；ψa，b(t)為小波基函數(shù)。

Morlet小波是高斯包絡(luò)下的單頻正弦函數(shù)，其形狀對稱、光滑，具有顯式解析方程，且相似系數(shù)較大，選擇Morlet小波作為基函數(shù)。振動信號通過連續(xù)小波變換產(chǎn)生小波時頻圖，圖像描述了振動信號的能量信息在時域和頻域上的分布情況，因此可以將小波時頻圖作為表征旋轉(zhuǎn)機械運行狀態(tài)的特征圖，將旋轉(zhuǎn)機械的運行狀態(tài)以三維圖像的方式展現(xiàn)出來。

1.2 LeNet5卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)模型源于科學家提出的感受野概念［6］，其通過共享卷積核的形式降低了模型復雜度，可以有效減輕過擬合并降低計算量，同時具有很強的魯棒性和容錯能力。LeNet5網(wǎng)絡(luò)屬于經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)，最初用來進行手寫數(shù)字識別，參數(shù)較少，能夠很好地利用圖像的結(jié)構(gòu)信息，是一種非常高效的網(wǎng)絡(luò)模型。LeNet5網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，前5層由卷積操作和池化操作交替進行，然后輸出到全連接層，最后通過Softmax分類器輸出分類結(jié)果。將最后一層輸出節(jié)點數(shù)由10改為5，對應(yīng)旋轉(zhuǎn)機械5種不同的運行狀態(tài)，為防止模型過擬合并提高網(wǎng)絡(luò)參數(shù)收斂速度，在傳統(tǒng)LeNet5網(wǎng)路的基礎(chǔ)上作改進：

圖1 LeNet5卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 The structure of LeNet5 convolutional neural network

（1）將傳統(tǒng)LeNet5網(wǎng)絡(luò)的所有激活函數(shù)均由飽和激活函數(shù)“sigmoid”改為非飽和激活函數(shù)“Leaky ReLU”，負值部分斜率固定為0.1，能夠解決神經(jīng)網(wǎng)絡(luò)訓練過程中的“梯度消失”問題，加快網(wǎng)絡(luò)參數(shù)的收斂速度。

（2）將所有池化層由均值池化改為最大值池化，從而保留圖像更多的紋理信息，減弱背景噪聲所帶來的不利影響。

（3）在所有全連接層的激活函數(shù)之后加入Dropout［7］層，將其比率設(shè)置為0.2，同時使用L2正則化對損失函數(shù)進行修正，正則化參數(shù)設(shè)置為0.01。Dropout層的加入減弱了神經(jīng)元之間的聯(lián)合適應(yīng)性，從而很大程度上提高了模型的泛化性能。

1.3 混合注意力機制

提出的混合注意力機制是空間注意力機制和通道注意力機制的模塊組合，此方法能夠同時捕捉圖像的空間維度和通道維度中的全局特征依賴關(guān)系，從而有利于實現(xiàn)更精確的分割結(jié)果。通道注意力模塊和空間注意力模塊的結(jié)構(gòu)分別如圖2、圖3所示。

圖2 通道注意力模塊Fig.2 Channel attention module

圖3 空間注意力模塊Fig.3 Spatial attention module

在通道注意力模塊中，輸入特征分別通過全局最大池化和全局平均池化轉(zhuǎn)換為兩項一維向量，再將其分別輸入到一個共享多層感知器（multilayer perceptron，MLP），然后將兩項輸出進行逐元素求和，最后通過激活函數(shù)得到通道特征。MLP由3層神經(jīng)網(wǎng)絡(luò)組成，輸入層和輸出層節(jié)點數(shù)相同，均為輸入特征的通道數(shù)。所提出的通道注意力機制中間隱含層節(jié)點數(shù)設(shè)置為10，激活函數(shù)為“sigmoid”函數(shù)。每個通道的結(jié)果特征，就是所有通道特征在空間維度上與輸入特征進行元素乘法，實現(xiàn)了對特征圖之間的長程語義依賴關(guān)系建模，有助于提高特征的辨別性。

在空間注意力模塊中，將輸入特征沿著通道方向分別進行最大池化操作和平均池化操作，將兩項輸出在通道維度上進行拼接，然后利用尺寸為7×7的濾波器進行卷積操作，最后通過“sigmoid”激活函數(shù)生成一張與輸入特征寬高尺寸相同的二維空間注意力圖。每個位置的結(jié)果特征，是所有位置特征在通道維度上與輸入特征進行元素乘法，能夠根據(jù)圖3有選擇地聚合上下文。

2 實驗數(shù)據(jù)驗證

2.1 實驗數(shù)據(jù)集

實驗設(shè)備為北京東方振動和噪聲技術(shù)研究所制造的INV612型多功能柔性轉(zhuǎn)子實驗系統(tǒng)，轉(zhuǎn)軸徑向位置的固定支架上安裝有傳感器，能夠檢測并收集轉(zhuǎn)子的振動位移值并存儲到計算機系統(tǒng)中，也可以對頻率、幅值和轉(zhuǎn)子轉(zhuǎn)速等基礎(chǔ)信號進行在線分析。實驗過程中設(shè)置轉(zhuǎn)子系統(tǒng)運行頻率為50 Hz，傳感器采樣頻率為1 000 Hz，實驗所獲得的數(shù)據(jù)集包含轉(zhuǎn)子正常運行狀態(tài)、質(zhì)量不平衡、碰摩、支撐松動、油膜失穩(wěn)共5種運行狀態(tài)的樣本，每種狀態(tài)樣本為400個，每個數(shù)據(jù)樣本包含100個數(shù)據(jù)點，每個數(shù)據(jù)點表示運行轉(zhuǎn)子水平方向的振動位移值。

2.2 實驗數(shù)據(jù)集的小波時頻圖

通過連續(xù)小波變換將數(shù)據(jù)樣本的振動信號轉(zhuǎn)換為32×32的三維小波時頻圖，使其符合模型的輸入格式要求。旋轉(zhuǎn)機械5種運行狀態(tài)的小波時頻圖像如圖4所示。

圖4 小波時頻圖像Fig.4 Wavelet time-frequency graph

2.3 基于混合注意力機制的旋轉(zhuǎn)機械故障診斷模型架構(gòu)

在LeNet5網(wǎng)絡(luò)Pool1層（對照圖1）之后添加混合注意力模塊，Woo等［8］研究發(fā)現(xiàn)，在通道注意力模塊和空間注意力模塊的所有組合方式中，串行排列的結(jié)果比并行排列的效果好，通道模塊放在前面優(yōu)于空間模塊放在前面。因此選擇通道注意力模塊放在空間注意力模塊前面的串聯(lián)組合方式，混合注意力模塊如圖5所示。

圖5 混合注意力模塊Fig.5 Hybrid attention module

2.4 模型超參數(shù)的選擇

采用Tensorflow［9］設(shè)計了所提出的基于混合注意力機制的旋轉(zhuǎn)機械故障診斷模型，優(yōu)化算法采用自適應(yīng)動量法，即Adam［10］算法，損失函數(shù)為交叉熵損失與正則化損失之和，初始學習率learn_rate=0.01，每批訓練樣本的數(shù)量batch_size=256，最大迭代次數(shù)為300 epochs。隨著訓練次數(shù)的增加，模型的參數(shù)不斷得到優(yōu)化，故障識別準確率不斷得到提高。

2.5 實驗結(jié)論及對比分析

采用的評價指標為轉(zhuǎn)子系統(tǒng)運行狀態(tài)識別準確率，模型訓練前需要將模型參數(shù)進行隨機初始化，按一定比例在數(shù)據(jù)集中抽取的訓練樣本和測試樣本也具有一定的隨機性。為消除這些隨機性影響，采用5折交叉驗證法進行模型的訓練和測試：將所有數(shù)據(jù)樣本平均分成5份，輪流將其中一份作為測試集數(shù)據(jù)檢測模型效果，其余4份作為訓練集數(shù)據(jù)集訓練模型，實驗結(jié)果取5次實驗的平均值。

為證明所提方法的優(yōu)越性，將其與傳統(tǒng)的無注意力機制的LeNet5網(wǎng)絡(luò)進行對比，LeNet5網(wǎng)絡(luò)輸入為振動信號的小波時頻圖，參數(shù)設(shè)置與所提方法相同。兩種模型某次訓練過程中在測試數(shù)據(jù)集上故障識別準確率的變化情況如圖6所示?？梢钥闯觯贚eNet5網(wǎng)絡(luò)中間加入混合注意力機制之后，模型的訓練速度和故障識別準確率均得到提高。

圖6 準確率變化曲線Fig.6 Accuracy change curve

傳統(tǒng)的機器學習方法如支持向量機、K近鄰和決策樹模型在故障診斷領(lǐng)域中應(yīng)用也十分廣泛。選擇原始振動信號的14個時域特征參數(shù)指標：最大值、最小值、平均幅值、峰值、方差、均方根幅值、方根幅值、歪度、峭度、裕度因子、波形因子、峰值因子、歪度因子和峭度因子。將這些時域特征參數(shù)作為K近鄰模型和決策樹模型的輸入特征，通過遺傳算法搜索最佳超參數(shù)，從而達到最高的故障識別準確率。各種模型在測試集上的表現(xiàn)見表1，表中數(shù)據(jù)均為5次實驗結(jié)果的平均值。

表1 各模型實驗結(jié)果對比Tab.1 Comparison of experimental results of each model %

2.6 數(shù)據(jù)可視化

為了查看所提方法在網(wǎng)絡(luò)中間層中區(qū)分旋轉(zhuǎn)機械不同運行狀態(tài)的效果，采用t分布隨機鄰域嵌入（t-distributed stochastic neighbor embedding，t-SNE）［11］方法將測試集數(shù)據(jù)在模型中間層的輸出結(jié)果進行可視化展示。測試集數(shù)據(jù)的原始振動信號、池化層2、全連接層1和全連接層2的輸出特征經(jīng)t-SNE降維后的三維分布情況如圖7所示。由圖可知，隨著信息在模型中向前傳遞，不同故障類型信號所對應(yīng)的特征在三維空間的區(qū)分度逐漸增大，相同故障的信號在三維特征空間逐漸聚合，說明本文的方法能夠有效地提取故障特征，從而實現(xiàn)旋轉(zhuǎn)機械故障的聚類和診斷。

圖7 故障特征三維空間可視化Fig.7 3D spatial visualization of fault characteristics

3 結(jié)論

旋轉(zhuǎn)機械運行環(huán)境復雜多變，振動信號易受外界噪聲干擾，傳統(tǒng)的故障診斷方法存在特征提取困難和診斷精度低等問題。通過小波變換將振動信號轉(zhuǎn)換為小波時頻圖像，然后利用加入混合注意力機制模塊的LeNet-5網(wǎng)絡(luò)識別圖像，從而進行旋轉(zhuǎn)機械故障診斷。實驗結(jié)果表明該方法切實可行，并得出以下結(jié)論：

（1）相比于傳統(tǒng)的基于機器學習的故障診斷方法，如K近鄰、決策樹模型，提出的基于混合注意力機制的旋轉(zhuǎn)機械故障診斷方法無需人工提取故障特征，輸入為原始振動信號，輸出為旋轉(zhuǎn)機械的運行狀態(tài)分類，能夠?qū)崿F(xiàn)端到端的智能化故障診斷，同時相較于K近鄰和決策樹模型故障識別準確率分別提高13.75%和12.25%。

（2）混合注意力機制能夠同時捕捉每張?zhí)卣鲌D任意兩個位置之間的空間依賴關(guān)系和任意兩個通道圖之間的通道依賴關(guān)系，將兩種注意力機制進行串聯(lián)組合，從而進一步增強了特征表示，相比無混合注意力機制的LeNet5網(wǎng)絡(luò)模型，所提方法的整體故障識別準確率提高6.75%，診斷精度和訓練速度都得到提高。

（3）提出的方法是基于大數(shù)據(jù)和人工智能的智能化故障診斷方法，充分發(fā)揮計算機系統(tǒng)的數(shù)據(jù)處理和計算能力，能夠及時發(fā)現(xiàn)并反饋故障類型，實現(xiàn)對旋轉(zhuǎn)機械運行狀態(tài)的實時監(jiān)測，從而避免重大經(jīng)濟損失和人員傷亡事故。