基于注意力BiGRU的機(jī)械故障診斷方法研究

張立鵬，畢鳳榮,，程建剛，沈鵬飛

(1.天津內(nèi)燃機(jī)研究所，天津 300072； 2.天津大學(xué) 內(nèi)燃機(jī)燃燒學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室，天津 300072)

國(guó)民生產(chǎn)環(huán)節(jié)中，機(jī)械生產(chǎn)設(shè)備連續(xù)化、高速化、自動(dòng)化的趨勢(shì)迅猛發(fā)展，因此監(jiān)測(cè)設(shè)備運(yùn)行狀態(tài)、保障重大產(chǎn)品設(shè)備安全穩(wěn)定運(yùn)行、防止設(shè)備故障帶來(lái)的經(jīng)濟(jì)故障和人員傷亡變得愈加重要。狀態(tài)監(jiān)測(cè)與故障診斷技術(shù)作為一門(mén)迅速發(fā)展的工程領(lǐng)域技術(shù)得到科研人員的廣泛關(guān)注。

基于振動(dòng)信號(hào)的故障診斷方法，由于其測(cè)量簡(jiǎn)單、成本低、采集精度高、適應(yīng)性強(qiáng)等優(yōu)良特性，在工程實(shí)踐中被廣泛應(yīng)用[1]。基于振動(dòng)信號(hào)的機(jī)械狀態(tài)檢測(cè)與故障診斷一般包括特征提取和模式識(shí)別兩個(gè)階段。當(dāng)機(jī)械系統(tǒng)如軸承等關(guān)鍵部件發(fā)生故障時(shí)，瞬時(shí)沖擊響應(yīng)成分將通過(guò)結(jié)構(gòu)傳播到傳感器，儲(chǔ)存于采集到的信號(hào)數(shù)據(jù)中，這種成分表現(xiàn)出持續(xù)時(shí)間較短、頻帶較寬等特點(diǎn)，通過(guò)分析處理這種帶有時(shí)變特性的非平穩(wěn)信號(hào)，便可以得到機(jī)械的故障類型。目前，處理和分析非平穩(wěn)信號(hào)時(shí)，短時(shí)傅里葉變換(short time transform,STFT)、小波變換(wavelet transform,WT)、稀疏表達(dá)[2](sparse representation,SR)、經(jīng)驗(yàn)?zāi)B(tài)分解[3](empirical mode decomposition,EMD)、變分模態(tài)分解[4](variational mode decomposition,VMD)等方法都取得了不錯(cuò)的效果，對(duì)于特定的故障類型實(shí)現(xiàn)了較好的分類準(zhǔn)確性，但都存在自適應(yīng)性差、算法復(fù)雜、過(guò)于依靠先驗(yàn)知識(shí)、過(guò)于依賴所提取特征的質(zhì)量等局限性。

隨著深度學(xué)習(xí)的興起，基于神經(jīng)網(wǎng)絡(luò)的人工智能模型被引入機(jī)械故障診斷領(lǐng)域。神經(jīng)網(wǎng)絡(luò)模型經(jīng)過(guò)不斷優(yōu)化發(fā)展，實(shí)現(xiàn)了較高的分類準(zhǔn)確度，并具有較強(qiáng)的魯棒性和容錯(cuò)能力，能夠充分逼近機(jī)械故障類型識(shí)別中十分復(fù)雜的非線性關(guān)系。近年來(lái)，循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural networks,RNN)在時(shí)間序列數(shù)據(jù)特征挖掘領(lǐng)域有著很高的地位，門(mén)控循環(huán)單元[5](gated recurrent unit,GRU)和長(zhǎng)短期記憶網(wǎng)絡(luò)[6](long short term memory networks,LSTM)等RNN變體在關(guān)于時(shí)間序列的預(yù)測(cè)問(wèn)題領(lǐng)域獲得了巨大的成功。本文將以機(jī)械故障(以軸承故障和柴油機(jī)典型故障為例)振動(dòng)信號(hào)這一典型時(shí)間序列預(yù)測(cè)問(wèn)題為研究對(duì)象，以GRU為主要研究方法，搭建雙向門(mén)控循環(huán)單元(bidirectional gated recurrent unit,BiGRU)網(wǎng)絡(luò)模型實(shí)現(xiàn)“端到端”的機(jī)械故障診斷。同時(shí)，引入注意力機(jī)制，進(jìn)一步提升模型對(duì)于長(zhǎng)序列數(shù)據(jù)的學(xué)習(xí)能力，實(shí)現(xiàn)更優(yōu)的故障診斷效果。

1 算法原理

1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)是用于分析時(shí)間序列數(shù)據(jù)的網(wǎng)絡(luò)模型，其改變了傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)的前饋機(jī)制。在前饋型神經(jīng)網(wǎng)絡(luò)中，信息經(jīng)輸入層輸入，正向輸出信息到下一級(jí)直至輸出層輸出結(jié)果，整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)中無(wú)信息反饋，因此前饋型神經(jīng)網(wǎng)絡(luò)沒(méi)有時(shí)間特性，輸入之間不相關(guān)聯(lián)，在處理時(shí)間序列問(wèn)題時(shí)效果不佳。而對(duì)于機(jī)械故障振動(dòng)信號(hào)而言，輸入信號(hào)的特征是有時(shí)間關(guān)聯(lián)性的。RNN在前饋型神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上引入了時(shí)間序列的影響，將隱藏節(jié)點(diǎn)定向連接成環(huán)，這樣有利于網(wǎng)絡(luò)對(duì)時(shí)間信息的傳遞，展示動(dòng)態(tài)時(shí)序行為，進(jìn)而挖掘時(shí)間序列的特征[7]，其示意圖如圖1所示[8]。

圖1 RNN結(jié)構(gòu)示意圖Fig.1 Schematic of the RNN architecture

RNN的前項(xiàng)傳播公式如式(1)～(4)所示。

(1)

(2)

(3)

(4)

式中:x為網(wǎng)絡(luò)輸入;y為網(wǎng)絡(luò)輸出;w為權(quán)重;z為神經(jīng)元的加權(quán)和;f為神經(jīng)網(wǎng)絡(luò)激活函數(shù);s為神經(jīng)元激活值;t為網(wǎng)絡(luò)當(dāng)前時(shí)刻;I為輸入向量維度;i為輸入向量下標(biāo);H為隱藏層單元向量維度;h為t時(shí)刻隱藏層單元向量下標(biāo);h′為t-1時(shí)刻隱藏層單元向量下標(biāo);o為輸出向量下標(biāo)。

根據(jù)結(jié)構(gòu)圖和前向傳播公式，RNN隱藏層st不僅取決于當(dāng)前時(shí)刻的輸入xt，也取決于上一時(shí)刻隱藏層輸出st-1。表現(xiàn)出RNN不僅能接收到當(dāng)前時(shí)刻樣本的信息，也能接收上一時(shí)刻的信息，即RNN具有了時(shí)間特性。將式(1)～(3)迭代入式(4)，可以得到式(5)，表示最終時(shí)刻的輸出結(jié)果包含了整個(gè)時(shí)間序列的特征信息。

(5)

1.2 雙向門(mén)控循環(huán)單元

門(mén)控循環(huán)單元神經(jīng)網(wǎng)絡(luò)是RNN的一種變體，其利用特殊的“門(mén)”結(jié)構(gòu)作為記憶單元替代了傳統(tǒng)RNN的神經(jīng)元結(jié)構(gòu)，解決了RNN在處理長(zhǎng)時(shí)間序列時(shí)因梯度消失而易陷入局部最優(yōu)的問(wèn)題。

rt=σ(Wrhht-1+Wrxxt)

(6)

zt=σ(Wzhht-1+Wzxxt)

(7)

(8)

(9)

圖2 GRU內(nèi)部結(jié)構(gòu)Fig.2 Inner structure of GRU

(10)

1.3 注意力機(jī)制

注意力機(jī)制在自然語(yǔ)言處理[11]、圖像分類[12]、文本分類[13]等任務(wù)中都取得了成功。本文將注意力機(jī)制引入故障診斷領(lǐng)域。具體地，對(duì)于BiGRU網(wǎng)絡(luò)的各時(shí)間節(jié)點(diǎn)輸出H=[h1,h2,h3…,hL](L表示序列長(zhǎng)度)，通過(guò)分配一個(gè)權(quán)重系數(shù)S=[s1,s2,s3,…,sL]?？梢杂羞x擇性地關(guān)注整個(gè)序列數(shù)據(jù)中的不同位置信息。詳細(xì)原理如式(11)所示

H′=tanh(H)

S=softmax(αTH′)

y=HST

(11)

式中：α為可學(xué)習(xí)參數(shù)，采用隨機(jī)初始化方式給點(diǎn)初始值，通過(guò)反向梯度下降算法計(jì)算；y為最終輸出結(jié)果?？梢园l(fā)現(xiàn)，最終輸出y不再單純依賴最后時(shí)間節(jié)點(diǎn)輸出，而是綜合各個(gè)時(shí)間節(jié)點(diǎn)輸出的結(jié)果。注意力機(jī)制的引入，可以有效地解決BiGRU對(duì)于過(guò)長(zhǎng)序列數(shù)據(jù)學(xué)習(xí)效率低的問(wèn)題。

2 基于注意力BiGRU的故障診斷模型

圖3 基于注意力BiGRU的故障診斷模型Fig.3 Fault diagnosis model based on attention BiGRU

3 實(shí)例分析

3.1 數(shù)據(jù)集介紹

本文將在公開(kāi)數(shù)據(jù)集——美國(guó)凱斯西儲(chǔ)大學(xué)軸承數(shù)據(jù)集，以及柴油機(jī)實(shí)驗(yàn)故障數(shù)據(jù)集上驗(yàn)證模型的有效性。

其中美國(guó)凱斯西儲(chǔ)大學(xué)數(shù)據(jù)實(shí)驗(yàn)包含內(nèi)圈故障、滾動(dòng)球故障以及外圈故障(3點(diǎn)鐘、6點(diǎn)鐘、12點(diǎn)鐘位置)，故障損傷直徑分別為0.007、0.014、0.021和0.028英寸(1英寸=2.54 cm)。本文將選用正常、內(nèi)圈故障、滾動(dòng)球故障以及外圈故障(6點(diǎn)鐘方向)4種狀態(tài)數(shù)據(jù)，每類故障狀態(tài)包含損傷直徑為0.007、0.014、0.021英寸的3種故障程度，因此共包含10類故障狀態(tài)。

采樣頻率為48 kHz，電機(jī)工作轉(zhuǎn)速為1 750 r/min。軸承每轉(zhuǎn)一圈采樣點(diǎn)數(shù)為1 646，為保證每個(gè)樣本均包含一個(gè)完整的周期，本文將樣本長(zhǎng)度定為1 680。為增加神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)量，本文將用重疊采樣的方式對(duì)原始數(shù)據(jù)進(jìn)行截取。對(duì)于訓(xùn)練數(shù)據(jù)，重疊率為50%，對(duì)于測(cè)試數(shù)據(jù)，將采用無(wú)重疊方式截取。最后共得到10類樣本數(shù)據(jù)，每類數(shù)據(jù)包含376個(gè)訓(xùn)練樣本和100個(gè)測(cè)試樣本。在軸承數(shù)據(jù)集中，樣本長(zhǎng)度為L(zhǎng)b=1 680，取db=7，則Tb=240。

柴油機(jī)故障數(shù)據(jù)實(shí)驗(yàn)在一臺(tái)某型直列六缸柴油機(jī)上進(jìn)行，該柴油機(jī)的性能參數(shù)如表1所示。

表1 某型柴油機(jī)主要參數(shù)

主要采集柴油機(jī)的缸蓋振動(dòng)加速度信號(hào)，傳感器布置在1～3缸的缸蓋上，實(shí)驗(yàn)柴油機(jī)臺(tái)架示意以及傳感器的布置位置如圖4所示。

圖4 實(shí)驗(yàn)用柴油機(jī)以及傳感器布置Fig.4 The experimental diesel engine and thelocation of the sensors

實(shí)驗(yàn)主要模擬了氣門(mén)間隙異常故障、噴油軌壓異常故障、噴油提前角故障以及供油量不足四種故障類型，并且對(duì)其中每一類故障發(fā)生的不同程度進(jìn)行了模擬?？偣舶?3種故障狀態(tài)，對(duì)應(yīng)樣本標(biāo)簽0～12。詳細(xì)介紹如表2所示(其中氣門(mén)間隙異常故障數(shù)據(jù)的兩個(gè)數(shù)字分別代表進(jìn)氣門(mén)間隙與排氣門(mén)間隙，單位：mm)，短線后的數(shù)字為對(duì)應(yīng)的樣本標(biāo)簽)。設(shè)置柴油機(jī)轉(zhuǎn)速穩(wěn)定為1 600 r/min，并且保持滿負(fù)荷的工作狀態(tài)，觀察測(cè)試信號(hào)，待其穩(wěn)定后開(kāi)始測(cè)量并記錄數(shù)據(jù)。

表2 模擬故障工況表

采樣頻率為25.6 kHz，柴油機(jī)轉(zhuǎn)速為1 600 r/min，柴油機(jī)每個(gè)工作周期采樣點(diǎn)數(shù)為1 920。于是本文將樣本長(zhǎng)度設(shè)為1 920，保證每個(gè)樣本內(nèi)包含一個(gè)完整工作周期。同樣地，按照軸承數(shù)據(jù)截取方法進(jìn)行處理數(shù)據(jù)。最后獲得每類狀態(tài)數(shù)據(jù)164個(gè)訓(xùn)練樣本和50個(gè)測(cè)試樣本。

在柴油機(jī)實(shí)驗(yàn)數(shù)據(jù)集中，樣本長(zhǎng)度為L(zhǎng)e=1 920，取de=8，則Te=240。

3.2 實(shí)驗(yàn)驗(yàn)證

本文將時(shí)域信號(hào)直接輸入模型，以交叉損失熵為目標(biāo)函數(shù)，通過(guò)反向梯度下降算法訓(xùn)練每一層網(wǎng)絡(luò)參數(shù)，每批次訓(xùn)練輸入樣本數(shù)B_S=256，采用指數(shù)衰減學(xué)習(xí)率，學(xué)習(xí)率LR表達(dá)式如式(12)所示。模型各個(gè)網(wǎng)絡(luò)層詳細(xì)參數(shù)如表3所示。

LR=lr*decay_rate(epoch/decay_steps)

(12)

其中：lr=0.01,decay_rate=0.9，epoch為訓(xùn)練次數(shù)，decay_steps=40。

表3 注意BiGRU模型參數(shù)

將本文模型與單一的BiGRU進(jìn)行對(duì)比，單一的BiGRU模型層數(shù)為3，每層隱藏神經(jīng)元個(gè)數(shù)依舊為32，在BiGRU輸出層緊接一個(gè)Dropout層，Dropout比例為0.5。兩模型在上述兩種數(shù)據(jù)集上訓(xùn)練對(duì)比如圖5所示。

如圖5(a)所示，在軸承數(shù)據(jù)集上，經(jīng)過(guò)大約60次迭代訓(xùn)練之后，本文模型便完全收斂，達(dá)到了99.95%的訓(xùn)練準(zhǔn)確率。但是BiGRU模型經(jīng)過(guò)大約200次訓(xùn)練以后，模型才大致收斂，訓(xùn)練準(zhǔn)確率在98%左右，可以看出，在軸承數(shù)據(jù)集上，和原始BiGRU模型相比，本文模型可以有效縮短三分之二的訓(xùn)練時(shí)間，并且取得更好的訓(xùn)練效果，訓(xùn)練也更加穩(wěn)定。

(a) 軸承數(shù)據(jù)集

(b) 柴油機(jī)數(shù)據(jù)集圖5 本文模型與BiGRU訓(xùn)練對(duì)比圖Fig.5 Training comparison between the attention BiGRU andtraditional BiGRU

如圖5(b)所示，在柴油機(jī)故障數(shù)據(jù)集上，本文模型經(jīng)過(guò)了大概90次訓(xùn)練之后便收斂，達(dá)到99.82%的訓(xùn)練準(zhǔn)確率。但是，BiGRU模型經(jīng)過(guò)大約180次訓(xùn)練以后才大致收斂，訓(xùn)練準(zhǔn)確率在98%左右小幅波動(dòng)，與本文模型訓(xùn)練結(jié)果相比，訓(xùn)練損失比本文模型波動(dòng)也更大，進(jìn)一步證明本文模型在在有效縮短訓(xùn)練時(shí)間的同時(shí)能夠獲得到更佳的訓(xùn)練效果。

測(cè)試準(zhǔn)確率常用來(lái)驗(yàn)證模型的有效性。筆者將分別在軸承數(shù)據(jù)集和柴油機(jī)數(shù)據(jù)集上測(cè)試本文模型和BiGRU模型的測(cè)試準(zhǔn)確率，測(cè)試次數(shù)為10次，取平均值作為最終測(cè)試結(jié)果，具體結(jié)果如表4所示。

表4 本文模型與BiGRU測(cè)試準(zhǔn)確率對(duì)比

本文模型在軸承數(shù)據(jù)集上測(cè)試精度比BiGRU高了1.20%，在柴油機(jī)數(shù)據(jù)集上測(cè)試精度比BiGRU高了1.69%。不同數(shù)據(jù)集上的對(duì)比結(jié)果均表明本文模型具有更高的診斷精度。同時(shí)，可以看出，10分類軸承數(shù)據(jù)集診斷任務(wù)難度較低，而13類柴油機(jī)故障診斷任務(wù)難度較大，但本文模型依舊能夠取得91.38%的好成績(jī)。

為了進(jìn)一步驗(yàn)證本文模型對(duì)于原始數(shù)據(jù)特征的提取能力，本文采用t分布隨機(jī)鄰域嵌入(t-distributed stochastic neighbor embedding,t-SNE)算法對(duì)柴油機(jī)實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行降維可視化分析。具體地，分別將柴油機(jī)原始時(shí)域數(shù)據(jù)以及本文模型輸出數(shù)據(jù)映射到2維空間，分別命名為t-SNE1和t-SNE2?？梢暬Y(jié)果如圖6、圖7所示。

圖6 原始數(shù)據(jù)特征分布可視化Fig.6 Visualization of raw data features via t-SNE

圖7 輸出數(shù)據(jù)特征分布可視化Fig.7 Visualization of output data feature via t-SNE

從圖6、圖7中可以看出，本文模型可以有效地從原始數(shù)據(jù)中提取出可分性極佳的數(shù)據(jù)特征。圖6中的各類數(shù)據(jù)特征相互重疊，無(wú)法直接進(jìn)行區(qū)分。經(jīng)過(guò)本文模型的自適應(yīng)學(xué)習(xí)處理之后，可以得到聚類特征非常明顯的結(jié)果。也進(jìn)一步證明了本文模型可以從原始數(shù)據(jù)特征中提取出具有明顯差異的數(shù)據(jù)特征。

3.3 魯棒性分析

抗噪能力是評(píng)估模型性能的一個(gè)重要指標(biāo)。為進(jìn)一步測(cè)試本文模型在噪聲干擾下的精度變化情況，將采用3.1節(jié)所述軸承數(shù)據(jù)訓(xùn)練集對(duì)本文模型進(jìn)行訓(xùn)練。然后在3.1節(jié)所述軸承數(shù)據(jù)測(cè)試集中添加不同信噪比的高斯白噪聲，用于測(cè)試模型精度，信噪比范圍為-4～10 dB。信噪比定義如式(13)所示，本文模型和BiGRU對(duì)比結(jié)果如圖8所示。

(13)

圖8 各模型在不同噪聲環(huán)境下測(cè)試準(zhǔn)確率Fig.8 Test accuracy of each model under differentnoise environment

如圖8可以看出，本文模型在不同噪聲環(huán)境下表現(xiàn)均優(yōu)于BiGRU。測(cè)試信號(hào)混入的噪聲越嚴(yán)重，本文模型的精度優(yōu)勢(shì)越明顯，對(duì)于信噪比為-4 dB測(cè)試信號(hào)，本文模型測(cè)試精度比BiGRU高6%。

實(shí)驗(yàn)結(jié)果表明本文模型對(duì)于噪聲干擾具有魯棒性，該效果得益于注意力機(jī)制的引入。原始BiGRU模型中，最終結(jié)果完全依賴最后時(shí)間節(jié)點(diǎn)隱藏狀態(tài)輸出，其對(duì)于越早輸入網(wǎng)絡(luò)的信息遺忘越嚴(yán)重。因此，在噪聲的干擾下，本就有部分信息缺失的問(wèn)題導(dǎo)致其分類準(zhǔn)確率受到更大影響。但是本文模型通過(guò)對(duì)各時(shí)間節(jié)點(diǎn)分配自學(xué)習(xí)得到的注意力權(quán)值以后，使得最終的輸出結(jié)果可以有效地考慮整個(gè)序列信息，能夠保留完整序列信息的能力使得其受到噪聲的干擾較小，具有更強(qiáng)的魯棒性。

4 結(jié) 論

本文進(jìn)行了利用振動(dòng)信號(hào)進(jìn)行機(jī)械故障診斷的研究，提出了一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)的故障診斷方法。該方法首先將采集到的振動(dòng)信號(hào)進(jìn)行折疊預(yù)處理，再利用數(shù)據(jù)集進(jìn)行訓(xùn)練，搭建基于雙向門(mén)控循環(huán)單元的神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)了“端到端”的特征提取和故障模式分類過(guò)程，同時(shí)利用注意力機(jī)制進(jìn)行模型優(yōu)化，提升了計(jì)算效率和診斷準(zhǔn)確性。

本文利用美國(guó)凱斯西儲(chǔ)大學(xué)公開(kāi)軸承數(shù)據(jù)集和自采集的柴油機(jī)故障振動(dòng)信號(hào)進(jìn)行了方法驗(yàn)證，故障診斷結(jié)果表明本方法實(shí)現(xiàn)了有效的故障類型診斷，且分類準(zhǔn)確性和計(jì)算效率相較于模型優(yōu)化前實(shí)現(xiàn)了一定程度的提升，并表現(xiàn)出了更有的抗噪能力。

結(jié)果表明，循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)于解決機(jī)械故障診斷類型的時(shí)間序列預(yù)測(cè)問(wèn)題具有一定的優(yōu)越性，且對(duì)于復(fù)雜的柴油機(jī)系統(tǒng)仍能表現(xiàn)出良好的性能，循環(huán)神經(jīng)網(wǎng)絡(luò)及其優(yōu)化方法在機(jī)械故障診斷領(lǐng)域具有巨大的潛力可供挖掘。