基于多注意力和變分編碼時序網(wǎng)絡(luò)的發(fā)動機剩余使用壽命預(yù)測方法

楊凱旋，趙書健，魏佳隆，李 良，蘇本淦，劉 揚，趙 振

(1.青島科技大學(xué) 信息科學(xué)技術(shù)學(xué)院，山東 青島 266061；2.青島淄柴博洋柴油機股份有限公司，山東 青島 266701)

關(guān)鍵字：剩余使用壽命；多注意力；變分編碼；時序預(yù)測；深度學(xué)習(xí)

0 引言

預(yù)測與健康管理(PHM，prognostics and health management)可以根據(jù)各種傳感器采集的監(jiān)測數(shù)據(jù)提供機械系統(tǒng)的健康信息，并有助于制定合理的維修計劃[1]，確保機械系統(tǒng)可靠性和安全性。剩余使用壽命 (RUL，remaining useful life)估計是PHM的主要任務(wù)之一，準(zhǔn)確地預(yù)測剩余使用壽命可為預(yù)知維護決策提供依據(jù)，減少冗余維護操作和成本，對于評估健康狀態(tài)和避免災(zāi)難性故障[2]至關(guān)重要。

一般而言，RUL估計方法大致可以分為基于模型方法和數(shù)據(jù)驅(qū)動方法[3]?；谀Ｐ偷姆椒ɡ脵C械系統(tǒng)的先驗知識，建立數(shù)學(xué)模型來描述機械設(shè)備的退化過程，然后利用實時監(jiān)測數(shù)據(jù)更新模型參數(shù)實現(xiàn)RUL估計。常見的基于模型的方法包括Wiener過程模型[4]，Gamma模型[5]，Weibull分布[6]等。然而，該類方法需要充分的先驗知識來描述退化過程，但在復(fù)雜的系統(tǒng)中很難獲得準(zhǔn)確的失效信息。數(shù)據(jù)驅(qū)動的預(yù)測方法基于歷史監(jiān)測數(shù)據(jù)，與對應(yīng)系統(tǒng)的健康狀態(tài)之間建立一個非線性的映射關(guān)系。經(jīng)典的數(shù)據(jù)驅(qū)動模型，如支持向量回歸[7]、人工神經(jīng)網(wǎng)絡(luò)[8]、馬爾科夫模型[9]等，主要包含人工特征設(shè)計和退化行為學(xué)習(xí)兩個步驟。然而，這些方法需要過多的人工干預(yù)，且忽略了人工特征設(shè)計與退化行為學(xué)習(xí)之間的聯(lián)系，從而限制了估計精度。

隨著人工智能的快速發(fā)展，深度學(xué)習(xí)具有良好的非線性映射效果和自主的特征提取能力，可以通過多層連接從大量數(shù)據(jù)中提取高效的特征，已成功應(yīng)用于許多領(lǐng)域。在RUL估計中，可以通過建立一種多層網(wǎng)絡(luò)連接組合的模型，在已獲取的原始數(shù)據(jù)序列上獨立地學(xué)習(xí)層次化的特性，而無需人工設(shè)計特征。如深度神經(jīng)網(wǎng)絡(luò)(DNN，deep neural networks)[10]、深度置信網(wǎng)絡(luò)(DBN，deep belief networks)[11]、卷積神經(jīng)網(wǎng)絡(luò)(CNN，convolutional neural networks)[12]、循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN，recurrent neural network)[13]、長短時記憶網(wǎng)絡(luò)(LSTM，long short term memory networks)[14]等，已被應(yīng)用于RUL預(yù)測，并取得了較好的預(yù)測結(jié)果。但是現(xiàn)有深度學(xué)習(xí)方法通常假設(shè)不同傳感器采集的監(jiān)測數(shù)據(jù)對RUL估計的貢獻相等。但實際上，不同時間步長的監(jiān)測數(shù)據(jù)往往包含不同程度的退化信息，且它們對RUL預(yù)測的貢獻是不等的。

圖1 MA-VBLSTM模型結(jié)構(gòu)圖

注意力機制廣泛應(yīng)用于各種任務(wù)中，例如機器翻譯和視覺識別等，注意力機制通過計算不同特征的注意力概率，對模型中的不同特征賦予不同權(quán)重，有效地提高網(wǎng)絡(luò)的表達能力。王欣等[15]使用長短時記憶神經(jīng)網(wǎng)絡(luò)提取序列特征，然后使用注意力網(wǎng)絡(luò)學(xué)習(xí)不同時域蘊含的退化信息，以提高估計效果。趙志宏等[16]提出直接將原始振動信號輸入雙向長短期記憶網(wǎng)絡(luò)(BiLSTM，bidirectional long short-term memory)提取特征，并使用注意力機制對特征分配不同的權(quán)重以提升預(yù)測精度。張加勁[17]采用卷積神經(jīng)網(wǎng)絡(luò)提取特征和雙向長短期記憶網(wǎng)絡(luò)獲取特征中的長短期依賴關(guān)系，并使用注意力機制來突出特征中的重要部分，提高模型預(yù)測的準(zhǔn)確率。但上述方法只是考慮運行數(shù)據(jù)隨時間變化趨勢蘊含著的退化信息，未考慮同一時間窗內(nèi)多維時域指標(biāo)數(shù)據(jù)蘊含的反映指標(biāo)間關(guān)聯(lián)性的空間信息以及同一時間窗內(nèi)不同的時域指標(biāo)數(shù)據(jù)對RUL預(yù)測的不同重要性，導(dǎo)致深度學(xué)習(xí)網(wǎng)絡(luò)的預(yù)測結(jié)果不能更加精確。

為解決發(fā)動機退化數(shù)據(jù)中信息無法被充分發(fā)掘的問題，提出了一種融合多注意力(MA，multi-attention)和變分編碼時序網(wǎng)絡(luò)(VBLSTM，variational coding bidirectional long short-term memory networks)的剩余壽命預(yù)測方法。首先，空間注意力通過自注意力(SA，self-Attention)和卷積神經(jīng)網(wǎng)絡(luò)提取多維時域指標(biāo)間的空間信息并分配注意力權(quán)重。通道注意力通過池化層和多層感知機賦予不同時域指標(biāo)以不同的注意力權(quán)重，使模型高效的關(guān)注與剩余壽命關(guān)系密切的指標(biāo)；然后，通過變分自編碼器(VAE，variational auto-encoder)的潛在分布映射能力進行低維深度隱藏特征提取，再利用雙向長短時記憶網(wǎng)絡(luò)雙向?qū)W習(xí)復(fù)雜的時間前后關(guān)聯(lián)信息，捕獲時間序列中長短期的時序特征；最終，通過全連接層融合通道維度時序特征和空間維度時序特征進行剩余使用壽命的預(yù)測。實驗結(jié)果表明，提出的MA-VBLSTM模型在發(fā)動機CMAPSS數(shù)據(jù)集的FD001、FD002、FD003、FD004子數(shù)據(jù)集上RMSE 和Score值相比現(xiàn)有方法分別平均降低5.27%和10.70%、1.37%和1.68%、6.37%和26.94%、3.02%和2.06%。

1 MA-VBLSTM算法

如圖1所示，本文提出的MA-VBLSTM模型由多注意力網(wǎng)絡(luò)、變分編碼時序網(wǎng)絡(luò)和全連接輸出網(wǎng)絡(luò)組成。首先，通過標(biāo)準(zhǔn)化及數(shù)據(jù)分割等操作將原始發(fā)動機運行數(shù)據(jù)轉(zhuǎn)化為網(wǎng)絡(luò)的標(biāo)準(zhǔn)輸入數(shù)據(jù)；然后，通過多注意力網(wǎng)絡(luò)有效地進行輸入數(shù)據(jù)中的空間特征和時間特征的權(quán)重配比，過濾或弱化冗余特征和抽取更加重要和關(guān)鍵的退化特征信息；然后，通過VAE建模兩個復(fù)雜的條件概率密度函數(shù)輸出服從一定分布的隱藏變量并使用BILSTM綜合考慮序列信息的歷史數(shù)據(jù)和未來數(shù)據(jù)進行有效地捕獲時間序列中長距離相關(guān)特征。最后，通過多層全連接網(wǎng)絡(luò)將加權(quán)后的空間時序特征和通道時序特征輸出結(jié)果進行轉(zhuǎn)換和整合，借助其非線性擬合能力將維度逐層降低到與輸出標(biāo)簽一致后，輸出整個模型的剩余壽命預(yù)測結(jié)果。

1.1 多注意力網(wǎng)絡(luò)

發(fā)動機退化數(shù)據(jù)是高維度且復(fù)雜、大數(shù)據(jù)量、含有信息冗余的時序信息，其中的噪聲和無關(guān)信號會影響剩余使用壽命預(yù)測的精準(zhǔn)度[18]，因此構(gòu)建注意力模塊突出輸入數(shù)據(jù)中與設(shè)備退化關(guān)聯(lián)性更大的特征，充分提取出與發(fā)動機故障的相關(guān)信息，進而輸入到模型中進行剩余使用壽命預(yù)測。

為了挖掘出具有顯著的退化特征數(shù)據(jù)和區(qū)分故障時刻的關(guān)鍵信息，本文所提的通道注意力機制對通道間信息關(guān)系進行建模，區(qū)分不同通道特征的重要性；空間注意力機制利用自注意力進行權(quán)重配比，結(jié)合卷積結(jié)構(gòu)進行達到空間上的關(guān)鍵退化信息捕捉。

通道注意力：如圖2所示，通道注意力通過壓縮和聚合操作，對各通道的時間維度上下關(guān)系進行獨立編碼進而捕獲關(guān)鍵的退化特征。

圖2 通道注意力網(wǎng)絡(luò)結(jié)構(gòu)圖

IC=fsm(W1(W0·GAP(Fx))+W1(W0·GMP(Fx)))=

(1)

式中，fsm為sigmoid函數(shù)，W0和W1∈RC*C為權(quán)重參數(shù)。最終，通道注意力的輸出表示如下：

FCout=IC*Fx

(2)

空間注意力：如圖3所示，空間注意力使用自注意力替代雙池化的聚焦操作。相對比池化操作，自注意力機制具備全局的感受野，卷積結(jié)構(gòu)經(jīng)自注意力加權(quán)后的輸出考慮了所有特征的信息，能夠?qū)崿F(xiàn)不同位置特征間的直接點乘融合、不受特征間距離的影響，從而得到更全局的特征提取效果。

圖3 空間注意力網(wǎng)絡(luò)結(jié)構(gòu)圖

首先，將輸入數(shù)據(jù)Fx分別通過3個線性層(Linear，linear layer)，依次得到查詢矩陣Q、鍵矩陣K和值矩陣V；隨后，將將Q與K的轉(zhuǎn)置相乘并除以縮放因子后經(jīng)Softmax函數(shù)得到自注意力權(quán)重矩陣A；然后將V和自注意力權(quán)重矩陣A相乘，得到自注意力加權(quán)后的結(jié)果attn(Fx)；然后，對attn(Fx)采用卷積核大小為7×1進行卷積計算生成空間特征描述符。最后，通過sigmoid函數(shù)處理獲得空間特征權(quán)重Is∈R1*H*1?？臻g注意力的計算方法如下：

Is=fsm(conv7×1(attn·(Fx)))=

(3)

式中，fsm為sigmoid函數(shù)，dk是縮放因子，conv7×1表示與濾波器大小為7×1的卷積操作。最終，空間注意力的輸出表示如下：

FSout=Is*Fx

(4)

1.2 變分編碼時序網(wǎng)絡(luò)

如圖4所示，變分編碼時序網(wǎng)絡(luò)一方面結(jié)合VAE，通過變分推理學(xué)習(xí)機械設(shè)備健康狀態(tài)的分布并映射到隱空間中，借助隱空間學(xué)習(xí)到的連續(xù)概率分布重建去干擾的深層低維高質(zhì)量數(shù)據(jù)，另一方面通過引入BiLSTM對發(fā)動機運行數(shù)據(jù)建立時間序列的依賴關(guān)系，充分挖掘運行數(shù)據(jù)中的長短期時序特征，對運行工況、設(shè)備差異等因素引起的噪聲具有一定的容忍性和魯棒性[19]。

VAE基于輸入數(shù)據(jù)不斷訓(xùn)練編碼器生成隱變量z的均值μ和標(biāo)準(zhǔn)差σ，結(jié)合標(biāo)準(zhǔn)正態(tài)分布隨機采樣參數(shù)ε，經(jīng)過重采樣生成z，見式(5)所示，避免了神經(jīng)網(wǎng)絡(luò)訓(xùn)練中反向梯度斷裂的問題。

z=μ+ε*σ

(5)

VAE的損失函數(shù)有兩個部分組成，公式如下：

(6)

圖5 VAE網(wǎng)絡(luò)結(jié)構(gòu)圖

雙向長短時記憶網(wǎng)絡(luò)(BILSTM)：長短時記憶網(wǎng)絡(luò)是一種循環(huán)神經(jīng)網(wǎng)絡(luò)，更好的捕捉到較長距離的依賴關(guān)系，適用于處理時序數(shù)據(jù)。它的基本思路是引入了門控裝置來處理記憶單元的記憶、遺忘、輸入程度、輸出程度的問題。通過訓(xùn)練，可以自主適應(yīng)調(diào)整各個門的開啟程度，并通過門控中神經(jīng)網(wǎng)絡(luò)參數(shù)控制信息的記憶。LSTM的計算公式為：

(7)

ft=fsm(Wz·[ht-1，zt]+bf)

(8)

(9)

(10)

式(7)～(10)分別為輸入門、遺忘門、記憶門，以及輸出門。Ct為LSTM細胞單元狀態(tài)；zt和ht為細胞單元輸入和隱藏層輸出；fsm為sigmoid激活層，Wi，Wc，Wz，Wo表示屬于不同門或狀態(tài)的權(quán)重矩陣；bi，bc，bz，bo表示對應(yīng)權(quán)重的偏置向量；?為2個矩陣對應(yīng)元素逐個相乘方法。

如圖6所示，BiLSTM是將結(jié)構(gòu)相同但信息流方向相反的兩個LSTM疊加而成。因此可以在前向和后向兩個方向上處理序列，每個隱藏層在一個特定的時間步長可以同時獲得過去(前向)和未來(后向)的信息，可以提取更全面的發(fā)動機退化特征，提高網(wǎng)絡(luò)的預(yù)測性能。

將zt輸入前向?qū)?，?時刻到t時刻正向計算出向前隱含層的輸出向量hf；輸入至反向?qū)?，從t時刻到0時刻反向計算出向后隱含層的輸出hb。最后，將前向?qū)雍头聪驅(qū)拥妮敵鼋Y(jié)果輸入至全連接層，得到最終輸出h。

h=f(hf+hb)

(11)

式中，f(·)是全連接層的映射函數(shù)。

圖6 BiLSTM網(wǎng)絡(luò)結(jié)構(gòu)圖

1.3 全連接輸出網(wǎng)絡(luò)

全連接輸出網(wǎng)絡(luò)包含兩個全連接層，全連接層的作用是把并行的變分編碼時序網(wǎng)絡(luò)得到的時間維度特征向量和空間維度進行重新展平組裝擬合，并將其作為全連接層的輸入，并通過ReLU激活函數(shù)實現(xiàn)設(shè)備剩余壽命的預(yù)測。

H=Concat(Hcblstm，Hsblstm)

(12)

y=fre(WrH+br)

(13)

式中，Hcblstm為通道時序輸出特征向量；Hsblstm為空間時序輸出特征向量fre為ReLU激活函數(shù)；Wr為權(quán)重矩陣；br為偏差參數(shù)。

2 實驗設(shè)置

2.1 實驗數(shù)據(jù)介紹

本研究使用的CMAPSS數(shù)據(jù)集是美國宇航局通過商用模塊化航空航天推進系統(tǒng)仿真生成的渦扇發(fā)動機退化數(shù)據(jù)。它由4個子數(shù)據(jù)集組成，具有不同的故障模式和運行條件。每個子數(shù)據(jù)集包含若干個渦扇發(fā)動機退化數(shù)據(jù)，其中包括從渦扇發(fā)動機不同部件采集到的21個包含退化信息的傳感器信號，如溫度、壓力、速度等，如表1所示。在本實驗中，使用多臺渦扇發(fā)動機從啟動到故障的退化傳感器數(shù)據(jù)的訓(xùn)練數(shù)據(jù)集對MA-VBLSTM模型進行離線訓(xùn)練。然后，采用退化數(shù)據(jù)的測試數(shù)據(jù)集實現(xiàn)在線RUL預(yù)測。

表1 航空發(fā)動機數(shù)據(jù)集

2.2 剩余使用壽命標(biāo)注

發(fā)動機在工作初期運行狀態(tài)良好，性能退化可忽略不計，但到工作末期，發(fā)動機的性能會隨著時間大幅度降低。若發(fā)動機性能快速劣化，將運行數(shù)據(jù)的標(biāo)簽設(shè)定為總運行周期數(shù)和現(xiàn)運行周期數(shù)之差，會加大RUL預(yù)測結(jié)果的滯后性。

因此通常采用分段線性退化模型設(shè)置RUL標(biāo)簽，該方法在C-MAPSS數(shù)據(jù)集上已被驗證是可行的[20]。在初始階段，發(fā)動機穩(wěn)定運行，RUL值保持不變，即為訓(xùn)練集的RUL標(biāo)簽設(shè)置閾值，而在退化階段，RUL值線性下降。研究表明，將訓(xùn)練集RUL標(biāo)簽閾值設(shè)置為130個運行周期的預(yù)測效果較好，RUL標(biāo)簽設(shè)置結(jié)果如圖7所示。

圖7 RUL標(biāo)簽設(shè)置

2.3 數(shù)據(jù)增強

Mixup是基于鄰域風(fēng)險最小化(VRM，vicinal risk minimization)原則的數(shù)據(jù)增強方法，使用線性插值得到新樣本數(shù)據(jù)，對離散樣本空間進行連續(xù)化，提高鄰域內(nèi)的平滑性，提升深度學(xué)習(xí)模型的泛化性。

在鄰域風(fēng)險最小化原則下，根據(jù)特征向量線性插值將導(dǎo)致相關(guān)目標(biāo)線性插值的先驗知識，可得出簡單且與數(shù)據(jù)無關(guān)的Mixup公式：

xn=λxi+(1-λ)xj

(14)

yn=λyi+(1-λ)yj

(15)

其中：xi，yi是從訓(xùn)練集中隨機挑選的時序數(shù)據(jù)，xj，yj是對應(yīng)的獨熱編碼標(biāo)簽，通過先驗知識確定特征向量的線性插值和對應(yīng)目標(biāo)的線性插值，插值生成新數(shù)據(jù)樣本xn，yn。其中λ通過貝塔分布獲得，取值范圍介于0到1。該算法利用線性插值法，在一定程度上擴展了訓(xùn)練數(shù)據(jù)的分布空間，提高了模型的泛化性。

2.4 評價指標(biāo)

本文采用RMSE(root mean square error)和非對稱評分函數(shù)(score)兩個指標(biāo)客觀地評價了所提出的MA-VBLSTM算法的估計性能。RMSE在回歸任務(wù)中應(yīng)用廣泛，其定義如下：

(16)

(17)

與RMSE一樣，性能越好的RUL預(yù)測方法所產(chǎn)生的score分值越低。但與RMSE不同的是，score函數(shù)的早期預(yù)測的罰分函數(shù)和后期預(yù)測是不對稱的，由于較晚的預(yù)測更有可能造成嚴重的災(zāi)難和重大的經(jīng)濟損失，需要比早期預(yù)測更嚴厲的懲罰。因此，評分函數(shù)會對較大的誤差進行嚴厲的懲罰。

3 實驗結(jié)果與討論

在本節(jié)中，利用C-MAPSS數(shù)據(jù)集驗證MA-VBLSTM方法的RUL預(yù)測準(zhǔn)確性。首先，采用CMPASS數(shù)據(jù)集驗證MA-VBLSTM方法有效性并分析預(yù)測結(jié)果。然后，設(shè)計對比實驗分析多注意力機制和變分編碼時序網(wǎng)絡(luò)帶來的預(yù)測效果提升。最后，將所提的MA-VBLSTM方法與現(xiàn)有RUL預(yù)測方法進行了比較。

3.1 模型預(yù)測與結(jié)果分析

為驗證MA-VBLSTM方法可以更加充分地挖掘退化數(shù)據(jù)以提高RUL預(yù)測準(zhǔn)確性的有效性，通過CMPASS數(shù)據(jù)進行MA-VBLSTM模型的訓(xùn)練并分析預(yù)測結(jié)果。CMPASS數(shù)據(jù)集的訓(xùn)練集和測試集記錄了發(fā)動機在若干運行周期下3個操作設(shè)置值和21個傳感器監(jiān)測數(shù)據(jù)。為減少噪聲提高計算的穩(wěn)定性，剔除在發(fā)動機退化過程中從未變化的操作設(shè)置和傳感器數(shù)據(jù)，使用有效的原始數(shù)據(jù)進行訓(xùn)練。在訓(xùn)練過程中，對原始訓(xùn)練集數(shù)據(jù)按8：2的比例劃分訓(xùn)練集和驗證集，并采用提前終止訓(xùn)練(early stooping)的正則化方法避免模型出現(xiàn)過擬合現(xiàn)象。將MA-VBLSTM方法訓(xùn)練得到的模型應(yīng)用于測試集，測試集的預(yù)測結(jié)果如圖8所示。

從FD001、FD002、FD003、FD004的測試集中分別選取64、11、71和37號測試樣本，得到的樣本預(yù)測結(jié)果如圖9所示?？梢杂^察到，在4個測試樣本的早期階段，因引擎開始運轉(zhuǎn)初期時缺少歷史數(shù)據(jù)支持，導(dǎo)致RUL估計偏差相對大，同時變化較為劇烈且具有顯著的滯后性。但運行一段時間后，預(yù)測RUL逐漸收斂到了實際RUL左右，預(yù)測性能比在運行初期明顯提升。由于在運行階段的后期階段是健康管理的重要時期，這個階段對故障狀況的正確判斷能大大提高運行的可靠性和安全性程度，減少維修成本[22]。所以本文所提模型可以更充分地挖掘深度退化特征并具有較長時序特征的記憶能力，有效提升RUL預(yù)測精度。

圖9 單個引擎RUL預(yù)測結(jié)果

3.2 變分編碼時序網(wǎng)絡(luò)影響分析

本文利用VAE的編碼器對數(shù)據(jù)進行編碼并學(xué)習(xí)數(shù)據(jù)間深度隱藏的信息，輸出編碼優(yōu)化處理的高效數(shù)據(jù)作為輸入數(shù)據(jù)訓(xùn)練BiLSTM網(wǎng)絡(luò)。為了驗證VAE編碼器降低訓(xùn)練階段輸入數(shù)據(jù)的過擬合性和解決數(shù)據(jù)特征丟失問題的有效性，在使用相同的CMPSS數(shù)據(jù)進行訓(xùn)練后，利用相同測試數(shù)據(jù)對MA-VBILSTM、MA-BLSTM網(wǎng)絡(luò)(去除變分編碼器)、MA-EBILSTM網(wǎng)絡(luò)(使用自編碼器代替變分編碼器)進行對比測試。對比實驗結(jié)果如表2所示，MA-VBILSTM方法與MA-BLSTM方法相比，分別在FD001、FD002、FD003、FD004數(shù)據(jù)集上RMSE和Score評估值降低5.43%和9.61%、8.02%和33.5%、8.69%和28.4%、9.41%和16.08%。與MA-EBLSTM方法相比，MA-VBILSTM方法分別在FD001、FD002、FD003、FD004數(shù)據(jù)集上RMSE和Score評估值降低6.73%和12.60%、0.53%和9.65%、2.84%和14.44%、5.48%和9.47%。因此本文所提方法MA-VBLSTM方法結(jié)合VAE將輸入數(shù)據(jù)及各數(shù)據(jù)維度之間關(guān)聯(lián)性映射到隱空間中，可以有效降低數(shù)據(jù)的過擬合性；同時引入BiLSTM網(wǎng)絡(luò)雙向提取數(shù)據(jù)的長短期時間依賴，有效地提升剩余壽命預(yù)測的準(zhǔn)確率。

3.3 多注意力網(wǎng)絡(luò)影響分析

為驗證本文提出的基于多注意力機制從通道維度和空間維度中自適應(yīng)選取性能退化關(guān)鍵特征的重要性。本節(jié)構(gòu)建對比實驗，以清楚地說明多注意力特征提取的優(yōu)勢：(1)僅通道特征作為輸入的單流通道注意神經(jīng)網(wǎng)絡(luò)，記作CA-VBLSTM；(2)僅空間特征作為輸入的單流空間注意神經(jīng)網(wǎng)絡(luò)，記作SA-VBLSTM。對比實驗結(jié)果如表3所示，可以觀察到本文所提出的MA-VBLSTM方法相比SA-VBLSTM方法在RMSE和Score評估值分別在FD001、FD002、FD003、FD004數(shù)據(jù)集上降低4.74%和11.9%、0.88%和21.9%、3.45%和10.79%、1.29%和14.06%。相比CA-VBLSTM方法，MA-VBLSTM方法在RMSE和Score評估值分別在FD001、FD002、FD003、FD004數(shù)據(jù)集上降低3.63%和5.57%、1.40%和18.8%、0.48%和6.06%、0.38%和1.94%。因此多注意力網(wǎng)絡(luò)可在通道維度和空間維度分別進行重要退化特征提取，更好地在每個時間步長挖掘高維變量之間的空間相關(guān)性以及在所有時間步長上自適應(yīng)挖掘與退化信號關(guān)聯(lián)性更大的關(guān)鍵的特征，進而更加精準(zhǔn)地預(yù)測發(fā)動機剩余使用壽命。

3.4 現(xiàn)有方法的對比實驗

為了說明MA-VBLSTM網(wǎng)絡(luò)的有效性和優(yōu)越性，將本文方法與CNN[12]、LSTM[14]、基于注意力的LSTM模型(LSTM-A)[15]、基于注意力的BiLSTM模型(BiLSTM-A)[16]、基于注意力的CNN-GRU模型(AGCNN)[18]、基于注意力和殘差卷積的BiLSTM模型(RCNN-ABiLSTM)[20]、時間卷積網(wǎng)絡(luò)(TCN)[21]進行了對比。對比實驗結(jié)果如表4所示，本文提出的MA-VBLSTM FD001、FD002、FD003、FD004子數(shù)據(jù)集上RMSE 和Score值相比現(xiàn)有方法分別平均降低5.27%和10.70%、1.37%和1.68%、6.37%和26.94%、3.02%和2.06%。因此本文提出的MA-VBLSTM方法的整體性能優(yōu)于其他方法，利用多注意力機制自適應(yīng)學(xué)習(xí)發(fā)動機運行數(shù)據(jù)存在的通道特征和空間特征，并對表現(xiàn)明顯的退化特征數(shù)據(jù)和可區(qū)分故障時刻的關(guān)鍵信息進行動態(tài)加權(quán)，然后利用變分編碼時序網(wǎng)絡(luò)進行退化信息編碼學(xué)習(xí)并強化全局上下時序特征的相關(guān)性，實現(xiàn)精準(zhǔn)地反映健康趨勢。

表2 變分編碼對比結(jié)果

表3 雙注意力并行對比實驗

表4 現(xiàn)有方法對比實驗結(jié)果

4 結(jié)束語

本文提出了一種融合多注意力和變分編碼的時序網(wǎng)絡(luò)進行設(shè)備剩余使用壽命預(yù)測。首先，使用通道注意力和空間注意力分別選取通道維度和空間維度的關(guān)鍵退化特征；然后，融合空間和通道特征學(xué)習(xí)的優(yōu)勢，通過自動編碼器提取高維運行數(shù)據(jù)的深層低維特征，并利用BILSTM網(wǎng)絡(luò)雙向捕捉長短期的時序數(shù)據(jù)特征；最后，通過全連接輸出網(wǎng)絡(luò)進行雙維度特征的融合并實現(xiàn)RUL估計。將所提出的MA-VBLSTM模型應(yīng)用于C-MAPSS數(shù)據(jù)集，并將實驗結(jié)果與多種主流方法進行對比，實驗結(jié)果驗證了所提出的MA-VBLSTM算法能夠獲得更準(zhǔn)確的RUL估計。

在未來的研究中，RUL方法還可以考慮多種失效模式和復(fù)雜工況，以增強對更復(fù)雜問題的預(yù)測能力。此外，未來將進一步剖析機械系統(tǒng)的健康狀態(tài)和退化狀態(tài)的特征處理方式，這有助于獲得復(fù)雜多變運行條件下運行數(shù)據(jù)的高效內(nèi)部差異表示。