基于KPCA-BLSTM的航空發(fā)動機(jī)多信息融合剩余壽命預(yù)測

胡啟國，白熊，杜春超

（重慶交通大學(xué)機(jī)電與車輛工程學(xué)院，重慶 400074）

0 引言

航空發(fā)動機(jī)在正常運(yùn)行中發(fā)生事故，會造成巨大的經(jīng)濟(jì)與社會損失，為了保證航空發(fā)動機(jī)可靠、安全地運(yùn)行，利用設(shè)備監(jiān)測數(shù)據(jù)對其進(jìn)行剩余壽命預(yù)測顯得尤為重要，可以為設(shè)備提前檢修提供參考依據(jù)。

眾多研究者對剩余壽命預(yù)測進(jìn)行了深入研究。裴洪等總結(jié)和分析了基于機(jī)器學(xué)習(xí)的設(shè)備剩余壽命（Remaining Useful Life，簡稱RUL）預(yù)測方法，通過分析基于機(jī)器學(xué)習(xí)的剩余壽命模型理論和模型內(nèi)部結(jié)構(gòu)的層數(shù)，將其分為淺層機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的方法；武博等提出利用主成分分析建立不同程度判斷標(biāo)尺構(gòu)建導(dǎo)彈筒壽命預(yù)測模型，實(shí)現(xiàn)對導(dǎo)彈筒的全周期壽命評估；杜方舟等基于航空發(fā)動機(jī)排氣溫度裕度數(shù)據(jù)，利用遺傳算法優(yōu)化基于支持向量機(jī)的剩余壽命預(yù)測模型，最終擬合出的壽命曲線與原廠數(shù)據(jù)高度切合，得到較好的預(yù)測效果；高峰等通過多域特征量對數(shù)據(jù)集進(jìn)行擴(kuò)充，并搭建了長短時記憶（Long Shortterm Memory，簡稱LSTM）神經(jīng)網(wǎng)絡(luò)壽命預(yù)測模型，最終利用C-MAPSS數(shù)據(jù)集驗(yàn)證了該方法的可靠性；馬忠等通過改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，簡稱CNN）解決了航空發(fā)動機(jī)多狀態(tài)變量下的非線性特征導(dǎo)致剩余壽命預(yù)測困難的問題，結(jié)果表明改進(jìn)CNN進(jìn)行壽命預(yù)測的準(zhǔn)確性得到顯著提高；牟含笑等提出基于深度置信網(wǎng)絡(luò)與BLSTM神經(jīng)網(wǎng)絡(luò)的航空推進(jìn)系統(tǒng)剩余壽命預(yù)測方法，該方法適用于時間序列的處理；李杰等等提出一種融合神經(jīng)網(wǎng)絡(luò)的剩余壽命預(yù)測方法，該方法精度高且具有良好的魯棒性；車暢暢等將一維卷積神經(jīng)網(wǎng)絡(luò)與BLSTM神經(jīng)網(wǎng)絡(luò)混合模型運(yùn)用到航空發(fā)動機(jī)的剩余壽命預(yù)測中，準(zhǔn)確地預(yù)測壽命變化的結(jié)果，相較于單一使用BLSTM或CNN網(wǎng)絡(luò)模型的預(yù)測精度有所提高；曾慧潔等通過模型對樣本集正反序列的訓(xùn)練學(xué)習(xí)，建立了BLSTM網(wǎng)絡(luò)模型來預(yù)測航空發(fā)動機(jī)故障，并將結(jié)果與其他神經(jīng)網(wǎng)絡(luò)模型對比，表明雙向長短時記憶神經(jīng)網(wǎng)絡(luò)預(yù)測精度更高；宋亞等提出了一種基于自動編碼器和雙向LSTM的混合模型來預(yù)測渦輪發(fā)動機(jī)的RUL，并獲得了比LSTM模型更好的預(yù)測結(jié)果。針對航空發(fā)動機(jī)壽命預(yù)測問題，國外E.L.Ntantis等總結(jié)了航空發(fā)動機(jī)故障與提前維修預(yù)測方法，對比了物理建模、人工神經(jīng)網(wǎng)絡(luò)、貝葉斯神經(jīng)網(wǎng)絡(luò)、CNN等多種方法，得出基于神經(jīng)網(wǎng)絡(luò)的預(yù)測方法更加快速、準(zhǔn)確；I.Remadna等考慮航空發(fā)動機(jī)退化數(shù)據(jù)特征提取困難的問題，利用CNN對復(fù)雜退化信息進(jìn)行提取，再利用BLSTM神經(jīng)網(wǎng)絡(luò)對航空發(fā)動機(jī)剩余壽命進(jìn)行了預(yù)測，通過C-MAPSS數(shù)據(jù)集驗(yàn)證了該方法；C.Ordó?ez等提出一種由差分自回歸移動模型與支持向量機(jī)組成的混合模型對航空發(fā)動機(jī)RUL進(jìn)行預(yù)測，通過航空發(fā)動機(jī)數(shù)據(jù)集驗(yàn)證了該模型，并取得不錯的預(yù)測效果。

雖然眾多研究者所提出的RUL模型都取得了不錯的預(yù)測效果，但大多研究者在預(yù)測時并未考慮數(shù)據(jù)間的非線性關(guān)系及多信息冗余問題導(dǎo)致模型訓(xùn)練時學(xué)習(xí)過多產(chǎn)生不必要的信息而使得預(yù)測精度大打折扣的問題。

本文提出利用核主成分分析處理非線性數(shù)據(jù)的優(yōu)越性，對多維退化性息進(jìn)行融合降維；針對BLSTM神經(jīng)網(wǎng)絡(luò)處理時間序列的能力提出一種基于KPCA-BLSTM神經(jīng)網(wǎng)絡(luò)的航空發(fā)動機(jī)多信息融合剩余壽命預(yù)測模型，并利用C-MAPSS航空發(fā)動機(jī)數(shù)據(jù)集進(jìn)行對比驗(yàn)證，并與SVR、CNN、BLSTM神經(jīng)網(wǎng)絡(luò)模型的預(yù)測結(jié)果進(jìn)行對比。

1 雙向長短時記憶神經(jīng)網(wǎng)絡(luò)原理

航空發(fā)動機(jī)的退化過程是一個累積的過程，狀態(tài)變化不僅與當(dāng)前時刻的監(jiān)測信息有關(guān)，而且某個歷史時刻的信息也會影響設(shè)備的狀態(tài)變化。國內(nèi)外研究者提出的LSTM神經(jīng)網(wǎng)絡(luò)，相對于普通循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks，簡稱RNN），既可以更好地處理長時間序列的數(shù)據(jù)信息，又可以解決訓(xùn)練過程中的梯度消失和梯度爆炸問題。

1.1 LSTM神經(jīng)網(wǎng)絡(luò)

圖1 LSTM神經(jīng)單元示意圖Fig.1 Schematic diagram of LSTM neural unit

LSTM模型通過使用由上一層輸出的h和當(dāng)前時間輸入的x組成的輸入向量計(jì)算遺忘門f來控制存儲單元的狀態(tài)：

式中：W為輸入層的權(quán)重矩陣；b為偏置向量；(·)為激活函數(shù)，即sigmoid函數(shù)。

式中：W，b分別為狀態(tài)更新層的權(quán)重和偏差。

信息傳遞到輸出層后，網(wǎng)絡(luò)通過輸出門o控制更新狀態(tài)的輸出。

式中：W，b分別為輸出層的權(quán)重和偏差。

1.2 雙向LSTM神經(jīng)網(wǎng)絡(luò)

雙向LSTM神經(jīng)網(wǎng)絡(luò)由LSTM層的兩個方向組成。在長時間序列的訓(xùn)練過程中，可以從正反兩個方向捕獲整個序列的信息，具有比LSTM更高的性能。雙向LSTM結(jié)構(gòu)如圖2所示。

圖2 雙向LSTM結(jié)構(gòu)示意圖Fig.2 Schematic diagram of BLSTM structure

第一層LSTM結(jié)構(gòu)計(jì)算當(dāng)前輸入的正向序列信息，第二層LSTM結(jié)構(gòu)反向計(jì)算相同的序列，兩層結(jié)構(gòu)均存在相互獨(dú)立的隱含層。LSTM結(jié)構(gòu)層間的隱含層輸出，不僅要傳遞給下一層的輸入層，而且通過雙向LSTM結(jié)構(gòu)還需要傳遞給上一層的輸入結(jié)構(gòu)中。在訓(xùn)練過程中，通過對輸出單元的正反向傳播，完成對神經(jīng)網(wǎng)絡(luò)的權(quán)重更新。

2 多信息融合RUL預(yù)測模型

2.1 預(yù)測模型建立

航空發(fā)動機(jī)在投入到生產(chǎn)使用過程中受到內(nèi)部因素和外界環(huán)境的影響，其性能會發(fā)生退化，各項(xiàng)性能指標(biāo)也會相應(yīng)降低，直至失效完全失去工作能力。在實(shí)際試驗(yàn)或運(yùn)用中，會通過各種傳感器獲得這些設(shè)備的現(xiàn)場運(yùn)行監(jiān)測數(shù)據(jù)，這些數(shù)據(jù)可視為以設(shè)備運(yùn)作為基礎(chǔ)的時間序列。

設(shè)一組設(shè)備的監(jiān)測數(shù)據(jù)可表示為

式中：X為第臺設(shè)備的所有運(yùn)行狀態(tài)監(jiān)測數(shù)據(jù)集合。

式中：x為第臺設(shè)備的第個狀態(tài)監(jiān)測變量的時間序列。

因此，與第臺監(jiān)測設(shè)備的狀態(tài)數(shù)據(jù)相對應(yīng)的剩余壽命集合表示為

基于以上思想，本文提出一種針對多狀態(tài)多維度退化特征的監(jiān)測數(shù)據(jù)RUL預(yù)測模型，整體流程如圖3所示。

圖3 RUL預(yù)測模型流程圖Fig.3 RUL prediction model flowchart

由于整個模型的輸入為多狀態(tài)監(jiān)測數(shù)據(jù)，首先進(jìn)行數(shù)據(jù)預(yù)處理，并采用KPCA對預(yù)處理后的多維狀態(tài)數(shù)據(jù)進(jìn)行融合降維；其次添加RUL標(biāo)簽，按照時間窗大小對低維監(jiān)測數(shù)據(jù)的時間序列進(jìn)行劃分，并建立雙向LSTM深度學(xué)習(xí)網(wǎng)絡(luò)模型；然后分別設(shè)置批量（batch）從20開始，以10個批量為間隔數(shù)增加，根據(jù)每個迭代次數(shù)的平均損失函數(shù)與更改模型權(quán)重參數(shù)選取最佳批量，直至損失減小并趨于穩(wěn)定；最后將測試數(shù)據(jù)導(dǎo)入模型進(jìn)行驗(yàn)證，通過評價(jià)模型判斷模型訓(xùn)練的效果。

2.2 數(shù)據(jù)預(yù)處理

在進(jìn)行預(yù)測之前，需要對多狀態(tài)監(jiān)測數(shù)據(jù)進(jìn)行預(yù)處理，為了使設(shè)備的真實(shí)值和預(yù)測值在訓(xùn)練時表現(xiàn)出差異性，需要對數(shù)據(jù)集添加RUL標(biāo)簽。退化過程是退化量累積的過程，在航空發(fā)動機(jī)運(yùn)行初期，退化特征并不明顯，一段時間后設(shè)備能夠平穩(wěn)運(yùn)作，直到運(yùn)行到某一階段，設(shè)備開始進(jìn)入加速退化階段，并出現(xiàn)故障，因此采用分段線性模型進(jìn)行預(yù)測，如圖4所示。

圖4 分段線性模型Fig.4 Piecewise linear model

為了消除傳感器參數(shù)范圍的差異，對每組傳感器監(jiān)測的數(shù)據(jù)進(jìn)行線性歸一化處理，使得處理后的參數(shù)值在［0，1］的范圍內(nèi)。其表達(dá)式為

2.3 模型輸入

經(jīng)過數(shù)據(jù)預(yù)處理后，采用KPCA進(jìn)行降維，然后根據(jù)方差貢獻(xiàn)量選擇適當(dāng)?shù)木S數(shù)。在模型訓(xùn)練過程中，為了防止模型出現(xiàn)過擬合現(xiàn)象，在雙向LSTM層與全連接層中添加一個Dropout層，并且設(shè)置一定的丟棄率去掉隱含層部分輸出值，確保神經(jīng)元在正向傳播中不被影響。根據(jù)時間步長對訓(xùn)練集和測試集進(jìn)行分割，并將分割后的訓(xùn)練集輸入到雙向LSTM模型中。選擇均方誤差作為損失函數(shù)，其表達(dá)式為

2.4 模型評價(jià)標(biāo)準(zhǔn)

利用同樣處理訓(xùn)練集的方法對測試集進(jìn)行數(shù)據(jù)處理，并輸入到訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型中，輸出RUL預(yù)測值。為了定量評價(jià)模型預(yù)測能力，采用均方根誤差和非對稱評分函數(shù)作為評價(jià)依據(jù)。

均方根誤差可以反映預(yù)測誤差的大小，其表達(dá)式為

非對稱評分函數(shù)能夠通過判斷預(yù)測值是否大于或小于真實(shí)值而給出截然不同的計(jì)算結(jié)果，其中評分正比于誤差，其函數(shù)表達(dá)式為

3 對比驗(yàn)證

3.1 數(shù)據(jù)集介紹

本文采用C-MAPSS數(shù)據(jù)集進(jìn)行仿真驗(yàn)證，數(shù)據(jù)集由四個子集組成，包含6種不同的工作條件和4種故障形式，每個子集記錄了在不同工作條件和故障類型下航空發(fā)動機(jī)的健康狀況退化數(shù)據(jù)。CMAPSS數(shù)據(jù)集中包含的全部信息如表1所示。

表1 航空發(fā)動機(jī)監(jiān)測數(shù)據(jù)Table 1 Aero engine monitoring data

選用FD003子集作為實(shí)驗(yàn)數(shù)據(jù)集，F(xiàn)D003數(shù)據(jù)集包括3個工作條件參數(shù)：飛行高度，馬赫數(shù)和油門旋轉(zhuǎn)變壓器角度，它們可以組合成六個對發(fā)動機(jī)性能有重大影響的工作條件。數(shù)據(jù)還包括21個發(fā)動機(jī)傳感器，例如風(fēng)扇入口處的壓力，燃燒器的燃料空氣比和旁路比。FD003的故障模式為HPC退化和風(fēng)扇退化失效。

3.2 仿真驗(yàn)證

為了減小訓(xùn)練模型的復(fù)雜度，增強(qiáng)其穩(wěn)定性，選用KPCA對發(fā)動機(jī)高維數(shù)據(jù)進(jìn)行降維，KPCA是一種常用的數(shù)據(jù)融合和維數(shù)約簡方法，即構(gòu)造高維特征空間，把原始變量轉(zhuǎn)化為空間內(nèi)積矩陣，并利用原始變量空間的核函數(shù)代替內(nèi)積函數(shù)。為了確定目標(biāo)降維量，將累計(jì)方差貢獻(xiàn)量作為目標(biāo)降維量選取的標(biāo)準(zhǔn)，經(jīng)計(jì)算得出各特征的方差貢獻(xiàn)量如圖5所示，前10維累計(jì)方差貢獻(xiàn)量達(dá)到0.95，由此選定10維作為目標(biāo)降維量。

圖5 KPCA方差貢獻(xiàn)量Fig.5 KPCA variance contribution

經(jīng)KPCA降維后，根據(jù)時間步長對訓(xùn)練集和測試集的時間序列進(jìn)行劃分。輸入模型的3D張量為（24 720，50，10）。在將數(shù)據(jù)輸入模型之前，需要設(shè)置模型的各種參數(shù)。模型參數(shù)直接影響模型的性能，選擇合適的神經(jīng)網(wǎng)絡(luò)參數(shù)對模型的訓(xùn)練成功與否起著至關(guān)重要的作用，經(jīng)反復(fù)調(diào)試參數(shù)后，確定模型的主要參數(shù)，如表2所示。

表2 BLSTM神經(jīng)網(wǎng)絡(luò)參數(shù)設(shè)置Table 2 BLSTM neural network parameter settings

將輸入模型的數(shù)據(jù)集以9∶1的比例劃分為訓(xùn)練集和驗(yàn)證集。設(shè)置“提前停止”的參數(shù)，如果在10個周期內(nèi)驗(yàn)證集的誤差無下降趨勢，則將停止訓(xùn)練。利用驗(yàn)證集（即100組發(fā)動機(jī)）驗(yàn)證模型準(zhǔn)確度，驗(yàn)證結(jié)果如圖6所示，可以看出：預(yù)測值與真實(shí)值的擬合度較高，說明模型的預(yù)測效果較好。

圖6 模型預(yù)測結(jié)果Fig.6 Model prediction results

為了進(jìn)一步驗(yàn)證所建立模型的預(yù)測效果，對C-MAPSS數(shù)據(jù)集的FD003中1、9、24、35號發(fā)動機(jī)剩余壽命進(jìn)行預(yù)測擬合，其中部分發(fā)動機(jī)數(shù)據(jù)擬合結(jié)果如圖7所示。

圖7 不同型號發(fā)動機(jī)預(yù)測對比Fig.7 Comparison of predictions for different types of engines

從圖7可以看出：無論發(fā)動機(jī)處于循環(huán)周期的前、中、后期，該模型得到的預(yù)測值和真實(shí)值的擬合程度都較為準(zhǔn)確，預(yù)測值分布在真實(shí)值附近。由此可以得出本模型針對發(fā)動機(jī)這類復(fù)雜設(shè)備具有較高的預(yù)測精度，為提升發(fā)動機(jī)的可靠性和安全性提供了依據(jù)。

3.3 多模型預(yù)測結(jié)果對比

為了證明模型的準(zhǔn)確度，選用FD003中1號發(fā)動機(jī)數(shù)據(jù)，分別搭建支持向量機(jī)回歸（SVR），CNN，LSTM以及BLSTM預(yù)測模型，并與KPCABLSTM預(yù)測結(jié)果相對比，對比結(jié)果如表3所示。

表3 多模型預(yù)測結(jié)果對比Table 3 Comparison of multi-model prediction results

從表3可以看出：KPCA-BLSTM模型在誤差和得分上均優(yōu)于單個模型，三種深度學(xué)習(xí)模型預(yù)測結(jié)果優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)方法SVR；BLSTM比LSTM具有更好的性能，這表明BLSTM在處理較長時間序列時可以結(jié)合歷史和將來的信息來充分表征狀態(tài)監(jiān)視數(shù)據(jù)的內(nèi)部關(guān)系。

4 結(jié)論

（1）利用KPCA對航空發(fā)動機(jī)多監(jiān)測信息進(jìn)行降維與融合，通過方差貢獻(xiàn)量判斷10維為最佳目標(biāo)降維量，最終得到一個低維信息融合數(shù)據(jù)集。

（2）搭建了BLSTM神經(jīng)網(wǎng)絡(luò)預(yù)測模型，利用經(jīng)信息融合后的數(shù)據(jù)集對其進(jìn)行訓(xùn)練，最終模型預(yù)測值對真實(shí)值擬合程度較高，表明模型的預(yù)測效果較好。

（3）選取所提出的剩余壽命預(yù)測模型，將預(yù)測結(jié)果與SVR、CNN以及雙向LSTM預(yù)測模型進(jìn)行對比，KPCA-BLSTM模型的均方根誤差與得分皆優(yōu)于其他三種模型。