基于SAE-SA-1D-CNN-BGRU的渦扇發(fā)動機(jī)剩余壽命預(yù)測

聶 磊 ，蔡文濤 ，張呂凡 ，徐詩奕 ，吳柔慧 ，任一竹

（1.湖北工業(yè)大學(xué)機(jī)械工程學(xué)院，2.湖北省現(xiàn)代制造質(zhì)量工程重點(diǎn)實(shí)驗(yàn)室：武漢 430068）

0 引言

準(zhǔn)確預(yù)測渦扇發(fā)動機(jī)的剩余使用壽命是保證其正常工作、降低維護(hù)成本的重要手段[1]。目前，壽命預(yù)測的方法主要有3類[2-4]：基于物理失效模型的預(yù)測方法、基于經(jīng)驗(yàn)的預(yù)測方法和基于數(shù)據(jù)驅(qū)動的預(yù)測方法。物理模型方法需要進(jìn)行大量試驗(yàn)，且試驗(yàn)周期長，成本高，還需綜合考慮設(shè)備所經(jīng)歷的物理、化學(xué)、氣動熱力過程，導(dǎo)致物理模型難以精確建立，給該方法的使用帶來了限制；經(jīng)驗(yàn)預(yù)測法將設(shè)備故障和失效數(shù)據(jù)擬合為統(tǒng)計分布，該預(yù)測方法模型復(fù)雜度低且只能給出同類設(shè)備同工況的預(yù)測評估；數(shù)據(jù)驅(qū)動法通過捕捉設(shè)備的監(jiān)測數(shù)據(jù)與剩余使用壽命（Remaining useful life ，RUL）間的關(guān)系來進(jìn)行壽命預(yù)測，該方法通常采用數(shù)理統(tǒng)計和機(jī)器學(xué)習(xí)的手段，使用簡便并且模型通用性好，因此受到了廣泛的研究。

針對基于數(shù)據(jù)驅(qū)動的預(yù)測方法，學(xué)者們開展了廣泛研究。任子強(qiáng)等[5]提出了一種建立復(fù)合健康因子（Composite Health Indicator，CHI）的方法并采用線性維納過程構(gòu)建出CHI 數(shù)學(xué)模型，使用Bayesian 方法更新模型參數(shù)，并模擬出發(fā)動機(jī)退化軌跡；趙申坤等[6]篩選出渦扇發(fā)動機(jī)中具有退化趨勢的特征，采用主成分分析法對篩選的特征做數(shù)據(jù)融合，提取出能表征發(fā)動機(jī)退化趨勢的1維健康因子（Health indicator，HI），構(gòu)建出貝葉斯?fàn)顟B(tài)模型用于預(yù)測發(fā)動機(jī)的RUL；Chui等[7]提出一種非主導(dǎo)排序遺傳算法優(yōu)化遞歸神經(jīng)網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)權(quán)重的預(yù)測算法，并通過渦扇發(fā)動機(jī)RUL 預(yù)測算例來說明方法的有效性；Kang等[8]使用網(wǎng)格搜索優(yōu)化多層感知機(jī)網(wǎng)絡(luò)參數(shù)預(yù)測渦扇發(fā)動機(jī)RUL，表明了該模型的有效性；宋亞等[9]提出了一種自編碼神經(jīng)網(wǎng)絡(luò)和雙向長短期記憶網(wǎng)絡(luò)的混合模型，并基于通用數(shù)據(jù)集展開測試，表明該混合模型精度優(yōu)于現(xiàn)有深度學(xué)習(xí)模型的；張永峰等[10]利用1 維卷積神經(jīng)網(wǎng)絡(luò)提取渦扇發(fā)動機(jī)的特征，將提取到的高維特征輸入到雙向長短期記憶網(wǎng)絡(luò)進(jìn)行回歸預(yù)測，表明該方法優(yōu)于其他的機(jī)器學(xué)習(xí)或者深度學(xué)習(xí)模型。

上述文獻(xiàn)所提出的RUL預(yù)測可分為2類：將原始高維特征數(shù)據(jù)融合為1 維健康因子，建立HI 的數(shù)學(xué)模型用以預(yù)測RUL；將原始數(shù)據(jù)輸入至神經(jīng)網(wǎng)絡(luò)中，依靠其強(qiáng)大的非線性映射能力建立起原始數(shù)據(jù)與RUL 間的關(guān)系?？紤]到在航空發(fā)動機(jī)退化過程中退化率的非線性成分占比大、監(jiān)測變量維數(shù)多和監(jiān)測數(shù)據(jù)存在噪聲等特點(diǎn)，本文綜合二者方法所提供的良好思路和特點(diǎn)，將原始高維數(shù)據(jù)融合成1 維HI，利用SA-1D-CNN-BGRU 網(wǎng)絡(luò)建立了HI 和RUL 的關(guān)系，并在C-MAPSS的FD001數(shù)據(jù)集上進(jìn)行了驗(yàn)證。

1 基于SA-1D-CNN-BGRU 的渦扇發(fā)動機(jī)退化建模

1.1 堆疊自編碼網(wǎng)絡(luò)

自編碼（Autoencoder，AE）網(wǎng)絡(luò)是一種無監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，可將輸入數(shù)據(jù)轉(zhuǎn)換為低維度表示[11]。典型的自編碼網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，包含輸入層、隱藏層和輸出層，盡可能地使輸入數(shù)據(jù)和輸出數(shù)據(jù)一致，在中間的隱藏層中實(shí)現(xiàn)輸入特征的壓縮。

圖1 自編碼網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)中的輸入層為x={x1，x2，…，xn}，中間隱藏層為h={h1，h2，…，hm}，其中m＜n，輸出層為y={y1，y2，…，yn}。在自編碼網(wǎng)絡(luò)的編碼與解碼過程中，數(shù)據(jù)經(jīng)過如下變換

式中：f、g為激活函數(shù)，本文選取的為RELU和tanh；Wy為輸入層和隱藏層中神經(jīng)元的權(quán)重；by為輸入層和隱藏層中神經(jīng)元的偏置；Wz為輸出層和隱藏層神經(jīng)元的權(quán)重；bz為輸出層和隱藏層神經(jīng)元的偏置。

堆疊自編碼（Stacked autoencoder，SAE）由自編碼網(wǎng)絡(luò)堆疊連接形成，每層均做編碼操作，將前一層的輸出作為下一層的輸入，使其具有更好的低維特征提取能力。

1.2 1維卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)最早被應(yīng)用于機(jī)器視覺領(lǐng)域，通過卷積運(yùn)算提取出圖像中的空間特征，能夠高效地利用數(shù)據(jù)[12-14]。1 維卷積神經(jīng)網(wǎng)絡(luò)（1-Dimensional Convolutional neural network，1D-CNN）是2D-CNN 的變體，二者處理數(shù)據(jù)的方法相同，通常應(yīng)用于自然語言處理和時序數(shù)據(jù)?？紤]到渦扇發(fā)動機(jī)退化數(shù)據(jù)的時序特點(diǎn)，本文利用1D-CNN 提取時序數(shù)據(jù)中的空間特征，其原理如圖2所示。

圖2 1D-CNN原理

1.3 雙向門控循環(huán)單元

循環(huán)神經(jīng)網(wǎng)絡(luò)在處理時間序列時，若輸入的時序過長，則循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent neural network，RNN）不能將之前的信息傳遞到當(dāng)前狀態(tài)，在反向傳播時，容易導(dǎo)致梯度消息或者彌散的問題。長短期記憶網(wǎng)絡(luò)（Long and short-term memory networks，LSTM）網(wǎng)絡(luò)可解決短時記憶的問題，具有3 個門控單元來實(shí)現(xiàn)權(quán)重學(xué)習(xí)調(diào)節(jié)信息，從而避免梯度的彌散或爆炸。與LSTM 相比，門控循環(huán)單元（Gated recurrent unit，GRU）簡化了門控單元數(shù)，在一定程度上減少了網(wǎng)絡(luò)的參數(shù)，進(jìn)而提升了模型的訓(xùn)練速度[15]。單個GRU 單元結(jié)構(gòu)如圖3所示。

圖3 單個GRU單元結(jié)構(gòu)

GRU計算公式

式中：tanh 為激活函數(shù)；xt為輸入數(shù)據(jù)；ht-1為上一狀態(tài)的輸出；rt為t時刻重置門，zt為t時刻更新門，Wz、Wr和Wh?分別為更新門、重置門和輸出值的權(quán)重矩陣。

雙向門控循環(huán)單元（Bidireactional gated recurrent unit，BGRU）包含了2 個方向相反的GRU，每個GRU對輸出序列的正序和逆序進(jìn)行處理，并將各自的輸出合并形成最終輸出。即在每個時刻，BGRU 網(wǎng)絡(luò)可以學(xué)習(xí)到該時刻前后的序列信息，使得BGRU 網(wǎng)絡(luò)可以綜合考慮到過去和未來的信息，有助于提升模型的預(yù)測性能。其展開結(jié)構(gòu)如圖4所示。

圖4 BGRU展開結(jié)構(gòu)

1.4 注意力機(jī)制

注意力機(jī)制最早在機(jī)器視覺領(lǐng)域被提出，近年來被應(yīng)用于許多領(lǐng)域并取得了巨大的成功[16]。在神經(jīng)網(wǎng)絡(luò)中，隨著模型復(fù)雜化過程中，其參數(shù)增多且表達(dá)能力更強(qiáng)，同時模型信息變得冗雜，帶來了信息過載的問題。為解決這個問題，在神經(jīng)網(wǎng)絡(luò)中引入注意力機(jī)制，可以有效地分配一系列權(quán)重，使得模型將資源集中在關(guān)鍵信息當(dāng)中，從而提高算法效率。注意力機(jī)制計算過程如圖5所示，可分為3個階段。

圖5 注意力機(jī)制計算過程

在第1階段，計算每個Q和K的相似性，得到每個K對應(yīng)的權(quán)重系數(shù)。在第2階段，為防止結(jié)果過大，使用softmax 函數(shù)對權(quán)值歸一化處理，將其轉(zhuǎn)化為概率形式。在第3 階段，對不同的權(quán)重進(jìn)行加權(quán)求和，得到最后的注意表達(dá)式

式中：Ki為輸入向量信息；Q為用于查找關(guān)鍵信息的查詢向量；Vi為權(quán)重值；ai為每個向量的權(quán)重系數(shù)。

當(dāng)K=Q=V時，稱為自注意機(jī)制（Self Attention，SA）。

1.5 SAE-SA-1D-CNN-BGRU 壽命預(yù)測模型

對輸入數(shù)據(jù)做卡爾曼濾波處理，濾除其噪聲。隨后將濾波后的數(shù)據(jù)作為SAE 網(wǎng)絡(luò)的輸入，通過多個AE層后得到包含輸入信息主要特征的數(shù)據(jù)。將降維后的特征數(shù)據(jù)作為SA-1D-CNN-BGRU 網(wǎng)絡(luò)的輸入，這當(dāng)中2 個卷積層可以充分提取輸入數(shù)據(jù)的空間信息，BGRU 層可提取每一當(dāng)前時刻的過去和未來的時序信息，通過自注意機(jī)制確定關(guān)鍵信息的權(quán)重，隨后在池化層中過濾信息減小模型的參數(shù)計算，接著在全連接層中將特征組合起來，便于識別不同的特征，最后得到輸出。組合模型結(jié)構(gòu)如圖6所示。

圖6 SAE-SA-1D-CNN-BGRU 模型結(jié)構(gòu)

1.6 預(yù)測模型評價指標(biāo)

為定量分析組合模型的性能，均方根誤差（Root mean square error，RMSE）,式中記為RRMSE，和評分函數(shù)（Score），式中記為Rscore，是來評估RUL 預(yù)測結(jié)果準(zhǔn)確性的常用指標(biāo)。均方根誤差為常用的模型評估指標(biāo)，評分函數(shù)為非對稱函數(shù)，是當(dāng)前對RUL 預(yù)測比較有權(quán)威的評估指標(biāo)，該指標(biāo)對于預(yù)測結(jié)果大于真實(shí)值的滯后性預(yù)測會給出較高的評分，即分值越低，表明該方法越好，其表達(dá)式分別為

式中：ym為輸出樣本數(shù)；yi為樣本真實(shí)值；? 為樣本預(yù)測值。

2 實(shí)例分析

2.1 數(shù)據(jù)集描述

本文使用來源于美國國家航空航天局（National Aeronautics and Space Administration，NASA）的公開數(shù)據(jù)集來評估方法的有效性。該數(shù)據(jù)集被廣泛用于PHM 研究領(lǐng)域，包含4組渦扇發(fā)動機(jī)在不同運(yùn)行條件和不同故障模式的數(shù)據(jù)，每組數(shù)據(jù)中包括訓(xùn)練集、測試集和真實(shí)RUL 3部分，原始數(shù)據(jù)中含有大量的隨機(jī)噪聲。本研究選取的數(shù)據(jù)為FD001，該組數(shù)據(jù)具體的結(jié)構(gòu)和傳感器信息描述見文獻(xiàn)[17-19]，在此不再贅述。

2.2 研究過程和結(jié)果分析

2.2.1 數(shù)據(jù)預(yù)處理

隨著飛機(jī)的起降，飛機(jī)發(fā)動機(jī)的關(guān)鍵部件不斷地磨損，性能不斷地退化。盡管飛機(jī)發(fā)動機(jī)的物理失效機(jī)理十分復(fù)雜，準(zhǔn)確反映其健康狀態(tài)的參數(shù)難以獲得，但一些基于在線監(jiān)測的參數(shù)同樣可以表征飛機(jī)發(fā)動機(jī)的退化規(guī)律。

剔除7 個在發(fā)動機(jī)退化中未曾改變和兩個趨勢性不明顯的傳感器數(shù)據(jù)后，本文選取的12 個狀態(tài)參數(shù)包括LPC 出口總溫度、HPC 出口總溫度、低壓汽輪機(jī)出口總溫度、HPC出口總壓、物理風(fēng)扇轉(zhuǎn)速、HPC出口靜壓、燃油流量與Ps30 之比、修正風(fēng)扇轉(zhuǎn)速、旁路比、排氣焓、HPT 冷卻液排放、LPT 冷卻液放氣。以上狀態(tài)參數(shù)均具有單調(diào)性，可以共同作為飛機(jī)發(fā)動機(jī)剩余使用壽命預(yù)測的特征。在實(shí)際情況中，噪聲可能來源于環(huán)境的改變，導(dǎo)致測量過程中氣流、溫度、濕度、壓力等因素的影響，這些噪聲源在發(fā)動機(jī)運(yùn)行不同階段都會存在，最后在傳感器觀測到的數(shù)據(jù)中產(chǎn)生了綜合效應(yīng)。因此采集的發(fā)動機(jī)數(shù)據(jù)中噪聲的影響不可忽視。由于測量數(shù)據(jù)中含有噪聲，對這些數(shù)據(jù)融合后得到的綜合健康因子仍然含有噪聲，使得綜合健康因子序列的局部變化起伏很大，難以正常描述設(shè)備的性能退化，因此本文首先采用卡爾曼濾波對數(shù)據(jù)做平滑處理，部分結(jié)果如圖7 濾波后傳感器數(shù)據(jù)所示。進(jìn)一步的，去除濾波后數(shù)據(jù)的量綱，防止量綱不統(tǒng)一對后續(xù)處理的影響。接著采用SAE 網(wǎng)絡(luò)提取原始數(shù)據(jù)中的主要特征，并將其作為HI 來表征渦扇發(fā)動機(jī)的健康狀態(tài)，具體結(jié)果如圖8FD001 訓(xùn)練集HI所示。隨后給訓(xùn)練集的RUL 確定標(biāo)簽，本文將RU 值設(shè)置為分段線性函數(shù)，如圖9 RUL標(biāo)簽設(shè)置所示。首先渦扇發(fā)動機(jī)發(fā)運(yùn)行前期處于平穩(wěn)狀態(tài)，此時的RUL 值可看作不發(fā)生變化，然后發(fā)動機(jī)開始線性衰退。對于衰退初期RUL 的取值，文本設(shè)置130 作為發(fā)動機(jī)退化初期的RUL 值。考慮到測試集時序長度最小為31，本文設(shè)定分割窗口長度為30，用以保證能對每臺發(fā)動機(jī)的RUL做出預(yù)測。

圖7 濾波后傳感器數(shù)據(jù)

圖8 FD001訓(xùn)練集HI

圖9 RUL標(biāo)簽設(shè)置

本文選取滑窗的形式輸入文中模型，考慮到測試集中序列長度最小為31，本文窗口的寬度設(shè)置為30，即使用前1～30 個時間步的傳感器數(shù)據(jù)作為1 個序列，第2～31 個時間步的傳感器數(shù)據(jù)作為1 個序列，依此類推。模型的輸入為劃分的滑窗序列，輸出為每個序列的最后1個周期的RUL標(biāo)簽。

2.2.2 結(jié)果分析

LSTM、PCA-LSTM、PCA-1D-CNN-LSTM 和本文模型對渦扇發(fā)動機(jī)RUL預(yù)測結(jié)果如圖10～13所示，虛線為真實(shí)壽命，實(shí)現(xiàn)為預(yù)測的壽命值。在LSTM 模型中，整體上預(yù)測結(jié)果大于真實(shí)結(jié)果，其RRMSE=31.37，Rscore=1316，最大預(yù)測值為175，遠(yuǎn)大于真實(shí)值中最大值143。在該模型中，由于輸入數(shù)據(jù)為原始傳感器數(shù)據(jù)，數(shù)據(jù)中存在的噪聲擾動大，對預(yù)測精度有較大影響。此外原始傳感器信息過多，存在冗余現(xiàn)象，且LSTM網(wǎng)絡(luò)模型的學(xué)習(xí)能力不足，導(dǎo)致預(yù)測精度較差。PCA-LSTM 模型中，預(yù)測結(jié)果與真實(shí)值較為接近，前幾組發(fā)動機(jī)預(yù)測誤差較大，且多數(shù)真實(shí)值遠(yuǎn)大于預(yù)測值，其RRMSE=28.97，Rscore=850。在該模型中，不僅對數(shù)據(jù)做了濾波處理，還采用線性PCA 降維方法將高維的退化數(shù)據(jù)融合為1 維HI 序列，將該序列輸入至LSTM 網(wǎng)絡(luò)中學(xué)習(xí)其與RUL 間的關(guān)系，此時預(yù)測精度有了一定的提升，表明降維方法可初步提取傳感器數(shù)據(jù)中的有效信息，該類型方法有待進(jìn)一步改進(jìn)。PCA-1D-CNN-LSTM 模型中，整體預(yù)測結(jié)果接近真實(shí)值，少數(shù)預(yù)測值偏離真實(shí)值，其RRMSE=20.16，Rscore=275。在該模型中，對預(yù)測網(wǎng)絡(luò)結(jié)構(gòu)做了改進(jìn)，其中的1D-CNN 和LSTM 網(wǎng)絡(luò)分別可提取HI 序列中的空間和時序信息，此時HI 序列的信息得到在1D-CNNLSTM 網(wǎng)絡(luò)中得到了充分的學(xué)習(xí)，預(yù)測精度也得到了進(jìn)一步的提升。在本文模型中，整體預(yù)測無較大偏差，在幾組測試集發(fā)動機(jī)壽命即將結(jié)束的RUL 預(yù)測中，產(chǎn)生了RUL 小于0 的偏差，但是預(yù)測精度得到了極大提高，其RRMSE=16.22，Rscore=225。在本文提出的模型中，不僅采用了非線性的SAE 降維方法代替了PCA降維方法，充分的提取了高維傳感器數(shù)據(jù)中的主要退化規(guī)律，還采用BGRU模型代替LSTM模型，簡化了訓(xùn)練模型時的參數(shù)，同時注意力機(jī)制對1D-CNNBGRU 模型提取的特征分配了權(quán)重，便于混合網(wǎng)絡(luò)模型中的回歸層高效的學(xué)習(xí)HI 序列和RUL 間的關(guān)系，模型的精度得到了更好的提升。模型評估見表1。

表1 模型評估

圖10 LSTM模型預(yù)測結(jié)果

圖11 PCA-LSTM 模型預(yù)測結(jié)果

圖12 PCA-1D-CNNLSTM模型預(yù)測結(jié)果

圖13 SAE-SA-1D-CNNBGRU模型預(yù)測結(jié)果

綜合分析以上結(jié)果，本文分別建立了LSTM、PCA-LSTM、PCA-1D-CNN-LSTM 和本文所提模型用以預(yù)測渦扇發(fā)動機(jī)的RUL，以上方法均實(shí)現(xiàn)較高精度的預(yù)測，其中PCA-LSTM 相較LSTM 模型的均方根誤差提升了7.65%，評分函數(shù)提升了27.54%，PCA-1DCNN-LSTM 模型的均方根誤差相較于前2 種方法分別提升了35.73%和30.41%，評分函數(shù)提升了79.79%和67.64%，本文所提模型的均方根誤差相較于前3種模型分別提升了83.46%、73.53%和18.18%，結(jié)果證明了本文方法的優(yōu)越性和有效性。

3 結(jié)束語

采用卡爾曼濾波、SAE 網(wǎng)絡(luò)和SA-1D-CNNBGRU 混合網(wǎng)絡(luò)的方法對渦扇發(fā)動機(jī)傳感器數(shù)據(jù)進(jìn)行預(yù)處理和RUL 的預(yù)測，可為設(shè)備的健康管理與智能運(yùn)維提供支撐?？紤]到本文預(yù)測時存在誤差，未來可進(jìn)一步研究HI 序列的建立方法，充分提取狀態(tài)監(jiān)測數(shù)據(jù)中的有效信息后利用本文預(yù)測模型進(jìn)行RUL預(yù)測；可對每種傳感器監(jiān)測數(shù)據(jù)單獨(dú)建立模型通過網(wǎng)絡(luò)并聯(lián)方式提高RUL預(yù)測精度。