基于殘差自注意力機制的航空發(fā)動機RUL預(yù)測

葉瑞達，王衛(wèi)杰，何 亮，陳曉岑，薛 樂

（1.航天工程大學(xué)，北京101416；2.清華大學(xué)，北京100089；3.63931部隊，北京100094）

1 引 言

航空發(fā)動機是機械裝備制造領(lǐng)域的皇冠，代表著一個國家的國防工業(yè)和科技發(fā)展水平。然而航空發(fā)動機在使用上和航天發(fā)動機有著本質(zhì)的區(qū)別：對于航天發(fā)動機來說，大多數(shù)都只需要使用一次，而航空發(fā)動機需要在復(fù)雜的環(huán)境下持續(xù)使用，這就給航空發(fā)動機的可靠性和安全性帶來了極大的挑戰(zhàn)。對于軍用飛機而言，在戰(zhàn)場上會面對各類武器的攻擊，需要發(fā)動機做出快速反應(yīng)，在極短時間內(nèi)完成加速減速、大角度變換方位等需求，這就加劇了航空發(fā)動機的性能退化速度。因此，有效地進行航空發(fā)動機健康管理［1］成為保障飛機飛行安全的重中之重。

航空發(fā)動機剩余使用壽命（Remaining Use?ful Life，RUL）傳統(tǒng)預(yù)測方法是基于物理模型的，雖然RUL預(yù)測方法有一定缺陷，但是其通過研究發(fā)動機失效機理來判斷發(fā)動機的健康狀態(tài)，仍是一種可靠性高的方法。陳煜［2］研究了發(fā)動機非線性部件級建模和修模方法，搭建了航空發(fā)動機快速原型仿真平臺。葛怡［3］通過對航空發(fā)動機的壓氣機喘振、尾噴管推力下降、燃燒室霧化三種典型的故障進行建模研究，從物理層面分析了產(chǎn)生故障的原因，完成了發(fā)動機建模仿真和典型故障基于模型的仿真，實現(xiàn)發(fā)動機的故障診斷和故障數(shù)據(jù)趨勢預(yù)測。然而，機器失效機理通常充滿不確定性，難以建立精確的模型。

基于數(shù)據(jù)驅(qū)動的深度學(xué)習(xí)方法在設(shè)備健康管理領(lǐng)域［4-7］可以避免傳統(tǒng)方法的不足，其優(yōu)勢在于不需要手工設(shè)計特征工程、降低了準入門檻、易實現(xiàn)跨領(lǐng)域知識共享。隨著計算力的不斷發(fā)展，深度學(xué)習(xí)在航空發(fā)動機健康管理領(lǐng)域被大量使用。Li等［8］提出了一種新的基于數(shù)據(jù)驅(qū)動的深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN）預(yù)測方法，為了更好地提取DCNN的特征，采用了“時間窗”方法進行樣本準備，完成了航空發(fā)動機的剩余使用壽命預(yù)測。Sen等［9］建立了基于長短期記憶的數(shù)據(jù)驅(qū)動模型來預(yù)測航空發(fā)動機剩余使用壽命，建立了完整的集成經(jīng)驗?zāi)Ｊ椒纸?，然后進行重構(gòu)，構(gòu)建趨勢特征。Berghout等［10］提出了一種具有雙重動態(tài)遺忘因子和更新選擇策略的序貫極限學(xué)習(xí)機，序貫極限學(xué)習(xí)機用于擬合航空發(fā)動機的非累積線性降級函數(shù)，最終預(yù)測飛機發(fā)動機剩余使用壽命。彭開香等［11］提出一種深度置信網(wǎng)絡(luò)和隱馬爾可夫結(jié)合方法，使用無監(jiān)督深度置信網(wǎng)絡(luò)提取數(shù)據(jù)特征，并構(gòu)建航空發(fā)動機RUL評價指標，最后用隱馬爾可夫模型識別狀態(tài)。

以上研究中，偏重提取數(shù)據(jù)深層特征或處理時序特征，未將二者統(tǒng)一到訓(xùn)練模型中。自注意力機制［12］能夠同時抽取數(shù)據(jù)深層特征和關(guān)聯(lián)時序特征，有效解決上述研究中的問題。然而，自注意力機制涉及到大量的權(quán)重矩陣運算，優(yōu)化權(quán)重矩陣優(yōu)化通常是傳統(tǒng)深度學(xué)習(xí)方法中的一個難點，誤差函數(shù)的梯度必須逐層反向傳播，誤差函數(shù)在經(jīng)過反向傳播后對權(quán)重矩陣的優(yōu)化效果較差或梯度消失。

針對傳統(tǒng)神經(jīng)網(wǎng)絡(luò)在多維數(shù)據(jù)高分辨率特征識別和高精度信號提取方面的缺陷，開展基于殘差自注意力機制在航空發(fā)動機RUL預(yù)測領(lǐng)域的研究。分析卷積神經(jīng)網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)這兩種主流算法模型的優(yōu)點和局限，結(jié)合改進的自注意力機制，提出了一種卷積記憶殘差自注意力（CMRSA）神經(jīng)網(wǎng)絡(luò)方法。該算法使用兩層殘差網(wǎng)絡(luò)，優(yōu)化自注意力機制的權(quán)重矩陣。選用美國宇航局（NASA）航空渦扇發(fā)動機退化實驗數(shù)據(jù)集，完成了CMRSA模型在航空發(fā)動機RUL預(yù)測的仿真實驗。提出的方法具有一下優(yōu)點：（1）利用卷積層提取數(shù)據(jù)特征，不需要專家經(jīng)驗和人工判讀，利用殘差自注意力機制提高局部注意力和優(yōu)化權(quán)重矩陣。（2）創(chuàng)新性地提出了CMRSA模型，有效提高了航空渦扇發(fā)動機RUL的預(yù)測精度。

2 典型深度學(xué)習(xí)模型分析

2.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是深度學(xué)習(xí)中最為重要模型之一，卷積層是其核心組成部分，具有強大的特征提取能力。當(dāng)卷積核與當(dāng)前特征經(jīng)過卷積操作后，該局部特征以某種形式保留，通過局部連接和權(quán)值共享特征，當(dāng)經(jīng)過多次局部特征提取后，所有的局部特征以多種方式融合，隨后經(jīng)過激活函數(shù)，即可構(gòu)成一個特征層。圖1所示展示了一個3×3的卷積核在5×5的圖像上做步長為2卷積操作的過程。每個卷積都是一種特征提取方式，將特征中符合條件的部分篩選出來。

圖1 卷積示意圖Fig.1 Convolution block diagram

其中m，n是輸入節(jié)點的二維坐標，f(?)為激活函數(shù)，常見的激活函數(shù)有sigmoid函數(shù)、ReLU函數(shù)等。ReLU公式如下：

池化層的前向傳播過程中也是通過移動一個類似過濾器的結(jié)構(gòu)完成的，其主要作用是下采樣。卷積神經(jīng)網(wǎng)絡(luò)具有強大的局部特征提取能力，然而對于長序列信息的特征關(guān)聯(lián)能力較弱。

2.2 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)［13］（RNN）是以序列數(shù)據(jù)為輸入，在序列的前進方向進行遞歸循環(huán)且所有的循環(huán)體按鏈式循環(huán)的遞歸神經(jīng)網(wǎng)絡(luò)。其中長短期記憶網(wǎng)絡(luò)、門控循環(huán)單元網(wǎng)絡(luò)和雙向循環(huán)神經(jīng)網(wǎng)絡(luò)是常見的循環(huán)神經(jīng)網(wǎng)絡(luò)。由于存在梯度消失的問題，普通的循環(huán)神經(jīng)網(wǎng)絡(luò)很難處理長距離的信息。長短期記憶網(wǎng)絡(luò)［14］能夠解決普通循環(huán)神經(jīng)網(wǎng)絡(luò)的缺陷，由于其獨特的結(jié)構(gòu)設(shè)計，LSTM適用于處理時間序列和延遲較長的數(shù)據(jù)。標準LSTM如圖2所示。

圖2 LSTM結(jié)構(gòu)圖Fig.2 Structure diagram of LSTM

LSTM包含遺忘門f t、輸入門y t、當(dāng)前輸出的狀態(tài)單元ct和輸出門h t。其中遺忘門的作用是決定上一個單元狀態(tài)保留到當(dāng)前狀態(tài)ct的比例。輸入門決定了當(dāng)前輸入x t保留到當(dāng)前狀態(tài)ct的比例。其算法流程如下：

遺忘門f t由當(dāng)前輸入x t和上一個時刻輸出h t-1定：

輸入門y t和當(dāng)前輸入單元狀態(tài)m t同樣由當(dāng)前輸入x t和上一個時刻輸出h t-1決定：

而當(dāng)前輸出的狀態(tài)單元ct：

LSTM的最終輸出：

其中W f，W y，W m和W h是權(quán)重矩陣，對應(yīng)的bf，by，bm和bh是偏置項。公式中的*表示按矩陣中的元素相乘。

循環(huán)神經(jīng)網(wǎng)絡(luò)包含LSTM網(wǎng)絡(luò)，LSTM網(wǎng)絡(luò)是RNN網(wǎng)絡(luò)的重要分支。LSTM模型對長序列信息有著良好的前后關(guān)聯(lián)能力，然而在局部特征提取方面有所欠缺。

3 RUL預(yù)測模型構(gòu)建

3.1 殘差自注意力機制設(shè)計

自注意力機制起源于自然語言處理，是Transformer模型［12］核心算法。Transformer模型分為編碼器和解碼器兩個部分，每個編碼器包括自注意力機制和前饋網(wǎng)絡(luò)，自注意力機制是Transformer模型的核心部分。自注意力機制的優(yōu)勢在于可以進行遠距離學(xué)習(xí)、提高局部注意力和并行計算。

在自注意力算法中，特征矩陣ai（i表示由i個向量拼成ai）分別與三個權(quán)重矩陣W k，W q和W v相乘得到K、Q和V，其計算公式如下：

其中，Q代表查詢（query）、K代表鍵（key）、V代表值（value），它們都是輸入矩陣。計算自注意力值：

其中K和V組成的鍵值對代表源語句，Q代表目標語句，其目的在于計算源語句和目標語句的關(guān)系，d k是鍵向量維度的平方根。

在傳統(tǒng)自注意力機制中，特征矩陣ai分別與三個權(quán)重矩陣相乘，導(dǎo)致在迭代算法過程中太過依賴于權(quán)重矩陣?；跉埐罹W(wǎng)絡(luò)［15］的思想，提出一種殘差自注意力機制，其算法結(jié)構(gòu)原理如圖3所示。

圖3 殘差注意力機制原理圖Fig.3 Schematic diagram of residual self-attention mechanism

特征矩陣在經(jīng)過三個權(quán)重矩陣處理后得到K，Q和V后，分別與K，Q和V相加，這樣可以使得提高特征矩陣ai在自注意力算法中的權(quán)重。同時在得到自注意力值后，使用跳層連接，將自注意力值與輸入特征矩陣ai相加。

在得到K，Q和V后，ai分別與K，Q和V相加，在特征矩陣相加的過程中，需要保證矩陣維度一致，假設(shè)則有：

同 理 可 得Q'，V'，使 用 式（9）得 到Attention(Q'，K'，V')，最 后 將 其 與 初 始 特 征ai相加：

其中，output為殘差自注意力模型的輸出。

殘差自注意力機制使用雙跳層連接結(jié)構(gòu)，將初始特征進行長短距離再提取，其算法流程如下：

（1）輸入批次特征矩陣通過是三個權(quán)重矩陣陣W k，W q和W v相乘分別得到K、Q和V。

（2）將特征矩陣K，Q和V與初始特征矩陣相 加 得 到 特 征 矩 陣K'，Q'和V'。

（3）將特征矩陣K'，Q'使用Scale（縮放點積）計算“得分”。

（4）把“得分”除以d k，并使用softmax激活函數(shù)，乘上矩陣V'。

（5）最后將輸出的特征矩陣與原始特征矩陣相加得到自注意力值。

為驗證殘差自注意力權(quán)重矩陣的優(yōu)化性能，假設(shè)傳播到K處的誤差為J，此時從K'到ai的反向傳播過程為：

a.在自注意力機制中：

b.在殘差自注意力機制中：

在誤差相同時，殘差自注意力機制的W k相對于自身的變化更大。所以在引入殘差網(wǎng)絡(luò)后，權(quán)重的變化對輸出更加敏感，能夠更好的優(yōu)化權(quán)重矩陣。

3.2 構(gòu)建卷積記憶殘差自注意力機制模型

通過CNN、LSTM和殘差自注意力機制，構(gòu)建了由輸入層、特征提取層、位置編碼器、殘差自注意力模塊、全局平均池化層和全連接層的卷積記憶殘差自注意力機制（CMRSA）模型框架。其結(jié)構(gòu)如圖4所示。

圖4 CMRSA模型框架圖Fig.4 Frame diagram of CMRSA model

輸入層將數(shù)據(jù)集提供的原始信號進行預(yù)處理，構(gòu)建滿足CMRSA模型輸入的樣本。特征提取層由CNN和LSTM組成的CLSTM構(gòu)成，有效綜合了CNN的特征處理能力和LSTM的時序關(guān)聯(lián)能力，CLSTM能夠更好地提取和學(xué)習(xí)航空發(fā)動機的信號特征。為了更好的使用所提取的航空發(fā)動機信號特征的時序信息，可以使用tranformer中的位置編碼器對信號特征進行位置編碼。位置編碼器對信號特征進行位置編碼：

PE為二維矩陣，偶數(shù)位置添加正弦變量，奇數(shù)位置添加余弦變量，以此來填滿整個PE矩陣，對使用CLSTM提取信號初始特征完成位置編碼。在使用自注意力時，對特征位置編碼，有利于學(xué)習(xí)關(guān)聯(lián)特征。殘差自注意力模塊對位置編碼后的特征進行權(quán)重矩陣優(yōu)化，得到自注意力值。全局平均池化層可以減少網(wǎng)絡(luò)參數(shù)量，防止過擬合現(xiàn)象。全連接層由神經(jīng)元組成，在航空發(fā)動機RUL預(yù)測時，將神經(jīng)元個數(shù)設(shè)置為1，表示輸出的RUL。

4 仿真校驗及分析

4.1 實驗數(shù)據(jù)預(yù)處理及評價指標

NASA Ames研究中心提供的航空渦扇發(fā)動機退化實驗數(shù)據(jù)集（C-MAPSS）［16］，NASA利用C-MAPSS軟件對航空渦扇發(fā)動機進行了失效模擬，使用24個傳感器采集數(shù)據(jù)，模擬了航空渦扇發(fā)動機的失效過程。C-MAPSS由四個子數(shù)據(jù)集組成，每個子數(shù)據(jù)集分為訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集，如表1所示。

表1 C-MAPSS數(shù)據(jù)集Tab.1 C-MAPSS dataset

本實驗選用第1組編號FD001的數(shù)據(jù)集，訓(xùn)練集train_FD001.txt包含100條訓(xùn)練樣本，每條樣本包含24個傳感器讀數(shù)，包括21個依賴傳感器和3個操作設(shè)定傳感器；text_FD001.txt包含100條測試樣本；RUL_FD001.txt中提供測試集對應(yīng)的真實RUL值。

a.數(shù)據(jù)預(yù)處理

在C-MAPSS數(shù)據(jù)集上，共有21個傳感器反映航空發(fā)動機的健康狀態(tài)，需要將傳感器數(shù)據(jù)進行有效的預(yù)處理，從而為模型提供訓(xùn)練數(shù)據(jù)。假設(shè)傳感器為Si(i=1，2，...，21)，則在一段時間內(nèi)的某個傳感器的測量結(jié)果可以表示為將傳感器數(shù)據(jù)進行離差標準化，其轉(zhuǎn)換公式如下：

b.評價指標

選用常用的均方誤差（Mean Square Error，MSE）和評分函數(shù)（Score）這兩個指標［16］，來對RUL進行評價。

4.2 實驗過程

選用C-MAPSS的FD001數(shù)據(jù)集，首先對航空渦扇發(fā)動機原始數(shù)據(jù)信息預(yù)處理，由于共有21個傳感器監(jiān)測數(shù)據(jù)和3個設(shè)定參數(shù)，加上工作循環(huán)次數(shù)，可以將數(shù)據(jù)處理成50×25的矩陣，得到處理后的數(shù)據(jù)集。首先將處理后的數(shù)據(jù)集輸入到CMRSA模型中，信號在卷積層與卷積核做卷積，卷積層使用32個卷積核，大小為5×1，步長設(shè)置為2。其次，經(jīng)過卷積層的特征通過LSTM，LSTM層的單元數(shù)為32。使用位置編碼器對特征進行位置編碼，進行位置編碼后的特征經(jīng)過一個殘差自注意力模塊，最后輸入到全局平均池化層，可以有效防止過擬合現(xiàn)象，通過全連接層輸出結(jié)果。

針對航空渦扇發(fā)動機，CMRSA模型可以提取各個傳感器數(shù)據(jù)信息中不同程度的航空發(fā)動機退化信息，捕捉各個傳感器中航空渦扇發(fā)動機不同部件之間的相關(guān)退化信息，得到航空渦扇發(fā)動機的RUL。CMRSA模型在預(yù)測RUL時的損失函數(shù)使用均方誤差，其公式為選用的性能指標式（17）。使用為使得特征矩陣ai與K，Q和V的維度保持一致，殘差自注意力機制中的權(quán)重矩陣W k，W q和W v設(shè)置25×25。每層網(wǎng)絡(luò)的輸出如表2所示。

表2 網(wǎng)絡(luò)層的輸出尺寸T ab.2 Output size of network layers

4.3 實驗結(jié)果分析

訓(xùn)練模型時，每批次輸入大小為128，迭代次數(shù)為100。其訓(xùn)練過程的損失函數(shù)值（loss）與迭代次數(shù)關(guān)系如圖5所示，損失函數(shù)值隨著迭代次數(shù)的增加而減小，迭代訓(xùn)練多輪后，逐漸趨于平緩。

圖5 基于CMRSA模型訓(xùn)練的loss圖Fig.5 Loss diagram based on CMRSA model training

為驗證殘差自注意力機制的性能，使用未添加殘差網(wǎng)絡(luò)的卷積記憶自注意力（CMSA）模型完成對比實驗。預(yù)測值與真實值對比如圖6所示。

在圖6中，CMRSA模型的均方誤差為222，而CMSA模型的均方誤差為278。同時，完成了CMRSA模型在FD002、FD003和FD004數(shù)據(jù)集上的實驗，并與CMSA模型對比，其結(jié)果如表3所示。通過對比分析，改進的殘差自注意力性能優(yōu)于傳統(tǒng)的自注意力機制。

表3 CM RSA和CMSA結(jié)果對比表Tab.3 Comparison table of CMRSA and CMSA results

圖6 真實值與預(yù)測值對比圖Fig.6 Comparison of thetruevalueand thepredicted value

為驗證CMRSA模型在航空發(fā)動機RUL預(yù)測領(lǐng)域的性能，加入對比實驗。文獻［17］所提全部特征輸入長短時記憶單元（AF-LSTM）方法和文獻［18］所提一種改進CNN方法，用來預(yù)測發(fā)動機的RUL。這四種方法都是在C-MAPSS中的FD001數(shù)據(jù)集上進行的，每種模型訓(xùn)練5次取其平均值。從表4可知，對比這三種方法，CMRSA模型在MSE和Socre評價指標上優(yōu)于其他三種方法，CMRSA模型在預(yù)測航空渦扇發(fā)動機RUL時效果顯著。

表4 各算法結(jié)果對比表Tab.4 Comparison table of algorithm results

5 結(jié) 論

針對傳統(tǒng)神經(jīng)網(wǎng)絡(luò)在多維數(shù)據(jù)高分辨率特征識別和高精度信號提取方面的缺陷，提出了一種卷積記憶殘差自注意力神經(jīng)網(wǎng)絡(luò)方法。使用卷積神經(jīng)網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)進行特征編碼，將得到的特征矩陣輸入到殘差自注意力網(wǎng)絡(luò)中訓(xùn)練，該網(wǎng)絡(luò)使用雙跳層殘差連接，優(yōu)化自注意力機制的權(quán)重矩陣。選用C-MAPSS數(shù)據(jù)集，完成了航空發(fā)動機RUL預(yù)測的實驗。實驗結(jié)果表明，使用CMRSA模型的預(yù)測精度優(yōu)于其他的方法，相比CMSA模型的均方誤差降低了17.9%。提出的方法具有一下優(yōu)點：（1）提出了殘差自注意力機制，使用雙跳層殘差連接，可以優(yōu)化權(quán)重矩陣。（2）針對航空發(fā)動機RUL預(yù)測問題，構(gòu)建了卷積記憶殘差自注意力模型，有效提高了航空渦扇發(fā)動機RUL的預(yù)測精度。在后續(xù)的研究中，將開展多個殘差自注意力機制組合及組合形式的研究，進一步提升航空發(fā)動機剩余使用壽命預(yù)測的精度。