基于LSTM的航空發(fā)動機(jī)電氣附件性能預(yù)測

羅賢峰，何 宇，劉仲富，余振源，竇宇驍，孫兆榮

（中國民航大學(xué)，天津 300300）

隨著民航運(yùn)輸業(yè)的高速發(fā)展，發(fā)動機(jī)作為飛機(jī)的核心部位對飛機(jī)的飛行安全及適航有著至關(guān)重要的作用。發(fā)動機(jī)電氣附件的數(shù)據(jù)獲取，傳輸以及運(yùn)作和電氣線路的完整性對航空發(fā)動機(jī)的正常運(yùn)行有著重要的影響，而發(fā)動機(jī)電氣附件的性能測試及預(yù)測成為了一個難題，能否快速測試分析電氣附件的性能衰減狀況和后期的預(yù)測，對發(fā)動機(jī)的維修效率有著巨大的影響。目前，發(fā)動機(jī)維修采用分立儀器對部分電氣附件進(jìn)行測試，測試時間長、效率低、存在人為差錯，難以達(dá)到全覆蓋測試，且在維修間隔期間，電氣附件的性能難以監(jiān)測，存在安全隱患，可能對發(fā)動機(jī)和維修人員造成潛在危險。對此我們通過該軟件系統(tǒng)開發(fā)，并結(jié)合到硬件系統(tǒng)之中，形成一套完整的測試系統(tǒng)實(shí)現(xiàn)發(fā)動機(jī)整機(jī)電氣附件的靜態(tài)測試，形成全覆蓋的數(shù)據(jù)測試，為發(fā)動機(jī)進(jìn)一步性能測試提供有力的技術(shù)支持，為飛機(jī)安全高效運(yùn)輸提供有效保障，該系統(tǒng)的實(shí)現(xiàn)打破了傳統(tǒng)對部分電氣附件的測試方法，除去人工的測試部分，通過對標(biāo)準(zhǔn)大數(shù)據(jù)的采集，訓(xùn)練更加高效精準(zhǔn)的測試與預(yù)測出所需要的電氣附件數(shù)據(jù)。

LSTM神經(jīng)網(wǎng)絡(luò)作為一種特殊的RNN網(wǎng)絡(luò)有著良好的訓(xùn)練與學(xué)習(xí)能力，眾多學(xué)術(shù)研究者利用該神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)及器件性能預(yù)測方面展開了深入的研究。王鑫等[1]提出了基于LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)的故障時間序列預(yù)測，發(fā)現(xiàn)LSTM模型相比典型時間序列預(yù)測模型，其擬合和預(yù)測性能整體更優(yōu)；相比于RNN等循環(huán)神經(jīng)網(wǎng)絡(luò)，其擬合和預(yù)測精度整體更高。陸繼翔等[2]利用CNN-LSTM混合神經(jīng)網(wǎng)絡(luò)模型在短期負(fù)荷預(yù)測中的應(yīng)用，發(fā)現(xiàn)當(dāng)LSTM輸入數(shù)據(jù)是以時序序列的特征向量時，LSTM網(wǎng)絡(luò)模型能較好地擬合負(fù)荷數(shù)據(jù)的時序性和復(fù)雜非線性關(guān)系。彭燕等[3]在基于LSTM的股票價格預(yù)測模型與分析中，發(fā)現(xiàn)適宜的LSTM網(wǎng)絡(luò)層數(shù)和前饋網(wǎng)絡(luò)層隱藏神經(jīng)元個數(shù)可使股價數(shù)據(jù)預(yù)測準(zhǔn)確率大大提高。武麗芬等[4]基于RNN模型與LSTM模型的機(jī)器作詩研究中對比了兩種預(yù)測模型在建立時間序列數(shù)據(jù)間的非線性關(guān)系時的結(jié)果。RNN網(wǎng)絡(luò)在訓(xùn)練過程中，隨著遞歸層數(shù)的增加和計算梯度下降容易出現(xiàn)梯度爆炸和梯度消失的問題，只能處理短期依賴問題，而LSTM模型從神經(jīng)單元的結(jié)構(gòu)出發(fā)大大優(yōu)化了上述問題，說明了LSTM在解決長期依賴問題方面明顯優(yōu)于RNN模型。張明岳等[5]RNN與LSTM方法用于滑坡位移動態(tài)預(yù)測的研究中指出LSTM算法結(jié)構(gòu)更為復(fù)雜，精度更高，誤差控制范圍更小，兩者訓(xùn)練時間LSTM明顯多于RNN，說明LSTM在大量數(shù)據(jù)參與訓(xùn)練的情況下，訓(xùn)練及預(yù)測結(jié)果更為可靠。

本文提出運(yùn)用LSTM長短期記憶神經(jīng)網(wǎng)絡(luò)訓(xùn)練構(gòu)建一套預(yù)測模型用于測試發(fā)動機(jī)電氣附件性能。在發(fā)動機(jī)電氣附件龐大數(shù)據(jù)輸入的前提下，該預(yù)測模型利用LSTM對數(shù)據(jù)進(jìn)行記憶訓(xùn)練可大幅提高數(shù)據(jù)預(yù)測精準(zhǔn)度，有效緩減了一般RNN循環(huán)網(wǎng)絡(luò)的梯度爆炸和梯度消失問題。本次實(shí)驗會將所得數(shù)據(jù)預(yù)測值與實(shí)際值作對比檢驗其預(yù)測精準(zhǔn)度。

1 LSTM基本工作原理

LSTM是RNN-循環(huán)神經(jīng)網(wǎng)絡(luò)的一種演化形式，RNN（Recurrent Neural Network）[6]網(wǎng)絡(luò)一般包含輸入層，隱藏層和輸出層，但是由于其在處理數(shù)據(jù)量較大的分析與預(yù)測時，可能會遺漏開頭部分重要數(shù)據(jù)信息[7]使預(yù)測結(jié)果不準(zhǔn)確，并且存在梯度爆炸和梯度消失的問題，導(dǎo)致其不具備良好的長期學(xué)習(xí)能力。當(dāng)訓(xùn)練RNN模型時需要預(yù)先確定延遲窗口長度，然而實(shí)際應(yīng)用中很難獲取這一參數(shù)的最優(yōu)值。1977年，霍克賴特首次提出了長短期記憶網(wǎng)絡(luò)單元利用LSTM中的記憶細(xì)胞代替了一般網(wǎng)絡(luò)中的隱藏層結(jié)構(gòu)有效緩解了RNN網(wǎng)絡(luò)的上述問題。一般的循環(huán)神經(jīng)網(wǎng)絡(luò)對于序列輸入都是所有前序輸入與當(dāng)前輸入的堆疊，但是RNN網(wǎng)絡(luò)對所有前序輸入沒有選擇性。而實(shí)際情況下，當(dāng)前輸入所決定的輸出值可能只與（LSTM）模型前序輸入中的某個值有關(guān)，而與其他值無關(guān)，或者相關(guān)性很小。為此LSTM通過對記憶單元的門處理，用更行門（Γu）遺忘門（Γf）以及輸出門（Γo）來限制記憶細(xì)胞單元的值，從而來表示序列輸入的相關(guān)性。相關(guān)公式如下：

式中，W[a，x]是簡化表達(dá)，表示相關(guān)a，x參數(shù)堆疊后與相應(yīng)權(quán)重參數(shù)相乘，c~＜t＞是來自上一層的記憶信息，Wu.f.o是相關(guān)參數(shù)的參數(shù)矩陣，Γu，f.o是用sigmoid函數(shù)得到的門值，bu.o.f是偏置參數(shù)，x＜t＞是當(dāng)前輸入的序列值，c＜t＞是當(dāng)前輸出的記憶信息，a＜t＞為當(dāng)前序列輸入產(chǎn)生的激活值，被用于下一次輸入。不同于傳統(tǒng)RNN，它是門輸出值與記憶細(xì)胞的激活值相乘的結(jié)果。如圖1所示。

圖1 LSTM網(wǎng)絡(luò)單元結(jié)構(gòu)

當(dāng)多個序列輸入時，就是圖1 LSTM單元相連的邏輯表示，如圖2所示。

圖2 LSTM網(wǎng)絡(luò)單元相連結(jié)構(gòu)

2 預(yù)測模型的設(shè)計與構(gòu)建

2.1 設(shè)計思路

由于飛機(jī)在飛行過程中各部分的運(yùn)行是具有一定關(guān)聯(lián)性的，例如：飛行速度、空速、風(fēng)速、飛行高度的變化等與發(fā)動機(jī)各部分運(yùn)行具有一定關(guān)聯(lián)，利用數(shù)據(jù)之間的關(guān)聯(lián)性將使得算法在學(xué)習(xí)過程中更好地提取到數(shù)據(jù)特征，從而在很大程度上提高預(yù)測的精度，所以在本項目中主要體現(xiàn)為使用風(fēng)速、飛行高度、發(fā)動機(jī)轉(zhuǎn)速，飛行速度等數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，對發(fā)動機(jī)增壓比（EPR）進(jìn)行預(yù)測。具體設(shè)計思路為：使用某型飛機(jī)發(fā)動機(jī)從啟動到停車過程中各項數(shù)據(jù)的記錄以及發(fā)動機(jī)之外的其他數(shù)據(jù)的記錄作為訓(xùn)練數(shù)據(jù)導(dǎo)入LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。包括飛行速度、發(fā)動機(jī)轉(zhuǎn)速、空速等共計23項數(shù)據(jù)，完成訓(xùn)練后，對發(fā)動機(jī)增壓比（EPR）等多項發(fā)動機(jī)指標(biāo)進(jìn)行預(yù)測，最后將預(yù)測值與實(shí)際值對比以檢驗該模型的準(zhǔn)確性并對該模型做出評價。

2.2 數(shù)據(jù)的選取及預(yù)處理

現(xiàn)有主流機(jī)型均對飛機(jī)在飛行過程中各部分的運(yùn)行有著詳細(xì)且真實(shí)的記錄，本項目將以某型飛機(jī)在一段航線共計203 min飛行中各個傳感器所記錄的數(shù)據(jù)（每秒記錄一次）為實(shí)驗數(shù)據(jù)。實(shí)驗數(shù)據(jù)為時間序列，選取其中有關(guān)聯(lián)的23列輸入訓(xùn)練網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí)，每個時間序列即每個指標(biāo)選取其中5 900個數(shù)據(jù)，23項共計135 700個數(shù)據(jù)。將其中某個單一序列的85%作為訓(xùn)練數(shù)據(jù)與其余22項數(shù)據(jù)一同作為訓(xùn)練數(shù)據(jù)導(dǎo)入LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，剩余15%作為測試數(shù)據(jù)參與預(yù)測，本文選取發(fā)動機(jī)增壓比為預(yù)測對象進(jìn)行數(shù)據(jù)預(yù)處理。

（1）數(shù)據(jù)歸一化

為獲得較好的擬合并防止訓(xùn)練過程發(fā)散，將訓(xùn)練數(shù)據(jù)標(biāo)準(zhǔn)化為零均值和單位方差，公式如下：

（2）反歸一化

預(yù)測結(jié)束后，需根據(jù)先前的參數(shù)對預(yù)測值數(shù)據(jù)進(jìn)行去標(biāo)準(zhǔn)化，公式如下：

式中，yk為歸一化（反歸一化）后的數(shù)據(jù)，ymean為數(shù)據(jù)均值，ystd為數(shù)據(jù)單位方差。

2.3 構(gòu)建模型架構(gòu)

本文所提出模型核心思想為多序列輸入訓(xùn)練，單序列輸出預(yù)測，通過這種方法可以在省去訓(xùn)練之前數(shù)據(jù)特征提取的同時完成訓(xùn)練與預(yù)測。該模型共有6層，分別為：輸入層、LSTM層、全連接層1、丟棄層、全連接層2、回歸輸出層，具體模型如圖3所示。

圖3 模型流程圖

關(guān)于模型中每層的解釋如下：

（1）輸入層

讀取數(shù)據(jù)集中23個時間序列的數(shù)據(jù)并進(jìn)行歸一化預(yù)處理。

（2）LSTM層

該層的作用為學(xué)習(xí)導(dǎo)入各序列數(shù)據(jù)中各時間步長之間的長期相關(guān)性。

（3）全連接層1

綜合LSTM層所學(xué)習(xí)的結(jié)果進(jìn)行特征輸入丟棄層。

（4）丟棄層

通過設(shè)置合適的丟棄率解決過擬合問題。

（5）全連接層2

綜合丟棄層的數(shù)據(jù)特征輸入回歸輸出層。

（6）回歸輸出層

對預(yù)測結(jié)果進(jìn)行輸出。

2.4 網(wǎng)絡(luò)參數(shù)設(shè)置

飛機(jī)發(fā)動機(jī)電氣附件的變化是由多方面因素影響的復(fù)雜非線性過程，故定義LSTM網(wǎng)絡(luò)的初始化狀態(tài)對整個訓(xùn)練過程有至關(guān)重要的作用。首先，設(shè)置網(wǎng)絡(luò)的初始參數(shù)：網(wǎng)絡(luò)中隱藏單元個數(shù)影響著訓(xùn)練效果，需要通過設(shè)置合適的隱藏單元數(shù)來降低誤差，根據(jù)數(shù)據(jù)的特性與復(fù)雜程度利用轉(zhuǎn)換函數(shù)將LSTM層的隱藏單元數(shù)定義為200，同時隱藏單元數(shù)還需要小于N-1（N為訓(xùn)練數(shù)據(jù)樣本個數(shù)）；后續(xù)為一大小為50的全連接層和丟棄概率為0.1的丟棄層；將學(xué)習(xí)率定義為0.001，每經(jīng)過1 000步長，學(xué)習(xí)率衰減0.1；閾值為1以防止梯度爆炸。然后在以上參數(shù)的基礎(chǔ)上定義大小為25的小批量進(jìn)行400輪訓(xùn)練。

3 發(fā)動機(jī)增壓比（EPR）預(yù)測

3.1 網(wǎng)絡(luò)評價指標(biāo)

本文研究目的是對航空發(fā)動機(jī)的各項運(yùn)行指標(biāo)進(jìn)行預(yù)測，著重對發(fā)動機(jī)增壓比預(yù)測。本文將以均方根誤差（RMSE）和平均相對誤差（MAPE）作為網(wǎng)絡(luò)的評價指標(biāo)進(jìn)一步驗證模型的精確程度，RESE和MAPE二者數(shù)值越小則表明預(yù)測值越準(zhǔn)確，模型性能越優(yōu)越。

具體公式如下：

式中，n為樣本數(shù)據(jù)個數(shù)，yi為數(shù)據(jù)實(shí)際值，為預(yù)測值。

3.2 預(yù)測結(jié)果分析

發(fā)動機(jī)增壓比（engine pressure ratio）是指渦扇發(fā)動機(jī)中壓氣機(jī)出氣口與進(jìn)氣口的總壓之比，公式如下：

其關(guān)乎到飛機(jī)發(fā)動機(jī)的運(yùn)行狀態(tài)以及燃油消耗效率。本次預(yù)測使用的是實(shí)采于某型航空發(fā)動機(jī)的發(fā)動機(jī)實(shí)際運(yùn)行中增壓比數(shù)據(jù)記錄，為一時間序列。平穩(wěn)飛行階段實(shí)測與預(yù)測值的對比曲線圖如圖4所示。

圖4 平穩(wěn)飛行階段預(yù)測值與實(shí)際值曲線圖

可見使用LSTM所預(yù)測的結(jié)果與實(shí)際值基本符合，也驗證了該網(wǎng)絡(luò)用于時間序列預(yù)測的優(yōu)越性以及在本項目中的高度適用性。上述預(yù)測的數(shù)據(jù)選取自飛機(jī)進(jìn)入巡航高度后的較平穩(wěn)飛行階段，為進(jìn)一步驗證該網(wǎng)絡(luò)的普適性以及準(zhǔn)確性，再選取飛機(jī)起飛階段的部分?jǐn)?shù)據(jù)進(jìn)行預(yù)測。起飛階段的預(yù)測值與實(shí)際值對比曲線圖如圖5所示。

圖5 起飛階段預(yù)測值與實(shí)際值曲線圖

觀察圖5所繪曲線可知該模型對于變化較為復(fù)雜的情況，雖然在部分時間點(diǎn)有數(shù)據(jù)預(yù)測偏差，但仍然在數(shù)據(jù)改變時刻能夠預(yù)測其變化趨勢及其走向，也具有較好的攀附性。

由表1可知，對飛機(jī)不同飛行階段的預(yù)測具有很高的準(zhǔn)確度。0～0.5 h的均方根誤差為0.522 0，0.5～1 h的均方根誤差為1.121 7，1～1.5 h均方根誤差為1.426 5，由此可見該模型對于數(shù)據(jù)的預(yù)測雖有一定誤差但仍具有較高的準(zhǔn)確性。MAPE平均相對誤差在3個時間段內(nèi)均小于0.1，且隨時間的變化逐漸減小，0.5～1 h與1～1.5 h兩個時間段內(nèi)均小于0.01，以MAPE為評價標(biāo)準(zhǔn)時，此模型具有相當(dāng)高的預(yù)測精準(zhǔn)度。

表1 不同飛行階段的RMSE與MAPE值

同機(jī)型飛機(jī)在其他航線飛行數(shù)據(jù)預(yù)測對比，如圖6所示，此部分?jǐn)?shù)據(jù)選取自起飛一段時間后。去除起飛時部分奇異值后，此模型對于短序列有部分預(yù)測偏差，但是起飛一定時間后，預(yù)測性非常準(zhǔn)確，這說明此網(wǎng)絡(luò)的魯棒性和穩(wěn)健性很好。綜合來看，網(wǎng)絡(luò)對數(shù)據(jù)依賴性較大，同時對長期序列數(shù)據(jù)具有較大依賴性，對于其他不同于此環(huán)境的飛行情況、飛行高度、氣流、天氣因素等等預(yù)測都會有一定影響，此網(wǎng)絡(luò)預(yù)測準(zhǔn)度也必然會略有下降，同時對于某些情況值會出現(xiàn)準(zhǔn)確度丟失，但對于一般飛行參數(shù)，此網(wǎng)絡(luò)仍然有參考意義。

圖6 其他航線預(yù)測對比

4 結(jié)束語

基于LSTM的航空發(fā)動機(jī)靜態(tài)預(yù)測模型的設(shè)計，克服了航空發(fā)動機(jī)維修過程中電器附件性能難以檢測，使用人工分立測試效率低，時間長等實(shí)際存在問題。該系統(tǒng)運(yùn)用了LSTM（長短期神經(jīng)網(wǎng)絡(luò)）作為訓(xùn)練模型，解決了一般RNN網(wǎng)絡(luò)無法長期學(xué)習(xí)和儲存記憶的問題，其不僅開發(fā)周期短，設(shè)計成本低，還可快速集成測試和進(jìn)行性能預(yù)測，及時監(jiān)測到電氣附件的性能衰減情況，方便為進(jìn)一步的航空發(fā)動機(jī)維修提供指導(dǎo)策略，大大縮短了測試及預(yù)測時間，確保了所得數(shù)據(jù)的準(zhǔn)確性與可靠性，解決了傳統(tǒng)測試方法所存在的誤差比較大等問題。