基于改進PSO-LSTM的APU排氣溫度預(yù)測研究

王 坤，侯樹賢

(中國民航大學(xué)電子信息與自動化學(xué)院，天津 300300)

1 引言

輔助動力裝置( Auxiliary Power Unit，APU) 是一個小型渦輪發(fā)動機，是民航飛機必不可少的關(guān)鍵裝置，主要為飛機主發(fā)動機起動提供功率，為飛機提供電、液壓、氣等能源，被稱為飛機的第二動力[1]。當飛機在飛行過程中遇到發(fā)動機故障時，APU可以為飛機提供緊急動力。隨著飛機需求的增加、航空技術(shù)水平的發(fā)展，APU的功能日趨多元化，從短時工作的單一起動能源，演變成為可長時間工作的能輸出多種能源的動力裝置[2]。排氣溫度(Exhaust Gas Temperature， EGT)是反映APU健康狀況的關(guān)鍵指標，是一個時變的時間序列數(shù)據(jù)，在產(chǎn)生過程中容易受到環(huán)境因素的影響。因此，對該時間序列進行預(yù)測具有一定的難度和現(xiàn)實意義。

目前常用的參數(shù)預(yù)測方法有支持向量機[3][4]、傳統(tǒng)神經(jīng)網(wǎng)絡(luò)[5]、灰色模型[6]、相關(guān)向量機[7]等。但是，它們在處理時間序列上難以充分利用其中的時序特征，致使參數(shù)預(yù)測出現(xiàn)精度低問題。文獻[8]利用長短期記憶(Long-Short Memory， LSTM)網(wǎng)絡(luò)構(gòu)建EGT預(yù)測模型，存在人為確定網(wǎng)絡(luò)參數(shù)導(dǎo)致的預(yù)測精度低問題。文獻[9]通過遺傳算法(Genetic Algorithm， GA)優(yōu)化支持向量機的參數(shù)進行尋優(yōu)，得到支持相向量機的最優(yōu)參數(shù)組合，建立預(yù)測模型。但該方法中存在GA收斂速度較慢，基因交叉變異產(chǎn)生的差異性較大的問題。文獻[10]采用粒子群(Particle Swarm Optimization， PSO)算法優(yōu)化反向傳播(Back Propagation， BP)神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值，提高了BP神經(jīng)網(wǎng)絡(luò)的泛化和容錯能力，但PSO算法存在容易陷入局部極值和搜索精度不夠高的不足。僅單一調(diào)節(jié)學(xué)習(xí)因子或慣性權(quán)重，并未考慮慣性權(quán)重與學(xué)習(xí)因子之間的配合作用，則不能建立粒子的局部搜索能力與全局搜索能力的動態(tài)平衡[11]。本文綜合考慮算法的局部搜索能力、搜索精度和人工確定的網(wǎng)絡(luò)參數(shù)的問題，提出利用動態(tài)變化的慣性權(quán)重和學(xué)習(xí)因子來提高標準PSO算法的參數(shù)尋優(yōu)能力，采用標準測試函數(shù)進行測試，進而將改進PSO算法與深度神經(jīng)網(wǎng)絡(luò)LSTM結(jié)合對EGT進行預(yù)測。為驗證其預(yù)測性能，與多種預(yù)測模型進行比較，結(jié)果表明改進PSO-LSTM模型預(yù)測效果更好，可以更準確地跟蹤EGT的變化趨勢。

2 LSTM神經(jīng)網(wǎng)絡(luò)

在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型中，不同網(wǎng)絡(luò)層之間存在完全的連接，但各層節(jié)點之間不存在相互連接。因此，這種神經(jīng)網(wǎng)絡(luò)很難求解時間序列問題。對于時序數(shù)據(jù)的分析，某步的輸出不僅依賴于當前的輸入，還依賴于之前的輸入或輸出[12]。RNN會記住先前的信息并將其應(yīng)用于當前輸出的計算，即隱藏層之間的節(jié)點不再斷開而是連接，并且隱藏層的輸入不僅來自輸入層，也來自先前的隱藏層的輸出。

LSTM引入了門機制來防止反向傳播的梯度消失或爆炸，被證明比傳統(tǒng)的RNNs[13]更加有效和強大。與RNN的簡單層相比，LSTM有四層，它們以特殊的方式進行交互連接。

圖1 LSTM網(wǎng)絡(luò)單元結(jié)構(gòu)

第一個交互層稱為遺忘門層，它解決了上一步中哪些信息可以通過單元狀態(tài)。第二個交互層稱為輸入門層，它決定應(yīng)該在單元狀態(tài)中存儲哪些新信息，其輸出決定了在第三個交互層中將保留和更新哪些信息。第三個交互層是tanh層，它創(chuàng)建一個向量作為備選更新信息，可以將其添加到單元狀態(tài)。第四層是輸出門層，它根據(jù)更新的單元狀態(tài)決定要輸出的信息。

ft=σ(Wf(ht-1，xt)+bf)

(1)

it=σ(Wi(ht-1，xt)+bi)

(2)

(4)

ot=(Wo(ht-1，xt)+bo)

(5)

ht=ot*tanh(Ct)

(6)

其中，ft、it、Ct、ot、ht分別表示遺忘門狀態(tài)、輸入門狀態(tài)、單元狀態(tài)、輸出門狀態(tài)、隱藏層的輸出向量；Wf、Wi、WC、Wo為權(quán)值矩陣；bf、bi、bC、bo為偏置項；σ為sigmoid激活函數(shù)。

3 改進PSO算法

3.1 PSO理論

PSO算法是一種源于對鳥群捕食行為研究的進化計算技術(shù)，通過群體中個體之間的協(xié)作和信息共享來尋找最優(yōu)解，優(yōu)勢在于簡單、容易實現(xiàn)并且沒有許多參數(shù)的調(diào)節(jié)[14]。本文提出一種改進的PSO算法，并利用其對LSTM網(wǎng)絡(luò)參數(shù)進行尋優(yōu)。

PSO算法首先初始化粒子的狀態(tài)，并獲得一組隨機解。在空間運動過程中，粒子通過跟蹤個體極值(Pi)和全局極值(Pg)來連續(xù)更新其狀態(tài)。假設(shè)在一個d維目標搜索空間中，有n個粒子構(gòu)成的一個群體。Xi=[xi1，xi2，…，xid]T表示第i粒子在d維搜索空間的位置，xid被限制在[-xmax，xmax]之間。Vi=[vi1，vi2，…，vid]T表示第i個粒子的速度，vid屬于[-vmax，vmax]。Pi=[Pi1，Pi2，…，Pid]T表示第i個粒子從其歷史運動得到的最佳適應(yīng)度值的位置，Pg=[Pi1，Pi2，…，Pid]T表示全局歷史運動中所有粒子的最佳適應(yīng)度值的位置?；綪SO算法的第i個粒子的速度和位置的更新公式為

(8)

標準PSO算法在基本PSO算法的基礎(chǔ)上，引入了一個慣性權(quán)重變量，其速度和位置更新公式如下

(9)

ω=ωmax-(ωmax-ωmin)*t/tmax

(10)

(11)

其中，ω是慣性權(quán)重，主導(dǎo)之前的速度對新速度的影響。r1和r2是介于0到1之間的隨機數(shù)。c1和c2是大于零的常數(shù)，稱做學(xué)習(xí)因子。粒子在迭代過程中通過式(9)和式(11)不斷更新自身速度和位置，直到滿足最大迭代次數(shù)或所要求的精度。

3.2 動態(tài)變化慣性權(quán)重的構(gòu)造策略

慣性權(quán)重作為標準PSO算法中的一個重要參數(shù)，自引入以來，一直受到學(xué)者們的關(guān)注。研究發(fā)現(xiàn)，慣性權(quán)重的大小決定了當前粒子的遺傳程度。為了快速找到粒子的最優(yōu)位置，增強算法的性能，必須合理選擇慣性權(quán)重。

為方便推導(dǎo)，令β1=c1r1，β2=c2r2，然后第i個粒子的運動狀態(tài)方程如下

vi(n+1)=ωvi(n)+β1(pi-xi(n))+β2(pg-xi(n))

(12)

xi(n+1)=xi(n)+vi(n+1)

(13)

由式(12)和式(13)可得

vi(n+2)=ωvi(n+1)-

(β1+β2)(xi(n)+vi(n+1))+β1pi+β2pg

(14)

從文獻[15]可以知道

-(β1+β2)xi(n)=vi(n+1)-ωvi(n)-β1pi-β2pg

(15)

將上式代入式(14)可得

vi(n+2)+(β1+β2-ω-1)vi(n+1)+ωvi(n)=0

(16)

由式(16)可知，粒子的速度軌跡是一個二階差分方程，它的特征方程如下

λ2+(β1+β2-ω-1)λ+ω=0

(17)

xi(n+2)=(1+ω-β1-β2)xi(n+1)-

ωxi(n)+β1pi+β2pg

(18)

可見，粒子位置軌跡也是一個二階差分方程。式(16)的解的一般形式如下

(19)

其中，λ1和λ2特征方程的解；C1和C2是任意常數(shù)。通過式(19)可知，粒子速度越大，粒子的運動軌跡越不穩(wěn)定，從而使得整個種群發(fā)散。因此，粒子搜索過程的穩(wěn)定性影響整個種群的行為。對式(16)進行Z變換可得

(20)

因為β1和β2是兩個常數(shù)，那么式(20)可以被視為一個線性定常離散系統(tǒng)，其特征方程如下

D(z)=z2+z(β1+β2-ω-1)+ω=0

(21)

當離散特征方程的所有特征值都分布在Z平面的單位圓內(nèi)，才能得到穩(wěn)定的線性定常離散系統(tǒng)。

由朱利穩(wěn)定性判據(jù)可知，式(22)為粒子速度變化的穩(wěn)定條件。

(22)

因為β1和β2是正實數(shù)，在不考慮隨機分量的作用下，個體最優(yōu)值和全局最優(yōu)值為常數(shù)情況下，當條件滿足時，單個粒子的速度將趨近于0。

同樣分析粒子位置變化的過程，得到粒子位置變化過程穩(wěn)定的條件。

(23)

為了提高PSO算法的搜索能力，慣性權(quán)重在算法開始時應(yīng)該較大，然后逐漸減小。傳統(tǒng)的線性遞減策略對PSO算法有明顯的改進，但不能完全適應(yīng)復(fù)雜的非線性情況。在此基礎(chǔ)上，提出了滿足式(22)和式(23)的慣性權(quán)重動態(tài)變化的改進PSO算法。

ω=ωmax-(ωmax-ωmin)*sin(t/tmax)*3.7335/π

(24)

其中，ωmax和ωmin分別為最大與最小慣性權(quán)重；tmax是最大迭代次數(shù)；系數(shù)3.7335/π確保慣性權(quán)重值分布于[0.4，0.9]之間。

(25)

3.3 動態(tài)變化學(xué)習(xí)因子構(gòu)造策略

學(xué)習(xí)因子c1和c2分別表示個體和群體在最佳飛行方向上調(diào)整粒子的最大步長，確定粒子個體經(jīng)驗和群體經(jīng)驗對粒子自身運動軌跡的影響，并反映個體和群體之間的信息交流。用變化的學(xué)習(xí)因子可以有效控制粒子的收斂速度，對于復(fù)雜的非線性系統(tǒng)也具有很好的搜索效果[16]。

當c1=0時，下一代粒子飛行方向僅受社會學(xué)習(xí)能力的影響，這使得所有粒子在短時間內(nèi)具有一致性，消除了每個粒子自我學(xué)習(xí)能力的影響。當c2=0時，粒子間的社會聯(lián)系被切斷無法進行合作。

根據(jù)粒子速度、位置變化穩(wěn)定條件和慣性權(quán)重值的分布，消除隨機數(shù)r1和r2的影響可得

0

(26)

進而提出滿足式(26)學(xué)習(xí)因子動態(tài)調(diào)節(jié)公式如下

(27)

c2=2.8-c1

(28)

其中，cmax和cmin分別為最大和最小學(xué)習(xí)因子。

在初始搜索階段，c1取值較大，而c2取值較小，這使粒子側(cè)重于自我學(xué)習(xí)。隨著迭代次數(shù)的增加，c1取值減小，而c2取值增大，從而增加了粒子社會學(xué)習(xí)的比重。

4 改進PSO-LSTM預(yù)測模型

4.1 APU數(shù)據(jù)描述

本文使用可表征APU性能的EGT參數(shù)作為模型輸出，驗證優(yōu)化后的LSTM模型的預(yù)測性能。這些數(shù)據(jù)在APU啟動時被記錄，并在飛機雙發(fā)啟動完成時結(jié)束。在此期間，APU的輸出功率最高且相對穩(wěn)定。

由于影響EGT因素很多，一些參數(shù)之間存在相互作用，在實際應(yīng)用過程中往往需要選擇相關(guān)參數(shù)，以減少計算量，盡可能保留信息。使用JMP數(shù)據(jù)處理軟件進行相關(guān)性分析。變量間的相關(guān)性強度由相關(guān)性系數(shù)絕對值的取值范圍來判斷，如表1所示。預(yù)測模型輸入?yún)?shù)相關(guān)性分析后的結(jié)果如表2所示。

表1 相關(guān)系數(shù)強度

表2 輸入?yún)?shù)相關(guān)性分析結(jié)果

根據(jù)表1和表2分析結(jié)果，可以剔除PT、OT兩個個輸入?yún)?shù)，將WB、GL、NA作為改進PSO-LSTM預(yù)測模型的輸入?yún)?shù)，EGT作為輸出參數(shù)。

為了避免較大值的變化會覆蓋較小值的變化情況，需要將輸入數(shù)據(jù)限制為相似的數(shù)量級，以避免由于量綱差異而影響EGT預(yù)測的效果。采用min-max標準化(離差標準化)方法進行歸一化，計算公式定義如下

(29)

其中，xi為初始的參數(shù)值；yi為經(jīng)過標準化后的值。

EGT數(shù)據(jù)作為一個時間序列，受多種因素影響，具有復(fù)雜的不穩(wěn)定性和非線性。為了更準確的預(yù)測EGT，基于LSTM網(wǎng)絡(luò)建立EGT的預(yù)測模型，該模型在時間序列預(yù)測方面表現(xiàn)良好。由于LSTM網(wǎng)絡(luò)參數(shù)的選擇對EGT預(yù)測的準確性有很大的影響，因此有必要合理選擇這些參數(shù)。本文將改進PSO算法與LSTM網(wǎng)絡(luò)進行組合，建立了基于改進PSO-LSTM網(wǎng)絡(luò)的EGT預(yù)測模型。

針對EGT時間序列有限樣本點的數(shù)據(jù)特征，本文構(gòu)建的改進PSO-LSTM預(yù)測模型如圖2所示，該模型由兩部分構(gòu)成，分別是改進PSO算法優(yōu)化LSTM網(wǎng)絡(luò)參數(shù)部分和LSTM預(yù)測部分。首先，把LSTM網(wǎng)絡(luò)中批處理大小和隱藏層神經(jīng)元數(shù)量參數(shù)列為改進PSO算法的優(yōu)化對象，它們映射到算法的粒子，每個粒子的位置向量的元素Xi都是LSTM網(wǎng)絡(luò)的待優(yōu)化參數(shù)，設(shè)定待優(yōu)化參數(shù)取值范圍，隨機生成一組具有位置和速度的粒子。其次，根據(jù)粒子位置對應(yīng)的參數(shù)值建立LSTM預(yù)測模型，使用訓(xùn)練集對模型進行訓(xùn)練，將訓(xùn)練輸出的網(wǎng)絡(luò)參數(shù)最優(yōu)值賦給LSTM預(yù)測模型。最后，將剩下的測試集輸入到訓(xùn)練完成的模型中進行預(yù)測，執(zhí)行反歸一化程序輸出預(yù)測結(jié)果。因為數(shù)據(jù)集之前已經(jīng)過標準化，所以需要通過反標準化來處理獲取的預(yù)測值。

圖2 基于改進PSO-LSTM網(wǎng)絡(luò)的EGT預(yù)測模型

4.2 改進PSO-LSTM預(yù)測模型的算法流程

Step1：對預(yù)測模型輸入和輸出數(shù)據(jù)進行歸一化操作，將模型使用的數(shù)據(jù)按照一定比例劃分為訓(xùn)練集和測試集，同時設(shè)置待優(yōu)化參數(shù)取值范圍，初始化PSO算法的種群數(shù)量和迭代次數(shù)等相關(guān)參數(shù)。

Step2：確定粒子的適應(yīng)度函數(shù)。將LSTM網(wǎng)絡(luò)參數(shù)賦給Step1中獲得的粒子。把劃分后的訓(xùn)練集輸入到模型中進行訓(xùn)練，待模型達到預(yù)設(shè)的最大迭代次數(shù)后，得到模型訓(xùn)練的輸出值。粒子Xi的適應(yīng)度函數(shù)為

(30)

Step3：計算每個粒子的適應(yīng)度值。通過全局探索和局部開發(fā)之間的迭代操作，每個粒子可以更新和調(diào)整自己的搜索方向。根據(jù)粒子的初始適應(yīng)度值確定個體極值和全局極值的位置，并將每個粒子的最佳位置用作歷史最佳位置，并使用式(9)和(11)迭代更新粒子的速度和位置。計算相應(yīng)的粒子適應(yīng)度值，并比較局部和全局最優(yōu)解，以最大程度地提高預(yù)測精度。

Step4：判斷終止條件。如果搜索結(jié)果滿足算法終止條件，則停止迭代并輸出LSTM參數(shù)最優(yōu)值。否則，返回到Step3。

Step5：利用改進PSO算法尋找到的參數(shù)最優(yōu)值建立LSTM預(yù)測模型，導(dǎo)入EGT測試集進行預(yù)測，輸出預(yù)測結(jié)果，并評估預(yù)測模型。

5 EGT預(yù)測結(jié)果與分析

利用改進PSO-LSTM預(yù)測模型對某型APU共計120組數(shù)據(jù)進行實驗。其中，第1-90組作為LSTM神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本，第91-120組作為LSTM網(wǎng)絡(luò)的測試樣本，用于驗證模型預(yù)測的有效性，數(shù)據(jù)劃分比例為3：1，數(shù)據(jù)采樣間隔為1s。

使用模型進行分析時，模型參數(shù)的選擇也是一個重要方面。在LSTM預(yù)測模型中設(shè)定輸入層和輸出層神經(jīng)元數(shù)量分別為3和1，訓(xùn)練次數(shù)為100，時間窗口大小為3。相關(guān)參數(shù)的取值范圍設(shè)置為：批處理大小為[1， 60]；隱藏層神經(jīng)元數(shù)量取值為[4， 80]。改進PSO算法的種群數(shù)量和迭代次數(shù)分別設(shè)置為20， 100。cmax和cmin分別設(shè)置為2和1.5。粒子速度限制在-5到5之間。使用非線性函數(shù)Griewank函數(shù)進行極值尋優(yōu)，比較了三種不同PSO算法的適應(yīng)度值，如圖3所示。

圖3 不同PSO算法的適應(yīng)度曲線

從圖3可以看出，當模型迭代達到約40步時，基本PSO和標準PSO算法的適應(yīng)度值基本穩(wěn)定在0.1，即近似局部值落在局部最優(yōu)值中。此時，改進PSO算法的適應(yīng)度值的繼續(xù)減小，并且適應(yīng)度值最終基本穩(wěn)定在0.05，表明改進PSO算法收斂速度更快，可以更快地跳出局部最優(yōu)值。

一旦確定了預(yù)測模型的結(jié)構(gòu)，為了訓(xùn)練模型，還需要確定其它相關(guān)參數(shù)，如激活函數(shù)、優(yōu)化算法等。所提預(yù)測模型的激活函數(shù)選用ReLU函數(shù)，因為它計算量小，更容易學(xué)習(xí)優(yōu)化，能夠緩解過擬合問題，定義為

f(x)=max(0，x)

(31)

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的優(yōu)化算法是隨機梯度下降法(Stochastic Gradient Descent， SGD)，該方法容易收斂于全局最優(yōu)解附近，需要許多超參數(shù)，對于特征歸一化敏感。本文使用AdaDelta優(yōu)化算法，它用指數(shù)加權(quán)移動平均的項代替學(xué)習(xí)率超參數(shù)。AdaDelta算法能夠簡化梯度下降時的計算量，可以解決普通的SGD方法中學(xué)習(xí)率一直不變的問題。

為了驗證提出的改進PSO-LSTM模型的預(yù)測性能，采用平均絕對誤差(MAE)、平均絕對百分比誤差(MAPE)和均方根誤差(RMSE)作為評估指標，以分析模型的預(yù)測效果。

(34)

其中，xi、xo分別為測試集的真實值和預(yù)測值；N為測試集中樣本的數(shù)量。

RMSE可以說明模型的穩(wěn)定性。MAE和MAPE可以說明模型的準確性。其中，較小的值意味著更好的性能。

改進PSO算法優(yōu)化LSTM預(yù)測模型的最優(yōu)參數(shù)如下：批處理大小為32；隱藏層單元數(shù)量為64。它們被代入LSTM網(wǎng)絡(luò)模型，利用改進PSO-LSTM模型對測試集進行預(yù)測。實際EGT曲線與其它模型預(yù)測EGT曲線如圖4所示。

圖4 不同模型的EGT預(yù)測結(jié)果

從圖4可以看出，LSTM模型在EGT拐點處的預(yù)測結(jié)果較差，對EGT上升或下降趨勢的預(yù)測存在一定的滯后性。RNN模型對EGT的預(yù)測效果最差，預(yù)測值與真實值之間有明顯的差異。改進PSO-LSTM模型的預(yù)測曲線能很好的跟隨EGT趨勢變化，更接近EGT的真實值曲線，擬合效果優(yōu)于其它預(yù)測模型，特別是在EGT波動較大的情況下。

為了進一步驗證模型的預(yù)測性能，各預(yù)測模型的評價指標計算結(jié)果如表3所示。

表3 不同模型的EGT誤差值

在三種不同的指標下，改進PSO-LSTM模型的預(yù)測誤差最小。與RNN和LSTM預(yù)測模型相比，基本PSO-LSTM預(yù)測模型的MAPE分別減少了51.7%、12.4%，標準PSO-LSTM預(yù)測模型的MAPE分別降低了69%、43.7%，說明LSTM神經(jīng)網(wǎng)絡(luò)在時間序列預(yù)測方面的優(yōu)越性和對LSTM網(wǎng)絡(luò)進行參數(shù)優(yōu)化的必要性。特別是改進PSO-LSTM模型的MAPE比基本PSO-LSTM模型低49.3%，比標準PSO-LSTM模型低21.4%，模型的預(yù)測效果明顯提高，表明改進PSO算法在參數(shù)尋優(yōu)方面的的優(yōu)勢。

6 結(jié)論

針對EGT預(yù)測精度不能滿足APU健康管理日益增長的需求問題，提出了一種改進PSO算法優(yōu)化LSTM網(wǎng)絡(luò)的預(yù)測方法。通過分析APU的數(shù)據(jù)，對其關(guān)鍵參數(shù)EGT進行預(yù)測。對比仿真結(jié)果表明：

1) 改進PSO算法優(yōu)化LSTM模型的預(yù)測方法具有更高的預(yù)測精度，有效減少了預(yù)測誤差，驗證LSTM模型應(yīng)用于APU的EGT預(yù)測研究是可行的，拓展了深度神經(jīng)網(wǎng)絡(luò)的應(yīng)用范圍。

2) 通過在PSO算法中加入非線性變化權(quán)重和動態(tài)變化學(xué)習(xí)因子的調(diào)節(jié)函數(shù)，可達到局部搜索能力和收斂速度間的平衡。

3) 將PSO智能尋優(yōu)算法與神經(jīng)網(wǎng)絡(luò)相結(jié)合，利用改進PSO算法對LSTM網(wǎng)絡(luò)的多個參數(shù)進行優(yōu)化，克服了LSTM網(wǎng)絡(luò)人工確定參數(shù)的不足，使其對EGT有更好的預(yù)測效果，可為APU性能參數(shù)預(yù)測模型的建立提供理論依據(jù)。