基于改進LSTM模型的航空安全預測方法研究

曾 航, 張紅梅, 任 博,2,*, 崔利杰, 武江南

(1. 空軍工程大學裝備管理與無人機工程學院, 陜西 西安, 710051; 2. 光電控制技術(shù)重點實驗室, 河南 洛陽, 471000)

0 引 言

近年來，我國航空運輸業(yè)發(fā)展迅猛，已成為我國交通運輸?shù)闹еa(chǎn)業(yè)，其在創(chuàng)造巨大經(jīng)濟效益的同時，也給守牢安全底線、預警重大險情加劇了壓力。而精確的航空安全預測對開展事故預警意義重大,其能合理刻畫航空安全狀況的變化規(guī)律,為管理者作出事故預警決策提供科學依據(jù)。目前航空安全預測常用方法有時間序列預測、計量模型預測和機器學習預測等。

時間序列預測根據(jù)時間點劃分樣本集,通過分析各樣本點間的相關(guān)性規(guī)律,預測其在未來時刻的變化趨勢。常用的時間序列預測模型包括自回歸滑動平均(auto-regressive moving average, ARMA)、差分自回歸滑動平均(auto-regressive integrated moving average, ARIMA)模型等。該類方法基于歷史樣本信息價值,挖掘數(shù)字特征規(guī)律,對時序平穩(wěn)的短期樣本具有較好的解釋性,但航空事故致因機理復雜,局部非平穩(wěn)性顯著,故預測精度偏低。計量模型預測基于統(tǒng)計學原理,將預測目標與影響因子的作用機理用數(shù)學方程組描述,觀測主要因素的變化趨勢,估計解析模型參數(shù)。常用方法有灰色預測、馬爾可夫鏈預測和均生函數(shù)預測等。該類預測方法對先驗知識積累量的依賴較強,即通過大量歷史數(shù)據(jù)統(tǒng)計來估計樣本分布特性,其在飛機發(fā)動機剩余壽命預測、裝備平均故障間隔時間估計等領(lǐng)域應用成熟。但在航空安全預測領(lǐng)域,達到置信水平的解析模型尚未構(gòu)建,預測結(jié)果的置信度較低。機器學習預測通過構(gòu)建基于知識與規(guī)則的映射模型,設立目標約束函數(shù)優(yōu)化模型參數(shù),改進學習策略。文獻[12]構(gòu)建了基于貝葉斯推理機制的航空安全風險評估模型,能根據(jù)特征級精確預測對應的風險等級,但缺乏對風險水平的量化呈現(xiàn),安全信息解釋不充分。文獻[13]將支持向量機(support vector machine, SVM)算法運用到飛行事故回歸分析,結(jié)合徑向基函數(shù)(radial basis function, RBF)核函數(shù)將樣本非線性映射至高維空間,再作線性回歸預測,結(jié)果證明SVM模型泛化能力較好。文獻[14]提出了基于加權(quán)最小二乘SVM飛行事故率預測方法,采用最小二乘線性系統(tǒng)作為損失函數(shù),加快學習速率的同時增強了魯棒性。而隨著樣本特征維度的擴大,SVM訓練量呈指數(shù)級增長,計算效率較低。文獻[15]構(gòu)建了多層感知機(multi-layer perceptron, MLP)預測模型,對Airclaims公司記載的230起非全損失事故進行回歸分析和驗證,仿真結(jié)果表明MLP算法在處理事故樣本的高維特征、非線性映射關(guān)系上表現(xiàn)效果較好,但隨著學習輪數(shù)的增加,易出現(xiàn)擬合和梯度更新異常問題。

隨著人工智能、大數(shù)據(jù)等前沿技術(shù)的興起,近年來深度學習成為機器學習的一個重要分支。其中,長短期記憶(long short-term memory, LSTM)神經(jīng)網(wǎng)絡正廣泛應用于文本識別、用電負荷預測和風電功率預測等領(lǐng)域。文獻[19]針對時間變量彼此獨立,時序關(guān)系一般不被考慮的問題,采用LSTM神經(jīng)網(wǎng)絡模型預測鳥擊事故征候數(shù),結(jié)果證明LSTM模型對樣本時序依賴特性的捕獲能力較強,其精度優(yōu)于傳統(tǒng)模型。LSTM模型充分考慮了樣本的時序相關(guān)性,對其非線性關(guān)系解釋性較好。然而航空事故在特征維也呈現(xiàn)復雜的致因機理,單維的時序分析不能全面獲取樣本的數(shù)字特征。

綜上,現(xiàn)有航空安全預測研究通過分析因果映射關(guān)系實現(xiàn),但事故風險源與航空安全水平并非單一的因果映射關(guān)系,由于遲滯、回歸等時序效應,安全水平還受到歷史狀態(tài)的影響。所以同一風險水平下的安全狀況在不同時刻可能不相同。對此,本文提出基于堆疊式LSTM(multi layers LSTM, ML-LSTM)航空安全多步預測新方法:首先依據(jù)事故致因理論建立航空安全致因指標體系,通過pearson、sprearman和kendall關(guān)聯(lián)指數(shù)分析剔除弱相關(guān)致因事件變量。其次,對輸入輸出樣本集重新劃分,以多時間窗口的致因事件狀態(tài)和航空安全水平為輸入集,未來若干時刻安全水平為輸出集。最后構(gòu)建ML-LSTM航空安全多步預測模型,對安全樣本集進行訓練及驗證。

1 基于ML-LSTM多步預測建模

1.1 LSTM

LSTM網(wǎng)絡結(jié)構(gòu)如圖1所示。

圖1 LSTM網(wǎng)絡結(jié)構(gòu)Fig.1 LSTM network structure

門控單元：

(1)

(2)

(3)

存儲單元:

(4)

(5)

輸出狀態(tài):

=·tanh()

(6)

式中:、表示輸入量和-1的權(quán)值;為偏置向量,用以調(diào)和門控激活函數(shù)的輸入水平。(·)一般取sigmoid函數(shù)如下：

(7)

softmax激活函數(shù)取tanh(·)如下：

(8)

1.2 ML-LSTM網(wǎng)絡多步預測模型

經(jīng)典LSTM模型基于當前時刻樣本點特征狀態(tài)預測相應的輸出指標,是點對點預測。但在實際的航空安全預測中,當前安全水平可能長期依賴于若干歷史樣本點狀態(tài),單樣本迭代的訓練模式難以高效捕獲時序特性;從輸出維考慮,點預測不能直觀刻畫未來一段時間內(nèi)安全狀態(tài)變化趨勢。對此,本文嘗試增大學習步長,提高模型并行處理樣本效率。

同時,考慮到航空事故致因機理復雜。據(jù)最新研究公布,僅人的不安全行為因素就有28種,因此單層預測網(wǎng)絡易出現(xiàn)欠擬合問題,對樣本中隱含較深的時序信息挖掘能力不足。據(jù)此疊加LSTM網(wǎng)絡的隱含層數(shù),增強模型的非線性擬合能力同時加快學習速率,節(jié)約計算成本,對原網(wǎng)絡結(jié)構(gòu)進行改進,如圖2所示。

圖2 ML-LSTM時序多步航空安全預測模型Fig.2 Time series multi-step aviation safety prediction model based on ML-LSTM

圖2中為單次訓練輸入的樣本數(shù),為預測步長，為隱含節(jié)點數(shù),為隱含層數(shù)。前一隱含層的輸出作為當前層的輸入,第隱含層與預測端之間為全連接層(fully connected layer, FC),最后經(jīng)softmax函數(shù)激活輸出維預測向量。重構(gòu)樣本集的表達式如下。

隱含層輸入端:

(9)

FC輸入端:

={-+1,…,}

(10)

FC輸出端:

={,…,+-1}

(11)

隱含層到FC層映射關(guān)系式:

(12)

其中，

(13)

表示時刻下由個維時序樣本重構(gòu)的輸入矩陣。

由式(1)、式(2)、式(4)和式(5)聯(lián)合求解得出:

(14)

FC層到輸出層映射關(guān)系式:

(15)

改進后的LSTM模型增大了輸入樣本維度,使其在單次訓練中輸入多組歷史樣本點,提高了現(xiàn)有樣本的利用率;輸出端增大預測步長,實現(xiàn)點預測向趨勢預測的轉(zhuǎn)化。與傳統(tǒng)LSTM模型相比,實現(xiàn)對多組樣本的并行處理,提升了記憶單元捕獲時序規(guī)律的能力,更直觀描述安全狀況的動態(tài)走勢,提升測算工作的實時性、前瞻性。此外,堆疊式隱含層結(jié)構(gòu)擴展了模型的訓練深度,增強模型的容錯率和魯棒性。

1.3 基于Adam算法超參數(shù)優(yōu)化

在基于梯度下降的網(wǎng)絡權(quán)值更新過程如下:

(16)

學習率的取值尤為關(guān)鍵,其直接決定了更新方向與模型收斂性能。傳統(tǒng)網(wǎng)絡一般采用固定學習率的方式,在后期易出現(xiàn)調(diào)幅過大而難以收斂的情況,影響模型的訓練效果。

針對固定學習率的模型難收斂,而且手動調(diào)參工作繁瑣的問題,本文采用基于自適應學習原理的Adam算法優(yōu)化參數(shù),該算法根據(jù)實時訓練損失情況動態(tài)調(diào)整學習率,在誤差容許的范圍內(nèi)加速模型收斂。優(yōu)化流程如下。

首先計算梯度的一階矩估計和二階矩估計:

←-1+(1-)·

(17)

←-1+(1-)·

(18)

式中:、為一階和二階矩估計的衰減速率。

再計算修正矩估計的偏差項:

(19)

(20)

最后基于修正計算學習率更新值:

(21)

式中:為初始學習率。Adam通過矩估計的偏差修正,將學習率的更新值控制在可測范圍,加快收斂速度的同時保證了模型魯棒性。

1.4 基于ML-LSTM航空安全多步預測流程

預測流程如圖3所示。

圖3 基于ML-LSTM航空安全多步預測流程Fig.3 Multi-step prediction process of aviation safety based on ML-LSTM

(1) 數(shù)據(jù)預處理

為減少量綱差異對數(shù)據(jù)分析的干擾,采用min-max法對樣本歸一化:

(22)

式中:、表示樣本的最大值和最小值;、表示歸一化前后的事故樣本值。

經(jīng)處理后的指標數(shù)值按固定比例縮放至區(qū)間[0,1]中。

(2) 相關(guān)性分析

各致因變量對航空安全的影響水平不盡相同,有必要定量計算各變量對航空安全水平的相關(guān)性,從而剔除弱相關(guān)變量,降低運算成本同時減少白噪聲干擾。常用的相關(guān)系數(shù)有Pearson、Spearman和Kendall:

(23)

(24)

(25)

式中:表示觀測點分別在兩屬性度量下排序一致的對數(shù);表示排序不一致的對數(shù)。Pearson、Spearman和Kendall分別以定距、定序和定秩的尺度衡量因子相關(guān)性,能實現(xiàn)線性相關(guān)與單調(diào)相關(guān)的兼容分析。

(3) 航空安全預測模型構(gòu)建

根據(jù)第12節(jié)構(gòu)建ML-LSTM航空安全多步預測模型(見圖3)。

(4) 超參數(shù)優(yōu)化

用Adam算法優(yōu)化學習率,以步進搜索形式遍歷隱含層和節(jié)點數(shù)取值,比較不同參數(shù)組合下的均方根誤差(root mean square error, RMSE):

(26)

(5) 模型精度評價

為直觀評價預測模型精度,以傳統(tǒng)LSTM、循環(huán)神經(jīng)網(wǎng)絡(rerrent neural network, RNN)、門控循環(huán)單元(gated recurrent unit, GRU)、反向傳播(back propagation, BP)、RBF神經(jīng)網(wǎng)絡和ARIMA預測方法作為對照模型,在相同實驗環(huán)境計算預測結(jié)果。

2 算例驗證

2.1 數(shù)據(jù)準備

2.1.1 數(shù)據(jù)收集

本文航空安全數(shù)據(jù)選自2019年度某型運輸機事故統(tǒng)計,包括強制報告事件和不安全事件數(shù)據(jù)記錄。其中強制報告事件數(shù)作為輸出指標,強制報告事件是指造成了人員或財產(chǎn)等實際損失的事故,依規(guī)必須如實上報;不安全事件是誘發(fā)各類事故的風險源,雖未直接造成既定的損失,但與事故間存在著因果關(guān)聯(lián)作用。經(jīng)典SHEL事故致因理論認為,不安全事件的實質(zhì)是以人為中心,與外界(軟件、硬件和環(huán)境)及其內(nèi)部間能量交互不當?shù)慕Y(jié)果。例如:由塔臺指揮下達錯誤指令引發(fā)的不安全事件,實質(zhì)為人員之間的信息交互不匹配。同時受限于人的認知水平,部分事件致因機理的可解釋性較差(如機身卷入異物、不明碰撞物等),將此類事件歸因為外來影響。據(jù)此不安全事件可劃分為外來影響因素、設備設施因素、環(huán)境因素、管理因素和人為因素5類,作為候選輸入指標,如圖4所示。

圖4 致因事件數(shù)據(jù)指標體系Fig.4 Index system of cause data

2.1.2 樣本集劃分

為確保模型得到充分訓練,同時具備可靠的泛化能力。將訓練樣本與測試樣本的容量比設為5∶1,即前40周數(shù)據(jù)用于模型訓練、參數(shù)優(yōu)化,后8周數(shù)據(jù)用于驗證模型預測精度。

2.2 數(shù)據(jù)預處理

由式(16)對各指標的周統(tǒng)計數(shù)據(jù)歸一化處理,歸一化結(jié)果如表1所示。

表1 某型運輸機不安全事件周統(tǒng)計

經(jīng)歸一化的樣本指標消除了單位和數(shù)量級的差異,并通過按比例縮放保留了原樣本的數(shù)字特征規(guī)律。

2.3 相關(guān)性分析

利用可視化數(shù)據(jù)分析模塊pandas_profile,定量計算各輸入指標與強制報告事件數(shù)的相關(guān)指數(shù)(見式(23)～式(25)),并通過二維矩陣成像圖顯示運算結(jié)果如圖5所示。事故為輸出指標、外來影響、設備設施、環(huán)境、管理、人為分別表示5類不安全事件。矩陣單元的顏色表示指標之間的相關(guān)特性,其中藍色表示正相關(guān),紅色表示負相關(guān),顏色越深表示相關(guān)程度越強。

圖5 相關(guān)性分析結(jié)果Fig.5 Correlation analysis results

各致因指標與事故關(guān)聯(lián)度如表2所示。

表2 致因指標與事故關(guān)聯(lián)度

由相關(guān)性計算結(jié)果可知,在Pearson和Spearman指數(shù)上,外來影響因素、人為因素對事故的關(guān)聯(lián)程度最大,均在0.85左右,設施設備因素次之,約為0.7;在Kendall指數(shù)上,外來影響因素、人為因素對事故的關(guān)聯(lián)程度較大,超過了0.75。據(jù)此初步確立外來影響因素和人為因素作為強相關(guān)輸入指標。

同時,環(huán)境因素與管理因素在3類評價指標呈現(xiàn)較弱的關(guān)聯(lián)程度,均小于0.25。據(jù)此可剔除該兩個變量作為輸入指標。此外,考慮到設施設備因素在前兩個評價尺度下的關(guān)聯(lián)程度較強,說明其與事故的線性獨立性、非線性單調(diào)相關(guān)性較顯著,盡管Kendall指數(shù)略低,小于0.5,根據(jù)式(25)可逆推其呈現(xiàn)正相關(guān)的樣本數(shù)比例高達85%,所以經(jīng)綜合分析可判定該指標與事故存在較強的正相關(guān)作用。最終選取外來影響因素、人為因素和設備設施因素作為輸入指標。

2.4 模型參數(shù)優(yōu)化

除學習率外,影響LSTM模型訓練效果的關(guān)鍵參數(shù)還有隱含節(jié)點數(shù)(hidden_size)、隱含層數(shù)(layer_size)、訓練輪數(shù)(epoch)、批尺寸(batch_size))和訓練步長(time_step)。

隱含節(jié)點數(shù)和層數(shù)直接決定了模型的非線性擬合能力,在其數(shù)目足夠多的環(huán)境下,理論上可逼近任意非線性分布特性的數(shù)據(jù)集,但同時可能引發(fā)過擬合問題;隱含節(jié)點數(shù)沒有固定的計算方法,一般參照經(jīng)驗公式確定優(yōu)選區(qū)間，如下：

(27)

式中:為輸入變量數(shù);為輸出變量數(shù);為可調(diào)正常整數(shù),取[1,10]。

訓練輪數(shù)主要影響權(quán)值更新的效率,輪數(shù)過少會導致更新不充分,過多則增加了非必要運算成本;批尺寸是在一次學習中輸入的樣本集數(shù),樣本越多則迭代速度越快,但權(quán)值的調(diào)整幅度也將加大,給模型的收斂造成干擾。本文采取控制變量、步進搜索對比的方式優(yōu)化上述參數(shù)。

訓練步長是每個樣本集所容納的時序數(shù)據(jù)條數(shù)。對于輸入集,步長過短難以捕獲樣本的長期依賴特性,過長會造成信息冗余、學習效率降低;對于輸出集,步長過短無法直觀描述安全狀況變化趨勢,過長會因輸入信息不充分而加大預測誤差。結(jié)合事故樣本的實際容量,將輸入、輸出步長均設為4,即用近4周的歷史信息預測未來4周的安全狀況。

考慮到訓練輪數(shù)未改變網(wǎng)絡本身結(jié)構(gòu),屬于外部環(huán)境變量,結(jié)合人為經(jīng)驗與樣本容量,觀測模型訓練500輪下的損失變化情況。從圖6可知,模型在前100輪訓練過程中損失值降低幅度較大,在100～200輪過程中下降幅度逐漸放緩,模型趨于收斂。而在200輪之后訓練損失穩(wěn)定在01,增大訓練輪數(shù)反而降低了測算效率,所以訓練輪數(shù)閾值取200。

圖6 訓練損失隨輪數(shù)變化趨勢Fig.6 Changing trend of training loss with number of rounds

2.5 模型訓練與精度評價

251 樣本集重構(gòu)

252 實驗結(jié)果

依次調(diào)整參數(shù)隱含節(jié)點數(shù)和隱含層數(shù),觀測模型在不同批尺寸值下的預測效果。為緩解模型過擬合問題,每輪訓練按5%的比例隨機丟棄神經(jīng)元(dropout_rate=005)。并考慮到網(wǎng)絡的學習策略存在隨機性,同一條件下的實驗結(jié)果不盡相同。為提升模型穩(wěn)健性,將同一模型重復實驗10次,并求均值作為訓練值。

首先調(diào)整參數(shù)隱含節(jié)點數(shù),代入訓練樣本依次訓練模型,將訓練結(jié)果反歸一化并計算RMSE，如表3所示,其中“*”標記為模型精度與魯棒性最優(yōu)對應的隱含節(jié)點數(shù)。

表3 不同隱含節(jié)點數(shù)下的預測精度對比

從表3中可看出,隱含節(jié)點數(shù)取11時模型精度有顯著提升,并且隨批尺寸的調(diào)整表現(xiàn)出較強的魯棒性,據(jù)此確定單層網(wǎng)絡隱含節(jié)點數(shù)最優(yōu)解取11。

然后調(diào)整隱含層數(shù),構(gòu)建多層LSTM(multi-layer LSTM, ML-LSTM)航空安全多步預測模型,遍歷各層隱含節(jié)點數(shù)組合下的訓練誤差,記錄誤差最小對應的參數(shù)組合,如表4所示,其中“**”標記為RMSE最小值。

表4 不同隱含層數(shù)下的預測精度對比

從表4中可看出:預測模型RMSE最小值為1.229 2,對應的輸入?yún)?shù)layer_size=3,hidden_ size=(11,10,11),batch_size=2。為更直觀評價本文模型預測效果,采取常規(guī)LSTM時序預測(見圖1)、RNN、GRU、BP、RBF神經(jīng)網(wǎng)絡預測和ARIMA時序預測方法,在同一實驗條件下用測試樣本進行測算,預測效果對比如圖7所示。從圖7可以看出:① 本文所提出的模型(ML-LSTM)擬合效果最好,絕對數(shù)值與峰值走勢均與測試樣本(YTest)最為貼合,與經(jīng)典LSTM模型相比,盡管后者數(shù)值逼近程度較高,但是對趨勢的擬合欠佳,這說明ML-LSTM網(wǎng)絡比經(jīng)典LSTM更能捕獲樣本的趨勢特性;② 循環(huán)類深度學習預測效果(RNN、LSTM、GRU)優(yōu)于ARIMA,說明帶有記憶元胞的深度學習模型與傳統(tǒng)時序分析方法相比,對樣本時序信息的提取、描述更加充分;③ BP和RBF兩類神經(jīng)網(wǎng)絡預測模型均存在偏差過大的樣本點,證明ML-LSTM網(wǎng)絡魯棒性優(yōu)于傳統(tǒng)機器學習模型。

圖7 預測模型結(jié)果對比Fig.7 Comparison of prediction effects

為便于定量評價模型泛化性能,記錄各樣本點絕對誤差(absolute error, AE):

(28)

從表5可知,ML-LSTM精度上較傳統(tǒng)LSTM有顯著改進,前3個測試點誤差分別降低了0.030 9、0.068 5、0.023 0,測試點4略有升高,但ML-LSTM模型總體魯棒性明顯增強。類似地,與GRU、RNN、RBF、BP模型相比,ML-LSTM預測模型均有3個測試點精度顯著提升。與ARIMA模型相比,所有測試點在ML-LSTM預測模型均優(yōu)于前者。證明ML-LSTM泛化能力有大幅提升。

表5 各預測樣本點AE值

循環(huán)上述過程,記錄各模型10次實驗結(jié)果RMSE分布情況從圖8可知:① ML-LSTM預測誤差最小,RMSE控制在6.5左右,較LSTM(9.5)誤差降低了31.58%,證明本文所提方法準確性與魯棒性較原模型有明顯提升;② 循環(huán)類深度學習算法中,LSTM模型性能最好,RNN在前4次實驗效果較佳,而后6次誤差偏大,GRU模型誤差分布平穩(wěn)但數(shù)值偏大,證明對LSTM模型進行特定改進具備可行性與有效性;③ BP模型誤差波動最大,大部分預測點RMSE在20以上;④ 由于RBF模型與ARIMA模型采用固定搜索的學習方式,RMSE值為常數(shù)(分別為16.44和13.28,遠高于ML-LSTM)。

圖8 10次實驗RMSE分布圖Fig.8 RMSE distribution diagram of ten experiments

3 結(jié) 論

本文針對LSTM訓練模式為單步長迭代,難以高效處理致因機理復雜、遲滯效應顯著的航空安全樣本,提出了ML-LSTM多步預測模型。該模型從學習步長和隱含層深度兩方面對經(jīng)典LSTM結(jié)構(gòu)做出改進,提升時序依賴捕獲能力的同時,實現(xiàn)了點預測向趨勢預測的轉(zhuǎn)化。以2019年某型運輸機事故樣本為算例,實驗結(jié)果表明ML-LSTM多步預測精度上顯著優(yōu)于傳統(tǒng)預測方法,并具備良好的泛化能力和魯棒性。