基于區(qū)域殘差和LSTM網(wǎng)絡(luò)的機(jī)場(chǎng)延誤預(yù)測(cè)模型

屈景怡，葉萌，渠星

（中國(guó)民航大學(xué)天津市智能信號(hào)與圖像處理重點(diǎn)實(shí)驗(yàn)室，天津 300300）

1 引言

隨著國(guó)民經(jīng)濟(jì)和航空運(yùn)輸業(yè)的迅猛發(fā)展，空中交通流量日益增加，但空域資源和地面保障能力不足的問(wèn)題依然突出，導(dǎo)致機(jī)場(chǎng)延誤問(wèn)題日益嚴(yán)重。機(jī)場(chǎng)延誤會(huì)對(duì)乘客、航空公司、機(jī)場(chǎng)運(yùn)行人員等造成嚴(yán)重影響，給民航的正常運(yùn)轉(zhuǎn)帶來(lái)挑戰(zhàn)。而機(jī)場(chǎng)延誤預(yù)測(cè)算法的研究，不僅可以提前預(yù)知機(jī)場(chǎng)擁堵時(shí)間點(diǎn)，為相關(guān)的運(yùn)行決策提供理論依據(jù)[1-2]，還可以間接反映未來(lái)機(jī)場(chǎng)航班需求量和容量的關(guān)系[3-4]，為機(jī)場(chǎng)建設(shè)提供參考，具有非常重要的現(xiàn)實(shí)意義。

針對(duì)機(jī)場(chǎng)延誤的預(yù)測(cè)問(wèn)題，國(guó)內(nèi)外相關(guān)學(xué)者已經(jīng)開(kāi)展了一些研究。已有方法中多采用線性回歸、支持向量機(jī)、決策樹(shù)等傳統(tǒng)算法[5-14]。文獻(xiàn)[6]基于非線性物理假設(shè)和機(jī)場(chǎng)動(dòng)態(tài)特性知識(shí)，提出了基于邊界條件的機(jī)場(chǎng)延誤預(yù)測(cè)方法，通過(guò)對(duì)不同機(jī)場(chǎng)數(shù)據(jù)的實(shí)驗(yàn)驗(yàn)證，最高預(yù)測(cè)準(zhǔn)確率為75.2%。文獻(xiàn)[7]針對(duì)機(jī)場(chǎng)航班數(shù)據(jù)不斷更新的特點(diǎn)，利用增量式排列支持向量機(jī)算法進(jìn)行延誤預(yù)警，其準(zhǔn)確率可達(dá)80%。文獻(xiàn)[9]利用邏輯回歸和決策樹(shù)這2個(gè)機(jī)器學(xué)習(xí)模型，預(yù)測(cè)機(jī)場(chǎng)地面延遲的發(fā)生。通過(guò)實(shí)驗(yàn)對(duì)比，邏輯回歸可比決策樹(shù)取得更好的預(yù)測(cè)結(jié)果，但其準(zhǔn)確率也僅達(dá)到 84%。文獻(xiàn)[11]嘗試?yán)脺\層的人工神經(jīng)網(wǎng)絡(luò)（ANN, artificial neural network）對(duì)機(jī)場(chǎng)空域進(jìn)行延誤預(yù)測(cè)，但是該模型不能準(zhǔn)確學(xué)習(xí)時(shí)間維度上的延誤傳播特性，在面對(duì)嚴(yán)重且持續(xù)性延誤狀況時(shí)，模型的預(yù)測(cè)結(jié)果并不理想。

雖然國(guó)內(nèi)外學(xué)者在機(jī)場(chǎng)延誤預(yù)測(cè)方面取得了一定成果，但仍存在以下3個(gè)問(wèn)題。1) 這些方法大多針對(duì)小數(shù)據(jù)集樣本進(jìn)行訓(xùn)練，面對(duì)大量且高維的機(jī)場(chǎng)延誤數(shù)據(jù)，往往需要進(jìn)行降維處理，造成原始數(shù)據(jù)信息的缺失。2) 這些方法沒(méi)有考慮機(jī)場(chǎng)狀態(tài)信息的時(shí)間相關(guān)性，實(shí)際上，前一時(shí)刻機(jī)場(chǎng)的延誤對(duì)后續(xù)機(jī)場(chǎng)延誤狀態(tài)的影響很大。3) 這些方法較少考慮氣象信息對(duì)延誤預(yù)測(cè)的影響。根據(jù)《2017年全國(guó)民航航班運(yùn)行效率報(bào)告》統(tǒng)計(jì)結(jié)果，天氣原因是造成延誤的主要原因之一。

近年來(lái)，面向大數(shù)據(jù)的深度學(xué)習(xí)方法在計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自然語(yǔ)言處理等方面得到了廣泛應(yīng)用，其性能明顯優(yōu)于傳統(tǒng)算法[15]。在眾多深度學(xué)習(xí)方法中，循環(huán)神經(jīng)網(wǎng)絡(luò)[16]（RNN, recurrent neural network）將時(shí)序的概念引入網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)中，使其在時(shí)序數(shù)據(jù)分析中表現(xiàn)出更強(qiáng)的適應(yīng)性。長(zhǎng)短時(shí)記憶[17]（LSTM, long short term memory）網(wǎng)絡(luò)作為RNN的改進(jìn)，解決了RNN的梯度消失、長(zhǎng)期記憶能力不足等問(wèn)題，使循環(huán)神經(jīng)網(wǎng)絡(luò)能夠真正有效地利用長(zhǎng)距離時(shí)序信息。然而，在實(shí)際應(yīng)用中發(fā)現(xiàn)，由于網(wǎng)絡(luò)中全連接結(jié)構(gòu)的存在，使LSTM網(wǎng)絡(luò)無(wú)法繼續(xù)加深，預(yù)測(cè)精度無(wú)法進(jìn)一步提高，并且大規(guī)模LSTM網(wǎng)絡(luò)的訓(xùn)練對(duì)硬件要求比較高。

為解決上述問(wèn)題，本文提出了基于區(qū)域殘差和LSTM（RR-LSTM, region residual-long short term memory）網(wǎng)絡(luò)的機(jī)場(chǎng)延誤預(yù)測(cè)模型。該模型利用LSTM 網(wǎng)絡(luò)來(lái)充分提取機(jī)場(chǎng)延誤數(shù)據(jù)的時(shí)間相關(guān)性，并在LSTM基礎(chǔ)上增加了區(qū)域殘差網(wǎng)絡(luò)模塊和單向池化模塊。其中，區(qū)域殘差網(wǎng)絡(luò)模塊是對(duì)殘差網(wǎng)絡(luò)（ResNet, residual network）[18]的改進(jìn)，以代替LSTM層間全連接的功能，解決深層LSTM的梯度消失問(wèn)題；單向池化模塊的設(shè)計(jì)是為了保證區(qū)域殘差網(wǎng)絡(luò)模塊和LSTM網(wǎng)絡(luò)模塊的特征維度一致性。此外，本文提出的基于 RR-LSTM網(wǎng)絡(luò)的模型綜合考慮了機(jī)場(chǎng)的屬性信息、氣象信息和相關(guān)運(yùn)行航班信息影響，融合氣象和航班信息后，預(yù)測(cè)準(zhǔn)確率得到了一定程度提高。

2 RR-LSTM網(wǎng)絡(luò)結(jié)構(gòu)

圖1(a)為文獻(xiàn)[11]的網(wǎng)絡(luò)結(jié)構(gòu)，圖1(b)為本文提出的RR-LSTM網(wǎng)絡(luò)結(jié)構(gòu)。通過(guò)對(duì)比可以看出，一條待分類機(jī)場(chǎng)延誤數(shù)據(jù)在RR-LSTM網(wǎng)絡(luò)中的訓(xùn)練框架主要由3個(gè)部分組成，分別是區(qū)域殘差網(wǎng)絡(luò)模塊、單向池化模塊和LSTM網(wǎng)絡(luò)模塊。

1) 區(qū)域殘差網(wǎng)絡(luò)模塊：分別對(duì)不同區(qū)域的輸入數(shù)據(jù)進(jìn)行卷積，獲取輸入數(shù)據(jù)的空間局部特征，同時(shí)保證輸入數(shù)據(jù)的時(shí)間順序。

2) 單向池化模塊：將區(qū)域殘差網(wǎng)絡(luò)的輸出進(jìn)行維度轉(zhuǎn)換，保證網(wǎng)絡(luò)輸入數(shù)據(jù)在區(qū)域殘差模塊和多層LSTM網(wǎng)絡(luò)中的維度一致性。

3) LSTM網(wǎng)絡(luò)模塊：接收單向池化模塊的輸出作為L(zhǎng)STM模塊的序列化輸入，獲取機(jī)場(chǎng)延誤數(shù)據(jù)在時(shí)間維度上的依賴關(guān)系。

2.1 LSTM網(wǎng)絡(luò)

LSTM網(wǎng)絡(luò)可以充分利用機(jī)場(chǎng)延誤信息的時(shí)間相關(guān)特性。對(duì)于LSTM網(wǎng)絡(luò)來(lái)說(shuō)，其時(shí)間步長(zhǎng)越多，記憶能力越強(qiáng)；但是隨著網(wǎng)絡(luò)深度的增加，LSTM會(huì)出現(xiàn)梯度消失的問(wèn)題，文獻(xiàn)[19]通過(guò)實(shí)驗(yàn)驗(yàn)證了增加LSTM的層次反而會(huì)使其性能下降。為進(jìn)一步說(shuō)明此問(wèn)題，本文給出深層LSTM梯度消失的理論證明。

如圖2所示，LSTM網(wǎng)絡(luò)通過(guò)一個(gè)記憶單元來(lái)存儲(chǔ)輸入數(shù)據(jù)的重要特征信息。每一個(gè)網(wǎng)絡(luò)神經(jīng)元包含核心元素cell和3個(gè)門單元，分別是輸入門、遺忘門和輸出門。

LSTM 單元的前向傳播過(guò)程如式(1)～式(6)所示。其中分別為l層t時(shí)刻LSTM單元輸入門、遺忘門和輸出門的輸出；表示l-1層網(wǎng)絡(luò)在t時(shí)刻的輸出，而則表示l層網(wǎng)絡(luò)在t-1時(shí)刻的輸出；Wi、Wf和Wo為t時(shí)刻l-1層網(wǎng)絡(luò)與該單元輸入門、遺忘門、輸出門的權(quán)重矩陣；同樣地，Ui、Uf和Uo為t-1時(shí)刻l層網(wǎng)絡(luò)與該單元各個(gè)門的權(quán)重矩陣為核心元素cell的輸出，從圖2和式(4)可以看出，包含以下2個(gè)部分：第一部分是t-1時(shí)刻cell狀態(tài)和遺忘門輸出的乘積，第二部分是輸入門輸出的乘積。Wc為t時(shí)刻l-1層網(wǎng)絡(luò)與cell連接的權(quán)重矩陣，Uc為t-1時(shí)刻l層網(wǎng)絡(luò)cell連接的權(quán)重矩陣。則為最終LSTM的輸出。式(1)～式(6)中的和h(?)均為激活函數(shù)。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)

圖2 LSTM單元結(jié)構(gòu)

LSTM誤差項(xiàng)的反向傳播包括2個(gè)方向：1) 沿時(shí)間維度的反向傳播，即從當(dāng)前t時(shí)刻開(kāi)始，計(jì)算前面每個(gè)時(shí)刻的誤差項(xiàng)；2) 將誤差向前一層進(jìn)行傳播。對(duì)于后者，目前的相關(guān)研究還不多，故根據(jù)誤差反向傳播原理，推導(dǎo)得出誤差項(xiàng)沿網(wǎng)絡(luò)層數(shù)的反向傳播過(guò)程為

其中，f(?)為激活函數(shù)，f′(?)為激活函數(shù)的導(dǎo)函數(shù)，LSTM單元中的激活函數(shù)多采用tanh和sigmoid函數(shù)，即f( ?)≤ 1 ,f′(?)≤ 1 。并且權(quán)值矩陣中元素的絕對(duì)值均小于1。另外需要解釋的是，由于式(7)中進(jìn)行相加的四項(xiàng)存在正負(fù)號(hào)，加法并不能使的值增大，因此當(dāng)LSTM層數(shù)增加時(shí)，根據(jù)鏈?zhǔn)椒▌t（的組成形式和相似），式(7)中會(huì)出現(xiàn)多個(gè)小于1的項(xiàng)進(jìn)行連乘，梯度在向前傳播時(shí)會(huì)不停衰減，從而導(dǎo)致梯度消失的問(wèn)題。

為解決深層LSTM的梯度消失問(wèn)題，根據(jù)后續(xù)實(shí)驗(yàn)結(jié)果，本文提出的RR-LSTM網(wǎng)絡(luò)只保留了兩層LSTM，單條機(jī)場(chǎng)延誤數(shù)據(jù)的特征提取則由深層區(qū)域殘差網(wǎng)絡(luò)來(lái)代替完成。

2.2 區(qū)域殘差網(wǎng)絡(luò)模塊

ResNet中的卷積操作通過(guò)權(quán)值共享可減少訓(xùn)練參數(shù)，與LSTM相比，更適于數(shù)據(jù)的空間局部特征提取。通過(guò)對(duì)傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)，ResNet解決了深層網(wǎng)絡(luò)結(jié)構(gòu)的梯度消失問(wèn)題，具有更強(qiáng)大的特征學(xué)習(xí)和表達(dá)能力，圖 3(a)為文獻(xiàn)[18]提出的 ResNet結(jié)構(gòu)塊，但是常規(guī)的卷積操作會(huì)破壞輸入數(shù)據(jù)的時(shí)間順序，無(wú)法將 ResNet結(jié)構(gòu)直接增加至LSTM網(wǎng)絡(luò)中。為此，本文提出了區(qū)域殘差網(wǎng)絡(luò)，區(qū)域殘差網(wǎng)絡(luò)的單個(gè)模塊結(jié)構(gòu)如圖3(b)所示，不同層數(shù)的網(wǎng)絡(luò)均由其堆疊而成。

設(shè)X為輸入，經(jīng)過(guò)批歸一化（BN, batch normalization）[20]和整流線性單元ReLU[21]操作后，得到。圖3（b）中卷積模塊的非線性映射函數(shù)H(?)的定義如式(12)所示。

其中，F(xiàn)(?)表示ReLU激活函數(shù)和BN操作的計(jì)算過(guò)程；分別為同一個(gè)結(jié)構(gòu)塊中3個(gè)卷積層的權(quán)值矩陣，m1、m2和m3代表3個(gè)不同卷積層。單個(gè)結(jié)構(gòu)塊的非線性映射函數(shù)為

圖3 殘差學(xué)習(xí)結(jié)構(gòu)塊

區(qū)域殘差網(wǎng)絡(luò)是為了解決 ResNet中常規(guī)卷積操作會(huì)破壞數(shù)據(jù)時(shí)序信息的問(wèn)題。由圖3可以看出，其根本區(qū)別是根據(jù)機(jī)場(chǎng)延誤的數(shù)據(jù)集特點(diǎn)，將殘差網(wǎng)絡(luò)結(jié)構(gòu)塊中的卷積核尺寸由3×3替換為3×1。此外，實(shí)際卷積操作時(shí)將步長(zhǎng)由原來(lái)的二維移動(dòng)變?yōu)閱蜗蛞苿?dòng)，這樣可以使卷積操作僅覆蓋單獨(dú)一個(gè)時(shí)間區(qū)域內(nèi)的數(shù)據(jù)，即單獨(dú)對(duì)輸入數(shù)據(jù)的不同區(qū)域進(jìn)行局部特征提取，進(jìn)而實(shí)現(xiàn)空間特征深層提取，同時(shí)保留機(jī)場(chǎng)延誤數(shù)據(jù)的時(shí)序關(guān)系。為使網(wǎng)絡(luò)更加容易訓(xùn)練，采用了以下3個(gè)優(yōu)化方法：將直連通道中的激活函數(shù)ReLU去掉，在每一卷積層前都進(jìn)行BN操作，對(duì)輸入進(jìn)行前置激活[22-23]。

2.3 單向池化

為了將 LSTM 與區(qū)域殘差模塊有效地貫穿融合，本文設(shè)計(jì)了單向池化模塊，如圖4所示，圖中t代表時(shí)間步長(zhǎng)數(shù)。該模塊首先利用尺寸為1× 1、步長(zhǎng)為1、數(shù)量為128的卷積核，對(duì)區(qū)域殘差網(wǎng)絡(luò)模塊的輸出特征圖進(jìn)行降維操作，再進(jìn)行單向全局池化。池化方程為

其中，ai,j表示上一層神經(jīng)網(wǎng)絡(luò)輸出特征圖中坐標(biāo)為(i,j)的神經(jīng)元，si表示最大池化層中坐標(biāo)為i的神經(jīng)元，ave(?)表示求矩陣中所有元素的均值。

圖4 單向池化模塊

本文設(shè)計(jì)上述單向池化的方式是出于以下3點(diǎn)考慮。

1) 區(qū)域殘差網(wǎng)絡(luò)的輸出特征圖維度需要符合LSTM輸入特征維度的要求，傳統(tǒng)方法只是直接進(jìn)行維度重塑操作，即將三維的數(shù)據(jù)壓縮為二維，再使用全連接的方式進(jìn)行維度變換。由于全連接的引入，不僅會(huì)使計(jì)算量增長(zhǎng)，而且會(huì)增加網(wǎng)絡(luò)梯度消失問(wèn)題出現(xiàn)的概率。而單向池化方法通過(guò)卷積神經(jīng)網(wǎng)絡(luò)的權(quán)值共享，可實(shí)現(xiàn)維度變換的同時(shí)，有效控制網(wǎng)絡(luò)中增加的訓(xùn)練參數(shù)數(shù)量。

2) 如圖4所示，區(qū)域殘差網(wǎng)絡(luò)的輸出特征圖數(shù)量為 1 024，若直接進(jìn)行單向全局池化操作，則會(huì)得到維度為t×1 024的數(shù)據(jù)作為L(zhǎng)STM輸入，由于LSTM網(wǎng)絡(luò)各單元之間的連接均是全連接方式，在實(shí)際實(shí)現(xiàn)過(guò)程中，會(huì)出現(xiàn)網(wǎng)絡(luò)不收斂的情況，因此在實(shí)現(xiàn)維度轉(zhuǎn)換之前進(jìn)行了1×1的卷積處理，以減少特征圖的數(shù)量。

3) 單向全局池化的特征處理過(guò)程是，將不同卷積核輸出的特征圖，映射到與LSTM相連接的不同神經(jīng)元，這樣做的好處是保存了每個(gè)卷積核特征表達(dá)的獨(dú)立性。

3 機(jī)場(chǎng)延誤預(yù)測(cè)模型

基于RR-LSTM網(wǎng)絡(luò)的機(jī)場(chǎng)延誤預(yù)測(cè)模型如圖5所示，主要包括以下3個(gè)部分：數(shù)據(jù)預(yù)處理、特征提取和特征分類。特征提取部分介紹詳見(jiàn)第2節(jié)，下面主要對(duì)數(shù)據(jù)預(yù)處理和特征分類展開(kāi)介紹。圖 5給出了各個(gè)網(wǎng)絡(luò)結(jié)構(gòu)的輸出特征圖維度，以(t×102)×16為例，其中，t表示循環(huán)的時(shí)間步長(zhǎng)，102表示每個(gè)時(shí)刻需要處理的一維向量大小，16表示輸出特征圖的個(gè)數(shù)。

圖5 基于RR-LSTM網(wǎng)絡(luò)的機(jī)場(chǎng)延誤預(yù)測(cè)模型

3.1 數(shù)據(jù)預(yù)處理

機(jī)場(chǎng)屬性數(shù)據(jù)定義為A，包括日期、時(shí)間、機(jī)場(chǎng)ID等5個(gè)特征屬性。

機(jī)場(chǎng)運(yùn)行航班數(shù)據(jù)定義為F，包括起飛日期、起飛/降落機(jī)場(chǎng)ID、起飛/降落城市ID、航班號(hào)、計(jì)劃起飛/降落時(shí)間、起輪/放輪時(shí)間、航程等22個(gè)特征屬性。

機(jī)場(chǎng)天氣數(shù)據(jù)定義為W，包括時(shí)間、機(jī)場(chǎng)天氣狀態(tài)、風(fēng)向、風(fēng)速、能見(jiàn)度、溫度、氣壓等 18個(gè)特征屬性。

數(shù)據(jù)預(yù)處理的步驟如下。

Step1 以日期、航班起飛/降落時(shí)間、天氣觀測(cè)時(shí)間這3個(gè)特征作為鍵值，對(duì)機(jī)場(chǎng)屬性數(shù)據(jù)F、航班數(shù)據(jù)A和天氣數(shù)據(jù)W進(jìn)行融合。

Step2 將原始數(shù)據(jù)特征屬性分為離散性和連續(xù)性2種。首先對(duì)連續(xù)性特征進(jìn)行min-max歸一化編碼[23]。然后將離散性特征以100為閾值分為高低基數(shù)2類，特征的基數(shù)是指該特征類別的窮舉數(shù)。最后，對(duì)低基數(shù)離散性數(shù)據(jù)采用獨(dú)熱編碼，即one-hot編碼[24]；對(duì)高基數(shù)離散特征進(jìn)行 meanencoder編碼[25]。

Step3 將編碼后的數(shù)據(jù)E按照起飛和降落時(shí)間進(jìn)行排序，然后以長(zhǎng)度為L(zhǎng)、步長(zhǎng)為1的分割窗口在時(shí)間維度上進(jìn)行滑動(dòng)分割，得到模型輸入Et。分割后每個(gè)輸入數(shù)據(jù)的時(shí)間序列長(zhǎng)度為L(zhǎng)，對(duì)應(yīng)于機(jī)場(chǎng)延誤預(yù)測(cè)模型中的時(shí)間步長(zhǎng)t。

3.2 特征分類

根據(jù)模型中機(jī)場(chǎng)延誤時(shí)間的定義，將延誤時(shí)間在15 min以內(nèi)的情況劃分為不延誤狀態(tài)，反之劃分為延誤狀態(tài)，從而將機(jī)場(chǎng)延誤預(yù)測(cè)問(wèn)題轉(zhuǎn)化為二分類問(wèn)題。

如圖5所示，特征分類部分共有兩層：全連接層和 Softmax[26]分類器層。其中，全連接層輸出的特征圖維度為（1×1）×q，q為分類類別數(shù)，本文涉及的是二分類問(wèn)題，所以q=2。對(duì)于每類有r個(gè)樣本的集合，可以表示為其中，每一個(gè)類別j的輸出概率值為p(y=j|x)，如果用q個(gè)向量表示q個(gè)輸出概率值，則函數(shù)為

其中， hθ(x)為神經(jīng)網(wǎng)絡(luò)的輸出，θ為網(wǎng)絡(luò)參數(shù)，i為樣本序號(hào)，為歸一化因子。網(wǎng)絡(luò)訓(xùn)練使用交叉熵作為代價(jià)函數(shù)，其表達(dá)式為

為了更好地評(píng)估LSTM網(wǎng)絡(luò)在機(jī)場(chǎng)延誤預(yù)測(cè)問(wèn)題上的有效性，本文采用準(zhǔn)確率作為評(píng)價(jià)準(zhǔn)則，如式(18)所示。

其中，N為測(cè)試集中總的數(shù)據(jù)量，C為模型預(yù)測(cè)的延誤狀態(tài)與實(shí)際延誤狀態(tài)相同的記錄數(shù)。

4 實(shí)驗(yàn)

本節(jié)首先介紹了實(shí)驗(yàn)環(huán)境、參數(shù)配置和實(shí)驗(yàn)數(shù)據(jù)，然后基于機(jī)場(chǎng)延誤數(shù)據(jù)對(duì)比驗(yàn)證了所提模型的性能，并對(duì)機(jī)場(chǎng)延誤數(shù)據(jù)特征進(jìn)行了分析。

4.1 實(shí)驗(yàn)環(huán)境和參數(shù)配置

實(shí)驗(yàn)所使用計(jì)算機(jī)的配置如下：處理器為Intel至強(qiáng)Xeon E5-1620，CPU頻率為3.60 GHz；內(nèi)存為16.00 GB；操作系統(tǒng)為Ubuntu14.04（64 bit）；圖形加速卡為GeForce GTX TITAN Xp；深度學(xué)習(xí)開(kāi)發(fā)平臺(tái)為Tensorflow 1.3.0。

為了方便重復(fù)實(shí)驗(yàn)和后續(xù)研究，這里給出本文實(shí)驗(yàn)中所設(shè)置的參數(shù)名稱與對(duì)應(yīng)的參數(shù)值供研究參考：權(quán)值初始方式為正交初始化；最大迭代次數(shù)為 8.5萬(wàn)次；訓(xùn)練時(shí)的批處理數(shù)量為 512，測(cè)試時(shí)為 128；訓(xùn)練的優(yōu)化方法為隨機(jī)梯度下降法；初始學(xué)習(xí)率為0.1，訓(xùn)練時(shí)分別在迭代4萬(wàn)次和8萬(wàn)次時(shí)進(jìn)行衰減，每次衰減10倍。

4.2 實(shí)驗(yàn)數(shù)據(jù)

本文模型實(shí)驗(yàn)數(shù)據(jù)為2016年～2017年美國(guó)亞特蘭大機(jī)場(chǎng)的航班運(yùn)行數(shù)據(jù)和天氣數(shù)據(jù)，其中航班運(yùn)行數(shù)據(jù)來(lái)自交通運(yùn)輸統(tǒng)計(jì)局（BTS, bureau of transportation statistics）的航班準(zhǔn)時(shí)性數(shù)據(jù)（AOTP ,airline on-time performance data），天氣數(shù)據(jù)來(lái)自美國(guó)國(guó)家海洋和大氣管理局（NOAA, national oceanic and atmospheric administration）提供的本地氣候質(zhì)量監(jiān)控?cái)?shù)據(jù)（QCLCD, quality controlled local climatological data）。將原始數(shù)據(jù)特征進(jìn)行預(yù)處理后，得到維度為1 781 045×203×t×1的網(wǎng)絡(luò)輸入數(shù)據(jù)，其中，1 781 045為所有數(shù)據(jù)的數(shù)量，203為編碼后每條數(shù)據(jù)的特征維度，t為每條數(shù)據(jù)的時(shí)間序列長(zhǎng)度，由于計(jì)算能力有限，本文只對(duì)t=30進(jìn)行了實(shí)驗(yàn)驗(yàn)證。

4.3 RR-LSTM網(wǎng)絡(luò)結(jié)構(gòu)驗(yàn)證分析

將本文所提網(wǎng)絡(luò)模型與其他經(jīng)典神經(jīng)網(wǎng)絡(luò)在機(jī)場(chǎng)延誤數(shù)據(jù)上進(jìn)行對(duì)比，驗(yàn)證本文所提方法的有效性。

1) ANN。傳統(tǒng)前饋型神經(jīng)網(wǎng)絡(luò)不同隱藏層之間采取全連接方法。本文設(shè)計(jì)了層數(shù)為1、2、4、6的網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)應(yīng)網(wǎng)絡(luò)名稱為ANN1、ANN2、ANN4、ANN6。當(dāng)神經(jīng)網(wǎng)絡(luò)深度增加時(shí)，模型對(duì)計(jì)算機(jī)性能的要求越來(lái)越高，模型的收斂也越來(lái)越困難。

2) VGG。VGG網(wǎng)絡(luò)作為經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)，包括了反復(fù)堆疊3×3的小型卷積核和2×2的最大池化層，本文基于機(jī)場(chǎng)延誤數(shù)據(jù)實(shí)現(xiàn)了 VGG16和VGG19。對(duì)于數(shù)據(jù)集由于卷積神經(jīng)網(wǎng)絡(luò)沒(méi)有考慮時(shí)間維度上數(shù)據(jù)的關(guān)聯(lián)性，因此在具體實(shí)現(xiàn)策略上，需要將其映射到空間維度上進(jìn)行卷積，這樣的操作必定會(huì)丟失一部分?jǐn)?shù)據(jù)信息，特別是長(zhǎng)時(shí)間距離的信息。

3) ResNet。為了增加可對(duì)比性，該部分ResNet的網(wǎng)絡(luò)配置與本文所提RR-LSTM中的相應(yīng)模塊均一致，實(shí)現(xiàn)了 ResNet18、ResNet34和 ResNet50。與VGG相同，ResNet也需要將其時(shí)間的數(shù)據(jù)映射到空間維度上進(jìn)行卷積。

4) ANN-LSTM。該網(wǎng)絡(luò)模型是文獻(xiàn)[13]提出的一種模型思想，但是文中的實(shí)驗(yàn)數(shù)據(jù)與本文并不相同，為了保證對(duì)比實(shí)驗(yàn)的嚴(yán)謹(jǐn)性，需要使用本文數(shù)據(jù)對(duì)模型重新訓(xùn)練。另外在文獻(xiàn)[13]的基礎(chǔ)上，對(duì)隱藏層 ANN的層數(shù)進(jìn)行了討論，分別包括ANN1-LSTM、ANN2-LSTM 和 ANN4-LSTM，其中LSTM的層數(shù)均為2層。

5) VGG-LSTM。與ANN-LSTM模型類似，實(shí)現(xiàn)了VGG16-LSTM和VGG19-LSTM。

6) RR-LSTM。本文所提網(wǎng)絡(luò)模型，實(shí)現(xiàn)的網(wǎng)絡(luò)配置有RR18-LSTM、RR34-LSTM和RR50-LSTM。

4.3.1 引入時(shí)序信息對(duì)預(yù)測(cè)結(jié)果的影響

為驗(yàn)證前續(xù)機(jī)場(chǎng)延誤狀態(tài)對(duì)當(dāng)前預(yù)測(cè)結(jié)果的影響，本部分將不同神經(jīng)網(wǎng)絡(luò)模型在數(shù)據(jù)集E和Et進(jìn)行了對(duì)比實(shí)驗(yàn)。根據(jù)數(shù)據(jù)預(yù)處理步驟，E代表單個(gè)時(shí)刻的數(shù)據(jù)集，Et代表不同時(shí)刻數(shù)據(jù)組成的時(shí)間序列集。需要說(shuō)明的是，由于數(shù)據(jù)集E為單獨(dú)時(shí)刻的特征信息，無(wú)法使用LSTM網(wǎng)絡(luò)進(jìn)行時(shí)序關(guān)聯(lián)的學(xué)習(xí)，因此涉及LSTM網(wǎng)絡(luò)的模型沒(méi)有對(duì)數(shù)據(jù)集E進(jìn)行訓(xùn)練和測(cè)試。

表1為ANN、VGG和ResNet網(wǎng)絡(luò)在不同數(shù)據(jù)集E和Et上的預(yù)測(cè)結(jié)果對(duì)比，可以看出增加數(shù)據(jù)的時(shí)間特征信息可以使模型測(cè)試準(zhǔn)確率提高0.91%～1.8%。由此可得，考慮引入機(jī)場(chǎng)延誤數(shù)據(jù)的時(shí)序特征能有效提高模型最終的預(yù)測(cè)精度。

表1 時(shí)序信息引入對(duì)分類準(zhǔn)確率的影響

表2為不使用LSTM模塊與使用LSTM模塊的所有網(wǎng)絡(luò)結(jié)構(gòu)在數(shù)據(jù)集Et上的預(yù)測(cè)結(jié)果對(duì)比。由表2數(shù)據(jù)可以看出，總體趨勢(shì)上，增加LSTM模塊使模型測(cè)試準(zhǔn)確率提高了0.67%～1.92%。這表明利用LSTM來(lái)進(jìn)一步提取特征的時(shí)間維度信息，使網(wǎng)絡(luò)具有更強(qiáng)大的數(shù)據(jù)抽象能力。ANN在層數(shù)增加到6層時(shí)出現(xiàn)了梯度消失的現(xiàn)象，測(cè)試準(zhǔn)確率隨著網(wǎng)絡(luò)層數(shù)的增減不升反降，同樣地，ANN4-LSTM 和ANN6-LSTM網(wǎng)絡(luò)與對(duì)應(yīng)的ANN4和ANN6網(wǎng)絡(luò)相比，也出現(xiàn)了預(yù)測(cè)精度下降的情況，這是因?yàn)長(zhǎng)STM層與層之間是全連接的關(guān)系，增加LSTM模塊也相當(dāng)于是增加了ANN的層數(shù)。

表2 LSTM網(wǎng)絡(luò)模塊對(duì)分類準(zhǔn)確率的影響

根據(jù)以上2個(gè)實(shí)驗(yàn)結(jié)果對(duì)比，說(shuō)明了時(shí)序性特征的引入以及相應(yīng)的LSTM模塊能夠有效提高模型的預(yù)測(cè)性能。

4.3.2 區(qū)域殘差網(wǎng)絡(luò)模塊性能分析

為證明傳統(tǒng)多層LSTM網(wǎng)絡(luò)的梯度消失現(xiàn)象，并驗(yàn)證引入?yún)^(qū)域殘差網(wǎng)絡(luò)模塊對(duì)模型的影響，使用傳統(tǒng)LSTM網(wǎng)絡(luò)和RR-LSTM網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)對(duì)比。

首先給出傳統(tǒng)LSTM網(wǎng)絡(luò)的預(yù)測(cè)準(zhǔn)確率，實(shí)驗(yàn)結(jié)果如表3所示，其中，LSTM-n表示該網(wǎng)絡(luò)包括n層LSTM和一層全連接。

表3 傳統(tǒng)LSTM網(wǎng)絡(luò)的預(yù)測(cè)準(zhǔn)確率

從表 3中可以看出，對(duì)于傳統(tǒng) LSTM 網(wǎng)絡(luò)，LSTM-3效果達(dá)到最佳，分類正確率為93.20%，但是與LSTM-2相比，只多了0.01%。通過(guò)進(jìn)一步加深網(wǎng)絡(luò)，LSTM-4的測(cè)試準(zhǔn)確率反而下降到了84.93%，說(shuō)明僅增加LSTM層數(shù)已不能提高模型分類的準(zhǔn)確率。

根據(jù)以上實(shí)驗(yàn)結(jié)果分析，將RR-LSTM網(wǎng)絡(luò)中的LSTM網(wǎng)絡(luò)層數(shù)均設(shè)為2層，沒(méi)有選擇分類效果最好的LSTM-3是由于RR-LSTM網(wǎng)絡(luò)中已存在大量的卷積神經(jīng)網(wǎng)絡(luò)，可以充分學(xué)習(xí)機(jī)場(chǎng)延誤數(shù)據(jù)的空間特征，并且LSTM-2網(wǎng)絡(luò)與LSTM-3網(wǎng)絡(luò)的準(zhǔn)確率僅僅相差0.01%，相對(duì)于再增加一層參數(shù)較多的全連接LSTM網(wǎng)絡(luò)來(lái)說(shuō)，選擇2層的LSTM網(wǎng)絡(luò)更為合適。

表4給出了RR-LSTM網(wǎng)絡(luò)的預(yù)測(cè)準(zhǔn)確率，其中，RRm-LSTM表示m層區(qū)域殘差網(wǎng)絡(luò)、2層LSTM網(wǎng)絡(luò)、單向池化模塊和 2層全連接。從實(shí)驗(yàn)結(jié)果可以看出，RR-LSTM網(wǎng)絡(luò)隨深度的增加預(yù)測(cè)準(zhǔn)確率逐步提升，當(dāng)網(wǎng)絡(luò)層數(shù)為 54層時(shí)，其預(yù)測(cè)準(zhǔn)確率為95.52%，可訓(xùn)練網(wǎng)絡(luò)深度遠(yuǎn)遠(yuǎn)超過(guò)傳統(tǒng)LSTM網(wǎng)絡(luò)。

圖 6(a)和圖 6(b)分別表示 LSTM 和RR-LSTM網(wǎng)絡(luò)隨迭代次數(shù)變化的損失值大小。損失值越小，說(shuō)明模型預(yù)測(cè)值與真實(shí)值大小越接近。由圖6(a)可知，LSTM-4和LSTM-2收斂后的損失值相差不大，大致分布在0.2～0.4。但是隨著網(wǎng)絡(luò)層數(shù)的增加，LSTM-6增加到了0.5附近。圖6(b)中RR-LSTM網(wǎng)絡(luò)從 22層、38層到 54層，隨著模型網(wǎng)絡(luò)層數(shù)的不斷增加，損失值不斷減少，當(dāng)網(wǎng)絡(luò)為 54層時(shí)，損失值分布在0.1左右。這說(shuō)明RR-LSTM比 LSTM 模型能夠更好地對(duì)深層神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。

圖6 損失值隨迭代次數(shù)變化

神經(jīng)網(wǎng)絡(luò)模型在反向傳導(dǎo)過(guò)程中進(jìn)行隱藏層權(quán)重以及誤差項(xiàng)的更新，如果網(wǎng)絡(luò)第一個(gè)隱藏層的梯度值隨迭代次數(shù)變化能一直保持穩(wěn)定，則表征該網(wǎng)絡(luò)其他隱藏層均能保證信息有效傳遞。圖7為不同LSTM和RR-LSTM網(wǎng)絡(luò)結(jié)構(gòu)第一層梯度值隨迭代次數(shù)的變化曲線。

表4 RR-LSTM網(wǎng)絡(luò)的預(yù)測(cè)準(zhǔn)確率

圖7 隱藏層梯度值隨迭代次數(shù)變化

由圖7(a)中可以明顯看出，隨著深度的增加，梯度值銳減，當(dāng)網(wǎng)絡(luò)增至6層時(shí)，梯度值減小到10-8左右，且仍隨著迭代次數(shù)逐漸衰減。這說(shuō)明深層LSTM網(wǎng)絡(luò)在權(quán)重更新時(shí)存在梯度消失問(wèn)題，符合上文的理論分析和式(7)～式(11)的推導(dǎo)結(jié)論。圖7(b)中的相應(yīng)梯度值基本穩(wěn)定在10-1～10-5，且隨著網(wǎng)絡(luò)層數(shù)的增加，沒(méi)有出現(xiàn)明顯的數(shù)值變化。由此可見(jiàn)，RR-LSTM 網(wǎng)絡(luò)可以進(jìn)行更深層網(wǎng)絡(luò)的訓(xùn)練，從而更加完備地表達(dá)數(shù)據(jù)信息。

4.3.3 單向池化結(jié)構(gòu)性能分析

利用圖4所示的單向池化模塊來(lái)代替?zhèn)鹘y(tǒng)的維度重塑方式，可以保證區(qū)域殘差網(wǎng)絡(luò)模塊輸出和LSTM模塊輸入的維度一致性，同時(shí)可盡量減少網(wǎng)絡(luò)中引入?yún)?shù)的數(shù)量。使用機(jī)場(chǎng)延誤數(shù)據(jù)，根據(jù)數(shù)據(jù)維度轉(zhuǎn)換方式的不同分別訓(xùn)練了 RR18-LSTM、RR34-LSTM和RR50-LSTM這3個(gè)模型。

從表5的數(shù)據(jù)可以看出，使用單向池化模塊比維度重塑方式擁有更高的分類準(zhǔn)確率，當(dāng)網(wǎng)絡(luò)為22層、38層和54層時(shí)，準(zhǔn)確率分別提高了0.53%、0.45%、0.46%。

表5 不同維度轉(zhuǎn)換方式對(duì)分類準(zhǔn)確率的影響

為了驗(yàn)證單向池化模塊對(duì)模型反向傳播過(guò)程的影響，圖8給出了不同模型第一層網(wǎng)絡(luò)梯度值隨迭代次數(shù)的變化曲線?？梢钥闯?，隨著網(wǎng)絡(luò)層數(shù)的增加，單向池化方式的梯度值沒(méi)有明顯變化，而維度重塑方式中，22層、38層、54層網(wǎng)絡(luò)的梯度值出現(xiàn)了逐一減少的現(xiàn)象。實(shí)驗(yàn)結(jié)果證明了利用單向池化模塊進(jìn)行維度轉(zhuǎn)換的有效性。

圖8 隱藏層梯度值隨迭代次數(shù)變化

4.4 機(jī)場(chǎng)延誤數(shù)據(jù)特征對(duì)預(yù)測(cè)結(jié)果的影響

為研究機(jī)場(chǎng)延誤數(shù)據(jù)特征中融合的氣象信息W和相關(guān)運(yùn)行航班信息F對(duì)延誤結(jié)果的影響，分別將僅考慮機(jī)場(chǎng)屬性信息的數(shù)據(jù)集A、增加天氣因素?cái)?shù)據(jù)集A+W和綜合三者信息的數(shù)據(jù)集A+W+F輸入 RR-LSTM 模型中進(jìn)行延誤預(yù)測(cè)，實(shí)驗(yàn)結(jié)果如表6所示。

表6 測(cè)試準(zhǔn)確率

由表6可以看出，與僅考慮機(jī)場(chǎng)本身屬性相比，融合天氣因素和航班運(yùn)行數(shù)據(jù)后，不同網(wǎng)絡(luò)結(jié)構(gòu)的預(yù)測(cè)準(zhǔn)確率均增加了11%左右。其中，如果只考慮天氣因素預(yù)測(cè)精度增加約 9%，進(jìn)一步增加機(jī)場(chǎng)的運(yùn)行航班數(shù)據(jù)后，預(yù)測(cè)結(jié)果準(zhǔn)確率又增加了 2%。因此，綜合考慮上述2種因素能有效提高模型最終的預(yù)測(cè)精度。

文獻(xiàn)[24]采用與本文同樣的數(shù)據(jù)來(lái)研究不同信息對(duì)機(jī)場(chǎng)延誤的影響。但是由于 RR-LSTM模型具有高效的特征提取及數(shù)據(jù)處理能力，因此不需對(duì)數(shù)據(jù)特征按影響力進(jìn)行降維，能夠盡量全面地考慮可能對(duì)延誤產(chǎn)生影響的因素，以增加模型最終的預(yù)測(cè)性能。

5 結(jié)束語(yǔ)

本文通過(guò)分析機(jī)場(chǎng)延誤預(yù)測(cè)問(wèn)題的特點(diǎn)，提出了RR-LSTM網(wǎng)絡(luò)模型，并且通過(guò)大量的實(shí)驗(yàn)驗(yàn)證了該模型的有效性，結(jié)論如下。

1) 增加機(jī)場(chǎng)延誤數(shù)據(jù)的時(shí)序信息，并且利用LSTM網(wǎng)絡(luò)學(xué)習(xí)數(shù)據(jù)的時(shí)間依賴關(guān)系，使模型的物理含義更加符合機(jī)場(chǎng)延誤事件特點(diǎn)，可得到更高的預(yù)測(cè)準(zhǔn)確率。

2) 當(dāng)傳統(tǒng)多層 LSTM 網(wǎng)路加深時(shí)，模型性能開(kāi)始變差，而增加區(qū)域殘差網(wǎng)絡(luò)模塊進(jìn)行特征提取時(shí)，模型的性能保持穩(wěn)定，證明改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)可以保證深度網(wǎng)絡(luò)的訓(xùn)練。

3) 與傳統(tǒng)維度變換方式相比，單向池化方法可以減少網(wǎng)絡(luò)訓(xùn)練參數(shù)的數(shù)量，進(jìn)而降低網(wǎng)絡(luò)梯度消失的概率。

4) 融合氣象信息和航班運(yùn)行信息后，模型預(yù)測(cè)準(zhǔn)確率均有所提高，相比之下，機(jī)場(chǎng)內(nèi)的氣象信息對(duì)預(yù)測(cè)結(jié)果的影響較大。

本文的預(yù)測(cè)結(jié)果與傳統(tǒng)算法相比有較大提升，有利于進(jìn)一步改善空管、航空公司等部門的決策，提升民航綜合服務(wù)能力。