基于時(shí)空序列的Conv-LSTM 航班延誤預(yù)測模型

屈景怡，楊柳，陳旭陽，王茜

（1.天津市智能信號(hào)與圖像處理重點(diǎn)實(shí)驗(yàn)室（中國民航大學(xué)），天津 300300；2.中國民用航空華北地區(qū)空中交通管理局 天津分局，天津 300300）

0 引言

近年來，隨著國內(nèi)航空業(yè)發(fā)展迅速，客流量逐漸趨于飽和，航班延誤問題也因此面臨著巨大挑戰(zhàn)。造成航班延誤的因素有很多種，而任何程度的航班延誤都會(huì)給航空公司、機(jī)場和旅客造成一定的損失。精確的航班延誤預(yù)測可以為大面積航班延誤響應(yīng)機(jī)制提供參考，使民航相關(guān)部門提前做好應(yīng)對機(jī)制，以降低延誤帶來的損失，因此航班延誤預(yù)測具有重要的應(yīng)用價(jià)值。隨著航班數(shù)據(jù)的不斷積累，基于大數(shù)據(jù)的航班延誤預(yù)測方法也應(yīng)運(yùn)而生。

航班延誤預(yù)測的目標(biāo)是對于某一特定機(jī)場，在相對較短的時(shí)間內(nèi)預(yù)測其未來一段時(shí)間的延誤水平，因此涉及時(shí)間和空間兩個(gè)維度。在時(shí)間維度上，當(dāng)發(fā)生大面積航班延誤時(shí)，此時(shí)前一架航班的延誤會(huì)導(dǎo)致一段時(shí)間內(nèi)的后續(xù)航班延誤，造成機(jī)場內(nèi)的航班積壓。針對時(shí)間維度上的航班延誤預(yù)測問題，已有國內(nèi)外學(xué)者進(jìn)行了大量研究，多采用循環(huán)神經(jīng)網(wǎng)絡(luò)的一系列算法，文獻(xiàn)［1-6］中分別采用了經(jīng)典的長短時(shí)記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)和改進(jìn)后的雙向長短時(shí)記憶（Bidirectional Long Short-Term Memory，Bi-LSTM）網(wǎng)絡(luò)對航班延誤進(jìn)行分類或回歸預(yù)測。其中文獻(xiàn)［3］中通過多步預(yù)測和時(shí)空相關(guān)性的聯(lián)合挖掘，引入時(shí)間注意力機(jī)制和輔助特征構(gòu)建預(yù)測模型。文獻(xiàn)［5］中在Bi-LSTM 網(wǎng)絡(luò)的基礎(chǔ)上加入注意力機(jī)制來預(yù)測未來的航班延誤狀況。

但是，上述算法僅聚焦于航班延誤在時(shí)序上的影響，均未能有效提取航班數(shù)據(jù)中包含的空間信息，而航班數(shù)據(jù)中的空間信息對預(yù)測算法也十分重要。

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）是有效提取空間信息的算法之一，因此許多研究成果也基于空間維度展開。文獻(xiàn)［7-13］中分別提出了幾種基于不同卷積神經(jīng)網(wǎng)絡(luò)的延誤預(yù)測模型：文獻(xiàn)［10］中在航班數(shù)據(jù)中結(jié)合機(jī)場天氣數(shù)據(jù)，擴(kuò)充了數(shù)據(jù)集的特征數(shù)，然后通過區(qū)域殘差結(jié)構(gòu)提取數(shù)據(jù)空間特征；文獻(xiàn)［10］中通過卷積提取空間特征來預(yù)測地鐵站的擁堵情況；文獻(xiàn)［12］中采用通道和空間注意力機(jī)制來加強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)深層信息的傳遞。鑒于卷積神經(jīng)網(wǎng)絡(luò)的模型在提取空間特征上具有優(yōu)勢，氣象數(shù)據(jù)的加入也為卷積的實(shí)現(xiàn)提供了可能。

雖然已有同時(shí)考慮時(shí)空兩方面特性的預(yù)測方法，但目前已有預(yù)測方法多為兩種或多種算法的結(jié)合，存在算法間的融合問題。因此本文提出了一種基于時(shí)空序列的卷積長短時(shí)記憶（Convolutional LSTM，Conv-LSTM）網(wǎng)絡(luò)航班延誤預(yù)測模型，在提取數(shù)據(jù)中時(shí)序性的基礎(chǔ)上，加入氣象數(shù)據(jù)擴(kuò)充特征列，通過卷積操作同步提取數(shù)據(jù)的空間信息，以此充分利用樣本內(nèi)隱含的空間特征和樣本間的時(shí)序特征來進(jìn)行算法的迭代學(xué)習(xí)。然后，針對國內(nèi)4 個(gè)機(jī)場的航班數(shù)據(jù)對所提模型的有效性進(jìn)行了驗(yàn)證，并討論了氣象因素和序列長度對延誤狀態(tài)的影響。

在獲得模型預(yù)測結(jié)果之后，本文設(shè)計(jì)了一個(gè)航班延誤分析可視化系統(tǒng)。目前國內(nèi)外構(gòu)建可視化主要有兩種方式：客戶端/服務(wù)器（Client/Server，C/S）和瀏覽器/服務(wù)器（Browser/Server，B/S），其中B/S 架構(gòu)具有豐富的可視化模塊，本文將基于此架構(gòu)選擇Java 語言和Web 技術(shù)進(jìn)行航班延誤預(yù)測系統(tǒng)的開發(fā)。該系統(tǒng)利用航班信息和氣象數(shù)據(jù)，根據(jù)模型預(yù)測的結(jié)果并提供歷史航班數(shù)據(jù)統(tǒng)計(jì)和可視化功能。

1 航班延誤預(yù)測模型

航班延誤預(yù)測模型一共由三部分組成，分別是：輸入模型時(shí)的數(shù)據(jù)預(yù)處理、網(wǎng)絡(luò)的訓(xùn)練以及輸出模型時(shí)的分類和預(yù)測。其中網(wǎng)絡(luò)訓(xùn)練部分將在第2 章中做詳細(xì)描述。

模型整體結(jié)構(gòu)如圖1 所示。其中預(yù)處理模塊主要融合航班與氣象數(shù)據(jù)，對融合后的數(shù)據(jù)進(jìn)行編碼并轉(zhuǎn)換維度，以適應(yīng)網(wǎng)絡(luò)的輸入；模型訓(xùn)練模塊負(fù)責(zé)進(jìn)行網(wǎng)絡(luò)的搭建，學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)參數(shù)并保存模型；分類和預(yù)測模塊輸出各個(gè)延誤等級的概率值并返回最終的預(yù)測結(jié)果。

1.1 模型輸入

在深度學(xué)習(xí)算法中，輸入模型的數(shù)據(jù)集是至關(guān)重要的一部分，高質(zhì)量的數(shù)據(jù)集可以使模型性能大幅提升。

在原始數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練之前，首先需要數(shù)據(jù)預(yù)處理，預(yù)處理過程由數(shù)據(jù)清洗、數(shù)據(jù)融合、數(shù)據(jù)編碼和序列化四個(gè)部分組成。經(jīng)過數(shù)據(jù)處理后，所有變量將轉(zhuǎn)變?yōu)閿?shù)值型變量并統(tǒng)一做歸一化處理，然后對其通過滑窗劃分時(shí)序，使得數(shù)據(jù)同時(shí)具有時(shí)序性特征，整個(gè)數(shù)據(jù)預(yù)處理流程如圖2所示。

1.1.1 數(shù)據(jù)集介紹

本文使用的數(shù)據(jù)集為華北空中交通管理局提供的4 個(gè)國內(nèi)機(jī)場的航班與氣象數(shù)據(jù)，分別是北京首都機(jī)場、北京大興機(jī)場、天津?yàn)I海機(jī)場和石家莊正定機(jī)場，樣本量分別為305 萬、79 萬、107 萬和59 萬條，數(shù)據(jù)記錄時(shí)間為2019 年9 月至2020 年10 月。

航班數(shù)據(jù)包含“航班號(hào)”“飛機(jī)型號(hào)”“起降時(shí)間”“起降機(jī)場”“高度”和“速度”等23 個(gè)特征。

氣象數(shù)據(jù)每分鐘記錄一次，包含“跑道視程”“降雨量”“溫度”和“風(fēng)速”等49 個(gè)特征。

為了更好地描述航班延誤在時(shí)間維度上的影響，圖3 展示了一段天津機(jī)場2019 年10 月1 日10∶00～14∶00 航班延誤時(shí)間統(tǒng)計(jì)情況。圖3 記錄了這段時(shí)間內(nèi)27 架航班的延誤時(shí)長，從圖3 中可以看出，當(dāng)?shù)谝患芎桨喟l(fā)生延誤時(shí)，會(huì)對短時(shí)間內(nèi)后幾架航班的延誤造成較大影響，但隨著時(shí)間的推移，后續(xù)航班的延誤時(shí)間在逐漸減小，這說明航班延誤的影響只存在于與之相鄰的幾架航班之中，而延誤影響的航班數(shù)量就涉及網(wǎng)絡(luò)模型中時(shí)序這一參數(shù)的選擇。

1.1.2 數(shù)據(jù)預(yù)處理過程

1）數(shù)據(jù)清洗和標(biāo)注。

當(dāng)數(shù)據(jù)中缺失關(guān)鍵特征時(shí)，本文采用的方法是刪除整條航班或氣象數(shù)據(jù)；當(dāng)數(shù)據(jù)含有異常值時(shí)，用特征的平均值來進(jìn)行填充。由于本文選擇的神經(jīng)網(wǎng)絡(luò)為有監(jiān)督的算法，因此清洗數(shù)據(jù)后，需要對訓(xùn)練集數(shù)據(jù)進(jìn)行標(biāo)注。

2）數(shù)據(jù)融合。

將數(shù)據(jù)的特征完整、多樣化地放入模型中，有助于神經(jīng)網(wǎng)絡(luò)更充分地提取特征之間的信息。本文將航班數(shù)據(jù)和氣象數(shù)據(jù)做融合，擴(kuò)充數(shù)據(jù)集特征列，豐富了樣本的多樣性。此外，融合氣象數(shù)據(jù)會(huì)大幅增加樣本量，起到數(shù)據(jù)增強(qiáng)的作用，使得數(shù)據(jù)集更匹配網(wǎng)絡(luò)模型。在融合之前，需要提取關(guān)聯(lián)主鍵，以此作為融合的依據(jù)。首先提取航班數(shù)據(jù)的計(jì)劃起飛時(shí)間，然后提取天氣的記錄時(shí)間，將兩個(gè)時(shí)間同時(shí)作為鍵值進(jìn)行融合，即當(dāng)兩個(gè)時(shí)間相同時(shí)，將這兩條航班和氣象數(shù)據(jù)合并為一條。這樣就得到了在航班計(jì)劃起飛的時(shí)刻下，帶有此時(shí)氣象信息的一條航班數(shù)據(jù)。

3）數(shù)據(jù)編碼。

為了消除不同特征列維度之間的影響，輸入神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)往往需要將數(shù)據(jù)集編碼到同一量綱下，做歸一化處理，使得神經(jīng)網(wǎng)絡(luò)更好地學(xué)習(xí)數(shù)據(jù)之間的關(guān)聯(lián)。由于融合后的數(shù)據(jù)中包含數(shù)值型特征和離散型特征，本文對這兩種特征分別采用了不同的編碼方式，數(shù)值型特征采用MinMax 歸一化編碼，離散型特征采用Catboost 編碼［14］。

4）序列化。

由于航班延誤數(shù)據(jù)之間存在短期的時(shí)間相關(guān)性，因此本文將輸入數(shù)據(jù)構(gòu)造為一個(gè)時(shí)間序列，序列化過程如圖4 所示。首先將數(shù)據(jù)集E按記錄時(shí)間排序，得到數(shù)據(jù)集Et，然后使用序列長度為L的滑動(dòng)窗口進(jìn)行滑動(dòng)分割，每次向下滑動(dòng)1 個(gè)數(shù)據(jù)，得到一個(gè)新的長度為L的時(shí)間序列數(shù)據(jù)Enew。使用序列數(shù)據(jù)中最后一次飛行數(shù)據(jù)的標(biāo)簽作為網(wǎng)絡(luò)模型的輸出。

構(gòu)建出時(shí)序樣本之后，需要對樣本做數(shù)據(jù)集的劃分，按照一般經(jīng)驗(yàn)，本文訓(xùn)練集和驗(yàn)證集的樣本量劃分比重為8∶2。

1.2 模型輸出

經(jīng)過數(shù)據(jù)預(yù)處理后，將模型的輸入轉(zhuǎn)化為張量以適應(yīng)Conv-LSTM 網(wǎng)絡(luò)的輸入維度。表1 列出了Conv-LSTM 網(wǎng)絡(luò)輸入輸出的參數(shù)結(jié)構(gòu)，初始輸入維度為（15，72），即經(jīng)過序列化后得到的15 條數(shù)據(jù)作為1 個(gè)樣本，每個(gè)樣本包含72 列特征，經(jīng)過維度轉(zhuǎn)換后得到（15，8，9，1）的四維數(shù)組，其中最后一個(gè)維度為濾波器個(gè)數(shù)。

表1 網(wǎng)絡(luò)結(jié)構(gòu)組成和參數(shù)量Tab.1 Composition of network structure and number of parameters

對于模型輸出維度的劃分，本文參照中國民用航空局規(guī)定的15 min 內(nèi)為不延誤的標(biāo)準(zhǔn)，將航班延誤狀態(tài)按時(shí)間分為不延誤（小于15 min）、輕度延誤（15～60 min）、中度延誤（60～120 min）、高度延誤（120～240 min）、重度延誤（240 min以上）5 個(gè)等級。

在神經(jīng)網(wǎng)絡(luò)模型充分學(xué)習(xí)數(shù)據(jù)的特征后，將通過全連接層的Softmax 激活函數(shù)對輸出結(jié)果進(jìn)行分類預(yù)測，損失值通過交叉熵函數(shù)Categorical_Crossentropy 計(jì)算，其計(jì)算公式如式（1）所示，其中“I”在本文中的取值為5。

為了評價(jià)Bi-LSTM 和Conv-LSTM 網(wǎng)絡(luò)模型在航班延誤預(yù)測問題中的準(zhǔn)確率，本文采用的評價(jià)標(biāo)準(zhǔn)為：

其中：N是驗(yàn)證集中的數(shù)據(jù)量；acc代表模型預(yù)測的延誤等級與實(shí)際延誤等級相同的數(shù)量；precision是整個(gè)模型的準(zhǔn)確率。在預(yù)測階段，本文將使用未經(jīng)過網(wǎng)絡(luò)訓(xùn)練的測試數(shù)據(jù)集，調(diào)用訓(xùn)練集保存的編碼參數(shù)以及保存的模型對測試集進(jìn)行編碼以及預(yù)測，預(yù)測后返回各個(gè)等級的概率值，并將其中最大概率輸出為最終的預(yù)測結(jié)果等級。

2 Conv-LSTM網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)描述

LSTM網(wǎng)絡(luò)［15］是循環(huán)神經(jīng)網(wǎng) 絡(luò)（Recurrent Neural Network，RNN）的一種改進(jìn)算法，廣泛應(yīng)用于時(shí)間序列問題。由于航班延誤的短期時(shí)序性，通過LSTM 網(wǎng)絡(luò)對航班延誤數(shù)據(jù)進(jìn)行迭代學(xué)習(xí)，可以有效利用航班序列中前序延誤對當(dāng)前航班延誤的影響。Bi-LSTM［16］衍生自LSTM 網(wǎng)絡(luò)，在LSTM 網(wǎng)絡(luò)改善循環(huán)神經(jīng)網(wǎng)絡(luò)中梯度消失的基礎(chǔ)上，Bi-LSTM 可以進(jìn)一步考慮序列前后每個(gè)時(shí)間的延誤信息，而不僅僅是當(dāng)前時(shí)間之前的延誤信息。

圖5（a）為LSTM 單元結(jié)構(gòu)示意圖。從圖5（a）中可以看出，LSTM 網(wǎng)絡(luò)增加了多個(gè)門控結(jié)構(gòu)，在每個(gè)序列索引位置t都含有一個(gè)遺忘門、輸入門和輸出門，此外還增加了一個(gè)隱藏狀態(tài)C作為備選的更新狀態(tài)。

LSTM 的記憶功能主要依賴于結(jié)構(gòu)單元的中間狀態(tài)。中間狀態(tài)ht的更新由兩部分組成：第一部分是輸出門；第二部分由隱藏狀態(tài)Ct和tanh 激活函數(shù)組成。

Bi-LSTM 的結(jié)構(gòu)如圖5（b）所示，以虛線框處的時(shí)刻t為例，將輸入xt和前一時(shí)刻的中間狀態(tài)ht同時(shí)輸入正向LSTM層和反向LSTM層，得到中間層的輸出：正向和反向，然后對這兩個(gè)輸出按權(quán)重相乘得到網(wǎng)絡(luò)最終的輸出yt。計(jì)算公式如式（3）～（5）所示：

其中：w1～w6是每個(gè)輸入xt和中間層ht的權(quán)重參數(shù)。

Conv-LSTM 網(wǎng)絡(luò)［17］在Bi-LSTM 的基礎(chǔ)上，對輸入層和隱藏層加入卷積操作來提取空間特征。對于航班數(shù)據(jù)這類結(jié)構(gòu)化數(shù)據(jù)，首先需要進(jìn)行維度轉(zhuǎn)換，本文將2D 的數(shù)據(jù)格式根據(jù)特征總數(shù)轉(zhuǎn)化為一個(gè)盡可能方正的3D 數(shù)據(jù)，然后將轉(zhuǎn)換后的數(shù)據(jù)和權(quán)重參數(shù)進(jìn)行卷積，以此作為網(wǎng)絡(luò)結(jié)構(gòu)中三個(gè)門控結(jié)構(gòu)以及隱藏狀態(tài)的輸入。

Bi-LSTM 的每一層輸入都來自上一層的輸出，層與層之間采用全連接的方式；除此之外，每一層的結(jié)構(gòu)中，前后時(shí)刻的樣本將同時(shí)輸入進(jìn)隱藏層和下一層網(wǎng)絡(luò)。Bi-LSTM 的網(wǎng)絡(luò)結(jié)構(gòu)如圖6（a），Conv-LSTM 輸入輸出的結(jié)構(gòu)［17］如圖6（b）所示。

Conv-LSTM 的核心和Bi-LSTM 一樣，將上一層網(wǎng)絡(luò)的輸出作為下一層網(wǎng)絡(luò)的輸入。不同的是Conv-LSTM 加入卷積運(yùn)算后，不僅可以提取時(shí)序特征，還可以通過卷積操作提取空間特征。此外，網(wǎng)絡(luò)狀態(tài)之間的轉(zhuǎn)換也變成卷積操作，其單元結(jié)構(gòu)公式如下：

其中：wf、wi、wo和wC分別代表網(wǎng)絡(luò)中輸入門、遺忘門、輸出門和中間狀態(tài)的權(quán)重參數(shù)矩陣；bf、bi、bo和bC分別是三個(gè)門控結(jié)構(gòu)和中間狀態(tài)的偏置項(xiàng)；“*”表示卷積運(yùn)算；“?”表示Hadamard 矩陣乘積。

2.2 網(wǎng)絡(luò)反向傳播

搭建好網(wǎng)絡(luò)結(jié)構(gòu)之后，將進(jìn)行模型的訓(xùn)練和驗(yàn)證，模型的訓(xùn)練過程一般使用損失值作為目標(biāo)函數(shù)，其代表的物理意義是在有監(jiān)督的算法中，預(yù)測值與真實(shí)值之間的誤差大小。隨著訓(xùn)練迭代次數(shù)的增加，如果誤差越來越小，則代表訓(xùn)練效果越好，因此損失值將隨著訓(xùn)練過程的進(jìn)行而不斷降低。

在1.2 節(jié)的介紹中，本文使用的目標(biāo)函數(shù)為交叉熵?fù)p失函數(shù)，由于模型的最終輸出是5 類航班延誤預(yù)測等級，屬于分類問題，而交叉熵函數(shù)正適用于深度學(xué)習(xí)中的分類問題。該目標(biāo)函數(shù)的計(jì)算公式如下：

其中：I表示航班延誤的分類個(gè)數(shù)，本文中I的值為5表示網(wǎng)絡(luò)預(yù)測值；y表示網(wǎng)絡(luò)標(biāo)簽值。五分類激活函數(shù)采用Softmax 激活函數(shù)，其公式如下所示：

其中：zj表示經(jīng)過Softmax 前的輸出的5 個(gè)分類神經(jīng)元之一。

模型的反向傳播過程是通過對前向傳播得到的損失函數(shù)對z進(jìn)行鏈?zhǔn)角髮?dǎo)，如式（13）～（16）所示。由此不斷更新每一層的參數(shù)w和b，最終得到一個(gè)趨于收斂的損失值，此時(shí)模型達(dá)到最優(yōu)。

整個(gè)前向傳播和反向傳播的流程如圖7 所示。

此外，由于深度學(xué)習(xí)一般將數(shù)據(jù)集劃分為訓(xùn)練集和驗(yàn)證集，每一輪訓(xùn)練都將通過上述前向傳播輸出整個(gè)數(shù)據(jù)集的平均損失值，將訓(xùn)練和驗(yàn)證的損失值是否同步減小作為標(biāo)準(zhǔn)，再經(jīng)過反向傳播對網(wǎng)絡(luò)模型中的參數(shù)不斷調(diào)整，最終得到適合該網(wǎng)絡(luò)結(jié)構(gòu)的一套參數(shù)。

3 實(shí)驗(yàn)與結(jié)果分析

本章將介紹實(shí)驗(yàn)環(huán)境和基本參數(shù)，并通過不同維度對比驗(yàn)證模型的性能。

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境處理器為Intel Xeon E5Mu1620，GPU 內(nèi)存為11.92 GB，操作系統(tǒng)為Ubuntu16.04（64 位），深度學(xué)習(xí)開發(fā)環(huán)境為Tensorflow 1.10.0，實(shí)驗(yàn)環(huán)境所需參數(shù)如表2 所示。

表2 實(shí)驗(yàn)環(huán)境參數(shù)Tab.2 Parameters of experimental environment

3.2 氣象數(shù)據(jù)對準(zhǔn)確率的影響

氣象數(shù)據(jù)可以擴(kuò)充數(shù)據(jù)特征，增加樣本的多樣性，為卷積的實(shí)現(xiàn)提供可能。表3 列出了石家莊正定機(jī)場融合與不融合氣象數(shù)據(jù)的準(zhǔn)確率對比。

表3 氣象數(shù)據(jù)對準(zhǔn)確率的影響Tab.3 Influence of meteorological data on accuracy

在1.1.2 節(jié)介紹的數(shù)據(jù)融合中，本實(shí)驗(yàn)采用了兩種融合方法：一種是按照時(shí)間精度為1 min 融合航班和氣象數(shù)據(jù)；另一種按精度為10 min 融合。實(shí)驗(yàn)結(jié)果表明，在航班數(shù)據(jù)中添加1 min 的天氣數(shù)據(jù)后準(zhǔn)確率略有提高，而融合10 min 天氣數(shù)據(jù)準(zhǔn)確率有較大幅度提高。分析原因如下：

一方面，以1 min 為時(shí)間精度融合氣象的數(shù)據(jù)集只增加了特征列，以實(shí)現(xiàn)卷積操作，但是以10 min 精度融合氣象不僅增加了特征列，還大大增加了數(shù)據(jù)量。與一條航班信息對應(yīng)融合一條氣象數(shù)據(jù)相比，該方法一條航班融合了10 條氣象數(shù)據(jù)，使數(shù)據(jù)集擴(kuò)大了近10 倍。在增加樣本多樣性的同時(shí)，也解決了數(shù)據(jù)集小但模型復(fù)雜導(dǎo)致的過擬合問題。

另一方面，融合10 min 的氣象后，每條航班相當(dāng)于加入了前后10 min 之內(nèi)的10 條氣象數(shù)據(jù)，因此網(wǎng)絡(luò)可以學(xué)習(xí)更多數(shù)據(jù)之間的相關(guān)性，使得預(yù)測的分類結(jié)果更加準(zhǔn)確。

3.3 序列長度對準(zhǔn)確率的影響

序列長度是循環(huán)神經(jīng)網(wǎng)絡(luò)系列中的一個(gè)重要參數(shù)。由于航班延誤與時(shí)間相關(guān)，本節(jié)將討論序列化過程中序列長度對網(wǎng)絡(luò)結(jié)果的影響。本文測試了9 個(gè)不同的步長參數(shù)，使用的數(shù)據(jù)集為石家莊正定機(jī)場的航班和氣象數(shù)據(jù)，最終得到的準(zhǔn)確率如表4 所示。

表4 序列長度對準(zhǔn)確率和訓(xùn)練時(shí)間的影響Tab.4 Influence of sequence length on accuracy and training time

表4 列出了隨著序列長度的增加準(zhǔn)確率的變化，對比發(fā)現(xiàn)，并不是序列越長，準(zhǔn)確率越高，當(dāng)步長為15時(shí)，準(zhǔn)確率達(dá)到最高值。在步長較短時(shí)，準(zhǔn)確率呈上升趨勢，而步長為17時(shí)不但準(zhǔn)確率略有下降，訓(xùn)練時(shí)間也大幅增長。

隨著步長的增加，過長時(shí)間后的航班狀態(tài)對當(dāng)前時(shí)刻的航班是否延誤的影響已經(jīng)較小或是消失，因此網(wǎng)絡(luò)會(huì)學(xué)習(xí)到無關(guān)信息，造成數(shù)據(jù)冗余，導(dǎo)致準(zhǔn)確率降低；此外，更長的時(shí)間序列會(huì)消耗更多的訓(xùn)練時(shí)間。從表4 中幾組數(shù)據(jù)的對比可以看出，15 是較為合適的時(shí)序長度取值，因此，本文將序列長度取值為15 作為后續(xù)實(shí)驗(yàn)的基本參數(shù)。

3.4 不同模型的準(zhǔn)確率比較

本節(jié)將通過3 種不同網(wǎng)絡(luò)模型的訓(xùn)練準(zhǔn)確率，對比討論本文算法相較于單獨(dú)的時(shí)序網(wǎng)絡(luò)和卷積網(wǎng)絡(luò)的優(yōu)勢，以及時(shí)序信息和空間信息分別在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中所起的作用。

使用4 個(gè)國內(nèi)不同機(jī)場融合10 min 的氣象后的航班數(shù)據(jù)作為數(shù)據(jù)集，列出了3 種不同網(wǎng)絡(luò)，以及同一種網(wǎng)絡(luò)3 種不同層數(shù)下，網(wǎng)絡(luò)模型的驗(yàn)證集準(zhǔn)確率對比，其中包括二維卷積（Convolutional-2 Dimention，Conv-2D）網(wǎng)絡(luò)模型，1～3 層的LSTM 網(wǎng)絡(luò)模型以及1～3 層Conv-LSTM 網(wǎng)絡(luò)模型。實(shí)驗(yàn)結(jié)果如表5 所示。

表5 不同數(shù)據(jù)集上各模型準(zhǔn)確率對比 單位：%Tab.5 Accuracy comparison of different models on different datasets unit：%

表5中，ZBAA、ZBAD、ZBTJ 和ZBSJ 分別為北京首都機(jī)場、北京大興機(jī)場、天津?yàn)I海機(jī)場和石家莊正定機(jī)場的地名代碼。各機(jī)場融合氣象后的數(shù)據(jù)總量分別為305 萬、79 萬、107 萬和59 萬條。從表5 中可以看出，在不同機(jī)場的數(shù)據(jù)集中，Conv-LSTM 網(wǎng)絡(luò)的準(zhǔn)確率都比單獨(dú)使用時(shí)間序列網(wǎng)絡(luò)LSTM 或卷積網(wǎng)絡(luò)Conv-2D 更高。與LSTM-3 相比，Conv-LSTM-3 增加了卷積部分，準(zhǔn)確率平均提高了0.65 個(gè)百分點(diǎn)。與Conv-2D 相比，Conv-LSTM-3 增加了時(shí)序部分，準(zhǔn)確率平均提高了2.36 個(gè)百分點(diǎn)。

圖8 展示了石家莊正定機(jī)場數(shù)據(jù)集下3 種網(wǎng)絡(luò)模型的準(zhǔn)確率曲線。從圖8 和表5 中都可以看出，由于Conv-LSTM 網(wǎng)絡(luò)中包含時(shí)序信息的保留以及卷積特征的提取，相較于單獨(dú)使用時(shí)序網(wǎng)絡(luò)或者卷積網(wǎng)絡(luò)，模型收斂時(shí)的準(zhǔn)確率都更高。

在Conv-LSTM 網(wǎng)絡(luò)中，本文通過實(shí)驗(yàn)嘗試了3 個(gè)不同數(shù)量的網(wǎng)絡(luò)層數(shù)。對于含有LSTM 結(jié)構(gòu)這樣的復(fù)雜網(wǎng)絡(luò)，3 層網(wǎng)絡(luò)層已經(jīng)是一個(gè)非常龐大的網(wǎng)絡(luò)結(jié)構(gòu)模型，從表5 可以看出，3 層Conv-LSTM 網(wǎng)絡(luò)的準(zhǔn)確率最高。

3.5 不同模型的損失值比較

損失值是評估神經(jīng)網(wǎng)絡(luò)模型是否擬合良好的重要參數(shù)，和準(zhǔn)確率相對應(yīng)。當(dāng)準(zhǔn)確率升高，損失值降低，相反則損失值上升。圖9 展示了3 種不同網(wǎng)絡(luò)及同一網(wǎng)絡(luò)不同層數(shù)訓(xùn)練時(shí)的損失值下降趨勢。

圖9 中所展示的曲線為驗(yàn)證集的損失值下降趨勢圖，本文中訓(xùn)練集與驗(yàn)證集曲線擬合良好，在每個(gè)網(wǎng)絡(luò)參數(shù)調(diào)整至最優(yōu)的情況下，將不同模型的驗(yàn)證集損失值曲線進(jìn)行了對比。

本節(jié)同樣展示了石家莊正定機(jī)場融合10 min 氣象后的航班數(shù)據(jù)，訓(xùn)練集樣本量為80%，驗(yàn)證集樣本量為20%，模型訓(xùn)練輪數(shù)為100 輪。

通常情況下，損失值越小，準(zhǔn)確率越高，表示訓(xùn)練效果越好。從圖9 可以看出，每個(gè)網(wǎng)絡(luò)模型中，訓(xùn)練集和驗(yàn)證集的損失值下降平緩，且擬合良好，符合一般深度學(xué)習(xí)模型的下降規(guī)律，其中Conv-LSTM3 層網(wǎng)絡(luò)的損失值最低，達(dá)到了0.028 7。

4 航班延誤預(yù)測系統(tǒng)

該系統(tǒng)是為空中交通管制部門開發(fā)，將安裝在中國民用航空局華北空中交通管理局，空中交通管制中心的流量管理室，其系統(tǒng)架構(gòu)如圖10 所示。

4.1 預(yù)測系統(tǒng)介紹

本文航班延誤預(yù)測系統(tǒng)包含5 個(gè)模塊。

1）獲取航班信息。系統(tǒng)數(shù)據(jù)的導(dǎo)入采用離線導(dǎo)入方式，前端提供數(shù)據(jù)的導(dǎo)入接口，并通過數(shù)據(jù)庫管理數(shù)據(jù)。

2）深度學(xué)習(xí)（Deep Learning，DL）算法模塊。基于深度學(xué)習(xí)模型的航班延誤預(yù)測算法，主要完成氣象和航班信息的融合，實(shí)現(xiàn)模型的訓(xùn)練和航班延誤預(yù)測。

3）數(shù)據(jù)庫管理系統(tǒng)（Data Management System，DMS）。建立基于MySQL 的數(shù)據(jù)庫，負(fù)責(zé)航班信息和氣象信息的查詢，并管理其他終端的數(shù)據(jù)訪問操作。

4）航班延誤信息處理（Flight Delay Information Processing，F(xiàn)DIP）。負(fù)責(zé)接收航班和氣象信息，對航班延誤信息進(jìn)行查詢和統(tǒng)計(jì)分析，調(diào)用航班延誤預(yù)測算法獲取預(yù)測結(jié)果，并將結(jié)果轉(zhuǎn)發(fā)到航班延誤服務(wù)終端進(jìn)行可視化顯示。

5）航班延誤服務(wù)終端（Flight Delay Service Terminal，F(xiàn)DST）。完成對歷史航班延誤數(shù)據(jù)的查詢和統(tǒng)計(jì)分析，展示航班延誤預(yù)測的結(jié)果，并將預(yù)測結(jié)果按延誤程度進(jìn)行排序。

4.2 航班延誤界面

對深度學(xué)習(xí)算法進(jìn)行封裝后，使用Socket 調(diào)用訓(xùn)練好的航班延誤預(yù)測模型，系統(tǒng)后端為客戶端，算法為服務(wù)端。

系統(tǒng)啟動(dòng)后，算法端監(jiān)聽可視化系統(tǒng)后端發(fā)送的請求，前端獲取用戶上傳的航班調(diào)度信息，由后端解析航班數(shù)據(jù)上傳至算法服務(wù)器，然后將航班數(shù)據(jù)發(fā)送到航班延誤預(yù)測模塊進(jìn)行數(shù)據(jù)處理和預(yù)測，最終得到預(yù)測的每條航班的延誤等級。預(yù)測結(jié)果通過Socket 返回到系統(tǒng)后端，再到前端接口，最后存儲(chǔ)到數(shù)據(jù)庫中。

5 結(jié)語

本文基于國內(nèi)航班與氣象數(shù)據(jù)提出了一種同時(shí)考慮了時(shí)空序列，基于Conv-LSTM 網(wǎng)絡(luò)的航班延誤預(yù)測模型，Conv-LSTM 算法可以充分提取數(shù)據(jù)中的時(shí)間序列和空間信息，有利于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)。本文的主要結(jié)論如下：

1）航班延誤預(yù)測問題是一個(gè)時(shí)空預(yù)測問題，只有在某一特定空間中，其延誤狀態(tài)才具有時(shí)序相關(guān)性，因此本文中將考慮的空間限定為某一單個(gè)機(jī)場，在這一特定空間下，引入時(shí)序的網(wǎng)絡(luò)模型對延誤狀態(tài)進(jìn)行預(yù)測，并通過卷積操作提取數(shù)據(jù)中隱含的空間信息。Conv-LSTM 與經(jīng)典的時(shí)序LSTM 網(wǎng)絡(luò)以及卷積CNN 相比，能夠同時(shí)提取數(shù)據(jù)中的時(shí)間序列特征和空間特征，因此可以在訓(xùn)練時(shí)獲得更高的準(zhǔn)確率。

2）航班延誤狀態(tài)具有短期的時(shí)間相關(guān)性，因此時(shí)間序列的長度是Conv-LSTM 網(wǎng)絡(luò)中的一個(gè)重要參數(shù)，當(dāng)輸入序列過長則延誤影響會(huì)降低，造成數(shù)據(jù)冗余，序列長度過短會(huì)導(dǎo)致輸入數(shù)據(jù)中包含的信息量和神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不匹配，模型無法正常擬合。對于本文中選用的四個(gè)國內(nèi)機(jī)場數(shù)據(jù)集，當(dāng)序列長度為15時(shí)，模型的性能最好。

3）氣象因素是造成航班延誤的重要影響因素之一，因此氣象數(shù)據(jù)也是航班飛行數(shù)據(jù)中的重要組成部分，它包含的特征列中含有許多關(guān)于航班狀態(tài)的有效信息。加入氣象數(shù)據(jù)之后，整個(gè)數(shù)據(jù)集的特征變多，卷積網(wǎng)絡(luò)可以發(fā)揮更大的作用，準(zhǔn)確率也會(huì)相應(yīng)提高。

后續(xù)研究將圍繞特征工程展開，如何通過提升數(shù)據(jù)集的質(zhì)量來提高模型準(zhǔn)確率，并研究實(shí)現(xiàn)回歸模型預(yù)測具體的延誤時(shí)間。