基于PN和CNN-LSTM-ATT的航班延誤預(yù)測

吳 涔,葉 寧,2,王 甦,季翔宇

(1.南京郵電大學(xué) 計(jì)算機(jī)學(xué)院、軟件學(xué)院、網(wǎng)絡(luò)空間安全學(xué)院,江蘇 南京 210023;2.江蘇省無線傳感網(wǎng)高技術(shù)研究重點(diǎn)實(shí)驗(yàn)室,江蘇 南京 210023)

0 引 言

隨著國民經(jīng)濟(jì)和民航業(yè)的快速發(fā)展,航班延誤產(chǎn)生的壓力也是越來越大。航班延誤不僅會(huì)影響旅客的出行計(jì)劃,給旅客帶來時(shí)間和經(jīng)濟(jì)損失,同時(shí)也增加了航空公司的運(yùn)營成本,影響了機(jī)場和空管部門的正常運(yùn)營。然而航班的延誤通常是由多方面因素造成的,因此延誤是難以完全避免的[1]。針對航班延誤問題,國內(nèi)外學(xué)者已展開大量研究,大多采用支持向量機(jī)、決策樹、神經(jīng)網(wǎng)絡(luò)等傳統(tǒng)的機(jī)器學(xué)習(xí)算法。為了提高機(jī)場地面業(yè)務(wù)的處理效率,Patrick等[2]提出一種多智能體計(jì)劃方法重組機(jī)場地面業(yè)務(wù)管理,減少因各業(yè)務(wù)部門間信息共享延遲而造成的延誤,但僅停留在理論層面,仍需要更多實(shí)際場景進(jìn)行驗(yàn)證。楊玨[3]通過不同啟發(fā)算法的遺傳算法對保障服務(wù)無延誤且調(diào)度成本最低的車輛路徑模型進(jìn)行求解,找到最佳車輛調(diào)度路徑從而提高地面保障效率。Wu等[4]從機(jī)場、航空公司和航班三個(gè)方面更為全面地考慮影響航班延誤的因素,為降低模型復(fù)雜度,使用主成分分析法進(jìn)行降維,將歷史數(shù)據(jù)作為先驗(yàn)知識(shí)輸入到SVM模型,從而預(yù)測延誤時(shí)間。Jiang等[5]提出了一種基于長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)的模型,分析了時(shí)間特征、航班屬性、機(jī)場和城市天氣情況等多維度因素,結(jié)合過去一段時(shí)間的延誤情況,同時(shí)預(yù)測了航班延誤率、平均延誤時(shí)間等多個(gè)延誤指標(biāo),該方法有助于提前發(fā)現(xiàn)航班延誤趨勢的變化,為機(jī)場調(diào)度提供決策。但上述研究均只采用了單一模型,很難挖掘不連續(xù)數(shù)據(jù)之間的潛在信息。因此,有研究[6-10]將CNN和LSTM模型融合進(jìn)行預(yù)測和分類,但對于模型來說,每條數(shù)據(jù)的重要性是不一樣的,出現(xiàn)延誤情況的數(shù)據(jù)項(xiàng)含有更多的隱含信息,這種重要性差異是很難在CNN模型中體現(xiàn)的,使得模型難以正確評估樣本的重要性。通過模仿人的注意力,Vaswani[11]提出了注意力機(jī)制(Attention Mechanism)的概念,使得神經(jīng)網(wǎng)絡(luò)模型能關(guān)注更加有效的信息。

大型機(jī)場地面保障環(huán)境復(fù)雜多變,對于外界因素的改變,人工和機(jī)器學(xué)習(xí)模型都難以及時(shí)響應(yīng)。因此,為了提高預(yù)測準(zhǔn)確率,對保障流程系統(tǒng)進(jìn)行分析具有重要的現(xiàn)實(shí)意義。Petri Net對于具有異步、并發(fā)和沖突等關(guān)系的系統(tǒng)具有良好的建模能力,因此被廣泛應(yīng)用于工作流管理、故障診斷和電力系統(tǒng)等領(lǐng)域。Zhu[12]使用Petri Net描述機(jī)場停機(jī)坪的交通動(dòng)態(tài),利用著色時(shí)序Petri網(wǎng)對各運(yùn)行區(qū)域進(jìn)行動(dòng)態(tài)建模,反映停機(jī)坪交通系統(tǒng)的控制和資源占用規(guī)則,提出了停機(jī)坪沖突控制機(jī)制。Davidrajuh等[13]提出了一種通過擴(kuò)展聚類算法來自動(dòng)檢測關(guān)鍵元素的算法,將大規(guī)模離散事件構(gòu)成的Petri Net模塊化,降低了模型的復(fù)雜度,便于系統(tǒng)的進(jìn)一步分析。Luo等[14]將排隊(duì)論和Petri Net相結(jié)合來實(shí)現(xiàn)服務(wù)系統(tǒng)態(tài)勢感知,該模型對通用服務(wù)系統(tǒng)具有重要意義,能夠更加全面地描述一般服務(wù)系統(tǒng),并從宏觀上展現(xiàn)系統(tǒng)之間的聯(lián)系。

因此,為了提升航班延誤預(yù)測模型的靈活性和準(zhǔn)確性,及時(shí)分析和應(yīng)對外部條件變化,該文提出了一種將時(shí)序Petri Net與融合模型CNN-LSTM-ATT結(jié)合構(gòu)建航班延誤預(yù)測模型的研究方法,根據(jù)機(jī)場實(shí)際航班地面保障流程,構(gòu)建航班保障流程Petri Net,通過矩陣推理對保障流程的關(guān)鍵路徑進(jìn)行計(jì)算,分析其中關(guān)鍵流程作業(yè)成為動(dòng)態(tài)特征。然后,將航班信息、機(jī)場延誤信息、機(jī)場天氣信息以及關(guān)鍵流程信息輸入到融合預(yù)測模型進(jìn)行延誤分類預(yù)測,通過國內(nèi)大型機(jī)場實(shí)際數(shù)據(jù)對模型的有效性進(jìn)行分析驗(yàn)證。

1 流程描述

1.1 航班過站保障流程

航班過站保障流程是指過站航空器從上輪擋開始到撤輪擋完成期間內(nèi)做出的一系列的保障作業(yè)的集合,根據(jù)《航班安全運(yùn)行保障標(biāo)準(zhǔn)》中的規(guī)定,不同機(jī)型具有不同的保障工作時(shí)長規(guī)定,該文主要研究當(dāng)前大型機(jī)場中最常見的A320系列、B737系列等型號航空器。航班地面保障工作流程中包含了許多并聯(lián)工作關(guān)系和串聯(lián)工作關(guān)系,各項(xiàng)作業(yè)之間存在一定的約束關(guān)系。保障流程按照服務(wù)類型可以分為航空器服務(wù)、旅客服務(wù)以及貨艙服務(wù)。

考慮到旅客體驗(yàn)以及安全問題,保障流程中的部分工作之間存在一定的先后關(guān)系和邏輯次序,例如,在客艙清潔、配餐食和加油工作完成后才能安排旅客登機(jī)工作,貨艙卸艙完成后才可以安排貨物裝艙等,所以在工作流中一項(xiàng)作業(yè)的超時(shí)有可能會(huì)造成后繼作業(yè)的延期開啟。該文研究的保障作業(yè)流程如圖1所示。

圖1 航班保障作業(yè)流程

1.2 航班延誤預(yù)測流程

機(jī)場地面環(huán)境復(fù)雜,航班在進(jìn)行保障的過程中會(huì)受到很多外界因素的干擾,過站保障時(shí)長會(huì)隨之產(chǎn)生波動(dòng),現(xiàn)有的神經(jīng)網(wǎng)絡(luò)預(yù)測具有較高的準(zhǔn)確率,但缺乏對保障工作運(yùn)作的實(shí)時(shí)分析,因此目前在很多大型機(jī)場中,為保障航班準(zhǔn)時(shí)出發(fā)的保障作業(yè)時(shí)長調(diào)整往往在異常發(fā)生后才能進(jìn)行。對于機(jī)場外部條件的變化,現(xiàn)有的預(yù)測模型是很難及時(shí)應(yīng)對的。

經(jīng)分析,航班在出現(xiàn)延誤時(shí),地面部分保障作業(yè)會(huì)出現(xiàn)超出規(guī)定時(shí)長的情況,為分析具體保障作業(yè)對整體航班過站時(shí)長的影響,因此研究設(shè)計(jì)首先參考機(jī)場實(shí)際航班保障作業(yè)流程圖,抽象化建立地面保障流程Petri Net模型,計(jì)算歷史平均保障時(shí)間來獲取動(dòng)態(tài)關(guān)鍵保障作業(yè),將其作為動(dòng)態(tài)特征與航班基本特征、場面延誤信息以及外部天氣信息進(jìn)行數(shù)據(jù)預(yù)處理后輸入到融合預(yù)測模型。模型使用航班宏觀特征以及微觀特征進(jìn)行延誤分類來解決預(yù)測模型缺乏靈活性的問題。

2 時(shí)序Petri Net建模與分析

2.1 Petri Net

Petri Net (PN)是一種適用于描述離散事件系統(tǒng)并發(fā)、沖突和死鎖等動(dòng)態(tài)行為的圖形化的數(shù)學(xué)工具[15]。航班保障過程包含了一系列具有先后次序和邏輯次序的作業(yè)。PN由庫所(Place)、變遷(Transition)和有向弧(Directed arcs)連接而成,庫所表示作業(yè)狀態(tài),變遷表示作業(yè)變化過程,有向弧用來表示庫所和變遷之間的依賴關(guān)系。

PN模型可表示為:PN=(P,T,F),其中,P={p1,p2,…,pm}是庫所集合,每一個(gè)pi表示保障作業(yè)任務(wù)狀態(tài),T={t1,t2,…,tn}是變遷集合,每一個(gè)ti表示保障作業(yè)過程,且P∩T≠?,P∪T≠?,F?(P×T)∪(T×P)表示的是T和P之間的有向弧集合。

PN=(P,T,F)為最基本的網(wǎng)絡(luò)結(jié)構(gòu),PN會(huì)通過托肯(Token)來反映流程進(jìn)行到何種狀態(tài),托肯常常用來表示資源的數(shù)量。PN系統(tǒng)行為的本質(zhì)是資源的流動(dòng),保障過程中流動(dòng)的可以理解為不斷改變工作狀態(tài)標(biāo)簽的保障人員。保障過程中局部作業(yè)的延期會(huì)波及后續(xù)作業(yè),從而導(dǎo)致航班延誤。PN模型聚焦保障作業(yè)節(jié)點(diǎn),以便于預(yù)測模型對保障流程內(nèi)部作業(yè)的關(guān)注。例如,t1是關(guān)艙門廊橋撤離,t2是撤輪擋作業(yè),兩項(xiàng)作業(yè)具有嚴(yán)格的先后次序,只有前序變遷完成時(shí)托肯流入后續(xù)庫所,托肯的流動(dòng)是矩陣推理的基礎(chǔ)。PN=(T,P,F,M)表示的是一個(gè)帶有標(biāo)識(shí)的Petri Net,M(P)可以用來表示庫所中的托肯,因此,PN的標(biāo)識(shí)可以通過m維正整數(shù)向量來表示,從而對流程進(jìn)行分析計(jì)算。

2.2 航班保障流程關(guān)鍵特征提取

以國內(nèi)某大型機(jī)場航空器地面運(yùn)行保障全流程為例,其離港航班地面保障作業(yè)如表1所示。總共包含15項(xiàng)保障作業(yè)和1項(xiàng)虛擬作業(yè),相關(guān)作業(yè)具有一定的串行或者并行的邏輯關(guān)系。

表1 保障作業(yè)與變遷

根據(jù)上述作業(yè)對應(yīng)變遷以及作業(yè)之間的緊前后繼關(guān)系,對1.1節(jié)的航班保障作業(yè)流程抽象構(gòu)建離港航班地面保障作業(yè)Petri Net模型,如圖2所示。

圖2 地面保障作業(yè)Petri Net模型

為了獲得該模型的關(guān)鍵路徑,獲取其中關(guān)鍵流程作業(yè)用于后續(xù)分析,需要計(jì)算獲得PN中S不變量來對其進(jìn)行分析,PN的關(guān)聯(lián)矩陣可以用來表示其中的狀態(tài)并用于描述狀態(tài)轉(zhuǎn)換。

定義1:設(shè)PN=(P,T,F,M0)為一個(gè)時(shí)序Petri Net模型,庫所集合P={p1,p2,…,pm},變遷集合T={t1,t2,…,tn},該系統(tǒng)中(P,T,F)可以用n×m的矩陣表示,C=[cij]n×m,稱C為該網(wǎng)絡(luò)系統(tǒng)的關(guān)聯(lián)矩陣。

根據(jù)定義1可知,關(guān)聯(lián)矩陣C中一行元素個(gè)數(shù)對應(yīng)的是系統(tǒng)中的變遷個(gè)數(shù),每個(gè)元素用來表示托肯數(shù)的改變。

定義2:設(shè)PN=(P,T,F,M0)為一個(gè)時(shí)序Petri Net模型,當(dāng)且僅當(dāng)m維列向量Y滿足以下條件:

(1)Cn×m·Ym×1=0;

(2)向量Y中的任一元素均為整數(shù)。則稱Y是PN的S不變量。

C·Y=0

(1)

式中,C為模型的關(guān)聯(lián)矩陣,Y為需要求解的S不變量,可以獲得模型的所有S不變量,該文建立的PN模型通過矩陣推理可獲得7個(gè)一維矩陣,如式(2)所示。

(2)

在求解獲得的不變量中,數(shù)字‘1’代表該庫所暢通,根據(jù)計(jì)算獲得的7個(gè)S不變量,可以獲得7條保障作業(yè)路徑,因此求得的不變量如表2所示。

表2 S不變量及對應(yīng)路徑

根據(jù)航空公司給出的歷史航班地面保障作業(yè)時(shí)間數(shù)據(jù)輸入到PN模型,計(jì)算上述各路徑的總作業(yè)時(shí)長,對比獲得關(guān)鍵路徑,計(jì)算獲取關(guān)鍵路徑中時(shí)間占比最大的作業(yè)和在出現(xiàn)延誤情況下時(shí)間波動(dòng)最大的作業(yè),具體數(shù)據(jù)計(jì)算方法見4.1節(jié)。保障流程中的關(guān)鍵作業(yè)項(xiàng)會(huì)受到天氣信息、航班流量和機(jī)位調(diào)整等因素出現(xiàn)改變,定期將歷史數(shù)據(jù)輸入模型中獲取到的關(guān)鍵作業(yè)項(xiàng)會(huì)出現(xiàn)變化,動(dòng)態(tài)變化的節(jié)點(diǎn)項(xiàng)成為動(dòng)態(tài)微觀特征,再融合其他常規(guī)特征項(xiàng)輸入到融合預(yù)測模型。

3 基于CNN-LSTM-ATT的延誤預(yù)測模型

由于航班過站期間場面復(fù)雜多變,受多種因素影響,單一預(yù)測模型不夠穩(wěn)定,容易忽略重要特征信息,該文融合多種模型,利用注意力機(jī)制賦予重要特征更多的權(quán)重,以此提高模型預(yù)測精度。

3.1 CNN特征提取

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)的主要功能是從數(shù)據(jù)中提取特征。CNN由卷積層、池化層和全連接層組成[16]。卷積層是提取特征的關(guān)鍵,通過卷積核對輸入數(shù)據(jù)進(jìn)行特征提取,卷積核數(shù)量增加會(huì)使得提取出的特征更為抽象,通過RELU激活函數(shù)加入非線性因素解決問題,該文采用最大池化層忽略一些不重要的信息加快計(jì)算速度以及防止過擬合。全連接層可以將池化層獲得的數(shù)據(jù)擴(kuò)展成一維向量,方便后續(xù)輸出操作。但CNN再進(jìn)行預(yù)測時(shí)很難學(xué)習(xí)到序列數(shù)據(jù)之間的關(guān)系,航班數(shù)據(jù)之間具有依賴關(guān)系,所以需要將CNN與RNN進(jìn)行結(jié)合。

3.2 LSTM基本原理

LSTM是一種改進(jìn)的循環(huán)神經(jīng)網(wǎng)絡(luò),它解決了模型訓(xùn)練中梯度消失的問題并且能夠?qū)W習(xí)序列信息的依賴關(guān)系[17],現(xiàn)如今LSTM由于其良好的學(xué)習(xí)性能,已經(jīng)被應(yīng)用于很多場景中。

LSTM的基本神經(jīng)單元包含了遺忘門、輸入門和輸出門,門可以理解為對數(shù)據(jù)的一次處理。遺忘門主要是過濾對模型訓(xùn)練無用的干擾信息,根據(jù)上一時(shí)刻的輸出ht-1和當(dāng)前輸入xt共同產(chǎn)生一個(gè)值來決定是否讓上一時(shí)刻學(xué)到的信息通過該單元;輸入門則會(huì)產(chǎn)生需要的新信息,使用sigmoid選出的信息和tanh來生成新的候選信息結(jié)合進(jìn)行信息更新;最后輸出門控制模型的輸出,LSTM當(dāng)前狀態(tài)單元的輸出是由前一時(shí)刻的數(shù)據(jù)和當(dāng)前輸入的數(shù)據(jù)共同生成的,具體計(jì)算公式如式(3)所示。

ft=σ(Wf[ht-1,xt]+bf)

it=σ(Wi[ht-1,xt]+bi)

Ot=σ(WO[ht-1,xt]+bO)

(3)

gt=tanh(Wg[ht-1,xt]+bg)

Ct=gt·it+ft·Ct-1

ht=Ot·tanh(Ct)

式中,ft、it、Ot分別代表遺忘門、輸入門和輸出門,Ct表示當(dāng)前單元狀態(tài),ht表示隱層狀態(tài),W和b分別表示權(quán)重和偏移量,σ表示sigmoid激活函數(shù)。

在改進(jìn)的LSTM中,模型訓(xùn)練過程中會(huì)根據(jù)設(shè)置的概率臨時(shí)隨機(jī)刪除隱藏層中的神經(jīng)元,來防止過擬合,未刪除的神經(jīng)元進(jìn)行連接,輸入信息前向傳播,獲得的損失值進(jìn)行反向傳播,在模型結(jié)束訓(xùn)練后更新未被刪除的神經(jīng)元的權(quán)值,臨時(shí)刪除的神經(jīng)元也要重新恢復(fù),重復(fù)這個(gè)過程直到數(shù)值收斂。

加入dropout的LSTM內(nèi)部計(jì)算式如式(4)所示。

(4)

3.3 Attention機(jī)制

LSTM具有提取長序列時(shí)序特征的能力,但序列長度過長時(shí),LSTM的性能會(huì)下降。對于航班延誤預(yù)測,只有選取足夠長的序列長度,才能包含更多對過站時(shí)長存在影響的因素。注意力機(jī)制用于計(jì)算每一個(gè)前序隱層輸出{h1,h2,…,ht-1}與當(dāng)前輸出ht的相關(guān)性,從而構(gòu)建當(dāng)前時(shí)刻的輸出ot。

注意力機(jī)制是一種模擬人腦注意力的資源配置機(jī)制。在某一時(shí)刻人的大腦會(huì)將注意力集中在需要關(guān)注的區(qū)域,減少甚至忽略對其他區(qū)域的關(guān)注,從而獲取更多值得關(guān)注的細(xì)節(jié),減少無用信息的影響并且放大了有用的信息。注意機(jī)制通過權(quán)重分配讓模型對關(guān)鍵信息給予足夠的關(guān)注,突出重要信息的影響,從而提高模型的準(zhǔn)確性,注意機(jī)制的引入可以有效改善LSTM由于序列過長而造成的信息丟失問題。LSTM層的輸出是注意力層的輸入,可以采用概率分配權(quán)重的方式對權(quán)重矩陣進(jìn)行計(jì)算,概率分布計(jì)算如式(5)所示。

vt=utanh(wht+b)

(5)

按照概率分布計(jì)算注意力權(quán)重αt以及輸出結(jié)果οt,計(jì)算方法如式(6)和式(7)所示。

(6)

(7)

3.4 CNN-LSTM-ATT模型

關(guān)鍵路徑提取的特征、航班信息、天氣信息和延誤信息實(shí)際上都是獨(dú)立特征,該文使用詞向量表示形式,將一個(gè)時(shí)刻的特征信息與標(biāo)簽值用向量形式表示,從而形成新的序列數(shù)據(jù)。根據(jù)數(shù)據(jù)量確認(rèn)了滑動(dòng)窗口的大小為20,步長為1來形成特征矩陣圖,輸入特征圖按照時(shí)間進(jìn)行排列。

將設(shè)計(jì)好的輸入數(shù)據(jù)特征輸入到融合預(yù)測模型,設(shè)計(jì)的融合預(yù)測模型流程如圖3所示。

圖3 CNN-LSTM-ATT網(wǎng)絡(luò)結(jié)構(gòu)

在模型的參數(shù)設(shè)置方面,CNN層卷積核個(gè)數(shù)為64,卷積核的長度為2。理論上,LSTM隱藏層越多,預(yù)測效果越好。但是,隨著層數(shù)的增加,訓(xùn)練時(shí)間也會(huì)大大增加,所以文中LSTM設(shè)置為兩層,第一層128個(gè)隱層通道,第二層64個(gè)隱層通道。注意力層對輸出有更大的影響,注意力層參數(shù)通過學(xué)習(xí)特征權(quán)值和分配特征輸入向量實(shí)現(xiàn)。

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)環(huán)境以及數(shù)據(jù)概述

為保證深度學(xué)習(xí)實(shí)驗(yàn)?zāi)軌蛘＿M(jìn)行,實(shí)驗(yàn)設(shè)備配備AMD Ryzen 5 5600H with Radeon Graphics,操作系統(tǒng)為Windows 10,內(nèi)存16 GB,實(shí)驗(yàn)使用的Keras的版本為2.0.8。

實(shí)驗(yàn)室用的數(shù)據(jù)集來源于國內(nèi)某大型機(jī)場提供的2021年1月至5月航班過站數(shù)據(jù),經(jīng)初步篩選,該數(shù)據(jù)集總共有38 000條數(shù)據(jù),其中包括了計(jì)劃出發(fā)、上輪擋時(shí)間、清潔時(shí)長、加油時(shí)長和裝艙時(shí)長等多項(xiàng)航班過站信息。實(shí)驗(yàn)中使用到的氣象數(shù)據(jù)來源于國家氣象科學(xué)數(shù)據(jù)中心提供的地面逐小時(shí)氣象數(shù)據(jù)。

此次實(shí)驗(yàn)?zāi)Ｐ洼斎胩卣靼ㄋ拇箢?具體說明如下:

第一類是動(dòng)態(tài)關(guān)鍵路徑關(guān)鍵作業(yè)時(shí)長,根據(jù)3.2節(jié)關(guān)鍵路徑的獲取方法,以1～5月航班歷史平均作業(yè)時(shí)間為例,各項(xiàng)地面平均作業(yè)時(shí)間如表3所示。

表3 各項(xiàng)作業(yè)地面歷史平均用時(shí)

根據(jù)表3所給出的各項(xiàng)作業(yè)平均用時(shí),計(jì)算各路徑的總時(shí)長。根據(jù)計(jì)算可知,2021年上半年對航班過站時(shí)間影響最大的路徑為Y3,平均路徑總時(shí)長為49.36分鐘,根據(jù)對該路徑的分析將配餐時(shí)長以及旅客登機(jī)時(shí)長這兩項(xiàng)作為該數(shù)據(jù)集的動(dòng)態(tài)微觀特征。

第二類是航班信息,主要包括航班號、航線、航班停機(jī)位、航班計(jì)劃起飛日期、計(jì)劃起飛時(shí)間、星期數(shù)、上輪擋時(shí)間、目的城市ID、值機(jī)人數(shù)和出港行李件數(shù)等20項(xiàng)特征。

第三類是機(jī)場延誤信息,包括前一天延誤架次、前一小時(shí)延誤架次、前一小時(shí)平均延誤時(shí)間共3項(xiàng)延誤信息特征。

第四類是天氣信息特征,主要包括機(jī)場的航班計(jì)劃起飛時(shí)間的天氣現(xiàn)象、可見度、風(fēng)力、風(fēng)向、溫度、大氣壓和目的機(jī)場天氣狀況共7項(xiàng)特征。

根據(jù)不同特征的屬性,需要對數(shù)據(jù)進(jìn)行預(yù)處理,使其更適合作為模型的輸入。首先,需要對缺失數(shù)據(jù)以及具有明顯邏輯錯(cuò)誤的數(shù)據(jù)進(jìn)行清洗;其次,如果直接將無序離散數(shù)據(jù)輸入到模型中會(huì)讓模型訓(xùn)練結(jié)果出現(xiàn)較大的偏差,所以采用了將離散數(shù)據(jù)按出現(xiàn)的頻次對其進(jìn)行編碼,連續(xù)數(shù)據(jù)按照min-max歸一化將數(shù)據(jù)映射到[0,1];最后,按照3.4節(jié)中對數(shù)據(jù)輸入格式的介紹,將數(shù)據(jù)轉(zhuǎn)化成多個(gè)20×32的特征矩陣圖。

4.2 分類標(biāo)準(zhǔn)

模型通過全連接層和softmax分類器來實(shí)現(xiàn)最后的分類輸出,根據(jù)民航局新規(guī)中機(jī)場對延誤的定義,航班實(shí)際離港時(shí)間與計(jì)劃起飛時(shí)間之間的差值在15分鐘以內(nèi),航班屬于未延誤,參考專家意見對于超出15分鐘的再劃分為不同的延誤等級,因此,將延誤時(shí)長(T)劃分為五個(gè)等級,分別是T≤15、15240,分類器根據(jù)劃分方式進(jìn)行延誤等級預(yù)測。

4.3 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)首先比較的是CNN、LSTM、CNN-LSTM以及文中使用的融合模型CNN-LSTM-ATT在數(shù)據(jù)集上的分類效果。CNN-LSTM-ATT先使用CNN對特征之間的聯(lián)系進(jìn)行挖掘,再將尋找到關(guān)聯(lián)的特征擴(kuò)展成以為向量輸入到LSTM中進(jìn)行分類預(yù)測的操作,注意力機(jī)制對重要的信息給予更多的關(guān)注供模型學(xué)習(xí)。

CNN模型設(shè)置3次卷積操作,卷積核長度設(shè)置為2,兩層最大池化層,參數(shù)設(shè)置為2,LSTM模型中LSTM層數(shù)為2,第一層包含128個(gè)隱層通道,第二層包含64個(gè)隱層通道,CNN-LSTM模型中層數(shù)以及參數(shù)設(shè)置按照文中提出的融合模型設(shè)置相同,實(shí)驗(yàn)中模型訓(xùn)練輪數(shù)設(shè)置為85次,每一次迭代批處理的樣本量為100。實(shí)驗(yàn)中觀察到,融合模型相較獨(dú)立模型耗時(shí)稍長,一次訓(xùn)練差值在7 s左右,訓(xùn)練耗時(shí)相差不大。

圖4展示了四個(gè)模型的損失值對比和準(zhǔn)確率對比,融合模型損失值收斂性能較好,損失值經(jīng)過訓(xùn)練降到0.1左右。融合模型準(zhǔn)確率比單一模型準(zhǔn)確率高,單一模型準(zhǔn)確率為92%左右,各種融合模型的準(zhǔn)確率均能達(dá)到96%以上,其中提出的融合模型CNN-LSTM-ATT準(zhǔn)確率高達(dá)98.1%,相比單一模型提升了6百分點(diǎn)。CNN模型可以有效獲取一條數(shù)據(jù)的關(guān)鍵特征,但難以發(fā)現(xiàn)時(shí)間序列之間的時(shí)序特征,場面上航班延誤具有聚集性,機(jī)場運(yùn)營數(shù)據(jù)按起飛時(shí)間排序后輸入模型,CNN模型難以捕捉每條數(shù)據(jù)的前后信息。LSTM模型難以挖掘一條數(shù)據(jù)的內(nèi)部相關(guān)性,數(shù)據(jù)內(nèi)部的多項(xiàng)特征之間存在一定的聯(lián)系,例如,天氣現(xiàn)象和前一小時(shí)延誤架次存在相關(guān)性。CNN-LSTM模型經(jīng)過訓(xùn)練準(zhǔn)確率可以達(dá)到96.2%,相比獨(dú)立模型,分類效果得到了提升,但對于部分延誤數(shù)據(jù)模型未能察覺其特殊性,模型沒有給予延誤數(shù)據(jù)特定的權(quán)重值進(jìn)行標(biāo)記,使得模型對這些數(shù)據(jù)難以做出準(zhǔn)確的判斷。

圖4 模型損失值和準(zhǔn)確率對比

為驗(yàn)證提出的PN模型獲取的動(dòng)態(tài)特征對模型分類預(yù)測準(zhǔn)確率的提升,設(shè)置對比實(shí)驗(yàn),評估該特征在模型訓(xùn)練中的作用,分別將加入動(dòng)態(tài)特征的和未加入動(dòng)態(tài)特征的特征數(shù)據(jù)輸入到CNN-LSTM-ATT預(yù)測模型。圖5所示為兩種輸入特征下的模型準(zhǔn)確率,兩組實(shí)驗(yàn)都進(jìn)行了85次訓(xùn)練,未添加動(dòng)態(tài)特征的數(shù)據(jù)集在該融合模中最終獲得了93.9%的準(zhǔn)確率,實(shí)驗(yàn)中該數(shù)據(jù)集在進(jìn)行了50次訓(xùn)練時(shí),準(zhǔn)確率趨于平穩(wěn),隨后準(zhǔn)確率便沒有明顯提升,表明模型難以對存在延誤的特殊信息進(jìn)行進(jìn)一步的學(xué)習(xí)。圖6顯示了兩種輸入數(shù)據(jù)在模型訓(xùn)練后輸出的混淆矩陣,后三種是存在明顯延誤情況的航班,模型對兩種輸入特征中不存在明顯延誤現(xiàn)象的航班能夠準(zhǔn)確分類,動(dòng)態(tài)特征的輸入給延誤航班提供了更大的學(xué)習(xí)特性,讓模型能夠更加準(zhǔn)確地識(shí)別信息。

圖5 不同輸入特征的模型準(zhǔn)確率

圖6 不同輸入特征的模型混淆矩陣

目前,對于保障作業(yè)時(shí)長優(yōu)化,國內(nèi)大型機(jī)場多采用人工統(tǒng)計(jì)和二八法對歷史數(shù)據(jù)進(jìn)行分析,從而調(diào)整作業(yè)時(shí)長來降低延誤風(fēng)險(xiǎn),但上述方法都存在滯后性和準(zhǔn)確率低的問題。該文提出的方法通過國內(nèi)某大型機(jī)場的真實(shí)數(shù)據(jù)集驗(yàn)證了其可行性,可將Petri Net模型納入機(jī)場協(xié)同決策(Airport Collaborative Decision Making,ACDM)系統(tǒng)中,通過分析地面保障流程,依據(jù)歷史數(shù)據(jù)自我學(xué)習(xí),動(dòng)態(tài)更新預(yù)測模型的輸入特征,為航空公司了解航班保障情況、采取流程優(yōu)化措施提供有效參考。

5 結(jié)束語

該文提出了一種基于融合神經(jīng)網(wǎng)絡(luò)的航班延誤情況分類預(yù)測模型,根據(jù)機(jī)場真實(shí)航班保障流程建立時(shí)序Petri Net模型,獲取保障流程關(guān)鍵作業(yè),成為預(yù)測模型的微觀動(dòng)態(tài)特征。結(jié)合CNN、LSTM和注意力機(jī)制的優(yōu)勢,構(gòu)建融合模型CNN-LSTM-ATT,該模型在實(shí)驗(yàn)數(shù)據(jù)集上獲得了98.1%的準(zhǔn)確率,比其他獨(dú)立預(yù)測模型的準(zhǔn)確率高,模型性能更好。航班保障流程作為一個(gè)動(dòng)態(tài)流程,特征數(shù)據(jù)中加入關(guān)鍵作業(yè)時(shí)長特征項(xiàng),對模型的分類準(zhǔn)確率的提升是有很大作用的,讓模型對重要延誤信息有了更加準(zhǔn)確的判斷。在未來的工作中,可以繼續(xù)考慮場面多航班資源競爭問題對保障時(shí)長的影響,模型方面可以進(jìn)一步優(yōu)化模型結(jié)構(gòu),縮短訓(xùn)練時(shí)長,提高模型分類準(zhǔn)確率,對分類邊緣數(shù)據(jù)做出更好的分類判斷,并將模型應(yīng)用到更多領(lǐng)域的流程分析工作中。