基于注意力機制優(yōu)化EDM機場客流量預測①

李 航,鄧穎紅

（中國民航大學 經(jīng)濟與管理學院,天津 300300）

近年來,我國經(jīng)濟的高速增長促使著人們追求更高的生活品質(zhì),人們的航空出行需求迅速增長,給機場帶來了不小的壓力.機場的旅客吞吐量是民用機場的主要生產(chǎn)指標,旅客流量是機場對資源進行高效配置的依據(jù),是機場進行決策的基本前提.因此,客流量的預測對機場的管理和建設有很大的參考意義.

傳統(tǒng)的機場客流量預測多為基于線性假設的模型.如陳玉寶等[1]以首都機場為例采用組合預測方法對旅客吞吐量進行預測.俞佳立等[2]運用指數(shù)平滑法與灰色預測法兩者的組合預測模型對管道貨運量進行預測分析.劉夏等[3]基于三亞機場2008-2016年的月度客流量數(shù)據(jù),運用ARMA模型、灰色預測模型、ARMA改進回歸模型對客流預測及數(shù)據(jù)仿真.由于線性模型對機場流量預測的局限性（交通流量因自由流、阻塞、故障和恢復情況等頻繁變化而具有非線性特征）,上述模型的性能和應用都受到限制.近年來學者們開發(fā)出各種機器學習與深度學習的模型應用于交通流預測.鐘穎等[4]把極端樣度上升（XGBoost）模型用于路段短時交通流的預測.周燎等[5]用期望最大化（EM）算法從交通流數(shù)據(jù)中學習出貝葉斯動態(tài)線性模型（DLM）的關鍵參數(shù),對下一時刻的車流量進行預測.朱征宇等[6]建立了支持向量機與卡爾曼濾波組合模型,并將該模型應用于短時交通流量預測.衡紅軍等[7]用動態(tài)回歸ARIMAX模型,對航站樓內(nèi)短時段的值機旅客人數(shù)進行預測.Ma等[8]將遞歸神經(jīng)用于交通速度預測的網(wǎng)絡（RNN）.Polson和Sokolov[9]提出了一種深度學習架構來捕捉非線性時空效應.Huang等[10]提出了一個由深度信任網(wǎng)絡（DBN）和一個多任務回歸層組成的預測短期交通流的體系結構.

本文提出的是一種基于注意機制的編碼-解碼結構時序預測模型（Temporal Attention-based Encoder-Decoder model,TAED）,把基于注意機制的融合雙向長短時記憶網(wǎng)絡編碼-解碼模型應用到機場客流量預測.由于深度神經(jīng)網(wǎng)絡在長時間尺度的預測中存在著淹沒前期輸入信號的缺點,因此,在設計深度學習預測方法時引入注意力機制,使模型能夠根據(jù)不同時期輸入信號對于輸出結果的貢獻強度分配不同的關注度,從而使模型具備處理大時間尺度序列的能力.同時對于標準的編碼解碼模型對時間序列數(shù)據(jù)的特征提取能力弱的問題,引入了Bi-LSTM,使模型能夠?qū)?shù)據(jù)特征進行充分學習,捕捉不同時間段的隱含特征.此外,時間序列數(shù)據(jù)的多步前向預測比單步預測困難,而序列-序列學習結構可以很好地解決這一問題.由于上述優(yōu)勢,TAED模型相對于經(jīng)典LSTM模型能夠更好的捕捉時間序列中的隱含特征,并且對于前期輸入信號有更好的記憶力,因而具有更好的預測效果.

1 基于時間注意機制的編碼解碼模型

1.1 本文框架

本文提出的基于注意機制的多變量時間序列多步預測框架（如圖1）.該框架由Bi-LSTM、LSTM和基于時間注意機制的上下文層3部分組成.Bi-LSTM用于學習任意長度的輸入數(shù)據(jù)的隱藏表示,從時間序列中提取出深層的時間依賴特征,然后利用時間注意層構造潛在的空間變量（時間注意上下文向量）.LSTM解碼器根據(jù)生成的潛在空間變量,對未來的時間序列值進行預測.圖1給出了該框架的圖解,該框架可以端到端對時間序列數(shù)據(jù)建模.

圖1 TAED模型

1.2 編碼解碼結構

LSTM是一種處理具有時間序列特征數(shù)據(jù)的長期學習模型[11].典型的LSTM包括5個部分:it、ft、st、ot、ht,分別作為輸入門、遺忘門、存儲單元、輸出門以及LSTM單元的隱藏狀態(tài).一個典型的LSTM單元塊包括3個門和1個存儲單元,基于這些部分使得其具有忘記或記憶信息的能力（決定信息是否傳輸?shù)较乱粋€單元格）.

式中,對于輸入的時間序列值在t時間步時,LSTM單元計算一個隱藏狀態(tài)ht和一個內(nèi)存狀態(tài)St,σ是激活函數(shù),⊙是元素的乘法,這是輸入時間序列值的編碼.

但傳統(tǒng)的LSTM有一個缺點,它只能學習時間序列數(shù)據(jù)的前一個上下文,不能學習同一序列數(shù)據(jù)的前向上下文.所以我們用Bi-LSTM作為編碼器,可以同時處理兩個不同方向的數(shù)據(jù)互連的隱藏層:單向進程使用從t=1到T的前向隱藏層; 另一個方向進程使用從t=T到1的后向隱藏層.這個經(jīng)典的Bi-LSTM計算過程如下:

1.3 時間注意力機制

其中,式（21）表示解碼器層的隱藏狀態(tài)與編碼器層的隱藏狀態(tài)之間的軟對齊計算.式（22）表示與輸入時間序列幀在時間步上的重要性相對應的注意權重,用于預測在時間步上的輸出值,該方法使用Softmax函數(shù)對長度向量進行歸一化,作為輸入時間序列上的注意掩碼.式（23）表示為編碼層每一個時間步分配相應的權重.式（24）表示模型解碼后的輸出值.模型通過式（25）進行訓練.

2 實驗仿真

2.1 數(shù)據(jù)集構造

數(shù)據(jù)源于中國民用航空華東地區(qū)管理局官網(wǎng)提供的真實生產(chǎn)運行數(shù)據(jù),選取上海虹橋機場2013-2020年每月客流量數(shù)據(jù)應用本文算法進行分析,對其進行可視化,如圖2.

圖2 2013-2020年上海虹橋機場月客流量數(shù)據(jù)

一般來說,機場客流量的總體趨勢受到地區(qū)經(jīng)濟發(fā)展和結構、人口因素及其構成、地面交通情況以及機場的布局和功能定位等多種因素的影響,此外更小時間維度上又受季節(jié)、天氣、大型活動（如節(jié)假日）等的影響.觀察圖2可以發(fā)現(xiàn),虹橋機場客流量總體上隨著年份呈上升趨勢,且每月的客流量隨著季節(jié)的不同呈現(xiàn)出一定的周期性趨勢,在冬季客流量偏低.

圖3 樣本構造示意圖

將所構造的樣本劃分為訓練集與測試集,樣本詳細描述見表1.

表1 數(shù)據(jù)集

2.2 實驗與結果分析

為對模型進行評價,實驗采用平均絕對百分比誤差（MAPE）與均方根誤差作為指標（RMSE）,其具體計算公式如下:

式中,Pt為模型的預測值、Rt為真實值.易知,上述兩種指標值越小則說明模型性能越好,即預測值越接近真實值.

上述模型在3個數(shù)據(jù)集上進行實驗,測試結果如圖4（a）-圖4（c）,誤差指標見表2.

通過對圖4（a）-圖4（c）對比可知:由于數(shù)據(jù)集S1進行的是單步預測,因此模型均能夠?qū)C場客流量進行準確預測,雖然RNN相對于LSTM與TAED誤差較大,但預測值與真實值基本保持在可容忍范圍內(nèi).在數(shù)據(jù)集S2中,對于時間步的預測增加到3步,可以看出相對于數(shù)據(jù)集S1,3種模型的性能均有所下降,其中,TAED模型性能下降程度最小; 在數(shù)據(jù)集S3中,將時間步的預測增加到5步,RNN和LSTM一定程度上偏離真實值,而TAED模型仍能夠保持較好的性能,這是由于該模型能夠通過調(diào)整不同時刻輸入值對輸出值的貢獻來進行預測.同時,根據(jù)表2對于殘差的計算結果可以看出,TAED模型在3個數(shù)據(jù)集上的表現(xiàn)明顯優(yōu)于RNN和LSTM,且多步預測中效果更為明顯,如在數(shù)據(jù)集S1和數(shù)據(jù)集S3上,TAED模型的平均標準誤差分別比LSTM低了57.9%和78.4%.

表2 不同方法的殘差計算結果

圖4 數(shù)據(jù)集S1-S3在不同方法下的測試結果

3 結論

機場客流量預測對于機場調(diào)度安排,制定運行計劃具有重要意義.由于機場客流量數(shù)據(jù)具有強時序特征,而傳統(tǒng)方法如LSTM、RNN難以有效提取數(shù)據(jù)的時間依賴特征.本文提出一種基于注意力機制的編碼解碼模型,并對虹橋機場客流量數(shù)據(jù)進行仿真實驗,結果表明:通過對編碼解碼模型引入注意力機制,使得模型能夠?qū)v史數(shù)據(jù)特征進行充分提取,從而在單步預測與多步預測上均表現(xiàn)出較高的精度.虹橋機場客流量主要受到地區(qū)經(jīng)濟發(fā)展等各類因素的綜合影響,不同類型的機場客流量影響因素略有差異,主要包括貿(mào)易、人口、資源、環(huán)境等,但不同類型機場的歷史數(shù)據(jù)特征是可以學習的,因此本文方法對于不同類型的機場客流量預測具有普適性.同時,本文未考慮影響機場客流量的相關因素,今后的工作中,可以通過引入準點率等相關因素,從更多維度對客流量進行預測.