基于卷積LSTM模型的航空器軌跡預(yù)測

劉龍庚，翟俐民，韓云祥+

(1.中國軟件評測中心，北京 100089；2.四川大學(xué) 視覺合成圖形圖像技術(shù)國防重點學(xué)科實驗室，四川 成都 610041)

0 引 言

隨著計算機技術(shù)不斷發(fā)展，各行業(yè)的信息量急劇增長，一般將規(guī)模巨大且無法通過常規(guī)軟件工具在合理時間內(nèi)管理和處理的信息稱為大數(shù)據(jù)，目前業(yè)界普遍認為大數(shù)據(jù)的特征可以歸納為4個“V“-Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值低)[1]。傳感器數(shù)據(jù)是大數(shù)據(jù)的主要來源之一，對傳感器網(wǎng)絡(luò)的大數(shù)據(jù)分析和應(yīng)用，是信息技術(shù)的發(fā)展趨勢和重點研究方向[2]，Liu L等深入研究了大數(shù)據(jù)環(huán)境下傳感器網(wǎng)絡(luò)基礎(chǔ)技術(shù)[3-5]?？罩薪煌ü芾磉^程中需要不斷收集航空器相關(guān)傳感器數(shù)據(jù)，天然具有大數(shù)據(jù)的特點，除了傳統(tǒng)的大數(shù)據(jù)特征之外，還具有以下特點[6]：①體量巨大，空管一年產(chǎn)生的數(shù)據(jù)在PB級別以上；②種類繁多，在空管過程中涉及到多種數(shù)據(jù)，包含靜態(tài)數(shù)據(jù)、動態(tài)數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)；③來源真實，空管數(shù)據(jù)直接采集自空管一線，來源真實可靠。

在空管大數(shù)據(jù)開發(fā)方面，美國處于領(lǐng)先地位[7]。國內(nèi)在空管大數(shù)據(jù)開發(fā)方面也做出了一些探索?？展艽髷?shù)據(jù)可實現(xiàn)空管運行過程智能化精細化，空管大數(shù)據(jù)可用于空管流程優(yōu)化和空管風(fēng)險管理與評估，空管大數(shù)據(jù)可直接用于空管仿真模型的構(gòu)建，并據(jù)此實現(xiàn)航空器運行過程預(yù)測，準(zhǔn)確、可靠的空中交通軌跡預(yù)測模型(TBO)可以有效提高空中交通運行效率并進一步保障運行安全。

目前關(guān)于航跡預(yù)測的方法主要有基于航空器性能參數(shù)、運動學(xué)模型的傳統(tǒng)方法以及基于數(shù)據(jù)挖掘和混合機器學(xué)習(xí)的研究方法。石慶研等[8]提出了一種在線更新LSTM網(wǎng)絡(luò)的短期航跡預(yù)測算法；李旭娟等[9]提出了一種自動生成的條件變分自動編碼器，以編碼-解碼的形式直接對未來一段時間的航跡進行預(yù)測；Xu等[10]提出了一種新的Social-LSTM模型，為空域內(nèi)的每個航空器建立LSTM網(wǎng)絡(luò)，并通過一個池化層整合關(guān)聯(lián)航空器的狀態(tài)，從而編碼了航空器之間的相互作用；馬蘭等[11]基于ADS-B數(shù)據(jù)挖掘和統(tǒng)計分析，并使用CURE聚類分析；Shi等[12]提出了一種基于LSTM的軌跡預(yù)測模型，該模型解決長期依賴問題，避免了相鄰序列狀態(tài)的動態(tài)依賴性，有助于提高精度；Gallego等[13]針對目前的航跡預(yù)測方法缺少對于空中交通中不確定因素的理解，提出了融入航空器周圍交通狀況的航跡預(yù)測方法；Liu等[14]提出了一種基于樹的高效匹配算法從氣象數(shù)據(jù)中構(gòu)建特征圖，并構(gòu)建了一個端到端的卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)包含一個LSTM編碼網(wǎng)絡(luò)和混合密度的LSTM解碼網(wǎng)絡(luò)，進一步從歷史飛行軌跡中學(xué)習(xí)時空相關(guān)性；Shi等[15]提出了一種4D航跡預(yù)測模型，該模型長短期記憶網(wǎng)絡(luò)結(jié)合滑動窗口來維持長期特征并預(yù)測軌跡，并將環(huán)境信息作為輸入特征；Zeng等[16]針對目前的空域狀態(tài)軌跡方法在終端區(qū)這樣復(fù)雜的空域中效果不好的問題，提出了一種seq2seq的深度長短期記憶網(wǎng)絡(luò)預(yù)測模型，可以有效地捕獲長期和短期的時間依賴；Giuliari等[17]將自然語言處理領(lǐng)域的熱門模型Transformer應(yīng)用在軌跡預(yù)測中，并分別實現(xiàn)了原始的Transformer網(wǎng)絡(luò)和BERT，實驗結(jié)果表明Transformer在數(shù)據(jù)存在缺失的情況下表現(xiàn)更好；本文基于空管大數(shù)據(jù)分析挖掘，利用聚類算法萃取航跡數(shù)據(jù)，并構(gòu)建LSTM網(wǎng)絡(luò)航空器軌跡，使用航跡信息進行仿真驗證，實現(xiàn)對航空器軌跡的準(zhǔn)確預(yù)測。

1 數(shù)據(jù)處理

根據(jù)數(shù)據(jù)的來源的組織形式，可將空管大數(shù)據(jù)初步劃分為靜態(tài)數(shù)據(jù)、動態(tài)數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)[6]，其中靜態(tài)數(shù)據(jù)是在一定時間段內(nèi)保持穩(wěn)定的數(shù)據(jù)，動態(tài)數(shù)據(jù)與靜態(tài)數(shù)據(jù)相反，主要包含了航空器運行時數(shù)據(jù)。本文采集了動態(tài)的航空器軌跡數(shù)據(jù)、機場天氣數(shù)據(jù)和靜態(tài)的進場標(biāo)準(zhǔn)儀表進港程序用于構(gòu)建航空器軌跡預(yù)測模型。通過一定渠道獲取雙流國際機場2019年6月至2020年12月每天進離崗航班相關(guān)數(shù)據(jù)[18]，包含解析標(biāo)準(zhǔn)ADS-B航跡數(shù)據(jù)以及二次雷達數(shù)據(jù)，編寫爬蟲收集雙流機場對應(yīng)日期的METAR天氣數(shù)據(jù)報。對于從多種渠道獲取的原始航跡數(shù)據(jù)及氣象數(shù)據(jù)不能直接作為訓(xùn)練數(shù)據(jù)集，需經(jīng)過以下處理流程：數(shù)據(jù)清洗、多源數(shù)據(jù)融合、離散特征編碼、模型數(shù)據(jù)集構(gòu)建。數(shù)據(jù)清洗是剔除航跡點缺失過多的航跡。多源數(shù)據(jù)融合是指將來自不同數(shù)據(jù)源的軌跡數(shù)據(jù)及氣象數(shù)據(jù)進行整合，使得航跡數(shù)據(jù)特征更加豐富。數(shù)據(jù)編碼是指將特征中離散數(shù)據(jù)通過特征規(guī)則化，使其滿足神經(jīng)網(wǎng)絡(luò)模型輸入格式，讓機器讀懂該特征的含義。數(shù)據(jù)預(yù)處理過程如圖1所示。

圖1 數(shù)據(jù)預(yù)處理過程[19]

ADS-B以及二次雷達中的坐標(biāo)數(shù)據(jù)為經(jīng)緯度，為減少后續(xù)計算量，將航跡中的經(jīng)緯度(B,L)通過墨卡托投影，轉(zhuǎn)換為以雙流國際機場為坐標(biāo)原點的坐標(biāo)系(X,Y)。坐標(biāo)系轉(zhuǎn)換關(guān)系如式(1)～式(3)所示

(1)

Y=K×(L-L0)

(2)

(3)

其中，標(biāo)準(zhǔn)緯度B0，標(biāo)準(zhǔn)經(jīng)度L0，e為第一偏心率，e′為第二偏心率，a為長半軸長，b為短半軸長。使用一定對應(yīng)規(guī)則將采集的ADS-B航跡數(shù)據(jù)、二次雷達數(shù)據(jù)、機場METAR數(shù)據(jù)進行融合，作為完整的訓(xùn)練集。ADS-B航跡數(shù)據(jù)與二次雷達數(shù)據(jù)通過飛行日期date和航空器呼號ID匹配，在確定為同一航班之后，使用時間戳插值的方法構(gòu)造數(shù)據(jù)集，對于過程中差異較大的數(shù)據(jù)使用均值操作，如式(4)所示

(4)

上式中，(xradar,yradar)為航跡點p(i,j)記錄的二次雷達位置坐標(biāo)，(xabs-b,yabs-b)為航跡點p(i,j)記錄的ADS-B坐標(biāo)，(xi,j,yi,j)為融合后的航跡坐標(biāo)。最后為了消除不同特征之間量綱不同導(dǎo)致模型訓(xùn)練困難的問題，使用歸一化和標(biāo)準(zhǔn)化對數(shù)值型特征進行處理，方法如式(5)～式(6)所示

(5)

(6)

其中，X為特征數(shù)據(jù)集，x為原始特征數(shù)據(jù)，x′為歸一化后的特征數(shù)據(jù)，max(X)、min(X)分別為該特征中的最大特征值與最小特征值，μ(X)、σ(X)分別為該特征中的期望與方差。

2 航跡聚類

作為一種無監(jiān)督的機器學(xué)習(xí)方法，聚類在諸多領(lǐng)域應(yīng)用廣泛。聚類將具有類似特征的對象使用劃分標(biāo)準(zhǔn)分為不同類別，目前常用的劃分標(biāo)準(zhǔn)有歐式距離、馬氏距離、曼哈頓距離等。在航跡聚類中，需要將類似的飛行軌跡劃分為同一類，從最初選定的航跡簇開始，通過距離度量選定相近的航跡簇，不斷合并航跡簇后重新計算航跡簇間距離，最終獲得聚類結(jié)果。在計算的過程中，需要使用航跡間距離衡量航跡相似性，以判斷是否將航跡簇合并。由于設(shè)備誤差等現(xiàn)實原因，每條航跡長度通常不等，故無法使用常規(guī)的距離度量算法。動態(tài)時間規(guī)整(dynamic time warping，DTW)通過計算航跡點之間的最短距離，能夠計算出航跡間的距離。針對兩條航跡，其計算過程是將其航跡點分別作為行列，排列為一個二維表，并使用DTW公式計算航跡點間距離，從二維表的左上角到右下角尋找一條距離最短的路徑，將這條路徑上的距離和作為兩條航跡間的相似度量。將訓(xùn)練樣本中的所有航跡，兩兩計算航跡間的相似性，得到一個二維航跡矩陣，其大小為航跡數(shù)量，對于航跡集合T，通過DTW算法計算得到的航跡距離矩陣如式(7)所示

(7)

其中，d(Tj,TJ)為第j條航跡與第J條航跡之間的相似度。在計算距離矩陣時，使用快速DTW，其使用約束搜索空間的策略，可以降低時間復(fù)雜度，加速計算過程。

使用航跡聚類，將航跡分類并在此基礎(chǔ)上建立不同預(yù)測模型，可以有效提高軌跡預(yù)測的精度。本文構(gòu)建基于快速動態(tài)時間規(guī)整距離度量的并行剪枝層次聚類算法。在計算航跡相似度中，使用DTW算法；使用批次運算更新距離矩陣；及時剪枝遠離聚類中心的離群航跡。具體流程：①計算航跡距離矩陣。對于訓(xùn)練集中的所有航跡，數(shù)量為nt，計算兩兩之間的相似度，得到nt×nt的距離矩陣，相似度計算使用DTW算法；②計算航跡簇之間的相似度；③遍歷相似性矩陣中的航跡，獲取其中距離最近的航跡，形成航跡簇對；④計算航跡簇對之間的簇間距離，比較與設(shè)定的簇間距離，小于預(yù)設(shè)則剔除，大于預(yù)設(shè)則為一個類別并重新計算所有航跡簇的距離矩陣，進行下一步迭代。使用預(yù)先設(shè)定的航跡數(shù)目閾值來判定航跡簇是否為離群航跡簇，當(dāng)其中航跡數(shù)量大于閾值時，當(dāng)前航跡簇成為一個航跡類別，否則該航跡簇為離群航跡簇，將被剔除。上訴過程為一次聚類算法的迭代過程，重新計算航跡簇的距離矩陣進入下一輪迭代。計算過程前需要設(shè)定兩個關(guān)鍵參數(shù)，分別是離群航跡距離和離群航跡數(shù)目。

3 模型構(gòu)建

航跡序列是一種時間序列，目前常用LSTM處理時間序列問題，相對于RNN而言，LSTM解決了其存在的長期依賴問題，能夠?qū)W習(xí)長期依賴關(guān)系。LSTM的網(wǎng)絡(luò)單元中每個重復(fù)模塊由3個門組成，分別是遺忘門、輸入門和輸出門，每個門可以選擇性地決定前一層的信息以什么樣的方式傳遞給當(dāng)前層，LSTM網(wǎng)絡(luò)單元結(jié)構(gòu)如圖2所示。

圖2 LSTM網(wǎng)絡(luò)單元結(jié)構(gòu)

其中，σ和tanh分別是sigmoid激活函數(shù)和tanh激活函數(shù)，xt為t時刻的輸入，ht為t時刻的狀態(tài)，it為t時刻輸入門輸出，ft為t時刻的遺忘門輸出，ot為t時刻輸出門輸出，結(jié)合圖2，對于上述定義如式

ft=sigmoid(αf·[ht-1,xt]+βf)

(8)

it=sigmoid(αi·[ht-1,xt]+βi)

(9)

ot=sigmoid(αo·[ht-1,xt]+βo)

(10)

(11)

(12)

ht=ot*tanh(Bt)

(13)

圖3 基于StackedLSTM航跡預(yù)測模型架構(gòu)

根據(jù)不同數(shù)據(jù)類型，LSTM具有多種變體，ConvLSTM是其中的一種，與原始LSTM的區(qū)別在于其使用卷積計算來代替權(quán)值計算，使用卷積提取多維數(shù)據(jù)中隱含的關(guān)聯(lián)信息，在LSTM單元的遺忘門、輸入門和輸出門之前都添加一次卷積操作，這樣做的目的是通過卷積在多維數(shù)據(jù)中提取特征，使其更加適合空間序列。ConvLSTM網(wǎng)絡(luò)單元結(jié)構(gòu)如圖4所示。

圖4 ConvLSTM網(wǎng)絡(luò)單元結(jié)構(gòu)

相應(yīng)的，網(wǎng)絡(luò)單元中的每個門對應(yīng)的計算公式也發(fā)生了變化，ConvLSTM的單元計算公式如下所示

ft=σ(Wxf*Xt+Whf*Ht-1+Wcf⊙Ct-1+bf)

(14)

it=σ(Wxi*Xt+Whi*Ht-1+Wci⊙Ct-1+bi)

(15)

Bt=ft⊙Bt-1+it⊙tanh(Wxc*Xt+Whc*Ht-1+bc)

(16)

ot=σ(Wx0*Xt+Wh0*Ht-1+WC0⊙Ct+bo)

(17)

Ht=ot⊙tanh(Bt)

(18)

式中：σ為Sigmoid激活函數(shù)；W為權(quán)重值；X為輸入數(shù)據(jù)；H為輸出數(shù)據(jù)；B為狀態(tài)信息；b為偏差量；tanh為tanh激活函數(shù)。

ConvLSTM最早被應(yīng)用于降雨問題預(yù)測，用于處理時空序列預(yù)測問題，后來也被應(yīng)用在時間序列問題中。針對4D航跡預(yù)測問題，本文基于ConvLSTM單元構(gòu)建了航跡預(yù)測模型，與Stack LSTM預(yù)測模型相比，ConvLSTM雖然包含了相同數(shù)量的隱藏層，但是將原始的LSTM單元替換成了包含CNN卷積操作的ConvLSTM單元；在模型輸入層中，輸入的數(shù)據(jù)為三維張量而不是一維數(shù)據(jù)；與原始的LSTM模型中大小為s的時間窗口序列對應(yīng)，ConvLSTM模型的輸入數(shù)據(jù)被劃分為3個子序列；在模型的最后，仍然通過全連接層輸出模型的最終結(jié)果?；贑onvLSTM航跡預(yù)測模型構(gòu)架如圖5所示。

圖5 基于ConvLSTM航跡預(yù)測模型架構(gòu)

4 實驗及結(jié)果分析

將獲取的原始雷達報文數(shù)據(jù)解析，并通過數(shù)據(jù)分析等方法剔除不合理數(shù)據(jù)后得到航跡數(shù)據(jù)集。再對航跡進行航跡聚類，將數(shù)據(jù)集轉(zhuǎn)換為聚類后數(shù)據(jù)。最后使用歸一化和標(biāo)準(zhǔn)化將數(shù)據(jù)轉(zhuǎn)換為標(biāo)準(zhǔn)模型輸入。使用航跡中的三維位置坐標(biāo)進行軌跡聚類，將航跡數(shù)據(jù)中不同航路的航跡分類。使用墨卡托投影將原始航跡中的經(jīng)緯度坐標(biāo)轉(zhuǎn)換為以機場坐標(biāo)為中心的二維平面坐標(biāo)值以便后續(xù)計算，并對數(shù)據(jù)進行歸一化處理以避免特征間量綱不同帶來的影響。最終獲得維度為9405*3的數(shù)據(jù)集。對于樣本集中機型和分類結(jié)果是非數(shù)值類型，對其使用One-Hot編碼。訓(xùn)練樣本的特征包含時間戳、飛行器三維坐標(biāo)、航向、速度、垂直速度、機型和聚類結(jié)果。訓(xùn)練時使用滑動窗口移動數(shù)據(jù)，將初始滑動窗口大小設(shè)置為9，即將航跡中前9個航跡點作為訓(xùn)練樣本，模型輸出下一個航跡點后窗口向后滑動，不斷輸出航跡點直到輸出最后一個航跡點。使用水平誤差、垂直誤差和時間誤差評估模型，水平誤差為預(yù)測航跡點C和真實航跡點T在二維平面下的歐式距離，垂直誤差是垂直方向上航空器的實際飛行高度和預(yù)測高度之前的距離差，時間誤差是指兩條航跡中對應(yīng)航跡點的時間差值，計算公式如下所示

(19)

evert=|hT-hC|

(20)

etime=|tT-tC|

(21)

其中，水平誤差以海里為單位(nm)，垂直誤差以英尺為單位(ft)。使用平均絕對誤差(mean absolute error，MAE)和均方根誤差(root mean squared error，RMSE)衡量預(yù)測航跡和實際航跡之間的誤差大小，其計算公式如式(22)～式(23)所示

(22)

(23)

其中，Pi為第i個航跡點某個特征的預(yù)測值，Ri為第i個航跡點某個特征實際值。使用雙流機場航班進港航跡作為測試數(shù)據(jù)集，分析了DTW、快速DTW(FastDTW)、傳統(tǒng)層次聚類(HC)，以及加入剪枝的改進層次聚類(IHC)在不同航跡點數(shù)下的實驗結(jié)果，在時間開銷上進行評價，結(jié)果見表1，聚類結(jié)果可視圖如圖6、圖7所示。

表1 聚類算法時間對比

圖6 原始航跡二維平面

圖7 聚類后二維平面

通過實際結(jié)果可知，該聚類方法將原始航跡分為6類，可以有效分離數(shù)據(jù)，將各類數(shù)據(jù)分別作為測試樣本對航跡預(yù)測模型進行對比實驗。在基于LSTM的預(yù)測模型中，包含兩層LSTM隱藏層，單元個數(shù)均為300，為防止模型過擬合，在LSTM隱藏層后使用比例大小為0.2的Dropout，滑動窗口大小設(shè)置為9?；贑onvLSTM的預(yù)測模型中，將滑動窗口大小拆分為3、1、3，在輸入層之后，包含兩個ConvLSTM的隱藏層，每一層設(shè)置卷積核大小為(1，3)，通道數(shù)個數(shù)為256。隨機選取60條航跡作為測試集，數(shù)據(jù)集剩余部分作為訓(xùn)練集。以測試集中一條航跡為例，預(yù)測模型的評價指標(biāo)計算過程如下：①通過模型不斷迭代計算預(yù)測點，獲得一條預(yù)測航跡；②通過航跡點之間最短歐式距離的方式匹配樣本標(biāo)簽航跡中的航跡點，計算預(yù)測點與實際點之間的各項誤差值；③得到單條航跡的各項誤差后，使用MAE和RMSE計算所有測試集誤差。實驗結(jié)果見表2。

表2 誤差分析對比

可以看出ConvLSTM預(yù)測模型的各項誤差值均低于LSTM模型，其中，時間誤差減少了87 s，垂直誤差減少了21.404，水平誤差減少了3256.9，由此看出ConvLSTM模型預(yù)測效果更佳。

5 結(jié)束語

本文從空管大數(shù)據(jù)出發(fā)，使用數(shù)據(jù)挖掘聚類算法構(gòu)建數(shù)據(jù)集，在聚類算法中使用DTW算法和剪枝加速聚類，實驗結(jié)果顯示聚類時間開銷從3592.25 s下降到700.14 s，構(gòu)建LSTM預(yù)測模型和ConvLSTM預(yù)測模型，通過計算模型的MAE和RMSE，結(jié)果顯示ConvLSTM預(yù)測模型的各項誤差值均低于LSTM模型，時間誤差減少了87 s，垂直誤差減少了21.404，水平誤差減少了3256.9。本文借助數(shù)據(jù)挖掘和神經(jīng)網(wǎng)絡(luò)等技術(shù)對4D航跡預(yù)測開展了研究工作，但仍然存在較多有待改進的不足之處，其主要包含：①目前數(shù)據(jù)源較為單一，隨著民航大數(shù)據(jù)技術(shù)不斷發(fā)展，可以從不同設(shè)備中獲取航跡數(shù)據(jù)以供后續(xù)研究，后續(xù)工作可以獲取多源航跡，利用大數(shù)據(jù)技術(shù)對數(shù)據(jù)進行融合，提供更加完備的數(shù)據(jù)集；②在預(yù)測中僅考慮歷史航跡，并未將氣象因素和空域態(tài)勢融入模型，下一步可以將空域氣象和空域態(tài)勢輸入模型，提高預(yù)測模型的魯棒性和精確性。