基于誤差修正NLSTM 神經(jīng)網(wǎng)絡(luò)的無人機航跡預(yù)測

梁天宇, 高 永, 劉軍民, 惠永昌

(1. 西安交通大學(xué)數(shù)學(xué)與統(tǒng)計學(xué)院，西安 710049; 2. 海軍航空大學(xué)航空基礎(chǔ)學(xué)院，煙臺 264001)

0 引言

無人機全稱“無人駕駛飛行器”，英文縮寫為“UAV”(Unmanned Aerial Vehicle)，是利用無線電遙控設(shè)備和自備的程序控制裝置操縱的不載人飛機[1]。它被廣泛應(yīng)用于軍用和民用等領(lǐng)域。隨著無人機產(chǎn)業(yè)的蓬勃發(fā)展，無人機航跡預(yù)測也成為當(dāng)前世界研究的熱點。例如，對無人機進行快速準確的航跡預(yù)測可以提高作戰(zhàn)效率，進行任務(wù)規(guī)劃和及時提供沖突解決方案；通過航跡預(yù)測可以建立有效的無人機監(jiān)管系統(tǒng)，保障民航航班的運行安全等。

目前，國內(nèi)外對于飛行器航跡預(yù)測的方法主要包括兩類：空氣動力學(xué)方法和無參數(shù)估計方法?？諝鈩恿W(xué)模型在航跡預(yù)測的應(yīng)用中普遍存在參數(shù)過多、預(yù)測精度較低等問題[2]。無參數(shù)估計方法因不考慮飛行器動力學(xué)參數(shù)從而簡化模型，被廣泛研究并應(yīng)用于航跡預(yù)測。

無參數(shù)估計方法可分為傳統(tǒng)的統(tǒng)計學(xué)算法和當(dāng)前發(fā)展迅猛的神經(jīng)網(wǎng)絡(luò)算法。統(tǒng)計學(xué)方法主要是利用數(shù)理統(tǒng)計的方法處理歷史數(shù)據(jù)，對歷史數(shù)據(jù)進行曲線擬合以及參數(shù)估計，不斷提高預(yù)測精度，包括回歸預(yù)測法、蒙特卡羅法、卡爾曼濾波算法等。例如，Wu 和Pan[3]提出一種基于數(shù)據(jù)挖掘的飛行軌跡預(yù)測模型，采用二元線性回歸法預(yù)測下一次的飛行時間，從大量歷史位置數(shù)據(jù)分析飛機每個時間點的位置；Lymperopoulos 和Lygeros[4]證明了序列蒙特卡羅法在多飛行器航跡預(yù)測中的有效性；Prevost 等[5]采用改進的卡爾曼濾波(Improved Kalman Filter, IKF)算法估計無人機追蹤的運動目標的狀態(tài)，并通過計算預(yù)測誤差來評價預(yù)測軌跡的質(zhì)量；羅兆文等[6]建立了基于滑窗多項式最小二乘擬合的航跡預(yù)測法，對于短期預(yù)測有較好的效果。

在基于神經(jīng)網(wǎng)絡(luò)的航跡預(yù)測方面，徐婷婷等[7]設(shè)計了三層反向傳播(Back Propagation, BP)神經(jīng)網(wǎng)絡(luò)模型用于船舶的航跡實時預(yù)測，其結(jié)果體現(xiàn)了神經(jīng)網(wǎng)絡(luò)較強的非線性逼近能力與魯棒性。楊彬和賀正洪[8]利用廣義回歸神經(jīng)網(wǎng)絡(luò)(Generalized Regression Neural Network, GRNN)對高超聲速飛行器進行軌跡預(yù)測。吳一凡和冉曉旻[9]將卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)引入到航跡預(yù)測中，并且證明了其在小樣本航跡預(yù)測中具有較高的準確性。

以上應(yīng)用于航跡預(yù)測的算法各有優(yōu)點，但是僅把航跡數(shù)據(jù)看出空間中的獨立數(shù)據(jù)點，沒有充分利用其軌跡時序上的相關(guān)性。循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks,RNN)是一種具有代表性的神經(jīng)網(wǎng)絡(luò)模型，其結(jié)構(gòu)非常適用于處理時間、空間上有強關(guān)聯(lián)的動態(tài)序列數(shù)據(jù)。然而，傳統(tǒng)的RNN 由于其結(jié)構(gòu)過于簡單，對序列數(shù)據(jù)的記憶能力會逐漸下降，不能存儲長期記憶，即無法解決長期依賴問題。為克服這一問題，Hochreiter 和Schmidhuber[10]提出了長短期記憶神經(jīng)網(wǎng)絡(luò)(Long Short-Term Memory, LSTM)。它改進了原RNN 中的記憶單元，以不同的方式計算隱層神經(jīng)元的狀態(tài)，從而使得神經(jīng)網(wǎng)絡(luò)具有更長時間的記憶能力。目前，LSTM 已被廣泛應(yīng)用于各個領(lǐng)域的預(yù)測研究中。

鑒于此，本文首次提出利用RNN 以及其變體LSTM 對無人機飛行軌跡進行預(yù)測，傳統(tǒng)的LSTM 用于預(yù)測時仍存在精度不夠高等問題。針對傳統(tǒng)LSTM 模型的不足，本文提出一種帶誤差修正的嵌套長短期記憶網(wǎng)絡(luò)(Error-corrected Nested LSTMs, ENLSTM)航跡預(yù)測模型。該模型能夠通過對歷史數(shù)據(jù)的訓(xùn)練實現(xiàn)對無人機的航跡預(yù)測，并且利用誤差模型對網(wǎng)絡(luò)進行修正，得到更準確的預(yù)測航跡。在無人機的模擬飛行數(shù)據(jù)和真實行訓(xùn)練數(shù)據(jù)上的仿真對比實驗表明所提出的ENLSTM 模型能更加有效地預(yù)測無人機的飛行軌跡，證實模型的可行性。

1 相關(guān)理論

1.1 RNN 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)是一類專門用于處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)，比如時間序列、文本語句、語音等。RNN 不僅考慮前一個時刻輸入的影響，并且考慮以前時刻輸入的影響，所以賦予了網(wǎng)絡(luò)“記憶”的功能。RNN 的向前傳播中折疊了一個循環(huán)計算的重復(fù)結(jié)構(gòu)，即對于一個序列，其當(dāng)前狀態(tài)ht包含了過去所有狀態(tài)ht?1對其的影響，以及當(dāng)前時刻外部輸入xt的影響，即

一個最簡單的RNN 架構(gòu)如圖1 所示，左邊是循環(huán)未展開的部分，右邊是展開的結(jié)構(gòu)。RNN 主要由輸入層、隱藏層和輸出層組成，隱藏層的箭頭表示數(shù)據(jù)的循環(huán)更新，即實現(xiàn)網(wǎng)絡(luò)的記憶功能。其中x表示輸入的樣本，o表示輸出的預(yù)測，W表示隱藏層從前一時刻轉(zhuǎn)移到后一時刻的權(quán)重矩陣，U表示輸入層到隱藏層的權(quán)重矩陣，V表示隱藏層到輸出層的權(quán)重矩陣，網(wǎng)絡(luò)中每個單元共享一組(W,U,V)，實現(xiàn)參數(shù)共享可極大地降低計算量。

圖1 RNN 網(wǎng)絡(luò)結(jié)構(gòu)圖

根據(jù)圖1 的網(wǎng)絡(luò)結(jié)構(gòu)，RNN 的前向傳播過程如下：

1) 時刻t的隱狀態(tài)

2) 時刻t預(yù)測輸出

其中f、g均為激活函數(shù)，用于篩選重要信息。f可以采用tanh、relu 和sigmoid 函數(shù)等，g通常取為softmax 函數(shù)；

3) 對于離散分類任務(wù)，該網(wǎng)絡(luò)的損失函數(shù)一般為交叉熵，而對于連續(xù)預(yù)測任務(wù)，損失函數(shù)通常是均方誤差，即

通過將每個時刻的輸出值的誤差反向傳播和梯度下降法，可以對RNN 的權(quán)重參數(shù)進行更新，在不斷調(diào)整參數(shù)的過程中提高模型性能。

1.2 NLSTM 嵌套長短期記憶網(wǎng)絡(luò)

隨著時間序列變長，RNN 的反向傳播過程中可能會出現(xiàn)梯度消失和梯度爆炸的問題，這導(dǎo)致其難以傳遞相隔較遠的信息。因此，RNN 的一系列變種算法被提出，其中最具有代表性的是LSTM。如果說RNN 能夠使得網(wǎng)絡(luò)擁有短暫的“記憶”，那么LSTM 則是擴展了網(wǎng)絡(luò)的“記憶”，能夠解決長期依賴問題。LSTM 在RNN 的基礎(chǔ)上加了三個門來控制，網(wǎng)絡(luò)結(jié)構(gòu)為圖2。

如圖2 所示，LSTM 神經(jīng)網(wǎng)絡(luò)也如同RNN 分為輸入層、隱藏層和輸出層，隱藏層中增加了三個門結(jié)構(gòu)，分別是遺忘門、輸入門和輸出門。

圖2 LSTM 網(wǎng)絡(luò)結(jié)構(gòu)圖

1) 遺忘門決定保留多少上一層的細胞ct?1中的舊記憶信息，流入當(dāng)前時刻的xt與上一時刻傳遞過來的狀態(tài)ht?1，通過對應(yīng)的所有事件步共享的權(quán)重Wxf、Whf，偏移bf進行線性組合，并通過sigmoid 函數(shù)進行處理后得到對舊記憶信息的保留比例ft，即

2) 輸入門控制了有多少新記憶信息可以流入，即生成新記憶信息和新記憶信息的使用比例it，接著融合舊信息與新信息生成新的記憶細胞ct，對應(yīng)下式

其中⊙表示矩陣的元素相乘，tanh 為激活函數(shù)。

3) 基于新的記憶細胞ct以及輸出門計算的比例值ot，得到最終的輸出ht

關(guān)于LSTM 模型的變體有很多，為了提高模型的精度，增加LSTM 網(wǎng)絡(luò)的深度是一種較為常用的方法。嵌套長短期記憶網(wǎng)絡(luò)(Nested LSTMs, NLSTM)[11]，則是通過加入一個狀態(tài)函數(shù)，從而有選擇性地訪問內(nèi)部記憶信息，使得網(wǎng)絡(luò)能夠處理更長時間規(guī)模的序列，網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。其中狀態(tài)函數(shù)mt用于替換LSTM 網(wǎng)絡(luò)中ct計算式(7)中的加和，即在NLSTM 中

圖3 Nested LSTMs 網(wǎng)絡(luò)結(jié)構(gòu)圖

如果將mt作為一個LSTM 記憶單元，則NLSTM 中記憶函數(shù)的輸入和隱藏狀態(tài)為

那么NLSTM 的內(nèi)部計算過程如下

NLSTM 的外部記憶信息為

通過嵌套長短期記憶網(wǎng)絡(luò)的架構(gòu)可以看出，它創(chuàng)造了一種記憶的時間層級，通過門控的方式去訪問內(nèi)部記憶，以便于選擇性地去訪問長期記憶信息。同時增加了網(wǎng)絡(luò)的深度，有效提高模型的性能。

2 帶誤差修正的NLSTM 網(wǎng)絡(luò)預(yù)測無人機航跡模型

2.1 誤差修正

影響無人機飛行軌跡預(yù)測產(chǎn)生誤差的因素有很多，首先良好的預(yù)測模型需要高精度的數(shù)據(jù)作為支撐，而由于數(shù)據(jù)采集與監(jiān)控系統(tǒng)采集的數(shù)據(jù)可能存在誤差以及采樣頻率不穩(wěn)定等原因造成產(chǎn)生異常數(shù)據(jù)是影響預(yù)測精度的重要原因[12]。其次，模型自身存在局限性。進行軌跡預(yù)測需要建立數(shù)學(xué)模型，即將實際問題進行抽象、化簡，模型只能在理論上以一定的精度逼近實際問題而無法真實地刻畫[13]。例如由于網(wǎng)絡(luò)訓(xùn)練精度限制以及參數(shù)設(shè)置，誤差不可避免地存在。最后，預(yù)測時長和樣本容量大小的選取也會對預(yù)測精度產(chǎn)生影響。例如，隨著預(yù)測序列長度的增加以及新的預(yù)測數(shù)據(jù)的影響，誤差會逐步累積。

為了進一步縮小預(yù)測誤差以提高預(yù)測結(jié)果的可信度，需要進行誤差修正。早期的誤差修正技術(shù)出現(xiàn)在對測量儀器的校正上，隨著計算機的飛速發(fā)展，誤差修正在技術(shù)實現(xiàn)上有了飛躍的進步，程序化、自動化和環(huán)境自適應(yīng)修正得以實現(xiàn)。信號處理技術(shù)的發(fā)展更是充實和完善了誤差修正的建模技術(shù)。在誤差建模方面，其基本算法包括解算方法、仿真方法和一些輔助方法等，近年來還出現(xiàn)了一些計算機集成算法工具，如Matlab 工具箱，為誤差建模的實施提供很大的幫助[14]。

本文為了提高預(yù)測精度，提出誤差修正策略。在建立NLSTM 預(yù)測模型后，利用誤差建模技術(shù)對預(yù)測軌跡進行校正，建立誤差模型

2.2 算法模型

本文基于深度學(xué)習(xí)框架Tensorflow 建立NLSTM 網(wǎng)絡(luò)，各部分結(jié)構(gòu)與參數(shù)設(shè)置如下：

1) 隱藏層結(jié)構(gòu)與參數(shù)：考慮到輸入樣本的數(shù)量較少，本文將隱藏層層數(shù)設(shè)為1，即建立一個單層的NLSTM 網(wǎng)絡(luò)，神經(jīng)元個數(shù)為20，添加無激活函數(shù)的全連接層，嵌套深度設(shè)置為2；

2) 模型訓(xùn)練參數(shù)：模型在訓(xùn)練前需要指定損失函數(shù)和優(yōu)化器。本文選擇均方誤差作為損失函數(shù)和Adagrad 優(yōu)化器不斷更新參數(shù)，進行預(yù)測模型的優(yōu)化。設(shè)置訓(xùn)練批尺寸為50，訓(xùn)練輪數(shù)為1 000；

3) 預(yù)測評價指標：為了便于預(yù)測值與真實值比較，分析模型的預(yù)測效果，選擇均方根誤差作為評價指標

結(jié)合2.1 的誤差修正，本文提出的ENLSTM 預(yù)測模型整體框架為圖4。

圖4 ENLSTM 預(yù)測模型框架

3 實驗及結(jié)果分析

為了驗證本文提出的ENLSTM 網(wǎng)絡(luò)模型對無人機航跡預(yù)測的可行性和普適性，實驗部分對模擬飛行數(shù)據(jù)和無人機實際飛行數(shù)據(jù)分別進行預(yù)測，根據(jù)軌跡預(yù)測圖及預(yù)測誤差進行分析。

3.1 數(shù)據(jù)描述

1) 模擬飛行數(shù)據(jù)采用四種含有隨機噪聲的三維曲線，使用70%的數(shù)據(jù)點作為網(wǎng)絡(luò)的訓(xùn)練集，剩下30%作為測試集。參數(shù)方程式及取值范圍如表1 所示。

表1 模擬數(shù)據(jù)的參數(shù)方程式及取值范圍

2) 實驗使用的無人機訓(xùn)練飛行的真實數(shù)據(jù)是通過Mission Planner 加載航線日志，導(dǎo)出mat 格式的飛行數(shù)據(jù)再利用Matlab 軟件加載數(shù)據(jù)。接著從GPS 標簽中選擇經(jīng)度、緯度和高度三個航跡指標作為網(wǎng)絡(luò)的輸入進行無人機的航跡預(yù)測。由于該無人機的四邊航線飛行訓(xùn)練過程中，分為上升、平飛和下滑三個階段，其中平飛階段為27 圈，采樣點數(shù)量為9 477，本實驗使用平飛階段前26 圈的經(jīng)度、緯度和高度三個航跡指標數(shù)據(jù)作為模型的訓(xùn)練集，剩下的數(shù)據(jù)用于測試。

3.2 數(shù)據(jù)預(yù)處理

數(shù)據(jù)的預(yù)處理包括數(shù)據(jù)歸一化和構(gòu)造時間序列樣本集兩部分。

1) 數(shù)據(jù)歸一化

由于輸入變量的量綱不同，為了消除其影響，本文選擇對輸入的樣本數(shù)據(jù)，即經(jīng)緯度和高度進行z-score 標準化處理，以提高預(yù)測的準確性，公式如下

2) 構(gòu)造時間序列樣本集

設(shè)定時間步長為T，用前T個樣本點的歷史數(shù)據(jù)預(yù)測下一時刻的數(shù)值，即采用時刻t ?T到時刻t ?1 的數(shù)據(jù)作為預(yù)測的輸入序列，時刻t的數(shù)據(jù)作為預(yù)測的輸出，以此生成連貫的時間序列類型樣本集。

3.3 模型參數(shù)分析

為了得到誤差相對較小的最優(yōu)模型，首先進行ENLSTM 預(yù)測模型部分超參數(shù)的分析與優(yōu)化。根據(jù)經(jīng)驗以及樣本長度，分別選擇20、30、40、50 作為預(yù)測的時間步長和0.12、0.1、0.08 作為Adagrad 優(yōu)化器的學(xué)習(xí)率訓(xùn)練模型，并且計算測試數(shù)據(jù)的預(yù)測值與真實值的均方根誤差RMSE。表2 為使用ENLSTM 模型對無人機真實飛行軌跡進行預(yù)測的誤差。

表2 不同時間步長和學(xué)習(xí)率下預(yù)測模型的RMSE

根據(jù)表2，選出均方根誤差最小的模型參數(shù)，即預(yù)測時間步長設(shè)為50，優(yōu)化器的學(xué)習(xí)率為0.1，此時RMSE 為0.109 2。

3.4 對比試驗

為了驗證ENLSTM 模型預(yù)測效果的優(yōu)越性，本文使用BP 神經(jīng)網(wǎng)絡(luò)、單層RNN 和單層LSTM 分別對模擬數(shù)據(jù)和對實際飛行數(shù)據(jù)進行預(yù)測，對比效果。對于BP 神經(jīng)網(wǎng)絡(luò)，本文設(shè)計一個三層的BP 神經(jīng)網(wǎng)絡(luò)，輸入長度為50 個時刻的位置坐標，隱藏層的節(jié)點數(shù)為20 個，輸出為下一時刻的位置坐標。設(shè)置隱藏層的傳遞函數(shù)為對數(shù)S 型函數(shù)，輸出層的傳遞函數(shù)則為線性函數(shù)；訓(xùn)練方法采用Levenberg-Marquardt 算法；學(xué)習(xí)率設(shè)為0.1；訓(xùn)練次數(shù)設(shè)為1 000。單層RNN 和單層LSTM 模型的參數(shù)設(shè)置和ENLSTM 類似。

四個模型對于模擬飛行數(shù)據(jù)的預(yù)測曲線為圖5 至圖8，對于真實飛行數(shù)據(jù)的預(yù)測曲線為圖9，其中黑色實線為真實航跡，藍色星號線為ENLSTM 的預(yù)測軌跡，虛線為LSTM、RNN 和BP 三種模型的預(yù)測結(jié)果?？梢暂^為直觀地看出，ENLSTM 模型的預(yù)測軌跡更接近于真實軌跡。

圖5 模擬數(shù)據(jù)1 的預(yù)測曲線與真實曲線

圖6 模擬數(shù)據(jù)2 的預(yù)測曲線與真實曲線

圖7 模擬數(shù)據(jù)3 的預(yù)測曲線與真實曲線

圖8 模擬數(shù)據(jù)4 的預(yù)測曲線與真實曲線

圖9 真實數(shù)據(jù)的預(yù)測軌跡與真實軌跡

通過計算，四種模型預(yù)測結(jié)果的RMSE 為表3。針對模擬數(shù)據(jù)，ENLSTM 模型的預(yù)測序列與真實序列的誤差RMSE 分別為0.086 1、0.021 1、0.025 5 和0.087 1，實際飛行數(shù)據(jù)的預(yù)測誤差RMSE 為0.109 2，比起LSTM、RNN 和BP 模型的預(yù)測結(jié)果，誤差都有了顯著減小，說明本文提出的模型在預(yù)測性能方面有了明顯的改進。并且從四種模型的預(yù)測誤差依次遞減，可以說明循環(huán)神經(jīng)網(wǎng)絡(luò)相對BP 神經(jīng)網(wǎng)絡(luò)在時間序列數(shù)據(jù)的預(yù)測上更具有優(yōu)勢，以及基于基礎(chǔ)循環(huán)神經(jīng)網(wǎng)絡(luò)的逐步改進提升了模型的預(yù)測能力。

表3 四種模型預(yù)測結(jié)果的RMSE

4 總結(jié)與展望

本文將NLSTM 神經(jīng)網(wǎng)絡(luò)應(yīng)用到無人機的航跡預(yù)測中，并且通過誤差建模對預(yù)測值進行修正。將提出的ENLSTM 預(yù)測模型分別應(yīng)用到無人機的模擬飛行軌跡和真實飛行軌跡，通過不斷優(yōu)化參數(shù)，可以使模型達到較好的預(yù)測效果。同時與BP、RNN、LSTM 神經(jīng)網(wǎng)絡(luò)對比，實驗表明在參數(shù)基本相同的情況下，ENLSTM 模型預(yù)測精度更高。針對無人機的航跡預(yù)測問題，ENLSTM 模型有著較好的應(yīng)用效果。同時ENLSTM 仍存在權(quán)重參數(shù)較多使得訓(xùn)練時間較長的問題，下一步將對ENLSTM 模型的網(wǎng)絡(luò)結(jié)構(gòu)進行優(yōu)化，使得預(yù)測結(jié)果準確且高效。