基于LSTM的Encoder-Decoder多步軌跡預(yù)測技術(shù)

李青勇 何兵 張顯煬 朱曉宇 劉剛

摘要：針對弱約束非合作目標(biāo)的軌跡特性和運(yùn)動(dòng)特性，提出一種基于LSTM的Encoder-Decoder多步軌跡預(yù)測技術(shù)（EDMTP）。引入一階差分處理，降低了軌跡數(shù)據(jù)的時(shí)間依賴性，得到了無趨勢的軌跡。構(gòu)造輸入輸出的軌跡數(shù)據(jù)對，將預(yù)測問題轉(zhuǎn)化為有監(jiān)督學(xué)習(xí)問題，研究多步預(yù)測過程中模型性能的變化，實(shí)現(xiàn)端到端的軌跡預(yù)測。仿真結(jié)果表明，該方法能夠從歷史軌跡數(shù)據(jù)中提取更多的軌跡特征，在多步軌跡預(yù)測中具有明顯的優(yōu)勢。與KFTP和HMMTP算法相比，EDMTP的誤差增長率分別同比下降了2.18%和3.52%，取得了較好的軌跡預(yù)測效果。

關(guān)鍵詞： 軌跡預(yù)測;LSTM;編碼器-解碼器;監(jiān)督學(xué)習(xí);多步預(yù)測

中圖分類號：TJ761;TP181? 文獻(xiàn)標(biāo)識碼： A? 文章編號： 1673-5048（2021）02-0049-06

0 引? 言

近年來，著眼于全球范圍快速精確打擊、遠(yuǎn)程武裝力量投送等作戰(zhàn)意圖，通過對弱約束非合作目標(biāo)的軌跡數(shù)據(jù)進(jìn)行分析建模，挖掘其中蘊(yùn)藏的運(yùn)動(dòng)規(guī)律和特征趨勢，研究相應(yīng)的預(yù)測模型及算法，進(jìn)一步完成軌跡預(yù)測，滿足精確打擊和打贏未來局部戰(zhàn)爭的軍事需求，為打贏未來局部戰(zhàn)爭方案設(shè)計(jì)與關(guān)鍵技術(shù)攻關(guān)提供技術(shù)支持，為作戰(zhàn)籌劃和態(tài)勢感知提供理論支撐。弱約束非合作目標(biāo)通常是指無固定路徑約束或路徑約束很弱的非合作方移動(dòng)目標(biāo)。如臨海巡航的航母戰(zhàn)斗群、失效或故障的航天器、高機(jī)動(dòng)的坦克裝甲車等，其具有運(yùn)動(dòng)方向隨機(jī)性強(qiáng)、移動(dòng)自由度大、運(yùn)動(dòng)規(guī)律多樣、軌跡特征不明顯等特點(diǎn)，且軌跡數(shù)據(jù)一般為自身所有，共享程度較低，獲取手段單一，通常依靠天基平臺上的各類電子偵察衛(wèi)星、雷達(dá)和地面基站等設(shè)備多維聯(lián)合定位跟蹤觀測。對該類目標(biāo)的軌跡數(shù)據(jù)進(jìn)行分析及預(yù)測成為各軍事大國當(dāng)前亟需研究解決的難題。

軌跡預(yù)測是指對歷史軌跡進(jìn)行全面剖析和映射，挖掘各個(gè)位置之間隱藏的時(shí)空信息和語義特征，然后基于一定的預(yù)測模型，推斷出下一時(shí)刻或多個(gè)時(shí)刻的位置信息[1]。傳統(tǒng)的軌跡預(yù)測主要有基于運(yùn)動(dòng)模型的軌跡預(yù)測和基于統(tǒng)計(jì)分析和概率計(jì)算的軌跡預(yù)測?；谶\(yùn)動(dòng)模型的常用思路是卡爾曼濾波（Kalman Filter，KF）[2]。如喬少杰等[3]提出了一種基于KF的動(dòng)態(tài)軌跡預(yù)測算法，采用系統(tǒng)的狀態(tài)空間模型以及觀測模型，對移動(dòng)對象進(jìn)行連續(xù)的位置預(yù)測。Cheng等[4]提出了一種基于KF和支持向量機(jī)（SVM）算法，在中快速乒乓球的軌跡預(yù)測上取得很好效果。但該算法結(jié)構(gòu)過于簡單，無法分析復(fù)雜的軌跡模式，且對于長期預(yù)測表現(xiàn)不佳。為克服該缺陷，引入基于統(tǒng)計(jì)分析和概率計(jì)算的預(yù)測模型，主要包括高斯過程模型和隱馬爾科夫模型（Hidden Markov Model，HMM）[5]。如高建等[6]提出基于概率分布模型的高斯混合-時(shí)間序列模型，實(shí)現(xiàn)車輛軌跡預(yù)測。趙曉光[7]提出一種應(yīng)用哈希表實(shí)現(xiàn)多階馬爾科夫預(yù)測模型，解決了狀態(tài)空間膨脹的問題。Kurashima等[8]在位置信息中結(jié)合用戶的偏好信息，提出了基于概率行為的馬爾科夫旅游線路預(yù)測模型。盡管這種模型對預(yù)測軌跡的物理過程進(jìn)行顯示建模，但其求解計(jì)算復(fù)雜度較高，在實(shí)際場景中算法性能受到限制。

隨著深度學(xué)習(xí)的不斷發(fā)展，一些深度學(xué)習(xí)模型應(yīng)用于時(shí)間序列方面的研究。與傳統(tǒng)的預(yù)測模型相比，深度學(xué)習(xí)模型擁有強(qiáng)大的數(shù)據(jù)挖掘和特征提取能力。長短期記憶（Long Short-Term Memory，LSTM）作為一種強(qiáng)大的遞歸神經(jīng)網(wǎng)絡(luò)（Recursive Neural Network，RNN）可以維持內(nèi)部的輸入記憶，并且彌補(bǔ)了RNN在訓(xùn)練過程中存在的梯度消失和梯度爆炸問題，廣泛應(yīng)用于軌跡預(yù)測問題[9]。如季學(xué)武等[10]提出了基于LSTM網(wǎng)絡(luò)的意圖識別和軌跡預(yù)測模型，有效提高了軌跡預(yù)測的準(zhǔn)確性。Zaroug等[11]將LSTM網(wǎng)絡(luò)應(yīng)用于下肢運(yùn)動(dòng)學(xué)的多個(gè)時(shí)間步軌跡，取得了不錯(cuò)的效果。

基于此，結(jié)合弱約束非合作目標(biāo)的運(yùn)動(dòng)特點(diǎn)及軌跡特征，提出了基于LSTM的Encoder-Decoder多步軌跡預(yù)測技術(shù)（Multi-Step Trajectory Prediction Based Encoder-Decode，EDMTP），從而實(shí)現(xiàn)了端到端的軌跡預(yù)測。

1 問題描述

軌跡預(yù)測問題認(rèn)為是通過分析移動(dòng)目標(biāo)的歷史軌跡，挖掘隱藏的運(yùn)動(dòng)規(guī)律和運(yùn)動(dòng)模式并預(yù)測未來的軌跡信息[12]。形式上，可認(rèn)為存在一組可觀測輸入特征I和一組可觀測的輸出特征O，假設(shè)I和O之間是可以預(yù)測的。設(shè)Tprev={t=t1，t2，…，tobs}，對于x∈I且t∈Tprev，用xk表示在t=tk時(shí)刻觀測到的特征值。同樣，定義Tpost={t1，t2，…，tobs}，并用yl表示對于y∈O且t∈Tpost在t=tl時(shí)刻的輸出值。令X=（xk）x∈I，t∈Tprev和Y=（yl）y∈O，t∈Tpost分別表示觀察到的特征的張量和對應(yīng)的預(yù)測輸出，通過訓(xùn)練非線性映射關(guān)系F，使預(yù)測輸出y^=F（X）盡可能與實(shí)際值Y接近，如圖1所示。

設(shè)待預(yù)測的軌跡之間存在某種上下文的語義相關(guān)性，Tr表示由n條軌跡組成的數(shù)據(jù)集：

Tr={Tr1，Tr2，…，Trn}（1）

Tri=（xti，yti）? （t=t1，t2，…，tobs）（2）

式中：Tri為軌跡數(shù)據(jù)集中的第i條軌跡; （xti，yti）為第i條軌跡在t時(shí)刻軌跡數(shù)據(jù)點(diǎn)。設(shè)當(dāng)輸入特征為Tr時(shí)，輸出T^r為

T^r={T^r1，T^r2，…，T^rn}（3）

T^ri=（x^ti，y^ti）? （t=t1，t2，…，tobs）（4）

式中：T^ri為預(yù)測的第i條軌跡;（x^ti，y^ti）為預(yù)測的第i條軌跡在t時(shí)刻的軌跡數(shù)據(jù)點(diǎn)。因此，軌跡預(yù)測問題可描述為

T^ri=Fλ[（x1i，y1i），（x2i，y2i），…，（xtobsi，ytobsi）]（5）

式中：F，λ分別為Tri和T^r之間的非線性映射關(guān)系和模型參數(shù)。通過優(yōu)化參數(shù)λ使得輸出T^ri逼近特征Tri，從而得到模型的最優(yōu)參數(shù)估計(jì)值：

λ^=argminλD（Tri，T^ri）（6）

式中：D（Tri，T^ri）為某種度量方式[13]，一般采用歐氏距離。由此便完成了模型的訓(xùn)練和參數(shù)估計(jì)過程，即可基于該映射關(guān)系進(jìn)行軌跡預(yù)測。

2 基于LSTM的Encoder-Decoder多步預(yù)測技術(shù)

2.1 軌跡數(shù)據(jù)處理

軌跡是一組連續(xù)性的數(shù)據(jù)信息，具有時(shí)間延續(xù)性和空間隨機(jī)性。對原始軌跡數(shù)據(jù)進(jìn)行相應(yīng)處理不僅可以加速模型的收斂，提高模型的預(yù)測精度，還降低訓(xùn)練成本和復(fù)雜性。

2.1.1 特征縮放

由于軌跡具有空間隨機(jī)性，導(dǎo)致軌跡間的差別很大，原始軌跡特征量綱不一致可能會影響到模型預(yù)測的結(jié)果[14]。為消除軌跡特征之間的量綱影響，提高計(jì)算的穩(wěn)定性，需要對原始軌跡進(jìn)行特征縮放，使不同特征的度量指標(biāo)之間具有可比性：

xnew=2x-（xmax+xmin）xmax-xmin （7）

ynew=2y-（ymax+ymin）ymax-ymin（8）

式中：xmax，xmin，ymax，ymin為軌跡數(shù)據(jù)的最大值和最小值。

2.1.2 數(shù)據(jù)差分

軌跡具有時(shí)間連續(xù)性，存在某種隨時(shí)間增加或減少的趨勢，對預(yù)測算法的精度有一定的影響。為獲得穩(wěn)定的訓(xùn)練結(jié)果，在應(yīng)用預(yù)測算法前，應(yīng)移除軌跡之間的趨勢，考慮軌跡之間的變化情況，使軌跡趨于平坦。差分是移除趨勢的一種標(biāo)準(zhǔn)方法[15]，通過用t時(shí)刻的觀察值（xt，yt）減去t′時(shí)刻的觀察值（xt′，yt′），得到軌跡數(shù)據(jù)變化率，來移除軌跡數(shù)據(jù)的時(shí)間依賴性，得到無趨勢軌跡：

xdiff=xt-xt′（9）

ydiff=yt-yt′（10）

在預(yù)測結(jié)束后，需要執(zhí)行反差分操作，通過將t′時(shí)刻的觀察值添加到預(yù)測值（x^diff，y^diff）中，將預(yù)測值迅速恢復(fù)到原始數(shù)據(jù)比例：

xinverted=x^diff+xt′（11）

yinverted=y^diff+yt′（12）

將1×（n+1）維的軌跡經(jīng)過差分處理，得到1×n維的無趨勢軌跡：

[pdiff1，…，pdiffn]=[p2-p1，…，pn+1-pn]（13）

式中：pi=（xi，yi）為特征縮放后的軌跡數(shù)據(jù);pdiffi=（xdiffi，ydiffi）為差分后的軌跡數(shù)據(jù)。

2.1.3 構(gòu)造監(jiān)督型數(shù)據(jù)

模型訓(xùn)練的目的是為了找出輸入I和輸出O之間的映射關(guān)系，通過將無趨勢軌跡構(gòu)造為輸入輸出的軌跡數(shù)據(jù)對，學(xué)習(xí)輸入和輸出之間的依賴關(guān)系，將預(yù)測問題轉(zhuǎn)化為監(jiān)督型學(xué)習(xí)問題[16]。如式（14）所示，將1×n的無趨勢軌跡，重構(gòu)為n×（t+1）的輸入輸出矩陣，t為構(gòu)造的監(jiān)督數(shù)據(jù)輸入步長，矩陣左邊的n×t數(shù)據(jù)作為輸入特征，右邊n×1作為輸出特征。

0…00pdiff10…0pdiff1pdiff20…pdiff1pdiff2pdiff3…pdiffn-t+1…pdiffn-3pdiffn-2pdiffn-1pdiffn-t…pdiffn-2pdiffn-1pdiffn（14）

2.2 LSTM神經(jīng)網(wǎng)絡(luò)

LSTM網(wǎng)絡(luò)是RNN的變體，與傳統(tǒng)的RNN相比，具有獨(dú)特的存儲和遺忘功能，通過學(xué)習(xí)軌跡序列規(guī)律，提取隱藏的軌跡序列特征，既可以準(zhǔn)確地獲得軌跡序列之間的依賴關(guān)系，又克服了RNN在訓(xùn)練過程中出現(xiàn)的梯度消失、梯度爆炸和長期記憶消失問題[9]。因此，LSTM網(wǎng)絡(luò)可以很好地處理軌跡序列問題。LSTM網(wǎng)絡(luò)隱藏層中線性自循環(huán)的存儲單元，可以長期保留梯度，并且通過三個(gè)門控制流入和流出的信息。

在t時(shí)刻LSTM網(wǎng)絡(luò)的輸入有三個(gè)，當(dāng)前時(shí)刻的輸入值xt，上一時(shí)刻的輸出值ht-1及單元狀態(tài)ct-1。輸入門it，輸出門ot和遺忘門ft，接收相同的輸入[ht-1，xt]，經(jīng)過激活函數(shù)σ，用來控制單元狀態(tài)ct的更新過程，基本的LSTM網(wǎng)絡(luò)如圖2所示。

門是一個(gè)全連接層，其接收一個(gè)向量作為輸入，輸出是0～1之間的實(shí)數(shù)向量，設(shè)W為門的權(quán)重矩陣，b是偏置項(xiàng)，則門可以表示為

g（x）=σ（Wx+b）（15）

采用Sigmoid作為激活函數(shù)，將輸入[ht-1，xt]調(diào)整到（0，1）區(qū)間。激活函數(shù)定義為

σ（x）=11+e-x（16）

輸入門it控制當(dāng)前時(shí)刻的輸入xt有多少保存到單元狀態(tài)ct，定義為

it=σ（Wi[ht-1，xt]+bi）（17）

遺忘門ft控制上一時(shí)刻的單元狀態(tài)ct-1有多少保存到當(dāng)前時(shí)刻狀態(tài)ct，定義為

ft=σ（Wf[ht-1，xt]+bf）（18）

輸出門ot控制當(dāng)前時(shí)刻狀態(tài)ct有多少輸出到當(dāng)前輸出值ht，定義為

ot=σ（Wo[ht-1，xt]+bo）（19）

根據(jù)上一時(shí)刻的輸出ht-1和當(dāng)前輸入xt來描述當(dāng)前輸入的單元狀態(tài)c～t，定義為

c～t=tanh（Wc[ht-1，xt]+bc）（20）

通過輸入門it和遺忘門ft調(diào)整當(dāng)前時(shí)刻的單元狀態(tài)ct，定義為

ct=ftct-1+itc～t（21）

網(wǎng)絡(luò)的最終輸出ht由輸出門ot和單元狀態(tài)ct共同確定，定義為

ht=ottanh（ct）（22）

式（17）～（19）中，矩陣Wi，Wf，Wo和Wc是門權(quán)重矩陣，向量bi，bf，bo和bc是門的偏置項(xiàng)。

用于單元狀態(tài)ct的更新，遺忘和輸出其狀態(tài)的信息由式（17）～（19）中的門控向量確定，單元狀態(tài)和輸出由式（20）～（22）更新。使用遺忘ft重置或恢復(fù)單元狀態(tài)，并通過輸入門it添加部分信息來獲得新狀態(tài)ct，同時(shí)使用輸出門ot控制和更新隱藏狀態(tài)ht。

2.3 基于Encoder-Decoder架構(gòu)的多步軌跡預(yù)測

假設(shè)軌跡數(shù)據(jù)中所有可能的結(jié)果服從某一概率分布，則軌跡預(yù)測問題可認(rèn)為是在給定歷史軌跡的情況下估算未來軌跡出現(xiàn)的概率，即可以看作是一個(gè)條件概率問題[17]。

在給定輸入序列{x1，x2，…，xT}的前提下，對輸出序列{y1，y2，…，yT′}的條件概率進(jìn)行建模。編碼器將整個(gè)輸入序列信息{x1，x2，…，xT}進(jìn)行特征提取，經(jīng)式（17）～（22）進(jìn)行T次遞歸更新之后，映射為單元狀態(tài)cT，則條件概率近似為

p（y1，y2，…，yT′|x1，x2，…，xT）≈

∏T′t=1p（yt|cT，y1，…，yt-1）（23）

在給定單元狀態(tài)c′t-1和前t-1時(shí)刻的輸出yt-1的條件下，解碼器會連續(xù)求解p（yt|c′t-1，yt-1）的概率分布：

p（y1，y2，…，yT′|x1，x2，…，xT）≈∏T′t=1p（yt|c′t-1，yt-1）（24）

基于ED模型，構(gòu)建如圖3所示的EDMTP預(yù)測算法，采用多輸入多輸出的形式，通過將原始軌跡作為輸入并進(jìn)編碼，不斷調(diào)整網(wǎng)絡(luò)參數(shù)和優(yōu)化損失函數(shù)，學(xué)習(xí)輸入特征和輸出標(biāo)簽（即候選的下一個(gè)位置）之間的依賴關(guān)系，實(shí)現(xiàn)非合作目標(biāo)的多步軌跡預(yù)測。

編碼階段通過處理長度為T的輸入序列{x1，x2，…，xT}，進(jìn)行映射分析和特征提取，將整個(gè)軌跡信息壓縮為一個(gè)固定維度的狀態(tài)向量，并通過非線性變化生成包含歷史軌跡特征分布的中間狀態(tài)向量cT[18-19]。在t時(shí)刻，編碼器的狀態(tài)ht由當(dāng)前輸入xt以及前一時(shí)刻狀態(tài)ht-1共同決定：

ht=f（ht-1，xt）（25）

狀態(tài)向量cT是對編碼網(wǎng)絡(luò)所有狀態(tài)的加權(quán)平均：

cT=q（h1，h2，…，hT）（26）

式中：q為加權(quán)平均函數(shù)。

編碼器部分使用單層LSTM網(wǎng)絡(luò)，在t時(shí)刻，該網(wǎng)絡(luò)將原始軌跡數(shù)據(jù)Tri=（xti，yti）[t=t1，t2，…，tobs]作為輸入，映射到狀態(tài)向量cT和隱藏層狀態(tài)ht，為解碼器提供輸入。

解碼器階段從初始輸入yinit開始，接收來自編碼器中間狀態(tài)向量cT，并將其作為解碼器的初始狀態(tài)（即c′0=cT），結(jié)合當(dāng)前時(shí)刻的輸入數(shù)據(jù)，模型通過求解p（yt|c′t-1，yt-1），并選擇概率最大的輸出作為模型的預(yù)測結(jié)果，然后將該預(yù)測結(jié)果遞歸的饋送到網(wǎng)絡(luò)中，并多次重復(fù)這一過程，使得狀態(tài)向量轉(zhuǎn)換為長度為T′的輸出序列{y1，y2，…，yT′}，λ為模型參數(shù)：

y^t=argmaxλpλ（yt|c′t-1，yt-1）（27）

解碼器部分由LSTM和全連接層組成，該模型以編碼器的輸出（狀態(tài)向量cT和隱藏層狀態(tài)ht）以及LSTM網(wǎng)絡(luò)每個(gè)時(shí)間步的歷史軌跡數(shù)據(jù)作為輸入，通過全連接層，得到未來軌跡數(shù)據(jù)的預(yù)測結(jié)果。

在多步預(yù)測過程中，LSTM展開成前饋神經(jīng)網(wǎng)絡(luò)，以當(dāng)前時(shí)間點(diǎn)為基準(zhǔn)，循環(huán)地獲取先前的軌跡序列，并作為當(dāng)前時(shí)間點(diǎn)的輸入，通過滾動(dòng)預(yù)測的原理從訓(xùn)練集的歷史數(shù)據(jù)中獲取最后一次觀測值，并用其預(yù)測當(dāng)前的可能取值。重復(fù)此過程，直到達(dá)到所需要的預(yù)測長度，實(shí)現(xiàn)多步軌跡預(yù)測，如圖4所示。

3 算法設(shè)計(jì)與仿真

本文仿真實(shí)驗(yàn)采用MIT Trajectory Data[20]數(shù)據(jù)集完成，數(shù)據(jù)來源是衛(wèi)星跟蹤定位的某大型平面上移動(dòng)的機(jī)動(dòng)車輛，該目標(biāo)在運(yùn)動(dòng)特征、路徑約束，采集方式等均與弱約束目標(biāo)類似[21]，可用來檢驗(yàn)所提出的算法性能。

采用線下訓(xùn)練、線上預(yù)測的方式進(jìn)行訓(xùn)練，先利用原始軌跡數(shù)據(jù)集訓(xùn)練模型，再用訓(xùn)練好的模型進(jìn)行預(yù)測分析。通過與基于KF的軌跡預(yù)測算法（KFTP）和基于HMM的軌跡預(yù)測算法（HMMTP）進(jìn)行了比較分析，驗(yàn)證了EDMTP模型多步軌跡預(yù)測的準(zhǔn)確性。

3.1 算法流程

將軌跡經(jīng)過相應(yīng)處理之后，得到無趨勢的監(jiān)督數(shù)據(jù)作為模型的輸入，在訓(xùn)練過程中，由式（17）～（22）前向計(jì)算出每個(gè)神經(jīng)元的輸出值O^，然后反向計(jì)算每個(gè)神經(jīng)元的誤差項(xiàng)，根據(jù)誤差項(xiàng)計(jì)算每個(gè)權(quán)重的梯度，使用RMSE作為損失函數(shù)，Adam算法作為優(yōu)化算法不斷對編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò)進(jìn)行參數(shù)更新。預(yù)測過程如下：

Step1：數(shù)據(jù)獲取。

Step2：數(shù)據(jù)處理。根據(jù)2.1節(jié)對軌跡數(shù)據(jù)進(jìn)行處理，得到無趨勢的輸入輸出軌跡數(shù)據(jù)對。

Step3：模型構(gòu)建。將n×（t+1）維的輸入輸出數(shù)據(jù)對的左邊n×t維作為輸入特征，右邊n×1維作為輸出特征，通過最小化預(yù)測結(jié)果與真實(shí)軌跡的誤差，不斷調(diào)整模型參數(shù)，優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，得到最終的預(yù)測模型。

Step4：模型驗(yàn)證。把測試數(shù)據(jù)輸入到訓(xùn)練好的網(wǎng)絡(luò)中，并將預(yù)測的軌跡數(shù)據(jù)，進(jìn)行反差分、反歸一化處理，得出預(yù)測結(jié)果。

Step5：性能分析。

3.2 仿真條件設(shè)置

仿真環(huán)境為CPU IntelCoreTMi9-9900K @3.60GHz，內(nèi)存16 GB，GPU NVIDIA GeForce RTX 2080Ti，仿真平臺為MATLAB 2018a和PyCharm Community Edition 2019.2.4，數(shù)據(jù)處理庫為numpy1.18.4，pandas 1.0.3，并搭建TensorFlow1.12.0rc0，Keras2.2.4深度學(xué)習(xí)框架，編程語言使用Python3.6.10。

3.3 仿真結(jié)果及分析

軌跡預(yù)測是一個(gè)經(jīng)典的回歸問題，本實(shí)驗(yàn)使用MIT Trajectory Data數(shù)據(jù)集進(jìn)行驗(yàn)證，該數(shù)據(jù)集包含40 453條不同長度的軌跡數(shù)據(jù)，實(shí)驗(yàn)中抽取每條軌跡的前85%的數(shù)據(jù)點(diǎn)作為訓(xùn)練集，后15% 的數(shù)據(jù)作為測試集，訓(xùn)練過程中超參數(shù)的設(shè)置如表1所示。為使實(shí)驗(yàn)結(jié)果更具有說服力，仿真結(jié)果取50次運(yùn)行結(jié)果的平均值。

采用均方根誤差（Root Mean Square Error，RMSE）來評估預(yù)測模型：

RMSE=1k∑ki=1（p^i-pi）2（28）

式中： k為預(yù)測步長; pi，p^i分別為真實(shí)值和預(yù)測值。

3.3.1 軌跡訓(xùn)練結(jié)果

為檢驗(yàn)預(yù)測算法的有效性和可行性，隨機(jī)抽取一條1×82的軌跡進(jìn)行驗(yàn)證。根據(jù)2.1.1和2.1.2節(jié)處理步驟，得到1×81的無趨勢軌跡。由表1可知input_step=8，根據(jù)2.1.3節(jié)數(shù)據(jù)構(gòu)造方法，得到81×9的輸入輸出數(shù)據(jù)對，將前61×9作為訓(xùn)練數(shù)據(jù)，后20×9作為測試數(shù)據(jù)。預(yù)測結(jié)束后，進(jìn)行相應(yīng)的反差分、反歸一化處理，得到步長為20的預(yù)測軌跡，即pred_step=20，對應(yīng)著原始軌跡中63，64，…，82的數(shù)據(jù)點(diǎn)。圖 5所示為實(shí)驗(yàn)結(jié)果及局部預(yù)測放大圖。

3.3.2 算法性能比較

為了進(jìn)一步比較算法性能，驗(yàn)證模型的準(zhǔn)確性和可靠性，比較了EDMTP，KFTP和HMMTP模型在多個(gè)預(yù)測步長的RMSE變化情況，如表2、圖 6所示。

采用誤差增長率描述模型在多步預(yù)測過程中軌跡性能的變化情況：

η=Lossj-Lossipred_stepj-pred_stepi（29）

由圖6可知，在短期內(nèi)KFTP，HMMTP和EDMTP模型的預(yù)測結(jié)果均較為接近，其中EDMTP模型的性能略優(yōu)于KFTP和HMMTP模型。隨著預(yù)測步長的增加，EDMTP模型的優(yōu)勢變得越來越明顯，對于pred_step=35的預(yù)測結(jié)果，相較于KFTP和HMMTP的誤差增長率同比下降了2.18%和3.52%，EDMTP模型的預(yù)測效果明顯優(yōu)于KFTP和HMMTP模型。盡管這三個(gè)模型的預(yù)測誤差隨預(yù)測步長的增加而增加，但EDMTP模型預(yù)測誤差的增加趨勢明顯小于KFTP和HMMTP的預(yù)測誤差。因此，在多步軌跡預(yù)測中，EDMTP模型的性能優(yōu)于其他模型。仿真結(jié)果表明，基于LSTM的EDMTP模型可從歷史軌跡數(shù)據(jù)中提取更多的軌跡特征，從而獲得更好的軌跡預(yù)測結(jié)果。

4 結(jié) 束 語

針對弱約束非合作目標(biāo)，由于運(yùn)動(dòng)方向隨機(jī)性強(qiáng)、移動(dòng)的自由度大、運(yùn)動(dòng)規(guī)律多樣、軌跡特征不明，導(dǎo)致軌跡數(shù)據(jù)特征復(fù)雜。本文提出了一種基于LSTM的Encoder-Decoder多步軌跡預(yù)測方法，主要的貢獻(xiàn)點(diǎn)：（1）采用了一階差分處理，移除了軌跡數(shù)據(jù)之間存在的趨勢，弱化了軌跡數(shù)據(jù)的時(shí)間依賴問題，使軌跡趨于平坦，得到了軌跡變化率，加快了算法的執(zhí)行效率;

（2）將無趨勢軌跡構(gòu)造為輸入輸出的軌跡數(shù)據(jù)對，通過學(xué)習(xí)輸入和輸出之間的依賴關(guān)系，將預(yù)測問題轉(zhuǎn)化為監(jiān)督型學(xué)習(xí)問題，提高了模型的預(yù)測精度，降低訓(xùn)練成本和復(fù)雜性;

（3）提出了基于編碼器-解碼器架構(gòu)的多步預(yù)測模型，編碼器網(wǎng)絡(luò)通過分析歷史軌跡的運(yùn)動(dòng)模式，將軌跡信息壓縮為一個(gè)固定維度的狀態(tài)向量，解碼器網(wǎng)絡(luò)通過對狀態(tài)向量解析，并遞歸的將預(yù)測結(jié)果饋送到網(wǎng)絡(luò)中，實(shí)現(xiàn)多步軌跡預(yù)測。

參考文獻(xiàn)：

[1] 張顯煬，劉剛，馬霄龍，等. 基于變分自編碼的海面艦船軌跡預(yù)測算法[J]. 計(jì)算機(jī)應(yīng)用研究，2020，37（S1）： 122-125.

Zhang Xianyang，Liu Gang，Ma Xiaolong，et al. Variational Auto-encoding Based for Warship Trajectory Prediction[J]. Application Research of Computers，2020，37（S1）： 122-125.（in Chinese）

[2] Kalman R E. A New Approach to Linear Filtering and Prediction Problems[J]. Journal of Basic Engineering，1960，82（1）： 35-45.

[3] 喬少杰，韓楠，朱新文，等. 基于卡爾曼濾波的動(dòng)態(tài)軌跡預(yù)測算法[J]. 電子學(xué)報(bào)，2018，46（2）： 418-423.

Qiao Shaojie，Han Nan，Zhu Xinwen，et al. A Dynamic Trajectory Prediction Algorithm Based on Kalman Filter[J]. Acta Electronica Sinica，2018，46（2）： 418-423.（in Chinese）

[4] Cheng Q，Wang C L. A Method of Trajectory Prediction Based on Kalman Filtering Algorithm and Support Vector Machine Algorithm[C]∥Proceedings of the 14th Chinese Intelligent Systems Conference，2018.

[5] 孫紅，陳鎖. 一種聚類隱馬爾可夫模型的時(shí)空軌跡預(yù)測算法[J]. 小型微型計(jì)算機(jī)系統(tǒng)，2019，40（3）： 472-476.

Sun Hong，Chen Suo. Spatio-Temporal Trajectory Prediction Algorithm Based on Clustering? Hidden Markov Model[J]. Journal of Chinese Computer Systems，2019，40（3）： 472-476.（in Chinese）

[6] 高建，毛鶯池，李志濤. 基于高斯混合-時(shí)間序列模型的軌跡預(yù)測[J]. 計(jì)算機(jī)應(yīng)用，2019，39（8）： 2261-2270.

Gao Jian，Mao Yingchi，Li Zhitao. Trajectory Prediction Based on Gauss Mixture Time Series Model[J]. Journal of Computer Applications，2019，39（8）： 2261-2270.（in Chinese）

[7] 趙曉光. 基于多尺度區(qū)域劃分和運(yùn)動(dòng)模式的車輛軌跡預(yù)測[D]. 北京： 北京郵電大學(xué)，2017.

Zhao Xiaoguang. Trajectory Prediction Based on Multi-Scale Region Division and Vehicle Mobility Pattern[D]. Beijing： Beijing University of Posts and Telecommunications，2017. （in Chinese）

[8] Kurashima T，Iwata T，Irie G，et al. Travel Route Recommendation Using Geotagged Photos[J]. Knowledge and Information Systems，2013，37（1）： 37-60.

[9] Li M X，Lu F，Zhang H C，et al. Predicting Future Locations of Moving Objects with Deep Fuzzy-LSTM Networks[J]. Transportmetrica A： Transport Science，2020，16（1）： 119-136.

[10] 季學(xué)武，費(fèi)聰，何祥坤，等. 基于LSTM網(wǎng)絡(luò)的駕駛意圖識別及車輛軌跡預(yù)測[J]. 中國公路學(xué)報(bào)，2019，32（6）： 34-42.

Ji Xuewu，F(xiàn)ei Cong，He Xiangkun，et al. Intention Recognition and Trajectory Prediction for Vehicles Using LSTM Network[J]. China Journal of Highway and Transport，2019，32（6）： 34-42.（in Chinese）

[11] Zaroug A，Lai D T H，Mudie K，et al. Lower Limb Kinematics Trajectory Prediction Using Long Short-Term Memory Neural Networks[J]. Frontiers in Bioengineering and Biotechnology，2020，8： 362.

[12] 張顯煬，朱曉宇，林浩申，等. 基于混合高斯-變分自編碼的軌跡預(yù)測算法[J/OL]. 計(jì)算機(jī)工程，2020. DOI： 10.19678/j.issn.1000-3428.0055074.

Zhang Xianyang，Zhu Xiaoyu，Lin Haoshen，et al.Gauss Mixture-variational Autoencoding Based for Trajectory Prediction[J/OL].Computer Engineering，2020. DOI： 10.19678/j.issn.1000-3428.0055074.（in Chinese）

[13] Núez J A，Cincotta P M，Wachlin F C. Information Entropy[J]. Celestial Mechanics & Dynamical Astronomy，1996.

[14] 郝曉靜，李國新，李明珠，等. 無跡卡爾曼濾波算法在目標(biāo)跟蹤中的研究[J]. 電子設(shè)計(jì)工程，2012，20（13）： 161-164.

Hao Xiaojing，Li Guoxin，Li Mingzhu，et al. Research of UKF in the Target Tracking[J]. Electronic Design Engineering，2012，20（13）： 161-164.（in Chinese）

[15] 李明鎖，井亮，鄒杰，等. 結(jié)合擴(kuò)展卡爾曼濾波的CamShift移動(dòng)目標(biāo)跟蹤算法[J]. 電光與控制，2011，18（4）： 1-5.

Li Mingsuo，Jing Liang，Zou Jie，et al. CamShift Algorithm Combined with Extended Kalman Filter for Moving Target Tracking[J]. Electronics Optics & Control，2011，18（4）： 1-5.（in Chinese）

[16] Liu C Y，Shui P L，Li S. Unscented Extended Kalman Filter for Target Tracking[J]. Journal of Systems Engineering and Electro-nics，2011，22（2）： 188-192.

[17] Lü P Y，Chen N，Mao S J，et al. LSTM Based Encoder-Decoder for Short-Term Predictions of Gas Concentration Using Multi-Sensor Fusion[J]. Process Safety and Environmental Protection，2020，137： 93-105.

[18] 孫曉騫，蘇依拉，趙亞平，等. 基于編碼器-解碼器重構(gòu)框架的蒙漢神經(jīng)機(jī)器翻譯[J]. 計(jì)算機(jī)應(yīng)用與軟件，2020，37（4）： 150-155.

Sun Xiaoqian，Su Yila，Zhao Yaping，et al. Mongolian-Chinese Neural Machine Translation Based on Encoder-Decoder Reconstruction Framework[J]. Computer Applications and Software，2020，37（4）： 150-155.（in Chinese）

[19] 張金超，艾山·吾買爾，買合木提·買買提，等. 基于多編碼器多解碼器的大規(guī)模維漢神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型[J]. 中文信息學(xué)報(bào)，2018，32（9）： 20-27.

Zhang Jinchao，Aishan Wumaier，Maihemuti Maimaiti，et al. A Large-Scale Uyghur-Chinese Neural Machine Translation Model Based on Multiple Encoders and Decoders[J]. Journal of Chinese Information Processing，2018，32（9）： 20-27.（in Chinese）

[20] Grimson E，Wang X，Ng G W，et al. Trajectory Analysis and Semantic Region Modeling Using a Nonparametric Bayesian Model[C]∥ IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2008.

[21] Wang X G，Ma K T，Ng G W，et al. Trajectory Analysis and Semantic Region Modeling Using Nonparametric Hierarchical Baye-sian Models[J]. International Journal of Computer Vision，2011，95（3）： 287-312.

Encoder-Decoder Multi-Step Trajectory

Prediction Technology Based on LSTM

Li Qingyong，He Bing*，Zhang Xianyang，Zhu Xiaoyu，Liu Gang

（Rocket Force University of Engineering，Xian 710025，China）

Abstract：

Aiming at the trajectory and motion characteristics of weakly constrained non-cooperative targets，a LSTM-based encoder-decoder multi-step trajectory prediction technology （EDMTP） is proposed. The introduction of first-order difference processing reduces the time dependence of the trajectory data，and obtains a trendless trajectory. Constructing? an input and output trajectory data pair，transforming the prediction problem into a supervised learning problem，the change of model performance in the multi-step prediction process is studied to realize end-to-end trajectory prediction. Simulation results show that this method can extract more trajectory features from historical trajectory data，and has obvious advantages in multi-step trajectory prediction. Compared with the trajectory prediction algorithms of KFTP and HMMTP，the error growth rate of EDMTP decrease by 2.18% and 3.52% year-on-year，respectively，and achieves better trajectory prediction results.

Key words： trajectory prediction;LSTM;Encoder-Decoder;supervised learning;multi-step prediction

收稿日期：2020-08-13

基金項(xiàng)目：國家自然科學(xué)基金青年科學(xué)基金項(xiàng)目（61403399）

作者簡介： 李青勇（1995-），男，甘肅白銀人，碩士，研究方向?yàn)檐壽E分析、軌跡預(yù)測。

通訊作者：何兵（1983-），男，陜西西安人，副教授，博士，研究方向?yàn)槿斯ぶ悄堋?shù)據(jù)分析、導(dǎo)航制導(dǎo)與控制。