基于LSTM與注意力機(jī)制的船舶航跡預(yù)測模型研究

劉成勇， 喬文杰， 陳蜀喆， 萬 一

(1.武漢理工大學(xué) 航運(yùn)學(xué)院， 武漢 430063； 2.湖北省內(nèi)河航運(yùn)技術(shù)重點(diǎn)實(shí)驗(yàn)室， 武漢 430063)

隨著航運(yùn)業(yè)的迅速發(fā)展，內(nèi)河通航水域中持續(xù)面臨著如船舶交通密度增大、危險貨物載量增加、水上交通管理難度增大等嚴(yán)峻挑戰(zhàn)，這些挑戰(zhàn)使得水域通航環(huán)境愈發(fā)復(fù)雜，是內(nèi)河航運(yùn)業(yè)保持可持續(xù)發(fā)展的潛在阻礙和難題。而安全可靠的船舶航跡預(yù)測能為內(nèi)河水上交通安全管理和船舶航行提供重要依據(jù)[1]，如Dejun提出基于船舶航跡預(yù)測的船舶碰撞避免方法[2]，即首先將目標(biāo)船和本船的實(shí)時數(shù)據(jù)進(jìn)行航跡預(yù)測，然后將預(yù)測結(jié)果應(yīng)用到船舶避碰中，以提前識別出船舶的危險情況。內(nèi)河水上交通管理部門也能通過獲取船舶準(zhǔn)確有效的航跡預(yù)測數(shù)據(jù)，及時發(fā)現(xiàn)并處理船舶航行異常和不規(guī)范的問題，同時采取相應(yīng)的策略來提高內(nèi)河船舶通行的效率和安全?；贏IS數(shù)據(jù)的船舶航跡預(yù)測研究也是當(dāng)前內(nèi)河船舶交通流研究中的熱點(diǎn)，傳統(tǒng)統(tǒng)計理論研究方法的有如姜佰辰等提出了在傳統(tǒng)卡爾曼濾波理論的基礎(chǔ)上構(gòu)建多項式卡爾曼濾波器擬合非線性系統(tǒng)[3]，補(bǔ)償航跡定位數(shù)據(jù)信息缺失、更新較慢等問題，并基于經(jīng)緯度信息預(yù)測船舶運(yùn)動軌跡，但此類模型對數(shù)據(jù)的質(zhì)量要求較高，且預(yù)測精度一般。隨著神經(jīng)網(wǎng)絡(luò)的廣泛使用，出現(xiàn)了如徐婷婷等使用經(jīng)度差、緯度差、船速和航向四個特征設(shè)計了基于三層BP神經(jīng)網(wǎng)絡(luò)的航跡預(yù)測模型[4]，該模型訓(xùn)練預(yù)測后結(jié)果表明該算法預(yù)測精度高、算法耗時短、計算參數(shù)少，符合VTS對航跡預(yù)測的準(zhǔn)確、實(shí)時、通用性的要求，但此類模型隱藏層單元較少且較為直接，模型表達(dá)能力有限。而當(dāng)前大數(shù)據(jù)時代的到來和深度學(xué)習(xí)在各個領(lǐng)域的應(yīng)用，利用深度學(xué)習(xí)挖掘AIS數(shù)據(jù)的豐富交通特征信息來解決船舶航跡預(yù)測問題也取得了一定進(jìn)展，如權(quán)波等針對船舶航行軌跡多維度的特點(diǎn)以及對船舶軌跡預(yù)測的精確度和實(shí)時性的需求，基于AIS數(shù)據(jù)的航行軌跡特征，提出了循環(huán)神經(jīng)網(wǎng)絡(luò)-長短期記憶(RNN-LSTM)模型[5]，實(shí)驗(yàn)表明利用RNN-LSTM模型的預(yù)測方法具有精確度高、易實(shí)現(xiàn)的特點(diǎn)，并且與傳統(tǒng)處理方法相比，其在處理序列數(shù)據(jù)方面更具優(yōu)越性。

目前在船舶航跡預(yù)測問題上應(yīng)用效果相對較好的方法還是結(jié)合AIS數(shù)據(jù)的深度學(xué)習(xí)方法，但是依然存在一些精度和可靠性不足的問題，主要原因在于大多數(shù)模型挖掘船舶AIS數(shù)據(jù)信息的過程都較為孤立，并沒有考慮如自身船舶航行模式和其他船舶的交互影響等方面。

1 LSTM網(wǎng)絡(luò)及其傳播原理

1.1 LSTM網(wǎng)絡(luò)概述

在深度學(xué)習(xí)的典型模型中，循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks, RNN)具有對大量離散時間序列數(shù)據(jù)處理的優(yōu)越性和獨(dú)特的上下時刻記憶功能，AIS數(shù)據(jù)及其包含的航跡特征也屬于上下時刻息息相關(guān)的離散時間序列。使用RNN神經(jīng)網(wǎng)絡(luò)結(jié)合航跡數(shù)據(jù)的關(guān)聯(lián)特性能充分挖掘數(shù)據(jù)內(nèi)部蘊(yùn)藏的信息，且將RNN的隱藏層替換為LSTM網(wǎng)絡(luò)單元后的航跡預(yù)測模型在實(shí)際運(yùn)用中也取到了較好的效果[5]。

常見的RNN展開后的結(jié)構(gòu)如圖1所示，由于循環(huán)神經(jīng)網(wǎng)絡(luò)在實(shí)際應(yīng)用中存在固有的梯度消失和梯度爆炸的問題[6-7]，一般將循環(huán)神經(jīng)網(wǎng)絡(luò)單元替換成LSTM網(wǎng)絡(luò)單元來解決上述問題，LSTM網(wǎng)絡(luò)展開傳遞過程如圖2所示，其主要解決方案是增加了單元狀態(tài)(Cell State)和各種門結(jié)構(gòu)來讓網(wǎng)絡(luò)在傳遞的過程中具備選擇性保留或遺忘某些信息的能力[8]。單元狀態(tài)相當(dāng)于傳輸相關(guān)信息的通路，讓信息在序列鏈中傳遞下去，這部分可看作是網(wǎng)絡(luò)的記憶。理論上，在序列處理過程中，單元狀態(tài)能一直攜帶著相關(guān)信息。因此，在較早時間步中獲得的信息也能傳輸?shù)捷^后時間步的單元中，這樣能減弱短期記憶的影響。而門結(jié)構(gòu)則是在網(wǎng)絡(luò)訓(xùn)練的過程中，決定是否存儲、刪除或更新某些信息，這取決于它賦予信息的重要性，而重要性的分配發(fā)生在算法學(xué)習(xí)到的權(quán)重上。

圖1 RNN展開后的結(jié)構(gòu)圖

如圖2所示，每個基本模塊具有兩條傳遞的主線，ct代表t時刻的單元狀態(tài)，ht代表t時刻的隱藏層輸出。在網(wǎng)絡(luò)傳遞的過程中，前一時刻單元狀態(tài)ct-1、隱藏層輸出ht-1和當(dāng)前時刻的輸入xt共同作為當(dāng)前時刻的輸入，然后輸出新的單元狀態(tài)ct和隱藏層輸出ht，如此反復(fù)遞歸下去。

圖2 LSTM網(wǎng)絡(luò)展開傳遞示意圖

1.2 LSTM傳播原理

1.2.1前向傳播過程

長短期記憶網(wǎng)絡(luò)使用了三種門結(jié)構(gòu)實(shí)現(xiàn)了對單元狀態(tài)和隱藏層輸出的控制，達(dá)到對記憶信息的保存和新單元狀態(tài)和輸出的更新效果。這三種門分別是遺忘門(Forget gate)，輸入門(Input gate)和輸出門(Output gate)，共同對網(wǎng)絡(luò)的記憶信息和新的輸入信息起到了綜合調(diào)控的作用，其具體的網(wǎng)絡(luò)單元結(jié)構(gòu)如圖3所示。

圖3 LSTM具體網(wǎng)絡(luò)結(jié)構(gòu)單元圖

如圖3所示，其中ft、it、ot分別對應(yīng)遺忘門、輸入門和輸出門的結(jié)果，?、⊕分別表示連接部分相乘和相加。那么根據(jù)文獻(xiàn)[8]可知三個門結(jié)構(gòu)、更新后單元狀態(tài)和隱藏層值的計算分別如下：

ft=σ(Wf·[ht-1,xt]+bf)

(1)

it=σ(Wi·[ht-1,xt]+bi)

(2)

(3)

(4)

ot=σ(Wo·[ht-1,xt]+bo)

(5)

ht=ot⊙tanh(ct)

(6)

1.2.2反向傳播過程

(7)

(1-ot)](ht-1)T

(8)

2 基于LSTM的Encoder-Decoder模型框架

2.1 總體模型框架

本文的船舶航跡預(yù)測問題選取的輸入主要包括AIS報文信息里五個航跡相關(guān)參數(shù)，即輸入變量為船舶經(jīng)度(longitude，度)、緯度(latitude，度)、對地航速(SOG，節(jié)/小時)、船首向(Head direction，度)和對地航向(COG，度)的多個時刻觀測序列值，預(yù)測輸出為船舶后續(xù)時刻位置的經(jīng)緯度序列。這可以看成一個典型的從序列到序列(seq2seq)的預(yù)測問題，在深度學(xué)習(xí)中現(xiàn)有的基于LSTM模塊單元的Encoder-Decoder模型常用于處理此類問題。如朱墨儒等[12]針對云計算的負(fù)載變化兼有短期動態(tài)不確定性與長期統(tǒng)計規(guī)律的穩(wěn)定性，利用經(jīng)過改進(jìn)的Seq2seq模型并通過采集一段時間內(nèi)的歷史負(fù)載信息，對負(fù)載時間序列數(shù)據(jù)進(jìn)行建模后實(shí)現(xiàn)了較為準(zhǔn)確的未來一段時間的負(fù)載預(yù)測。那么結(jié)合本文的實(shí)際研究，將該模型應(yīng)用到航跡預(yù)測問題可得到基于LSTM的編碼-解碼航跡預(yù)測模型基本框架，如圖4所示。

圖4 基于LSTM編碼-解碼模型的船舶航跡預(yù)測基本框架

2.2 LSTM編碼過程

在LSTM編碼器部分，每個LSTM模塊接受上一時刻船舶航跡的隱藏層表示和當(dāng)前時刻輸入的該船舶的航跡參數(shù)，根據(jù)這兩部分的輸入通過非線性變換再計算出當(dāng)前時刻該船舶航跡序列的隱藏層表示，如式(9)所示：

ht=σ(ht-1,xt)

(9)

其中σ為非線性變換函數(shù)，在通過所有的輸入循環(huán)單元后，獲得了所有輸入時刻的隱藏層表示，將每個隱藏層的信息匯聚生成了最后的上下文向量C，其中q為某種非線性函數(shù)，由圖4可知，此時的C即為輸入層最后一層的隱藏層輸出ht，整個的編碼過程可以總結(jié)如式(10)：

C=LSTM(x1,x2,…,xτ)

(10)

輸入的航跡序列經(jīng)過編碼器映射成上下文向量C，這個固定長度的上下文向量可以看作是編碼器到解碼器的信息媒介，避免了序列數(shù)據(jù)的長度限制。通過編碼器對船舶的航跡序列數(shù)據(jù)進(jìn)行特征提取，學(xué)習(xí)了航跡數(shù)據(jù)里蘊(yùn)藏的船舶潛在運(yùn)動模式，為解碼器預(yù)測船舶后續(xù)時刻的位置提供了有效的信息。

2.3 LSTM解碼過程

在LSTM解碼器部分，解碼器在每個輸出時刻也接收兩個輸入，分別是通過編碼器生成的上下文向量C和已經(jīng)生成的輸出序列，這兩部分經(jīng)過非線性變換后輸出船舶的下一個可能的位置，預(yù)測輸出過程表示為如式(11)所示：

(11)

f為解碼器的LSTM循環(huán)單元，解碼器的生成序列實(shí)際上就是把聯(lián)合概率分解為按順序生成的條件概率，由于解碼器每一時刻的相互連接，解碼器每一時刻的輸出具體可以表示為由隱藏層和上下文向量C表示，如式(12)所示:

(12)

其中g(shù)為輸出概率的非線性變換函數(shù)，st-1為解碼器t-1時刻的隱藏層表示。

解碼器每次預(yù)測船舶后續(xù)時刻的位置時，能夠利用上一時刻的預(yù)測信息和基于編碼器對輸入航跡序列信息提取后得到的上下文向量C，通過LSTM前向和反向傳播的學(xué)習(xí)能力，模型能夠?qū)W習(xí)到目標(biāo)輸出與這兩種信息之間的非線性映射關(guān)系，并將映射關(guān)系的結(jié)果解碼得到后續(xù)時刻船舶的位置信息輸出，即為基于LSTM編碼-解碼的船舶航跡預(yù)測過程。

3 Atten-LSTM船舶航跡預(yù)測模型構(gòu)建

在解決seq2seq問題的Encoder-Decoder模型時，往往將模型預(yù)測輸出和深度學(xué)習(xí)中的注意力機(jī)制結(jié)合起來。大量研究工作表明，注意力機(jī)制的引入確實(shí)能較大程度上提高seq2seq模型預(yù)測輸出的準(zhǔn)確率[13]。與人的注意力機(jī)制類似，深度學(xué)習(xí)的注意力機(jī)制的本質(zhì)上是一種對信息的加權(quán)方案，根據(jù)任務(wù)的需求讓神經(jīng)網(wǎng)絡(luò)選擇特定的輸入，依據(jù)輸入對結(jié)果的重要程度分配不同的權(quán)重，讓神經(jīng)網(wǎng)絡(luò)在做出預(yù)測時更加合理的運(yùn)用信息的來源，基于此本文主要從船舶航行模式的時間和空間兩個維度對注意力機(jī)制進(jìn)行模型構(gòu)建。

3.1 時間注意力機(jī)制

在基于LSTM的編碼-解碼航跡預(yù)測模型中使用的是由輸入生成的固定的上下文向量C，由于向量長度有限，難以概括整個航跡序列的信息，且在LSTM中先輸入的信息會被后輸入的內(nèi)容稀釋掉，于是隨著輸入序列的變長，這種固定的上下文向量C越來越不能體現(xiàn)航跡數(shù)據(jù)中的真實(shí)信息。另外真實(shí)場景下船舶的航行模式也是隨時間動態(tài)變化的，僅依靠固定的上下文向量C無法區(qū)分輸出序列和輸入序列的隱藏層之間跨時間步的相關(guān)性程度。因此，在基礎(chǔ)的編碼-解碼船舶航跡預(yù)測模型中需要引入每艘船舶對自身歷史航跡的時間注意力機(jī)制，自動學(xué)習(xí)出其解碼器與編碼器產(chǎn)生的各隱藏向量的相關(guān)性。這里以第i艘船為例，使用時間注意力機(jī)制計算生成船舶航的位置序列的迭代過程則如式(13)所示：

(13)

(14)

圖5 模擬船舶自身航行模式的注意力機(jī)制示意圖

3.2 空間注意力機(jī)制

除了引入對自身航跡的時間注意力機(jī)制外，還要考慮船舶航行環(huán)境中船與船的交互作用對船舶航跡的影響?？紤]到在預(yù)測自身船舶的航跡時也需要對其他周圍船舶的航行模式做出觀察和判斷，模型就需要利用其他周圍船舶航跡數(shù)據(jù)的上下文向量所攜帶的信息，并能夠與該上下文向量之間建立聯(lián)系。另外，每艘船舶的航行狀態(tài)會隨著時間不斷發(fā)生變化，對任意一艘自身船舶而言，其他的船舶的航行狀態(tài)都會對其未來時刻航跡產(chǎn)生不同的影響。因此，模型需要計算出船舶對周圍其他船舶的關(guān)注程度，即航行過程中的空間注意力機(jī)制調(diào)整。

(15)

圖6 模擬船舶交互作用的注意力機(jī)制示意圖

實(shí)現(xiàn)了基于LSTM的編碼-解碼航跡預(yù)測模型中的注意力機(jī)制后，對于模型輸出采取如下方式：即本船i在預(yù)測時刻t出現(xiàn)在某個位置的概率服從二維高斯分布，再根據(jù)極大似然估計，可得到模型的總體損失函數(shù)則為船舶真實(shí)位置概率密度值的交叉熵?fù)p失函數(shù)，這樣模型訓(xùn)練的過程中便可以通過誤差隨時間的反向傳播和梯度下降可以學(xué)習(xí)到所有的參數(shù)值，總體的Atten-LSTM模型構(gòu)建完成。

4 模型驗(yàn)證及結(jié)果分析

4.1 實(shí)驗(yàn)環(huán)境和評價指標(biāo)

本文的主要開發(fā)語言為python3.7版本，實(shí)驗(yàn)平臺使用基于tensorflow1.8版本的上層框架Keras。實(shí)驗(yàn)研究數(shù)據(jù)主要來源于海事管理機(jī)構(gòu)，主要選取了長江干線武漢段船舶正常航行的航跡數(shù)據(jù)，每條船舶選取約400條航跡數(shù)據(jù)，每條數(shù)據(jù)采樣間隔為2分鐘。首先對原始數(shù)據(jù)中的錯誤數(shù)據(jù)進(jìn)行剔除和缺失數(shù)據(jù)進(jìn)行同類均值插補(bǔ)，再對船舶經(jīng)度、維度、航速、航首相和對地航向五個維度進(jìn)行min-max歸一化處理，之后對航跡數(shù)據(jù)進(jìn)行訓(xùn)練集和測試集的劃分，其中30%作為測試集，70%的數(shù)據(jù)作為訓(xùn)練集，將訓(xùn)練集分為十等份，輪流將其中九份作為訓(xùn)練，一份用來測試評估，即采用十折交叉驗(yàn)證的策略訓(xùn)練模式。模型的評價指標(biāo)選取常用的絕對值平均誤差(MAE)和均方根誤差(RMSE)兩個標(biāo)準(zhǔn)，其值越小代表模型準(zhǔn)確度越高。兩者基本的計算方法如式(16)和(17)所示：

(16)

(17)

4.2 模型參數(shù)設(shè)置

對于本文的Atten-LSTM預(yù)測模型參數(shù)設(shè)置，其嵌入層維度為64，隱藏層維度設(shè)為128，訓(xùn)練中的優(yōu)化器選用Adam優(yōu)化器，訓(xùn)練周期(epoch)設(shè)為200，如果損失經(jīng)過400個批次都沒有減少，就可以減少訓(xùn)練的epoch[17]。網(wǎng)絡(luò)學(xué)習(xí)率初始值設(shè)為0.002，每一個訓(xùn)練周期的學(xué)習(xí)率自適應(yīng)降低，學(xué)習(xí)率的逐步降低有利于網(wǎng)絡(luò)收斂于更優(yōu)的結(jié)果。為防止網(wǎng)絡(luò)模型出現(xiàn)梯度爆炸的現(xiàn)象，模型采用梯度修剪(Gradient clipping)將誤差反向傳播的梯度控制在5和-5之間。同時考慮預(yù)測值的實(shí)際應(yīng)用與參考價值，將輸出定為未來5個時刻的經(jīng)緯度值，即輸出steps為5。對于輸入層的時刻數(shù)，對多個不同輸入steps進(jìn)行實(shí)驗(yàn)對比分析誤差進(jìn)行選取。以MMSI編號413963521的貨船的航跡數(shù)據(jù)為本船，通過坐標(biāo)距離計算獲取周圍6海里的他船，確定船舶后帶入Atten-LSTM模型中對本船進(jìn)行訓(xùn)練后得到后續(xù)時刻的預(yù)測，則實(shí)驗(yàn)過程中不同輸入steps帶入模型對應(yīng)的MAE和RMSE得分見圖7所示。

圖7 輸入層不同steps對應(yīng)的RMSE和MAE值

由圖7可以看出，不同的輸入層steps對網(wǎng)絡(luò)模型精度有著一定影響，模型網(wǎng)絡(luò)在輸入層steps為6的時候達(dá)到最小，因此本文的Atten-LSTM模型的輸入層steps確定為6，輸入數(shù)據(jù)的維度為6×5的矩陣。

4.3 實(shí)驗(yàn)結(jié)果分析

對實(shí)驗(yàn)環(huán)境和網(wǎng)絡(luò)參數(shù)的設(shè)定后，使用船舶安全航行條件下的完整數(shù)據(jù)集進(jìn)行網(wǎng)絡(luò)訓(xùn)練擬合，并根據(jù)指定的優(yōu)化算法和損失函數(shù)進(jìn)行網(wǎng)絡(luò)優(yōu)化。訓(xùn)練結(jié)束后使用測試集模型進(jìn)行遞歸預(yù)測，對預(yù)測結(jié)果進(jìn)行誤差分析和精準(zhǔn)度比較，航跡預(yù)測結(jié)果以三維航跡預(yù)測圖和經(jīng)緯度二維軌跡圖進(jìn)行顯示。以MMSI為413963521的航跡較為平穩(wěn)的貨船為例，圖中橫坐標(biāo)為數(shù)據(jù)的時間點(diǎn)，每個時間點(diǎn)間隔2分鐘，縱坐標(biāo)為經(jīng)緯度值。

如圖8和圖9所示，該貨船在Atten-LSTM模型的訓(xùn)練集和測試集上的預(yù)測結(jié)果良好，航跡經(jīng)緯度的預(yù)測結(jié)果也相對準(zhǔn)確，一方面說明網(wǎng)絡(luò)模型未出現(xiàn)過擬合的狀況，也說明該模型能較好的處理航跡預(yù)測的問題。此外，為更好的量化評定模型預(yù)測結(jié)果的準(zhǔn)確性，本文選擇幾種不同類型的船舶進(jìn)行統(tǒng)計分析，計算出對應(yīng)船舶預(yù)測結(jié)果的RMSE和MAE及其平均值，如表1所示。

圖8 MMSI為413963521的貨船航跡預(yù)測圖

圖9 MMSI為413963521的經(jīng)緯度預(yù)測圖

為進(jìn)一步驗(yàn)證該模型相對于其他模型在航跡預(yù)測精準(zhǔn)度上的優(yōu)勢，選取在航跡預(yù)測方面取得不錯應(yīng)用效果的GA-BP和LSTM兩個預(yù)測模型與Atten-LSTM模型進(jìn)行預(yù)測精準(zhǔn)度比較，以MMSI為413963521的貨船為例，其預(yù)測效果對比如圖10和圖11所示。

表1 不同類型船舶對應(yīng)的預(yù)測誤差值

圖10 三種模型的航跡預(yù)測結(jié)果對比圖

由上圖10和圖11可以看出，Atten-LSTM模型和原始航跡的擬合的最為貼近，即船舶安全航行情況下其預(yù)測航跡的精準(zhǔn)度最高，其次是LSTM模型也取得不錯的預(yù)測效果，GA-BP的預(yù)測方法在三者中誤差最高。下面同樣以RMSE和MAE作為預(yù)測性能的評價指標(biāo)，列出三種模型在相同數(shù)據(jù)條件下的預(yù)測誤差量化統(tǒng)計表，如表2所示。

表2 三種不同預(yù)測模型的誤差值

如表2所示，Atten-LSTM模型的誤差得分相對于其他兩種模型確實(shí)最低，體現(xiàn)出該模型在船舶的預(yù)測航跡相對其他模型具有更高的準(zhǔn)確度。

5 結(jié)束語

本文從內(nèi)河水域船舶航跡預(yù)測的角度出發(fā)，以蘊(yùn)含船舶航行信息的AIS數(shù)據(jù)為切入點(diǎn)，分析了從輸入船舶航跡相關(guān)的特征維度序列到預(yù)測輸出為經(jīng)緯度位置序列的seq2seq問題，提出了一種基于LSTM與注意力機(jī)制的Atten-LSTM航跡預(yù)測模型。該模型以基于LSTM的Encoder-Decoder的航跡預(yù)測模型為基本框架，應(yīng)用注意力機(jī)制模擬了船舶在航行過程船舶自身航行模式和船舶交互影響對航跡預(yù)測的影響。相關(guān)實(shí)驗(yàn)表明了Atten-LSTM模型在安全航行條件下具有較高的預(yù)測精度，該模型在航跡預(yù)測問題上體現(xiàn)出較好的適用性和可靠性。由于船舶航跡預(yù)測問題的復(fù)雜性，下一步需考慮船舶航跡異常時該模型的表現(xiàn)，而Atten-LSTM模型中的注意力機(jī)制在一定層面上就是對船員注意力機(jī)制在數(shù)據(jù)層次上的體現(xiàn)，可進(jìn)一步研究該模型是否對船舶異常航跡起到糾正和規(guī)避船舶碰撞等潛在作用。