一種漁船軌跡預(yù)測(cè)的AM-LSTM 算法

李海濤, 蘇美玲, 張俊虎

(青島科技大學(xué) 信息科學(xué)技術(shù)學(xué)院,山東 青島 266061)

據(jù)統(tǒng)計(jì),到2020 年末,我國(guó)漁船總數(shù)達(dá)到56.33萬艘。在所有的漁船事故分類中,漁船碰撞產(chǎn)生的事故案件數(shù)最多、賠償款最多[1],漁船碰撞不利于海上航行安全;隨著遠(yuǎn)洋捕撈的發(fā)展,船只遠(yuǎn)離海岸,監(jiān)管部門對(duì)漁船的監(jiān)控會(huì)有所不足,一些越界捕撈的問題不能及時(shí)發(fā)現(xiàn),不利于海洋漁業(yè)資源的可持續(xù)發(fā)展;海上航道管制會(huì)劃分一些禁區(qū)以及危險(xiǎn)區(qū),漁船航行可能不小心駛?cè)脒@些區(qū)域,造成危險(xiǎn)。提高漁船軌跡的預(yù)測(cè)精度,可以同時(shí)預(yù)測(cè)多個(gè)船只在某個(gè)時(shí)間的位置關(guān)系,判斷是否會(huì)發(fā)生碰撞,減少漁船碰撞事故;可以監(jiān)控漁船的可能的越界捕撈行為,提高監(jiān)管效率,預(yù)防越界捕撈的發(fā)生;可提前預(yù)測(cè)漁船是否要駛?cè)虢麉^(qū)或危險(xiǎn)區(qū),提前預(yù)警,減少人員傷亡,保護(hù)財(cái)產(chǎn)安全。近年來隨著自動(dòng)識(shí)別系統(tǒng)(automatic identification system,AIS)的發(fā)展,在漁船航跡方面積累了大量的數(shù)據(jù),這些數(shù)據(jù)對(duì)分析漁船軌跡提供了極大的便利。對(duì)于船舶軌跡預(yù)測(cè)的研究大致分為兩個(gè)階段:第一階段是基于特定的運(yùn)動(dòng)學(xué)方程和傳統(tǒng)的機(jī)器學(xué)習(xí)算法進(jìn)行預(yù)測(cè);第二階段是基于神經(jīng)網(wǎng)絡(luò)以及深度學(xué)習(xí)算法進(jìn)行船舶軌跡預(yù)測(cè)。

在第一階段,文獻(xiàn)[2]使用灰色預(yù)測(cè)模型來處理船舶航跡中不確定參數(shù),對(duì)其進(jìn)行粗略估計(jì)。文獻(xiàn)[3]提出了一種基于灰色預(yù)測(cè)的方法構(gòu)建船舶航行軌跡自動(dòng)預(yù)測(cè)模型,并在此基礎(chǔ)上加入了緩沖算子進(jìn)行改進(jìn),提高預(yù)測(cè)精度。文獻(xiàn)[4]使用了基于支持向量機(jī)的預(yù)測(cè)模型,模型的內(nèi)部參數(shù)優(yōu)化使用了差分進(jìn)化算法。文獻(xiàn)[5]使用三階馬爾科夫鏈對(duì)漁船某個(gè)時(shí)刻的位置進(jìn)行空間區(qū)域的預(yù)測(cè)。文獻(xiàn)[6]提出一種結(jié)合Transformer 模型和卡爾曼濾波的航跡預(yù)測(cè)方法。文獻(xiàn)[7]建立了基于高斯過程回歸(Gaussian process regression,GPR)和基于核嶺回歸(kernel ridge regression,KRR)的船舶自適應(yīng)軌跡預(yù)測(cè)模型。文獻(xiàn)[8]利用Stacking的加權(quán)集成思想,集成了XGBoost、Light GBM、LSTM 的方法,構(gòu)建了航跡預(yù)測(cè)模型。在此階段中,由于船舶航行過程中受海洋環(huán)境影響,而海洋環(huán)境因素是非線性因素,無法使用線性方程表示,基于運(yùn)動(dòng)學(xué)方程的方法無法完全表示其運(yùn)動(dòng)規(guī)律,可能會(huì)導(dǎo)致軌跡預(yù)測(cè)準(zhǔn)確率下降。

在第二階段,文獻(xiàn)[9]優(yōu)化了普通循環(huán)神經(jīng)網(wǎng)絡(luò),提出基于門控循環(huán)單元的循環(huán)神經(jīng)網(wǎng)絡(luò)船舶軌跡預(yù)測(cè)算法,該算法以經(jīng)緯度作為輸入,以經(jīng)緯度作為輸出,經(jīng)過實(shí)驗(yàn)證明了該模型的實(shí)用性。文獻(xiàn)[10]采用BP神經(jīng)網(wǎng)絡(luò)來預(yù)測(cè)船舶的軌跡,以經(jīng)度、緯度、速度、真航角和對(duì)地航向作為輸入,以經(jīng)緯度作為輸出,經(jīng)過實(shí)驗(yàn)證明,BP 神經(jīng)網(wǎng)絡(luò)經(jīng)由遺傳和粒子群混合算法優(yōu)化后,預(yù)測(cè)效果最好。文獻(xiàn)[11]在LSTM 基礎(chǔ)上加入循環(huán)神經(jīng)網(wǎng)絡(luò)模型構(gòu)建RNN-LSTM 模型,使用循環(huán)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)短期規(guī)律,使用LSTM 學(xué)習(xí)長(zhǎng)期規(guī)律,預(yù)測(cè)船舶的軌跡信息。文獻(xiàn)[12]在LSTM 的基礎(chǔ)上結(jié)合小波變換,對(duì)數(shù)據(jù)進(jìn)行平滑處理,并提出了WA-LSTM 航跡預(yù)測(cè)模型來提高預(yù)測(cè)航跡精度。文獻(xiàn)[13]主要使用3次樣條插值對(duì)AIS原始數(shù)據(jù)進(jìn)行處理。文獻(xiàn)[14]構(gòu)建了卷積神經(jīng)網(wǎng)絡(luò)和雙向長(zhǎng)短期記憶網(wǎng)絡(luò)混合的軌跡預(yù)測(cè)模型,該模型選擇經(jīng)緯度、速度、真航角和對(duì)地航向5個(gè)船舶航行時(shí)的特征作為輸入,以經(jīng)緯度作為輸出值,來預(yù)測(cè)船舶的位置信息。文獻(xiàn)[15]在LSTM 基礎(chǔ)上加入了卷積神經(jīng)網(wǎng)絡(luò)構(gòu)造CNNLSTM 模型,以經(jīng)緯度、船速、航向以及舵角作為輸入來進(jìn)行短期航跡預(yù)測(cè)。文獻(xiàn)[16]通過多層LSTM 網(wǎng)絡(luò)以經(jīng)度、緯度、航速和航向作為輸入,對(duì)船舶軌跡進(jìn)行研究,并取得了良好的效果。此階段建立的模型都僅將經(jīng)緯度、航向和航速作為模型的輸入?yún)?shù),并未考慮船體自身的影響,會(huì)影響準(zhǔn)確率的提升。

由于傳統(tǒng)的機(jī)器學(xué)習(xí)方法以及BP網(wǎng)絡(luò)不適合對(duì)于軌跡時(shí)間序列的研究,本研究提出了基于LSTM 網(wǎng)絡(luò)對(duì)漁船軌跡預(yù)測(cè)方法。同時(shí)在模型數(shù)據(jù)輸入方面,不僅考慮了時(shí)間、經(jīng)緯度、航向、航速等影響因素,還綜合考慮了漁船自身因素如漁船的長(zhǎng)度、寬度、吃水深度等對(duì)漁船軌跡預(yù)測(cè)的影響。在網(wǎng)絡(luò)搭建方面,本研究在LSTM 的基礎(chǔ)上,引入注意力機(jī)制,提出了注意力機(jī)制和LSTM 結(jié)合的漁船軌跡預(yù)測(cè)模型(AM-LSTM)。

1 AM-LSTM 模型介紹

1.1 注意力機(jī)制

注意力機(jī)制[17]用來模仿人腦對(duì)環(huán)境的感知,人腦在關(guān)注事物時(shí),往往會(huì)從中選擇出需要重點(diǎn)關(guān)注的部分而自然地忽略其他內(nèi)容。而在漁船軌跡的預(yù)測(cè)方面,數(shù)據(jù)的輸入包括某一時(shí)間的緯度、經(jīng)度、航速、航向、真航向角、漁船狀態(tài)、漁船長(zhǎng)度、漁船寬度、吃水深度和時(shí)間間隔,數(shù)據(jù)影響因素較多,但是影響因子不同,通過注意力機(jī)制的模型,可以將所有的因素加入不同的權(quán)重,以此來影響未來某個(gè)時(shí)間的經(jīng)緯度位置,提高預(yù)測(cè)的精度。注意力機(jī)制的結(jié)構(gòu)如圖1所示,含m個(gè)特征的特征向量x={x1,x2,x3,…,xm},采用單層全連接神經(jīng)網(wǎng)絡(luò)計(jì)算得到權(quán)重向量α={α1,α2,α3,…,αm}:

圖1 注意力機(jī)制作用圖Fig.1 Action diagram of attention mechanism

其中,Wα為訓(xùn)練后的權(quán)重矩陣,bα為偏置向量,σ為sigmoid激活函數(shù),函數(shù)公式如式(2)所示。

注意力機(jī)制在過程中會(huì)形成與輸入數(shù)據(jù)維度相同的權(quán)重參數(shù)矩陣W和偏置向量b,通過全連接網(wǎng)絡(luò)生成權(quán)重參數(shù),注意力機(jī)制會(huì)將所獲得的權(quán)重參數(shù)與輸入數(shù)據(jù)相乘,即可獲得按重要程度劃分的新的輸入數(shù)據(jù)。

1.2 LSTM 神經(jīng)網(wǎng)絡(luò)

LSTM 是經(jīng)由循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network)演變而來,循環(huán)神經(jīng)網(wǎng)絡(luò)相較于其他神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)是可以將上一時(shí)刻的信息,傳遞到當(dāng)前時(shí)刻來使用。RNN 的結(jié)構(gòu)如圖2、3所示。

圖2 RNN結(jié)構(gòu)Fig.2 RNN structure

圖3 RNN單元結(jié)構(gòu)Fig.3 RNN cell structure

圖2 中,xt表示第t時(shí)刻的數(shù)據(jù)輸入,A代表RNN 網(wǎng)絡(luò),ht代表t時(shí)刻的輸出,將t時(shí)刻的數(shù)據(jù)經(jīng)過處理傳到t+1時(shí)刻,形成鏈?zhǔn)降木W(wǎng)絡(luò)結(jié)構(gòu)。但是,由于RNN 的處理層通常為單tanh 層,在長(zhǎng)時(shí)預(yù)測(cè)中,可能會(huì)導(dǎo)致梯度消失或梯度爆炸。

LSTM 網(wǎng)絡(luò)對(duì)RNN 的單元結(jié)構(gòu)進(jìn)行升級(jí),主要解決了梯度消失或爆炸的問題。RNN 網(wǎng)絡(luò)的處理層比較簡(jiǎn)單,而LSTM 的單元結(jié)構(gòu)在其單元結(jié)構(gòu)中加入了遺忘門ft,輸入門it和輸出門ot,LSTM的單元結(jié)構(gòu)如圖4所示。

圖4 LSTM 單元結(jié)構(gòu)Fig.4 LSTM cell structure

其中,

經(jīng)過遺忘門、輸入門和輸出門3個(gè)步驟的處理后,最終輸出利用好時(shí)間序列信息之間的關(guān)聯(lián)性。更適合于漁船軌跡的預(yù)測(cè)問題。

1.3 AM-LSTM 模型結(jié)構(gòu)

本研究將注意力機(jī)制與LSTM 進(jìn)行結(jié)合,形成AM-LSTM 的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型。模型結(jié)構(gòu)如圖5所示。

圖5 AM-LSTM 網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 AM-LSTM network structure

模型主要包含輸入層、注意力機(jī)制層、LSTM層、池化層、LSTM 層和全連接層。由于添加了漁船自身屬性的特征,導(dǎo)致屬性增多,運(yùn)算量過大,注意力機(jī)制層可標(biāo)記不同特征的重要程度,增加預(yù)測(cè)準(zhǔn)確率并減少計(jì)算量;LSTM 層可對(duì)序列數(shù)據(jù)進(jìn)行訓(xùn)練,獲取不同時(shí)間數(shù)據(jù)之間的關(guān)系;池化層用于壓縮數(shù)據(jù),減少過擬合的發(fā)生;第二層LSTM 用于訓(xùn)練壓縮后不同時(shí)間數(shù)據(jù)之間的關(guān)系;全連接層用于輸出預(yù)測(cè)的經(jīng)緯度數(shù)據(jù)。

模型的具體流程:首先利用注意力機(jī)制將輸入的原始漁船序列數(shù)據(jù)重新進(jìn)行權(quán)重分配,用漁船數(shù)據(jù)和權(quán)重系數(shù)相乘,獲得新的數(shù)據(jù)輸入到LSTM 層,在LSTM 中學(xué)習(xí);隨后搭建LSTM 層,從加權(quán)特征序列中獲得隱藏的時(shí)序關(guān)聯(lián)信息,得到信息的隱藏層數(shù)據(jù);將獲得的隱藏層數(shù)據(jù)傳入池化層,利用池化層進(jìn)行降維、減少計(jì)算量;經(jīng)過池化后的數(shù)據(jù)再進(jìn)入第二層LSTM 層,最后將含全局隱藏信息的h″送入到全連接層,通過全連接層,得到預(yù)測(cè)的經(jīng)度和緯度數(shù)據(jù)。

2 實(shí)驗(yàn)數(shù)據(jù)

2.1 數(shù)據(jù)介紹

本研究使用MarineCadastre.gov提供的漁船AIS數(shù)據(jù)。使用2020年11月和12月的數(shù)據(jù)用來訓(xùn)練和預(yù)測(cè)。原數(shù)據(jù)中包含MMSI號(hào)、時(shí)間、緯度、經(jīng)度、航速、航向、真航向角、船名、IMO 號(hào)、呼號(hào)、船舶類型、航行狀態(tài)、船體長(zhǎng)度、船體寬度、吃水深度等。AIS數(shù)據(jù)字典如表1所示。

表1 AIS數(shù)據(jù)字典Table 1 AIS data dictionary

本實(shí)驗(yàn)使用經(jīng)緯度40°N～50°N,120°W ～140°W 范圍內(nèi)的漁船船只進(jìn)行實(shí)驗(yàn),經(jīng)過篩選后,共選擇出172 125條數(shù)據(jù),將80%的數(shù)據(jù)用于訓(xùn)練,20%的數(shù)據(jù)用于測(cè)試。

2.2 數(shù)據(jù)預(yù)處理

2.2.1 時(shí)間處理

大部分船舶軌跡的處理中,都采用插值的方法,將數(shù)據(jù)處理成時(shí)間間隔相等的序列,然后進(jìn)行數(shù)據(jù)的訓(xùn)練和測(cè)試。但是在這種情況下所插入的數(shù)據(jù)并不是真實(shí)數(shù)據(jù),可能造成一定的誤差。本文采用加入一列時(shí)間間隔的屬性,用下一個(gè)時(shí)刻和當(dāng)前時(shí)刻之間的時(shí)間差作為當(dāng)前時(shí)刻的時(shí)間間隔,這樣的數(shù)據(jù)是真實(shí)數(shù)據(jù),不會(huì)造成數(shù)據(jù)的誤差。也可在實(shí)際應(yīng)用中,設(shè)置時(shí)間間隔,以此來設(shè)置預(yù)測(cè)多久以后漁船所在的位置。

2.2.2 數(shù)據(jù)歸一化

數(shù)據(jù)歸一化處理,是將原始數(shù)據(jù)按一定的公式,將數(shù)據(jù)歸于[0,1]之間,歸一化[18]的公式為

其中,X為歸一化后的數(shù)據(jù)值,x為原始數(shù)據(jù)值,xmin表示同屬性最小數(shù)據(jù)值,xmax表示同屬性最大數(shù)據(jù)值,經(jīng)過公式的歸一化處理,所有數(shù)據(jù)歸于[0,1]之間,且不改變數(shù)據(jù)之間的權(quán)重比例,適合于漁船軌跡預(yù)測(cè)。

2.2.3 數(shù)據(jù)輸入

將漁船的緯度(lat)、經(jīng)度(lon)、航速(sog)、航向(cog)、真航向角(angle)、運(yùn)動(dòng)狀態(tài)(status)、漁船長(zhǎng)度(length)、漁船寬度(width)、吃水深度(draft)和時(shí)間間隔(timeGap)作為輸入,則在第t時(shí)刻的軌跡特征Y(t)為

訓(xùn)練數(shù)據(jù)將5個(gè)歷史時(shí)刻的軌跡作為一個(gè)序列輸入,第6個(gè)時(shí)刻的緯度和經(jīng)度數(shù)據(jù)作為標(biāo)簽。每個(gè)軌跡之間的時(shí)差不超過1 800 s。漁船航跡預(yù)測(cè)模型的表達(dá)式為

3 結(jié)果與分析

3.1 實(shí)驗(yàn)評(píng)估

本實(shí)驗(yàn)使用均方誤差(mean square error,MSE)來評(píng)估預(yù)測(cè)結(jié)果的好壞程度。使用不同的模型進(jìn)行預(yù)測(cè),輸出的MSE 數(shù)值也會(huì)有所不同,MSE越小,代表實(shí)驗(yàn)效果越好。

其中,m是預(yù)測(cè)數(shù)據(jù)的總個(gè)數(shù),y是真實(shí)數(shù)據(jù)的值，是預(yù)測(cè)數(shù)據(jù)的值。

3.2 實(shí)驗(yàn)結(jié)果對(duì)比

3.2.1 AM-LSTM 與LSTM 對(duì)比結(jié)果

使用AM-LSTM 與LSTM,在經(jīng)度、緯度和經(jīng)緯度總體3個(gè)維度上進(jìn)行實(shí)驗(yàn)對(duì)比,本實(shí)驗(yàn)所使用的模型AM-LSTM,預(yù)測(cè)的準(zhǔn)確度明顯優(yōu)于其他兩個(gè)模型。使用真實(shí)數(shù)據(jù)與預(yù)測(cè)數(shù)據(jù)的差來展示預(yù)測(cè)的結(jié)果。

圖6和圖7中橫坐標(biāo)代表第t個(gè)時(shí)刻,縱坐標(biāo)代表真實(shí)值與預(yù)測(cè)值之間的差值。

圖6 緯度誤差對(duì)比圖Fig.6 Error comparison in latitude

圖7 經(jīng)度誤差對(duì)比圖Fig.7 Error comparison in longitude

兩種模型在緯度上的預(yù)測(cè)結(jié)果差值如圖6 所示。由圖6可知,AM-LSTM 所得到的預(yù)測(cè)結(jié)果的誤差,明顯低于LSTM 神經(jīng)網(wǎng)絡(luò)模型,AM-LSTM對(duì)緯度的預(yù)測(cè)精度更高。

兩種模型在經(jīng)度上的預(yù)測(cè)結(jié)果差值如圖7 所示。由圖7可知,雖然實(shí)驗(yàn)組在序列60～80之間略高于兩種神經(jīng)網(wǎng)絡(luò)模型,但是大部分序列中仍是AM-LSTM 的精確度更高,從總體計(jì)算來說,是AM-LSTM 的預(yù)測(cè)數(shù)據(jù)誤差更小。

表2展示了兩種模型分別對(duì)緯度、經(jīng)度和總體的預(yù)測(cè)值的均方誤差MSE。可以明顯看出使用AM-LSTM,分別對(duì)緯度和經(jīng)度進(jìn)行預(yù)測(cè)的模型準(zhǔn)確度最高,效果最好。

表2 兩種模型的MSE對(duì)比Table 2 MSE comparison between two models

從圖6、圖7和表2的結(jié)果可以看出加入注意力機(jī)制的AM-LSTM 的效果明顯好于LSTM,證明了加入注意力機(jī)制的必要性。

3.2.2 消融實(shí)驗(yàn)

漁船自身屬性是指漁船長(zhǎng)度、寬度以及漁船的吃水深度。本實(shí)驗(yàn)與未加入漁船自身屬性的特征以及是否使用時(shí)間間隔進(jìn)行對(duì)比實(shí)驗(yàn),通過實(shí)驗(yàn)結(jié)果如表3所示,從實(shí)驗(yàn)數(shù)據(jù)看,加入漁船長(zhǎng)度、寬度、漁船的吃水深度和使用時(shí)間間隔的模型準(zhǔn)確率無論是緯度、經(jīng)度還是總體的精確度均高于其他屬性模型的預(yù)測(cè)準(zhǔn)確率。

表3 消融實(shí)驗(yàn)MSE對(duì)比Table 3 Comparison of MSE in ablation experiment

3.2.3 不同模型之間對(duì)比結(jié)果

在處理后的AIS數(shù)據(jù)集上針對(duì)算法的性能提出AM-LSTM 模型與CNN-LSTM、RNN-LSTM、LSTM 和BP方法進(jìn)行了實(shí)驗(yàn)對(duì)比,使用總體損失值作為對(duì)比標(biāo)準(zhǔn),見表4。

表4 AIS數(shù)據(jù)集各模型損失對(duì)比Table 4 Comparison of loss of each model in AIS data set

由表4中可以看出,使用5種不同的模型對(duì)相同數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),測(cè)試的損失率有所不同。在測(cè)試集損失率上,本研究所提出的AM-LSTM 模型的實(shí)驗(yàn)結(jié)果分別比CNN-LSTM、RNN-LSTM、LSTM 和BP 的實(shí)驗(yàn)結(jié)果降低了40.1%,30.4%,65.5%,75.2%。因此本研究所提出漁船軌跡預(yù)測(cè)模型AM-LSTM 的性能均好于其他兩種模型。

4 結(jié) 語

本研究通過將注意力機(jī)制和LSTM 相結(jié)合,對(duì)漁船的軌跡進(jìn)行預(yù)測(cè)研究。利用AM-LSTM 對(duì)大西洋區(qū)域內(nèi)的AIS 漁船數(shù)據(jù)進(jìn)行訓(xùn)練、預(yù)測(cè)和分析,在神經(jīng)網(wǎng)絡(luò)的輸入中添加了漁船的自身屬性特征,并使用注意力機(jī)制對(duì)網(wǎng)絡(luò)的輸入特征進(jìn)行權(quán)重比例的疊加。實(shí)驗(yàn)研究顯示,AM-LSTM 神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)結(jié)果優(yōu)于其他預(yù)測(cè)模型;加入漁船自身特征的模型軌跡的預(yù)測(cè)結(jié)果比未加入漁船自身特征的誤差小,效果好。在維護(hù)航海安全以及保護(hù)海洋漁業(yè)資源可持續(xù)發(fā)展工作中,使用AM-LSTM 神經(jīng)網(wǎng)絡(luò)模型,能夠更好預(yù)防海上漁船碰撞事故的發(fā)生,同時(shí)更好的對(duì)漁船進(jìn)行監(jiān)控,對(duì)海洋資源的保護(hù)有很大作用。