王國棟,韓 斌,孫文赟
(1. 江蘇科技大學(xué) 計算機(jī)科學(xué)與工程學(xué)院,江蘇 鎮(zhèn)江 212003;2. 南京理工大學(xué) 計算機(jī)科學(xué)與工程學(xué)院,江蘇 南京 210094)
基于LSTM的艦船運動姿態(tài)短期預(yù)測
王國棟1,韓 斌1,孫文赟2
(1. 江蘇科技大學(xué) 計算機(jī)科學(xué)與工程學(xué)院,江蘇 鎮(zhèn)江 212003;2. 南京理工大學(xué) 計算機(jī)科學(xué)與工程學(xué)院,江蘇 南京 210094)
艦船的六自由度運動狀態(tài)形成復(fù)雜的非線性過程,運動姿態(tài)會受到耦合作用、不定周期、噪聲信號以及混沌特性等因素的干擾,因此很難得到精確的預(yù)測結(jié)果。為了提升艦船運動姿態(tài)的預(yù)測精度,利用艦船時間序列的特點,建立了基于長短期記憶單元(LSTM)模型,對其進(jìn)行了艦船姿態(tài)預(yù)測仿真,將結(jié)果與時間序列分析法的結(jié)果進(jìn)行對比。實例分析表明:基于LSTM模型的預(yù)測方法具有精確度高、易實現(xiàn)的特點。這為艦船運動短期預(yù)測提供了一個新的思路和方法。
時間序列;LSTM;艦船運動;預(yù)測
艦船運動預(yù)測已經(jīng)廣泛應(yīng)用于操縱艦船時間節(jié)點的優(yōu)化,大波浪情況下航海的控制,危險操作狀況的警報,操縱性任務(wù)危險性的評估以及甲板武器系統(tǒng)的輔助工作[1]。不僅如此,艦船運動預(yù)測還能夠提升操縱艦船設(shè)備的精確度、降低惡劣海況下艦船發(fā)生事故的幾率。因此,艦船運動預(yù)測的研究具有較高的民用和軍用價值[2]。
目前,艦船模型理論作為一種方法常被用來解決艦船運動預(yù)測問題。艦船被劃分為數(shù)個剛體模塊,并且用微分方程的形式進(jìn)行描述。這種方法存在一定的弊端,如為了使得艦船模型完整,不得不在模型中加入海浪模塊,所有的模塊均需要艦船的重量、尺寸、推力參數(shù)、波浪參數(shù)等。很多參數(shù)必不可少卻又難以甚至不能獲取。此外,艦船在不同航速以及不同海域均需要不同的艦船模型。另一種對艦船運動姿態(tài)預(yù)測的簡單方法是利用回歸方法對艦船建模[3]。線性和非線性(正弦曲線)回歸能夠簡單地對艦船運動姿態(tài)進(jìn)行預(yù)測,但是向后預(yù)測的時間和精度非常有限。時間序列是回歸方法的另一種方案,自回歸模型(AR模型)和自回歸滑動平均模型(ARMA模型)常用來構(gòu)建時間序列[4]。這 2 種模型已成功地運用在許多領(lǐng)域,但是仍然存在一定的問題:它們是線性統(tǒng)計方法,而艦船預(yù)測是非線性的,因此預(yù)測會有某些偏差。對于該問題,基于長短期記憶單元的遞歸神經(jīng)網(wǎng)絡(luò)模型是一種很有價值的解決方法。
本文從艦船運動姿態(tài)時間序列入手[5],分析了傳統(tǒng)AR模型,并利用LSTM模型對時間序列的強辨別力,對艦船運動進(jìn)行預(yù)測。利用復(fù)雜海況下的船舶運動姿態(tài)數(shù)據(jù)對LSTM模型進(jìn)行訓(xùn)練,使網(wǎng)絡(luò)直接用于對艦船運動姿態(tài)數(shù)據(jù)的預(yù)測。最后將同一批數(shù)據(jù)用于AR模型和LSTM模型仿真,將實驗結(jié)果進(jìn)行對比。
艦船運動序列之間存在很強的相關(guān)性和依賴性,時間序列方法最大的特點是能夠分析與表征序列值之間關(guān)系,根據(jù)艦船運動姿態(tài)的過去序列值,時間序列分析方法能夠很方便地對將來的值進(jìn)行預(yù)測。
通常情況下,時序時域中模型為自回歸模型[6],p階自回歸模型AR(p)有如下形式:
可見,該自回歸模型描述了時間數(shù)據(jù)序列內(nèi)部的遞推的回歸關(guān)系。圖1是時間序列AR模型算法流程圖,主要包含模型系數(shù)估計、模型定階以及序列值預(yù)測 3 部分內(nèi)容。
利用自回歸模型對艦船運動做預(yù)測需要確定計算模型階數(shù)以及系數(shù),計算較為復(fù)雜,操作也較為繁瑣。這對計算時間以及計算機(jī)性能提出較高的要求。
對于傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò),輸入和輸出沒有依賴關(guān)系。遞歸神經(jīng)網(wǎng)絡(luò)(RNN)能夠?qū)ο乱粫r刻的值做出預(yù)測,通常這些預(yù)測值都是和所有先前值的歷史信息相關(guān)。但是遞歸神經(jīng)網(wǎng)絡(luò)存在的結(jié)點記憶快速衰弱的特點,LSTM模型改善了這種不利的狀況,LSTM可以充分利用艦船姿態(tài)序列本身的特征,這在理論上為利用LSTM模型對艦船運動姿態(tài)的預(yù)測提供依據(jù)[7]。
LSTM模型[8]結(jié)構(gòu)包含一組相互聯(lián)系的遞歸子網(wǎng)絡(luò),也就是我們熟知的記憶模塊。每個網(wǎng)絡(luò)模塊包含一個或多個自相關(guān)的記憶信元和 3 個增殖單元——輸入門、輸出門和遺忘門(forget gates),它們分別對應(yīng)著艦船運動姿態(tài)數(shù)據(jù)序列的寫入、讀取和先前狀態(tài)的重置(reset)操作。圖2是一個包含單個信元的LSTM記憶模塊。3 個門是非線性匯總單元,它們匯集模塊內(nèi)部及外部所有激勵,并且通過增殖結(jié)點(圖中黑色的小圈)控制信元的激勵。遺忘門的激勵函數(shù)通常是對數(shù)邏輯曲線,因此門激勵在0(門關(guān)閉)和1(門開啟)之間取值。信元輸入、輸出門的激勵函數(shù)通常是雙曲正切和邏輯函數(shù)。
式中:xi為單元i關(guān)于運動姿態(tài)數(shù)據(jù)序列的輸入;bk為單元k的非線性映射,通常用單元激勵函數(shù)f(·)表示;sc為記憶信元c的狀態(tài);初始條件b0=0,殘差δT+1=0。
在LSTM模型記憶模塊中,除了單元自身內(nèi)部對艦船姿態(tài)數(shù)據(jù)演算外,只有遺忘門前一時刻的輸出bh會被傳送到本單元。遺忘門用來控制上一時刻的記憶信元的狀態(tài)st-1,其輸出為
記憶信元的輸入和狀態(tài)分別表示為
輸出門對應(yīng)的輸入和輸出分別表示為
式(2)、式(3)和式(6)中對應(yīng)的非線性映射為
其中k取為n、φ和ω。
式(4)對應(yīng)的信元輸出受輸出門控制,這個輸出也會作為下一時刻整個記憶模塊的輸入,其形式為
輸出層常為softmax函數(shù)或者logistic函數(shù),為了方便描述殘差反向傳遞,首先利用鏈?zhǔn)椒▌t(chain rule)定義輔助變量:
式中L為損失函數(shù)。
殘差先后作用于記憶信元、遺忘門和輸入門:
殘差先傳到完成后,直接用殘差對權(quán)重wij進(jìn)行求偏導(dǎo)數(shù),有
求得局域梯度后,便可利用Delta法則[9]重新調(diào)節(jié)各層權(quán)值。最后,重復(fù)梯度下降法的迭代步驟減小代價函數(shù),確定LSTM神經(jīng)網(wǎng)絡(luò)模型以便將其用于艦船運動姿態(tài)序列訓(xùn)練仿真。
本文實驗選取船舶橫傾作為示例,運動姿態(tài)序列通過廈門港“新?;ⅰ碧柎暗膫鞲醒b置采集得到。運用LSTM模型對該船運動預(yù)測進(jìn)行檢測。
在訓(xùn)練LSTM模型時,本文在選取50 s內(nèi)90個樣本值。利用Xavier方法對權(quán)重初始化,超參數(shù)中學(xué)習(xí)速率非常重要,因此用自適應(yīng)學(xué)習(xí)率調(diào)整算法(AdaDelta)更新學(xué)習(xí)速率,選取條件概率最大似然函數(shù)為目標(biāo)函數(shù),將Soft Sign函數(shù)作為模型的激勵函數(shù)。訓(xùn)練結(jié)束后,實際預(yù)測過程中使用束搜索(Beam Search)方法簡化LSTM模型運算復(fù)雜度。預(yù)測時間為9 s,圖3為AR模型對船舶運動姿態(tài)預(yù)測曲線圖,圖4給出了LSTM模型預(yù)測的曲線圖,表1顯示了 2 種模型統(tǒng)計分析結(jié)果。
表1艦船運動姿態(tài)預(yù)測統(tǒng)計分析結(jié)果Tab. 1 Analysis result of ship motion prediction
結(jié)果表明,LSTM模型方法較傳統(tǒng)的AR模型有更好的預(yù)測精度和更短的模型消耗時間,這也充分說明了LSTM模型具有對時間序列本身強化記憶能力的特點。
根據(jù)艦船運動姿態(tài)序列的特點,采用基于LSTM模型的艦船運動姿態(tài)預(yù)測方法。和傳統(tǒng)AR模型分析法相比,基于LSTM模型預(yù)測方法具有精度高、預(yù)測時間長、自適應(yīng)高等優(yōu)點,并且能夠充分逼近非線性映射。該方法具有通用性,能夠適用于艦船的其他自由度運動預(yù)測,在工程中具有較高的使用價值。
[1]YIN Jian-chuan, ZOU Zao-jian,XU Feng. On-line prediction of ship roll motion during maneuvering using sequential learning RBF neural networks[J]. Ocean Engineering, 2013, 61: 139–147.
[2]E. Bal Be?ik?i, O. ARSLAN, O. TURAN, A. I. ?l?er, An artificial neural network based decision support system for energy efficient ship operations[J]. Computers & Operations Research, 2016, 66: 393–401.
[3]彭秀艷, 趙希人, 高奇峰. 船舶姿態(tài)運動實時預(yù)報算法研究[J].系統(tǒng)仿真學(xué)報, 2007, 19(2): 267–271. PENG Xiu-yan, ZHAO Xi-ren, GAO Qi-feng. Research on realtime prediction algorithm of ship attitude motio[J]. Journal of System Simulation, 2007, 19(2): 267–271.
[4]LI Ming-We, GENG Jing, HAN Duan-Feng, et al. Ship motion prediction using dynamic seasonal RvSVR with phase space reconstruction and the chaos adaptive efficient FOA[J]. Neurocomputing, 2016, 174: 661–680.
[5]PETER J. BROKWELL, 田錚. 時間序列的理論與方法(第二版)[M]. 北京: 高等教育出版社, 2001.
[6]馬潔, 韓蘊韜, 李國斌. 基于自回歸模型的船舶姿態(tài)運動預(yù)報[J]. 艦船科學(xué)技術(shù), 2006, 28(3): 28–30. MA Jie, HAN Yun-tao, LI Guo-bin. Prediction of ship pitching motion based on AR method[J]. Ship Science and Technology. 2006, 28(3): 28–30.
[7]ZACHARY C L, JOHN B, CHARLES E. A critical review of recurrent neural networks for sequence learning[M]. Computer Science, 2015.
[8]ALEX G. Supervised sequence labelling with recurrent neural networks[J], Studies in Computational Intelligence, 2012, 385.
[9]TOMASZ P. Using evolutionary neural networks to predict spatial orientation of a ship[J]. Neurocomputing, 2015, 166: 229–243.
Short-term prediction of ship motion based on LSTM
WANG Guo-dong1, HAN Bin1, SUN Wen-yun2
(1. School of Computer Science and Engineering, Jiangsu University of Science and Technology, Zhenjiang 212003, China; 2. School of Computer Science and Engineering, Nanjing University of Science and Technology, Nanjing 210094, China)
The ship motion with six DOF is a complex nonlinear process. It is affected by coupling effect, variable periodicity, noise signal, and the chaos characteristic of ship motion time series so that obtaining precise forecasting results of ship motion is difficult. In order to improve the forecast precision, character of time series in ship motion is analyzed, LSTM model is established and it is used in the emulation research, and the experimental result is compared with the result based on AR model. The result analysis shows that prediction based on LSTM has a high accuracy and is implemented easily, so a new approach is presented for ship motion prediction.
time series;LSTM;ship motion;prediction
TP29
A
1672 – 7649(2017)07 – 0069 – 04
10.3404/j.issn.1672 – 7649.2017.07.014
2016 – 09 – 05;
2016 – 10 – 10
王國棟(1991 – ),男,碩士研究生,研究方向為智能檢測、機(jī)器學(xué)習(xí)。