基于4種長短時記憶神經網絡組合模型的畸形波預報

由于波高極大，發(fā)生突然，消失快速，畸形波具有破壞力極強和預報難度大的特點，對船舶和海洋工程產生了巨大的潛在危險，人們對其研究傾注了大量的精力，研究方法包括數值實驗、物理實驗和理論分析等，使得畸形波研究成為非線性水波研究領域的熱點問題.目前人們對畸形波產生和演化機制的認識仍然缺乏清晰統(tǒng)一的認識.

教育是國之重器、發(fā)展的根本，而卓越工程師計劃又是“新時代工科創(chuàng)新型人才”培養(yǎng)的方向、目標與根本，學科競賽是創(chuàng)新型人才培養(yǎng)的方法與途徑，也是提高學生實踐技能和動手能力的重要環(huán)節(jié)。我們的學生可以通過學科競賽來加深自己理論知識與創(chuàng)新實踐能力的融合度，提高自身在未來就業(yè)中的競爭力；學校則可以通過學科競賽來增強學校的科研創(chuàng)新能力，實現卓越工程師的培養(yǎng)目標。最終完成建設創(chuàng)新型國家和人才強國戰(zhàn)略目標，同時，也為社會主義現代化強國建設提供強大的人才支撐。

對于機制復雜難以建立物理模型的問題，人們基于實驗數據，采用時間序列分析方法，如差分自回歸移動(Auto-Aggressive Integrated Moving Average, ARIMA)模型，卡爾曼濾波(Kalman Filtering，KF)和經驗模式分解(Empirical Mode Decomposition, EMD)等方法.王淑華對馮家山水庫的主汛期水位進行了基于ARIMA模型的預測，結果表明ARIMA模型對水庫水位數據預報效果顯著.孫逸群等基于閩江流域的邵武盆洪水數據，通過卡爾曼老濾波方法預報，預報效果良好，可以用來預報洪水.闞世宜等對海洋有義波高序列進行了EMD分解，結果表明EMD通過分解時序數據，預報效果良好.

近年來，采集數據的積累，機器學習方法得到了廣泛應用，開始應用于畸形波領域的預報. Doong等采用人工神經網絡模型預報畸形波，表明模型具有一定的可行性. 趙勇等采用深度機器學習模型長短時記憶(Long Short-Term Memory, LSTM)神經網絡模型預報畸形波，精度比傳統(tǒng)的誤差后向傳播(Back Propagation, BP)神經網絡模型、支持向量機(Support Vector Machin, SVM)模型的預報精度高，并且在長程預報上具有明顯優(yōu)勢.本文為進一步提高LSTM模型預報畸形波，擬通過組合方式，結合兩種模型(或方法)的各自優(yōu)點，提升預報精度，組合模型在其他領域有成功應用.陸繼翔等提出一種基于卷積神經網絡(Convolution Neural Networks, CNN)和LSTM的組合模型預報非線性電力短期負荷，先采用CNN進行特征提取，再用LSTM進行預測的方式，結果證明精度有一定的提升.晏臻等提出了CNN與LSTM組合的交通流量預測模型，將CNN提取出的數據空間關聯(lián)性與LSTM挖掘的數據時序性進行融合，預報精度較好.魏驁等將LSTM與EMD結合用來預測電力負荷，將原始電力負荷輸入EMD模型中分解得到各分量，分別輸入到LSTM中進行預測，預報精度得到提升.

Srivastava等利用循環(huán)神經網絡(RNN)，梯度提升算法(GBM)和LSTM混合模型對電力值進行短期預測，最后三者整合得出結果，預報效果較好.Zhai等利用ARIMA和BP的混合模型對時間序列進行預測，預測結果證明，混合模型確實提高了預測精度，可用于實際預報.Jain等將傳統(tǒng)時間序列預測模型與人工神經網絡結合，用于預測科羅拉多河的流量數據，證明此混合模型既利用了時間序列預測非線性特性的優(yōu)點，也構建了穩(wěn)健的神經網絡模型，有效提高了時間序列預測精度.

參考經典文獻中的定義，以超過2倍有義波高定義為畸形波.本文將在LSTM的基礎上，與CNN、EMD、ARIMA及KF結合，較為全面地考查組合模型對畸形波預報精度的影響.介紹畸形波數據來源、LSTM及4種組合模型網絡結構、模型參數及各組合模型的精度對比.

1 實驗數據

CNN是由Lecun等提出，由1個輸入層、1個輸出層和幾個隱藏層組成.隱藏層可以分為卷積層、池化層和全連接層.卷積層和池化層是核心，可以提取特征，減少模型參數的數量，加快訓練速度.相對功能而言，CNN更適合特征提取， LSTM 更適合時間記憶，將二者結合結合更有利于畸形波預測.圖2所示為CNN-LSTM模型網絡結構圖， 圖中Conv1D為一維卷積層.

2 LSTM及其組合模型

2.1 LSTM模型

模型訓練是平均相對誤差：

對所取地區(qū)土壤進行重塑得到新的試樣，分別按無根系、少根系、淺根系、深根系制作試樣，每組4個試件，共16個。

2.2 LSTM-CNN

數據來源于某島礁地形模型的波浪演化實測數據，對波高數據進行采樣，采樣頻率50 Hz, 每個時間序列波高數據數目 4 096 個.在多個時間序列中，發(fā)現了3個典型的畸形波時間序列(表中工況 1～3)，各參數信息如表1所示.

⑤ René Prieto.Miguel ángel Asturias’s archaeology of returnng.New York:Cambridge University Press,1983,P32.

2.3 LSTM-EMD

卡爾曼濾波算法可以分為兩部分：時間更新方程(預測階段)和測量更新方程(反饋階段).時間更新方程負責在時間上向前推進當前狀態(tài)和誤差協(xié)方差，獲得即將到來的時間步長的先驗估計，測量更新方程負責反饋，即獲取實際測量值并改變參數來改進卡爾曼濾波.因此，時間更新方程可以看作是預測，而測量更新方程可以看作是校正.LSTM模型只能預報時間序列的一部分特性，容易在某一因素上有波動性誤差，卡爾曼可以修復這種誤差.因此，利用LSTM作為靜態(tài)預測模型預測原始畸形波時序數據，以此作為基礎時間序列，再利用Kalman濾波進行調整，有望提升預報精度.

2.4 LSTM-ARIMA

ARIMA模型可以使時間序列數據趨于平穩(wěn)，且使因變量只基于其延遲值以及當前的誤差值而變化.利用 LSTM模型對傳統(tǒng)的ARIMA模型進行了改進.ARIMA-LSTM模型不僅保持了穩(wěn)定性和可解釋性，相比于傳統(tǒng)的ARIMA模型，同時也吸收了長短時記憶深度學習模型對時間序列學習的優(yōu)點.在實際應用中， LSTM-ARIMA模型可以降低深度學習校正過程的復雜性，保證高頻時間序列的時效性.網絡結構如圖4所示，先用ARIMA將畸形波分為線性部分和非線性部分，再將LSTM模型運用于ARIMA處理過的非線性部分，最后將兩者預測結果疊加.

2.5 LSTM-Kalman

EMD能反映信號的固有特性，利用EMD分解，得到一組固有模態(tài)函數和殘差.EMD具有良好的時頻分辨率，通過信號分解，消除原始序列的自相關性，因此，被廣泛應用于非線性時間序列的預處理.如圖3所示，EMD 可以將數據分解為不同分量，從而降低原始數據的非平穩(wěn)性與復雜度.兩者結合同時具備很好的非線性擬合能力和時間記憶能力，預測精度有望得到提高.

3 參數及結果

LSTM具有存儲單元和端口內存，是RNN的一種改進結構.傳統(tǒng)的RNN不能解決長期依賴的問題，容易出現“梯度消失”現象.LSTM在RNN結構上引入門控機制的概念，通過輸入門、遺忘門和輸出門控制網絡中數據信息的流動.輸入門決定輸入多少信息，對輸入數據進行一次濾波，去除無用信息.遺忘門決定從當前單元中丟棄哪些信息，而有價值的信息被保留下來.輸出門控制當前單元的數據信息.LSTM網絡結構如圖1所示.圖中：為單元的存儲狀態(tài)；為時間的隱含狀態(tài)；為時刻的遺忘門；為時刻的輸入門；為時刻的輸出門；為S型函數；為時刻的導入值.

式中：為預測值；為數據樣本的真實數值；為樣本總量. 訓練的過程就是誤差不斷減少并最終收斂的過程.由于具有收斂快的優(yōu)點，本文采用Adam算法優(yōu)化方法，LSTM及其組合模型的其他超參數設置如表2所示.其中，LSTM-CNN模型采用的Maxpooling1D窗口大小為2，filters(過濾器的個數)為64，kernel_size(卷積核的大小)為2，dense層神經元個數為100.LSTM-EMD模型采用的 n_hours (輸入層的時間步)為4，閾值為5，dense層神經元個數為1，kernel_regularizer(正則化)為l2(0.005)，recurrent_regularizer(施加在循環(huán)核上的正則項)為l2(0.005).LSTM-ARIMA模型采用的移動平均階數和自回歸階數均為3.LSTM-Kalman模型采用的dense層神經元個數為1，卡爾曼niter數為4.

(1)

我應該帶著他去找火車站安保人員。結果給他買了一排四瓶包裝的娃哈哈A D鈣奶大瓶之后，一個矮小黝黑的女人突然沖過來，把他給拉走了。女人身上背著大得嚇人的兩個包，神色有些憤怒。在最后被扯開的時候，那小孩還試圖從我手上把剩下三瓶娃哈哈拿走。

4 各工況畸形波波高時間序列

工況1屬于單峰型畸形波，其有義波高=4.59 cm，時間=77.34 s時最大波高=9.63 cm，此時波高比達到了2.11，產生了畸形波，波高時間序列如圖5(a)所示，圖中為波高.工況2也屬于單峰型畸形波，其=2.89 cm，=45.96 s 時達到峰值=6.33 cm，波高比為2.19，波高時間序列如圖5(b)所示.工況3屬于三姐妹型畸形波，=2.89 cm，=45.96 s 時達到峰值=6.36 cm.此類畸形波可以連續(xù)產生幾個大波具有持續(xù)性強的特點，波高時間序列如圖5(c)所示.

5 預測結果

(1) 工況1.

工況1畸形波形狀為單峰型，測點地形位置使得其特點為近岸淺水區(qū)，此處地形變化激烈，容易產生畸形波.工況1的訓練集和測試集都有明顯的畸形波，取訓練數據和測試數據的期間分別為0～57.36 s和57.38～81.88 s，工況1各種模型的預報結果與真實值比較如圖6(a)～6(e)所示，圖6(f)中為真實值與預測值之間的誤差.

預報結果顯示，除了畸形波時刻附近，其余時間幾乎為重合，后續(xù)工況2和工況3中將不給出真實波高與預報波高對比圖.為突出不同預測模型對畸形波的預報精度，給出了畸形波時刻附近的預報誤差比較，如圖6(f)所示.5種模型預報誤差在畸形波附近誤差表現有較大差別，相較于LSTM單一模型，4種LSTM組合模型對于畸形波的預測精度都有明顯提升.

第三，學生自身忽視小組合作學習方式的重要性，參與度不高.小組一般情況下都是由4～6人組成，其中一本有社交能力比較強，成績比較好的學生，也有社交能力弱，成績較差的學生.在進行某個知識點的合作探究的時候，成績比較弱的學生往往不參與，僅僅在旁邊聽，或者是處在走神狀態(tài)，根本沒有參與到小組中來.如此便不會得到能力的提升以及知識的鞏固.

(2) 工況2.

與工況1不同的是，只有測試集期間的數據畸形波程度明顯.預報結果如圖7所示.測點地形位置屬于非線性變化區(qū)域，海底海山處變化較大，總體來說此類區(qū)域畸形波生成的概率較大.工況2訓練集數據為0～39.32 s，測試集期間的數據為39.34～63.84 s，訓練集畸形波特征不明顯，測試集包含明顯畸形波.

由圖7可知，相比于LSTM模型，LSTM組合模型效果更優(yōu).

應邀出席慶典的領導還有農業(yè)農村部全國農業(yè)技術推廣服務中心處長田有國、農業(yè)農村部耕地質量監(jiān)測保護中心處長馬常寶、國家微生物肥料技術研究推廣中心主任孟慶偉、國家農工委土壤修復治理中心副主任李運明、中國種子集團副總經理姜濤。

(3) 工況3.

工況3的訓練集數據區(qū)間為0～49.14 s，測試集數據為49.16～73.66 s，其中測試集數據畸形波特征明顯.由圖8可知，LSTM組合模型預報畸形波的精度比單一LSTM模型具有顯著的優(yōu)勢.

隨著英國電子商務的快速發(fā)展，網上購物活動日益頻繁。但是，網上零售商、購物者、送貨服務等方面都存在著一些問題，這對英國電子商務的發(fā)展和擴張有著重要的影響。與此同時，留學生是英國在線購物市場的主要群體之一。因此，本文對在英留學生網上購物行為展開了深入的調查和研究，作者認為，這將有利于在線零售商或公司針對留學生采取一些相應的營銷策略或社交媒體戰(zhàn)略來促進他們的產品或服務，以此來提高營業(yè)額，最終獲得更高的利潤?？傮w而言，本論文對第二部分所提到的研究問題進行了回答和論述。

3個畸形波時間序列預報的平均相對誤差如表3所示.可以看出，LSTM組合模型預報精度均得到了顯著提升.具體情況為LSTM-CNN模型精度最好，LSTM-ARIMA模型次之，LSTM-EMD模型和LSTM-Kalman更次之，LSTM效果最差，這個排序在3個畸形波序列預報中均是如此.相比較于單一LSTM模型，LSTM-CNN組合模型在3個畸形波時間序列預報的精度分別提升45.1%、74.7%及50.9%，精度得到顯著提升.

需要說明的是，平均相對誤差反映的是全局預報精度，但從畸形波的局部范圍看，結合模型的預報精度更加具有明顯優(yōu)勢，特別是LSTM-CNN模型表現最好.

6 結語

基于某島礁地形模型的波高時間序列中發(fā)現的3個畸形波時間序列，針對長短時記憶神經網絡，發(fā)展了其與CNN、EMD、ARIMA及KF這4種模型的組合組合，考察了4種組合模型對畸形波預報精度的提升效果.結果表明，采用平均相對誤差評判，4種LSTM組合模型在3個畸形波時間序列中預報精度均得到了顯著改善.4種組合模型中，LSTM-CNN組合精度提升最為明顯，且誤差分布較其他LSTM模型更均勻.因此，LSTM-CNN模型是預報畸形波的一種理想組合模型.后續(xù)研究中，將通過畸形波數值模擬方法，得到流場速度和壓力等信息，從而建立更多變量的機器學習模型預報，用于船舶與海洋平臺的載荷預報.