基于LSTM-BP組合模型的南太平洋海流流速預(yù)測(cè)

袁紅春，管 琦，張?zhí)祢?/p>

(上海海洋大學(xué) 信息學(xué)院,上海 201306)

引 言

海流變化對(duì)人類生產(chǎn)活動(dòng)和海洋生物有著很大的影響，所以認(rèn)識(shí)海流變化對(duì)航海、發(fā)電和魚群分布研究等有著極其重要的意義。海流變化對(duì)全球氣候調(diào)節(jié)也有著很重要的影響。南太平洋是全球海洋的重要組成部分,研究南半球海流能夠幫助研究者更好地了解全球海流變化情況。由于南北半球海流相互作用,了解并預(yù)測(cè)南半球海流變化有助于對(duì)北半球海流的研究。海流變化主要是通過海流流速體現(xiàn)。

海流流速預(yù)測(cè)主要分為三類，海洋模式預(yù)報(bào)方法、時(shí)間序列模式和神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)。劉子洲[1]用HYCOM模式對(duì)太平洋環(huán)流進(jìn)行模擬，對(duì)太平洋海域進(jìn)行流場(chǎng)模擬和季節(jié)性分析，計(jì)算主要海流的流速、流幅和流量，模擬結(jié)果較好。Wu X G[2]等人將流體動(dòng)力學(xué)(CFD)模型與非結(jié)構(gòu)化網(wǎng)格有限體積沿海海洋模型(FVCOM)結(jié)合預(yù)測(cè)小規(guī)模的沿海流量。CFD模型可以解析小規(guī)模的流量，F(xiàn)VCOM可以預(yù)測(cè)大范圍的環(huán)流，效果能夠捕獲從幾厘米到幾百公里的空間尺度的流量。黃奇華[3]等將BP神經(jīng)網(wǎng)絡(luò)技術(shù)與空間插值方法相結(jié)合，建立了海流的BP神經(jīng)網(wǎng)絡(luò)插值模型,對(duì)實(shí)測(cè)數(shù)據(jù)進(jìn)行缺失值的插值仿真。結(jié)果表明該模型預(yù)測(cè)效果良好，并且優(yōu)于反距離權(quán)重法和線性插值法。董世超[4]考慮到海流流速的線性和非線性關(guān)系，結(jié)合ARIMA時(shí)間序列預(yù)測(cè)模型和BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的優(yōu)點(diǎn)，構(gòu)建ARMA-BP神經(jīng)網(wǎng)絡(luò)混合模型,提高了海流流速預(yù)測(cè)的精度。Chiri H[5]等以墨西哥灣為例使用自回歸邏輯回歸模型對(duì)洋流模式進(jìn)行統(tǒng)計(jì)模擬，該模型再現(xiàn)了原始時(shí)間序列的年內(nèi)和年際變化，顯示出非常好的擬合能力。

本文結(jié)合LSTM時(shí)間序列預(yù)測(cè)模型與BP神經(jīng)網(wǎng)絡(luò)模型非線性的特點(diǎn)，構(gòu)建了LSTM-BP神經(jīng)網(wǎng)絡(luò)組合模型對(duì)南太平洋海流流速進(jìn)行預(yù)測(cè)。通過分別與BP和LSTM單個(gè)模型對(duì)比，組合模型預(yù)測(cè)效果更好。

1 材料與方法

1.1 數(shù)據(jù)的選擇與處理

海流的流速分為經(jīng)向流速和緯向流速，經(jīng)向流速是海流的南北方向，緯向流速是海流的東西方向。本文選擇亞太數(shù)據(jù)研究中心SODA3.3.1版本的月平均緯向流速作為研究對(duì)象，流速為正值的是向東流，流速為負(fù)值的是向西流動(dòng)。按照1°×1°的分辨率采集了2004年1月—2015年12月共12年的數(shù)據(jù)，經(jīng)度范圍是(110°E～135°W)，緯度范圍是(5°S～40°S)，深度共有24層，最小深度5.03 m，最大深度524.98 m。流速(u)是海流的東西流速，單位是m/s。每條數(shù)據(jù)包含時(shí)間索引、經(jīng)度、緯度、深度和流速。

流速數(shù)據(jù)存在較多空值，不完整的數(shù)據(jù)會(huì)影響數(shù)據(jù)建模的預(yù)測(cè)效果。如果選擇直接剔除，可用的數(shù)據(jù)量減少，也會(huì)導(dǎo)致模型訓(xùn)練的效果較差。在考慮到海流數(shù)據(jù)之間相關(guān)性較高，選擇K近鄰法(KNN)填充空值，預(yù)測(cè)效果會(huì)更為準(zhǔn)確。

KNN是一種基于類比的算法，其基本思想是在多維空間中根據(jù)歐氏距離找到與待測(cè)樣本最近鄰的K個(gè)點(diǎn)，并根據(jù)這K個(gè)點(diǎn)的值加權(quán)平均估計(jì)樣本的缺失數(shù)據(jù)。KNN用于回歸估計(jì)即以這K個(gè)點(diǎn)作為訓(xùn)練樣本來估計(jì)待測(cè)點(diǎn)的值[6]。歐式距離公式如下：

(1)

其中,xi,xj分別代表兩個(gè)樣本；a代表第幾個(gè)特征值。K的取值對(duì)于K近鄰模型有著重要意義，過大會(huì)導(dǎo)致泛化能力降低，過小會(huì)導(dǎo)致預(yù)測(cè)精度降低[7]。通過多次試驗(yàn)本文K值選擇6較合適，由于數(shù)據(jù)集較大，故采取了分批填充數(shù)據(jù)的方法。

為減小輸入樣本的數(shù)值差距，提高網(wǎng)絡(luò)模型的收斂速度和穩(wěn)定性，對(duì)數(shù)據(jù)做歸一化處理，歸一化數(shù)據(jù)的取值范圍是[-1,1]。經(jīng)過歸一化處理的數(shù)據(jù)仍會(huì)保留原來數(shù)據(jù)中存在的關(guān)系，但可以消除不同量綱和數(shù)據(jù)取值范圍的影響[8]。預(yù)測(cè)之后，為了使預(yù)測(cè)數(shù)據(jù)符合實(shí)際的范圍和真實(shí)的意義，還需對(duì)預(yù)測(cè)結(jié)果進(jìn)行反歸一化。歸一化的公式為：

(2)

式中，X是原樣本數(shù)據(jù)；max是樣本數(shù)據(jù)的最大值；min是樣本數(shù)據(jù)的最小值；X′是歸一化數(shù)據(jù)。

1.2 LSTM-BP神經(jīng)網(wǎng)絡(luò)建模

1.2.1 BP神經(jīng)網(wǎng)絡(luò)

BP(back propagation)神經(jīng)網(wǎng)絡(luò)是由正向傳播和反向傳播組成[9]，正向傳播見公式(3)。正向傳播時(shí)，將輸入樣本數(shù)據(jù)傳到輸入層，通過每一個(gè)隱含層處理后，再將處理后的數(shù)據(jù)傳向輸出層。如果輸出層的輸出值與所期望輸出值不相符，則將誤差傳入反向傳播。誤差的反向傳播是逐層反轉(zhuǎn)的，將誤差分?jǐn)偨o各層的所有單元，使各層獲得誤差信號(hào)并修正該層單元的權(quán)值。權(quán)值不斷調(diào)整，當(dāng)運(yùn)行到實(shí)驗(yàn)設(shè)置的迭代次數(shù)或者輸出誤差減小到可接受范圍內(nèi)就停止訓(xùn)練。Kolmogorov理論上證明三層神經(jīng)網(wǎng)絡(luò)即可以實(shí)現(xiàn)任意復(fù)雜的非線性映射問題[10]。

(3)

其中，x是輸入向量；h是隱含層輸出向量；y是輸出層向量；f表示激活函數(shù)；w1、w2分別表示輸入層和隱含層的連接權(quán)重；b1、b2分別表示輸入層和隱含層的閾值。

圖1是BP神經(jīng)網(wǎng)絡(luò)由輸入層、隱含層和輸出層組成。

圖1 BP神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

1.2.2 LSTM神經(jīng)網(wǎng)絡(luò)

圖2 LSTM記憶單元結(jié)構(gòu)

ft=σ(Wf·[ht-1,xt]+bf)

(4)

it=σ(Wi·[ht-1,xt]+bi)

(5)

ot=σ(Wo·[ht-1,xt]+bo)

(6)

(7)

在實(shí)際預(yù)測(cè)中，采用歷史數(shù)據(jù)作為L(zhǎng)STM網(wǎng)絡(luò)的輸入,經(jīng)過網(wǎng)絡(luò)的迭代計(jì)算和訓(xùn)練，不斷更新記憶單元的狀態(tài)，從而通過歷史數(shù)據(jù)預(yù)測(cè)未來數(shù)據(jù)的變化。

1.2.3 LSTM-BP神經(jīng)網(wǎng)絡(luò)模型建立

本文將2004年1月—2015年12月12年按照10∶1∶1分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。以2004—2013年的月序列數(shù)據(jù)來構(gòu)建模型,用2014年的各月數(shù)據(jù)來調(diào)節(jié)超參數(shù);再將132個(gè)月的序列數(shù)據(jù)重新擬合模型,并根據(jù)所建立的模型對(duì)2015年各月流速進(jìn)行預(yù)測(cè)?；贚STM-BP組合模型[12]預(yù)測(cè)海流的步驟如下：

1)將歸一化的訓(xùn)練樣本數(shù)據(jù){X1，X2，…，XL}輸入到LSTM神經(jīng)網(wǎng)絡(luò)中，其中Xt={lat,lon,depth,u}。利用LSTM記憶單元結(jié)構(gòu)特性，提取數(shù)據(jù)變化的時(shí)間維度特征。LSTM隱含層包括L個(gè)時(shí)間序列的LSTM細(xì)胞，隱含層的輸出為P={P1,P2,…PL}，Pt=LSTMf(Xt，Ct-1，Ht-1)，其中Ct-1，Ht-1分別是前一個(gè)樣本隱含層的細(xì)胞狀態(tài)和輸出，LSTMf是LSTM的前向計(jì)算函數(shù)；

2)將LSTM網(wǎng)絡(luò)隱含層的輸出作為BP神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)，實(shí)現(xiàn)LSTM到BP的數(shù)據(jù)傳遞；BP網(wǎng)絡(luò)的真實(shí)輸出與理論的輸出的均分誤差作為誤差計(jì)算公式，通過梯度下降法不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和偏置，使得網(wǎng)絡(luò)誤差不斷降低；

3)當(dāng)誤差滿足要求時(shí)，模型停止訓(xùn)練，將訓(xùn)練好的模型對(duì)測(cè)試樣本進(jìn)行預(yù)測(cè)。

實(shí)驗(yàn)所搭建的LSTM-BP的網(wǎng)絡(luò)結(jié)構(gòu)見圖3。

圖3 LSTM-BP組合模型

在LSTM-BP神經(jīng)網(wǎng)絡(luò)建模過程中，將訓(xùn)練樣本劃分為訓(xùn)練集和驗(yàn)證集進(jìn)行訓(xùn)練確定神經(jīng)元、學(xué)習(xí)率等超參數(shù)等。其中神經(jīng)元的個(gè)數(shù)是影響神經(jīng)網(wǎng)絡(luò)模型輸出結(jié)果好壞的重要因素[13]。如果神經(jīng)元個(gè)數(shù)太少，模型不易擬合。如果神經(jīng)元個(gè)數(shù)太多，模型泛化性降低。本文選擇BP神經(jīng)網(wǎng)絡(luò)的隱含層神經(jīng)元個(gè)數(shù)為4～12比較預(yù)測(cè)結(jié)果的均方誤差(MSE)和擬合優(yōu)度(R2)，公式見(8)、(9)。MSE的值越小，說明該模型模擬的實(shí)驗(yàn)數(shù)據(jù)具有更好地精確度。R2函數(shù)提供了一種衡量模型預(yù)測(cè)未來樣本的可能性的方法，趨近于1說明模型越好。

(8)

(9)

從表1可見，神經(jīng)元個(gè)數(shù)逐漸增加，2014年驗(yàn)證集的數(shù)據(jù)預(yù)測(cè)結(jié)果的R2逐漸接近1，但是神經(jīng)元個(gè)數(shù)大于8時(shí)MSE較為上升。經(jīng)過比較，我們選擇8為BP隱含層神經(jīng)元個(gè)數(shù)。

表1 BP隱含層不同神經(jīng)元個(gè)數(shù)的預(yù)測(cè)結(jié)果比較

將處理好的數(shù)據(jù)傳入到LSTM神經(jīng)網(wǎng)絡(luò)中，LSTM包含1個(gè)隱含層，神經(jīng)元個(gè)數(shù)為4，隱含層輸出形式(batchsize，1,4)；BP神經(jīng)網(wǎng)絡(luò)包括1個(gè)隱含層和1個(gè)輸出層。隱含層的神經(jīng)元個(gè)數(shù)為8，激活函數(shù)為tanh函數(shù)，BP隱含層輸出形式為(batchsize，1,8)，最終模型的輸出層以(batchsize，1,4)形式輸出預(yù)測(cè)值。

本模型的損失函數(shù)以均方誤差定義，在梯度優(yōu)化算法上選擇了Adam，學(xué)習(xí)率設(shè)置為0.001。批處理大小batch_size設(shè)置500，最大迭代次數(shù)200。另外，該實(shí)驗(yàn)設(shè)置了當(dāng)被監(jiān)測(cè)的數(shù)量不再提升，則停止訓(xùn)練，防止模型過擬合和減少不必要的訓(xùn)練時(shí)間。

2 結(jié)果與討論

2.1 結(jié)果分析

為了驗(yàn)證LSTM-BP模型優(yōu)越性，選擇單個(gè)模型BP與LSTM與其比較。BP與LSTM參數(shù)都是經(jīng)過實(shí)驗(yàn)多次調(diào)整得到的最佳參數(shù)。BP模型是4-12-4結(jié)構(gòu)，隱含層激活函數(shù)是tanh函數(shù)，網(wǎng)絡(luò)學(xué)習(xí)率為0.01。LSTM模型輸入4維的訓(xùn)練樣本，隱含層神經(jīng)元個(gè)數(shù)為12。兩種模型在梯度優(yōu)化算法上選擇了Adam。設(shè)置迭代次數(shù)200，每次訓(xùn)練500個(gè)樣本，損失函數(shù)以均方誤差定義。

數(shù)據(jù)樣本在BP、LSTM和LSTM-BP三種模型上訓(xùn)練集和驗(yàn)證集的損失值下降情況見圖4。橫坐標(biāo)是訓(xùn)練的迭代次數(shù)，縱坐標(biāo)是損失值。圖4即損失值變化情況，隨迭代次數(shù)的變化，三種模型的損失值逐漸下降，訓(xùn)練集與驗(yàn)證集的損失值曲線基本重合，說明模型泛化能力較好。BP模型迭代200次停止訓(xùn)練，最后1次的訓(xùn)練集損失值為9.263 2×10-4，驗(yàn)證集損失值為8.876 7×10-4；LSTM模型迭代200次停止訓(xùn)練，最后1次的訓(xùn)練集損失值為5.987 1×10-4，驗(yàn)證集損失值為5.731 1×10-4；LSTM-BP模型迭代180次停止訓(xùn)練，最后1次的訓(xùn)練集損失值為5.620 2×10-4，驗(yàn)證集損失值為5.141 8×10-4。通過對(duì)比，組合模型相比于兩種單個(gè)模型收斂速度更快，損失值也有明顯的下降,泛化能力更好。

圖4 損失值變化曲線

本文采用MSE和平均絕對(duì)誤差(MAE)評(píng)估海洋流速模型，MSE的值越小，說明該模型模擬的海洋流速數(shù)據(jù)具有更好地精確度。MAE是絕對(duì)誤差的平均值，能夠很好地反應(yīng)該模型預(yù)測(cè)值誤差的實(shí)際情況。MSE見公式(8)，MAE計(jì)算公式如下：

(10)

表2是三種模型的在測(cè)試樣本上的MSE對(duì)比。由表2可見，LSTM-BP模型比BP模型大下降了約0.7，比LSTM下降了約0.5。表3是三種模型的在測(cè)試樣本上的MAE對(duì)比。由表3知，LSTM-BP模型比BP模型大下降了約0.14，比LSTM下降了約0.21。綜上，組合模型LSTM-BP綜合了BP和LSTM單個(gè)模型的優(yōu)點(diǎn)，預(yù)測(cè)精度更好，預(yù)測(cè)誤差更小,預(yù)測(cè)結(jié)果相對(duì)準(zhǔn)確和穩(wěn)定。

表2 三種模型預(yù)測(cè)結(jié)果MSE對(duì)比

表3 三種模型預(yù)測(cè)結(jié)果MAE對(duì)比

2.2 討論

目前，海洋環(huán)流預(yù)測(cè)的主要海洋模式有POM、FVCOM和HYCOM等。一般海洋動(dòng)力模式必須給出初始條件和邊界條件，但是獲取邊界條件比較困難[14]。FYCOM[15]主要適用于近岸海域的數(shù)值模擬，HYCOM[16]更加適用于開闊的大洋的數(shù)值模擬。海洋模式是對(duì)不同海域主要海流的流速、流幅、流量等進(jìn)行計(jì)算，模擬海洋主要流場(chǎng)，無法對(duì)大洋某一段時(shí)間的某一個(gè)觀測(cè)點(diǎn)預(yù)測(cè)。

時(shí)間序列法和神經(jīng)網(wǎng)絡(luò)預(yù)報(bào)法是利用已有的觀測(cè)數(shù)據(jù)為樣本進(jìn)行預(yù)測(cè)，避免考慮所在海域是近海岸還是開闊大洋,而且減少了海洋模式的大規(guī)模計(jì)算，并且時(shí)間序列法和神經(jīng)網(wǎng)絡(luò)在預(yù)測(cè)海洋溫度和海洋鹽度等方面預(yù)測(cè)效果較理想。ARIMA模型擬合數(shù)據(jù)需要判斷數(shù)據(jù)是否為高斯白噪聲，如果不是，那么就說明ARIMA模型可能不是一個(gè)適合樣本的模型，本文中的海流數(shù)據(jù)經(jīng)過LB統(tǒng)計(jì)量檢驗(yàn)，證明數(shù)據(jù)為非白噪聲，ARIMA模型不是一個(gè)適合南太平洋海流數(shù)據(jù)的模型。劉軍亮[17]建立小波神經(jīng)網(wǎng)絡(luò)對(duì)中國南海某近海觀測(cè)站進(jìn)行短時(shí)預(yù)測(cè)，但是小波神經(jīng)網(wǎng)絡(luò)主要提取的是時(shí)間尺度的信息。BP神經(jīng)網(wǎng)絡(luò)和LSTM神經(jīng)網(wǎng)絡(luò)分別屬于前饋神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了一個(gè)從輸入到輸出的映射功能，具有較強(qiáng)的非線性映射能力，但不考慮輸入與輸出在時(shí)間上的滯后效應(yīng)。循環(huán)神經(jīng)網(wǎng)絡(luò)RNN對(duì)時(shí)序性數(shù)據(jù)有著更好地適應(yīng)性，LSTM是對(duì)RNN的改進(jìn)，避免了RNN的梯度爆炸和消失的問題。LSTM可以選擇性的將有用的信息通過，使得記憶細(xì)胞能夠保存長(zhǎng)期信息。海流流速既有時(shí)序性特征，又有非線性特征。如果只采用某一種模型，難以反映時(shí)間序列及非線性的兩種特性。本文采用的LSTM-BP組合模型預(yù)測(cè)海流，LSTM網(wǎng)絡(luò)記憶能力強(qiáng),具有較長(zhǎng)時(shí)間范圍內(nèi)的記憶功能,而神經(jīng)網(wǎng)絡(luò)具有非線性的結(jié)構(gòu)特性，可用來模擬空間分布特征。

3 結(jié)論

神經(jīng)網(wǎng)絡(luò)模型目前在海洋領(lǐng)域方面的預(yù)測(cè)越來越多。本文利用SODA3.1.1版本的南太平洋區(qū)域12年的逐月海流數(shù)據(jù)，用LSTM-BP神經(jīng)網(wǎng)絡(luò)方法預(yù)測(cè)海流變化。研究結(jié)果表明，LSTM-BP適合南太平洋海流流速的預(yù)測(cè)。由于采集的數(shù)據(jù)存在缺失值，并且海流受多方面因素(風(fēng)速、溫度和鹽度等)影響，對(duì)海流預(yù)測(cè)不能達(dá)到很高的準(zhǔn)確率，故下一步研究工作的重點(diǎn)是收集更多影響海流的數(shù)據(jù)和不斷優(yōu)化網(wǎng)絡(luò)模型。