基于ConvGRU深度學習網絡模型的海表面溫度預測

張雪薇，韓震,2*

(1.上海海洋大學 海洋科學學院，上海 201306；2.上海河口海洋測繪工程技術研究中心，上海 201306)

海表面溫度是海洋環(huán)境主要要素之一，在氣象學、航海、漁業(yè)和海洋環(huán)境保護等領域起著重要的作用[1]。如何有效地挖掘其信息，并對其時序關系和空間特征進行提取，是海洋科學領域亟待解決的問題[2-3]。對于海表面溫度數據時間尺度的預測，傳統(tǒng)時間序列預測方法大多忽略了自然地理位置中數據的空間分布信息，且在處理海量海表面溫度數據方面存在欠缺[4-5]。海表面溫度數據具有時間性、空間性和多維性，可通過挖掘其數據各要素間的關聯(lián)性和時空尺度變化下的規(guī)律性，更好地認識海洋各環(huán)境要素耦合下的本質特征。

海洋預測模型通常有兩類方法：一類是數值方法，另一類是數據驅動方法。前者利用動力學方程和熱力學方程建立預測模型；后者使用統(tǒng)計或機器學習方法，從數據中學習建立預測模型。隨著深度學習技術的快速發(fā)展[6]，建立準確的模型對海表面溫度進行預測具有重要的研究意義。2007年，Garcia-Gorriz等[7]利用人工神經網絡(ANN)，對地中海西部海表面溫度的季節(jié)和年際變化進行了預測，預測效果較好。2017年，Zhang等[8]利用LSTM模型對海表面溫度進行了預測，其網絡架構由LSTM層和全連通密集層組成，并以中國沿海海域為例驗證了該方法的有效性。同年，Jiang 等[9]分析了溫度、鹽度和地理位置對溫躍層的影響，提出了一種改進的基于熵值法的躍層選擇模型，該模型能夠有效地預測溫度的變化。2019年，Xiao等[10]在東海利用36年星載海表面溫度數據建立了LSTM模型，該模型對短期和中期海表面溫度場的日預測效果較好。2020年，Xu等[11]提出了M-LCNN預測模型，利用小波變換對時間序列進行分解和重構以預測海表面溫度多個時間尺度的序列變化。同年，He等[12]構建了一個采用局部搜索策略的SSTP模型，該模型適用于長時間序列的海溫數據預測。以上基于深度學習的海表面溫度預測方法均存在一些不足：如參數的數據量過少，不適用于處理海量的海洋數據；大多忽略了自然地理位置中的區(qū)域分布信息，導致區(qū)域信息的丟失；沒有很好地將時間特征和空間特征相結合，故很難同時達到模型的預測精度和信息特征提取的準確度。

循環(huán)神經網絡(recurrent neural networks，RNN)作為提取動態(tài)時間序列的網絡，具有對數據進行選擇性記憶的特點[13]，可以將上一層的輸出作為下一層的輸入[14]，通過在不同區(qū)域上增加卷積操作，得到時序關系和空間特征，解決了傳統(tǒng)方法中數據空間分布信息丟失的問題?；赗NN擴展算法和卷積神經網絡(CNN)相結合的ConvGRU深度學習網絡模型,通過在不同的區(qū)域上疊加卷積操作，能夠得到時序關系和空間特征，在信息挖掘的基礎上，更好地預測其未來的變化規(guī)律。ConvGRU模型在視頻目標檢測、多目標跟蹤和醫(yī)學等方面應用廣泛[15-17]。該模型解決了傳統(tǒng)時間序列網絡未能將時間性與空間性很好地結合、區(qū)域信息丟失及批量處理海洋大數據能力差的問題。本研究中，以西北太平洋部分海域為研究區(qū)域，開展了基于ConvGRU循環(huán)神經網絡模型的海表面溫度預測分析，以期提高海表面溫度的預測精度。

1 相關模型

1.1 RNN模型

循環(huán)神經網絡RNN采用定向循環(huán)，使得隱藏節(jié)點定向連接成環(huán)，這樣的內部結構有利于信息傳遞，可以將同層間不同的神經元進行連接，并且同一時間的網絡層可以共享權值參數。RNN的輸入和輸出數據均為向量序列，可以較好地體現(xiàn)數據的時間序列性。

hk=fh(Wihxk+Whhhk-1+bh)。

(1)

其中：hk為k時刻RNN隱層的狀態(tài)向量；Wih為從輸入層到隱層的連接矩陣；Whh為隱層相鄰時刻之間的連接矩陣；xk為k時刻輸入樣本；bh為偏置向量；fh為非線性激活函數，在RNN中，fh通常為sigmoid或tanh函數。

ok為RNN網絡輸出，其計算公式為

ok=f0(Wh0hk+b0)。

(2)

其中：Wh0為隱層到輸出層的連接矩陣；b0為輸出層的偏置向量；f0為非線性激活函數。

RNN可以得到時間序列特征，但當網絡層增加時，會因BPTT(back propagation through time)而導致梯度消失，從而無法獲得相隔時間比較長的數據間的相關性。GRU作為RNN的變體，只要在GRU中增加卷積操作就可以解決這個問題。

1.2 ConvGRU模型

ConvGRU模型是RNN擴展算法和卷積神經網絡的結合[18]。ConvGRU的核心思想是將矩陣運算加上卷積操作，既能利用GRU得到時序特征，又能利用卷積計算提取空間特征。ConvGRU模型采用門結構控制信息流動，權重的一部分放到了卷積核內，另一部分放入循環(huán)層的循環(huán)核。

ConvGRU模型計算公式為

Zt=σ(Wxzxt+WhzHt-1)，

(3)

Rt=σ(Wxrxt+WhrHt-1)，

(4)

Ht′=f[Wxhxt+Rt°(WhhHt-1)]，

(5)

Ht=(1-Zt)°Ht′+Zt°Ht-1。

(6)

其中：Zt為更新門；Rt為重置門；Ht′為候選門(記憶狀態(tài))；x為卷積操作；°為哈達瑪積；xt為輸入；f為非線性激活函數；σ為sigmoid激活函數；H和W為輸入張量的高和寬。

2 海表面溫度預測模型的構建

2.1 研究區(qū)域和數據

選取西北太平洋10°～30°N、130°～160°E的海域為研究區(qū)域。研究數據來自美國國家海洋和大氣管理局(NOAA)的OISST(optimum interpolation sea surface temperature)的最優(yōu)插值OI(optimum interpolation)產品(https://climatedataguide.ucar.edu/climate-data)。OISST原始數據[19]來源于衛(wèi)星數據和現(xiàn)場平臺(船舶和浮標)的海表面溫度(sea surface temperature，SST)觀測數據，是由插值和外推數據創(chuàng)建的空間網格產品，也是目前應用最廣泛的再分析數據產品之一。每天的OISST數值誤差包含隨機誤差(random errors，RE)、采樣誤差(sampling errors，SE)和偏置誤差 (bias errors，BE)，由于選取數據的時間不同，產生的誤差也不同。一個完整的海溫圖通過插值填補空白產生，該方法包括衛(wèi)星和船舶觀測(參考浮標)的偏差調整，以補償平臺差異和傳感器偏差。OISST將船舶數據和浮標數據作為實測數據(船舶-浮標數據的總體差異為0.138 ℃)[20]進行數據的誤差分析，浮標的海表溫度觀測精度各不相同，隨機誤差通常小于0.58 ℃[21]。全球平均誤差為0.38 ℃，在年際尺度上，產品間的全球平均差異約為0.058 ℃[22]。本研究中，訓練和驗證數據為1999—2019年海表面溫度數據，預測數據為2020年海表面溫度數據，其空間分辨率均為1°。

2.2 預測模型的總體結構

海表面溫度預測模型ConvGRU總體結構如圖1所示，其預測的具體步驟包括數據預處理、樣本生成器建立與數據篩選、網絡模型的建立、預測與存儲和模型評估分析。模型結合了卷積神經網絡和循環(huán)神經網絡的特點，并利用樣本生成器處理數據，解決了長時間序列遙感數據的批量處理問題；通過對數據進行批量隨機訓練，提高了訓練的效率和可靠性；通過改進模型本身的訓練層和樣本生成器，提升了預測結果的精度。

圖1 預測模型ConvGRU的結構Fig.1 Structure of the prediction model ConvGRU

2.2.1 數據的預處理和樣本生成器的建立 選取1999—2019年SST數據構建一個三維數據集。主要過程包括對創(chuàng)建的時間序列文件進行區(qū)域選取，重構樣本集NC文件，對樣本集NC文件增加通道維度，形成樣本數據，然后對數據進行歸一化處理(圖2)，其計算公式為

圖2 預處理流程圖Fig.2 Preprocessing flow chart

xnormalizatin=(x-max)/(max-min)。

(7)

其中：xnormalizatin為海表面溫度數據0～1數值內的歸一化值；max、min分別為時間步長內海表面溫度數據的最大值和最小值；x為時間步長內海表面溫度數據的每月網格數據值。

將歸一化值作為生成器的標簽值，構建標簽樣本集NC文件，形成標簽樣本集。將選取區(qū)域的樣本數據劃分為訓練數據集和評估數據集，訓練數據集為1999—2019年數據，通過訓練這些數據來預測2020年，并用2020年數據集進行驗證評估。

在樣本生成器中批量選取數據進行訓練，建立樣本訓練集生成器。從樣本數據中隨機選取20個批量數據作為1步，每步包含連續(xù)6個特征數據，7步為1輪進行400輪計算。每步包含的連續(xù)6個特征數據的時間間隔為1個月，形成樣本特征集數據。1個標簽日期對應6個月的時間特征數據集，通過標簽和單步數據的對應關系，建立與樣本特征集數據在時間尺度上對應的標簽，形成標簽數據。

對于樣本驗證集生成器，隨機選取樣本數據中10個批量數據作為1步，建立樣本特征集數據和標簽數據，7步為1輪，進行400輪計算。

在樣本生成器中，輸入5個維度的樣本數據，分別為批量大小、連續(xù)時間尺度、緯度值、經度值和通道大?。荒繕藬祿敵鼍S度分別為標簽數據中的批量大小、緯度值、經度值和通道大小4個維度，以確保用6個連續(xù)的時間序列輸出1個時間序列的預測效果。

2.2.2 預測模型的建立 預測模型ConvGRU各層參數見表1，主要建立步驟如下：

表1 ConvGRU模型各層參數Tab.1 Parameters of each layer of ConvGRU model

1)將預處理過的數據進行輸入，分別將樣本數據和標簽數據輸入到ConvGRU層，通過5層的ConvGRU 2D疊加，建立時序關系。本研究中使用多個ConvGRU層，每層過濾器個數為50，卷積核大小為7×7，每層ConvGRU均帶有Dropout內處理層，Dropout可以在每次迭代時隨機更新網絡參數。在每ConvGRU層，將Dropout值設為0.5，以減少過擬合發(fā)生的次數。

2)在每個ConvGRU 2D層后加入一個正則化層(Batch normalization)，使得處理海表面溫度數據時，調整參數過程簡潔，減少對樣本數據初始化要求。

3)在ConvGRU 2D層計算后，加入2個Conv2D層進行優(yōu)化，并將多維計算結果進行2D輸出。第一個Conv2D的過濾器個數為50，卷積核大小為7×7；第二個Conv 2D的過濾器個數為1，卷積核大小為7×7。

對建立好的樣本生成器中的批量數據進行訓練，并利用Keras建立多層ConvGRU模型，獲取時空相關性，將訓練好的模型進行模型存儲。

2.2.3 數據的預測與存儲 根據2020年預測數據，建立基于預測每月海表面溫度數據的預測樣本生成器。隨機選取預測樣本數據中12個批量數據作為1步，建立樣本特征集數據和標簽數據，7步為1輪，進行15輪計算，對預測好的模型按月進行參數存儲輸出。

以npy文件進行訓練結果輸出，將輸出的四維npy預測文件去除通道這一維，并按預測的總個數、緯度值、經度值進行三維重構NC文件，然后進行反歸一化操作實現(xiàn)對預測數據的還原。對預測的時間點求平均值，從而形成包含緯度和經度的三維NC文件，最后對結果進行投影輸出。

2.2.4 模型評估分析

1)訓練模型。在樣本訓練過程中，利用均方根誤差(root mean squared error)和準確率(precision)對訓練結果進行評估，其計算公式為

(8)

其中：ERMS為均方根誤差，是海表面溫度訓練值與標簽值間差值平方和的平均值(℃)；yactual為海表面溫度數據的標簽值；ypred為海表面溫度數據的訓練值(℃)；n為選擇區(qū)域的寬和高的乘積。

P=2TP/(TP+FP+FN)×100%。

(9)

其中：P為預測正確的概率(準確率)；TP為真正例，即正例的數據點被標記為正例；FP為假正例，即反例的數據點被標記為正例；FN為假反例，即正例的數據點被標記為反例。

ConvGRU模型在預報時，ERMS值越小，代表訓練和驗證效果越好，而P則相反，P值越大，代表模型的訓練和驗證效果越好，在訓練模型時，可通過分析這兩個指標判斷模型訓練的效果。

2)預測模型。在預測樣本生成器中，對15輪數據進行反歸一化計算，形成預測數據，并對這些預測數據求平均值，與原始數據進行絕對差值計算，其計算公式為

(10)

其中：DMA為平均絕對誤差(mean absolute deviation)，是海表面溫度預測值與真實值間差值絕對值的平均值(℃)；yactual為海表面溫度數據的真實值(℃)；ypred為海表面溫度數據的預測值(℃)。

(11)

其中：AP為海表面溫度預測值與真實值間的精度值(prediction accuracy)，其值越大，代表模型的預測性能越好，反之，則預測性能越差；n為預測區(qū)域寬和高的乘積。

3 海表面溫度模型的預測結果

3.1 模型訓練結果

用ConvGRU模型進行了400輪訓練，模型訓練結果見表2。通過對模型訓練結果分析發(fā)現(xiàn)：ConvGRU模型訓練集的均方根誤差、準確率平均值分別為0.044 9 ℃、99.69%，最佳值分別為0.042 3 ℃、99.72%；驗證集的均方根誤差、準確率平均值分別為0.045 2 ℃、99.64%，最佳值分別為0.039 0 ℃、99.70%，總體上可以看出，ConvGRU模型的訓練結果較好；模型訓練完后，再對其訓練結果模型進行評估，發(fā)現(xiàn)其測試集的均方根誤差、準確率平均值分別為0.047 8 ℃、99.60%，最佳值分別為0.045 4 ℃、99.59%。

表2 模型結果評估表Tab.2 Table of the model result evaluation

3.2 模型預測結果

在預測樣本生成器中，對15輪數據進行反歸一化計算，形成預測數據，對預測值進行評估，并與ConvLSTM模型預測值進行比較(表3)。對ConvGRU模型進行多輪精度計算，發(fā)現(xiàn)6月的平均絕對誤差最小，為0.102 9 ℃，與之對應的精度值也最高，為98.39%;作為常用的機器學習預測模型ConvGRU,比傳統(tǒng)預測模型ConvLSTM具有更高的預測精度和泛化能力，ConvLSTM模型全年平均絕對誤差的平均值為0.583 7 ℃，預測精度的平均值為96.19%，而ConvGRU模型的全年平均絕對誤差的平均值為0.379 3 ℃，預測精度的平均值為97.31%，ConvGRU模型的各項指標明顯好于ConvLSTM模型。

表3 預測值評估表Tab.3 Table of the predicted values evaluation

通過分析2020年12個月的連續(xù)變化，可以發(fā)現(xiàn)其預測變化的連續(xù)性較好，表明ConvGRU模型可以很好地預測海表面溫度的時空特征變化。從圖3的真實值可以發(fā)現(xiàn)，研究海域1—4月的海表面溫度變化情況穩(wěn)定，為19.7～29.1 ℃；5月海表面溫度開始升高，最高溫度上升1 ℃，5—6月的海表面溫度范圍為22.2～30.6 ℃；7—9月為全年中海表面溫度最高的時段，其變化范圍為27.9～30.9 ℃，其中8月為2020年海表面溫度最高的時段，為28.6～30.9 ℃；10—12月海表面溫度為22.8～30.5 ℃。ConvGRU模型在2020年1—12月顯示的預測結果與真實值匹配度較高，總體變化趨勢與真實值吻合。

由于原始數據的分辨率問題，在預測海表面溫度的細節(jié)變化規(guī)律方面還存在一些誤差。海表面溫度預測圖(圖3)因使用了克里金插值，也會對視覺精度產生影響。為了更好地說明預測模型在研究海域的預測精度，將2020年真實值和預測值的平均值進行了比較(圖4)，結果顯示，實測值曲線和預測值擬合曲線吻合程度較好。

圖3 2020年海表面溫度真實值與預測值的比較Fig.3 Comparison of actual value with predicted value of SST in 2020

圖4 2020年海表面溫度真實值與預測值平均值的比較Fig.4 Comparison of actual average value with predicted average value of SST in 2020

4 討論

4.1 模型的精度比較

對于海表面溫度時間尺度的預測，通常使用的傳統(tǒng)時間序列預測方法僅適用于處理少量站點的海洋數據，而且不同的海表面溫度數據使用的模型參數也存在差異，由于參數的數據量過少，不適用于處理海量的海洋數據。ConvGRU模型利用樣本生成器進行訓練，可以較好地解決傳統(tǒng)預測模型在訓練中由于數據量大而無法訓練的問題。ConvGRU模型還可以較好地將時間特征和空間特征結合在一起，從而獲得更好的訓練效果。本研究中，使用ConvGRU模型預測海表面溫度平均絕對誤差的平均值為0.379 3 ℃，預測精度的平均值為97.31%，與前人預測海表面溫度的模型相比較，ConvGRU模型預測精度明顯高于ConvLSTM和CFCC-LSTM模型(精度96.59%)[23]。本研究中，從ConvGRU模型預測值與真實值比較可以看出，ConvGRU模型的預測結果在空間上匹配程度較高，在時間上其預測的連續(xù)變化性較強，可以較好地預測海表面溫度的時空變化。

4.2 模型對西北太平洋海表面溫度的預測效果

海表面溫度數據具有體量大、類型雜、時效強、難以辨識和高價值等明顯的數據特征。海表面溫度數據是海洋水文重要參數之一，開展海表面溫度預測研究，對于海洋環(huán)境保護具有重要的理論價值和實際意義。從本研究的預測結果可以看出(圖3)：研究區(qū)域1—6月的海表面溫度為19.7～29.8 ℃；7—9月海表面溫度為27.1～29.9 ℃，其中8月海表面溫度最高，為27.5～29.9 ℃；10—12月海表面溫度開始下降，最低降到23.1 ℃左右，12月海表面溫度為23.1～29.5 ℃，10—12月海表面溫度為23.1～29.9 ℃。預測的結果在時空變化規(guī)律上符合前人得出的西北太平洋區(qū)域歷年海溫年際變化規(guī)律[24]。

本文中構建的ConvGRU深度學習模型是對西北太平洋海表面溫度預測的嘗試。該模型的優(yōu)勢之處是可以利用空間和時間特征之間的內在聯(lián)系，強化自然位置的區(qū)域分布信息，可提高模型的區(qū)域性效果和整體適用性效果。本研究中，在現(xiàn)有的海洋信息探測深度學習算法基礎上，面對海洋環(huán)境信息大數據特征，利用樣本生成器建立了海洋環(huán)境信息樣本庫和適應高維度、多尺度、非平穩(wěn)特征的區(qū)域性海洋環(huán)境信息神經網絡預測模型。

綜上所述，利用ConvGRU模型預測海表面溫度是切實可行的，且在研究區(qū)域具有較高的預報準確度。與其他方法相比，該網絡模型的平均絕對誤差和預測精度均有明顯改善，能夠較好地預測海表面溫度的變化，為西北太平洋海域的海表面溫度預測提供了一種新的思路。

5 結論

1)ConvGRU模型利用RNN的時間性和CNN的空間性，將海表面溫度數據的時間和空間特征相結合，為建立海洋環(huán)境信息樣本庫及建立適應高維度、多尺度、非平穩(wěn)特征的海表面溫度神經網絡預測模型提供了一種可行性方法。

2)利用ConvGRU模型預測海表面溫度是切實可行的，且在研究區(qū)域具有較高的預報準確度。

3)ConvGRU深度學習預測模型在一定程度上解決了傳統(tǒng)時間序列網絡模型在時間性與空間性結合上不足，以及批量處理海洋環(huán)境要素大數據能力不足的問題。但是在影響海表面溫度預測的要素中，還存在其他環(huán)境影響因子，如鹽度、風速等。另外，數據選取不同的時間尺度也會影響其預測精度。在以后的研究中，可加入多參數進一步優(yōu)化模型，提高海表面溫度預測精度。