基于XGBoost-PredRNN++的海表面溫度預(yù)測(cè)①

杜揚(yáng)帆,伍孝飛,喬百友,2

1(東北大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院,沈陽 110819)

2(東北大學(xué) 醫(yī)學(xué)影像智能計(jì)算教育部重點(diǎn)實(shí)驗(yàn)室,沈陽 110169)

1 引言

海洋表面溫度是全球海洋的一個(gè)重要物理量,常作為研究水團(tuán)性質(zhì)、鑒別洋流的基本指標(biāo).研究海表面溫度時(shí)空分布及其變化規(guī)律,從而進(jìn)行海表面溫度預(yù)測(cè)是海洋環(huán)境信息預(yù)報(bào)的基礎(chǔ)[1].海水溫度通常作為數(shù)值天氣預(yù)報(bào)和海洋預(yù)報(bào)模型的邊界條件.這些模型越來越多地用于實(shí)際應(yīng)用中,包括: 海上作業(yè)、海洋航運(yùn)業(yè)務(wù)、海上安全應(yīng)急響應(yīng)、波浪和沖浪的研究、漁業(yè)支持和旅游等.近年來,CTD 和XTB 測(cè)溫?cái)?shù)據(jù)、衛(wèi)星高度計(jì)數(shù)據(jù)、Argo 溫鹽剖面數(shù)據(jù)越來越豐富,基于神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)方法、三維變分技術(shù)等的出現(xiàn)促進(jìn)了海洋預(yù)報(bào)的快速發(fā)展.特別是隨著海洋觀測(cè)技術(shù)的快速發(fā)展,海洋數(shù)據(jù)規(guī)模呈現(xiàn)了爆炸性增長,這對(duì)海表溫的預(yù)測(cè)帶來了新的機(jī)遇和挑戰(zhàn).在這種情況下,如何充分利用這些海洋大數(shù)據(jù)和先進(jìn)的人工智能技術(shù),實(shí)現(xiàn)對(duì)海表溫度的高效精確預(yù)測(cè)就成為一個(gè)非常重要的課題,也是當(dāng)前海洋研究領(lǐng)域的研究熱點(diǎn)之一.預(yù)測(cè)海表溫度方法可大致分為兩大類[2,3],分別為基于數(shù)值的方法和基于數(shù)據(jù)驅(qū)動(dòng)的方式.基于數(shù)值的方法是建立在物理、化學(xué)、生物參數(shù)以及相互作用的復(fù)雜關(guān)系基礎(chǔ)上,利用微分方程對(duì)海表溫度進(jìn)行定義和描述.該方法復(fù)雜度高,不同海域需要不同的數(shù)值預(yù)測(cè)模型,預(yù)測(cè)時(shí)效較差.數(shù)據(jù)驅(qū)動(dòng)的方法是以數(shù)據(jù)為中心來解決海表溫度預(yù)測(cè)問題,是通過機(jī)器學(xué)習(xí)技術(shù)來學(xué)習(xí)海表溫度變化規(guī)律,從而去預(yù)測(cè)未來溫度的變化情況.數(shù)據(jù)驅(qū)動(dòng)方法有馬爾可夫模型[4]、支持向量機(jī)(SVM)[5]、神經(jīng)網(wǎng)絡(luò)[6]等,這些方法大多缺少對(duì)長時(shí)序時(shí)間依賴特征的提取,其預(yù)測(cè)精度有限.

近年來,隨著深度學(xué)習(xí)的不斷發(fā)展,研究人員將深度學(xué)習(xí)技術(shù)運(yùn)用到了海表面溫度的預(yù)測(cè)中.Zhang 等人[7]采用LSTM 模型實(shí)現(xiàn)了海表面溫度的預(yù)測(cè),并取得了較好的預(yù)測(cè)結(jié)果,但該模型沒有考慮海表面溫度之間的空間相關(guān)性,因而不適合局部海表溫的預(yù)測(cè).2019年ConvLSTM 模型被應(yīng)用到了海表面溫度預(yù)測(cè)中[8],該模型通過CNN 網(wǎng)絡(luò)提取溫度之間空間特征,通過LSTM 網(wǎng)絡(luò)提取時(shí)間特征,有效利用了時(shí)空特征,取得了較好的預(yù)測(cè)結(jié)果.但對(duì)于長時(shí)序預(yù)測(cè),該模型復(fù)雜度較高,還存在梯度消失問題.張弛等人[9]使用向量回歸模型對(duì)海洋次表層溫度異常進(jìn)行了預(yù)測(cè),對(duì)于淺水域有較好的精度,但當(dāng)海洋深度增加時(shí),其預(yù)測(cè)精度逐漸降低.吳琦[10]在ConvLSTM 模型的基礎(chǔ)上添加了ConvGRU,對(duì)海洋表面溫度遙感預(yù)測(cè),但是不能很好地預(yù)測(cè)長期海洋表面溫度.韓震等人[11]使用基于遙感數(shù)據(jù)的多層ConvLSTM 進(jìn)行海表溫度預(yù)測(cè)計(jì)算,但是對(duì)于小區(qū)域,誤差較大,不能很好地對(duì)局部短時(shí)間進(jìn)行預(yù)測(cè).

因此,本文將視頻預(yù)測(cè)時(shí)序?qū)W習(xí)網(wǎng)絡(luò)PredRNN++[12]引入到了海表溫的預(yù)測(cè)中,提出了一種基于XGBoost[13]結(jié)合PredRNN++ (XGBoost-PredRNN++)的海表溫預(yù)測(cè)方法.該方法首先將海表溫?cái)?shù)據(jù)處理成灰度圖片,然后利用機(jī)器學(xué)習(xí)模型XGBoost 來提取相應(yīng)的時(shí)間特征,并采用CNN 模型將時(shí)間特征融合到海表溫?cái)?shù)據(jù)中,并提取融合后海表溫?cái)?shù)據(jù)之間的空間依賴關(guān)系.在此基礎(chǔ)上,利用PredRNN++網(wǎng)絡(luò)將時(shí)空依賴關(guān)系融合在數(shù)據(jù)序列中.避免了梯度消失問題.通過實(shí)驗(yàn)驗(yàn)證,本文相較于傳統(tǒng)方法中表現(xiàn)最好的結(jié)果,在MSE評(píng)價(jià)標(biāo)準(zhǔn)下數(shù)值減少了0.107 5.在SSIM評(píng)價(jià)標(biāo)準(zhǔn)下,由誤差值0.044 降到了0.038 7,減少了12.15%的誤差.

2 基于XGBoost-PredRNN++的海表溫預(yù)測(cè)

針對(duì)區(qū)域海表溫預(yù)測(cè),本文提出了一種XGBoost結(jié)合PredRNN++的海表溫預(yù)測(cè)方法(XGBoost-PredRNN++),主要由3 部分構(gòu)成,分別為數(shù)據(jù)預(yù)處理、時(shí)間特征抽取與融合、時(shí)空特征抽取與預(yù)測(cè),方法總體框架如圖1 所示.

圖1 XGBoost-PredRNN++海表溫預(yù)測(cè)方法總體框架

數(shù)據(jù)預(yù)處理首先對(duì)原始SST 數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理,并采用Gamma 校正算法將其處理成一系列灰度圖片.時(shí)間特征抽取與融合主要利用XGBoost 模型提取預(yù)處理階段形成的灰度圖片數(shù)據(jù)的時(shí)間特征,并利用CNN 網(wǎng)絡(luò)將其融入到原始海表溫度數(shù)據(jù)中,并提取數(shù)據(jù)之間的空間依賴特征,形成新的SST 時(shí)序序列.時(shí)空特征抽取與預(yù)測(cè)就是用前一階段形成的SST 時(shí)序數(shù)據(jù)訓(xùn)練PredRNN++預(yù)測(cè)模型,提取SST 時(shí)序數(shù)據(jù)之間的時(shí)間和空間依賴特征,從而實(shí)現(xiàn)對(duì)區(qū)域海表溫度的預(yù)測(cè),后續(xù)將分別進(jìn)行詳細(xì)介紹.

2.1 數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理主要完成對(duì)原始區(qū)域海表溫時(shí)序數(shù)據(jù)的預(yù)處理,主要包括數(shù)據(jù)的標(biāo)準(zhǔn)化和Gamma 矯正處理.

(1)數(shù)據(jù)標(biāo)準(zhǔn)化.對(duì)于原始海表溫時(shí)序數(shù)據(jù),本文采用最大最小標(biāo)準(zhǔn)化方法將所有數(shù)據(jù)標(biāo)準(zhǔn)化到[0,1]范圍內(nèi),其計(jì)算過程如式(1)所示.

其中,xmax為樣本數(shù)據(jù)最大值,xmin為樣本數(shù)據(jù)最小值.x*是標(biāo)準(zhǔn)化后的數(shù)據(jù).

(2)Gamma 矯正處理.某一區(qū)域同一時(shí)刻海表面溫度可以看作是一幅圖片,通過Gamma 矯正處理將其變換為灰度圖片,一方面降低圖片數(shù)據(jù)的維度,從而加快后續(xù)處理速度,另一方面通過Gamma 矯正增強(qiáng)圖像的細(xì)節(jié),從而更好支持后續(xù)PredRNN++模型來提取時(shí)空特征.

經(jīng)過數(shù)據(jù)預(yù)處理后,一組海表溫時(shí)序數(shù)據(jù)就變成一組由灰度圖片組成的海表溫時(shí)序數(shù)據(jù),再通過滑動(dòng)窗口對(duì)數(shù)據(jù)劃分,從而形成相應(yīng)的訓(xùn)練和測(cè)試數(shù)據(jù),供下一階段使用.

2.2 時(shí)間特征抽取與融合

區(qū)域海表溫度預(yù)測(cè)是利用過去一段時(shí)間某個(gè)區(qū)域的歷史海表溫度數(shù)據(jù)來預(yù)測(cè)該區(qū)域未來一段時(shí)間的海表溫度,是一種自回歸的問題.SST 原始數(shù)據(jù)經(jīng)過數(shù)據(jù)預(yù)處理后,形成灰度圖片形式的海表溫時(shí)序數(shù)據(jù),本文考慮到海表溫?cái)?shù)據(jù)所受的季節(jié)周期性影響,篩選出與海表溫度最相關(guān)的4 個(gè)時(shí)間特征,然后采用XGBoost模型將其融合為一個(gè)統(tǒng)一的長周期時(shí)間特征,然后再與海表溫?cái)?shù)據(jù)一起作為CNN 模型的輸入,來提取海表溫?cái)?shù)據(jù)之間的時(shí)空依賴特征,并將其融合成為新的具有時(shí)間特征的海表溫特征圖時(shí)序數(shù)據(jù),由于增加了周期性時(shí)間特征,并提取了數(shù)據(jù)之間的空間特征,因而能夠提高預(yù)測(cè)的準(zhǔn)確度[14].

假設(shè)某海洋區(qū)域有k個(gè)觀測(cè)點(diǎn)來觀測(cè)該區(qū)域的海表面溫度變化情況,若觀測(cè)次數(shù)為n,則可以用二維向量X來表示.向量元素xij(i∈1,2,···,k;j∈1,2,···,n)表示第i個(gè)觀測(cè)點(diǎn)第j次觀測(cè)值.對(duì)于每個(gè)觀測(cè)值,提取觀測(cè)時(shí)間所對(duì)應(yīng)的季度、月份、周次和季節(jié)4 個(gè)長周期時(shí)間特征.對(duì)每個(gè)觀測(cè)值xij,可用Tij=(quarterij,weekij,monthij,seasonij)來表示其時(shí)間特征.將Tij作為XGBoost 模型的輸入特征,將xij作為XGBoost 模型的輸出標(biāo)簽,對(duì)模型進(jìn)行訓(xùn)練.這樣對(duì)于每個(gè)海表溫?cái)?shù)據(jù)xij,都可以通過XGBoost 模型得到融合后的時(shí)間特征數(shù)據(jù),即長周期溫度預(yù)測(cè)值.同一時(shí)刻所有觀測(cè)點(diǎn)的海表溫?cái)?shù)據(jù)構(gòu)成了一張海溫圖片,其對(duì)應(yīng)的時(shí)間特征數(shù)據(jù)同樣構(gòu)成了一張海溫圖片.在此基礎(chǔ)上,采用CNN 網(wǎng)絡(luò)對(duì)時(shí)間特征和原始數(shù)據(jù)特征進(jìn)行空間特征抽取與融合,并完成數(shù)據(jù)的特征降維,從而減小后期模型的代價(jià).本文采用的海表面溫度數(shù)據(jù)X和提取后的時(shí)間特征數(shù)據(jù)的維度均為64×64.因此,CNN 網(wǎng)絡(luò)的輸入數(shù)據(jù)維度為64×64×2.本文采用單層卷積操作,卷積核大小為3×3,步長為1,填充方式為SAME,激活函數(shù)為ReLU,最終得到CNN 的輸出為Y,則Y的維度為64×64×1.CNN 網(wǎng)絡(luò)計(jì)算公式如式(2):

2.3 時(shí)空特征抽取與海表溫預(yù)測(cè)

本文將海洋表面溫度看作視頻中的一幀,并將每一幀的溫度制作成為灰度圖片,連續(xù)的多張灰度圖片就構(gòu)成了某個(gè)海域海洋表面溫度的變化視圖.在此基礎(chǔ)上,利用CNN 網(wǎng)絡(luò)進(jìn)行空間特征的初步提取與融合,并將最新的PredRNN++網(wǎng)絡(luò)引入到海表溫時(shí)序預(yù)測(cè)中,充分利用PredRNN++網(wǎng)絡(luò)所具有的更強(qiáng)空間依賴特征捕獲能力和自適應(yīng)長短期特征提取能力,從而實(shí)現(xiàn)高精度海表溫的預(yù)測(cè).PredRNN++模型由獨(dú)特的Casual LSTM (時(shí)空記憶單元的級(jí)聯(lián)操作)結(jié)構(gòu)和GHU(梯度高速公路單元)構(gòu)成,具有對(duì)時(shí)空序列預(yù)測(cè)問題的強(qiáng)大預(yù)測(cè)能力,同時(shí)也解決了PredRNN[15]網(wǎng)絡(luò)梯度消失問題,在視頻預(yù)測(cè)領(lǐng)域有著很好的表現(xiàn).Casual LSTM 是3 層級(jí)聯(lián)結(jié)構(gòu),第1 層與LSTM 結(jié)構(gòu)類似,其結(jié)構(gòu)如圖2 所示.

圖2 Casual LSTM 結(jié)構(gòu)

圖2 中,Wi為權(quán)重矩陣,Mt、Ct表示分別代表空間狀態(tài)和時(shí)間狀態(tài),在計(jì)算過程通過設(shè)置超參數(shù),以及輸入原始數(shù)據(jù)能夠自動(dòng)算出相應(yīng)的值.Xt表示第t時(shí)刻的輸入向量,其維度為8×16×16×16,Ht-1表示t-1 時(shí)刻Casual LSTM 的輸出向量,維度大小為8×64×16×16,gt、it、ft為網(wǎng)絡(luò)超參數(shù).Casual LSTM 相關(guān)狀態(tài)及參數(shù)計(jì)算見式(3)-式(8).其中,⊙代表向量相乘.σ表示Sigmoid 激活函數(shù),*代表矩陣相乘.

PredRNN++網(wǎng)絡(luò)采用一種新的時(shí)空遞歸結(jié)構(gòu)梯度高速公路單元(gradient highway unit,GHU)來直接傳遞時(shí)間中的重要特征,從而在進(jìn)行反向傳播時(shí)能夠更好地保留長期梯度,解決梯度消失的問題.GHU 的方程式可以表示如下:

其中,W為濾波器,S為選擇門,P為激活函數(shù),Z為GHU單元的輸出矩陣.本模型中,W取值維度為5×5,S的維度為8×64×16×16,P的維度為8×64×16×16.Z的輸出維度為8×64×16×16.

本文采用的PredRNN++網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示,主要由3 層Casual LSTM 結(jié)構(gòu)堆疊而成,步長t為10.在1-2 層Casual LSTM 之間加入了GHU 單元,從而使得梯度在第1 層與第2 層之間高速傳播,縮短傳播距離,有效避免梯度消失.后續(xù)實(shí)驗(yàn)也證明,GHU 單元在1-2 層之間的預(yù)測(cè)精度優(yōu)于在2-3 層之間.具體PredRNN++網(wǎng)絡(luò)計(jì)算機(jī)公式如下:

圖3 PredRNN++網(wǎng)絡(luò)結(jié)構(gòu)

X是輸入數(shù)據(jù),維度為8×16×16×16,Hi是第i張圖片輸入到PredRNN++的混合結(jié)果,維度大小為8×64×16×16,C是Casual LSTM 共同決定門,維度為8×64×16×16.

3 性能評(píng)估

為了驗(yàn)證本文提出的方法的有效性,本文設(shè)計(jì)實(shí)驗(yàn)對(duì)所提出的方法和模型的性能進(jìn)行了測(cè)試,下面就實(shí)驗(yàn)數(shù)據(jù)、實(shí)驗(yàn)環(huán)境及實(shí)驗(yàn)結(jié)果進(jìn)行詳細(xì)說明.

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文所采用的實(shí)驗(yàn)數(shù)據(jù)來自于美國聯(lián)合臺(tái)風(fēng)預(yù)警中心 (Joint Typhoon Warning Center,JTWC),其數(shù)據(jù)網(wǎng)址為https://metoc.ndbc.noaa.gov/JTWC.數(shù)據(jù)覆蓋區(qū)域?yàn)榫暥?°N-60°N,經(jīng)度100°E-180°E,經(jīng)度和緯度步長均為0.5°.本文從以上數(shù)據(jù)集中提取了64×64 區(qū)域的海表溫?cái)?shù)據(jù)作為訓(xùn)練和測(cè)試數(shù)據(jù),數(shù)據(jù)選取經(jīng)緯度范圍為24°N-56°N 和145°E-177°E.數(shù)據(jù)時(shí)間范圍從2001年1月1日0 時(shí)至2005年12月31日18 時(shí),相鄰兩場(chǎng)數(shù)據(jù)間隔6 小時(shí),總共7 304 場(chǎng)數(shù)據(jù).

3.2 實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)所采用的軟硬件環(huán)境配置如表1 所示.

表1 實(shí)驗(yàn)環(huán)境配置

3.3 評(píng)估指標(biāo)

本文采用均方誤差(MSE)和結(jié)構(gòu)相似性(SSIM)評(píng)估指標(biāo)來評(píng)估所提出方法的性能.假設(shè)預(yù)測(cè)值真實(shí)值y=y1,y2,···,yn,MSE的計(jì)算公式見式(16):

MSE的范圍為[0,+∞).MSE越大,表示預(yù)測(cè)值和真實(shí)值相距越遠(yuǎn),即模型的擬合效果越差;MSE為0,則表示模型的預(yù)測(cè)結(jié)果和真實(shí)結(jié)果完全一致.

結(jié)構(gòu)相似性SSIM是一種衡量圖片相似度的常用指標(biāo),假設(shè)x和y分別代表兩張圖片,則SSIM的計(jì)算見式(17):

其中,μx是圖片x中所有像素點(diǎn)的均值,μy是圖片y中所有像素點(diǎn)的均值,σ2x是x中像素點(diǎn)的方差,σ2y是y中像素點(diǎn)的方差,σxy是x和y的斜方差.C1=(k1L)2,C2=(k2L)2.L是像素值的動(dòng)態(tài)范圍,由于采用灰度圖像,所以L取值為255.K1=0.01,K2=0.03.SSIM指標(biāo)的范圍為[0,1].SSIM值越接近1,代表圖像失真較少,模型預(yù)測(cè)效果較好;SSIM值越接近0,代表圖像失真較多,模型預(yù)測(cè)效果較差.

3.4 實(shí)驗(yàn)參數(shù)設(shè)置

在實(shí)驗(yàn)中,各個(gè)模型采用默認(rèn)設(shè)置,具體參數(shù)設(shè)置如下: XGBoost 模型最大深度為4,學(xué)習(xí)率為0.05,迭代次數(shù)為100,葉子節(jié)點(diǎn)最小樣本數(shù)為2,損失函數(shù)為均方誤差,L2 則化項(xiàng)lambda 為1.CNN 模型的卷積核為3×3×2,步長為1,padding 為2.PredRNN++模型中,卷積核的大小為5×5,步長為1,padding 為2,進(jìn)行卷積后,添加BatchNormalization 層構(gòu)成一個(gè)Sequential 層.

3.5 實(shí)驗(yàn)結(jié)果分析

本文分別使用前面所述的西北太平洋的7 304 條海表溫時(shí)序數(shù)據(jù)來進(jìn)行測(cè)試,前5 844 條數(shù)據(jù)作為訓(xùn)練集,后1 460 條數(shù)據(jù)作為測(cè)試集,對(duì)本文提出的XGBoost-PredRNN++區(qū)域海表溫預(yù)測(cè)方法進(jìn)行了測(cè)試,并和現(xiàn)有的PredRNN 模型和ConvLSTM 模型進(jìn)行了比較,下面將從3 個(gè)方面給出具體實(shí)驗(yàn)結(jié)果.

(1)GHU 位置影響分析

PredRNN++模型中,GHU 單元可以放在第1 層和第2 層之間,也可以放在第2 層與第3 層之間.本文采用前述的海表溫?cái)?shù)據(jù),進(jìn)行了實(shí)驗(yàn)研究,實(shí)驗(yàn)結(jié)果如表2 所示.從中可以看出,將GHU 單元放在第1 層與第2 層之間的預(yù)測(cè)精度要優(yōu)于放在第2 層和第3 層之間,這和前述的分析一致,同時(shí)也說明數(shù)據(jù)的原始特征對(duì)于預(yù)測(cè)結(jié)果十分重要,因此后續(xù)實(shí)驗(yàn)中,本文將GHU單元放在了第1 層和第2 層之間.

表2 GHU 單元位置對(duì)比

(2)時(shí)間特征影響分析

本文采用XGBoost 模型和CNN 模型進(jìn)行海表面溫度時(shí)間特征提取與融合處理,為了驗(yàn)證其有效性,本文進(jìn)行了消融實(shí)驗(yàn)研究,設(shè)計(jì)實(shí)現(xiàn)了無時(shí)間特征提取與融合的方法(PredRNN++),并和本文提出的融合時(shí)間特征的XGBoost-PredRNN++方法進(jìn)行了對(duì)比分析,結(jié)果如圖4 和圖5 所示.

圖4 MSE 隨訓(xùn)練次數(shù)的變化情況

圖5 SSIM 隨訓(xùn)練次數(shù)的變化情況

圖4 是兩種預(yù)測(cè)方法在預(yù)測(cè)步長分別為6 小時(shí)、24 小時(shí)、48 小時(shí)和60 小時(shí)時(shí),其預(yù)測(cè)均方誤差MSE隨訓(xùn)練次數(shù)的變化情況.從圖中可以看出,隨著訓(xùn)練次數(shù)的增加,兩種預(yù)測(cè)方法的MSE總體呈現(xiàn)下降趨勢(shì).在每一種預(yù)測(cè)步長下,PredRNN++方法的MSE值波動(dòng)較大,其MSE值遠(yuǎn)遠(yuǎn)高于XGBoost-PredRNN++方法,這說明XGBoost-PredRNN++方法具有很好的預(yù)測(cè)精度,這是由于該方法考慮了數(shù)據(jù)的時(shí)間特征及其空間依賴關(guān)系,因而取得較好預(yù)測(cè)結(jié)果.同時(shí)可以看出隨著預(yù)測(cè)步長的增加,兩種方法的預(yù)測(cè)誤差也在增大,這和理論預(yù)期相一致.

圖5 為兩種方法在4 種預(yù)測(cè)步長下的SSIM值隨訓(xùn)練次數(shù)的變化情況.同樣可以看出,隨著訓(xùn)練次數(shù)的增加,兩種預(yù)測(cè)模型的SSIM值都在增大,XGBoost-PredRNN++模型的SSIM值明顯大于PredRNN++模型.同一種模型預(yù)測(cè)步長越短,其SSIM越大.以上說明XGBoost-PredRNN++模型具有較低的預(yù)測(cè)誤差和較高的SSIM值,明顯優(yōu)于原有PredRNN++模型.這說明時(shí)間特征對(duì)于海表溫的預(yù)測(cè)精度具有較大的影響,同時(shí)也說明本文提出的融合時(shí)間特征方法XGBoost-PredRNN++是有效的.

(3)預(yù)測(cè)精度比較分析

為了驗(yàn)證XGBoost-PredRNN++方法的有效性,本文進(jìn)行實(shí)驗(yàn)研究,并和當(dāng)前主流的PredRNN 預(yù)測(cè)模型和ConvLSTM 預(yù)測(cè)模型進(jìn)行了對(duì)比實(shí)驗(yàn)分析.實(shí)驗(yàn)使用前述的訓(xùn)練和測(cè)試數(shù)據(jù),3 種方法的輸入維度均為10×64×64,即使用過去連續(xù)60 小時(shí)(每6 小時(shí)采樣一次,共10 個(gè)時(shí)刻)的海表溫?cái)?shù)據(jù)預(yù)測(cè)未來6 小時(shí),24 小時(shí),48 小時(shí)和60 小時(shí)的海表溫度,并分別觀察MSE和SSIM兩個(gè)指標(biāo)的變化情況,下面分別進(jìn)行詳細(xì)說明.

1)3 種方法的預(yù)測(cè)誤差MSE比較.圖6 是3 種模型在不同預(yù)測(cè)步長下的預(yù)測(cè)誤差對(duì)比.從圖6 中可以看出,3 種預(yù)測(cè)方法6 小時(shí)MSE值最小,24 小時(shí)MSE次之,48 小時(shí)MSE較大,60 小時(shí)MSE最大,這和理論預(yù)測(cè)一致.在每一種預(yù)測(cè)步長下,3 種模型的MSE總體隨著訓(xùn)練次數(shù)增加而下降,但是PredRNN 和ConvLSTM模型的預(yù)測(cè)誤差不穩(wěn)定,在下降過程中波動(dòng)較大,其MSE值下降到一定程度后開始慢慢增加,說明這兩種模型對(duì)于較少的訓(xùn)練數(shù)據(jù)存在過擬合情況.而本文提出的XGBoost-PredRNN++方法預(yù)測(cè)誤差隨訓(xùn)練次數(shù)增加而穩(wěn)定減少,其MSE值明顯要小于前兩種模型,即預(yù)測(cè)精度是最好的,這主要是由于本文模型采用XGBoost 提取時(shí)間周期性特征,并采用CNN 提取空間特征并進(jìn)行了融合,增加了信息含量和深度,并采用了最新PredRNN++模型避免梯度消失和過擬合問題,因而具有更強(qiáng)預(yù)測(cè)能力,實(shí)驗(yàn)結(jié)果也有力的證明這一點(diǎn).

圖6 不同預(yù)測(cè)步長下3 種預(yù)測(cè)方法誤差比較

2)結(jié)構(gòu)相似性指標(biāo)SSIM對(duì)比分析.圖7 是3 種方法在不同預(yù)測(cè)步長下的SSIM比較.從圖中可以看出,在不同預(yù)測(cè)步長的實(shí)驗(yàn)中,3 種方法的SSIM值總體隨著訓(xùn)練次數(shù)的增加而增大.PredRNN 和ConvLSTM模型的SSIM值增加到一定程度后有所降低,這是由于訓(xùn)練次數(shù)過多導(dǎo)致模型過擬合引起的.在4 種不同預(yù)測(cè)步長的測(cè)試中,SSIM值從大到小分別為6 小時(shí)SSIM值、24 小時(shí)SSIM值、48 小時(shí)SSIM和60 小時(shí)SSIM值,這和理論預(yù)測(cè)相一致.在3 種預(yù)測(cè)模型中,本文提出的XGBoost-RredRNN++方法的SSIM值隨訓(xùn)練次數(shù)增加而穩(wěn)定增加,其SSIM值明顯要高于前兩種模型,這說明本文提出的模型具有很高的預(yù)測(cè)精度,明顯優(yōu)于PredRNN 和ConvLSTM 模型,主要原因是本文采用了XGBoost 和CNN 網(wǎng)絡(luò)融合了周期性時(shí)間特征,并用最新的PredRNN++模型,因而達(dá)到了較好的預(yù)測(cè)效果.從SSIM指標(biāo)的比較可以看出,本文提出的XGBoost-PredRNN++海表溫預(yù)測(cè)方法,具有較好的預(yù)測(cè)能力.從上述MSE和SSIM兩個(gè)指標(biāo)的比較可以看出,本文提出的XGBoost-PredRNN++方法具有很高的預(yù)測(cè)精度,在訓(xùn)練的初始階段就能達(dá)到不錯(cuò)的效果,明顯優(yōu)于現(xiàn)有的ConvLSTM 和PredRNN 預(yù)測(cè)方法.

圖7 不同預(yù)測(cè)時(shí)長3 種模型的SSIM 對(duì)比

為了進(jìn)一步分析模型的預(yù)測(cè)效果,本文也測(cè)試了融合時(shí)間特征后的SST 數(shù)據(jù)在ConvLSTM 和PredRNN模型上的預(yù)測(cè)結(jié)果.在預(yù)測(cè)步長分別為6 小時(shí)、24 小時(shí)、48 小時(shí)和60 小時(shí)時(shí),從實(shí)驗(yàn)結(jié)果能夠看出,采用XGBoost 提取時(shí)間特征后,幾種模型的預(yù)測(cè)大明顯提高,本文提出的XGBoost-PredRNN++方法仍然是這幾種方法中精度最高的,明顯優(yōu)于其他方法.由于篇幅有限,這里僅給出預(yù)測(cè)步長為6 小時(shí)時(shí),幾種模型的實(shí)驗(yàn)結(jié)果,見表3.

表3 幾種模型實(shí)驗(yàn)結(jié)果

4 結(jié)論

海表面溫度是進(jìn)行海洋環(huán)境信息預(yù)測(cè)預(yù)報(bào)的重要因子,對(duì)于海上捕撈、水產(chǎn)養(yǎng)殖、海洋氣象、航海等具有重要影響,因此準(zhǔn)確預(yù)測(cè)海表面溫度對(duì)于海洋產(chǎn)業(yè)和相關(guān)科學(xué)研究具有非常重要的意義.本文結(jié)合先進(jìn)的深度學(xué)習(xí)技術(shù),提出了一種基于XGBoost 結(jié)合PredRNN++的區(qū)域海表溫預(yù)測(cè)方法.該方法首先將某個(gè)區(qū)域的海表面溫度處理成灰度圖片,然后利用XGBoost 模型提取季節(jié)周期性特征,并采用CNN 模型進(jìn)行特征融合,在此基礎(chǔ)上采用最新的PredRNN++時(shí)序數(shù)據(jù)預(yù)測(cè)網(wǎng)絡(luò),實(shí)現(xiàn)了區(qū)域海表溫度的預(yù)測(cè).一系列真實(shí)數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果表明,本文提出的基于XGBoost-PredRNN++的海表溫預(yù)測(cè)方法,明顯優(yōu)于現(xiàn)有的ConvLSTM 和PredRNN 模型,取得了較好的預(yù)測(cè)精度.后續(xù)將擴(kuò)大模型的應(yīng)用范圍,進(jìn)一步優(yōu)化模型的結(jié)構(gòu),進(jìn)一步提升模型的預(yù)測(cè)精度和效率.