基于LSTM遞歸神經(jīng)網(wǎng)絡(luò)的邊境站點風(fēng)速時間序列預(yù)測

金偉余 張東曉 唐曉軻 周士永 邴軍國

摘? 要：邊境站點風(fēng)速預(yù)測對于智慧化邊海防管理有著重要意義?；谖覈?個邊境站點的歷年日平均風(fēng)速數(shù)據(jù)，提出了一種基于長短期記憶遞歸神經(jīng)網(wǎng)絡(luò)的邊境站點風(fēng)速預(yù)測模型，以及模型設(shè)計、網(wǎng)絡(luò)訓(xùn)練和預(yù)測過程實現(xiàn)等，并比較了5個站點2010—2015年的日平均風(fēng)速在不同迭代次數(shù)下，模型的預(yù)測精度和計算成本，驗證了所提出的預(yù)測模型在不同站點適用性。

關(guān)鍵詞：風(fēng)速預(yù)測? 遞歸神經(jīng)網(wǎng)絡(luò)? 長短期記憶單元? 深度學(xué)習(xí)

中圖分類號：TP312? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼：A? ? ? ? ? ? ? ? ? ?文章編號：1674-098X（2020）09（c）-0027-06

Abstract： Wind speed prediction at border sites is of great significance for intelligent border and coastal defense management. Based on the daily average wind speed data of 5 border stations in China， a wind speed prediction model based on long-short-term memory recurrent neural network is proposed， including model design， network training and prediction process implementation， etc. Under different iteration times of the daily average wind speed from 2010 to 2015， the prediction accuracy and calculation cost of the model verified the applicability of the proposed prediction model at different sites.

Key Words： Wind speed prediction; Recurrent neural network; Long and short-term memory unit; Deep learning

邊境站點的風(fēng)速是邊海防管控決策環(huán)節(jié)的重要環(huán)境因素，是邊海防管理過程中部署兵力和防控行動的重要參考依據(jù)。準(zhǔn)確的風(fēng)速預(yù)測是實現(xiàn)智慧化邊海防管理的前提和基礎(chǔ)，有助于實現(xiàn)邊海防管控決策的效率和可靠度。目前風(fēng)速預(yù)測的方法主要是基于數(shù)值天氣預(yù)報預(yù)測結(jié)果的物理方法和基于歷史數(shù)據(jù)建模的統(tǒng)計方法這兩大類[1]。前者受數(shù)值模式本身機理的限制，對于短期的風(fēng)速預(yù)測準(zhǔn)確率往往較低，且時間分辨率不高;統(tǒng)計方法需要較多的歷史數(shù)據(jù)，通過統(tǒng)計學(xué)習(xí)的方法識別歷史數(shù)據(jù)所體現(xiàn)的風(fēng)速特征來預(yù)測對未來某個時刻風(fēng)速。

風(fēng)速數(shù)據(jù)是時間序列數(shù)據(jù)，現(xiàn)有針對時間序列數(shù)據(jù)的預(yù)測算法有多種模型，例如自回歸移動平均、支持向量回歸、人工神經(jīng)網(wǎng)絡(luò)、小波神經(jīng)網(wǎng)絡(luò)等。隨著深度學(xué)習(xí)算法研究的不斷深入，深度學(xué)習(xí)模型能夠適用于時間序列數(shù)據(jù)的預(yù)測問題，深度學(xué)習(xí)算法通過對輸入的數(shù)據(jù)信息逐步分層抽象并提取特征，提取出包含在數(shù)據(jù)序列中的隱含關(guān)系。遞歸神經(jīng)網(wǎng)絡(luò)將時間的序列概念引入到神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建中去，使遞歸神經(jīng)網(wǎng)絡(luò)在時間序列數(shù)據(jù)分析中性能表現(xiàn)更好。長短期記憶單元是遞歸神經(jīng)網(wǎng)絡(luò)的一種變體，彌補了RNN可能出現(xiàn)的梯度消失和梯度爆炸、長期數(shù)據(jù)記憶能力有限等問題，能夠有效地進(jìn)行處理長時間的序列信息。LSTM 模型在不同領(lǐng)域的時間序列數(shù)據(jù)研究中已取得了不少成果的應(yīng)用案例，包括故障診斷[2]、語音識別[3]、機器翻譯，圖像文字識別、交通流速預(yù)測[4]，農(nóng)業(yè)領(lǐng)域的降雨量預(yù)測[5]等。

本文針對歷年5個邊境站點風(fēng)速時間序列數(shù)據(jù)，提出了一種基于LSTM遞歸神經(jīng)網(wǎng)絡(luò)的風(fēng)速預(yù)測方法，對LSTM遞歸神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練與模擬計算，用交叉驗證的方法對模型在測試集上預(yù)測的均方根誤差進(jìn)行評價，并比較了5個站點的模型的預(yù)測效果和計算成本。實驗結(jié)果顯示基于LSTM遞歸神經(jīng)網(wǎng)絡(luò)的預(yù)測模型在站點風(fēng)速預(yù)測上具有較好的預(yù)測性能。

1? 基礎(chǔ)理論和技術(shù)

1.1 前饋神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)是一門重要的機器學(xué)習(xí)技術(shù)，是深度學(xué)習(xí)的基礎(chǔ)。針對不同的應(yīng)用場景，目前已經(jīng)形成了不同規(guī)模類型的人工神經(jīng)網(wǎng)絡(luò)。單層神經(jīng)網(wǎng)絡(luò)對應(yīng)于感知機，多層神經(jīng)網(wǎng)絡(luò)構(gòu)成深度學(xué)習(xí)的框架。經(jīng)典的神經(jīng)網(wǎng)絡(luò)包括輸入層、隱含層和輸出層，前饋神經(jīng)網(wǎng)絡(luò)是一種多層結(jié)構(gòu)的前向結(jié)構(gòu)的網(wǎng)絡(luò)，傳遞過程中沒有反饋，是感知機的推廣應(yīng)用。連續(xù)復(fù)雜的函數(shù)可以利用該網(wǎng)絡(luò)來擬合。如圖1所示為一個三輸入、三輸出、隱含層具有4個神經(jīng)元的網(wǎng)絡(luò)結(jié)構(gòu)示意圖。

Lin表示輸入層，x=（x1，x2，x3）T是多層感知器輸入;Lhidden表示4個神經(jīng)元的隱含層，;Lout是輸出層。從Lin到Lout傳遞稱為前向傳播，可表示為：

其中W1和W2表示輸入層、隱含層和輸出層之間依次傳遞的權(quán)重，b1和b2分別為輸出層和隱含層的偏置。激活函數(shù)f通常采用雙曲正切函數(shù)、logistic函數(shù)或sigmoid函數(shù)。這種網(wǎng)絡(luò)的訓(xùn)練利用誤差采用誤差反向傳播算法（BP），可稱為BP神經(jīng)網(wǎng)絡(luò)。雖然前饋神經(jīng)網(wǎng)絡(luò)可以解決風(fēng)速數(shù)據(jù)的非線性問題，但無法處理時間序列的日平均風(fēng)速。遞歸神經(jīng)網(wǎng)絡(luò)與前饋神經(jīng)網(wǎng)絡(luò)不同，可以解決這一問題。

1.2 遞歸神經(jīng)網(wǎng)絡(luò)

遞歸神經(jīng)網(wǎng)絡(luò)的優(yōu)勢是將隱含層之間互相連接，使隱入層的輸出和隱含層上一時刻其輸出相結(jié)合，來達(dá)到信息傳遞的作用。如圖2所示，該網(wǎng)絡(luò)與前饋神經(jīng)網(wǎng)絡(luò)類似，但增加了隱含層間的權(quán)重Wh。

遞歸神經(jīng)網(wǎng)絡(luò)的傳播過程可以用公式表示：

式中：W1，W2表示輸入層、隱含層與輸出層依次連接的權(quán)重;b1，b2分別表示隱含層和輸出層的偏置;xt表示t時刻的輸入;ht表示隱含層輸出;yt表示t時刻的輸出;ht-1表示第t-1時刻隱含層的輸出。激活函數(shù)f一般是雙曲正切函數(shù)或者Relu函數(shù)。

遞歸神經(jīng)網(wǎng)絡(luò)和前饋神經(jīng)網(wǎng)絡(luò)可以相互轉(zhuǎn)換，展開過程如圖3所示。

在轉(zhuǎn)換過程中，遞歸神經(jīng)的時刻數(shù)量與前饋神經(jīng)網(wǎng)絡(luò)隱含層的數(shù)量相對應(yīng)。在實際訓(xùn)練中，為了盡快收斂可采用有限個狀態(tài)來擬合訓(xùn)練?？偟膩碚f，遞歸神經(jīng)網(wǎng)絡(luò)和前饋神經(jīng)網(wǎng)絡(luò)的區(qū)別在于是否考慮隱含層上一時刻的輸出。

1.3 長短期記憶單元

相關(guān)學(xué)者對遞歸神經(jīng)網(wǎng)絡(luò)進(jìn)行了研究，但仍然發(fā)現(xiàn)該網(wǎng)絡(luò)存在著梯度消失和梯度爆炸的情況，對于邊境氣象站點的長時間序列預(yù)測不適用。為了解決這一問題，相關(guān)的研究更多的選用LSTM模型[6-8]。LSTM模型是將隱藏層的RNN細(xì)胞替換為長短記憶周期的細(xì)胞，使其消除遞歸神經(jīng)網(wǎng)絡(luò)的缺陷。LSTM模型細(xì)胞結(jié)構(gòu)如圖4所示。

本文選用的是適應(yīng)性動量估計算法進(jìn)行梯度優(yōu)化，該算法是利用隨機方法進(jìn)行梯度優(yōu)化，能夠?qū)Σ煌瑓?shù)計算適應(yīng)性學(xué)習(xí)率并且占用較少的存儲資源。

2? 實驗方法

選取了5個邊境的氣象站點，各個站點的維度、經(jīng)度、海拔及站點代碼如表1所示。5個站點分別位于我們國家的東西南北邊境線上，其中寧德站點是海防線上。風(fēng)速數(shù)據(jù)集包含2010—2015年6年的氣象站點日平均風(fēng)速，其數(shù)據(jù)如圖5所示（數(shù)據(jù)來源：中國氣象數(shù)據(jù)網(wǎng)）。

由圖5可知，塔城和江城站點的平均風(fēng)速在年度時間尺度上呈現(xiàn)了良好的周期性變化。呼瑪站點前3年的平均風(fēng)速呈現(xiàn)周期性，而2013年以后平均風(fēng)速波動性變大，周期性仍然存在。二連浩特站點前2年的平均風(fēng)速呈現(xiàn)周期性，而2012年以后平均風(fēng)速波動性變大，周期性仍然存在。而寧德站點的平均風(fēng)速年度周期性不明顯，極端風(fēng)速存在，這有可能是臺風(fēng)影響造成的。

2.1 基于LSTM的平均風(fēng)速模型訓(xùn)練

人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是獲得預(yù)測模型的最重要過程，在訓(xùn)練前期需要將5個邊境站點的氣象數(shù)據(jù)進(jìn)行預(yù)處理，包括剔除異常數(shù)據(jù)點和補充缺失數(shù)據(jù)。其次將數(shù)據(jù)集，本文按照7：3的比例劃分為訓(xùn)練集和測試集，訓(xùn)練過程首先要選取損失函數(shù)和Adam優(yōu)化，其次產(chǎn)生訓(xùn)練好的模型選用硬件配置為Inter Core i3 CPU，4.GB內(nèi)存的64位操作系統(tǒng)計算機進(jìn)行訓(xùn)練。每個氣象站點的數(shù)據(jù)均訓(xùn)練3次，選其中最優(yōu)的一個作為該站點的預(yù)測模型。最后利用測試集數(shù)據(jù)在訓(xùn)練好的模型中進(jìn)行訓(xùn)練，模型構(gòu)建流程圖如圖6所示。

2.2 評價指標(biāo)

本文通過預(yù)測耗時和預(yù)測的均方根誤差（RMSE）來評價模型效果。公式如下：

式中：pt是預(yù)測值;yt是實測值。

結(jié)合上面的模型構(gòu)建，本文在模型訓(xùn)練和預(yù)測中以2010—2013年5個邊境站點日平均風(fēng)速數(shù)據(jù)作為訓(xùn)練集，2014—2015 年日平均風(fēng)速數(shù)據(jù)作為測試集，模型2個評價指標(biāo)如表2所示。

3? 結(jié)果分析

由表2可知，隨著迭代次數(shù)的增加，5個站點平均風(fēng)速的LSTM模型預(yù)測的均方根部分保持不變，部分降低了很小的數(shù)值，說明增加迭代次數(shù)并不能提高模型預(yù)測的精度;5個站點在同一迭代次數(shù)下，模型訓(xùn)練和預(yù)測的時間相差不大，其中迭代50次時總耗時在4min10s到5min10s之間，迭代100次時總耗時在8min10s到9min14s之間，迭代200次時總耗時在17min07s到17min38s之間，造成這一結(jié)果的原因是5個站點的訓(xùn)練和預(yù)測數(shù)據(jù)量相同、模型結(jié)構(gòu)相同。

在預(yù)測精度方面，5個站點中呼瑪和寧德站點的均方根誤差小于塔城、二連浩特和江城三個站點，預(yù)測精度比較高，其中在呼瑪氣象站前4年訓(xùn)練數(shù)據(jù)中，前3年的平均風(fēng)速呈現(xiàn)周期性分布，第4年的數(shù)據(jù)相較于前3年波動較大，而與后2年的平均風(fēng)速的分布基本一致，所以導(dǎo)致呼瑪站點的模型預(yù)測精度較高;寧德氣象站前4年的訓(xùn)練數(shù)據(jù)波動性不大，沒有呈現(xiàn)明顯的年度周期性分布，只是出現(xiàn)了部分局部極值點，所以導(dǎo)致該站點的模型預(yù)測精度也比較高。

而塔城和江城氣象站點的模型訓(xùn)練數(shù)據(jù)中呈現(xiàn)周期性的波動，同時與后兩年預(yù)測的數(shù)據(jù)分布基本一致，但模型預(yù)測精度較低，主要是因為這兩個氣象站點數(shù)據(jù)局部極值點較多，數(shù)據(jù)整體上不平穩(wěn)造成的。最后二連浩特氣象站點的模型訓(xùn)練數(shù)據(jù)周期性分布不明顯，同時數(shù)據(jù)的波動性在5個站點中最大，所以導(dǎo)致模型的預(yù)測精度較低。

4? 結(jié)語

本文選取5個具有代表性的邊境站點6年的日平均風(fēng)速數(shù)據(jù)，采用LSTM遞歸神經(jīng)網(wǎng)絡(luò)進(jìn)行了模型的訓(xùn)練和預(yù)測，最后分析了不同站點的模型的兩大指標(biāo)之間的差異性，結(jié)果表明：

（1）該神經(jīng)網(wǎng)絡(luò)在邊境站點日平均風(fēng)速預(yù)測問題上擬合精度較高，預(yù)測的均方根誤差均較小，說明該方法可以較好的預(yù)測5個站點的日平均風(fēng)速。

（2）對LSTM遞歸神經(jīng)網(wǎng)絡(luò)的不同迭代次數(shù)的精度和耗時進(jìn)行了驗證，5個站點不同迭代次數(shù)實驗下均方根誤差差異不大，說明預(yù)測模型穩(wěn)定性較好，增加迭代次數(shù)不會提高模型的精度，反而增加了計算時間，故設(shè)置合理的迭代參數(shù)就可以高效的獲得相對較高的精度。

（3）LSTM遞歸神經(jīng)網(wǎng)絡(luò)模型在時間序列預(yù)測中耗時較長，但氣象站點日平均風(fēng)速的確定屬于決策前參考依據(jù)，對于實時性要求不高邊境管控決策，該預(yù)測模型較適用。

參考文獻(xiàn)

[1] 魏昱洲，許西寧.基于LSTM長短期記憶網(wǎng)絡(luò)的超短期風(fēng)速預(yù)測[J].電子測量與儀器學(xué)報，2019，33（2）：64-71.

[2] 魏曉良，潮群，陶建峰，等.基于LSTM和CNN的高速柱塞泵故障診斷[J].航空學(xué)報，2020（41）：1-12.

[3] 侯云飛.中文語音關(guān)鍵詞檢出技術(shù)研究[D].南京：南京理工大學(xué)，2017.

[4] Lv YS，Duan YJ，Kang W W，et al.Traffic flow prediction with bigdata： a deep learning Approach[J].IEEE Transactions on Intelligent Transportation Systems，2015，16（ 2） ：865-873.

[5] 崔巍，顧冉浩，陳奔月，等.BP與LSTM神經(jīng)網(wǎng)絡(luò)在福建小流域水文預(yù)報中的應(yīng)用對比[J].人民珠江，2020，41（2）：74-84.

[6] 王鑫，吳際，劉超，等.基于LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)的故障時間序列預(yù)測[J].北京航空航天大學(xué)學(xué)報， 2018，44（4）：772-784.

[7] 張立彬，應(yīng)建陽，陳教料.基于IPSO-SA算法的溫室番茄產(chǎn)量預(yù)測方法[J].浙江工業(yè)大學(xué)學(xué)報，2019，47（5）：527-533.

[8] 雷森，史振威，石天陽，等.基于遞歸神經(jīng)網(wǎng)絡(luò)的風(fēng)暴潮增水預(yù)測[J].智能系統(tǒng)學(xué)報，2017，12（5）：640-644.