多通道長短期記憶卷積網(wǎng)絡(luò)的風(fēng)速預(yù)測

修春波， 蘇歡， 蘇雪苗

(天津工業(yè)大學(xué)控制科學(xué)與工程學(xué)院，天津 300387)

0 引言

風(fēng)能作為一種清潔、無污染的可再生能源得到了快速開發(fā)和應(yīng)用，而大規(guī)模風(fēng)電并網(wǎng)是風(fēng)能利用最有效的途徑之一。但風(fēng)能具有明顯的間歇性、波動性，因此風(fēng)電具有較強(qiáng)的不確定性、隨機(jī)性和不可控性[1—3]，風(fēng)電會對電網(wǎng)產(chǎn)生較大的沖擊，甚至影響電網(wǎng)的穩(wěn)定運(yùn)行。通過對風(fēng)速進(jìn)行有效預(yù)測，及時調(diào)整調(diào)度計劃，能夠有效減少電力系統(tǒng)備用容量，降低風(fēng)電成本，改善電能質(zhì)量[4—6]。因此，風(fēng)速預(yù)測一直是風(fēng)電領(lǐng)域的研究熱點(diǎn)之一。

風(fēng)速序列的預(yù)測方法較多[7—11]，主要分為基于數(shù)值氣象預(yù)報的預(yù)測方法和基于歷史數(shù)據(jù)的預(yù)測方法。前者根據(jù)實(shí)際的氣象條件，如溫濕度、風(fēng)向、氣壓等數(shù)據(jù)，利用氣象預(yù)報模型實(shí)現(xiàn)風(fēng)速預(yù)測。而后者是從歷史數(shù)據(jù)序列中提取蘊(yùn)含的規(guī)律信息，由此實(shí)現(xiàn)對未來數(shù)據(jù)的預(yù)測。如持續(xù)預(yù)測法是早期的一種較實(shí)用有效的風(fēng)速序列預(yù)測方法，但其預(yù)測機(jī)理過于簡單，預(yù)測準(zhǔn)確性較低。隨著研究的深入，時間序列分析法[12]、神經(jīng)網(wǎng)絡(luò)法[13]、卡爾曼濾波法[14]、支持向量機(jī)(support vector machine,SVM)法[15]以及混沌理論[16]等都被應(yīng)用于風(fēng)速序列的預(yù)測分析中，改善了風(fēng)速序列的預(yù)測性能。但這些方法均涉及到一個難以確定的關(guān)鍵參數(shù)，即被預(yù)測風(fēng)速與歷史輸入數(shù)據(jù)的關(guān)聯(lián)長度。歷史關(guān)聯(lián)數(shù)據(jù)過長會導(dǎo)致陳舊冗余的信息影響預(yù)測結(jié)果，而歷史關(guān)聯(lián)數(shù)據(jù)過短則會導(dǎo)致信息丟失或不足，同樣會降低預(yù)測性能。在實(shí)際應(yīng)用中，通常采用經(jīng)驗(yàn)法或根據(jù)相空間重構(gòu)理論進(jìn)行構(gòu)造，但對于混沌特性不明顯的風(fēng)速序列，樣本的構(gòu)造方式缺少相應(yīng)的理論指導(dǎo)，預(yù)測性能不穩(wěn)定。

近年來，深度學(xué)習(xí)理論發(fā)展迅速，在時間序列預(yù)測分析領(lǐng)域中表現(xiàn)出優(yōu)異的應(yīng)用性能[17—18]。例如，基于深度學(xué)習(xí)的循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)可應(yīng)用于時間序列預(yù)測分析的求解中[19—20]，但該網(wǎng)絡(luò)存在梯度消散和梯度爆炸等問題。為此，可采用長短期記憶(long short-term me-mory，LSTM)網(wǎng)絡(luò)模型[21]實(shí)現(xiàn)時間序列的預(yù)測分析。LSTM網(wǎng)絡(luò)結(jié)構(gòu)獨(dú)特，是RNN的改進(jìn)網(wǎng)絡(luò)，對時間序列預(yù)測分析問題具有很好的求解性能[22—25]。盡管深度學(xué)習(xí)網(wǎng)絡(luò)能夠利用大數(shù)據(jù)樣本獲取時間序列中的規(guī)律信息，但預(yù)測數(shù)據(jù)關(guān)聯(lián)長度等參數(shù)仍須人為選定，這限制了深度學(xué)習(xí)網(wǎng)絡(luò)在風(fēng)速序列預(yù)測中的應(yīng)用性能。

為了避免不恰當(dāng)?shù)年P(guān)聯(lián)數(shù)據(jù)長度等影響網(wǎng)絡(luò)預(yù)測性能，提出一種多通道LSTM網(wǎng)絡(luò)與一維卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的風(fēng)速序列預(yù)測方法。該方法通過構(gòu)建多通道LSTM子網(wǎng)絡(luò)獲得與不同輸入數(shù)據(jù)長度相關(guān)的風(fēng)速序列計算值，對各LSTM子網(wǎng)絡(luò)的輸出值進(jìn)行一維卷積操作，并利用全連接網(wǎng)絡(luò)層輸出預(yù)測值。同時，為了避免預(yù)測過程中可能出現(xiàn)的誤差累積及漂移，對預(yù)測值進(jìn)行誤差補(bǔ)償修正，進(jìn)一步提高預(yù)測精度，改善風(fēng)速預(yù)測性能。

1 LSTM網(wǎng)絡(luò)模型

通常，實(shí)際時間序列中各個數(shù)據(jù)點(diǎn)之間具有時間上的順序關(guān)聯(lián)性。采用傳統(tǒng)的前向型神經(jīng)網(wǎng)絡(luò)進(jìn)行時間序列預(yù)測分析時，時間序列中數(shù)據(jù)點(diǎn)之間的順序關(guān)聯(lián)性只能體現(xiàn)在構(gòu)建的訓(xùn)練樣本中，而網(wǎng)絡(luò)自身結(jié)構(gòu)中不具有體現(xiàn)數(shù)據(jù)點(diǎn)時間順序關(guān)聯(lián)性的機(jī)制。相比而言，RNN利用隱藏層節(jié)點(diǎn)之間的連接，能夠很好地描述時間序列中數(shù)據(jù)之間的順序關(guān)聯(lián)性，從結(jié)構(gòu)上更符合時間序列預(yù)測要求。但RNN對序列信息的利用缺少選擇性，當(dāng)序列長度過長時會出現(xiàn)梯度消散的問題，因此，RNN不適合用于復(fù)雜時間序列的預(yù)測分析。

LSTM網(wǎng)絡(luò)模型是一種改進(jìn)的RNN模型，解決了梯度消散問題，利用門結(jié)構(gòu)實(shí)現(xiàn)了對序列信息的選擇性利用，適合復(fù)雜時間序列預(yù)測問題的求解。LSTM網(wǎng)絡(luò)模型的基本單元如圖1所示。

圖1 LSTM網(wǎng)絡(luò)模型的基本單元Fig.1 Basic unit of LSTM network model

圖中，ft，it，ot分別為遺忘門、輸入門和輸出門的狀態(tài)；st為輸入節(jié)點(diǎn)狀態(tài)；ht，ht-1分別為當(dāng)前時刻和前一時刻的輸出；xt為當(dāng)前序列的輸入；Ct，Ct-1分別為當(dāng)前時刻和前一時刻記憶單元的狀態(tài)信息。LSTM網(wǎng)絡(luò)的基本單元中包含了門結(jié)構(gòu)和記憶單元，利用遺忘門、輸入門、輸出門可實(shí)現(xiàn)記憶單元信息的添加或刪除。LSTM網(wǎng)絡(luò)基本單元的輸入包含xt，Ct-1以及ht-1。在遺忘門中，xt和ht-1共同決定Ct-1的遺忘部分。在輸入門中，xt，ht-1經(jīng)過Sigmoid和tanh函數(shù)變換后共同決定當(dāng)前記憶單元狀態(tài)信息的更新部分。通過遺忘門和輸入門，將Ct-1更新為Ct。在輸出門中，xt和ht-1經(jīng)過Sigmoid函數(shù)變換得到ot，Ct經(jīng)過tanh函數(shù)變換后和ot共同組成ht。該單元的具體計算過程如下：

ft=σ(Wf·[ht-1,xt]+bf)

(1)

it=σ(Wi·[ht-1,xt]+bi)

(2)

st=tanh(Ws·[ht-1,xt]+bs)

(3)

Ct=ft°Ct-1+it°st

(4)

ot=σ(Wo·[ht-1,xt]+bo)

(5)

ht=ot°tanh(Ct)

(6)

其中，[ht-1,xt]表示將ht-1和xt這2個列向量拼接成1個列向量，即：

(7)

Wf，bf分別為遺忘門的權(quán)重系數(shù)矩陣和偏置項(xiàng)；Wi，bi分別為輸入門的權(quán)重系數(shù)矩陣和偏置項(xiàng)；Ws，bs分別為輸入節(jié)點(diǎn)的權(quán)重系數(shù)矩陣和偏置項(xiàng)；Wo，bo分別為輸出門的權(quán)重系數(shù)矩陣和偏置項(xiàng)；σ(·)和tanh(·)分別為Sigmoid函數(shù)和雙曲正切函數(shù)。式(4)和式(6)中“°”表示按元素乘運(yùn)算。

遺忘門和輸入門是LSTM網(wǎng)絡(luò)基本單元的核心結(jié)構(gòu)，能夠使網(wǎng)絡(luò)更有效地保持長期記憶。一般來說，網(wǎng)絡(luò)輸入數(shù)量的多少表明了網(wǎng)絡(luò)輸出值與歷史數(shù)據(jù)的關(guān)聯(lián)長度。由于風(fēng)電場風(fēng)速序列的形成機(jī)理復(fù)雜，未來風(fēng)速值與歷史數(shù)據(jù)的關(guān)聯(lián)長度難以人為有效確定，即網(wǎng)絡(luò)的輸入數(shù)據(jù)數(shù)量不容易有效確定，輸入數(shù)據(jù)量較少時會造成信息丟失，輸入數(shù)據(jù)較多時會造成信息冗余，均會降低模型的預(yù)測性能。為此，文中針對風(fēng)速序列預(yù)測問題，結(jié)合卷積網(wǎng)絡(luò)結(jié)構(gòu)，構(gòu)建對輸入數(shù)據(jù)量具有一定適應(yīng)性的多通道LSTM網(wǎng)絡(luò)預(yù)測模型，實(shí)現(xiàn)預(yù)測特征信息的有效提取。

2 多通道LSTM網(wǎng)絡(luò)預(yù)測模型

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

作為一種氣象數(shù)據(jù)，風(fēng)速時間序列通常短期可預(yù)測、長期難以預(yù)測，且預(yù)測值與歷史數(shù)據(jù)的關(guān)聯(lián)長度也很難利用先驗(yàn)知識進(jìn)行選取。為提高預(yù)測模型的有效性，構(gòu)建多個具有不同輸入長度的LSTM子網(wǎng)絡(luò)，并利用卷積網(wǎng)絡(luò)將各子網(wǎng)絡(luò)的輸出進(jìn)行結(jié)合，從而構(gòu)成多通道LSTM網(wǎng)絡(luò)預(yù)測模型。例如，對預(yù)測步長為n的風(fēng)速序列預(yù)測問題，多通道LSTM預(yù)測網(wǎng)絡(luò)與卷積網(wǎng)絡(luò)(multi-channel LSTM and convolution neural net-work，MCLSTM-CNN)相結(jié)合的預(yù)測模型結(jié)構(gòu)如圖2所示。

圖2 MCLSTM-CNN網(wǎng)絡(luò)模型Fig.2 MCLSTM-CNN network model

將網(wǎng)絡(luò)第一部分中m個LSTM子網(wǎng)絡(luò)輸出的風(fēng)速預(yù)測值構(gòu)成一維信號，作為一維卷積神經(jīng)網(wǎng)絡(luò)的輸入，卷積網(wǎng)絡(luò)中卷積操作的卷積核大小為2，最大池化操作的池化窗口大小為2。使用卷積網(wǎng)絡(luò)對一維信號進(jìn)行特征提取，最后通過全連接層輸出最終的風(fēng)速預(yù)測值x′t+n。

一維卷積神經(jīng)網(wǎng)絡(luò)是一種用于處理時序數(shù)據(jù)等一維信號的特殊神經(jīng)網(wǎng)絡(luò)，由卷積層、池化層和全連接層組成。卷積層利用權(quán)值共享和不同尺度的卷積核可以實(shí)現(xiàn)網(wǎng)絡(luò)所需特征的自動提取。池化層則從卷積層中提取到主要的特征，并在時間維度上進(jìn)行降維操作，減小數(shù)據(jù)計算量。全連接層對全局特征進(jìn)一步抽象組合，得到最終輸出預(yù)測值。

上述預(yù)測模型利用卷積層實(shí)現(xiàn)了預(yù)測信息的自動提取，避免了單一LSTM網(wǎng)絡(luò)輸入數(shù)據(jù)量等參數(shù)須人為選取的問題。當(dāng)模型輸入歷史數(shù)據(jù)長度足夠，即m值足夠大時，模型就能夠利用歷史數(shù)據(jù)構(gòu)成的訓(xùn)練樣本自動實(shí)現(xiàn)網(wǎng)絡(luò)參數(shù)的調(diào)整，并確定各子網(wǎng)絡(luò)的預(yù)測權(quán)重，從而有效提高網(wǎng)絡(luò)的泛化能力，改善網(wǎng)絡(luò)的預(yù)測性能。

2.2 誤差補(bǔ)償法

隨著預(yù)測過程的進(jìn)行，誤差累積及漂移不可避免，為此，對網(wǎng)絡(luò)預(yù)測結(jié)果進(jìn)行動態(tài)誤差補(bǔ)償來進(jìn)一步減小預(yù)測誤差。

對于預(yù)測步長為n的風(fēng)速序列預(yù)測問題，利用MCLSTM-CNN模型連續(xù)預(yù)測可得到各個時刻的預(yù)測值，設(shè)t-n時刻，t時刻，t+n時刻的預(yù)測值分別為x′t-n，x′t，x′t+n，則對x′t+n進(jìn)行動態(tài)預(yù)測誤差補(bǔ)償，得到最終的預(yù)測結(jié)果x″t+n為：

x″t+n=x′t+n+γ(t)e(t)

(8)

式中：e(t)=xt-x′t，為t時刻的網(wǎng)絡(luò)預(yù)測誤差；γ(t)為動態(tài)補(bǔ)償系數(shù)，其值根據(jù)補(bǔ)償結(jié)果誤差的負(fù)梯度方向進(jìn)行調(diào)整，即滿足式(9)—式(11)。

(9)

E(t)=(x″t-xt)2

(10)

x″t=x′t+γ(t-n)e(t-n)

(11)

式中：η為動態(tài)調(diào)整步長；E(t)為步長結(jié)果誤差；x″t為t時刻序列點(diǎn)的最終預(yù)測結(jié)果。

根據(jù)歷史預(yù)測誤差漂移情況，對第n步預(yù)測結(jié)果進(jìn)行動態(tài)誤差補(bǔ)償，能夠在一定程度上有效克服連續(xù)預(yù)測過程中出現(xiàn)的誤差累積漂移問題，從而進(jìn)一步提高風(fēng)速序列預(yù)測的有效性。

3 風(fēng)速預(yù)測仿真實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集與預(yù)處理

選取某風(fēng)電場檢測的風(fēng)速數(shù)據(jù)進(jìn)行預(yù)測分析，風(fēng)速數(shù)據(jù)的采樣間距為15 min,以時間先后為序構(gòu)成風(fēng)速數(shù)據(jù)集。該風(fēng)速數(shù)據(jù)集的最大風(fēng)速為18.72 m/s，最小風(fēng)速為0.91 m/s。將數(shù)據(jù)集中前90%的數(shù)據(jù)作為訓(xùn)練樣本，用于網(wǎng)絡(luò)模型的訓(xùn)練，后10%的數(shù)據(jù)作為測試樣本，用于測試網(wǎng)絡(luò)模型的預(yù)測性能。

采用min-max方法對數(shù)據(jù)進(jìn)行歸一化處理，將風(fēng)速數(shù)據(jù)的數(shù)值映射到[0，1]內(nèi)，歸一化計算方式為：

(12)

式中：xi為第i個數(shù)據(jù)歸一化后的數(shù)值；yi為第i個數(shù)據(jù)歸一化前的數(shù)值；ymax為數(shù)據(jù)集中的最大值；ymin為數(shù)據(jù)集中的最小值。

采用3種評價指標(biāo)評價模型的預(yù)測性能，分別為均方根誤差(root mean square error，RMSE)，平均絕對誤差(mean absolute error，MAE)，平均絕對百分比誤差(mean absolute percentage error，MAPE)，其計算如下：

(13)

(14)

(15)

式中：N為預(yù)測數(shù)據(jù)總個數(shù)；y″i為第i個數(shù)據(jù)的預(yù)測值。

3.2 實(shí)驗(yàn)結(jié)果與分析

分別采用具有預(yù)測誤差補(bǔ)償(error com-pen-sation，EC)的MCLSTM-CNN預(yù)測模型(MCLSTM-CNN-EC)、SVM、反向傳播神經(jīng)網(wǎng)絡(luò)(back pro-pa-ga-tion neural network,BPNN)、LSTM[23]、卷積循環(huán)神經(jīng)網(wǎng)絡(luò)[20](convolutional recurrent neural network,CRNN)、MCLSTM預(yù)測模型以及未進(jìn)行誤差補(bǔ)償?shù)腗CLSTM-CNN預(yù)測模型對風(fēng)速序列進(jìn)行超短期預(yù)測分析對比實(shí)驗(yàn)。其中，CRNN模型采用一維卷積神經(jīng)網(wǎng)絡(luò)先對輸入風(fēng)速序列進(jìn)行特征提取，再利用LSTM網(wǎng)絡(luò)對風(fēng)速值進(jìn)行預(yù)測輸出。MCLSTM模型采用文中所提出的多通道LSTM子網(wǎng)絡(luò)直接與全連接層相結(jié)合，即省去了卷積層與池化層。

設(shè)預(yù)測步長n為16，即對4 h后的風(fēng)速值進(jìn)行預(yù)測分析。選取歷史輸入序列長度為10，即上述各預(yù)測模型的輸入層神經(jīng)元個數(shù)均為10，輸出層神經(jīng)元個數(shù)均為1。預(yù)測模型的訓(xùn)練批次大小為32，訓(xùn)練迭代次數(shù)為300次，將歸一化后數(shù)據(jù)的均方誤差作為損失函數(shù)，優(yōu)化算法為Adam算法。

MCLSTM-CNN模型訓(xùn)練過程中損失函數(shù)值隨迭代次數(shù)的變化如圖3所示。

圖3 MCLSTM-CNN在數(shù)據(jù)集上訓(xùn)練時的損失函數(shù)Fig.3 Loss function of MCLSTM-CNN on dataset

由圖3可見，預(yù)測網(wǎng)絡(luò)能在300次迭代內(nèi)完成參數(shù)訓(xùn)練。圖4為上述各預(yù)測模型的預(yù)測結(jié)果。圖5為圖4的局部預(yù)測結(jié)果(前150個預(yù)測數(shù)據(jù))。

圖4 各預(yù)測模型的預(yù)測結(jié)果Fig.4 Prediction results of each prediction model

由上述預(yù)測結(jié)果可見，雖然各種預(yù)測方法相對于實(shí)測數(shù)據(jù)均出現(xiàn)了一定的滯后現(xiàn)象，但MCLSTM-CNN-EC的預(yù)測曲線與實(shí)測數(shù)據(jù)具有更好的擬合度，表現(xiàn)出更好的預(yù)測性能。

表1和表2分別為圖4與圖5所示預(yù)測結(jié)果的誤差評價指標(biāo)。

表1 數(shù)據(jù)集的預(yù)測誤差指標(biāo)Table 1 Prediction errors of dataset

表2 數(shù)據(jù)集前150個預(yù)測數(shù)據(jù)的預(yù)測誤差指標(biāo)Table 2 Prediction errors of the first 150 prediction results of dataset

由上述預(yù)測結(jié)果以及預(yù)測評價指標(biāo)可知，基于深度學(xué)習(xí)的LSTM網(wǎng)絡(luò)和CRNN模型的預(yù)測性能優(yōu)于傳統(tǒng)BPNN和SVM模型，說明基于深度學(xué)習(xí)的預(yù)測網(wǎng)絡(luò)對歷史數(shù)據(jù)信息具有更強(qiáng)的預(yù)測特征提取能力，可有效提高風(fēng)速序列的預(yù)測精度。而CRNN模型利用卷積神經(jīng)網(wǎng)絡(luò)提取風(fēng)速序列的深度特征信息，以此為基礎(chǔ)利用LSTM模型進(jìn)行預(yù)測，與單一的LSTM網(wǎng)絡(luò)相比，CRNN模型具有更好的預(yù)測性能。MCLSTM-CNN模型利用多通道LSTM子網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)不同關(guān)聯(lián)數(shù)據(jù)長度信息的提取，可有效提高模型對預(yù)測序列的適應(yīng)性，根據(jù)子網(wǎng)絡(luò)的輸出，利用卷積層自動提取預(yù)測信息，能夠從歷史數(shù)據(jù)中獲得適合序列預(yù)測的特征參數(shù)，避免了輸入數(shù)據(jù)長度參數(shù)難以選取的問題，因此，預(yù)測結(jié)果相比于LSTM、CRNN等預(yù)測模型更優(yōu)。同時，MCLSTM-CNN模型在各項(xiàng)誤差指標(biāo)上也優(yōu)于缺少卷積層和池化層的MCLSTM模型。可見，MCLSTM-CNN模型中的一維卷積神經(jīng)網(wǎng)絡(luò)能更好地提取多通道LSTM子網(wǎng)絡(luò)的特征信息，說明了MCLSTM-CNN模型結(jié)構(gòu)的合理性。在此基礎(chǔ)上，MCLSTM-CNN-EC方法對MCLSTM-CNN模型輸出的預(yù)測值進(jìn)行動態(tài)誤差補(bǔ)償，克服了預(yù)測過程中產(chǎn)生的誤差累積與漂移，因此其各項(xiàng)預(yù)測誤差指標(biāo)明顯降低，預(yù)測性能得到了進(jìn)一步改進(jìn)。在上述的各種網(wǎng)絡(luò)模型中，MCLSTM-CNN-EC模型具有最優(yōu)的預(yù)測性能和良好的泛化能力，可有效提升風(fēng)速的超短期預(yù)測精度。

4 結(jié)語

針對風(fēng)速序列超短期預(yù)測問題，提出了多通道LSTM子網(wǎng)絡(luò)與一維卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的預(yù)測模型。利用多個LSTM子網(wǎng)絡(luò)實(shí)現(xiàn)基于不同歷史數(shù)據(jù)長度的風(fēng)速序列預(yù)測計算，采用一維卷積網(wǎng)絡(luò)對各子網(wǎng)絡(luò)的計算結(jié)果進(jìn)行特征信息的自動提取，得到網(wǎng)絡(luò)的預(yù)測值，利用動態(tài)誤差補(bǔ)償方法對網(wǎng)絡(luò)預(yù)測值進(jìn)行校正，能夠有效克服預(yù)測過程中所產(chǎn)生的誤差累積與漂移。該方法在風(fēng)速序列超短期預(yù)測中表現(xiàn)出良好的預(yù)測性能，實(shí)驗(yàn)對比結(jié)果驗(yàn)證了該網(wǎng)絡(luò)結(jié)構(gòu)的合理性。文中方法研究了基于歷史數(shù)據(jù)信息的風(fēng)速預(yù)測方法，為進(jìn)一步提升風(fēng)速預(yù)測有效性，未來可開展結(jié)合數(shù)值氣象預(yù)報信息的深度學(xué)習(xí)風(fēng)速預(yù)測方法研究，從而提升風(fēng)電并網(wǎng)的性能。