基于VMD-Stacking混合模型的短期風(fēng)速預(yù)測(cè)研究

張柯 劉海忠

摘? 要： 由于風(fēng)速序列高度非線性、間歇性和非平穩(wěn)的特點(diǎn)，給預(yù)測(cè)帶來(lái)了困難，從而影響了可再生能源制造。本文提出基于變分模態(tài)分解（VMD）和Stacking集成學(xué)習(xí)的短期風(fēng)速混合預(yù)測(cè)方法。VMD將風(fēng)速序列分解為平穩(wěn)分量，以解決非平穩(wěn)問(wèn)題；考慮風(fēng)速序列實(shí)質(zhì)特征，Stacking的基學(xué)習(xí)器采用LightGBM、LSTM和全連接網(wǎng)絡(luò)（FCN）算法。實(shí)驗(yàn)采用真實(shí)風(fēng)速數(shù)據(jù)，VMD-Stacking混合模型的RMSE、MAE和MAPE分別為0.1772、0.1553和8.32%。與其他分解方法或不同的基學(xué)習(xí)器組合相比，VMD-Stacking充分利用時(shí)間序列特征和風(fēng)速波動(dòng)信息，提高了短期風(fēng)速預(yù)測(cè)的準(zhǔn)確性和穩(wěn)定性。

關(guān)鍵詞： 短期風(fēng)速； 變分模式分解； LightGBM； LSTM； Stacking

中圖分類號(hào)：TM614? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ?文章編號(hào)：1006-8228（2023）05-40-05

Research on short-term wind speed prediction based on VMD-Stacking hybrid model

Zhang Ke， Liu Haizhong

（School of Mathematics and Physics， Lanzhou Jiaotong University， Lanzhou， Gansu 730070， China）

Abstract： Due to the highly nonlinear， intermittent and non-stationary characteristics of wind speed series， it is difficult to predict and affects renewable energy production. A hybrid short-term wind speed prediction method based on VMD and Stacking integrated learning is proposed to improve the performance of short-term wind speed prediction. VMD decomposes the wind speed series into stationary components to solve the non-stationary problem. Considering the essential characteristics of wind speed series， LightGBM， LSTM and full connected network （FCN） algorithms are used in the basic learner of Stacking. Using real wind speed data for experiments， the RMSE， MAE and MAPE of the VMD-Stacking hybrid model are 0.1772， 0.1553 and 8.32% respectively. Compared with other decomposition methods or different basic learner combinations， VMD-Stacking makes full use of time series characteristics and wind speed fluctuation information to improve the accuracy and stability of short-term wind speed prediction.

Key words： short-term wind speed; variational mode decomposition （VMD）; LightGBM; LSTM; Stacking

0 引言

能源在人們生活中一直扮演著不可替代的角色?，F(xiàn)在許多國(guó)家都在大力發(fā)展可再生能源技術(shù)，以解決傳統(tǒng)能源消耗的問(wèn)題。許多學(xué)者已將研究重點(diǎn)轉(zhuǎn)向風(fēng)能，常用風(fēng)速預(yù)測(cè)構(gòu)建模型主要分為三類：統(tǒng)計(jì)模型、人工智能模型和混合預(yù)測(cè)模型。其中，統(tǒng)計(jì)模型有時(shí)間序列分析法、多元線性回歸、卡爾曼濾波法等。但由于風(fēng)速較強(qiáng)的非線性特征，其預(yù)測(cè)效果普遍較差。人工智能模型主要包括人工神經(jīng)網(wǎng)絡(luò)[1]、灰色預(yù)測(cè)[2]等，具有較強(qiáng)的非線性特征提取能力。然而，神經(jīng)網(wǎng)絡(luò)存在收斂速度慢[3]、對(duì)參數(shù)選擇敏感、過(guò)擬合等問(wèn)題，限制了其進(jìn)一步發(fā)展。為了彌補(bǔ)其不足，混合預(yù)測(cè)模型被廣泛應(yīng)用。文獻(xiàn)[4]發(fā)現(xiàn)，組合預(yù)測(cè)的精度高于任何單個(gè)預(yù)測(cè)，但這種高精度預(yù)測(cè)受單個(gè)模型預(yù)測(cè)誤差之間的關(guān)系影響。文獻(xiàn)[5]研究了風(fēng)速序列的不同分解方法，如小波分解、經(jīng)驗(yàn)?zāi)Ｊ椒纸猓‥MD）、變分模式分解（VMD），并比較了他們的有效性。文獻(xiàn)[6]利用EEMD將原始風(fēng)速分解為具有不同頻率和一定規(guī)則的模態(tài)分量。然后將每個(gè)分量輸入到遺傳算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)中，每個(gè)分量的結(jié)果進(jìn)行加和得到最終的預(yù)測(cè)結(jié)果。此模型有EEMD計(jì)算量大，分量不可控的問(wèn)題，這往往導(dǎo)致函數(shù)不收斂而使風(fēng)速數(shù)據(jù)的分解效果不佳。文獻(xiàn)[7]結(jié)合了全連接網(wǎng)絡(luò)（FCN）、長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）和殘差網(wǎng)絡(luò)。通過(guò)多種模型的合理組合，取得了較好的預(yù)測(cè)結(jié)果。

為了填補(bǔ)上述空白，本文采用具有足夠理論基礎(chǔ)和性能優(yōu)越的VMD分解方法。VMD是一種新的自適應(yīng)時(shí)頻分解方法，它對(duì)采樣噪聲具有更強(qiáng)的魯棒性。此外，LSTM網(wǎng)絡(luò)可充分利用時(shí)間序列數(shù)據(jù)之間的內(nèi)在相關(guān)性，但預(yù)測(cè)精度一般[8]。LightGBM模型訓(xùn)練速度快、精度高，支持高效的并行訓(xùn)練[9]，但缺乏對(duì)時(shí)間序列的整體感知能力。而對(duì)于殘差變化較小的時(shí)間序列數(shù)據(jù)，F(xiàn)CN做為主流預(yù)測(cè)模型，精度更高。因此提出一種基于VMD-Stacking的短期風(fēng)速混合預(yù)測(cè)模型。主要?jiǎng)?chuàng)新點(diǎn)包括：①VMD和Stacking的結(jié)合可提高風(fēng)速序列預(yù)測(cè)的精度；②Stacking選擇LSTM、LightGBM和FCN作為基學(xué)習(xí)器，不僅可以有效利用時(shí)間序列變化趨勢(shì)，還可以充分挖掘不同波動(dòng)水平下的序列信息。從這兩個(gè)角度實(shí)現(xiàn)風(fēng)速信息的全面提取，以便訓(xùn)練出更優(yōu)越的預(yù)測(cè)模型。

1 理論介紹

1.1 變分模態(tài)分解

VMD[11]是一種新的自適應(yīng)數(shù)據(jù)分解方法，根據(jù)各分解分量的中心頻率和帶寬，實(shí)現(xiàn)信號(hào)的頻域分解和各分量的有效分離。VMD將信號(hào)分解，轉(zhuǎn)換為變分模式，并尋找約束變分模型的最優(yōu)解[12]。

對(duì)給定的信號(hào)序列y（t），VMD假設(shè)它由K個(gè)有限帶寬的分量y（t）組成，通過(guò)求解約束變分問(wèn)題來(lái)實(shí)現(xiàn)信號(hào)的分解：

[minuk，wkk=1K?tδt+jπt?uk（t）e-jwkt22s.t.k=1Kuk（t）=f]? ⑴

其中，uk（t）是模態(tài)函數(shù)的輸入信號(hào)，uk代表模態(tài)集合{u1，u2，…，uk}，wk為第k個(gè)模態(tài)相對(duì)應(yīng)的中心頻率；δ（t）為狄利克雷函數(shù)，引入平衡約束參數(shù)α和拉格朗日乘法算子λ（t），以保證重構(gòu)精度和約束條件的嚴(yán)格性，將其變?yōu)榉羌s束優(yōu)化問(wèn)題：

[Luk，wk，λt=αk=1K?tδt+jπt?uk（t）e-jwkt22]

[+yt-k=1Kuk（t）22+λt，yt-k=1Kuk（t）] ⑵

利用交替方向乘子方法求解式⑵，即對(duì)uk、wk和λ（t）進(jìn)行交替迭代，計(jì)算步驟見(jiàn)文獻(xiàn)[13]，迭代公式為：

[un+1kw=yw-i≠kuniw+0.5λn（w）1+2α（w-wnk）2]

[wn+1k=0∞wunkw2dw0∞unkw2dw]

[λn+1w=λnw+ρyw-k=1Kun+1k（w）]

其中，ρ是噪聲容忍度，上式不斷更新迭代，直到滿足收斂精度，輸出最終的uk，wk。

1.2 Stacking集成學(xué)習(xí)

Stacking是一種分層融合模型，結(jié)構(gòu)如圖1所示。首先，將原始數(shù)據(jù)劃分為幾個(gè)子數(shù)據(jù)集后輸入到第一層的每個(gè)基學(xué)習(xí)器中，其預(yù)測(cè)結(jié)果輸出作為第二層元學(xué)習(xí)器的輸入進(jìn)行訓(xùn)練，由元學(xué)習(xí)器輸出最終的預(yù)測(cè)結(jié)果。Stacking集成學(xué)習(xí)泛化了多個(gè)模型的結(jié)果，以提高總體預(yù)測(cè)精度[14]。

1.3 基學(xué)習(xí)算法

1.3.1 Lightgbm

LightGBM是一個(gè)基于決策樹(shù)算法的GBDT推廣框架[15]，該算法的優(yōu)點(diǎn)有訓(xùn)練速度更快、精度更高、支持并行學(xué)習(xí)等。其基本思想是將M個(gè)弱回歸樹(shù)線性組合成強(qiáng)回歸樹(shù)：

[FX=m=1Mfm（x）]? ⑶

其中，[FX]為回歸樹(shù)最終的輸出值；[fm（x）]為第m棵弱回歸樹(shù)的輸出值。原理是將損失函數(shù)的負(fù)梯度作為當(dāng)前決策樹(shù)的殘差近似值，去擬合新的決策樹(shù)，即每一次迭代都保留原來(lái)的模型，再加入一個(gè)新的函數(shù)到模型中，使預(yù)測(cè)值不斷逼近真實(shí)值。

1.3.2 長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM）

LSTM是一種深度學(xué)習(xí)算法[16]，具體結(jié)構(gòu)架構(gòu)見(jiàn)圖2。

每一個(gè)LSTM單元擁有一個(gè)具有記憶功能的細(xì)胞元組，其在時(shí)刻t的狀態(tài)記為ct，LSTM單元通過(guò)輸入門、遺忘門和輸出門接收當(dāng)前狀態(tài)xt和上一時(shí)刻元組的狀態(tài)ht-1。同時(shí)，記憶單元的狀態(tài)ct-1作為內(nèi)部信息將輸入到各個(gè)門中。當(dāng)接收輸入信息后，輸入門、遺忘門和輸出門將進(jìn)行內(nèi)部運(yùn)算。輸入門的信號(hào)經(jīng)過(guò)函數(shù)變換后，與遺忘門處理過(guò)的記憶單元狀態(tài)疊加，形成新的記憶單元狀態(tài)ct。最終，ct經(jīng)過(guò)函數(shù)運(yùn)算和輸出門的控制形成LSTM單元的輸出ht。各變量之間的計(jì)算公式如下：

[it=sigmoidWhi×ht-1+Wxi×xt+Wci×ct-1+bi]

[ft=sigmoidWhf×ht-1+Wxf×xt+Wcf×ct-1+bf]

[ot=sigmoidWho×ht-1+Wxo×xt+Wco×ct-1+bo]

[i=tanhWhg×ht-1+Wxg×xt+bc]

[ct=ft⊙ct-1+it⊙i]

[ht=ot⊙tanhct]

2 模型方法

2.1 VMD-Stacking模型基本信息

VMD-Stacking模型的結(jié)構(gòu)如圖3所示。將風(fēng)速序列F分解為固有模態(tài)函數(shù)，然后將t-1時(shí)刻分解后的分量[（IMF1t-11，IMF2t-12，…，IMFnt-1）]分別輸入到LightGBM和FCN以獲得相應(yīng)的預(yù)測(cè)結(jié)果。此外[（Ft-τ，…，F(xiàn)t-2，F(xiàn)t-1）]輸入到LSTM，并使用每[τ]個(gè)相鄰歷史風(fēng)速去預(yù)測(cè)t時(shí)刻的風(fēng)速。最后，將三個(gè)基學(xué)習(xí)器的結(jié)果通過(guò)Stacking進(jìn)行融合。

具體訓(xùn)練過(guò)程：

⑴ 利用MI理論選擇歷史風(fēng)速序列的最佳預(yù)測(cè)步長(zhǎng)（[τ]）。

⑵ 將數(shù)據(jù)每[τ]個(gè)分為一組，并與下一時(shí)刻的風(fēng)速形成訓(xùn)練樣本，即[（Ft-τ，…，F(xiàn)t-2，F(xiàn)t-1），F(xiàn)t]，t=τ+1，τ+2，…N，一共有N-τ組。N是訓(xùn)練集中的數(shù)據(jù)數(shù)，下標(biāo)從1開(kāi)始。

⑶ 進(jìn)行歸一化后，通過(guò)VMD分解以獲得相應(yīng)的分量{IMFt-1s}，i=t-τ，t-τ+1，…，t-1，s=1，2…，n，，n是VMD的分解層數(shù)。

⑷ 分解得到的分量分別輸入基學(xué)習(xí)器進(jìn)行訓(xùn)練，{IMFt-1s}用作FCN和LightGBM的輸入，（Ft-τ，…，F(xiàn)t-2，F(xiàn)t-1）作為L(zhǎng)STM的輸入，分別預(yù)測(cè)t時(shí)刻的結(jié)果作為輸出，然后根據(jù)結(jié)果Ft更新每個(gè)模型的參數(shù)。

⑸ 基學(xué)習(xí)器經(jīng)過(guò)訓(xùn)練后，每個(gè)訓(xùn)練樣本的輸出形成一個(gè)三維向量[Ft`，F(xiàn)t``，F(xiàn)t```]，作為第二層元學(xué)習(xí)器的輸入，根據(jù)其輸出，使用反向傳播更新參數(shù)。

2.2 VMD分解

在變分模式分解過(guò)程中，當(dāng)K值較小或較大時(shí)，很容易產(chǎn)生模態(tài)混疊或過(guò)度分解。這里采用觀察中心頻率的方法確定K值，從小到大取預(yù)設(shè)K值，當(dāng)最后一層分量的中心頻率保持相對(duì)穩(wěn)定時(shí)，認(rèn)為此時(shí)K值最佳。見(jiàn)表1，在K=8之后最后一層IMF分量的中心頻率保持相對(duì)穩(wěn)定，所以預(yù)設(shè)定K=8。分解結(jié)果如圖4所示。

3 實(shí)驗(yàn)設(shè)置以及結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)和評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)中數(shù)據(jù)來(lái)自NOAA（美國(guó)海洋與大氣管理局?jǐn)?shù)據(jù)）網(wǎng)站獲取的紐約地區(qū)2019年9月22日至27日的風(fēng)速及相關(guān)的大氣數(shù)據(jù)，共采集22日720個(gè)采樣點(diǎn)，間隔為2min，其中90%數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，10%作為測(cè)試數(shù)據(jù)。相關(guān)模型在Python3.6環(huán)境下完成編程計(jì)算。預(yù)測(cè)評(píng)價(jià)指標(biāo)采用平均相對(duì)誤差eMAPE，相對(duì)均方誤差eRMSE和平均絕對(duì)誤差eMAE，具體如下所示：

[eMAPE=1ni=1nxj-x（i）x（i）×100%]

[eRMSE=1ni=1nxi-y（i）2]

[eMAE=1ni=1nxi-y（i）]

x（i）和y（i）分別表示i時(shí)刻的真實(shí)值和預(yù)測(cè)值；n為樣本數(shù)量。

3.2 集成效果分析

由圖5實(shí)驗(yàn)結(jié)果可知，采用Stacking集成模型的預(yù)測(cè)效果優(yōu)于傳統(tǒng)單一基礎(chǔ)模型預(yù)測(cè)效果。表2中指標(biāo)數(shù)據(jù)為重復(fù)10次預(yù)測(cè)所得到的平均值（表3、表4、表5同理），可知Stacking集成方法比單一模型的最好預(yù)測(cè)效果相對(duì)提升63.33%，有效結(jié)合了各單一算法優(yōu)勢(shì)，減少單一模型泛化性能不佳的風(fēng)險(xiǎn)。

3.3 分解去噪對(duì)比分析

圖6預(yù)測(cè)結(jié)果顯示，使用不同的分解去噪技術(shù)對(duì)預(yù)測(cè)結(jié)果有較大影響。對(duì)比經(jīng)EMD、EEMD、CEEMDAN分解處理的Stacking模型的實(shí)驗(yàn)結(jié)果，在此場(chǎng)景下，VMD對(duì)于短期風(fēng)速的分解效果更佳，更為有效降低數(shù)據(jù)的復(fù)雜程度。

3.4 基學(xué)習(xí)器構(gòu)建對(duì)比分析

將22日至27日的4320條原始數(shù)據(jù)相鄰時(shí)刻風(fēng)速差設(shè)為新的序列G，G服從正態(tài)分布，稱差值在區(qū)間（μ-2σ，μ+2σ）內(nèi)的數(shù)據(jù)為數(shù)據(jù)A，其以外的數(shù)據(jù)稱為數(shù)據(jù)B，它們分別代表風(fēng)速變化幅度較小和較大的數(shù)據(jù)集合。表4為三個(gè)基學(xué)習(xí)器分別對(duì)A、B數(shù)據(jù)集的實(shí)驗(yàn)誤差，表明對(duì)于殘差變化較大的數(shù)據(jù)，LightGBM預(yù)測(cè)精度更高；對(duì)于殘差變化較小的數(shù)據(jù)，F(xiàn)CN的預(yù)測(cè)精度更高，而LSTM對(duì)整體數(shù)據(jù)的殘差的正負(fù)號(hào)預(yù)測(cè)高達(dá)89%，表明其能夠一定程度上捕獲時(shí)間序列變化趨勢(shì)信息。綜合以上分析可以得出，將三種模型進(jìn)行組合后，可增強(qiáng)模型對(duì)長(zhǎng)時(shí)間序列的感知力，同時(shí)充分挖掘不同波動(dòng)程度下的序列信息。

由表5可知，使用不同的基學(xué)習(xí)器對(duì)預(yù)測(cè)結(jié)果有較大影響。用SVM算法來(lái)進(jìn)行舉例，去替換基學(xué)習(xí)器中任意一個(gè)，發(fā)現(xiàn)實(shí)驗(yàn)誤差都會(huì)變大。從而驗(yàn)證對(duì)于Stacking基學(xué)習(xí)器選擇的測(cè)試結(jié)果，并且剔除掉任何一個(gè)，評(píng)估性能都會(huì)有所下降。

4 結(jié)論

本文研究了一種基于VMD-Stacking集成學(xué)習(xí)的短期風(fēng)速預(yù)測(cè)模型，并將模型應(yīng)用于某風(fēng)電場(chǎng)真實(shí)數(shù)據(jù)集，驗(yàn)證模型的預(yù)測(cè)精度，主要結(jié)論如下：

⑴ VMD分解可將具有強(qiáng)非線性、非平穩(wěn)性的風(fēng)速時(shí)間序列分解為相對(duì)穩(wěn)定的數(shù)組IMF分量，可增強(qiáng)時(shí)間序列的可預(yù)報(bào)性。對(duì)比EMD、EEMD和CEEMDAN，VMD實(shí)驗(yàn)結(jié)果的RMSE降低了22.59%至39.97%，對(duì)于短期風(fēng)速數(shù)據(jù)具有更好的分解效果。

⑵ Stacking選用的基學(xué)習(xí)器中，LSTM對(duì)風(fēng)速變化正負(fù)值的預(yù)測(cè)高達(dá)89%，lightgbm在變化浮動(dòng)較大的數(shù)據(jù)集上RMSE數(shù)值最?。?.4332），而FCN在浮動(dòng)較小的數(shù)據(jù)集上RMSE數(shù)值最?。?.4789），三者結(jié)合具備更佳的預(yù)測(cè)效果。對(duì)比于用SVM去替換任意一個(gè)基學(xué)習(xí)器，本文模型都具有更為明顯的優(yōu)越效果。

⑶ VMD-Stacking的對(duì)短期風(fēng)速預(yù)測(cè)誤差指標(biāo)RMSE、MAE、MAPE分別為0.1772、0.1553和8.32%。此模型可準(zhǔn)確地追蹤風(fēng)速變化情況，在預(yù)測(cè)短期風(fēng)速變化中表現(xiàn)出更好的預(yù)測(cè)度和穩(wěn)定性。

參考文獻(xiàn)（References）：

[1] SINGH P， DWIVEDI P. Integration of new evolutionaryapproach with artificial neural network for solving short term load forecast problem[J]. Applied Energy，2018，217：537-549

[2] 焦?jié)櫤?，蘇辰雋，林碧英，等.基于氣象信息因素修正的灰色短期負(fù)荷預(yù)測(cè)模型[J].電網(wǎng)技術(shù)，2013，37（3）：720-725

[3] 孔祥玉，鄭鋒，鄂志君，等.基于深度信念網(wǎng)絡(luò)的短期負(fù)荷預(yù)測(cè)方法[J].電力系統(tǒng)自動(dòng)化，2018，42（5）：133-139

[4] BATES J M， GRANGER C W J. The combinationofforecasts[J]. Journal of the Operational Research Society，1969，20（4）：451-468

[5] Qian Z，? Pei Y，? Zareipour H， et al. A review and discussionof decomposition-based hybrid models for wind energy forecasting applications[J]. Applied Energy，2019，235（FEB.1）：939-953

[6] Wang S， Zhang N， Wu L， et al. Wind speed forecastingbased on the hybrid ensemble empirical mode decomposition and GA-BP neural network method[J]. Renewable Energy，2016，94：629-636

[7] 許言路，張建森，吉星，等.基于多模型融合神經(jīng)網(wǎng)絡(luò)的短期負(fù)荷預(yù)測(cè)[J].控制工程，2019，26（4）：619-624

[8] 陸繼翔，張琪培，楊志宏，等.基于CNN-LSTM混合神經(jīng)網(wǎng)絡(luò)模型的短期負(fù)荷預(yù)測(cè)方法[J]. 電力系統(tǒng)自動(dòng)化，2019，43（8）：131-137

[9] 周挺，楊軍，周強(qiáng)明，等.基于改進(jìn) LightGBM 的電力系統(tǒng)暫態(tài)穩(wěn)定評(píng)估方法[J].電網(wǎng)技術(shù)，2019，43（6）：1931-1940

[10] Lu X， Miao F， Xie X， et al. A new method fordisplacement prediction of 'step-like' landslides based on VMD-FOA-SVR model[J]. Environmental earth sciences，2021（80-17）

[11] 羅亦泳，姚宜斌，黃城，等.基于改進(jìn)VMD的變形特征提取與分析[J].武漢大學(xué)學(xué)報(bào)·信息科學(xué)版，2020，45（4）：613

[12] Hu H， Zhang J， Li T. A Comparative Study of VMD-Based Hybrid Forecasting Model for Nonstationary Daily Streamflow Time Series[J]. Complexity，2020（2）：1-21

[13] Hamilton N， Ferry M. vmd： Variational Mode Decompo-sition，2017

[14] Zandi O， Zahraie B， Nasseri M， et al. Stacking machinelearning models versus a locally weighted linear model to generate high-resolution monthly precipitation over a topographically complex area[J]. Atmospheric Research，2022，272：106159

[15] Friedman J H. Stochastic gradient boosting[J].Computa-tional Statistics & Data Analysis，2002，38

[16] 張宇帆，艾芊，林琳，等.基于深度長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的區(qū)域級(jí)超短期負(fù)荷預(yù)測(cè)方法[J].電網(wǎng)技術(shù)，2019，43（6）：1884-1891