注意力機(jī)制下的VMD-IDBiGRU 負(fù)荷預(yù)測模型

邵必林，嚴(yán)義川，曾卉玢

（西安建筑科技大學(xué)管理學(xué)院，西安 710055）

由于電能儲(chǔ)存技術(shù)的缺乏，如何保證電力系統(tǒng)的供需平衡成為電力系統(tǒng)安全運(yùn)行的關(guān)鍵問題。電力負(fù)荷預(yù)測能夠?yàn)殡娏ο到y(tǒng)的調(diào)度和安全評(píng)估提供依據(jù)，對(duì)保證電力系統(tǒng)的供需平衡具有重要的意義。目前，負(fù)荷預(yù)測的方法可分為傳統(tǒng)預(yù)測方法和基于人工智能預(yù)測方法[1]。其中，傳統(tǒng)預(yù)測方法包括時(shí)間序列法[2]、回歸分析法[3]和趨勢外推法[4]等。傳統(tǒng)預(yù)測方法一般以統(tǒng)計(jì)學(xué)為基礎(chǔ)，隨著社會(huì)的不斷發(fā)展，影響負(fù)荷的因素也越來越多，傳統(tǒng)預(yù)測方法已經(jīng)不能滿足預(yù)測要求。因此，人工智能的方法被引入到負(fù)荷預(yù)測中，例如，隨機(jī)森林[5]、支持向量機(jī)[6]、人工神經(jīng)網(wǎng)絡(luò)[7]等?；谌斯ぶ悄艿呢?fù)荷預(yù)測方法能夠更好的擬合非線性數(shù)據(jù)，相較于傳統(tǒng)的負(fù)荷預(yù)測方法精度有較大的提升。長短期記憶LSTM（long short-term memory）模型是一種循環(huán)的人工神經(jīng)網(wǎng)絡(luò)，相較于普通的神經(jīng)網(wǎng)絡(luò)，LSTM網(wǎng)絡(luò)由于負(fù)荷數(shù)據(jù)具有時(shí)序性的特點(diǎn)，能夠大大提高負(fù)荷預(yù)測的精度[8]。門控循環(huán)單元GRU（gated recurrent unit）是在LSTM 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上改進(jìn)而來，相比LSTM 神經(jīng)網(wǎng)絡(luò)，GRU 在簡化自身結(jié)構(gòu)的同時(shí)也保證了預(yù)測精度，能夠很大程度上提高模型的訓(xùn)練效率。目前，負(fù)荷預(yù)測[9]、狀態(tài)檢測[10]、流量分類[11]等GRU 已經(jīng)在諸多領(lǐng)域中得到應(yīng)用，但利用LSTM、GRU這類循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)電力負(fù)荷進(jìn)行預(yù)測時(shí)，一般只能考慮單向的數(shù)據(jù)信息，忽略了對(duì)于電力負(fù)荷具有的雙向信息流特征的考慮。

近年來，基于人工智能的負(fù)荷預(yù)測方法發(fā)展迅速，出現(xiàn)了許多組合負(fù)荷預(yù)測方法。其中，許多學(xué)者將分解算法和預(yù)測算法相結(jié)合，有效地降低了電力負(fù)荷數(shù)據(jù)的非平穩(wěn)性。文獻(xiàn)[12]利用自適應(yīng)噪聲的完全集成經(jīng)驗(yàn)?zāi)B(tài)分解CEEMDEN（complete ensemble empirical modal decomposition）算法對(duì)用戶側(cè)凈負(fù)荷進(jìn)行分解，將分解得到的分量輸入到深度信念網(wǎng)絡(luò)DBN（deep belief network）中進(jìn)行預(yù)測，結(jié)果表明與直接預(yù)測相比，分解后再預(yù)測提高了預(yù)測精度；文獻(xiàn)[13]將經(jīng)驗(yàn)?zāi)B(tài)分解EMD（empirical modal decomposition）與粒子群優(yōu)化PSO（particle swarm optimization）及自適應(yīng)網(wǎng)絡(luò)模糊推理系統(tǒng)NFIS（network fuzzy inference system）相結(jié)合提出一種混合負(fù)荷預(yù)測方法，利用模型對(duì)北京某微電網(wǎng)負(fù)荷進(jìn)行預(yù)測，結(jié)果表明，所提方法具有較好的預(yù)測精度。但EMD 會(huì)出現(xiàn)模態(tài)混疊的現(xiàn)象，CEEMDEN通過加入白噪聲解決模態(tài)混疊問題時(shí)又使原始信號(hào)的波動(dòng)趨勢受到了污染。變分模態(tài)分解VMD（variational modal decomposition）采取的是非遞歸的分解方法，能夠根據(jù)不同的情況自主選擇分解數(shù)量，其通過構(gòu)造并求解約束變分問題實(shí)現(xiàn)原始信號(hào)的分解，具有較好的信號(hào)分解精度和抗干擾等特點(diǎn)。文獻(xiàn)[14] 利用變分模態(tài)分解和粒子群算法優(yōu)化的支持向量回歸模型進(jìn)行電力負(fù)荷預(yù)測，實(shí)驗(yàn)結(jié)果表明，對(duì)比其他分解方法VMD 分解方法能夠取得更高的預(yù)測精度。雖然利用分解方法能夠提高負(fù)荷預(yù)測模型的精度，但由于分解得到的每一個(gè)分量都需要進(jìn)行單獨(dú)建模預(yù)測，不僅使模型的計(jì)算量變大、訓(xùn)練時(shí)間變長，還會(huì)使每個(gè)分量之間的共性信息提取的不充分。

針對(duì)以上負(fù)荷預(yù)測存在的問題，本文提出一種基于注意力機(jī)制和變模態(tài)分解下的改進(jìn)深度雙向門控循環(huán)單元VMD-IDBiGRU（Improved Deep Bidirectional Gated Recurrent Unit with Variable Mode Decomposition）的短期負(fù)荷預(yù)測模型。首先，利用VMD 將原始電力負(fù)荷數(shù)據(jù)分解為若干個(gè)平穩(wěn)的分量；然后，利用權(quán)值共享機(jī)制通過共享深度雙向門控循環(huán)單元DBiGRU（deep bi-directional gated recurrent unit）神經(jīng)網(wǎng)絡(luò)的部分結(jié)構(gòu)建立改進(jìn)的深度雙向門控循環(huán)單元IDBiGRU（improved deep bi-directional gated recurrent unit）神經(jīng)網(wǎng)絡(luò)，旨在提取數(shù)據(jù)雙向信息和分量間共性信息的同時(shí)簡化模型參數(shù)、提高訓(xùn)練速度，并引入注意力機(jī)制突出關(guān)鍵因素的影響。最后，通過實(shí)例驗(yàn)證，將本文所提模型與傳統(tǒng)模型進(jìn)行對(duì)比，以訓(xùn)練時(shí)間、均方根誤差、平均絕對(duì)百分比誤差等作為評(píng)價(jià)指標(biāo)進(jìn)行分析，驗(yàn)證了所提模型的有效性。

1 變分模態(tài)分解

VMD是Dragomiretskiy 等[15]在經(jīng)驗(yàn)?zāi)B(tài)分解的基礎(chǔ)上提出的。與EMD 和CEEMDEN 不同，VMD是一種自適應(yīng)非遞歸的信號(hào)分解方法，分解出的模態(tài)分量是一個(gè)有帶寬限制的調(diào)幅-調(diào)頻函數(shù)，具有良好的噪聲魯捧性。VMD具體的分解流程如下。

步驟1通過Hibert 變換計(jì)算每個(gè)模態(tài)分量uk(t)的分析信號(hào)以獲取單邊頻譜dk(t)，即

式中：δ(t)為狄拉克函數(shù)；uk(t)為分解得到的第k個(gè)模態(tài)分量；j為虛數(shù)單位；t為取樣時(shí)間。

將每個(gè)模態(tài)解析到的信號(hào)和其相對(duì)應(yīng)的中心頻率指數(shù)e-jωkt進(jìn)行混頻處理，將各模態(tài)的頻譜移位到對(duì)應(yīng)的基頻帶，即

式中：ωk為分解后第k個(gè)分量相應(yīng)的中心頻率；uk為移位后的第k個(gè)分解分量。

步驟2通過解調(diào)信號(hào)的高斯平滑度和梯度平方準(zhǔn)則來計(jì)算梯度平方L范數(shù)，由此估計(jì)各個(gè)模態(tài)信號(hào)的帶寬，其變分約束模型為

式中：*為卷積運(yùn)算；f(t)為未分解的主信號(hào)；K為分解后的模態(tài)分量個(gè)數(shù)；{uk}={u1,u2,…,uK}和{ωk}={ω1,ω2,…,ωK}分別為K階模態(tài)的集合及其中心頻率。

步驟3引入拉格朗日乘法算子及二次懲罰因子，將其變?yōu)闊o約束的變分模型，即

式中：λ為拉格朗日算子；α為二次懲罰因子；?t為偏導(dǎo)符號(hào)；λ(t)為拉格朗日算子的變動(dòng)函數(shù)。

步驟4為了得到式（4）的最優(yōu)值，VMD 應(yīng)用乘法算子交替方法來循環(huán)更新各個(gè)分解信號(hào){uk}及其對(duì)應(yīng)的中心頻率{ωk}，其循環(huán)更新的公式可表示為

步驟5當(dāng)循環(huán)迭代滿足設(shè)定的條件時(shí)循環(huán)終止，其循環(huán)終止條件為

式中，G為設(shè)定的最大迭代次數(shù)。

2 IDBIGRU 神經(jīng)網(wǎng)絡(luò)

2.1 BiGRU 神經(jīng)網(wǎng)絡(luò)

LSTM 是在RNN 的基礎(chǔ)上優(yōu)化而來[16]，其通過在記憶單元中加入獨(dú)有的門結(jié)構(gòu)，利用輸入門、輸出門和遺忘門進(jìn)行信息的篩選和儲(chǔ)存，成功地解決了RNN 中出現(xiàn)的梯度爆炸問題，因此，很適合處理電力負(fù)荷等大量的時(shí)序數(shù)據(jù)。近年來，為解決LSTM 中出現(xiàn)的參數(shù)過多、訓(xùn)練速度慢等問題，LSTM 中的輸入門和遺忘門被合并為更新門，衍生出了收斂速度更快的GRU。GRU 的單位神經(jīng)元通過更新門和重置門來處理上一時(shí)刻輸出的信息，更新門決定上一時(shí)刻信息對(duì)當(dāng)前時(shí)刻輸出的影響程度；重置門決定前一時(shí)刻的信息被忽略的程度。GRU單位神經(jīng)元結(jié)構(gòu)如圖1所示。

圖1 GRU 神經(jīng)元結(jié)構(gòu)Fig.1 Structure of GRU neuron

GRU隱藏層單元ht狀態(tài)更新公式可表示為

式中：xt為當(dāng)前時(shí)刻的輸入；rt、zt分別為重置門和更新門；gt為候選值；σ、tanh 分別為Sigmoid函數(shù)和雙面正切函數(shù)；Wr、Ur、Wz、Uz和W、U分別為重置門、更新門和隱藏層網(wǎng)絡(luò)狀態(tài)的權(quán)重矩陣；ht-1、ht分別為上一時(shí)刻和當(dāng)前時(shí)刻隱藏層神經(jīng)元的輸出；?表示復(fù)合關(guān)系。

將負(fù)荷序列輸入到GRU 后，信息總會(huì)從前到后進(jìn)行單向傳播，然而負(fù)荷序列具有明顯的正、反向規(guī)律性，因此歷史負(fù)荷和未來負(fù)荷對(duì)模型的預(yù)測精度均有影響[17]。BiGRU 作為一種雙向結(jié)構(gòu)，信息會(huì)在結(jié)構(gòu)中雙向傳播，能有效地考慮到未來負(fù)荷和過去負(fù)荷對(duì)當(dāng)前負(fù)荷的影響[18]。因此，BiGRU 由一正一反2個(gè)GRU結(jié)構(gòu)構(gòu)成，將數(shù)據(jù)分別以正向和反向的序列順序輸入到2個(gè)獨(dú)立的隱含層中，然后將2 個(gè)隱含層連接到同一個(gè)輸出層中，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 BiGRU 網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure of BiGRU network

由圖2 可知，當(dāng)前時(shí)刻的隱藏狀態(tài)ht-1由當(dāng)前時(shí)刻輸入xt及上一時(shí)刻沿著正向和反向傳播到隱藏層輸出的共同決定，其數(shù)學(xué)表達(dá)式為

式中：εt、βt分別為t時(shí)刻前向傳播和后向傳播GRU的隱藏層輸出權(quán)重；bt為偏置量。的計(jì)算式與計(jì)算ht的式（8）～（11）相同。

2.2 IDBiGRU 神經(jīng)網(wǎng)絡(luò)

由于影響電力負(fù)荷的因素較多，單層的BiGRU網(wǎng)絡(luò)在處理電力負(fù)荷數(shù)據(jù)時(shí)精確度欠佳，而深度網(wǎng)絡(luò)結(jié)構(gòu)能夠全方位的提取負(fù)荷特征[19]?；诖?，本文采用深度網(wǎng)絡(luò)結(jié)構(gòu)DBiGRU 模型來對(duì)電力負(fù)荷進(jìn)行預(yù)測，其隱藏層由3個(gè)串聯(lián)的BiGRU網(wǎng)絡(luò)單元組成，其結(jié)構(gòu)示意如圖3所示。

圖3 DBiGRU 網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Structure of DBiGRU network

圖3 中，DBiGRU 網(wǎng)絡(luò)和普通神經(jīng)網(wǎng)絡(luò)大致相同，由輸入層、隱藏層和全連接層組成。其中，隱藏層由3 個(gè)BiGRU 網(wǎng)絡(luò)組成。負(fù)荷數(shù)據(jù)通過輸入層進(jìn)入后，每一層BiGRU網(wǎng)絡(luò)都將同時(shí)從正向和反向?qū)π畔⑦M(jìn)行處理，處理完成后將全部輸出序列通過加法器進(jìn)行融合后傳輸?shù)较乱粚覤iGRU 網(wǎng)絡(luò)中。最后一層BiGRU 處理完數(shù)據(jù)后只返回輸出序列最后一個(gè)時(shí)間步的結(jié)果，最后通過全連接層輸出最后的預(yù)測結(jié)果。

將維度為k的第i個(gè)序列輸入到第一層DBiGRU網(wǎng)絡(luò)中，其輸出序列為

第n層的輸出序列為

式中：hn為第n層的輸出；為第n層的輸入；f為BiGRU的激活函數(shù)

最終的預(yù)測結(jié)果為

式中：Wd、Wq分別為全連接層和輸出層的權(quán)重；h為全連接層的激活函數(shù)；bd為全連接層的偏置；yi為最終預(yù)測結(jié)果；qd為全連接層的輸入。

雖然DBiGRU 能夠有效提高負(fù)荷模型的預(yù)測精度。但是如果按照傳統(tǒng)思路將分解算法分解得到的每一個(gè)分量都進(jìn)行單獨(dú)建模預(yù)測，訓(xùn)練時(shí)每個(gè)模型完全獨(dú)立訓(xùn)練，不僅會(huì)導(dǎo)致訓(xùn)練參數(shù)過多，訓(xùn)練速度過慢，還會(huì)導(dǎo)致各分量之間的共性信息提取不充分。因此，本文引入權(quán)值共享WS（weight sharing）機(jī)制[20]建立IDBiGRU模型。權(quán)值共享機(jī)制作為近年來的熱點(diǎn)，在圖像識(shí)別、語言交互等方面均得到廣泛應(yīng)用。IDBiGRU 模型本質(zhì)在于通過共享DBiGRU的部分參數(shù)，在達(dá)到減少訓(xùn)練參數(shù)、提高訓(xùn)練速度的同時(shí)充分提取各分量之間的共性信息。IDBiGRU結(jié)構(gòu)示意如圖4所示。

圖4 IDBiGRU 結(jié)構(gòu)示意Fig.4 Schematic of IDBiGRU structure

圖4中，IDBiGRU保留了DBiGRU原有的輸入、輸出層，將隱含層的一部分參數(shù)進(jìn)行了共享。在進(jìn)行訓(xùn)練時(shí)模型需要不斷更新權(quán)重和偏置兩部分參數(shù)，而權(quán)重的數(shù)量遠(yuǎn)遠(yuǎn)大于偏置的數(shù)量。為了能夠最大程度減少參數(shù)數(shù)量，在共享層中，n個(gè)BiGRU模型將使用同一個(gè)權(quán)重矩陣，即各個(gè)分量計(jì)算GRU隱藏層狀態(tài)及BiGRU隱藏層狀態(tài)ht時(shí)使用的權(quán)重是相同的。該層的權(quán)重?cái)?shù)量將會(huì)減少到原來的1/n，在訓(xùn)練時(shí)n個(gè)BiGRU 模型的權(quán)重也會(huì)進(jìn)行同步更新。具體更新方法：首先，通過分解算法將原始電力負(fù)荷分解為若干個(gè)分量后，分別輸入到第1層獨(dú)立層中，獨(dú)立層主要負(fù)責(zé)提取各分量的獨(dú)立信息；然后，進(jìn)入到第2 層共享層，在共享層中，各個(gè)模型之間的權(quán)重是共享的，該層負(fù)責(zé)提取各分量的共性信息；最后，進(jìn)入到第3層獨(dú)立層中，該層會(huì)進(jìn)一步有效挖掘數(shù)據(jù)之間的潛在特征，使模型在訓(xùn)練時(shí)具有更好的學(xué)習(xí)能力。電力負(fù)荷數(shù)據(jù)通過3層隱藏層之后進(jìn)入到全連接層，對(duì)數(shù)據(jù)進(jìn)行疊加后輸出最終的預(yù)測結(jié)果。在進(jìn)行訓(xùn)練時(shí)，IDBiGRU與普通的深度神經(jīng)網(wǎng)絡(luò)類似，采用誤差反向傳播來計(jì)算模型的誤差，并采用最小誤差法調(diào)整權(quán)重。

3 基于注意力機(jī)制的VMD-IDBiGRU 負(fù)荷預(yù)測

3.1 注意力機(jī)制

注意力機(jī)制類似于人腦對(duì)事物的觀察規(guī)律，人腦在處理接收到的圖像時(shí)會(huì)將注意力集中在某一需要重點(diǎn)關(guān)注的區(qū)域[21]。注意力機(jī)制通過概率分配的方式忽略無效信息放大所需信息，其本質(zhì)在于加強(qiáng)關(guān)鍵信息對(duì)于模型輸出結(jié)果的影響。將注意力機(jī)制引入神經(jīng)網(wǎng)絡(luò)中，可以通過對(duì)神經(jīng)網(wǎng)絡(luò)中的隱藏層狀態(tài)賦予不同的權(quán)重來提高模型的訓(xùn)練效率。具體結(jié)構(gòu)如圖5所示。

圖5 注意力機(jī)制單元結(jié)構(gòu)Fig.5 Structure of attention unit

圖5 中，x1～xn為預(yù)測模型的輸入；h1～hn為每一個(gè)輸入對(duì)應(yīng)的隱藏層的輸出；o1～on為每個(gè)隱藏層輸出的注意力概率分布值；y為經(jīng)過注意力機(jī)制處理后的模型輸出值。

3.2 模型總體結(jié)構(gòu)

基于注意力機(jī)制和VMD-IDBiGRU負(fù)荷預(yù)測模型層級(jí)結(jié)構(gòu)如圖6 所示。由圖6 可知，該模型主要由輸入層、分解層、BiGRU 層、注意力機(jī)制層、輸出層5個(gè)部分組成。

圖6 本文所提負(fù)荷預(yù)測模型Fig.6 Load prediction model proposed in this paper

（1）輸入層。將電力負(fù)荷數(shù)據(jù)通過劃分訓(xùn)練集和歸一化等預(yù)處理后，與電力負(fù)荷外部特征（溫度、濕度、節(jié)假日類型、日期類型等）合并作為模型的輸入。設(shè)經(jīng)過預(yù)處理后的數(shù)據(jù)序列長度為N，則輸入的數(shù)據(jù)可表示為X=[X1,X2,···,XN]T。

（2）分解層。利用VMD 將輸入的原始負(fù)荷數(shù)據(jù)分解為若干個(gè)平穩(wěn)的分量。本文通過計(jì)算分解后各模態(tài)分量的中心頻率來確定最佳的分解數(shù)量K。分解后的第i個(gè)分量可表示為，將分解好的數(shù)據(jù)通過滑動(dòng)窗口輸入到BiGRU層中，假設(shè)滑動(dòng)窗口大小為P，則在t時(shí)刻的輸入序列可表示為Xt=[Xt-P+1,Xt-P+2,···,Xt]T。

（3）BiGRU 層。該層由3 層BiGRU 結(jié)構(gòu)組成。第1 層和第3 層BiGRU 負(fù)責(zé)提取各分量的獨(dú)立信息；第2 層BiGRU 負(fù)責(zé)提取分量間的共性信息，具體結(jié)構(gòu)及計(jì)算方法見第3.1 節(jié)。BiGRU 層在t時(shí)刻的輸出ht可表示為

（4）注意力機(jī)制層。注意力機(jī)制層的輸入為經(jīng)過BiGRU 層計(jì)算輸出的隱藏層狀態(tài)ht，該層會(huì)根據(jù)注意力機(jī)制自適應(yīng)地計(jì)算不同輸入特征的權(quán)重，突出重要信息。注意力機(jī)制層在t時(shí)刻的輸出st可表示為

式中：vt為t時(shí)刻BiGRU層輸出的隱藏層狀態(tài)ht的概率分布值；w、u為權(quán)重系數(shù)；b為偏置系數(shù)；m為預(yù)測模型輸入向量的維度

（5）輸出層。輸出層本質(zhì)上是一層全連接層，通過激活函數(shù)計(jì)算出預(yù)測結(jié)果。本文選擇Sigmoid函數(shù)作為全連接層的激活函數(shù)，t時(shí)刻的模型輸出yt可表示為

式中，wo、bo分別為權(quán)重矩陣和偏置矩陣。

4 實(shí)例驗(yàn)證

為了驗(yàn)證本文所提方法的有效性和科學(xué)性，采用中國某地區(qū)2014 年—2015 年數(shù)據(jù)作為數(shù)據(jù)集。該數(shù)據(jù)集包括間隔15 min的歷史負(fù)荷數(shù)據(jù)、天氣數(shù)據(jù)和節(jié)假日數(shù)據(jù)。選用特征包括日平均最高溫度、日平均最低溫度、日降雨量、節(jié)假日類型、日期類型和季節(jié)類型。

實(shí)驗(yàn)使用的仿真軟件為MatlabR2018b，實(shí)驗(yàn)平臺(tái)為NVIDIA Tesla P100 GPU，8TB/16GB 內(nèi)存的服務(wù)器。

4.1 數(shù)據(jù)的預(yù)處理及誤差指標(biāo)

在數(shù)據(jù)的實(shí)際采集過程中，采集設(shè)備故障或者人為失誤操作等情況的發(fā)生會(huì)導(dǎo)致采集到一部分異?；蛘呖杖睌?shù)據(jù)。本文采用灰色系統(tǒng)理論中的均值生成來填補(bǔ)空缺或異常數(shù)據(jù)。為保證模型的訓(xùn)練速度，采用min-max 歸一化法將原始電力數(shù)據(jù)進(jìn)行歸一化，即

式中：xn為歸一化后的數(shù)據(jù)；x為原始電力負(fù)荷數(shù)據(jù)；、xmax和xmin分別為原始電力數(shù)據(jù)的平均值、最大值和最小值。

為了能夠客觀評(píng)價(jià)預(yù)測模型的精度，本文選取均方根誤差RMSE、平均絕對(duì)百分比誤差MAPE 作為評(píng)價(jià)模型精度和速度的指標(biāo)，其計(jì)算公式為

式中：n為預(yù)測樣本數(shù)量；yi、分別為電力負(fù)荷的實(shí)際值和預(yù)測值。RMSE、MAPE 越小，表示預(yù)測結(jié)果越好，相應(yīng)模型越優(yōu)。

4.2 預(yù)測結(jié)果及其對(duì)比分析

本文采用滑動(dòng)窗口的方式來進(jìn)行訓(xùn)練和預(yù)測，窗口長度為1 d，即以前96 個(gè)時(shí)間點(diǎn)的數(shù)據(jù)為“特征”，下一個(gè)時(shí)間點(diǎn)為“標(biāo)簽”。將“特征”數(shù)據(jù)帶入模型中獲取下一時(shí)刻負(fù)荷預(yù)測值，同時(shí)，窗口向前滑動(dòng)一個(gè)時(shí)間點(diǎn)，將預(yù)測值加入這一窗口，生成相同序列長度的新窗口；當(dāng)窗口中的數(shù)據(jù)全為預(yù)測值時(shí)，用真實(shí)數(shù)據(jù)覆蓋重置窗口，重新啟動(dòng)該過程。使用數(shù)據(jù)集中2014 年8 月—2015 年8 月數(shù)據(jù)作為訓(xùn)練集，對(duì)2015 年9 月—2015 年12 月每月連續(xù)一周的日負(fù)荷進(jìn)行預(yù)測。將GRU 模型、LSTM 模型、基于變模態(tài)分解的門控循環(huán)單元VMD-GRU（Gated recurrent unit based on variable mode decomposition）模型、基于變模態(tài)分解的長短期記憶VMD-LSTM（Long and short-term memory model based on variable mode decomposition）模型、基于變模態(tài)分解的雙向門控循環(huán)單元VMD-BiGRU（Bidirectional Gated Recurrent Unit Based on Variable Mode Decomposition）模型、基于變模態(tài)分解的深度雙向門控循環(huán)單元VMD-DBiGRU（Deep Bidirectional Gated Recurrent Unit Based on Variable Mode Decomposition），以及未引入注意力機(jī)制的VMD-IDBiGRU模型和本文模型進(jìn)行對(duì)比分析，所有模型均輸入相同的歷史負(fù)荷和特征，對(duì)同一測試集進(jìn)行預(yù)測。

采用VMD 分解原始電力負(fù)荷，分解之前需要預(yù)先確定分解個(gè)數(shù)。由于VMD分解算法相當(dāng)于自適應(yīng)維納濾波器組，當(dāng)分解個(gè)數(shù)較少時(shí)會(huì)導(dǎo)致原始信號(hào)中的信息被過濾掉一部分；當(dāng)分解個(gè)數(shù)較多時(shí)，會(huì)導(dǎo)致分量之間的中心頻率較近從而產(chǎn)生模態(tài)混疊現(xiàn)象。本文通過計(jì)算不同分解數(shù)下的中心頻率來確定最佳分解數(shù)量K，不同分解數(shù)下各分量中心頻率如表1所示。

由表1 可以看出，當(dāng)分解數(shù)量為6 時(shí)，IMF4、IMF5的中心頻率分別為0.205 4和0.276 1，兩者中心頻率相似；當(dāng)分解數(shù)量為7時(shí)，IMF4、IMF5、IMF6和IMF7的波形相似，中心頻率分別為0.348 1、0.473 6、0.395 1 和0.427 9。因此可以判定，當(dāng)K＞5 時(shí)發(fā)生過分解，得出K=5。將分解后的數(shù)據(jù)輸入到各模型中進(jìn)行預(yù)測，各模型預(yù)測結(jié)果評(píng)價(jià)如表2所示。

表1 分量中心頻率Tab.1 Center frequencies of components

表2 不同模型預(yù)測指標(biāo)對(duì)比Tab.2 Comparison of prediction indexes among different models

由評(píng)價(jià)指標(biāo)的平均值可以得出，本文所提模型的預(yù)測精度是8種方法中最高的，預(yù)測精度達(dá)到了96.67%；RMSE相較于其它方法分別降低了140.91、147.7、97.26、92.38、52.17、24.39 和18.12 MW；MAPE 分別降低了2.81%、2.87%、1.81%、1.74%、1.37%、0.69%、和0.42%。在RMSE和MAPE指標(biāo)上均有明顯的下降，表明本文模型相較于其他模型的預(yù)測性能和精度都有所提高。

由表2 數(shù)值具體分析可以得出：①分解加預(yù)測的VMD-GRU 和VMD-LSTM 組合模型相較于GRU和LSTM這類單一的負(fù)荷預(yù)測模型，RMSE和MAPE指標(biāo)均有不同程度的下降，說明通過分解算法將數(shù)據(jù)分解后再進(jìn)行預(yù)測能夠有效提高模型的預(yù)測精度；②采用雙向結(jié)構(gòu)的VMD-BiGRU 相比單向結(jié)構(gòu)模型VMD-GRU 和VMD-LSTM，RMSE 和MAPE 指標(biāo)有較大程度的下降，說明了雙向結(jié)構(gòu)的有效性；③VMD-DBiGRU 相 較 于VMD-BiGRU，RMSE 和MAPE 指標(biāo)也有所下降，說明通過深度結(jié)構(gòu)對(duì)數(shù)據(jù)特征進(jìn)行深度挖掘能夠有效提高模型的精度；④采取部分結(jié)構(gòu)共享的VMD-IDBiGRU 的RMSE 指標(biāo)和MAPE指標(biāo)相較于VMD-DBiGRU也有所下降，說明通過權(quán)值共享提取分量間的共性信息也能夠提高模型精度；⑤本文模型的MAPE 和RMSE 指標(biāo)低于VMD-DBiGRU 模型，說明通過attention 機(jī)制突出關(guān)鍵特征對(duì)預(yù)測結(jié)果的影響使預(yù)測精度有了一定的提升。為進(jìn)一步可視化不同模型的預(yù)測效果，選取2015 年10 月15 日的預(yù)測值和真實(shí)值進(jìn)行對(duì)比，如圖7所示。

由圖7 可以看出，本文所提預(yù)測模型相較于其他模型能夠更好的貼近真實(shí)值，具有更好的預(yù)測精度。

圖7 不同模型預(yù)測結(jié)果對(duì)比Fig.7 Comparison of prediction result among different models

負(fù)荷預(yù)測除了預(yù)測精度以外，模型訓(xùn)練時(shí)間也是考察模型有效性的重要指標(biāo)，不同分解加組合模型的訓(xùn)練時(shí)間如表3所示。

由表3 數(shù)值分析可知，在采用單向結(jié)構(gòu)的模型中，由于GRU將LSTM中的輸入門和遺忘門簡化為更新門，所以VMD-GRU 的訓(xùn)練速度要快于VMD-LSTM；在采用雙向結(jié)構(gòu)的模型中，VMD-BiGRU 預(yù)測模型的訓(xùn)練速度最快，而VMD-DBiGRU 的訓(xùn)練速度最慢。這主要是由于DBiGRU 采用的是多層BiGRU結(jié)構(gòu)，在進(jìn)一步追求預(yù)測精度的同時(shí)也會(huì)付出較多的時(shí)間成本；采用權(quán)值共享機(jī)制的VMD-IDBiGRU 模型相較于VMD-DBiGRU 訓(xùn)練速度有較大提升，說明通過共享權(quán)值提取共性信息除了能夠提高預(yù)測精度以外，對(duì)預(yù)測效率方面也有所優(yōu)化。

表3 不同模型訓(xùn)練時(shí)間對(duì)比Tab.3 Comparison of training time among different models

5 結(jié)論

本文構(gòu)建了一種基于注意力機(jī)制的VMD-IDBiGRU 負(fù)荷預(yù)測模型。首先，利用VMD 將原始電力負(fù)荷數(shù)據(jù)進(jìn)行分解；然后，采用基于attention和權(quán)值共享機(jī)制的IDBiGRU模型進(jìn)行預(yù)測，以中國某地區(qū)電力實(shí)際數(shù)據(jù)作為實(shí)例進(jìn)行驗(yàn)證分析；最后，將本文所提模型與GRU、LSTM、VMD-GRU、VMDLSTM、VMD-BiGRU、VMD-DBiGRU 模型，以及未引入attention 機(jī)制的VMD-IDBiGRU 模型相比較，得出以下結(jié)論。

（1）采用VMD 分解算法將原始數(shù)據(jù)分解后再預(yù)測能夠有效地降低原始數(shù)據(jù)的波動(dòng)性，提高模型的預(yù)測精度。

（2）利用權(quán)值共享機(jī)制IDBiGRU不僅能夠有效提取分量間共性信息從而提高預(yù)測精度，還能提高模型的訓(xùn)練速度，從而克服傳統(tǒng)分解加預(yù)測模型的缺點(diǎn)。

（3）attention機(jī)制的引入，能夠突出重要特征的作用，提高模型的訓(xùn)練效率。