基于變分模態(tài)分解的卷積神經(jīng)網(wǎng)絡(luò)?雙向門控循環(huán)單元?多元線性回歸多頻組合短期電力負(fù)荷預(yù)測

方娜，李俊曉，陳浩，李新新

（湖北工業(yè)大學(xué)電氣與電子工程學(xué)院，湖北省 武漢市 430068）

0 引言

負(fù)荷預(yù)測為電力需求側(cè)管理提供了指導(dǎo)，是電力企業(yè)合理制定調(diào)度計劃的前提條件[1]。其中，短期負(fù)荷預(yù)測是對未來幾小時或幾天的負(fù)荷做出預(yù)測，其精度將直接影響調(diào)度計劃制定的合理性[2]。對于短期負(fù)荷數(shù)據(jù)，較易發(fā)現(xiàn)負(fù)荷與其影響因素的關(guān)系。因此，應(yīng)充分研究負(fù)荷變化規(guī)律，分析相關(guān)影響因子，提高短期負(fù)荷預(yù)測精度。

關(guān)于負(fù)荷預(yù)測模型，主要分為統(tǒng)計模型和基于人工智能的模型2類。統(tǒng)計模型以指數(shù)平滑[3]（exponential smoothing，ES）法和隱馬爾可夫模型[4]（hidden Markov model，HMM）為代表。ES法計算速度快，但不能有效辨別數(shù)據(jù)序列中的轉(zhuǎn)折點；HMM只依賴于每一個狀態(tài)和它對映的觀察對象，不能有效利用上下文信息?；谌斯ぶ悄艿哪Ｐ蛯τ诜蔷€性的數(shù)據(jù)序列有較好的擬合能力，主要包括循環(huán)神經(jīng)網(wǎng)絡(luò)[5]（recurrent neural network，RNN）、長短期記憶[6-7]（long shortterm memory，LSTM）網(wǎng)絡(luò)和門控循環(huán)單元[8-9]（gated recurrent unit，GRU）。RNN通過當(dāng)前輸入值和之前的預(yù)測值來影響預(yù)測值，但極易發(fā)生梯度消失和梯度爆炸；LSTM具有長時記憶功能，解決了因序列過長而導(dǎo)致的梯度消失和梯度爆炸問題，但收斂速度較慢；GRU將LSTM的遺忘門和輸入門合并，參數(shù)更少，更易于收斂；雙向（bidirectional，Bi）GRU由2個單向GRU構(gòu)成，在每一時刻，輸入會同時提供2個方向相反的GRU，而輸出則由這2個單向GRU共同決定，充分提取數(shù)據(jù)的所有信息，提升特征提取的準(zhǔn)確率。

同時，可以將數(shù)據(jù)序列進(jìn)行分解，常見的數(shù)據(jù)分解方法有小波分解[10]（wavelet decomposition，WD）、經(jīng)驗?zāi)B(tài)分解[11]（empirical mode decomposition，EMD）和變分模態(tài)分解（variational mode decomposition，VMD）。WD對于不同的序列需要選擇不同的小波基才能達(dá)到較好的分解效果，適用性不強(qiáng)；EMD在信號出現(xiàn)階躍性變化時，易發(fā)生模態(tài)混疊；VMD可以自行選擇分解個數(shù)，相比EMD靈活性更強(qiáng)，并且可以降低模態(tài)混疊。

由于電力負(fù)荷影響因素復(fù)雜，涉及天氣、節(jié)假日等多類因素，呈現(xiàn)出較強(qiáng)的隨機(jī)性和非周期成分，傳統(tǒng)的單一預(yù)測模型無法根據(jù)不同的負(fù)荷特點精確預(yù)測，本文構(gòu)建一種基于VMD分解的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）-BiGRU- 多元線性回歸（multiple linear regression，MLR）的組合預(yù)測模型，并引入主要影響因素和相似日的概念。

1 VMD

VMD是2014年首次提出的一種自適應(yīng)、完全非遞歸的模態(tài)變分方法。VMD利用交替方向乘子法和迭代更新得到模型的最優(yōu)解，從而計算出每個模態(tài)的中心頻率和有限帶寬[12]。VMD相比于EMD具有明顯優(yōu)勢，主要表現(xiàn)在可以根據(jù)實際情況自適應(yīng)地確定分解個數(shù)，實現(xiàn)固有模態(tài)分量的有效分離。同時，VMD可以解決分解結(jié)果中出現(xiàn)的模態(tài)混疊和端點效應(yīng)問題，針對非線性、波動較大的復(fù)雜序列，表現(xiàn)出更強(qiáng)的信號處理優(yōu)勢。

2 基于VMD 分解的CNN-BiGRU-MLR預(yù)測模型

2.1 CNN-BiGRU模型

CNN主要由卷積層、池化層和全連接層組成。卷積層作為重要組成部分，其中的卷積核Cj進(jìn)行內(nèi)部特征的提取[13]；池化層通過刪除不必要的信息并壓縮特征向量，提高計算速度，文中選擇的是最大池化層；全連接層的作用是綜合提取到的的特征信息。

式中： σ代表激活函數(shù)；Ai代表輸入； ?代表卷積運算；wi表示權(quán)值矩陣；bi為偏置矩陣。

雖然CNN可以進(jìn)行局部特征的提取，但會忽略數(shù)據(jù)序列前后之間的聯(lián)系。而BiGRU不僅能夠降低梯度消失和梯度爆炸，還能彌補(bǔ)CNN不能有效提取數(shù)據(jù)序列前后信息的缺陷。BiGRU是由2個單向的、方向相反的GRU組成的神經(jīng)網(wǎng)絡(luò)模型，具體結(jié)構(gòu)如圖1所示。

式中：xt為輸入；為正向隱層狀態(tài)輸出；為反向隱層狀態(tài)輸出；wt為t時刻正向隱層狀態(tài)所對映的權(quán)重；vt為反向隱層狀態(tài)所對映的權(quán)重；tb為t時刻隱層狀態(tài)對映的偏置。

通過將CNN和BiGRU結(jié)合，CNN進(jìn)行數(shù)據(jù)特征的挖掘，BiGRU通過正反2個方向?qū)μ卣飨蛄窟M(jìn)行提取，提高特征提取的準(zhǔn)確率。CNNBiGRU模型如圖2所示。

2.2 MLR

MLR是利用最小二乘函數(shù)對多個自變量和因變量之間的關(guān)系進(jìn)行建模，主要適用于趨勢平穩(wěn)、周期性強(qiáng)的數(shù)據(jù)序列。與普通的神經(jīng)網(wǎng)絡(luò)相比，MLR在預(yù)測速度和參數(shù)調(diào)整上均有一定優(yōu)勢，其展開式如下：

式中：yi指待預(yù)測負(fù)荷；xij為歷史負(fù)荷數(shù)據(jù)及主要影響因素； βi為回歸系數(shù)； μ為隨機(jī)擾動[14]。通過計算，得到回歸函數(shù)，公式如下：

2.3 負(fù)荷預(yù)測模型

為了克服單一預(yù)測模型的不足，文中提出一種基于“分解—預(yù)測—重構(gòu)”的短期負(fù)荷預(yù)測模型。該模型先使用相關(guān)度分析進(jìn)行相似日選取，并將其負(fù)荷及主要影響因素組成2個新的數(shù)據(jù)序列，通過VMD將其分解為若干個本征模函數(shù)；將負(fù)荷高頻分量和主要影響因素高頻分量一一對應(yīng)，使用CNN-BiGRU分別預(yù)測；對于趨勢較為平緩的低頻分量，將其依次進(jìn)行疊加，并加入影響因素低頻分量，使用MLR進(jìn)行預(yù)測；最后將其組合重構(gòu)，得到最終預(yù)測結(jié)果。負(fù)荷預(yù)測模型如圖3所示。

3 誤差評價指標(biāo)和數(shù)據(jù)預(yù)處理

3.1 誤差評價指標(biāo)

誤差評價指標(biāo)是衡量負(fù)荷預(yù)測模型優(yōu)劣的重要指標(biāo)，文中主要用到了平均絕對百分比誤差（mean absolute percentage error，MAPE）、均方根誤差（root mean square error，RMSE）和決定系數(shù)R2。MAPE衡量預(yù)測準(zhǔn)確性，RMSE衡量預(yù)測值和實際值的誤差，表示曲線擬合度，其公式如下所示：

3.2 數(shù)據(jù)預(yù)處理

數(shù)據(jù)來源于澳大利亞2006年5月2日—2006年6月2日的數(shù)據(jù)，采樣間隔為0.5 h，其中包含電力負(fù)荷和各類氣候因素、電價等共6類數(shù)據(jù)。

3.2.1 影響因素選取

負(fù)荷受電價、天氣以及社會環(huán)境等因素影響，因此可通過相關(guān)系數(shù)計算得出對負(fù)荷影響較大的因素，如公式（10）所示。其中 γxy表示相關(guān)系數(shù)；xi指 各類影響因素；yi為負(fù)荷數(shù)據(jù)。由表1可知，可選擇干球溫度作為主要的影響因素。

表1 影響因素相關(guān)系數(shù)Table 1 The correlation coefficient of influencing factor

3.2.2 相似日選取

由于負(fù)荷水平受人們生活生產(chǎn)習(xí)慣影響，可將日類型分為工作日和休息日2類。該數(shù)據(jù)集中選擇2006年6月2日、星期五為待測日，根據(jù)日類型分類，選擇5月22日—5月26日、5月29日—6月1日共9d的負(fù)荷作為原始數(shù)據(jù)，但為了篩選出更有效的輸入，還應(yīng)進(jìn)行相似日選取?！跋嗨迫铡笔侵肛?fù)荷與待測日負(fù)荷狀況相似的歷史樣本日，文中通過計算各歷史樣本日和待測日的干球溫度的關(guān)聯(lián)度，選擇關(guān)聯(lián)度較大的幾日為相似日。

關(guān)聯(lián)度是指2個系統(tǒng)的對象隨時間或其他指標(biāo)而變化的關(guān)聯(lián)性大小的量度[15]，原理如下

式中：X0={X0(1)，X0(2),...,X0(n)}為參考序列；Xi={Xi(1)，Xi(2),...,Xi(n)}為對比序列；為均值處理。Y0是新的參考序列；Yi是新的對比序列，則2者之間的關(guān)聯(lián)系數(shù)為

式中： Δi(k)是Y0與Yi的絕對差序列；m為對比序列個數(shù)；n為 序列長度； ρ為分辨系數(shù)，此處取值為0.5；指兩級最小值，即先查找Δi(k)的最小值，再在這些最小值中尋找所有序列的最小值，同理為兩級最大值。ri為關(guān)聯(lián)度，其關(guān)聯(lián)度排序如圖4所示。

由圖4可知，可選擇6月1日、5月22日、5月23日、5月26日、5月25日共5d作為相似日，并將其對映的負(fù)荷和干球溫度組成新的數(shù)據(jù)序列。

3.2.3 異常值處理和歸一化

異常值多是因為數(shù)據(jù)采集器故障或者工作人員在數(shù)據(jù)錄入時產(chǎn)生的錯誤，文中異常值均使用平均值法進(jìn)行填充[16]。

在將異常值進(jìn)行平均值填充后，還應(yīng)進(jìn)行歸一化處理。因為在計算誤差評價指標(biāo)時，其量綱單位有所不同，而數(shù)據(jù)歸一化可以有效解決該問題，使得指標(biāo)之間具有可比性。文中選用線性歸一化，具體公式如下

4 算例仿真分析

4.1 VMD分解

VMD在EMD基礎(chǔ)上改進(jìn)，有效減少了端點效應(yīng)和模態(tài)混疊，其核心思想是構(gòu)建和求解變分問題[17]。研究表明，分解個數(shù)K的取值不當(dāng)將會導(dǎo)致重構(gòu)后的信號和原始信號出現(xiàn)偏差，從而導(dǎo)致預(yù)測精度有所降低[18-19]。因此，應(yīng)首先確定分解個數(shù)K。文中通過觀察VMD分解后得到的各個模態(tài)的中心頻率來確定分解個數(shù)K，當(dāng)2個模態(tài)的中心頻率相差較小，則認(rèn)為發(fā)生了過分解[20]。各模態(tài)中心頻率如表2所示。

由表2可知，當(dāng)K取值為8時，模態(tài)3和4的中心頻率分別為433.9932 Hz和488.0786 Hz，相差較小，則認(rèn)為發(fā)生了過分解，因此將分解個數(shù)設(shè)定為7。VMD分解圖如圖5所示。

4.2 組合分量和CNN、BiGRU層數(shù)的選取

通過將負(fù)荷序列和干球溫度序列分別進(jìn)行VMD分解，得到若干個模態(tài)分量。為了節(jié)約預(yù)測時間，可將各本征模函數(shù)（intrinsic mode functions，IMF）分量進(jìn)行疊加。由圖5可知，IMF分量按照過零率依次排列，為了確定合適的低頻分量，可將各IMF依據(jù)過零率從小到大依次進(jìn)行疊加，并引入相同個數(shù)的干球溫度低頻分量，使用MLR預(yù)測，未疊加部分則與干球溫度高頻分量一一對應(yīng)，分別使用CNN-BiGRU進(jìn)行預(yù)測，最后將各預(yù)測結(jié)果疊加重構(gòu)得到最終預(yù)測結(jié)果，其MAPE、RMSE、R2如表3所示。

由表3可知，當(dāng)5個低頻分量進(jìn)行疊加預(yù)測時，其MAPE最小。因此，可將2個高頻分量分別使用CNN-BiGRU進(jìn)行預(yù)測，剩余低頻分量使用MLR進(jìn)行預(yù)測。

表3 低頻個數(shù)選取Table 3 Selection of low frequency numbers

使用原始負(fù)荷數(shù)據(jù)對提出的CNN-BiGRU預(yù)測模型進(jìn)行調(diào)優(yōu)，從而確定CNN和BiGRU的層數(shù)。通過固定卷積核數(shù)目和內(nèi)核大小，以MAPE為衡量標(biāo)準(zhǔn)確定CNN層數(shù)。同理，通過固定神經(jīng)元數(shù)量和訓(xùn)練輪數(shù)，以MAPE為衡量標(biāo)準(zhǔn)確定BiGRU層數(shù)。由表4、5可知，當(dāng)CNN層數(shù)為2、BiGRU層數(shù)為1時，MAPE值最小。因此CNN層數(shù)設(shè)定為2，BiGRU層數(shù)設(shè)定為1。

4.3 仿真結(jié)果對比

針對CNN-BiGRU模型，BiGRU設(shè)為1層，神經(jīng)元個數(shù)設(shè)定為64，CNN設(shè)置為2層，卷積核數(shù)目均設(shè)定為256，內(nèi)核大小設(shè)定為4，同時對GRU、VMD-GRU、VMD-GRU-MLR等模型進(jìn)行仿真實驗，并調(diào)整參數(shù)，確定最優(yōu)模型。

4.3.1 考慮相似日和不考慮相似日

為了驗證相似日是否可以提高預(yù)測精度，分別使用相似日和普通數(shù)據(jù)為輸入，利用VMDCNN-BiGRU-MLR模型預(yù)測2006年6月2日的負(fù)荷數(shù)據(jù)，MAPE、RMSE、R2如表6所示。

由表6可知，與普通數(shù)據(jù)相比，使用相似日進(jìn)行預(yù)測，MAPE降低了0.1257%，RMSE降低了13.0862 MW，R2有所提高。由圖6放大區(qū)域可知，考慮相似日的曲線在波谷部分?jǐn)M合效果更好，這是由于選取相似日為模型提供了更多有效的數(shù)據(jù)輸入，因此擬合效果更好。

表6 是否考慮相似日的預(yù)測結(jié)果對比Table 6 Contrast of prediction results whether similar days are considered

表5 BiGRU層數(shù)選取Table 5 Selection of BiGRU layers

4.3.2 VMD與EMD的對比

為了驗證VMD在數(shù)據(jù)分解方面的先進(jìn)性，通過分別使用模型EMD-CNN-BiGRU-MLR和模型VMD-CNN-BiGRU-MLR預(yù)測2006年6月2日的負(fù)荷數(shù)據(jù)，MAPE、RMSE、R2具體如表7所示。

由表7可知，相比EMD-CNN-BiGRU-MLR，VMD-CNN-BiGRU-MLR的預(yù)測結(jié)果在 MAPE、RMSE上分別降低0.5314%和66.6278 MW。由圖7放大區(qū)域可知，VMD-CNN-BiGRU-MLR的預(yù)測曲線在波峰部分更接近于真實值曲線，這是因為VMD可以自適應(yīng)地選擇分解個數(shù)，與EMD相比靈活性更強(qiáng)，可以減少模態(tài)混疊和端點效應(yīng)的發(fā)生。

表7 VMD與EMD預(yù)測結(jié)果對比Table 7 Comparison of prediction results by VMD and EMD respectively

4.3.3 組合模型性能對比

為了驗證VMD、CNN、BiGRU和MLR的組合性能，可將其依次疊加組合，并同時預(yù)測2006年6月2日1d的負(fù)荷數(shù)據(jù)，其MAPE、RMSE、R2如表8所示。

由表8可知，模型GRU和VMD-GRU在MAPE和RMSE方面均高于其他預(yù)測模型，這是由于GRU和VMD-GRU預(yù)測模型單一，不能根據(jù)數(shù)據(jù)波動進(jìn)行調(diào)整，從而導(dǎo)致偏差較大。由圖8放大區(qū)域可知，VMD-CNN-GRU-MLR模型與VMDGRU-MLR模型相比，在波峰部分更加貼近于真實值曲線，這是由于CNN中的池化層可以篩選并刪除一些不重要的信息，在提高計算速度的同時，還能為預(yù)測模型篩選出更優(yōu)的輸入數(shù)據(jù)。

表8 不同組合模型的預(yù)測結(jié)果Table 8 Prediction results by different combined models

由圖9可知，模型VMD-CNN-BiGRU-MLR在波峰階段的擬合效果更好，這是因為雙向的GRU神經(jīng)網(wǎng)絡(luò)能夠通過正反2個方向進(jìn)行特征向量的提取，充分挖掘數(shù)據(jù)的時序信息，并分析其中的復(fù)雜非線性關(guān)系，從而提高模型預(yù)測精度。

5 結(jié)論

本文提出的基于相似日和VMD分解的CNNBiGRU-MLR多頻組合短期電力負(fù)荷預(yù)測模型特點如下：

1）通過相似日的選取，為預(yù)測模型提供更多有效的輸入，因此擬合效果更好。

2）將VMD分解后得到的高頻部分使用CNNBiGRU進(jìn)行預(yù)測，充分挖掘數(shù)據(jù)的時序信息。

3）由仿真結(jié)果可知，文中提出的分頻組合預(yù)測模型不僅可以預(yù)測出負(fù)荷的整體變化趨勢，同時對于波峰和波谷部分也有較好的擬合效果，相比于其他單一預(yù)測模型預(yù)測精度明顯提高。