基于二維卷積特征提取的雙向LSTM短期電力負荷預(yù)測

沈俊豪，沈艷霞

（江南大學物聯(lián)網(wǎng)技術(shù)應(yīng)用教育部工程研究中心，江蘇 無錫 214122）

0 引言

準確的負荷預(yù)測能夠供電企業(yè)的電力調(diào)度、電力設(shè)施建設(shè)等提供重要依據(jù)，同時也是確保電力系統(tǒng)安全穩(wěn)定運行的重要手段之一[1-2]。

然而電力負荷受多個因素的影響，如時間、氣溫等，具有高維非線性的特點，許多預(yù)測模型難以貼切地描述負荷變化，嚴重影響了預(yù)測精度[3-4]。

文中考慮短期電力負荷預(yù)測，將CNN模型自動提取隱式特征能力以及LSTM解決時間序列長時間依賴問題的能力相結(jié)合，提出采用基于二維CNN特征提取的雙向LSTM預(yù)測模型，即Conv2D-LSTM預(yù)測模型。區(qū)別于Conv1D-LSTM模型，文中對時間序列重新排列，變換其數(shù)據(jù)流通方向，保證其充分提取其高維特征。把CNN提取到的深層特征重新變換為時間序列，再對新的時間序列應(yīng)用雙向LSTM進行預(yù)測，提高負荷預(yù)測的精度。

1 Conv2D-LSTM負荷預(yù)測模型

Conv2D-LSTM模型的流程圖如圖1所示，圖1（a）為輸入的歷史時間序列，包含實際功率和實際的氣象特征，圖1（e）為待預(yù)測日的氣象預(yù)報特征。將圖1（a）中輸入的長時間序列以一天的采樣點數(shù)為周期轉(zhuǎn)換為二維的圖片，采取二維卷積提取序列的周期性特征。接著，將提取到的特征重新轉(zhuǎn)換為長時間序列并與圖1（e）中的序列在序列的最后一個維度上進行拼接，輸入至雙向LSTM中，實現(xiàn)最終的負荷預(yù)測。圖中，n為輸入歷史序列的天數(shù)，T為一天的采樣點數(shù)。

圖1 Conv2D-LSTM模型流程圖

1.1 卷積層

CNN網(wǎng)絡(luò)能夠有效提取圖片的特征[5]，二維輸入的卷積運算可表示為。

式中，Vl+1為第l層輸出的特征圖，i和j 為像素坐標，w為第l層的權(quán)重矩陣，b為第l層的偏移量，Ll為第l層輸出的特征圖尺寸，p為填充層數(shù)，s0為卷積步長，f為卷積核大小，Kf為通道數(shù)。

可見，CNN網(wǎng)絡(luò)應(yīng)用在電力負荷序列轉(zhuǎn)換的圖片中時，可以提取上一個周期和下一個周期的周期性特征，也可以提取上一個時間點和下一個時間點的時序特征，加強了模型的特征提取能力。

1.2 長短期記憶神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)都具有一連串重復(fù)循環(huán)單元[6]，這種循環(huán)單元有如圖2所示結(jié)構(gòu)。

圖2 LSTM網(wǎng)絡(luò)結(jié)構(gòu)

其迭代計算公式可表示為。

公式(3～8)為LSTM網(wǎng)絡(luò)的結(jié)構(gòu)公式，[ht-1,Xt]為上一時刻的輸出ht-1和當前時刻的輸入Xt兩個向量的連接，符號?號為向量的點乘，符號*號為向量按位相乘。ft、it、ot分別為遺忘門、輸入門、輸出門，Wf、Wi、Wc、Wo為對應(yīng)門的權(quán)重，bf、bi、bc、bo為相應(yīng)向量的偏置量，為當前輸入的單元狀態(tài)，Ct為當前時刻的單元狀態(tài)，Ct-1為上一時刻的單元狀態(tài)，ht為當前時刻的輸出，σ為sigmoid函數(shù)。

如圖1（g）中從左至右箭頭所示，LSTM的輸出ht只與之前的輸入有關(guān)而與之后輸入無關(guān)，為此，將LSTM的遞歸反向，如圖1（g）中從右向左的箭頭，通過雙向循環(huán)神經(jīng)網(wǎng)絡(luò)的疊加，可以使ht與所有時刻的輸入有關(guān)，從而提高預(yù)測的精度。最后將LSTM的輸出連接到全連接層，輸出預(yù)測值。

2 仿真實驗

2.1 模型運行環(huán)境及參數(shù)設(shè)置

文中使用2006年1月1日至2010年12月31日澳大利亞電價與電力負荷數(shù)據(jù)集，以半小時為采樣周期，每天采樣48組數(shù)據(jù)，共87648條數(shù)據(jù)。將2006年1月1日至2009年12月31日的數(shù)據(jù)作為訓練集，將2010年1月1日至2010年12月31日的數(shù)據(jù)作為測試集，每次通過過去7天的歷史數(shù)據(jù)預(yù)測未來一天的48個時間點數(shù)據(jù)。

訓練的損失函數(shù)為均方根誤差，優(yōu)化器為Adam，學習率設(shè)置為0.001，隨機失活20%。設(shè)置LSTM的神經(jīng)元個數(shù)為64個，激活函數(shù)為tanh，全連接層的神經(jīng)元個數(shù)為48個，激活函數(shù)為relu。

為了評估預(yù)測模型的準確度，使用平均絕對百分比誤差（MAPE）和均方根誤差（RMSE），計算公式如下。

其中，Ytrue為真實值，Ypred為預(yù)測值，n為預(yù)測樣本數(shù)量。

2.2 實驗結(jié)果

借鑒VGGNet模型的思想，選擇多個小卷積核能夠達到一個大卷積核同樣的感受野，在固定模型其他結(jié)構(gòu)不變的情況下，使用3×3的小卷積核，對不同卷積層數(shù)對模型精度的影響進行測試[7]，結(jié)果如表1所示。

表1 不同卷積層數(shù)對模型精度的影響

可見，使用二層卷積層時，特征提取能力不足，四層和五層卷積層時，誤差變大，反應(yīng)出模型過度學習。綜上，三層卷積層的效果最佳。

經(jīng)過實驗確定模型參數(shù)后,對LSTM模型、GRU模型、Conv1D-LSTM模型以及文中的Conv2D-LSTM模型進行訓練和仿真驗證。對每個模型訓練，取得各個模型中表現(xiàn)最佳的模型，對2010年全年進行連續(xù)日負荷預(yù)測，

由于季節(jié)變化和節(jié)假日等日類型均會對負荷預(yù)測產(chǎn)生較大的影響，文中對各模型隨不同日類型的日負荷進行對比，其結(jié)果如表2所示。

表2 各模型隨不同日類型的預(yù)測結(jié)果對比

在全年誤差上，Conv2D-LSTM模型相比LSTM模型、GRU模型和Conv1D-LSTM模型，MAPE分別降低0.7、0.77和0.27個百分點，RMSE分別降低121.64MW、118.1MW和36.37MW，預(yù)測精度更高。

在隨日類型變化方面，4種模型在休息日的誤差均有增大，而Conv1D-LSTM模型和Conv2D-LSTM混合模型表現(xiàn)較為平穩(wěn)且MAPE較低，表現(xiàn)出CNN結(jié)構(gòu)較強的適應(yīng)能力。

整體而言，Conv2D-LSTM混合模型在全年負荷預(yù)測的MAPE均保持在較低的水平，體現(xiàn)文中所提模型具有較好的魯棒性和準確性。

3 結(jié)語

分析了CNN及LSTM模型的原理，提出了二維CNN和雙向LSTM的組合電力負荷預(yù)測模型，算例分析表明文中所提模型通過二維CNN和雙向LSTM融合，提高了模型對季節(jié)變化、節(jié)假日類型等不同日類型負荷預(yù)測的準確性。相比于LSTM模型、GRU模型和Conv1D-LSTM模型，該方法更具實際應(yīng)用價值。