基于Attention機制和ResNet的CNN-BiLSTM短期電力負荷預測模型研究

王立則,謝 東*,周立峰,王漢青

(1.南華大學 土木工程學院,湖南 衡陽 421001;2.南華大學 建筑環(huán)境控制技術湖南省工程實驗室,湖南 衡陽 421001)

0 引 言

負荷預測依據(jù)預測時間長短可分為長期、中期、短期和超短期。其中,短期負荷預測主要用于制定電力負荷調度計劃,包括設備檢修、確定負荷分配比例、控制電網(wǎng)功率平衡等。準確的短期負荷預測有利于電力系統(tǒng)對用電量的精準把控和有效調度,有利于制定電力生產(chǎn)計劃、確定配電網(wǎng)運行方式等。

短期電力負荷受多種因素影響(氣象因素、日類型等),導致電力負荷呈現(xiàn)較高的隨機性和波動性。因此,短期負荷預測的難點在于需要充分挖掘電網(wǎng)負荷的變動規(guī)律,分析影響負荷的多維輸入特征,研究氣象因素和日期因素對負荷的影響,充分提取重要特征進行模型預測。目前,常用的短期電力負荷預測模型主要分為兩類。一類是傳統(tǒng)的數(shù)理統(tǒng)計模型(如多元線性回歸[1]、卡爾曼濾波[2]等),其特點是模型簡單、計算效率高,但對非線性問題處理能力差,不適用于隨機性大的短期電力負荷。另一類是基于機器學習的預測模型,主要包含單一模型和組合模型。

單一模型又分為傳統(tǒng)機器學習方法和深度學習方法。傳統(tǒng)的機器學習模型如反向傳播(back propagation,BP)神經(jīng)網(wǎng)絡[3]、支持向量機(support vector regression,SVR)[4]、隨機森林[5]等,在處理時序相關性、模型穩(wěn)定性等表現(xiàn)不佳。深度學習模型如長短期記憶(long short-term memory,LSTM)神經(jīng)網(wǎng)絡、卷積神經(jīng)網(wǎng)絡(convolutional neural network,CNN)等。文獻[6]和文獻[7]利用LSTM模型對短期電力負荷進行預測,在時間序列處理方面取得了較好的預測結果。為了更好地學習過去和未來的信息,文獻[8]和文獻[9]使用雙向長短期記憶網(wǎng)絡(bi-directional long short-term memory,BiLSTM)進行負荷預測,模型充分提取數(shù)據(jù)的前后信息,提升了單個LSTM的準確率。

組合模型是將多種模型算法有效組合起來對短期電力負荷進行預測,有利于結合不同算法的優(yōu)勢滿足工程的實際需要,以達到更高的預測精度。一般情況下,組合模型預測精度高于單一模型[10]。文獻[11]提出CNN-LSTM神經(jīng)網(wǎng)絡模型,通過CNN強大的特征提取能力與LSTM結合,其預測結果優(yōu)于單一的LSTM預測模型。文獻[12]將CNN與BiLSTM組合模型,該方法通過CNN提取特征向量,利用BiLSTM進行雙向網(wǎng)絡訓練,證明了組合模型的最新性能。上述研究均在單一輸入特征的短期電力負荷預測取得了較好的結果,但實際電力系統(tǒng)工程中,短期電力負荷數(shù)據(jù)受多維輸入特征的影響。因此,為進一步提高預測精度,保證多維輸入特征信息不被丟失還需進一步研究。

注意力(Attention)機制通過將注意力集中到關鍵位置,降低非關鍵位置的分配權重,突出更相關的影響因素,幫助模型做出準確的判斷[13]。文獻[14]提出基于Attention機制的CNN-LSTM短期電力負荷預測方法,通過實驗證明Attention機制在特征提取方面的有效性。文獻[15]提出基于注意力機制的CNN和門控循環(huán)單元(gated recurrent unit,GRU)的短期電力負荷預測方法,結合Attention機制突出關鍵特征。對比CNN-GRU,Attention機制減少了模型參數(shù)的同時提取了重要特征,但是這樣容易損失時序數(shù)據(jù)的位置信息以及特征的重要信息。

另外,A.Vaswani等人提出的Transformer模型中利用殘差網(wǎng)絡(residual network,ResNet)將數(shù)據(jù)進行殘差運算,讓模型更好的學習新的特征,防止梯度消失和梯度爆炸[16]。ResNet使得模型容易優(yōu)化,并能夠通過增加相當?shù)纳疃葋硖岣邷蚀_率[17]。文獻[18]將ResNet-LSTM與Attention結合實現(xiàn)多元負荷的聯(lián)合預測,利用ResNet做為特征提取單元,挖掘多能耗之間的空間耦合交互特征。因此,本文將Attention機制提取后的特征信息通過添加殘差網(wǎng)絡讓模型更好地學習新特征。

為提高短期負荷預測精度,本文提出了一種結合Attention和ResNet的BiLSTM-CNN短期負荷預測模型,簡稱CNN-BiLSTM-Att-ResNet模型。該模型整合了CNN、BiLSTM、Attention、ResNet模塊的各自特點,首先利用CNN提取短期電力數(shù)據(jù)的特征向量,學習潛在的特征關系,將提取的特征向量作為BiLSTM網(wǎng)絡的輸入,通過Attention機制加強關鍵信息對負荷的影響,利用ResNet進行殘差運算,讓模型學習殘差,從而獲取到更直接的多維時序特征,最后通過全連接層輸出,進一步提高模型預測精度。將本文構建的結合Attention和ResNet的BiLSTM-CNN短期負荷預測模型,采用某電力數(shù)據(jù)集進行實驗并與5種典型的預測模型進行比較,結果表明本文提出的模型在短期電力負荷預測上有更高的預測精度。

本文創(chuàng)新點如下:設計了一種結合Attention和ResNet的BiLSTM-CNN短期負荷預測組合模型,首次將此模型應用在負荷預測領域,豐富了經(jīng)驗模型算法庫的多樣性。通過定量評估實驗結果,相比于其他模型,本文所提模型在短期負荷預測取得了更高的預測精度,并且該模型還可以應用于其他領域,為機器學習在其他領域的應用提供有力參考。

1 基本原理

1.1 卷積神經(jīng)網(wǎng)絡

CNN通過局部連接和權值共享提取局部特征信息。其模型結構(輸入層、卷積層、池化層和全連接層)中,卷積層和池化層用于對輸入特征信息的卷積處理和降維運算;全連接層和輸出層用于將模型訓練結果輸出[19]。

本文采取一維卷積,直接將時間序列數(shù)據(jù)作為模型的輸入,可以降低特征提取和數(shù)據(jù)重構的復雜程度,更有效地挖掘數(shù)據(jù)之間的關系,并將提取的特征處理后傳入BiLSTM。

1.2 雙向長短期記憶網(wǎng)絡

因循環(huán)神經(jīng)網(wǎng)絡存在長期依賴和梯度消失的問題[20],LSTM在其基礎上增加了三種門結構,輸入門it、遺忘門ft、輸出門ot。

(1)

式中:xt為輸入序列;ht-1為上一時刻的狀態(tài)記憶量;σ為激活函數(shù),W為權重矩陣;b為偏置。

雖然LSTM模型具有記憶功能,可節(jié)省一些處理時間序列信息的時間,隨著模型長度的增加,平均權重分布會降低模型的判別能力,在模型的訓練過程中會忽略一些重要的時間序列信息,從而影響模型的預測精度[14]。在短期負荷預測中,當前時刻的輸出不僅與過去時刻狀態(tài)信息相關,還與未來時刻的狀態(tài)信息有關,BiLSTM可以實現(xiàn)結合過去和未來信息對當前時刻進行預測,提高當前時刻的預測精確度[21]。

1.3 注意力機制

BiLSTM仍然無法充分地提取多維特征之間的關系,因此引入了Attention機制。Attention機制是一種用于優(yōu)化編解碼器結構模型的機構,它可以根據(jù)實際情況與多種模型相結合。具有Attention機制的編解碼器模型首先從序列中學習每個元素的權重,然后按權重重新組合元素[22]。通過為每個輸入元素分配不同的權重參數(shù),注意力機制可以更多地關注與輸入元素相關的部分,從而抑制其他無用信息。注意層的計算過程如下所示:

(2)

式中:et為t時刻的注意力分布;u、w為權重;b為偏置;αt為BiLSTM中各通道信息的不同權重值;st為帶有Attention的BiLSTM輸出。

1.4 殘差網(wǎng)絡

隨著深度學習的發(fā)展,越來越多的深度神經(jīng)網(wǎng)絡模型出現(xiàn),結構也愈加復雜[23]。深度達到一定程度時,模型的準確率又開始下降。因此,深度殘差模型被K.He等[24]提出,解決了網(wǎng)絡退化問題,使模型的準確率得到提升。其內部的殘差塊使用了跳躍連接,有效緩解了深度神經(jīng)網(wǎng)絡中存在的梯度消失問題[25]。從而實現(xiàn)去掉相同主體部分,突出微小變化的目的。

x為信息輸入,H(x)為特征的信息輸出,F(x)為殘差,殘差函數(shù)表示為:

F(x)=H(x)-x

(3)

x通過直接與后邊的接入層相互連接使得后邊的層可以學習到殘差,殘差結構通過恒等映射來增加模型的深度。其計算公式為:

(4)

式中:xL為第L層的單元特征,當殘差值為0時,殘差網(wǎng)絡相等于一個恒等映射,即H(x)=x,保證模型的訓練精度不會下降。但是在實際應用中,由于數(shù)據(jù)的復雜性和多樣性,殘差值不會為0,結果是模型在不斷的堆疊層,更好的學習新特征。

2 基于注意力和殘差網(wǎng)絡的CNN-BiLSTM負荷預測模型

2.1 負荷預測模型描述

(5)

模型由輸入層、CNN層、兩個ResNet-block塊、全連接層、輸出層構成,每個ResNet-block塊包含BiLSTM層、Attention層、ResNet層。

2.2 模型結構

基于注意力和殘差網(wǎng)絡的CNN-BiLSTM短期電力負荷預測模型結構主要由6部分組成,模型結構如圖1所示。

圖1 CNN-BiLSTM-Att-ResNet模型結構圖

1)輸入層:將短期電力負荷數(shù)據(jù)及與負荷數(shù)據(jù)相關的氣象、時間因素作為輸入變量x,設數(shù)據(jù)長度為n,則表示為x:

x=[x1,x2,x3,…,xn]T

(6)

2)CNN層:CNN層利用一維卷積層對輸入變量進行卷積運算和降維處理,提取多維時序特征之間的潛在關系,消除噪聲,保證了第一步特征提取的完整性。設CNN層輸出為c:

c=CNN(cn-1,xn)

(7)

3)BiLSTM層:BiLSTM層接收CNN輸出的c作為新的輸入變量,將卷積后的特征信息進行學習,同時兼顧特征信息的前后輸入,捕獲長短期之間的依賴關系,充分提取數(shù)據(jù)的所有信息輸出狀態(tài)為b:

b=LSTM(bn-1,cn)⊕LSTM(bn+1,cn)

(8)

4)Attention層:注意力層計算BiLSTM處理后雙向時序特征向量不同的權重并進行分配,突出更關鍵的信息并賦予更高的權重,其權重矩陣為α,輸出為a:

a=αnbn

(9)

5)ResNet層:在Attention層之間創(chuàng)建殘差單元,增強梯度傳播,提高模型的訓練速度,充分挖掘短期電力負荷多維特征之間的耦合關系,設輸出為r:

r=a1+a2

(10)

6)輸出層:通過全連接層輸出短期電力負荷預測模型的預測結果,激活函數(shù)為ReLU函數(shù),設L,d分別為權重矩陣和偏置向量,模型輸出結果y表示為:

y=ReLU(Lr+d)

(11)

2.3 超參數(shù)設置

超參數(shù)的選擇不但影響算法運行的時間成本和模型質量,而且極大影響組合模型的預測精度。除了神經(jīng)網(wǎng)絡層的參數(shù)選擇外,滑動窗口的寬度和輸入特征的維度均對模型預測結果產(chǎn)生較大影響。

本文通過網(wǎng)格搜索選擇神經(jīng)網(wǎng)絡層的參數(shù),通過設置滑窗翻倍的方式對時間窗口大小進行實驗,研究不同寬度的時間窗口對負荷預測的影響,影響逐時電量的指標包括最大溫度、最小溫度、平均溫度、露點溫度、體感溫度、熱指數(shù)、風寒指數(shù)、陣風、云量、濕度、降雨量、大氣壓、可見度、風向度、風速、時、日、月和年共19項。由于相關性較小的特征會在模型的訓練中提供不必要的信息,從而影響模型的魯棒性,因此對所有特征進行了皮爾遜相關分析,在最優(yōu)網(wǎng)絡層參數(shù)及最優(yōu)時間窗口大小固定的條件下,根據(jù)相關性大小對輸入特征進行組合實驗。相關系數(shù)r計算公式如下。

(12)

在驗證集上進行評估得到最佳的參數(shù)配置,如表1所示。

表1 各短期負荷預測模型的最優(yōu)參數(shù)配置

3 算例分析

3.1 超參數(shù)設置

數(shù)據(jù)集為2019年6月25日至2020年6月25日某電力數(shù)據(jù)集,包括氣象參數(shù)和逐時負荷,共8 762×16條數(shù)據(jù)。以8∶1∶1劃分訓練集、驗證集和測試集。為消除量綱影響,對數(shù)據(jù)進行歸一化處理,公式如下:

(13)

式中:x為原始值,xmax為極大值,xmin為極小值。

3.2 評估指標

本文的評價指標為:平均絕對百分比誤差(MAPE)和均方根誤差(RMSE)。MAPE可以反映預測值和實際值之間的關系,而RMSE對偏離實際值較大的預測值的懲罰效果更強。其中,評價值越小,模型性能越優(yōu)。計算公式如下:

(14)

(15)

分區(qū)負荷模型驗證時,增加了決定系數(shù)(R2)和平均絕對誤差(MAE),其計算公式如下:

(16)

(17)

3.3 結果對比

1)全年負荷預測

為驗證本文提出的基于CNN-BiLSTM-Att-ResNet模型在逐時負荷預測精度方面的優(yōu)勢,采用5種典型的機器學習模型(CNN-BiLSTM、CNN-BiLSTM-ResNet、CNN-BiLSTM-Attention、XGBoost、BP)進行對比,分別記錄每種模型對測試集進行逐時負荷預測的最優(yōu)結果,不同模型在測試集的評價結果對比如表2所示。選取測試集中未來一周各個模型的預測結果進行對比如圖2所示,可知本文所提組合模型在測試集上與實際符合擬合度最高,具有較高的預測精度。

表2 不同模型評價比較

圖2 不同模型未來一周的預測值與實際值對比

由表2可知,與機器學習模型(BP、XGBoost)對比,本文提出的模型CNN-BiLSTM-Att-ResNet的MAPE分別降低了2.65%和1.57%,RMSE分別降低了52.85%和44.44%。與經(jīng)典的深度模型(CNN-BiLSTM、CNN-BiLSTM-ResNet和CNN-BiLSTM-Attention)相比,本文提出的組合模型MAPE分別降低了1.27%、0.94%和0.89%,RMSE分別降低了43.42%、41.42%和39.78%。

分別分析Attention和ResNet對預測結果的影響,在測試集中,CNN-BiLSTM-Attention相比于CNN-BiLSTM,MAPE提高了0.38%,RMSE降低了6.05%。CNN-BiLSTM-ResNet相比于CNN-BiLSTM,MAPE降低了0.33%,RMSE降低了3.42%。所提模型在同時加入Attention和ResNet的情況下,相比于CNN-BiLSTM模型,MAPE降低了1.27%,RMSE降低了43.42%。

為驗證模型在波動性強、隨機性大的電力負荷的預測效果,在圖3中顯示了2022年5月21日前后的日逐時負荷預測結果。可見在波動性強的負荷區(qū)域,所提模型相比于其他模型具有更高的預測精度。

圖3 日負荷預測值與實際值對比

2)分區(qū)負荷預測

為驗證模型的泛化性及魯棒性,并評估所提方法的性能,本文進行了分區(qū)實驗,將數(shù)據(jù)集分為6個分區(qū)。訓練集為兩個月逐時負荷,驗證集為一周逐時負荷。第一個分區(qū)中,訓練數(shù)據(jù)是2019年6月25日至2019年8月18日收集的逐時負荷數(shù)據(jù),測試數(shù)據(jù)為2019年8月18日至2019年8月25日的逐時負荷數(shù)據(jù)。依次類推,得出以下分區(qū)。表4顯示了所提模型在6個分區(qū)的評估指標,模型擬合程度最低為94.5%,最高為98.9%,表明所提模型在各分區(qū)均具有較高的預測精度。

表3 六個分區(qū)的模型評估誤差

4 結 論

為預測短期電力負荷,本文構建了結合Attention和ResNet的CNN-BiLSTM混合模型,先利用CNN進行空間特征提取,接著輸入到BiLSTM對時序數(shù)據(jù)進行分析處理,并通過Attention機制賦予不同權重,通過殘差網(wǎng)絡進行連接,最后通過全連接網(wǎng)絡輸出。通過實驗分析,得出如下結論:

1)相比于BP模型和XGBoost模型,本文所提模型在準確率和擬合情況方面均具有明顯的優(yōu)勢,證明了在波動性強和隨機性大的短期電力負荷預測序列中,所提模型具有更高的準確率。

2)在具有氣候因素和日期因素的多維輸入特征中,為突出本文方法的準確性,分別在基準模型CNN-BiLSTM中增加殘差連接和注意力機制,通過某電力負荷數(shù)據(jù)實驗,與常用的經(jīng)典算法比較,本文所提模型的預測精度更高。