基于改進深度信念網(wǎng)絡的短期電力負荷預測方法

王劍鋒，鄭 劍，王旭東，于建成

（國網(wǎng)天津市電力公司，天津 300010）

電力系統(tǒng)負荷的準確預測是實現(xiàn)高效管理的基礎，為電力企業(yè)運行調(diào)度等業(yè)務的實施提供支撐[1]。由于電力數(shù)據(jù)日益復雜，數(shù)據(jù)量呈指數(shù)級增長?；谥悄茴A測算法的負荷預測具有較高的穩(wěn)定性和預測精度，還有較強的復雜映射、容錯及泛化能力，廣泛應用于電力負荷預測領域?？蒲泄ぷ髡咴谪摵深A測領域的研究獲得諸多突破，支持向量機SVM（support vector machine）[2]、極限學習機ELM（extreme learning machine）[3]、隨機森林 RF（random forest）[4]、長短期記憶LSTM（long short-term memory）網(wǎng)絡[5]等預測算法被廣泛應用逐漸完善。文獻[6]提出使用支持向量機預測中期負荷，但在處理大量時間序列數(shù)據(jù)時速度較慢。文獻[7]提出了基于ELM算法的類分布不平衡數(shù)據(jù)處理技術(shù)，依據(jù)訓練樣本的重要性分配樣本權(quán)重系數(shù)。文獻[8]提出利用反向傳播BP（back propagation）網(wǎng)絡進行逐項預測，最終輸出為對應于預測模型的每個子數(shù)據(jù)輸出的綜合加權(quán)值。

在進行負荷預測時，通常有特征組合和預測模型兩個影響因素，即輸入和模型。上述文獻多側(cè)重于模型，通過構(gòu)建高性能的預測模型，以提升負荷預測精度。然而由于模型很難捕捉到復雜數(shù)據(jù)之間的關(guān)系，需要引入預處理等技術(shù)提高預測性能[9]。深度信念網(wǎng)絡DBN（deep belief network）及其變種廣泛應用于圖像識別、機器翻譯和醫(yī)學診斷等各個領域，有效地解決了分類、預測和決策問題。文獻[10]提出一種基于雙向遞歸神經(jīng)網(wǎng)絡Bi-RNN（bidirectional recurrent neural network）和DBN的混合模型，該模型采用無監(jiān)督預訓練和監(jiān)督調(diào)整訓練方法，在短期電力負荷預測中具有較高的精度。在文獻[11]中，利用Nadam動量優(yōu)化算法對深信度網(wǎng)絡進行訓練，以獲得最佳的DBN參數(shù)。在Keras深度學習框架的基礎上，對DBN結(jié)構(gòu)進行了調(diào)整，可獲得最佳的預測結(jié)果。

本文提出了一種基于改進DBN算法的電力系統(tǒng)負荷預測方法，在充分挖掘歷史負荷數(shù)據(jù)中的規(guī)律性的基礎上，數(shù)據(jù)特征向量輸入到多個用于兩層稀疏自編碼神經(jīng)網(wǎng)絡中進行特征融合，利用DBN模型進行負荷預測，并進行無監(jiān)督訓練對模型進行預訓練，最后通過BP算法進行微調(diào)到最終的預測結(jié)果。本文方法可充分利用歷史負荷數(shù)據(jù)的規(guī)律性，從而提高預測的效率，同時可充分考慮不同因素的影響，提高其預測精度。

1 數(shù)據(jù)的選擇與聚合

短期負荷預測的輸入數(shù)據(jù)涉及多類，如天氣數(shù)據(jù)（溫度、濕度、降水量、風速等），日類型數(shù)據(jù)，電量數(shù)據(jù)及電價信息等，數(shù)據(jù)的選擇與聚合至關(guān)重要。其中氣象因素對負荷影響的多日累積效應，例如，對于某日的負荷而言，連續(xù)三天高溫與當日突然高溫，兩種情況對負荷的影響會有明顯差別。同時氣象是多個因素產(chǎn)生某種相合效果后才作用于電力負荷，分析影響時需要考慮氣象指數(shù)的耦合效果。氣象因素作用于電力負荷的影響如圖1所示[12]。

圖1 氣象因素作用于電力負荷的影響Fig.1 Influences of meteorological factors on power load

1.1 數(shù)據(jù)選擇和預處理

對于待預測日為非節(jié)假日，訓練樣本集為該日前一些天非節(jié)假日的數(shù)據(jù)；若為節(jié)假日，利用灰色關(guān)聯(lián)投影技術(shù)獲得預測日的相似日，并作為訓練樣本集。計算Y0j與Yij間的關(guān)聯(lián)度公式為

式中：λ為分辨系數(shù)；n為預測日的個數(shù)；m為關(guān)聯(lián)系數(shù)的位置序號；Y0j為待預測日特征向量的第j個影響因素值；Yij為第i個樣本的第j個影響因素值。

各影響因素所占權(quán)重計算公式為

式中：Wj為第j個影響因素的權(quán)重值；為第i個樣本的第j個因素對應的灰色關(guān)聯(lián)度值。

在上述基礎上進行數(shù)據(jù)歸一化處理，目標是把有量綱數(shù)據(jù)變?yōu)闊o量綱數(shù)據(jù)，并將數(shù)據(jù)映射到0～1范圍之內(nèi)，以提升預測模型的收斂速度。

式中：Xi為樣本數(shù)據(jù)；為Xi的歸一化值；Xmax和Xmin分別為Xi的最大值和最小值。

1.2 數(shù)據(jù)聚合

本文提出采用三層的自編碼神經(jīng)網(wǎng)絡SNN（self-coding neural network）進行，通過近似相同的函數(shù)使目標輸出值接近輸入值從而最小化預期的重建誤差。圖2給出了SNN基本架構(gòu)，該網(wǎng)絡可以通過激活功能進行從前一層到下一層的非線性轉(zhuǎn)換。

圖2 本文所采用的SNN網(wǎng)絡基本架構(gòu)Fig.2 Basic SNN network architecture adopted in this paper

2 應用于負荷預測的改進神經(jīng)網(wǎng)絡模型

2.1 IDBN模型的構(gòu)建

將受限波爾茲曼機RBM（restricted Boltzmann machine）堆疊形成神經(jīng)網(wǎng)絡，應用RBM訓練實現(xiàn)構(gòu)建神經(jīng)網(wǎng)絡已被證明是一種快速有效的方法[8]。其中如何建立確切的預測模型以及如何恰當?shù)赜柧毸⒌念A測模型是利用深度信念網(wǎng)絡解決繁雜因素影響下的負荷預測問題的關(guān)鍵。本文所采用的改進深度信念網(wǎng)絡模型如圖3所示，由一個高斯-伯努利RBM即GB-RBM（Gaussian-Bernoulli RBM）、多個隨機單元伯努利RBM即BB-RBM（Bernoulli-Bernoulli RBM）和一個回歸輸出層構(gòu)成。輸入樣本為x={x1,x2,…,xn}，輸出樣本為y。

圖3 改進深度信念網(wǎng)絡模型Fig.3 Improved DBN model

將GB-RBM作為堆疊組成DBN的第一個RBM，以便將輸入數(shù)據(jù)中的天氣數(shù)據(jù)和負荷數(shù)據(jù)等連續(xù)型實值數(shù)據(jù)有效的轉(zhuǎn)化成二進制數(shù)據(jù)。因為BB-RBM適用于處理二進制數(shù)據(jù)（如黑白圖像或編碼后的文本）的建模過程，所以其他RBM均采用BB-RBM，實現(xiàn)輸入信息的特征提取；最后的RBM隱藏層和輸出層組成線性回歸網(wǎng)絡，通過不同類型激活函數(shù)處理得到時間間隔為15 min，30 min或1 h的電力負荷時間序列。

式中，Z為與二進制向量(v,h)有關(guān)的配分函數(shù)[6]。

“限制”是指RBM模型的同類節(jié)點之間不存在連接，這代表隱藏層單元（或者可見單元）之間條件獨立性成立。在BB-RBM中，所有單位都是二進制隨機單元，這意味著輸入數(shù)據(jù)應該是二進制的，或者在0和1之間的實數(shù)值表示可見單元活躍或不活躍的概率。

每個單位的條件概率分布由其接收的輸入的sigmoid函數(shù)給出，即

式中，σ(x)=1/(1+exp(-x))為sigmoid激活函數(shù)。

2.2 基于Gibbs的數(shù)據(jù)采樣

在進行短期負荷預測時，需要將上述模型進行訓練，調(diào)整參數(shù)θ以擬和給定的訓練樣本。本文采用最大似然估計方法，尋找參數(shù)θ使得訓練數(shù)據(jù)x在該情景下概率最大。對于給定的訓練集，訓練樣本模型對數(shù)似然值可以表示為

式中，θ={b、a、W}，D是訓練數(shù)據(jù)集。

其梯度可表示為

3 模型預訓練與參數(shù)整定

采用無監(jiān)督學習對DBN進行預訓練，同時為下一步的參數(shù)微調(diào)提供更優(yōu)的參數(shù)基礎。在混合預訓練的過程中，為保障預測模型的完整性，需在待訓練的RBM上堆疊一層臨時輸出層。

3.1 無監(jiān)督預訓練

將無監(jiān)督學習應用到深度信念網(wǎng)絡中。采用稀疏自動編碼器模型作為深度學習中數(shù)據(jù)的預處理工具具有定的代表性。稀疏自動編碼器模型為：對稀疏自編碼參數(shù)進行訓練，在稀疏自編碼模型中，尋找重構(gòu)數(shù)據(jù)a?使其接近原始數(shù)據(jù)a，即：

3.2 基于BP算法的參數(shù)微調(diào)

在逐層混合預訓練后，本文采用BP算法進行全局參數(shù)微調(diào)。BP神經(jīng)網(wǎng)絡具有很好的信息順向傳輸與誤差反向傳播特點。通過不斷地重復周期以達到所期望的誤差，最后經(jīng)過訓練得到符合期望的模型。但由于BP神經(jīng)網(wǎng)絡存在學習速度較慢、精度不高等問題，故采用改進反向傳播算法收斂速度的措施，即附加沖量項為

為了加速RBM的訓練過程，采用對比散度CD-k算法進行無監(jiān)督學習。由于CD-k算法中，當k=1時，就能達到較好的擬合效果（一步吉布斯采樣）。故一般采用CD-1算法。

式中：v*為可視層v的重構(gòu)，根據(jù)v*所得隱藏層為h*；設學習效率為ε，經(jīng)過對比散度算法對RBM進行訓練后，權(quán)重矩陣W、可視層的偏置向量b、隱藏層的偏置向量c。

應用誤差反向傳播訓練過程，包括計算每一層的凈輸入和激活值，直到最后一層，然后反向傳播計算每一層的誤差項，獲得每一層參數(shù)的偏導數(shù)，并更新參數(shù)。具體訓練過程如下：

算法：基于隨機梯度下降的反向傳播求解過程偽代碼輸入：IDBN網(wǎng)絡參數(shù)L，神經(jīng)元數(shù)量ml，1≤l≤L，設定訓練集D，驗證集V，參數(shù) θ ={b、a、W}.1:初始化W，b 2:repeat 3:對訓練集D中的樣本隨重新排序4:for n=1，…，N，do 5: 從訓練集D中選取樣本（x，y）；6: 前饋計算每一層的凈輸入z(l)和激活值a(l)，直到最后一層；7: 反向傳播計算每一層誤差δ(l)；8: 基于式（16）計算每一層參數(shù)的導數(shù)9: 基于式（17）更新參數(shù) θ={b、a、W}.10:end 11:IDBN網(wǎng)絡在驗證集V上的錯誤率不再下降輸出：W，b

3.3 負荷預測流程

傳統(tǒng)的處理方法一般通過負荷預測模型直接獲得負荷的預測值，本文利用神經(jīng)網(wǎng)絡模型進行負荷預測，并進行無監(jiān)督訓練對模型進行預訓練，獲得短期負荷預測結(jié)果，具體流程如圖4所示。

圖4 基于改進DBN的負荷預測流程Fig.4 Load forecasting process based on improved DBN

4 算例分析

負荷測試選取中國某區(qū)域的實際電力負荷數(shù)據(jù)，時間跨度為2018年1月至2019年12月，選取的數(shù)據(jù)包括4組主要的測量變量：天氣數(shù)據(jù)（溫度，降水量，風速和太陽輻射）、日類型數(shù)據(jù)、電量數(shù)據(jù)和分時電價數(shù)據(jù)（高峰時段為7：00—11：00，19：00—23：00；平常時段為11：00—19：00；低谷時段為23：00—次日7：00）。從當?shù)氐臍庀缶W(wǎng)站采集天氣數(shù)據(jù)，并將同一時間下的氣象和負荷數(shù)據(jù)一一對應進行匹配。

模型的評估和比較采用平均絕對百分比誤差MAPE（mean absolute percentage error）來衡量，由于MAPE的穩(wěn)定性好，可以將其作為多種評估標準的基準，即

式中：N為測量負荷的樣本數(shù)；yl(k)和y?l(k)分別為第k天的第1小時的量測負荷和預測負荷。

對構(gòu)建的G-DBN模型進行短期電力負荷預測。圖5為G-DBN模型與采用BB-RBM的DBN（BDBN）模型的對比結(jié)果。兩種模型均進行預訓練和BP微調(diào)進行模型參數(shù)尋優(yōu)。

圖5 G-DBN與B-DBN的預測對比Fig.5 Comparison of prediction between G-DBN and B-DBN

通過比較可得，G-DBN的預測精度更高，BDBN預測效果的不穩(wěn)定性是由于BB-RBM在處理實值數(shù)據(jù)時易于產(chǎn)生噪聲。

為了進一步驗證G-DBN的可行性，對某地區(qū)2020年全年負荷值按季節(jié)進行分別預測，得到春、夏、秋、冬4個季節(jié)場景下的負荷預測值。采用待測日前十個月的實際負荷數(shù)據(jù)作為訓練樣本集和測試樣本集。選擇常用的人工智能預測方法：BP神經(jīng)網(wǎng)絡、SVM方法和傳統(tǒng)DBN方法（無監(jiān)督學習預訓練和S-BP算法微調(diào)）形成對照。為確保實驗結(jié)果的真實性，實驗結(jié)果均為執(zhí)行100次得到的平均值。4個季節(jié)下不同類型預測方法的比較如圖6所示。由圖6可知，G-DBN模型預測下四季的MAPE為3.59%，小于其他方法?？紤]到溫度，光照強度和使用時間電價的影響，G-DBN可以更充分地利用多種影響因素和電力負荷之間的復雜關(guān)系。

圖6 4個季節(jié)下的負荷預測方法性能比較Fig.6 Comparison of performance among load forecasting methods in four seasonal scenes

為了驗證本文方法的泛化性能，獲取可再生能源發(fā)電出力占比為30%左右、20%左右、10%左右的3個不同地區(qū)的負荷作為對比試驗的輸入樣本，并以MAPE作為評價指標，如圖7所示。由圖7可知，當可再生能源出力占比提高時，各方法的預測誤差均會變大，BP和SVM變化較為明顯，而DBN和GDBN略有變化。原因是隨著可再生能源出力占比提高，電力系統(tǒng)運行更加不穩(wěn)定，非線性負荷曲線更加復雜，深層網(wǎng)絡擬合復雜非線性曲線的優(yōu)勢更加明顯。

圖7 不同地區(qū)的負荷預測方法性能對比Fig.7 Comparison of performance among load forecasting methods in different regions

5 結(jié)語

本文提出的改進深度信念網(wǎng)絡的負荷預測算法，通過引入高斯-伯努利受限玻爾茲曼機，改進了現(xiàn)有神經(jīng)網(wǎng)絡算法學習對歷史數(shù)據(jù)利用的問題，提高了學習效率。仿真結(jié)果顯示，相比于傳統(tǒng)神經(jīng)網(wǎng)絡算法，基于改進深度信念網(wǎng)絡算法的電力負荷預測預測準確性得到有效提升。