基于BSFLA-BiGRU-Attention短期電力負(fù)荷預(yù)測(cè)

華北電力大學(xué)控制與計(jì)算機(jī)工程學(xué)院 羅 毅 吳佳瑋

隨著“碳達(dá)峰”“碳中和”概念的提出，新能源裝機(jī)容量不斷提高，電力系統(tǒng)現(xiàn)有平衡機(jī)制受到挑戰(zhàn)，構(gòu)建新型電力系統(tǒng)迫在眉睫[1]。為了深入了解各個(gè)地區(qū)用電需求，合理安排新能源裝機(jī)容量，以匹配發(fā)電與負(fù)荷雙向不確定因素，實(shí)現(xiàn)新形態(tài)下的電力系統(tǒng)平衡，負(fù)荷預(yù)測(cè)工作的準(zhǔn)確度有必要進(jìn)一步提升。

由于電力負(fù)荷受天氣、節(jié)假日等因素影響較大、隨機(jī)性較強(qiáng)，經(jīng)典傳統(tǒng)方法如回歸分析法、時(shí)間序列法等已無(wú)法滿足預(yù)測(cè)精度要求，支持向量機(jī)法、神經(jīng)網(wǎng)絡(luò)法[2]等智能算法逐漸成為當(dāng)前負(fù)荷預(yù)測(cè)方法的主流。支持向量機(jī)法難以訓(xùn)練大規(guī)模數(shù)據(jù)集，參數(shù)和核函數(shù)選擇復(fù)雜[3]。神經(jīng)網(wǎng)絡(luò)算法有著較為良好的非線性映射能力、高度的自適應(yīng)自學(xué)習(xí)能力、良好的泛化能力，以及容錯(cuò)能力，被廣泛應(yīng)用于負(fù)荷預(yù)測(cè)，但當(dāng)數(shù)據(jù)較多時(shí)易出現(xiàn)“長(zhǎng)期依賴”，影響預(yù)測(cè)效果，長(zhǎng)短期記憶（Long Short Term Memory， LSTM）神經(jīng)網(wǎng)絡(luò)可有效解決此問(wèn)題[4]。改進(jìn)后的門控循環(huán)單元（Gated Recurrent Unit， GRU）網(wǎng)絡(luò)在預(yù)測(cè)結(jié)果相近的情況下，擁有更為簡(jiǎn)潔的結(jié)構(gòu)與參數(shù)[5]。

為了解決GRU 網(wǎng)絡(luò)參數(shù)選擇過(guò)于主觀的問(wèn)題，并最大化利用已有信息，提升預(yù)測(cè)精度，本文建立了一種新的負(fù)荷預(yù)測(cè)模型，針對(duì)智能優(yōu)化算法中的混合蛙跳算法進(jìn)行改進(jìn)，以此優(yōu)化神經(jīng)網(wǎng)絡(luò)超參數(shù)，將當(dāng)日天氣、是否為工作日等作為影響負(fù)荷的因素納入考慮，并用注意力機(jī)制對(duì)輸出進(jìn)行處理，從而提高短期電力負(fù)荷預(yù)測(cè)準(zhǔn)確度。

1 模型原理

1.1 混合蛙跳算法及其改進(jìn)

粒子群算法（Particle Swarm Optimization，PSO）作為最早被提出的群智能優(yōu)化算法，其理論不夠完善，在實(shí)際搜索過(guò)程中易陷入局部最優(yōu)?；旌贤芴惴ǎ⊿huffled Frog Leaping Algorithm,SFLA）參數(shù)更少、全局搜索能力更強(qiáng)[6]。

在覓食過(guò)程中，青蛙總數(shù)為F，子群數(shù)為m，每個(gè)子群內(nèi)青蛙個(gè)數(shù)為n，即三者滿足關(guān)系式F=m×n。記子群內(nèi)最優(yōu)個(gè)體為Pb，最差個(gè)體為Pw，全局最優(yōu)個(gè)體為Pg，對(duì)應(yīng)適應(yīng)度分別為Fb、Fw、Fg，青蛙每次的更新步長(zhǎng)為D。每個(gè)子群內(nèi)青蛙個(gè)體更新公式見式（1）。

式中，r為[0,1]內(nèi)的隨機(jī)數(shù)，更新步長(zhǎng)D由隨機(jī)數(shù)r與子群內(nèi)最優(yōu)個(gè)體Pb及最差個(gè)體Pw之差決定。如果更新后的青蛙適應(yīng)度比原有適應(yīng)度好則保留，如并未得到改善則利用全局最優(yōu)個(gè)體Pg通過(guò)式（2）再次進(jìn)行更新。

如二次更新后適應(yīng)度仍未得到改善，則隨機(jī)生成一個(gè)新的個(gè)體取代原有個(gè)體。詳細(xì)算法流程如下。

第一，初始化相關(guān)參數(shù)，確定各參數(shù)定義域、青蛙總數(shù)、子群數(shù)、更新步長(zhǎng)、進(jìn)化次數(shù)等。第二，初始化青蛙群，隨機(jī)生成F個(gè)個(gè)體并按適應(yīng)度排序，依次分配到m個(gè)子群中，排名1～m的個(gè)體分別進(jìn)入第1～m個(gè)子群，m+1～2m的個(gè)體同理，以此類推，直至所有個(gè)體分配完畢。第三，選出全局最優(yōu)個(gè)體Pg，每個(gè)子群內(nèi)最優(yōu)個(gè)體Pb及最差個(gè)體Pw，根據(jù)公式對(duì)子群內(nèi)的青蛙進(jìn)行局部更新，重復(fù)此操作直至達(dá)到子群進(jìn)化次數(shù)。第四，將更新后的子群混合，重新計(jì)算適應(yīng)度，并重復(fù)第三步，直至達(dá)到全局最大循環(huán)次數(shù)，輸出Pg及Fg。

基礎(chǔ)的混合蛙跳算法由于每次只更新子群內(nèi)最差青蛙的位置，導(dǎo)致算法收斂速度較慢，且容易陷入局部最優(yōu)，基于此對(duì)混合蛙跳算法進(jìn)行改進(jìn)。與原有混合蛙跳算法相比，改進(jìn)的混合蛙跳算法青蛙總數(shù)及子群劃分不變，原來(lái)的局部更新改進(jìn)為除子群最優(yōu)個(gè)體外全部更新，即對(duì)于非最優(yōu)的個(gè)體進(jìn)行批量更新，記為批處理混合蛙跳算法。BSFLA 更新后見式（3）。

式中，r為[0,1]內(nèi)的隨機(jī)數(shù)，Pb為子群內(nèi)最優(yōu)個(gè)體，Pr為子群內(nèi)其余個(gè)體，更新步長(zhǎng)D由隨機(jī)數(shù)r與子群內(nèi)最優(yōu)個(gè)體Pb及其余個(gè)體Pr之差決定。如果更新后的青蛙適應(yīng)度比原有適應(yīng)度好則保留，如并未得到改善則利用全局最優(yōu)通過(guò)式（4）再次進(jìn)行更新。

如二次更新后仍未改善則隨機(jī)生成一個(gè)新的個(gè)體替代原個(gè)體。

為了更直觀地展示BSFLA 尋優(yōu)效果，現(xiàn)采用Rastrigin 函數(shù)對(duì)兩種算法進(jìn)行尋優(yōu)能力測(cè)試。Rastrigin 函數(shù)公式見式（5）。

式中，d為變量維度，此處d=2，xi（i=1，2，…，d）表示多維變量。Rastrigin 函數(shù)全局最小值為0，具有多個(gè)局部極小值，極易陷入局部最優(yōu)，可用作檢測(cè)算法跳出局部最優(yōu)的能力。

BSFLA 及SFLA 在Rastrigin 函數(shù)中尋優(yōu)結(jié)果如圖1所示。可以看出，BSFLA 的收斂速度較快，且多次跳出局部最優(yōu)值，在約350次迭代時(shí)成功找到全局最小值0。

圖1 尋優(yōu)能力對(duì)比

1.2 門控循環(huán)單元

LSTM 常用于處理序列信號(hào)，但參數(shù)多，計(jì)算所需內(nèi)存較大，存在過(guò)擬合風(fēng)險(xiǎn)。GRU 將LSTM結(jié)構(gòu)中的遺忘門和更新門合并為一個(gè)更新門，用以對(duì)上一個(gè)時(shí)刻和此時(shí)的輸入值進(jìn)行選擇性保留。在最終預(yù)測(cè)結(jié)果相近的情況下，GRU 比LSTM 減少一個(gè)門，參數(shù)數(shù)量有所降低，降低了過(guò)擬合和“梯度爆炸”風(fēng)險(xiǎn)，極大地節(jié)約了計(jì)算時(shí)間。綜合上述因素，本篇選擇GRU 作為最終訓(xùn)練網(wǎng)絡(luò)，其基本單元結(jié)構(gòu)如圖2所示。圖中xt為輸入向量，ht-1為上一單元輸出，ht為當(dāng)前單元輸出，σ、tanh 代表使用的激活函數(shù)Sigmoid 和tanh，圖中“＊”代表矩陣對(duì)應(yīng)元素相乘。Γu、Γr為門控單元，二者取值范圍均為[0,1]；Γu越大，新信息的占比就越多。

圖2 GRU 基本單元

在模型訓(xùn)練過(guò)程中，Γu會(huì)自動(dòng)更新以尋找最優(yōu)值，從而擺脫梯度消失現(xiàn)象。對(duì)應(yīng)表達(dá)式見式（6）。

式中，Wu、Wr、Wh為對(duì)應(yīng)權(quán)重，為模塊之間的記憶單元，“·”代表矩陣相乘。

雙向門控循環(huán)單元在GRU 的基礎(chǔ)上進(jìn)行了一定改進(jìn)，可視作兩個(gè)單向GRU 的組合。其輸出不僅與歷史信息有關(guān)，也受到未來(lái)信息的影響，這種雙向結(jié)構(gòu)有助于神經(jīng)網(wǎng)絡(luò)充分利用現(xiàn)有信息，進(jìn)一步提升預(yù)測(cè)精度。其結(jié)構(gòu)如圖3所示。

圖3 BiGRU 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

圖中xi（i=1，2，3，…，t）為輸入，（i=1，2，3，…，t）為前向傳播隱藏狀態(tài)，（i=1，2，3，…，t）為反向傳播隱藏狀態(tài)，yi（i=1，2，3，…，t）為對(duì)應(yīng)輸出，其內(nèi)部計(jì)算公式見式（7）。

式中，wt、vt分別表示t時(shí)刻、對(duì)應(yīng)的權(quán)重，bt為t時(shí)刻yt對(duì)應(yīng)偏置量。

1.3 Attention 機(jī)制原理

Attention 機(jī)制通過(guò)模擬人腦處理信息的方式，可有效提高訓(xùn)練效果，實(shí)現(xiàn)信息資源的最優(yōu)利用。負(fù)荷數(shù)據(jù)具有相似性，引入Attention 機(jī)制可以更好地對(duì)歷史數(shù)據(jù)信息進(jìn)行學(xué)習(xí)。本文所用Attention 基本結(jié)構(gòu)如圖4所示。圖中xi（i=1，2，3，…，t）為輸入，（i=1，2，3，…，t）為前向傳播隱藏狀態(tài)，（i=1，2，3，…，t）為反向傳播隱藏狀態(tài)，αi（i=1，2，3，…，t）為Attention 機(jī)制計(jì)算所得權(quán)重，y為對(duì)應(yīng)輸出。

圖4 Attention 機(jī)制結(jié)構(gòu)

Attention 機(jī)制內(nèi)部計(jì)算公式見式（8）～式（10）。

式中，et為t時(shí)刻輸入和輸出的匹配度，u、w為權(quán)重系數(shù)，b為偏置量；αt為歸一化后的權(quán)值；yt為經(jīng)加權(quán)后求得的輸出。

2 基于BSFLA-BiGRU-Attention 的負(fù)荷預(yù)測(cè)模型

2.1 預(yù)測(cè)模型敘述

在神經(jīng)網(wǎng)絡(luò)算法中，超參數(shù)往往由網(wǎng)格法或經(jīng)驗(yàn)法確定，此種方法不僅難以找到最優(yōu)解，也缺乏客觀性和嚴(yán)謹(jǐn)性。PSO 作為最經(jīng)典的群智能優(yōu)化算法，難以找到全局最優(yōu)解。本文引入混合蛙跳算法，該算法參數(shù)更少，尋優(yōu)能力更強(qiáng)，且在此基礎(chǔ)上對(duì)SFLA 進(jìn)行改進(jìn)，以達(dá)到更佳的尋優(yōu)能力。

GRU 通過(guò)引入門控單元，有效解決了數(shù)據(jù)特征難以尋找的問(wèn)題；在此基礎(chǔ)上，BiGRU 相比GRU增加了反向傳播過(guò)程，能更好地提取未來(lái)負(fù)荷中包含的關(guān)聯(lián)信息，提升預(yù)測(cè)精度。Attention 機(jī)制通過(guò)更改分配在各個(gè)隱藏狀態(tài)上的權(quán)重，合理利用歷史負(fù)荷數(shù)據(jù)，強(qiáng)化了關(guān)鍵數(shù)據(jù)對(duì)預(yù)測(cè)結(jié)果的影響。

2.2 預(yù)測(cè)模型結(jié)構(gòu)

本文模型由輸入層、BiGRU 層、Attention 層、輸出層組成，其結(jié)構(gòu)如圖5所示。歷史負(fù)荷數(shù)據(jù)作為輸入進(jìn)入BiGRU 網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，BiGRU 層對(duì)輸入數(shù)據(jù)進(jìn)行特征提取，采用Adam 算法對(duì)其進(jìn)行優(yōu)化。BiGRU網(wǎng)絡(luò)隱藏層的最終狀態(tài)作為輸出進(jìn)入Attention 層，Attention 機(jī)制根據(jù)上文公式自動(dòng)分配權(quán)重，迭代選出最優(yōu)權(quán)重矩陣，加權(quán)求和得到最終輸出。

圖5 BSFLA-BiGRU-Attention 模型結(jié)構(gòu)

2.3 預(yù)測(cè)模型敘述

影響GRU 訓(xùn)練效果的參數(shù)主要有三個(gè)，即隱藏神經(jīng)元個(gè)數(shù)、隱藏層數(shù)，以及訓(xùn)練次數(shù)，將這三個(gè)變化量作為青蛙個(gè)體特征，選取部分?jǐn)?shù)據(jù)集進(jìn)行訓(xùn)練，適應(yīng)度函數(shù)定義為均方誤差（Mean Square Error, MSE），見式（11）。

訓(xùn)練過(guò)程中相關(guān)參數(shù)設(shè)置見表1。

表1 參數(shù)設(shè)置

3 算例分析

本文選取第九屆“中國(guó)電機(jī)工程學(xué)會(huì)杯”全國(guó)大學(xué)生電工數(shù)學(xué)建模競(jìng)賽A 題所提供的標(biāo)準(zhǔn)數(shù)據(jù)集中某地區(qū)2012年1月10日至2015年1月10日的電力負(fù)荷數(shù)據(jù)，采樣間隔為15分鐘，每日96個(gè)數(shù)據(jù)點(diǎn)，包含天氣因素（如日最高溫、日最低溫、日平均溫度、相對(duì)濕度等信息）及日期類型數(shù)據(jù)。

3.1 數(shù)據(jù)預(yù)處理

為了保證預(yù)測(cè)結(jié)果的準(zhǔn)確性，首先需要對(duì)負(fù)荷數(shù)據(jù)進(jìn)行預(yù)處理。根據(jù)電力負(fù)荷具有的連續(xù)性和日相似性及周相似性對(duì)數(shù)據(jù)分別做水平預(yù)處理及垂直預(yù)處理，波動(dòng)過(guò)大的數(shù)據(jù)以前后時(shí)刻或前后天此刻的平均值參與訓(xùn)練。

負(fù)荷數(shù)據(jù)受日期類型、當(dāng)日氣溫等因素影響較大，因此將相關(guān)氣象因素納入考慮。另外，由于電力負(fù)荷與溫度、濕度等氣象因素不屬同一量級(jí)，如不加處理直接進(jìn)行訓(xùn)練，容易導(dǎo)致GRU 只注重負(fù)荷信號(hào)，而忽略了其他因素對(duì)預(yù)測(cè)結(jié)果的影響，因此需對(duì)負(fù)荷值及溫度進(jìn)行歸一化處理；濕度數(shù)據(jù)本身即為相對(duì)濕度，取值范圍為[0,1]，無(wú)須處理。歸一化公式見式（12）。

鑒于工作日和節(jié)假日負(fù)荷呈現(xiàn)出較大區(qū)別，特對(duì)負(fù)荷所屬日期類型進(jìn)行劃分，周一至周五記為0.1，周六記為0.5，周日及節(jié)假日記為1。

3.2 仿真分析

為驗(yàn)證上述模型的科學(xué)性及有效性，選取該地區(qū)2014年11月20日至2015年1月10日的電力負(fù)荷數(shù)據(jù)作為數(shù)據(jù)集，其中11月20日至12月31日為訓(xùn)練集，1月1日至1月3日為驗(yàn)證集。為全面體現(xiàn)預(yù)測(cè)效果，將2015年1月4日至1月10日共一周的數(shù)據(jù)作為預(yù)測(cè)集對(duì)預(yù)測(cè)結(jié)果進(jìn)行校驗(yàn)。

模型誤差采用平均絕對(duì)百分比誤差yMAPE（Mean Absolute Percentage Error, MAPE）和準(zhǔn)確率A進(jìn)行評(píng)判。平均絕對(duì)百分比誤差計(jì)算方法見式（13）。

準(zhǔn)確率計(jì)算方法見式（14）、式（15）。

本文所建立模型的七日預(yù)測(cè)結(jié)果如圖6所示。

圖6 本文模型負(fù)荷預(yù)測(cè)曲線

為全面展示本文所提模型尋優(yōu)效果，另加入PSO 算法和基于麻雀搜索算法（Sparrow Search Algorithm, SSA）的最小二乘支持向量機(jī)（Least Squares Support Vector Machine, LSSVM）模型[7]進(jìn)行對(duì)比，分別用PSO、SFLA 和對(duì)GRU 參數(shù)進(jìn)行尋優(yōu)，將尋優(yōu)結(jié)果代入模型進(jìn)行計(jì)算，并與本文所建立模型進(jìn)行對(duì)比。各模型評(píng)判結(jié)果見表2。

表2 各模型預(yù)測(cè)對(duì)比（%）

從預(yù)測(cè)結(jié)果平均值角度分析，本文所提出的模型擁有最低誤差1.705%和最高準(zhǔn)確度97.57%。相比于其他模型，本文模型預(yù)測(cè)誤差分別降低了2.183%、1.574%和0.568%，且1月6日至1月10日本文模型誤差均在1.2%左右，可見本文模型與其他模型相比有顯著優(yōu)勢(shì)。為更清晰表明該模型預(yù)測(cè)效果，表3給出了該算法1月10日部分時(shí)間點(diǎn)真實(shí)值與預(yù)測(cè)值對(duì)比，并用yMAPE和平均絕對(duì)誤差yMAE（Mean Absolute Error, MAE）對(duì)模型預(yù)測(cè)誤差進(jìn)行評(píng)判。平均絕對(duì)誤差計(jì)算方法見式（16）。

表3 1月10日預(yù)測(cè)誤差對(duì)比

為了更加直觀地展示本文模型的預(yù)測(cè)效果，給出各模型1月10日的負(fù)荷預(yù)測(cè)曲線，如圖7所示。從圖中可以看出，本文所提模型在幾種模型中具有最好的預(yù)測(cè)效果。

圖7 1月10日預(yù)測(cè)曲線結(jié)果對(duì)比

4 結(jié)語(yǔ)

本文針對(duì)15分鐘粒度的短期電力負(fù)荷預(yù)測(cè)，建立了一種基于注意力機(jī)制和BSFLA 算法的BiGRU 預(yù)測(cè)模型。該方法通過(guò)BSFLA 算法優(yōu)化BiGRU 相關(guān)神經(jīng)網(wǎng)絡(luò)參數(shù)，利用Attention 機(jī)制重新分配輸出權(quán)重，并將天氣及工作日等因素納入考慮，從而提高原有模型精度。與傳統(tǒng)SFLA 算法相比，BSFLA 算法的收斂速度更快，更易跳出局部最優(yōu)點(diǎn)，尋優(yōu)效果更佳。將該模型與基礎(chǔ)PSO-GRU 和SFLA-BiGRU、SSA-LSSVM 的預(yù)測(cè)結(jié)果進(jìn)行多項(xiàng)誤差對(duì)比得出，改進(jìn)后的BSFLA-BiGRU- Attention 模型在單日及平均預(yù)測(cè)結(jié)果上均可有效提高負(fù)荷預(yù)測(cè)準(zhǔn)確度。

目前較多地區(qū)每日負(fù)荷仍呈現(xiàn)“雙峰”型，本文所提出的模型可作為參考協(xié)助新能源站和水電站提前安排次日、次周發(fā)電計(jì)劃，削峰填谷，平滑日負(fù)荷曲線，以較低的經(jīng)濟(jì)損失實(shí)現(xiàn)能源的最大化利用。