基于麻雀搜索優(yōu)化的Attention-GRU短期負荷預測方法

劉可真，阮俊梟，趙現(xiàn)平，劉 果

（1.昆明理工大學電力工程學院，昆明 650500；2.云南電網(wǎng)有限責任公司電力科學研究院，昆明 650217）

負荷預測是以系統(tǒng)負荷本身的波動變化及負荷所在地的外界因素（例如氣象因素等）變化為依據(jù)，采用特定的方法或模型對負荷歷史數(shù)據(jù)進行分析以估測電力系統(tǒng)需求[1]。負荷預測數(shù)據(jù)是電力系統(tǒng)調度的依據(jù)，其準確性的提升對電力系統(tǒng)的發(fā)展有重要的推動作用。

短期負荷預測歷經(jīng)幾十年的研究發(fā)展，主要可分為3類預測方法。

（1）傳統(tǒng)統(tǒng)計學方法，包括線性回歸LR（linear regression）[2]、自回歸AR（auto regression）[3]和自回歸移動平均 ARMA（auto regressive moving average）[4]等。統(tǒng)計學方法結構簡單易于建模，但輸入數(shù)據(jù)的分布特性對模型輸出有較大的影響。

（2）機器學習方法，包括灰色系統(tǒng)、支持向量機SVM（support vector machine）[5]、人工神經(jīng)網(wǎng)絡ANN（artificial neural network）[6]等。其中，SVM算法可用于線性/非線性問題，泛化錯誤率低，能解決傳統(tǒng)算法中高維問題，但在處理大數(shù)據(jù)量時間序列時收斂慢、精度低。ANN方法中的反向傳播BP（back propagation）神經(jīng)網(wǎng)絡具有較強非線性映射能力，且能在訓練過程中自動提取數(shù)據(jù)輸入輸出特征并調整網(wǎng)絡權值適應，但其收斂速度慢，容易陷入局部最小化，針對時間序列數(shù)據(jù)時特征需要人工指定，破壞了時序的完整性。

（3）組合模型預測法，通過結合優(yōu)化算法或數(shù)據(jù)預處理方法對模型中存在的多個超參數(shù)進行優(yōu)化。例如經(jīng)驗模態(tài)分解EMD（empirical mode decomposition）[7]等對原始時序數(shù)據(jù)進行處理以提高預測準確度。

短期電力負荷數(shù)據(jù)通常是包含負荷自身波動與相關因素的復合時間序列，具有時序性與非線性。統(tǒng)計學方法難以針對非線性時序建模，傳統(tǒng)機器學習方法雖然能解決這一難點，但輸入信息的時序完整性難以保存[8]。近年來，隨著硬件算力的提升，深度學習得以高速發(fā)展并成為負荷預測研究熱點[9]，例如深度信念網(wǎng)絡DBN（deep belief network）[10]、深度神經(jīng)網(wǎng)絡DNN（deep neural network）[11]等的應用相比傳統(tǒng)算法提高了預測準確度。循環(huán)神經(jīng)網(wǎng)絡RNN（recurrent neural network）通過使用帶自反饋的神經(jīng)元使網(wǎng)絡具有短期記憶，原理上能處理任意長度的時間序列，通常使用梯度下降的算法，但當輸入序列較長時會出現(xiàn)梯度爆炸和消失的問題。長短期記憶LSTM（long short-term memory）網(wǎng)絡通過引入門控機制以改善前述問題，在時間序列處理問題上得到了廣泛的應用[12-14]，但其網(wǎng)絡結構略為復雜，在處理高維大量數(shù)據(jù)時收斂速度較慢。門控循環(huán)單元GRU（gated recurrent unit）[15-17]在LSTM的基礎上簡化了門控結構，減少了可訓練參數(shù)總量使得訓練速度提升。然而LSTM、GRU等循環(huán)神經(jīng)網(wǎng)絡在實際運用中存在兩方面的不足：①當輸入的時間序列較長時，網(wǎng)絡易出現(xiàn)丟失序列信息、難以建模序列間結構信息的問題；②模型的構建訓練中存在4個關鍵超參數(shù)，包括學習率l、隱層神經(jīng)元數(shù)m、訓練輸入批量bs及訓練輪次k。學習率l影響模型的收斂狀態(tài)，神經(jīng)元數(shù)m影響模型的擬合能力，輸入批量bs影響模型的泛化性能而訓練輪次k影響模型訓練程度。超參數(shù)通常由人工經(jīng)驗進行選擇，通用性差、不確定性高。

鑒于此，本文提出一種基于注意力機制（attention mechanism）[18-19]的麻雀搜索算法SSA（sparrow search algorithm）[20]優(yōu)化GRU組合預測方法，該方法首先利用注意力機制對輸入信息進行權重分配以突出重要信息貢獻度，同時使用SSA對Attention-GRU關鍵參數(shù)(l、m、bs、k)進行組合優(yōu)化。此模型旨在從負荷預測多步信息中突出關鍵信息對預測結果的貢獻度，并結合最優(yōu)化模型結構，達到短期負荷的精準預測。實驗證明，與傳統(tǒng)統(tǒng)計學及機器學習方法相比，本文所提出的預測模型有更高的預測準確率。

1 基本原理

1.1 麻雀搜索算法

SSA是一種受鳥類覓食行為啟發(fā)提出的新型群智能優(yōu)化算法，其原理可抽象為加入預警機制的鳥類成員發(fā)現(xiàn)者（Producer）和加入者（Scrounger）的互動模型，服從以下行動原則：

（1）發(fā)現(xiàn)者負責尋找食物，同時為所有加入者提供覓食區(qū)域和行動方向；

（2）因為隨時可能遭遇捕食者，種群隨機選擇10%～20%比例的偵察者，當遭遇捕食者時整個種群迅速進行反捕食行為，行動行為由發(fā)現(xiàn)者主導；

（3）加入者利用發(fā)現(xiàn)者獲取食物，同時一部分加入者會監(jiān)控發(fā)現(xiàn)者能量水平狀態(tài)，當發(fā)現(xiàn)者能量水平較高時主動爭搶食物資源；

（4）當加入者本身能量水平過低時，可能會前往其他區(qū)域覓食；

（5）處于邊緣位置的麻雀在意識到捕獵危機時會迅速向安全區(qū)域移動，而處于種群中心區(qū)的麻雀隨機移動以靠近其他同伴。

假設種群麻雀數(shù)量為n，搜索空間維度為d維，則麻雀的位置信息可抽象為n×d的矩陣。

發(fā)現(xiàn)者更新位置的公式為

加入者更新位置的公式為

偵察者更新位置的公式為

1.2 注意力機制

注意力機制通過借鑒人腦的注意力，增強對關鍵信息的注意程度以提高關鍵信息對結果的貢獻，在神經(jīng)網(wǎng)絡中引入注意力機制可以提高神經(jīng)網(wǎng)絡的訓練效率。經(jīng)典注意力機制原理是設有N個輸入向量x=[x1,x2,…,xN]，為選出與特定任務相關的信息，引入查詢向量q與打分函數(shù)s，具體公式為

式中：αn為注意力分布，表示第n個輸入向量與查詢向量的相關程度，n=1,2,…,N；softmax為多項的Logistic回歸；W、U、V為可學習參數(shù)。打分函數(shù)通常使用加性模型如式（5）。注意力機制的結構如圖1所示，其中e為根據(jù)注意力分布分配權重比的輸入信息匯總。

圖1 注意力機制結構Fig.1 Structure of attention mechanism

為提升模型訓練效率，對經(jīng)典注意力機制進行簡化，去掉查詢向量打分過程，使用多分類邏輯回歸的思想實現(xiàn)輸入信息的權重分配，原理如圖2所示，其中cnn為兩神經(jīng)元間連接權重。

圖2 多分類邏輯回歸結構Fig.2 Structure of multi-class logistic regression

模型的整體輸出為

式中：α為注意力分配權重向量；C為連接權重矩陣；b為偏置向量。f使用softmax函數(shù)，則對第n個輸入向量的分配權重計算公式為

式中：cn為第n個輸入向量與其余向量的連接權重向量；bn為第n個輸入向量的偏置。皆通過神經(jīng)網(wǎng)絡反向傳播算法優(yōu)化。

1.3 門控循環(huán)單元

LSTM網(wǎng)絡可以捕獲時間序列中的長期依賴關系，通過引入遺忘門、輸入門、輸出門來動態(tài)控制對歷史信息的遺忘、新信息的輸入及信息的輸出。LSTM網(wǎng)絡中的輸入門和遺忘門是互補關系，但是具有一定冗余性。為改進這一不足，GRU網(wǎng)絡引入更新門（update gate）來控制需要從歷史信息中保留的信息數(shù)量。GRU結構如圖3所示。

圖3 GRU結構Fig.3 Structure of GRU

設x（t）為輸入，h（t）為隱藏層輸出，則GRU計算流程可表示為

式中：rk(t)為重置門值；zk(t)為更新門值，為輸入與上一層合并值；h()t為隱藏層輸出；σ為Sigmoid函數(shù)；f為激活函數(shù)，通常使用雙曲正切函數(shù)tanh；Wr、Ur、Wz、Uz、Wh、Uh為可訓練參數(shù)向量；°表示向量元素乘。

2 基于SSA-Attention-GRU的負荷預測模型

2.1 預測模型敘述

在短期電力負荷預測中，負荷的歷史序列包含了大量潛在信息，對預測未來數(shù)據(jù)起著至關重要的作用。傳統(tǒng)機器學習方法通常是從負荷歷史序列中人為選取時間特征，這種方法客觀性不足，容易破壞歷史序列的時序特性和潛在規(guī)律。GRU網(wǎng)絡引入門控機制，自動從歷史信息中提取時間特征，簡化了人工選取這一步驟，同時也提高了預測精確度。為捕捉輸入序列之間的依賴關系，提高重要信息對預測結果的貢獻度，采用前置注意力機制建模輸入信息結構，對輸入信息按時間戳賦予不同權重，使包含對準確預測結果貢獻度高的時間戳得以強調。短期負荷預測的輸入數(shù)據(jù)是高維多序列的，模型的超參數(shù)選擇對學習擬合能力起著十分重要的作用，使用人工經(jīng)驗進行選擇，通用性差、不確定性高。為使模型形成對應輸入數(shù)據(jù)的最佳超參數(shù)結構，使用SSA對模型超參數(shù)進行迭代選優(yōu)。

2.2 預測模型結構

Attention-GRU模型如圖4所示，由輸入層、注意力層、GRU層、全連接層及輸出層構成。模型的描述如下。

圖4 Attention-GRU模型結構Fig.4 Structure of Attention-GRU model

（1）輸入層：將負荷歷史數(shù)據(jù)與相關因素數(shù)據(jù)進行合并作為模型的輸入。設合并數(shù)據(jù)長度為N，則合并數(shù)據(jù)可表示為x=[x1,x2,…,xN]T。

（2）注意力層：注意力層的輸入為經(jīng)過輸入層的合并數(shù)據(jù)，通過訓練迭代更新輸入特征的權重，使重要輸入信息貢獻度提高。注意力層權重計算公式見式（7），第n個序列的輸出yn可表示為

（3）GRU層：GRU層接收注意力層的新輸入進行學習。使用單層GRU對新輸入進行學習，捕獲序列內部變化規(guī)律。設GRU層的輸出為h，即

（4）全連接層：搭建全連接層以提高模型對提取特征的學習程度，激活函數(shù)使用ReLU函數(shù)，可表示為

式中：H為全連接層的輸出序列；L、d分別為本層中的權重矩陣與偏置向量。

（5）輸出層：輸出層通過全連接層進行計算輸出預測結果，輸出Ypredict可表示為

式中，DNN（）為全連接網(wǎng)絡運算。

SSA結構如圖5所示，具體步驟如下。

圖5 SSA結構Fig.5 Structure of SSA

步驟1設置最大迭代次數(shù)、參與搜索麻雀數(shù)目、發(fā)現(xiàn)者數(shù)量、偵查者數(shù)量及預警值。

步驟2根據(jù)麻雀數(shù)目與優(yōu)化參數(shù)（l、m、bs、k）形成搜索空間矩陣并初始化相關參數(shù)。

步驟3計算并排列適應度值，找出最優(yōu)適應度個體及最劣適應度個體。

步驟4根據(jù)式（1）～（3）更新發(fā)現(xiàn)者、加入者、偵察者位置，比較全局最優(yōu)解并更新最優(yōu)適應度值。

步驟5判斷終止條件（適應度趨于穩(wěn)定或迭代次數(shù)達到最大），若滿足則輸出最優(yōu)解，否則返回步驟3。

2.3 損失函數(shù)

模型訓練過程中使用自適應矩估計算法ADAM（adaptive moment estimation algorithm）對網(wǎng)絡可訓練參數(shù)進行優(yōu)化，在訓練過程中通過迭代更新神經(jīng)元的權重及偏差，降低損失函數(shù)輸出值。模型訓練過程中的損失函數(shù)使用均方誤差MSE（mean squared error），其表達式為

式中：n為樣本個數(shù)；yi為實際值；為模型預測輸出值。

2.4 預測模型求解過程

基于SSA-Attention-GRU預測模型求解過程如圖6所示，具體步驟如下。

圖6 SSA-Attention-GRU模型求解過程Fig.6 Solving process of SSA-Attention-GRU model

步驟1將經(jīng)過預處理的負荷歷史數(shù)據(jù)與相關因素數(shù)據(jù)合并，輸入張量形狀為（input_length，timestep，input_dim），其中第1維為參與訓練的整個數(shù)據(jù)集包含數(shù)據(jù)長度；第2維為時間戳（時間步），代表1次批量輸入所包含的前置歷史日數(shù)量；第3維為輸入特征維度，為1個歷史日中負荷歷史數(shù)據(jù)時點與相關因素合并后的特征總量。

步驟2訓練樣本集劃分為訓練輸入與訓練標簽，將訓練輸入輸入模型獲取訓練輸出，用式（16）衡量訓練輸出與訓練標簽的損失值，再如圖（6）過程所示，根據(jù)ADAM反向傳播算法優(yōu)化模型可學習參數(shù)向量。

步驟3將驗證集劃分為驗證輸入與驗證標簽，輸入驗證輸入獲取驗證輸出，SSA目標函數(shù)為驗證損失最小，迭代更新模型超參數(shù)組。

步驟4將最優(yōu)化結構的模型保存，輸入測試數(shù)據(jù)集，獲取預測時間點對應預測值。

3 算例分析

3.1 數(shù)據(jù)預處理與輸入特征選取

為驗證本文所提出預測模型的準確性，算例分析采用瑞士電網(wǎng)公開數(shù)據(jù)及相關氣象數(shù)據(jù)集，選取2019年1月1日—2019年12月21日的負荷數(shù)據(jù)，1 d采集24點，時間間隔為1 h。預測輸入特征包含歷史負荷、日最高溫度、最低溫度、平均溫度、星期日類型、節(jié)假日類型。以數(shù)字0～6對應星期一至星期日。對于節(jié)假日，以1/0分別對應是否為節(jié)假日。為提高模型訓練效果，采用min-max歸一化法將原始數(shù)據(jù)置于（-1，1）區(qū)間內，計算公式為

式中：x為原始數(shù)據(jù)；x*為歸一化的數(shù)據(jù)；xmin、xmax分別為樣本數(shù)據(jù)的最小值與最大值。

3.2 實驗評價標準

結果評價標準選取平均絕對百分誤差MAPE（mean absolute percentage error）、根均方誤差RMSE（root mean squared error）和擬合精度FA（fitting accuracy），計算式分別為

式中，n為預測結果數(shù)目。評價標準為MAPE、RMSE值越小、FA值越大，則模型預測效果越好。

為科學驗證本文模型的有效性，選擇LR、SVR、MLP、LSTM、GRU模型與本文所提方法進行結果對比。

3.3 SSA參數(shù)優(yōu)化結果

樣本數(shù)據(jù)集時間為2019年1月1日—2019年12月21日，以2019年1月1日—2019年11月15日數(shù)據(jù)為訓練集；以2019年11月16日—30日數(shù)據(jù)作為驗證集，參數(shù)優(yōu)化目標為驗證集損失值最小。為測試模型泛化能力，以2019年12月3周數(shù)據(jù)集為測試集。

對SSA參數(shù)設置包括參與搜索的麻雀數(shù)量n為20，對l、m、bs、k等4個參數(shù)進行優(yōu)化，初始化形成20×4的搜索矩陣；最大迭代數(shù)Tmax為30；m、bs、k的搜索范圍為[1，1 000]，l的搜索范圍為[10-5，10-3]；將驗證集上預測結果的平均絕對百分比作為麻雀適應度，適應度5輪迭代不變時算法中止。優(yōu)化結果如表1所示。

表1 SSA-Attention-GRU參數(shù)優(yōu)化結果Tab.1 Optimization results of SSA-Attention-GRU parameters

3.4 注意力機制權重優(yōu)化結果

構建模型輸入為預測日前7日的復合數(shù)據(jù)，輸出為預測日24 h預測值。設置GRU輸入數(shù)據(jù)結構時間戳（時間步）為7，分別對應預測日前7日所包含的信息，使用注意力機制對時間步進行權重分配優(yōu)化。對2019年12月1日（星期日）、2019年12月11日（星期三）、2019年12月21日（星期六）的權重分配優(yōu)化結果如圖7所示。由優(yōu)化結果可知，注意力機制對時間步為1及7的重視程度最高，對應為預測日一周前的的歷史日及相鄰日，說明這兩個時間步中包含對預測結果更為重要的信息。

圖7 Attention機制權重分配優(yōu)化結果Fig.7 Optimization results of weight distribution based on Attention mechanism

3.5 SSA-Attention-GRU預測結果分析

對連續(xù)3周的負荷預測的評價指標如表2所示。分析可知，所提模型相比于LR、SVR、MLP、LSTM、GRU等模型，MAPE分別降低了3.432%、2.110%、1.260%、0.738%和0.488%，RMSE分別降低了54.36%、38.34%、28.45%、18.96%和13.96%，說明所提模型相對傳統(tǒng)預測方法具有較佳性能。

表2 不同預測模型對比Tab.2 Comparison among different predictive models

SSA-Attention-GRU連續(xù)3周擬合結果與真實負荷的對比如圖8所示。可見，模型在工作日的擬合曲線與真實負荷曲線吻合度較高，在周末的吻合度比工作日略有降低。進一步分析模型對不同日類型的擬合效果，以日為基礎的誤差分析如表3所示。所提模型對比5種傳統(tǒng)模型工作日MAPE分別下降了3.714%、1.998%、1.357%、0.513%和0.369%；周末、節(jié)假日MAPE分別下降了2.726%、2.390%、1.017%、1.301%和0.784%。預測結果無論是平均誤差還是最大誤差均優(yōu)于其他預測方法，預測精度更高。

圖8 SSA-Attention-GRU擬合結果Fig.8 Fitting results of SSA-Attention-GRU

表3 逐日預測結果MAPETab.3 MAPE of daily forecasting results

4 結論

本文結合當前計算機算力、算法的快速發(fā)展，以及電力負荷預測精度提高的要求，提出了一種基于注意力機制與SSA門控循環(huán)單元模型實現(xiàn)負荷的短期預測，所提模型具有如下優(yōu)點。

（1）通過前置注意力機制對輸入信息進行權重分配，使時間戳中包含對準確結果貢獻度更高的序列得到強調。結果表明，引入注意力機制對輸入信息進行權重分配后，比同權重輸入信息預測準確度有提升，且前置注意力機制可解釋性更好。

（2）使用SSA對網(wǎng)絡超參數(shù)進行迭代優(yōu)化，克服由人工經(jīng)驗進行選擇通用性差、不確定性高的缺點。

（3）與傳統(tǒng)的LR、SVR、MLP、LSTM 和GRU預測模型相比，本文方法在工作日、節(jié)假日、最大誤差與平均誤差上均取得了更佳的效果。

對本文方法進行對比發(fā)現(xiàn)，節(jié)假日與工作日預測效果上存在一定差異，后續(xù)將通過分析用戶行為，進一步提取負荷變化規(guī)律提升預測精確度。