基于參數(shù)優(yōu)化的KELM 和GRU 的短期電力負荷預測*

周 雪鮑 剛 龔順琦

(1.三峽大學電氣與新能源學院，湖北 宜昌 443002；2.三峽大學梯級水電站運行與控制湖北省重點實驗室，湖北 宜昌 443002)

短期電力負荷預測指的是對短期負荷時序數(shù)據(jù)內在規(guī)律的研究，以便探索未來的負荷變化，并進行電力需求初步估計和預測[1-3]。由于短期負荷時間序列的強非線性，實現(xiàn)高精度預測具有一定的挑戰(zhàn)[4-5]。目前，一些智能算法(如人工神經(jīng)網(wǎng)絡和支持向量機)在非線性時間序列的預測中能夠取得較高精度，因此在負荷預測研究中占有很大的比重[6-8]。文獻[9]為了提高預測精度，利用人工神經(jīng)網(wǎng)絡理論和方法，對日最大、最小負荷時刻進行負荷模型預測，分析了預測負荷值和預測模型參數(shù)值之間的靈敏度。文獻[10]在負荷預測中使用了BP 神經(jīng)網(wǎng)絡，雖然BP 神經(jīng)網(wǎng)絡優(yōu)異的自我學習能力和自適應能力可以提高預測精度，但初始閾值和權重的選擇對網(wǎng)絡訓練的速度和精度有很大影響。文獻[11]提出了一種基于改進經(jīng)驗模態(tài)分解(IEMD)和支持向量機(SVM)的風電信號組合預測方法。該模型能夠較好地表現(xiàn)原信號的整體趨勢，并通過實例驗證了該模型具有較強的泛化能力。文獻[12]采用改進蜻蜓算法優(yōu)化自適應噪聲的完全集合經(jīng)驗模態(tài)分解(CEEMDAN)與支持向量回歸(Support Vector Regression，SVR)模型，有效提高了負荷的預測精度。為了削弱負荷序列的非線性，文獻[13]將經(jīng)驗模態(tài)分解(Empirical Mode Decomposition，EMD)與粒子群優(yōu)化(PSO)以及遺傳算法(GA)相結合，改進了負荷預測中傳統(tǒng)支持向量回歸(Support Vector Regression，SVR)模型的預測性能。雖然基于EMD的分解方法可以有效地執(zhí)行原始負荷數(shù)據(jù)的分解，能夠將平穩(wěn)序列與非平穩(wěn)序列有效地分離，以提高預測精度。但是采用EMD 算法進行分解，可能會產(chǎn)生虛假IMF 分量，影響整體分解性能和預測精度。為獲得更好的預測效果，文獻[14]建立經(jīng)驗小波變換(Empirical Wavelet Transform，EWT)與小波核極限學習機(WKELM)的組合預測方法，與EMD 相比，EWT 算法能夠更好地處理數(shù)據(jù)，進一步提升了模型的預測性能。對于核極限學習機而言，其正則化系數(shù)和核函數(shù)參數(shù)需要合理設定，兩者的設定對模型預測性能具有一定影響[15]。

由于短期負荷時間序列的復雜性及其非平穩(wěn)性，一些學者將組合模型預測方法應用于短期負荷預測。其中，應用時頻分解技術處理后再對各子序列分別預測的方法得到了廣泛的應用。上述方法雖然削弱了原始數(shù)據(jù)的非平穩(wěn)性，較顯著地提升了預測精度。然而，對于不同復雜度的子序列，應用同一種預測模型并不能充分發(fā)揮模型性能。因此，提出了一種基于經(jīng)驗小波變換(EWT)、樣本熵(Sample Entropy，SampEn)、門控循環(huán)單元(Gated Recurrent Unit，GRU)和基于鯨魚優(yōu)化算法(Whale Optimization Algorithm，WOA)參數(shù)尋優(yōu)的核極限學習機(Kernel Extreme Learning Machine，KELM)[15]的混合預測方法。通過對不同預測模型的比較，驗證了文章提出的模型在電力系統(tǒng)短期負荷預測中的應用具有高效性和準確性。

1 基于EWT 和樣本熵的數(shù)據(jù)預處理

1.1 EWT 算法

文章采用一種新的自適應信號處理方法即EMT算法[16]，對原始電力負荷數(shù)據(jù)進行預處理。該方法的核心思想是基于尺度空間的頻譜分離技術，自適應劃分信號頻譜，然后構造一組合適的小波濾波器，提取具有頻譜特征的調幅-調頻分量(AM-FM)，對提取的AM-FM 分量進行Hilbert 變換，得到有意義的瞬時頻率和瞬時振幅，進而得到Hilbert 譜。EWT 的理論完備且計算量遠小于EMD 和集成經(jīng)驗模態(tài)分解(EEMD)，有效消除了模態(tài)混疊現(xiàn)象[17]。

由EWT 變換之后，原始信號f(t)可表示如下:

經(jīng)過上述轉換后的經(jīng)驗尺度分量f0(t)包含原始信號的整體變化特征，fk(t)包含不同頻域具有差異的特征，即實現(xiàn)了原始序列中固有模態(tài)分量的有效分離。其中，EWT 分解信號的主要過程如圖1 所示:

圖1 數(shù)據(jù)預處理流程圖

1.2 樣本熵

為了定量評估各分解序列時序特征以分配適宜預測模型，文章采用樣本熵對各子序列內部混亂程度進行定量分析，樣本熵(Sample Entropy，SampEn)與近似熵的物理意義相似，都是通過度量信號中產(chǎn)生新模式的概率大小來衡量時間序列復雜性，新模式產(chǎn)生的概率越大，序列的復雜性就越大。其中樣本熵的基本原理可參見文獻[18]。文章中序列樣本熵復雜度以原始序列的樣本熵值為評價標準，當子序列的樣本熵值大于原始序列樣本熵值時，則說明此子序列更為復雜。

2 基于GRU 和WOA-KELM 的混合預測方法

2.1 GRU

GRU(Gate recurrent unit，GRU)是在人工神經(jīng)網(wǎng)絡基礎上發(fā)展起來的一種具有較強時序預測性能的新型深度網(wǎng)絡，其通過引入各類門控算子對輸入變量進行選擇性操作，不僅能夠減少梯度消失問題，還可以實現(xiàn)長期記憶信息的保存與更新[19]。其網(wǎng)絡結構如圖2 所示:

圖2 深度門控單元結構

假設xt為輸入，ht為隱藏層的輸出，GRU 單元通過以下公式計算得到ht:

式中:σ為sigmoid 函數(shù)，xt為t時刻輸入張量，ht-1為t-1 時刻隱含狀態(tài)，rt和zt分別為重置門和更新門，wxr和br表示權重參數(shù)和偏移參數(shù)為候選隱藏狀態(tài)，⊙為Hadamard 積。

2.2 基于WOA 算優(yōu)化的KELM 預測原理

核極限學習機(KELM)是一種特殊的前向神經(jīng)網(wǎng)絡[20]，它只需要設置隱藏層的節(jié)點個數(shù)，然后使用最小二乘法即可計算出權重。核極限學習機由于其輸入權重與偏置項隨機產(chǎn)生并在計算過程中不再改變，因此其模型結果會更加隨機，能夠避免傳統(tǒng)神經(jīng)網(wǎng)絡容易產(chǎn)生局部最優(yōu)解的問題。

對于含有L個隱藏層節(jié)點的KELM，給定N組訓練樣本數(shù)據(jù)，輸入樣本集為X={x1，x2，x3，…，xN}，此時輸出的樣本集為Y={y1，y2，y3，…，yN}，其中KELM 的輸出表達式為:

式中:C為正則化參數(shù)；ΩELM為核函數(shù)，表達式為ΩELM=HHT；H為隱含層輸出函數(shù)，H=[h(x1)，…，h(xn)]T，h(xi)為樣本xi的非線性映射；β為隱含層與輸出層的權值向量。

由于KELM 是在ELM 基礎上通過引入核函數(shù)來獲得更好的應用潛力，核函數(shù)ΩELMi，j表達式如下，其中g為KELM 的核參數(shù):

為優(yōu)化KELM 預測模型的內部正則化系數(shù)c和核函數(shù)參數(shù)g，文中使用鯨魚優(yōu)化算法(Whale Optimization Algorithm，WOA)，并基于核極限學習機的理論基礎優(yōu)化KELM 的超參數(shù)。WOA 算法為一種模仿座頭鯨狩獵行為的元啟發(fā)式優(yōu)化算法，使用隨機或最佳搜索代理來模擬狩獵行為，以及使用螺旋式位置更新來模擬座頭鯨的泡泡網(wǎng)攻擊機制[21]，算法的求解步驟可簡要描述如下:

(1)環(huán)繞式捕獵。座頭鯨根據(jù)獵物的位置不斷調整自身位置進行狩獵，以獲得最佳捕食策略。這種優(yōu)化搜索策略可以描述為:

式中:D為當前座頭鯨和獵物之間的距離；X*(t)為目前得到最優(yōu)解的位置向量；X(t)為當前的位置向量；X(t+1)為下一次迭代后的目標向量；A和C為系數(shù)向量，可由公式(6)計算得到:

式中:A∈[-1，1]；r1和r2是(0，1)中的隨機向量；常數(shù)a在迭代過程中線性遞減；t表示當前的迭代次數(shù)；Tmax為迭代的最大次數(shù)。此過程模仿狩獵時座頭鯨的螺旋運動以實現(xiàn)位置更新。

(2)基于泡泡網(wǎng)的狩獵行為。座頭鯨在對獵物進行搜索包圍后，采用螺旋方程來更新座頭鯨的位置:

式中:Di表示第i條座頭鯨到獵物的距離(目前可以得到的最佳解)；b為對數(shù)螺線形狀常數(shù)；l為[-1，1]之間的隨機數(shù)。

在進行優(yōu)化的過程中，我們采用50%的概率控制鯨群的搜索范圍(P為[0，1]之間的隨機數(shù))，在縮小的包圍機制和螺旋模型之間做出選擇，其中進行螺旋式位置更新的公式如下:

(3)獵物搜尋過程。座頭鯨在實際獵捕中會將螺旋式搜索和隨機搜索兩種搜索模式相結合，即在｜A｜＞1 范圍內進行隨機搜索，以便尋找其他合適的食物，這將增強WOA 優(yōu)化算法的全局搜索捕食能力:

式中:Xrand為鯨群中隨機選擇的位置。

在優(yōu)化過程中，將負荷序列的均方根誤差作為適應度函數(shù)，適應度函數(shù)表達式如公式(10)所示:

式中:N為實驗數(shù)據(jù)個數(shù)，yi表示第i個負荷序列的實際值為第i個負荷序列預測值。

當適應度值f取最小時，預測值與真實值之間誤差也最小，說明此時預測精度較高。在當前適應度下，通過WOA 算法尋找的最佳鯨魚位置坐標即為KELM 內部的c，g參數(shù)。

3 短期負荷預測模型框架

3.1 預測模型整體框架

為充分削弱短期負荷序列的非平穩(wěn)性和非線性，減小預測誤差以提升預測模型的預測精度，文章提出基于GRU 算法和WOA 算法優(yōu)化的KELM 混合預測模型來預測未來的負荷變化情況，并引入EWT 算法和樣本熵對原始負荷數(shù)據(jù)進行預處理。其中文章提出的EWT-WOA-KELM-GRU 短期負荷預測模型整體框架如圖3 所示。

圖3 基于GRU 和WOA-KELM 的混合預測模型

3.2 WOA-KELM 預測模型構建

對經(jīng)過EWT 分解后得到的IMF1和IMF2序列分量，由于其樣本熵值高于原始序列，其混亂程度更高，因此采用WOA-KELM 預測模型進行預測。WOA-KELM 預測步驟如下:

步驟一:將IMF1和IMF2序列分量分別重構為六維特征矩陣和目標向量，并依次劃分為訓練集、驗證集和測試集；

步驟二:輸入訓練集數(shù)據(jù)，構建KELM 整體框架，并得到驗證集下的預測誤差；

步驟三:將驗證集預測結果的均方根誤差作為適應度函數(shù)，利用WOA 算法進行優(yōu)化，使預測誤差最??；

步驟四:對所有序列樣本進行歸一化處理，初始化鯨魚種群個數(shù)，確定迭代次數(shù)以及c，g參數(shù)的搜索范圍；

步驟五:隨機產(chǎn)生鯨魚種群位置x(c，g)，計算各個鯨魚種群對應的適應度值，選取適應度最優(yōu)的鯨魚個體位置，記為x*(c，g)，并更新當前鯨魚位置；

步驟六:重復步驟五直至到達最大迭代次數(shù)，記錄最佳位置為x*(c，g)，此時的c，g為通過WOA 優(yōu)化算法得到的最佳參數(shù)；

步驟七:將優(yōu)化好的c，g參數(shù)代入KELM 預測模型，輸入測試集的數(shù)據(jù)，最后得到預測結果。

3.3 GRU 預測模型構建

對EWT 分解后得到的IMF3～IMF5負荷序列，由于其樣本熵值低于原始序列，因此通過GRU 網(wǎng)絡得到預測輸出序列。GRU 預測步驟如下:

步驟一:將IMF3、IMF4和IMF5序列分量分別重構為六維特征矩陣和目標向量，并依次劃分為訓練集、驗證集和測試集；

步驟二:利用驗證集獲得對應GRU 網(wǎng)絡模型，并使用測試集得到IMF3、IMF4和IMF5序列分量預測結果，對預測結果進行疊加重構后得到歸一化預測數(shù)據(jù)；

步驟三:將預測數(shù)據(jù)進行反歸一化，得到預測結果。

3.4 預測誤差評價指標

為了驗證文中所提模型的預測性能，采用平均絕對誤差(Mean Absolute Error，MAE)、均方根誤差(Root Mean Square Error，RMSE)、平均絕對百分比誤差(Mean Absolute Percentage Error，MAPE)來評估模型優(yōu)劣，采用擬合優(yōu)度檢驗R2評價指標來反映模型擬合的精密度，通過以上評價指標檢驗各模型的預測性能，其計算方法如下所示:

4 實驗及結果分析

文章采用比利時某地區(qū)2020 年1 月1 日至1 月30 日內的實測負荷數(shù)據(jù)，數(shù)據(jù)采集間隔為15 min，累計包含2 880 個樣本。將數(shù)據(jù)集分為以下幾部分:前1 822 個樣本為訓練集，之后的456 個樣本用作驗證集，最后596 個樣本用作測試集。為了避免迭代過程中學習時間過長，同時考慮到負荷數(shù)據(jù)的時間序列特性，文章利用歷史負荷數(shù)據(jù)中前6 個時刻的負荷預測第7 時刻的負荷，其中映射函數(shù)可以表示為=f(xt+5，xt+4，xt+3，xt+2，xt+1，xt)。在預測過程中，前1 822個樣本為訓練集用于搭建KELM 和GRU 的負荷預測模型；之后的456 個樣本用作驗證集選取最優(yōu)參數(shù)，其中采用WOA 算法優(yōu)化KELM 內部的超參數(shù)，c、g參數(shù)的范圍均設置為[2-10，210]；最后將596 個樣本用作測試集，分別經(jīng)過WOA 算法優(yōu)化的KELM 模型和GRU 模型預測，最終得到精度較高的預測結果。

此外，為了保障種群多樣性，WOA 優(yōu)化算法種群規(guī)模設定為30，迭代次數(shù)設定為50 次。GRU 的隱藏神經(jīng)元個數(shù)為32 個，隱藏層數(shù)為1。在預測過程中，考慮訓練速度與梯度下降的因素，GRU 的batchsize為128，epochs 為500，同時在訓練過程中，為了可以有效緩解過擬合的發(fā)生，在一定程度上達到正則化的效果，Dropout 設置為0.2，最終得到GRU 預測模型的預測結果。各算法具體參數(shù)設置如表1 所示。

表1 所提模型參數(shù)設置

4.1 分解結果

采用EWT 算法對原始負荷序列進行分解，最終原始負荷序列和EWT 分解結果如圖4 和圖5 所示，圖4 為比利時某地區(qū)2020 年1 月1 日至1 月30 日內實測負荷數(shù)據(jù)，其中縱坐標為每15 min 采樣一次的負荷量；圖5 為經(jīng)過EWT 分解后的5 個模態(tài)分量，累計包含2 880 個樣本數(shù)據(jù)；各子序列樣本熵值如圖6所示，圖中虛線為原始序列對應的樣本熵值。

圖4 原始負荷序列

圖5 EWT 分解結果

由圖4 可以看出，原始負荷序列具有很強的不穩(wěn)定性和非線性，從圖5 可以看出，在經(jīng)過EWT 分解之后，原始負荷序列可以分解為5 個模態(tài)分量，并且顯現(xiàn)出從高頻到低頻的變化特征。其中高頻分量IMF1、IMF2波形變化劇烈，難以在預測模型中實現(xiàn)較高精度，IMF3、IMF4分量的變化規(guī)律比較明顯，低頻分量IMF5的預測結果與實際數(shù)據(jù)誤差較小，能夠在預測模型中實現(xiàn)較高精度。由此可以看出，EWT方法可以對負荷序列進行有效分解。

從圖6 可以看出，EWT 分解子序列對應的樣本熵呈現(xiàn)下降趨勢。從圖5 和圖6 的比較可以看出，IMF1和IMF2序列信號的頻率越大，其相應的樣本熵值就越大，因此表明它們具有較高的復雜度，與之相應的是較高的預測難度。而IMF3、IMF4、IMF5序列波形曲線相對平穩(wěn)，樣本熵值小于原始序列，更易于預測。

圖6 各子序列樣本熵值

4.2 對比分析

為了驗證EWT-WOA-KELM-GRU 混合預測模型的準確性，選取SVR、KELM、EMD-KELM、EWTKELM、EWT-WOA-KELM 預測模型作為對比模型將EWT-WOA-KELM-GRU 的性能與對比模型進行了比較，充分驗證所提預測模型的精度。所提模型和對比模型在測試集上的預測效果見圖7，各模型的預測誤差和擬合效果數(shù)據(jù)見表2。

表2 各模型在測試集上的預測誤差

從表2 和圖7 的預測誤差和擬合結果來看，所提出的EWT-WOA-KELM-GRU 模型取得了最好的預測效果。該預測模型在測試集上的預測誤差最小，預測精度最高，且擬合效果優(yōu)于其他比較模型。其中MAE 為18.295 1 MW，RMSE 為23.896 6 MW，MAPE 為0.17%，R2為99.98%。以MAPE 為例，該模型優(yōu)于傳統(tǒng)的SVR 和KELM 模型，預測誤差比單一的KELM 預測模型降低了0.74%；同時，該模型優(yōu)于采用其他分解技術的EMD-KELM 模型，預測誤差比EMD-KELM 模型降低了0.64%，充分顯現(xiàn)了EWT分解的效率，與EMD 分解技術相比有了很大的提高。與未采用WOA 算法優(yōu)化的EWT-KELM 模型相比，該模型的MAPE 指數(shù)降低了0.23%，驗證了該模型的有效性。在充分分解非線性負荷序列數(shù)據(jù)的同時，使用WOA 算法可以有效改善模型的訓練速度和求解性能，在一定程度上提高短期負荷預測的準確性。與EWT-WOA-KELM 預測模型相比，采用樣本熵評估經(jīng)EWT 分解后的子序列復雜度，并使用EWT-WOA-KELM-GRU 混合預測模型對子序列分別進行預測，預測誤差更低，擬合度更優(yōu)。

圖7 所提模型以及對比模型在測試集上的預測效果

為了可視化所提模型的預測性能，測試集上所有模型的具體預測誤差指標如圖8 所示。

圖8 所提模型以及對比模型的預測誤差情況比較

對所提出的EWT-WOA-KELM-GRU 模型進行實例計算和結果分析可得，所提混合模型具有更加高效的擬合能力，經(jīng)過模態(tài)分解之后，對于傳統(tǒng)的KELM 具有較大的提升，并且所提出的EWT 分解效果要優(yōu)于EMD 分解方法，有效緩解模態(tài)混疊的情況，提升了非線性負荷序列的分解效率；在進行模態(tài)分解預處理之后，采用樣本熵度量各個子序列的復雜度，并為不同子序列分配適宜的預測模型；為進一步提升KELM 的預測性能，提出采用WOA 算法優(yōu)化選取和搜索KELM 的內部超參數(shù)，從而有效提升了EWT-KELM 模型的預測效果，非線性擬合能力在此基礎上提升0.12%，達到99.98%的高水平。

5 結論

為獲得更高的短期負荷預測精度，文章采用EWT 算法對短期電力負荷的原始數(shù)據(jù)序列進行分解，獲得多組平穩(wěn)的模態(tài)分量序列，然后對各子序列應用樣本熵分析其內在復雜度，并依次建立GRU 和WOA 算法優(yōu)化的KELM 預測模型，并通過累加所有模型的預測值得到最終預測結果。實驗結果表明，所提出的EWT-WOA-KELM-GRU 模型在短期負荷預測中精度較高，預測速度更快，擬合度更優(yōu)。在今后的研究中，可以考慮短期電力負荷預測在更復雜的環(huán)境下的應用，例如氣候等因素的影響，進一步提高預測模型的通用性和數(shù)據(jù)處理能力。