基于IPSO-LSTM神經(jīng)網(wǎng)絡(luò)的短期負荷預(yù)測

宋思遠，朱 武，王光東，鄧安全

(1.上海電力大學(xué)電子與信息工程學(xué)院，上海 200090；2.國網(wǎng)上海電力公司崇明供電公司，上海 202150)

1 引言

電力系統(tǒng)負荷預(yù)測是電力系統(tǒng)規(guī)劃和穩(wěn)定、安全、經(jīng)濟運行的基礎(chǔ)[1]。根據(jù)預(yù)測期限可以將負荷預(yù)測分為長期預(yù)測，中期預(yù)測，短期預(yù)測和超短期預(yù)測。不同的預(yù)測類型對電網(wǎng)有著不同的應(yīng)用目的。其中短期負荷預(yù)測(Short term load forecasting，STLF)一般指當(dāng)前時刻往后1小時到1周的負荷預(yù)測[2]，適用于火電分配及水火協(xié)調(diào)等方面。可靠的預(yù)測結(jié)果有利于提高發(fā)電設(shè)備的利用率，降低電力網(wǎng)絡(luò)的運營成本[3]。而隨著電網(wǎng)市場化改革的推進，有效的短期負荷預(yù)測對實時電價的影響更加明顯。但是隨著電網(wǎng)規(guī)模的不斷擴大，負荷多樣性的增加，高效和精確的短期負荷預(yù)測變得更加困難。這就要求超短期的負荷預(yù)測方法同時具有快速和準(zhǔn)確的特點。

目前，用于負荷預(yù)測的方法主要可以分為兩大類，分別是傳統(tǒng)的統(tǒng)計學(xué)方法和新興的機器學(xué)習(xí)方法。統(tǒng)計學(xué)方法包括了多元線性回歸模型[4]、卡爾曼濾波器模型[5-6]、以及時間序列模型[7]等，它建立的模型具有比較明確的數(shù)學(xué)形式，數(shù)據(jù)分布的假定和模型的合理性決定了預(yù)測結(jié)果好壞。而由于電力負荷具有復(fù)雜性和非線性的特點，很難做出較為符合實際的分布假定和建立明確的數(shù)學(xué)模型。因此多數(shù)的統(tǒng)計學(xué)方法在進行短期負荷預(yù)測時效果并不理想。機器學(xué)習(xí)方法包括了包括模糊推理系統(tǒng)(fuzzy inference system，F(xiàn)IS)[8]、人工神經(jīng)網(wǎng)絡(luò)(artificial neural network，ANN)[9]和支持向量機(support vector machine，SVM)[10-11]等。這些方法能夠較好的處理非線性問題，因此預(yù)測的準(zhǔn)確率有所提高，但也存在一些其它問題，如缺乏自學(xué)能力，無法處理大規(guī)模數(shù)據(jù)，破壞數(shù)據(jù)的時序特征，手動特征選擇等。

在ANN基礎(chǔ)上發(fā)展出來的深度神經(jīng)網(wǎng)路(deep neural network，DNN)具有自學(xué)習(xí)，非線性函數(shù)模擬，大數(shù)據(jù)處理等特點，但仍需人工選擇時序特征。

長短期記憶(long short term memory，LSTM)網(wǎng)絡(luò)作為一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)能夠更好的學(xué)習(xí)到數(shù)據(jù)中的時序特征，解決了時序特征提取問題，具有更高的預(yù)測精度，但是存在訓(xùn)練時間長的問題[12]。而短期負荷預(yù)測具有數(shù)據(jù)量大，時效性特點，運用LSTM網(wǎng)絡(luò)進行預(yù)測時存在一些問題。首先是隱含層數(shù)和神經(jīng)元數(shù)的確定，其次是學(xué)習(xí)率和迭代次數(shù)的確定。這些參數(shù)直接影響了LSTM網(wǎng)絡(luò)的訓(xùn)練時間和預(yù)測精度。

本文提出了一種改進粒子群算法(IPSO)與長短期記憶網(wǎng)絡(luò)(LSTM)相結(jié)合的預(yù)測模型(IPSO-LSTM)。通過IPSO方法來優(yōu)化LSTM網(wǎng)絡(luò)的隱含層神經(jīng)元數(shù)，學(xué)習(xí)率，從而得到合適的網(wǎng)絡(luò)參數(shù)提高LSTM網(wǎng)絡(luò)的預(yù)測精度，以歷史負荷作為網(wǎng)絡(luò)輸入數(shù)據(jù)，迭代輸入，充分挖掘數(shù)據(jù)的內(nèi)部信息。并通過對比由經(jīng)驗公式獲得的LSTM網(wǎng)絡(luò)進行驗證。

2 LSTM和IPSO算法

2.1 LSTM原理

LSTM是一種對RNN改進后得到的神經(jīng)網(wǎng)絡(luò)。相對于RNN而言LSTM能夠更好的處理梯度消失和梯度爆炸的問題。LSTM與RNN的區(qū)別在于LSTM在隱含層的神經(jīng)元中添加了記憶單元Cell和3個門(輸入門，遺忘門和輸出門)[13]。Cell是LSTM的計算節(jié)點核心，記錄當(dāng)前狀態(tài)；輸入門(input gate)控制進入計算節(jié)點的信息；遺忘門(forgetting gate)控制Cell內(nèi)歷史狀態(tài)的去留；輸出門(output gate)控制計算節(jié)點的信息輸出。LSTM神經(jīng)網(wǎng)絡(luò)的計算節(jié)點如圖1所示。

圖1 長短期記憶網(wǎng)絡(luò)計算節(jié)點結(jié)構(gòu)

LSTM計算節(jié)點的在t時刻的傳播公式可表示為

it=g(Whiht-1+Wxixt+bi)

(1)

ct=ft·ct-1+it·tanh(Whcht-1+Wxcxt+bc)

(2)

ft=g(Whfht-1+Whfxt+bf)

(3)

ot=g(Whoht-1+Woxxt+Wcoct+bo)

(4)

ht=ot·tanh(ct)

(5)

上式中W和b為參數(shù)矩陣；xi為計算節(jié)點的輸入值；ht為t時刻計算節(jié)點的輸出值；g(·)為sigmoid函數(shù)；it為t時刻輸入門的輸出；ct為t時刻Cell狀態(tài)參數(shù)；ft為t時刻遺忘門的輸出；ot為t時刻輸出門的輸出。

2.2 PSO算法[14-17]原理

粒子群優(yōu)化算法可以描述為：假設(shè)在n維空間內(nèi)存在一個含有m個微粒的種群X=(X1，X2，…，Xm)，第i個微粒的速度和位置分別為Vi=(vi1，vi2，…，vin)T，Xi=(xi1，xi2，…，xin)T通過目標(biāo)函數(shù)來評價t時刻微粒個體的最優(yōu)位Pi=(pi1，pi2，…，pin)T和群體的最優(yōu)位置Pg=(pg1，pg2，…，pgn)T。再通過下式對各微粒的速度和位置進行迭代更新。

(6)

(7)

式中w為慣性權(quán)重；d=1，2，…，n；i=1，2，…，m；k為迭代次數(shù)；Vid為第i個粒子在第d維的速度；Xid為第i個粒子在第d維的位置；c1和c2為非負常數(shù)；r1和r2為[0，1]之間的隨機數(shù)。

2.3 改進PSO算法

慣性權(quán)重w直接影響著PSO算法的收斂效率。增大w能夠提高算法的全局收斂能力，減小w能夠調(diào)高算法的局部收斂能力。原算法的w為常量并不會隨著迭代次數(shù)的增加而變化，會削弱算法的全局尋優(yōu)能力，降低算法的收斂速度。提出新的非線性的慣性權(quán)重w，使得迭代初期算法具有較好的全局收斂能力；迭代的后期減小w，從而提高算法的局部收斂能力。w的形式如下

(8)

式中k為當(dāng)前迭代次數(shù)；Kmax為最大迭代次數(shù)；η為曲率調(diào)節(jié)參數(shù)。當(dāng)a=0.6，b=0.3，Kmax=50時不同的η對應(yīng)著不同的慣性權(quán)重變化，如圖2所示。

圖2 非線性慣性權(quán)重曲線

3 IPSO-LSTM模型

本文將IPSO算法優(yōu)化的LSTM神經(jīng)網(wǎng)絡(luò)稱為IPSO-LSTM模型，經(jīng)實驗得到本文所用的LSTM網(wǎng)絡(luò)的隱含層為2層時既能有較高的預(yù)測精度，迭代次數(shù)在30次以內(nèi)已經(jīng)收斂。因此在IPSO算法中粒子Xi為(l1i，l2i，εi)，其中l(wèi)1i表示LSTM網(wǎng)絡(luò)第一個隱含層的神經(jīng)元個數(shù)，l2i表示LSTM網(wǎng)絡(luò)第二個隱含層的神經(jīng)元個數(shù)，εi表示LSTM網(wǎng)絡(luò)的學(xué)習(xí)率，LSTM網(wǎng)絡(luò)的迭代次數(shù)設(shè)置為30。

IPSO-LSTM網(wǎng)絡(luò)模型的流程圖如圖3所示。

圖3 IPSO-LSTM流程框圖

具體的步驟如下：

1)對樣本數(shù)據(jù)進行預(yù)處理，剔除異常數(shù)據(jù)，填充殘缺數(shù)據(jù)，將輸入數(shù)據(jù)轉(zhuǎn)換為矩陣形式，初始化IPSO算法參數(shù)。

2)定義適應(yīng)度。采用LSTM網(wǎng)絡(luò)預(yù)測值的均方差作為粒子適應(yīng)度值fit。

(9)

式中y為真實值，y′為預(yù)測值。

3)以粒子的位置信息作為LSTM網(wǎng)絡(luò)的參數(shù)，構(gòu)建多個LSTM網(wǎng)絡(luò)

4)訓(xùn)練所有網(wǎng)絡(luò)，得到每個粒子的自適應(yīng)度值。更新個體極值和群體極值。

5)根據(jù)個體極值和群體極值用非線性慣性權(quán)值迭代更新粒子速度和位置信息。

6)滿足條件或達到最大迭代次數(shù)后進入步驟7)，否則返回執(zhí)行步驟3)。

7)得到優(yōu)化后的參數(shù)，提高迭代次數(shù)到100，重新訓(xùn)練LSTM網(wǎng)絡(luò)。

8)通過訓(xùn)練好的IPSO-LSTM網(wǎng)絡(luò)進行預(yù)測。

采用農(nóng)產(chǎn)品重金屬危害風(fēng)險、土壤重金屬污染風(fēng)險、重金屬生物可利用性和土壤重金屬污染源輸入風(fēng)險相結(jié)合的評估方法，評估指標(biāo)包括農(nóng)產(chǎn)品重金屬污染指數(shù)（E）、土壤重金屬污染指數(shù)（P）、重金屬生物可利用風(fēng)險商（QBCF）、土壤污染源輸入指數(shù)（Qs）。

4 案例驗證

本文用某市電力公司2016年全年的網(wǎng)供負荷作為試驗數(shù)據(jù)，負荷數(shù)據(jù)采集周期為1小時，共有8760條信息。選取前8000小時的負荷數(shù)據(jù)作為訓(xùn)練集，重構(gòu)數(shù)據(jù)得到矩陣Train7975×25。矩陣每行前24列為24個輸入值，最后1列為需要預(yù)測的真實值。同理后760小時的負荷數(shù)據(jù)作為測試集，重構(gòu)得到矩陣Test735×25。首先，進行數(shù)據(jù)的歸一化處理得到適用于網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)。然后設(shè)置模型參數(shù)為：種群個體數(shù)為10；迭代次數(shù)Kmax=20；粒子Xi(l1i，l2i，ε)的隱含層的神經(jīng)元數(shù)l1i和l2i的取值范圍為[5，30]；學(xué)習(xí)率ε取值范圍為[0.005，0.05]；各維度的速度取值范圍分別為[-1，1]，[-1，1]，[-0.002，0.002]和a=0.6；b=0.3；η=1.7。

經(jīng)過IPSO優(yōu)化LSTM網(wǎng)絡(luò)后得到的最優(yōu)參數(shù)為l1=5，l1=27，ε=0.014。由經(jīng)驗式(10)得到單隱含層LSTM網(wǎng)絡(luò)的隱含層神經(jīng)元數(shù)為12，學(xué)習(xí)率采用0.01。

兩種網(wǎng)絡(luò)的其它參數(shù)相同：輸入層神經(jīng)元數(shù)為24，輸出層神經(jīng)元數(shù)為1，batch size為 24，optimizer為adam，迭代次數(shù)為100。

(10)

式中m為隱含層神經(jīng)元數(shù)，n為輸入層節(jié)點數(shù)，l為輸出層節(jié)點數(shù)，α為1到10中間的常數(shù)。

分別使用LSTM網(wǎng)絡(luò)和IPSO-LSTM網(wǎng)絡(luò)對電力負荷進行預(yù)測。得到部分的預(yù)測結(jié)果的如圖4所示。

圖4 兩種網(wǎng)絡(luò)預(yù)測曲線與實際曲線對比圖

圖中l(wèi)s_fore為LSTM網(wǎng)絡(luò)預(yù)測值，os_fore為IPSO-LSTM網(wǎng)絡(luò)預(yù)測值，real為實際值。通過圖中LSTM網(wǎng)絡(luò)和IPSO-LSTM網(wǎng)絡(luò)的預(yù)測值對比，可以判斷出IPSO-LSTM網(wǎng)絡(luò)的預(yù)測結(jié)果普遍比LSTM網(wǎng)絡(luò)好。IPSO-LSTM能夠提高網(wǎng)絡(luò)符合預(yù)測的精度。

兩種網(wǎng)絡(luò)的損失曲線如圖5所示，由圖中可以看出優(yōu)化后的IPSO-LSTM網(wǎng)絡(luò)的收斂速度要快于LSTM網(wǎng)絡(luò)，說明通過IPSO能夠的到更合適的LSTM網(wǎng)絡(luò)參數(shù)，能夠提高網(wǎng)絡(luò)的收斂速度。

圖5 LSTM和IPSO-LSTM網(wǎng)絡(luò)丟失曲線

5 誤差分析

在數(shù)值預(yù)測方面常用到的誤差分析方法有：均方根誤差(RMSE)，平均絕對誤差(MAE)，平均絕對百分比誤差(MAPE)等[18-19]。考慮到電力行業(yè)對供電穩(wěn)定性的要求很高，本文在誤差分析中加入了最大相對誤差來為電網(wǎng)的儲備功率提供相關(guān)參考。經(jīng)多種誤差計算方法處理得到的誤差指標(biāo)如表1所示。

表1 兩種模型的主要誤差指標(biāo)

兩種網(wǎng)絡(luò)的相對誤差比較結(jié)果如圖6。

圖6 LSTM和IPSO-LSTM相對誤差曲線

從圖中可以看出，IPSO-LSTM網(wǎng)絡(luò)的預(yù)測誤差分布相較于LSTM網(wǎng)絡(luò)的預(yù)測結(jié)果更為穩(wěn)定，所以IPSO-LSTM網(wǎng)絡(luò)的預(yù)測結(jié)果更為可靠。

6 結(jié)束語

為提高短期負荷預(yù)測的預(yù)測精度和效率，提出新的IPSO-LSTM模型。首先將PSO慣性權(quán)值改為非線性慣性權(quán)值得到IPSO算法。提高了PSO算法前期的全局尋優(yōu)能力和后期的收斂速度。然后運用IPSO算法自動調(diào)節(jié)LSTM網(wǎng)絡(luò)參數(shù)得到最優(yōu)的LSTM網(wǎng)絡(luò)即IPSO-LSTM模型。分別使用由經(jīng)驗參數(shù)所得LSTM網(wǎng)絡(luò)和IPSO-LSTM模型進行短期的負荷預(yù)測。分析預(yù)測結(jié)果可知：IPSO-LSTM模型預(yù)測結(jié)果的MAPE比LSTM網(wǎng)絡(luò)降低了0.8%；IPSO-LSTM模型預(yù)測結(jié)果的最大相對誤差比LSTM網(wǎng)絡(luò)降低了4%。IPSO-LSTM模型能夠得到更好的網(wǎng)絡(luò)參數(shù)，在預(yù)測結(jié)果的穩(wěn)定性和精度上都優(yōu)于LSTM網(wǎng)絡(luò)。對比兩種網(wǎng)絡(luò)結(jié)果可知在預(yù)測精度相同時，IPSO-LSTM模型需要的迭代次數(shù)更少，所以IPSO-LSTM模型的收斂速度更快。

綜上，IPSO-LSTM模型在短期預(yù)測方面比LSTM更具優(yōu)勢。