基于LSTM網(wǎng)絡(luò)的住宅負(fù)荷短期預(yù)測(cè)

謝明磊

(廣東電網(wǎng)有限責(zé)任公司梅州供電局，廣東 梅州 514000)

在智能電網(wǎng)和電力市場(chǎng)中，精確的住宅負(fù)荷預(yù)測(cè)是實(shí)現(xiàn)需求響應(yīng)和資源分配的關(guān)鍵[1]。隨著各種傳感器和通信技術(shù)的廣泛普及，人們可以實(shí)時(shí)獲取用戶不同維度的數(shù)據(jù)，住宅負(fù)荷預(yù)測(cè)可以基于這些測(cè)量數(shù)據(jù)來(lái)執(zhí)行。然而負(fù)荷序列固有的非線性和隨機(jī)性特征增加了負(fù)荷預(yù)測(cè)的難度[2]，為此學(xué)者們大致提出了2種負(fù)荷預(yù)測(cè)的方法，即基于統(tǒng)計(jì)模型[3]和人工智能模型[4]的方法。

目前大多數(shù)方法如反向傳播(back propagation,BP)神經(jīng)網(wǎng)絡(luò)、極限學(xué)習(xí)機(jī)(extreme learning machine,ELM)等把負(fù)荷預(yù)測(cè)作為一個(gè)靜態(tài)回歸問(wèn)題[5]。然而負(fù)荷數(shù)據(jù)是一個(gè)動(dòng)態(tài)時(shí)間序列，即系統(tǒng)的輸出會(huì)持續(xù)受到過(guò)去輸入的影響。因此BP和ELM等傳統(tǒng)方法僅通過(guò)簡(jiǎn)單建立輸入變量與輸出變量之間的非線性關(guān)系難以持續(xù)深入挖掘到時(shí)間序列的內(nèi)部規(guī)律[6]。Hochreiter等提出的長(zhǎng)短期記憶(long short-term memory，LSTM)網(wǎng)絡(luò)在處理時(shí)間序列上具有獨(dú)特的優(yōu)勢(shì)[7-8]，與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比，LSTM網(wǎng)絡(luò)的預(yù)測(cè)模型在網(wǎng)絡(luò)中引入了循環(huán)結(jié)構(gòu)并允許隱藏單元之間內(nèi)部鏈接，其內(nèi)部擁有的記憶單元使得LSTM理論上可以探索數(shù)據(jù)之間的相關(guān)性[9]。目前，LSTM網(wǎng)絡(luò)已成功應(yīng)用到光伏預(yù)測(cè)[10]和交通流量預(yù)測(cè)中[11]。

氣候變化和社會(huì)活動(dòng)等許多外部因素均會(huì)影響負(fù)荷變化，國(guó)內(nèi)外許多學(xué)者將氣候因素考慮到負(fù)荷預(yù)測(cè)模型中[12]。文獻(xiàn)[13]將相關(guān)氣候數(shù)據(jù)和負(fù)荷數(shù)據(jù)作為改進(jìn)回聲狀態(tài)網(wǎng)絡(luò)的輸入用于預(yù)測(cè)日最大負(fù)荷。文獻(xiàn)[14]提出一種考慮歷史負(fù)荷、外界氣象因素和日期類型的負(fù)荷短期預(yù)測(cè)模型。上述模型將氣象因子作為負(fù)荷的影響因素，但均未考慮氣象因素之間的相關(guān)性。而不同氣象變量之間有一定的相關(guān)性，若未考慮氣象因素的相關(guān)性，可能會(huì)導(dǎo)致輸入信息冗余[15]。

主成分分析(principal component analysis, PCA)能過(guò)濾掉多個(gè)相關(guān)變量間的多余信息，為選擇預(yù)測(cè)模型的輸入信息提供了有力的技術(shù)支持[16]。據(jù)此，本文提出一種LSTM網(wǎng)絡(luò)的住宅負(fù)荷預(yù)測(cè)方法。為了避免LSTM網(wǎng)絡(luò)輸入變量中存在冗余信息，首先使用PCA技術(shù)對(duì)氣候數(shù)據(jù)進(jìn)行有效成分提??；其次利用獲取的主成分如氣象數(shù)據(jù)、負(fù)荷數(shù)據(jù)和日期類型建立LSTM網(wǎng)絡(luò)動(dòng)態(tài)預(yù)測(cè)模型。為了改善標(biāo)準(zhǔn)LSTM網(wǎng)絡(luò)的預(yù)測(cè)性能，使用一種自適應(yīng)矩估計(jì)算法(adaptive moment estimation, ADAM)[16-17]來(lái)更新LSTM的網(wǎng)絡(luò)參數(shù)，最終得到住宅負(fù)荷預(yù)測(cè)結(jié)果。

1 長(zhǎng)短期記憶網(wǎng)絡(luò)

1.1 長(zhǎng)短期記憶網(wǎng)絡(luò)結(jié)構(gòu)

相對(duì)于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，LSTM網(wǎng)絡(luò)把隱含層設(shè)計(jì)成更復(fù)雜的結(jié)構(gòu)[17]，主要通過(guò)遺忘門、輸入門、輸出門來(lái)增加或刪除記憶單元的信息[18]。

設(shè)T為負(fù)荷輸入個(gè)數(shù)，t為采樣時(shí)刻，給定一個(gè)輸入的負(fù)荷時(shí)間序列x={x1,x2,…,xT}，LSTM網(wǎng)絡(luò)的輸出為y={y1,y2,…,yT}，每個(gè)時(shí)刻LSTM單元通過(guò)3個(gè)門接收當(dāng)前輸入xt，來(lái)自上一隱藏狀態(tài)輸出ht-1和內(nèi)部單元狀態(tài)ct-1，則LSTM網(wǎng)絡(luò)的數(shù)學(xué)計(jì)算過(guò)程如下：首先，遺忘門ft幫助LSTM網(wǎng)絡(luò)決定哪些信息將從記憶單元狀態(tài)ct-1中刪除，即

ft=σ(Wfxxt+Wfhht-1+Wfcct-1+bf).

(1)

其次，LSTM網(wǎng)絡(luò)使用輸入門it來(lái)決定將要存儲(chǔ)到新單元狀態(tài)ct的信息，計(jì)算過(guò)程如下：

it=σ(Wixxt+Wihht-1+Wicct-1+bi).

(2)

Ut=g(Wcxxt+Wchht-1+bc).

(3)

ct=ct-1ft+Utit.

(4)

最后，使用輸出門ot計(jì)算ht的過(guò)程如下：

ot=σ(Woxxt+Wohht-1+Wocct-1+bo).

(5)

ht=ot(ct).

(6)

式(1)—(6)中：σ、、g分別為激活函數(shù)，其中σ為sigmoid函數(shù)，和g為tanh函數(shù)；Wix、Wfx、Wox、Wcx分別為連接輸入信息xt的權(quán)值矩陣；Wih、Wfh、Woh、Wch分別為連接隱含層輸出信號(hào)ht的權(quán)值矩陣；Wic、Wfc、Woc分別為連接神經(jīng)元激活函數(shù)輸出ot和門函數(shù)的對(duì)角矩陣；bi、bf、bo、bc分別為it、ft、ot、ct的偏置；Ut為添加到新單元狀態(tài)ct的候選值；ct-1ft作用是確定有多少信息將從ct-1中遺忘；Utit確定有多少信息添加到新單元狀態(tài)ct。

1.2 LSTM網(wǎng)絡(luò)優(yōu)化算法

在LSTM網(wǎng)絡(luò)中，采用的訓(xùn)練方法為按時(shí)間展開(kāi)的反向誤差傳播算法[6]。反向誤差傳播算法先通過(guò)前向傳播計(jì)算出誤差函數(shù)，在反向傳播過(guò)程中采用傳統(tǒng)梯度下降法對(duì)網(wǎng)絡(luò)的權(quán)值和偏置進(jìn)行更新；然而傳統(tǒng)梯度下降算法因難以選擇合適的學(xué)習(xí)率導(dǎo)致陷入局部最優(yōu)而影響模型的泛化能力。DP kingm針對(duì)傳統(tǒng)梯度下降法的缺陷，提出了一種自適應(yīng)矩估計(jì)算法(adaptive moment estimation,ADAM)[17]，ADAM能為不同參數(shù)設(shè)計(jì)獨(dú)立的自適應(yīng)性學(xué)習(xí)率，從而使得ADAM算法適用于非平穩(wěn)目標(biāo)實(shí)現(xiàn)和嘈雜的問(wèn)題解決。

設(shè){x1,x2,…,xm}為L(zhǎng)STM網(wǎng)絡(luò)的N個(gè)樣本中隨機(jī)抽取的一批容量為m的輸入樣本，其對(duì)應(yīng)的輸出樣本為yi。對(duì)于傳統(tǒng)梯度下降算法，訓(xùn)練LSTM網(wǎng)絡(luò)的權(quán)值和閥值過(guò)程如下[18]：

(7)

(8)

LSTM網(wǎng)絡(luò)在使用傳統(tǒng)梯度下降算法進(jìn)行訓(xùn)練時(shí)，學(xué)習(xí)率太大或者太小均會(huì)影響收斂效果。在實(shí)際應(yīng)用中，若根據(jù)不同參數(shù)的重要性程度設(shè)置不同的學(xué)習(xí)率將有利于目標(biāo)函數(shù)更快收斂。為此，本文將采用一種具有自適應(yīng)學(xué)習(xí)率的ADAM算法[19]改善傳統(tǒng)LSTM網(wǎng)絡(luò)的訓(xùn)練過(guò)程，讓LSTM網(wǎng)絡(luò)得到一個(gè)更合理的網(wǎng)絡(luò)參數(shù)。ADAM算法優(yōu)化LSTM網(wǎng)絡(luò)過(guò)程如下[17]：

(9)

(10)

(11)

(12)

(13)

θ=θ+Δθ.

(14)

2 氣象特征選擇

2.1 主成分分析原理

PCA能構(gòu)造原變量的一系列線性組合，從而形成彼此互不相關(guān)的新變量，并且這些新變量能盡可能地反映原變量的信息[16]。新變量中的方差越大，包含原始變量的信息則越多，通常用累計(jì)方差貢獻(xiàn)率來(lái)衡量。本文使用PCA是為了去除與負(fù)荷相關(guān)的氣象數(shù)據(jù)間的信息冗余，從而提高LSTM網(wǎng)絡(luò)輸入信息的純度。其具體步驟如下：

a)氣象數(shù)據(jù)標(biāo)準(zhǔn)化。不同氣象數(shù)據(jù)的量綱和數(shù)值大小不同，因此需對(duì)氣象數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理。設(shè)有N組對(duì)象、m種氣象數(shù)據(jù)，{xi1,xi2,…,xim}為第i組對(duì)象所對(duì)應(yīng)的氣象數(shù)據(jù)，用矩陣表示為

(15)

矩陣XN×m進(jìn)行中心標(biāo)準(zhǔn)化處理的過(guò)程為

(16)

b)建立相關(guān)矩陣R。相關(guān)矩陣

R=X*TX*/(N-1).

(17)

式中X*為標(biāo)準(zhǔn)化后的數(shù)值矩陣。求出矩陣R的特征值λ1≥λ2≥…≥λm及其相應(yīng)的特征向量u1,u2，…,um。

c)確定主成分個(gè)數(shù)。計(jì)算相應(yīng)的方差貢獻(xiàn)率ni和累計(jì)方差貢獻(xiàn)率：

(18)

(19)

式(19)中p為累計(jì)方差貢獻(xiàn)率在90%以上所對(duì)應(yīng)的主成分個(gè)數(shù)。

通常累計(jì)方差貢獻(xiàn)率在90%以上所對(duì)應(yīng)的p個(gè)主成分便包含m個(gè)原始?xì)庀髷?shù)據(jù)所提供的絕大部分信息，則主成分的個(gè)數(shù)設(shè)為p(p≤m)。主成分表達(dá)式為：

(20)

式中：{x1,x2,…,xm}為m維的初始輸入氣象數(shù)據(jù)；uim為氣象數(shù)據(jù)變量相關(guān)矩陣第i個(gè)特征值對(duì)應(yīng)的m維特征向量元素。

2.2 氣象數(shù)據(jù)提取

本文實(shí)驗(yàn)數(shù)據(jù)來(lái)源于美國(guó)馬薩諸塞州某小區(qū)公寓從2015-03-01到2015-06-30的負(fù)荷數(shù)據(jù)和氣象數(shù)據(jù)，其中氣象數(shù)據(jù)包括溫度、濕度、氣壓、風(fēng)速、云覆蓋率、降雨強(qiáng)度共6種，該小區(qū)數(shù)據(jù)采集系統(tǒng)的分辨率為1 h。輸入數(shù)據(jù)的質(zhì)量會(huì)影響神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果，LSTM網(wǎng)絡(luò)擁有記憶歷史輸入信息的能力，若其隱含層長(zhǎng)期保留著與負(fù)荷變化無(wú)關(guān)的信息，反而會(huì)對(duì)負(fù)荷預(yù)測(cè)造成干擾。為了防止LSTM網(wǎng)絡(luò)輸入氣象數(shù)據(jù)間的信息冗余，本文使用主成分分析對(duì)氣象數(shù)據(jù)進(jìn)行過(guò)濾，保留氣象主成分信息。

對(duì)溫度、濕度、氣壓、風(fēng)速、云覆蓋率、降雨強(qiáng)度6種氣象時(shí)間序列進(jìn)行主成分分析，則其重構(gòu)的新變量見(jiàn)表1。由表1看出，成分1和成分2的方差累計(jì)貢獻(xiàn)率已達(dá)95%，理論上可以代替原始6種不同氣候時(shí)間序列數(shù)據(jù)的主要信息，剩下5%的方差累計(jì)貢獻(xiàn)率為6種氣象時(shí)間序列之間的冗余信息所提供。使用PCA，我們可以把6種不同氣象數(shù)據(jù)壓縮成2組新的變量序列并保留了原始數(shù)據(jù)的大部分信息。根據(jù)PCA的提取原則，本文將使用成分1和成分2代替原始?xì)庀髷?shù)據(jù)作為L(zhǎng)STM網(wǎng)絡(luò)的輸入變量。其特征值對(duì)應(yīng)的特征向量見(jiàn)表2。

表1 氣象時(shí)間序列的新變量分析結(jié)果Tab.1 Analysis results of new variables of weather time sequence

表2 主成分特征值對(duì)應(yīng)的特征向量分量值Tab.2 Component values of characteristic vectors corresponding to eigenvalues of principal components

通過(guò)表2和式(20)可以寫出各主成分的表達(dá)式，同時(shí)由表2得出：主成分1主要與溫度有關(guān)，主成分2主要與大氣壓強(qiáng)有關(guān)。

3 住宅負(fù)荷預(yù)測(cè)模型設(shè)計(jì)

3.1 建模流程

本文提出的基于LSTM網(wǎng)絡(luò)的住宅負(fù)荷預(yù)測(cè)模型，主要分為2個(gè)模塊，分別為數(shù)據(jù)預(yù)處理模塊和預(yù)測(cè)模塊，即：①數(shù)據(jù)預(yù)處理模塊。它包括獲取住宅的氣象數(shù)據(jù)(溫度、濕度、氣壓、風(fēng)速、云覆蓋率、降雨強(qiáng)度)用主成分模型分析后，根據(jù)新變量的方差和累計(jì)方差貢獻(xiàn)率選出p個(gè)氣候主成分?jǐn)?shù)據(jù)；對(duì)負(fù)荷數(shù)據(jù)、日期類型(工作日和周末)和氣象主成分?jǐn)?shù)據(jù)進(jìn)行歸一化處理。②預(yù)測(cè)模塊。它包括確定LSTM網(wǎng)絡(luò)輸入層、隱含層、輸出層的參數(shù)，采用ADAM算法優(yōu)化的LSTM網(wǎng)絡(luò)對(duì)預(yù)處理后的時(shí)間序列數(shù)據(jù)進(jìn)行動(dòng)態(tài)建模得到住宅負(fù)荷預(yù)測(cè)結(jié)果。其中LSTM網(wǎng)絡(luò)在訓(xùn)練時(shí)目標(biāo)函數(shù)采用均方誤差函數(shù)(mean square error, MSE)

(21)

3.2 評(píng)價(jià)指標(biāo)

本文采用均方根誤差(root mean square error，RMSE)和平均絕對(duì)百分比誤差(mean absolute percentage error，MAPE)作為住宅負(fù)荷預(yù)測(cè)效果的評(píng)價(jià)指標(biāo)，且：

(22)

(23)

式中：ηRMSE和ηMAPE分別為均方根誤差和平均絕對(duì)百分比誤差函數(shù)；λ為預(yù)測(cè)點(diǎn)的個(gè)數(shù)。

4 算例分析

本文算例將對(duì)該小區(qū)公寓進(jìn)行提前2 d的短期負(fù)荷預(yù)測(cè),包括算例方案1和算例方案2。

算例方案1：為了驗(yàn)證在數(shù)據(jù)預(yù)處理階段對(duì)氣象數(shù)據(jù)進(jìn)行主成分提取能提高LSTM網(wǎng)絡(luò)的預(yù)測(cè)性能，本文分別將未經(jīng)PCA處理(簡(jiǎn)稱“NOPCA-LSTM”)的氣象數(shù)據(jù)和經(jīng)PCA處理(簡(jiǎn)稱“PCA-LSTM”)的氣象數(shù)據(jù)分別同負(fù)荷數(shù)據(jù)和日期類型作為L(zhǎng)STM網(wǎng)絡(luò)的輸入變量。

算例方案2：為了驗(yàn)證ADAM算法能有效提高LSTM網(wǎng)絡(luò)在負(fù)荷預(yù)測(cè)中的精度，采用PCA-LSTM氣象數(shù)據(jù)、負(fù)荷數(shù)據(jù)和日期類型分別作為L(zhǎng)STM網(wǎng)絡(luò)和ADAM算法優(yōu)化的LSTM網(wǎng)絡(luò)的輸入變量。

本算例用前1 h的多維數(shù)據(jù)作為模型的輸入值，下一時(shí)刻的負(fù)荷值作為其輸出值。經(jīng)過(guò)交叉驗(yàn)證方式設(shè)置LSTM網(wǎng)絡(luò)隱含層神經(jīng)元數(shù)量為30，可得到NOPCA-LSTM的網(wǎng)絡(luò)結(jié)構(gòu)為7-30-1、PCA-LSTM的網(wǎng)絡(luò)結(jié)構(gòu)為4-30-1和經(jīng)PCA-ADAM處理(簡(jiǎn)稱“PCA-ADAM-LSTM”)的網(wǎng)絡(luò)結(jié)構(gòu)為4-30-1。上面3層網(wǎng)絡(luò)結(jié)構(gòu)分別代表LSTM網(wǎng)絡(luò)的輸入層、隱含層、輸出層的神經(jīng)元數(shù)量；此外ADAM算法中的δ=10-8、ρ1=0.9、ρ2=0.999、α=0.01，所有模型均迭代200次。各種LSTM網(wǎng)絡(luò)模型的預(yù)測(cè)結(jié)果見(jiàn)圖1、圖2和表3。

由表3和圖1、圖2可以看出：在數(shù)據(jù)預(yù)處理階段，引入PCA特征選擇技術(shù)過(guò)濾氣象數(shù)據(jù)冗余信息有助于提高LSTM網(wǎng)絡(luò)模型的預(yù)測(cè)精度，控制LSTM網(wǎng)絡(luò)中輸入信息的質(zhì)量有利于挖掘輸入信息與輸出時(shí)刻負(fù)荷的相關(guān)性。圖3為分別使用傳統(tǒng)梯度下降(gradient descent, GD)算法優(yōu)化LSTM網(wǎng)絡(luò)(簡(jiǎn)稱“GD-LSTM”)與ADAM算法優(yōu)化LSTM網(wǎng)絡(luò)(簡(jiǎn)稱“ADAM-LSTM”)的訓(xùn)練誤差對(duì)比圖。在相同的迭代次數(shù)下，ADAM-LSTM收斂速度與收斂精度較GD-LSTM的更好，且具有更出色的全局尋優(yōu)能力。因此表3中與標(biāo)準(zhǔn)的LSTM網(wǎng)絡(luò)相比，經(jīng)過(guò)ADAM-LSTM可以得到更加合理的權(quán)值和閥值，而且模型的預(yù)測(cè)精度明顯提升。如在2015-06-28到2015-06-30的預(yù)測(cè)中， ADAM-LSTM網(wǎng)絡(luò)模型較標(biāo)準(zhǔn)LSTM網(wǎng)絡(luò)模型的ηRMSE和ηMAPE分別減少了12.43%和25.47%。

圖1 5月30—31日的負(fù)荷預(yù)測(cè)結(jié)果Fig.1 Load forecast results from May 30 to 31

圖2 6月28—30日的負(fù)荷預(yù)測(cè)結(jié)果Fig.2 Load forecast results from June 28 to 30

ηMAPE/%ηRMSE/%530—31NOPCA-LSTM7.8326.535PCA-LSTM7.1165.624PCA-ADAM-LSTM6.4465.009628—30NOPCA-LSTM4.65916.912PCA-LSTM4.06511.995PCA-ADAM-LSTM3.7038.939

為了進(jìn)一步驗(yàn)證所提模型的預(yù)測(cè)性能，在經(jīng)過(guò)相同的數(shù)據(jù)預(yù)處理后，分別采用BP神經(jīng)網(wǎng)絡(luò)(簡(jiǎn)稱“PCA-BP”)、ELM(簡(jiǎn)稱“PCA-ELM”)進(jìn)行短期負(fù)荷預(yù)測(cè)，其中為了保證公平比較，BP和ELM的隱含層數(shù)均設(shè)為30，迭代次數(shù)為200次。各模型的預(yù)測(cè)結(jié)果見(jiàn)圖4、圖5和表4。

圖3 不同算法優(yōu)化LSTM網(wǎng)絡(luò)的收斂曲線Fig.3 Convergence curves of LSTM optimized by different algorithms

由表4可得，傳統(tǒng)靜態(tài)預(yù)測(cè)模型BP和ELM在算例中的預(yù)測(cè)誤差較為接近，而本文模型在住宅負(fù)荷預(yù)測(cè)中的預(yù)測(cè)效果表現(xiàn)最優(yōu)。相比靜態(tài)預(yù)測(cè)模型，ADAM-LSTM的ηMAPE和ηRMSE分別減少了11.8%和31.66%，其主要原因?yàn)長(zhǎng)STM神經(jīng)網(wǎng)絡(luò)在隱含層中具有記憶單元，它能持續(xù)記錄網(wǎng)絡(luò)歷史輸入與當(dāng)前輸出的非線性關(guān)系，從而在時(shí)間序列預(yù)測(cè)中具有優(yōu)勢(shì)明顯。由圖4和圖5可知，所有神經(jīng)網(wǎng)絡(luò)中均能有效地預(yù)測(cè)出住宅負(fù)荷的上下波動(dòng)趨勢(shì)；然而在住宅負(fù)荷突變的拐點(diǎn)處，如在圖4中的第25至35時(shí)間段、圖5的第10至20時(shí)間段及第60至70時(shí)間段，ADAM-LSTM網(wǎng)絡(luò)模型顯現(xiàn)出強(qiáng)大的擬合能力，所預(yù)測(cè)的負(fù)荷更貼近實(shí)際負(fù)荷的變化趨勢(shì)。這說(shuō)明了LSTM網(wǎng)絡(luò)作為一種具有記憶單元的神經(jīng)網(wǎng)絡(luò)，它所兼?zhèn)涞膹?fù)雜循環(huán)結(jié)構(gòu)的隱含層能挖掘出數(shù)據(jù)之間的長(zhǎng)久相關(guān)性，因此在負(fù)荷預(yù)測(cè)中取得了較好的效果。

圖4 各模型在5月30—31日的的負(fù)荷預(yù)測(cè)結(jié)果Fig.4 Load forecast results of each model from May 30 to 31

圖5 各模型在6月28—30日的的負(fù)荷預(yù)測(cè)結(jié)果Fig.5 Load forecast results of each model from June 28 to 30

ηMAPE/%ηRMSE/%530—31PCA-ADAM-LSTM6.4465.009PCA-BP7.4296.415PCA-ELM7.1436.580628—30ADAM-LSTM3.7038.939PCAVBP4.22814.346PCA-ELM4.21415.728

5 結(jié)論

本文提出一種LSTM網(wǎng)絡(luò)的住宅負(fù)荷預(yù)測(cè)模型，算例研究表明：

a)在數(shù)據(jù)預(yù)處理階段，PCA能有效避免不同氣象數(shù)據(jù)之間的信息冗余輸入到LSTM網(wǎng)絡(luò)，從而提高LSTM網(wǎng)絡(luò)模型挖掘數(shù)據(jù)特征的性能。

b)采用自適應(yīng)矩估計(jì)算法優(yōu)化LSTM網(wǎng)絡(luò)的權(quán)值和偏置的預(yù)測(cè)結(jié)果優(yōu)于標(biāo)準(zhǔn)LSTM網(wǎng)絡(luò)，表明ADAM算法具有較強(qiáng)的尋優(yōu)能力且可提高負(fù)荷預(yù)測(cè)模型的泛化性能。

c)相比BP、ELM靜態(tài)模型,本文所提模型能對(duì)時(shí)間序列進(jìn)行動(dòng)態(tài)建模，有效獲取負(fù)荷數(shù)據(jù)之間的長(zhǎng)期相關(guān)性，具有更好的預(yù)測(cè)效果。

然而算例僅將單隱層LSTM網(wǎng)絡(luò)模型作為預(yù)測(cè)器，而神經(jīng)網(wǎng)絡(luò)的泛化性能與隱含層的層數(shù)和神經(jīng)元數(shù)目緊密相關(guān)。為此，后續(xù)將研究重心放置于多隱含層LSTM網(wǎng)絡(luò)在負(fù)荷預(yù)測(cè)中的應(yīng)用上。