基于LSTM人工神經(jīng)網(wǎng)絡(luò)的電力系統(tǒng)負(fù)荷預(yù)測方法

陳勝　劉鵬飛　王平　馬建偉

摘要：針對電力市場環(huán)境下短期電力系統(tǒng)負(fù)荷預(yù)測準(zhǔn)確性較低的問題，提出了一種基于LSTM人工神經(jīng)網(wǎng)絡(luò)的組合預(yù)測模型。分析了LSTM神經(jīng)網(wǎng)絡(luò)和其變體GRU神經(jīng)網(wǎng)絡(luò)在進(jìn)行負(fù)荷預(yù)測時學(xué)習(xí)時序特征的獨(dú)特優(yōu)勢，并以卷積神經(jīng)網(wǎng)絡(luò)作為負(fù)荷數(shù)據(jù)的特征提取層，結(jié)合GRU網(wǎng)絡(luò)構(gòu)建了組合模型，通過建立殘差預(yù)測模型對結(jié)果進(jìn)行修正。仿真結(jié)果表明，具有記憶功能的神經(jīng)網(wǎng)絡(luò)預(yù)測效果要優(yōu)于ANN和SVM模型，且所提出殘差預(yù)測模型的負(fù)荷預(yù)測平均相對誤差約為1.79%，其準(zhǔn)確性高于單一算法的負(fù)荷預(yù)測模型。

關(guān)鍵詞：負(fù)荷預(yù)測；人工神經(jīng)網(wǎng)絡(luò)；長短期記憶；卷積神經(jīng)網(wǎng)絡(luò)；平均相對誤差；殘差修正；特征提取；組合模型

中圖分類號：TM744 文獻(xiàn)標(biāo)志碼：A 文章編號：1000-1646（2024）01-0066-06

在我國能源轉(zhuǎn)型政策的支持和推動下，以清潔能源為基礎(chǔ)的分布式能源得以迅速發(fā)展。一方面分布式能源由于其靈活性和廣泛的適用性，在能源轉(zhuǎn)型中獲得了獨(dú)特優(yōu)勢；另一方面由于分布式能源負(fù)荷的隨機(jī)性，也給電力系統(tǒng)的穩(wěn)定運(yùn)行帶來了巨大的挑戰(zhàn)。尤其是在當(dāng)前電力體制改革以及電力市場蓬勃發(fā)展的背景下，短期電力負(fù)荷的預(yù)測對于推動實(shí)時電力市場的貿(mào)易結(jié)算具有重要意義。電力負(fù)荷由于其不確定性造成的負(fù)荷預(yù)測誤差不僅會導(dǎo)致電網(wǎng)運(yùn)行成本的增加，還將損害到電力市場用戶的利益。因而，電力負(fù)荷的預(yù)測理論與方法已成為國內(nèi)外研究學(xué)者關(guān)注的焦點(diǎn)。

圍繞一段時間內(nèi)電力負(fù)荷的時序性和非線性的特點(diǎn)，國內(nèi)外學(xué)者提出了包括回歸分析法、指數(shù)平滑模型等負(fù)荷預(yù)測的經(jīng)典算法。隨著人工智能算法的發(fā)展，各種機(jī)器學(xué)習(xí)算法也逐漸開始應(yīng)用于電力系統(tǒng)的負(fù)荷預(yù)測。例如，孟安波等通過采用混合小波變換和縱橫交叉算法優(yōu)化了應(yīng)用于復(fù)雜工況環(huán)境下負(fù)荷預(yù)測的神經(jīng)網(wǎng)絡(luò)。蔡舒平等針對多個氣象變量條件下的費(fèi)歇信息計(jì)算問題，提出了基于費(fèi)歇信息的氣象因素建模方法，并解決了短期負(fù)荷預(yù)測中氣象因素處理的主觀問題。程志友等根據(jù)溫濕度變化的周期特征因素，構(gòu)造了基于LASSO回歸的負(fù)荷預(yù)測模型，提高了負(fù)荷預(yù)測模型的精度和魯棒性。祖向榮等基于模式相似方法，提出了一種模糊聚類與函數(shù)型小波核非參數(shù)回歸相結(jié)合的組合預(yù)測方法。馬天男等根據(jù)分布式能源系統(tǒng)負(fù)荷特點(diǎn)，建立了基于Spark平臺與多變量L2-Boosting回歸模型的分布式能源系統(tǒng)短期負(fù)荷預(yù)測方法，并驗(yàn)證了其有效性。

上述研究多采用某一種特定的模型算法以提高負(fù)荷預(yù)測的準(zhǔn)確度。事實(shí)上，負(fù)荷的歷史信息對于負(fù)荷預(yù)測具有重要的參考價值，長短期記憶（LSTM）人工神經(jīng)網(wǎng)絡(luò)具備有學(xué)習(xí)時序數(shù)據(jù)特征的獨(dú)特優(yōu)勢。除此之外，外界因素的影響是負(fù)荷預(yù)測產(chǎn)生殘差的重要原因，因此可以通過建立殘差數(shù)據(jù)的預(yù)測模型對負(fù)荷預(yù)測結(jié)果進(jìn)行修正。

本文針對電力系統(tǒng)短期負(fù)荷預(yù)測的時序性問題，比較了LSTM網(wǎng)絡(luò)及其變體GRU網(wǎng)絡(luò)在電力系統(tǒng)短期負(fù)荷預(yù)測中的效果。在此基礎(chǔ)上，為了進(jìn)一步提高負(fù)荷預(yù)測精度，本文提出了一種采用卷積神經(jīng)網(wǎng)絡(luò)和GRU網(wǎng)絡(luò)作為負(fù)荷預(yù)測的理論基礎(chǔ)，并通過殘差預(yù)測和修正方法得到最終預(yù)測結(jié)果的殘差修正網(wǎng)絡(luò)模型，為LSTM人工神經(jīng)網(wǎng)絡(luò)在電力系統(tǒng)負(fù)荷預(yù)測中的應(yīng)用提供了新思路。

1 預(yù)測模型

1.1 LSTM網(wǎng)絡(luò)

LSTM網(wǎng)絡(luò)通過在循環(huán)單元中增加控制門的形式，實(shí)現(xiàn)了神經(jīng)元狀態(tài)信息的傳遞和保留。每個神經(jīng)元中均包含了輸入門、遺忘門和輸出門3種用于循環(huán)更新的控制門，其基本單元結(jié)構(gòu)如圖1所示。

長短期記憶人工神經(jīng)網(wǎng)絡(luò)（LSTM）屬于循環(huán)神經(jīng)網(wǎng)絡(luò)的一種，由于其可以較優(yōu)地避免循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）中梯度消失問題而被廣泛關(guān)注。和循環(huán)神經(jīng)網(wǎng)絡(luò)相比，LSTM網(wǎng)絡(luò)神經(jīng)元的狀態(tài)值在進(jìn)行循環(huán)更新的過程中需經(jīng)過輸入門、遺忘門、輸出門3種控制門，以此實(shí)現(xiàn)神經(jīng)元狀態(tài)信息的傳遞和保留。

圖1中，xt為當(dāng)前單元的狀態(tài)變量，ht-1為上一時刻基本單元的輸出量，ct-1為上一時刻的單元狀態(tài)，則遺忘門輸出ft，輸入門輸出it，輸出門輸出ot分別為

式中：σ為sigmoid函數(shù)；W為與3種控制門相對應(yīng)的權(quán)值矩陣；b為與之對應(yīng)的偏置向量。

LSTM網(wǎng)絡(luò)中，當(dāng)前單元狀態(tài)ct由遺忘門決定上一單元狀態(tài)在其中所占的比例。由輸入門決定中間狀態(tài)在其中所占的比例，其表達(dá)式為

式中，gt為當(dāng)前單元的中間狀態(tài)，由上一單元的輸出和本單元的輸入共同構(gòu)成，其表達(dá)式為

其中，φ為tanh函數(shù)。由式（4）、（5）可知，當(dāng)前單元狀態(tài)由上一單元狀態(tài)與本單元的輸入共同決定，這一特性體現(xiàn)了LSTM網(wǎng)絡(luò)的遺忘以及保留功能。

LSTM網(wǎng)絡(luò)的輸出由輸出門和單元狀態(tài)共同確定，即

ht=otφ（ct） （6）

1.2 GRU網(wǎng)絡(luò)

LSTM網(wǎng)絡(luò)基本單元的3種控制門構(gòu)成了其在信息傳遞過程中的遺忘和保留功能。功能的增加意味著網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜性的增加，同時也會導(dǎo)致網(wǎng)絡(luò)計(jì)算與訓(xùn)練成本的增加。針對上述問題，GRU網(wǎng)絡(luò)作為LSTM網(wǎng)絡(luò)的變體，將LSTM網(wǎng)絡(luò)基本單元中的3個控制門簡化為2個。在降低計(jì)算成本的同時，保持了與LSTM網(wǎng)絡(luò)類似的預(yù)測效果，其基本單元結(jié)構(gòu)如圖2所示。

由圖2可知，簡化后的LSTM網(wǎng)絡(luò)即GRU網(wǎng)絡(luò)結(jié)構(gòu)的基本單元中控制門由更新門和重置門構(gòu)成，且均通過激活函數(shù)σ來控制信息流動。更新門輸出為zt，重置門輸出為rt，中間狀態(tài)gt和單元輸出ht的表達(dá)式分別為

GRU網(wǎng)絡(luò)單元的中間狀態(tài)除了和當(dāng)前輸入xt有關(guān)外，上一時刻的輸出需要經(jīng)過重置門然后再乘以權(quán)值矩陣。當(dāng)前單元的輸出則是由更新門的輸出來控制的。

LSTM及其變體GRU網(wǎng)絡(luò)的特殊結(jié)構(gòu)使其具有時序信息的保留和遺忘功能。就電力系統(tǒng)負(fù)荷預(yù)測而言，LSTM網(wǎng)絡(luò)可充分利用電力系統(tǒng)負(fù)荷連續(xù)性與周期性特征，來實(shí)現(xiàn)關(guān)鍵信息的保留和傳遞，從而進(jìn)一步提升電力系統(tǒng)負(fù)荷預(yù)測的準(zhǔn)確性。

2 LSTM網(wǎng)絡(luò)仿真

2.1 實(shí)驗(yàn)設(shè)置

本文仿真采用CPU型號為Intel Xeon E5 -2610.32GB DDR4-2400內(nèi)存，NVIDIA QuadroM2000顯卡，并采用了Python語言在Keras平臺上搭建了模型框架。由于節(jié)假日負(fù)荷數(shù)據(jù)和工作日及周末負(fù)荷數(shù)據(jù)存在較大差異，在訓(xùn)練過程中剔除了節(jié)假日數(shù)據(jù)，且采用經(jīng)過預(yù)處理的38400個數(shù)據(jù)作為測試樣本。訓(xùn)練集、驗(yàn)證集、測試集分別為樣本總數(shù)的70%、20%、10%，以均方根誤差作為損失函數(shù)進(jìn)行訓(xùn)練，其計(jì)算公式為

2.2 預(yù)測結(jié)果比較

為比較不同模型的預(yù)測效果，本文分別采用LSTM、GRU、人工神經(jīng)網(wǎng)絡(luò)（ANN）、支持向量機(jī)（SVM）模型對同一組測試樣本數(shù)據(jù)進(jìn)行預(yù)測。

LSTM網(wǎng)絡(luò)和GRU采用3層網(wǎng)絡(luò)，其中隱含層的神經(jīng)元個數(shù)設(shè)置為50、50、100。ANN采用反向傳播的3層前饋神經(jīng)網(wǎng)絡(luò)，隱含層節(jié)點(diǎn)個數(shù)為200，采用sigmoid作為傳遞函數(shù)。SVM選擇徑向基函數(shù)作為核函數(shù)，利用10倍交叉驗(yàn)證法對寬度系數(shù)和懲罰系數(shù)進(jìn)行選擇。實(shí)驗(yàn)過程中，取待預(yù)測數(shù)據(jù)點(diǎn)之前的96點(diǎn)作為該數(shù)據(jù)點(diǎn)的輸入向量，輸出數(shù)據(jù)為待預(yù)測時刻的數(shù)據(jù)。圖3為不同模型的典型日負(fù)荷預(yù)測結(jié)果。

由圖3可知，4種模型都能完成負(fù)荷預(yù)測，并體現(xiàn)出相應(yīng)的負(fù)荷變化情況，其中LSTM網(wǎng)絡(luò)日負(fù)荷預(yù)測平均相對誤差為1.72%，GRU網(wǎng)絡(luò)日負(fù)荷預(yù)測平均相對誤差為1.80％，ANN負(fù)荷預(yù)測平均相對誤差為2.26%，SVM負(fù)荷預(yù)測平均相對誤差為1.96%。

表1、2為LSTM網(wǎng)絡(luò)與GRU網(wǎng)絡(luò)連續(xù)7d的日負(fù)荷預(yù)測結(jié)果平均相對誤差和均方根誤差。由計(jì)算結(jié)果可知，LSTM和GRU模型負(fù)荷預(yù)測的平均相對誤差和均方根誤差的平均值都要低于ANN模型，這是因?yàn)長STM和GRU網(wǎng)絡(luò)屬于時序模型，能夠?qū)?shù)據(jù)的歷史信息進(jìn)行學(xué)習(xí)，而人工神經(jīng)網(wǎng)絡(luò)則無法做到這一點(diǎn)，因此其平均誤差和均方根誤差較大。雖然SVM模型的預(yù)測結(jié)果較好，但其算法性能和預(yù)測效果受參數(shù)的影響較大，而其參數(shù)的選擇又多是依據(jù)經(jīng)驗(yàn)確定，缺少一定的理論依據(jù)。

在同一條件下，就單一模型而言，GRU網(wǎng)絡(luò)與LSTM網(wǎng)絡(luò)的日負(fù)荷預(yù)測結(jié)果精度基本相當(dāng)，然而由于GRU網(wǎng)絡(luò)簡化了基本單元結(jié)構(gòu)，少了一組矩陣參數(shù)的運(yùn)算，因此訓(xùn)練時間上更具有優(yōu)勢。綜合計(jì)算成本和預(yù)測精度，本文在負(fù)荷預(yù)測的組合模型中采用GRU網(wǎng)絡(luò)作為基本網(wǎng)絡(luò)。3組合預(yù)測模型

3.1 卷積神經(jīng)網(wǎng)絡(luò)（CNN）

本文對LSTM網(wǎng)絡(luò)和GRU網(wǎng)絡(luò)訓(xùn)練過程采用了連續(xù)的負(fù)荷數(shù)據(jù)作為網(wǎng)絡(luò)輸入，保持了數(shù)據(jù)的時序性與連貫性，但缺少數(shù)據(jù)特征的提取過程，而特征提取是數(shù)據(jù)處理的關(guān)鍵步驟，因此，本文在GRU神經(jīng)網(wǎng)絡(luò)作為負(fù)荷預(yù)測層的基礎(chǔ)上，前置了卷積神經(jīng)網(wǎng)絡(luò)層作為特征提取層。

卷積神經(jīng)網(wǎng)絡(luò)作為前饋神經(jīng)網(wǎng)絡(luò)的一種，通過稀疏連接和權(quán)值共享的方式在縮減訓(xùn)練參數(shù)規(guī)模的基礎(chǔ)上得到了更深的訓(xùn)練網(wǎng)絡(luò)，能夠直接從卷積層和池化層的交替使用中得到數(shù)據(jù)的有效特征。

本文構(gòu)建了由3層卷積神經(jīng)網(wǎng)絡(luò)和1層GRU網(wǎng)絡(luò)所組成的組合預(yù)測模型，其中卷積神經(jīng)網(wǎng)絡(luò)的卷積核大小為3x3，3層的數(shù)目依次為32、64和256。

3.2 殘差預(yù)測

由于負(fù)荷影響因素的復(fù)雜性和不確定性，任何方法均不可能實(shí)現(xiàn)百分之百的準(zhǔn)確預(yù)測，而負(fù)荷預(yù)測的殘差大小直接反映了當(dāng)前時間點(diǎn)預(yù)測值的準(zhǔn)確性。就負(fù)荷預(yù)測而言，殘差本身是一種基于負(fù)荷數(shù)據(jù)產(chǎn)生的時間序列數(shù)據(jù)?；谏鲜隹紤]，本文將負(fù)荷預(yù)測模型和殘差預(yù)測模型進(jìn)行了組合，利用殘差預(yù)測結(jié)果對負(fù)荷預(yù)測值進(jìn)行了修正，并以修正值作為最終預(yù)測結(jié)果。圖4為組合模型的基本結(jié)構(gòu)示意圖。

組合預(yù)測模型由負(fù)荷預(yù)測和殘差預(yù)測共同構(gòu)成。因此在訓(xùn)練與預(yù)測中，負(fù)荷預(yù)測模型首先采用樣本數(shù)據(jù)進(jìn)行訓(xùn)練，然后由訓(xùn)練的預(yù)測模型得到樣本數(shù)據(jù)集的預(yù)測值與殘差值，再通過殘差數(shù)據(jù)集訓(xùn)練殘差預(yù)測網(wǎng)絡(luò)，最終分別利用兩個網(wǎng)絡(luò)得到負(fù)荷和殘差預(yù)測值，并將其之和作為當(dāng)前時刻的負(fù)荷預(yù)測結(jié)果。

3.3 仿真分析

基于上述分析，本文分別采用CNN+GRU組合預(yù)測模型，以及含有殘差修正的組合預(yù)測模型對測試集數(shù)據(jù)進(jìn)行了預(yù)測分析。圖5、6為兩種預(yù)測模型的典型日負(fù)荷預(yù)測結(jié)果。其中，CNN+GRU組合預(yù)測模型得到的日負(fù)荷預(yù)測平均相對誤差約為1.54%，含有殘差修正的組合預(yù)測模型得到的日負(fù)荷預(yù)測平均相對誤差約為1.21%。

表3為在相同仿真實(shí)驗(yàn)條件下，不同模型連續(xù)7d負(fù)荷預(yù)測的平均相對誤差（MAPE）、均方根誤差（RMSE）以及模型訓(xùn)練時間和負(fù)荷預(yù)測的計(jì)算時間。

由實(shí)驗(yàn)結(jié)果可知，加入了CNN特征提取層的網(wǎng)絡(luò)模型相比于LSTM網(wǎng)絡(luò)和GRU網(wǎng)絡(luò)，能夠有效提高負(fù)荷預(yù)測的精度。但由于其增加了一個卷積計(jì)算的過程，因此訓(xùn)練時間要大于單一模型。除此之外，殘差修正模型需要對殘差數(shù)據(jù)進(jìn)行訓(xùn)練，因此在有限的硬件資源條件下其網(wǎng)絡(luò)訓(xùn)練時間最長。從表3中可以看到，組合模型的計(jì)算時間要略長于單一模型，但其計(jì)算時間不到1s，可以滿足實(shí)際負(fù)荷預(yù)測的需求。

4 結(jié)論

本文研究了基于LSTM人工神經(jīng)網(wǎng)絡(luò)的負(fù)荷預(yù)測方法，主要結(jié)論如下：

1）LSTM模型能夠?qū)ω?fù)荷歷史數(shù)據(jù)進(jìn)行記憶和保留，其變體GRU模型在簡化控制門的基礎(chǔ)上，能夠保持與LSTM模型類似的預(yù)測效果。仿真結(jié)果表明，GRU模型負(fù)荷預(yù)測的平均誤差約為3.20％。

2）采用卷積神經(jīng)網(wǎng)絡(luò)作為特征提取層，結(jié)合GRU構(gòu)建的組合模型，能夠有效發(fā)揮神經(jīng)網(wǎng)絡(luò)的優(yōu)勢。在本文實(shí)驗(yàn)條件下，組合模型負(fù)荷預(yù)測的平均相對誤差約為2.06%。

3）利用歷史殘差數(shù)據(jù)構(gòu)建的LSTM殘差預(yù)測模型，可對負(fù)荷預(yù)測結(jié)果進(jìn)一步修正，并能夠在組合模型負(fù)荷預(yù)測的基礎(chǔ)上，進(jìn)一步提高電力系統(tǒng)負(fù)荷預(yù)測的精度。

（責(zé)任編輯：鐘媛 英文審校：尹淑英）