基于長短期記憶網(wǎng)絡(luò)和LightGBM 組合模型的短期負(fù)荷預(yù)測

陳緯楠，胡志堅(jiān)，岳菁鵬，杜一星，齊 祺

（1. 武漢大學(xué)電氣與自動(dòng)化學(xué)院，湖北省武漢市430072；2. 廣東電網(wǎng)有限責(zé)任公司電力科學(xué)研究院，廣東省廣州市510080）

0 引言

短期負(fù)荷預(yù)測主要對(duì)未來幾小時(shí)或幾天的用電負(fù)荷進(jìn)行預(yù)測，是電網(wǎng)合理調(diào)度和平穩(wěn)運(yùn)行的基礎(chǔ)［1］。近年來，智能測量設(shè)備為電力部門提供了數(shù)量更大、質(zhì)量更高的負(fù)荷數(shù)據(jù)，現(xiàn)代氣象預(yù)報(bào)技術(shù)提供了更高時(shí)空分辨率、更高精度的天氣數(shù)據(jù)，為以人工智能為代表的新型負(fù)荷預(yù)測技術(shù)奠定了堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)［2］。

目前，關(guān)于短期負(fù)荷預(yù)測的方法主要有傳統(tǒng)的統(tǒng)計(jì)學(xué)方法和基于機(jī)器學(xué)習(xí)的預(yù)測方法［3］。其中，統(tǒng)計(jì)學(xué)方法主要有多元線性回歸（MLR）［4］、時(shí)間序列分析法［5］和卡爾曼濾波法［6］等，這類方法原理與建模簡單，但當(dāng)數(shù)據(jù)樣本容量較大時(shí)，預(yù)測效果一般。另一類方法則基于機(jī)器學(xué)習(xí)算法，例如灰色系統(tǒng)［7］、人工神經(jīng)網(wǎng)絡(luò)［8］、支持向量機(jī)（SVM）以及高斯過程（GP）［9］等。其中，反向傳播（BP）神經(jīng)網(wǎng)絡(luò)和SVM 的應(yīng)用最為廣泛。文獻(xiàn)［10］采用多層聚類法對(duì)輸入數(shù)據(jù)進(jìn)行預(yù)處理，然后使用改進(jìn)的BP 神經(jīng)網(wǎng)絡(luò)完成了負(fù)荷預(yù)測。文獻(xiàn)［11-12］分別采用蚱蜢算法和小波變異果蠅算法對(duì)SVM 模型進(jìn)行了改進(jìn)，也取得了不錯(cuò)的預(yù)測效果。但上述方法缺少對(duì)時(shí)間序列相關(guān)性的考慮，并且當(dāng)訓(xùn)練樣本較多時(shí)存在無法有效收斂的問題［13］。近年來，以長短期記憶（LSTM）網(wǎng)絡(luò)為代表的深度學(xué)習(xí)算法在負(fù)荷預(yù)測領(lǐng)域取得了較好的應(yīng)用，LSTM 網(wǎng)絡(luò)可以充分挖掘時(shí)序數(shù)據(jù)之間的內(nèi)在關(guān)聯(lián)，但當(dāng)特征為非連續(xù)數(shù)據(jù)時(shí)，預(yù)測精度不高［14］。此外，梯度提升機(jī)（GBM）模型的相關(guān)改進(jìn)算法也對(duì)回歸預(yù)測問題有著不錯(cuò)的效果，例如極端梯度提升機(jī)（XGBoost）［15］以及輕梯度提升機(jī)（LightGBM）［16］等。它們具有訓(xùn)練速度快、內(nèi)存占用低等優(yōu)點(diǎn)，但缺乏對(duì)時(shí)間序列的整體感知能力。

為了克服單一模型在電力負(fù)荷預(yù)測精度上的不足，組合預(yù)測的方法應(yīng)運(yùn)而生。文獻(xiàn)［17］指出，當(dāng)每種單一模型包含預(yù)測對(duì)象的不同信息時(shí)，采用組合預(yù)測的方法可以提高結(jié)果的精度。文獻(xiàn)［18］將全連接網(wǎng)絡(luò)、LSTM 網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)相融合。文獻(xiàn)［19］通過膜計(jì)算的方法將線性回歸、趨勢外推、灰色模型和SVM 相組合。以上文獻(xiàn)通過多模型的合理組合，均取得了較好的預(yù)測效果。

本文采用組合預(yù)測的方法，將海量的負(fù)荷數(shù)據(jù)、溫度數(shù)據(jù)、日期數(shù)據(jù)以及節(jié)假日信息等作為輸入特征，分別輸入LSTM 網(wǎng)絡(luò)以及LightGBM 模型，然后通過最優(yōu)加權(quán)法確定權(quán)重系數(shù)，從而得出待預(yù)測日24 個(gè)時(shí)刻的負(fù)荷預(yù)測結(jié)果。該組合預(yù)測模型能夠結(jié)合2 種模型各自的特點(diǎn)，既可以挖掘長時(shí)間數(shù)據(jù)之間的內(nèi)在聯(lián)系，又可以避免非連續(xù)性特征對(duì)預(yù)測精度的不良影響。算例測試結(jié)果表明，本文組合模型能夠降低單一模型在極端場景下的誤差，相比于其他組合模型，也具有更加穩(wěn)定的預(yù)測效果。

1 基于LSTM 網(wǎng)絡(luò)的負(fù)荷預(yù)測模型

1.1 LSTM 網(wǎng)絡(luò)

LSTM 網(wǎng)絡(luò)是由循環(huán)神經(jīng)網(wǎng)絡(luò)改進(jìn)而來，其獨(dú)特的記憶結(jié)構(gòu)能夠顯著改善訓(xùn)練時(shí)權(quán)重影響過大以及梯度消失等問題。LSTM 網(wǎng)絡(luò)的基本組成單元主要包括遺忘門、輸入門和輸出門［20］，具體結(jié)構(gòu)如附錄A 圖A1 所示，各變量的計(jì)算公式如下。

式中：ft為遺忘門中的計(jì)算變量；it和gt為輸入門中的計(jì)算變量；ot為輸出門中的計(jì)算變量；at-1和xt分別為t-1 時(shí)刻的輸出和t 時(shí)刻的輸入，共同組成t 時(shí)刻 各 門 的 輸 入；Wf，Wi，Wg，Wo分 別 為 輸 入 變 量 在相 應(yīng) 門 中 的 權(quán) 重 矩 陣；bf，bi，bg，bo分 別 為 相 應(yīng) 門 中的偏置項(xiàng)；ct-1和ct分別為t-1 和t 時(shí)刻的狀態(tài)記憶變量；σ 為sigmoid 函數(shù)；⊙表示矩陣的哈達(dá)瑪積。

1.2 基于LSTM 網(wǎng)絡(luò)的負(fù)荷預(yù)測模型構(gòu)造

式 中：xi和分 別 為 歸 一 化 前 后 的 值；xmin和xmax分別為原數(shù)據(jù)的最小值與最大值。

最后，需要對(duì)模型的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行設(shè)計(jì)，采用如附錄A 圖A2 所示的深度LSTM 網(wǎng)絡(luò)模型結(jié)構(gòu)，由1 個(gè)輸入層、多個(gè)隱藏層和1 個(gè)輸出層構(gòu)成。前一個(gè)隱藏層的輸出作為后一個(gè)隱藏層的輸入，實(shí)現(xiàn)對(duì)輸入數(shù)據(jù)特征的深度提取，最終通過全連接層輸出并反歸一化后，得到24 個(gè)時(shí)刻的負(fù)荷預(yù)測值。

2 基于LightGBM 模型的負(fù)荷預(yù)測模型

2.1 LightGBM 模型

LightGBM 模型于2017 年由微軟團(tuán)隊(duì)首度提出，是一種改進(jìn)的梯度提升決策樹框架。它的基本思想是通過M 棵弱回歸樹線性組合為強(qiáng)回歸樹，如式（8）所示。

式中：F(x)為最終的輸出值；fm(x)為第m 棵弱回歸樹的輸出值。

LightGBM 模型的主要改進(jìn)包括直方圖算法和帶深度限制的葉子生長（leaf-wise）策略［21］。直方圖算法將連續(xù)數(shù)據(jù)劃分為K 個(gè)整數(shù)，并構(gòu)造寬度為K的直方圖。遍歷時(shí)將離散化的值作為索引在直方圖中累積，進(jìn)而搜索出最優(yōu)的決策樹分割點(diǎn)。

而帶深度限制的leaf-wise 策略是指在每次分裂時(shí)，找到最大增益的葉子進(jìn)行分裂并循環(huán)下去。同時(shí)，通過樹的深度以及葉子數(shù)限制，減小模型的復(fù)雜度，防止出現(xiàn)過擬合。

通過上述改進(jìn)措施，LightGBM 模型大大減少了內(nèi)存的占用，訓(xùn)練時(shí)間僅為XGBoost 模型訓(xùn)練時(shí)間的1/10，并且準(zhǔn)確率有所提升，十分適合處理負(fù)荷預(yù)測這類數(shù)據(jù)量較大的問題。

2.2 基于LightGBM 模型的負(fù)荷預(yù)測模型構(gòu)造

LightGBM 模型的輸入和輸出結(jié)構(gòu)與LSTM 網(wǎng)絡(luò)有所不同，它無法一次性得到待預(yù)測日24 h 的負(fù)荷值，因此需要利用訓(xùn)練好的模型對(duì)每一個(gè)時(shí)刻分別進(jìn)行預(yù)測。

本文選取待預(yù)測時(shí)刻的氣溫預(yù)報(bào)值、對(duì)應(yīng)的月份、當(dāng)月的第幾日、當(dāng)日的第幾小時(shí)、是否為周末（周六日）、是否為法定節(jié)假日以及前一天對(duì)應(yīng)時(shí)刻的負(fù)荷值作為該模型的輸入，輸出為待預(yù)測時(shí)刻的負(fù)荷值，共24 個(gè)輸出。預(yù)測過程的示意圖如附錄A圖A3 所示。

此外，由于LightGBM 模型是基于概率的決策樹模型，無須對(duì)輸入特征做歸一化操作，只要對(duì)其適當(dāng)編碼即可。

3 組合預(yù)測模型

3.1 最優(yōu)加權(quán)組合法

在分別采用LSTM 網(wǎng)絡(luò)和LightGBM 模型得出負(fù)荷預(yù)測的結(jié)果之后，需要確定權(quán)重系數(shù)來將兩者進(jìn)行線性組合。本文采用最優(yōu)加權(quán)組合的方法［22］，具體步驟如下。

首先求出偏差矩陣E，即

式 中：N 為 負(fù) 荷 采 樣 總 數(shù)；e1t和e2t分 別 為LSTM 網(wǎng)絡(luò)和LightGBM 模型在t 時(shí)刻的預(yù)測值與真實(shí)值的誤差。

通過拉格朗日乘子法可以求出最優(yōu)權(quán)重，如式（10）所示。

式中：w1和w2分別為LSTM 網(wǎng)絡(luò)和LightGBM 模型的權(quán)重系數(shù)，系數(shù)之和為1；R=[1，1]T。

綜上，可以得出最終的負(fù)荷預(yù)測結(jié)果如式（11）所示。

3.2 組合預(yù)測流程

組合預(yù)測的流程如圖1 所示。

首先對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理并劃分訓(xùn)練集、驗(yàn)證集和測試集。其中，訓(xùn)練集用于訓(xùn)練每個(gè)模型的連接值等普通參數(shù)。根據(jù)驗(yàn)證集的評(píng)估效果，可以對(duì)迭代次數(shù)等超參數(shù)進(jìn)行調(diào)優(yōu)。測試集則用于實(shí)際的負(fù)荷預(yù)測試驗(yàn)。在經(jīng)過模型訓(xùn)練與參數(shù)調(diào)優(yōu)后，對(duì)測試集中的待預(yù)測日進(jìn)行獨(dú)立預(yù)測，最后通過最優(yōu)加權(quán)法得出組合預(yù)測的結(jié)果。

4 算例分析

4.1 實(shí)驗(yàn)數(shù)據(jù)和平臺(tái)

圖1 組合預(yù)測流程圖Fig.1 Flow chart of combined prediction

本文以2012 年全球能源預(yù)測競賽的數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)集，其中包括20 個(gè)不同地區(qū)每小時(shí)的負(fù)荷數(shù)據(jù)、對(duì)應(yīng)的溫度數(shù)據(jù)和節(jié)假日信息［23］。選擇3 號(hào)地 區(qū) 從2006 年11 月29 日 至2008 年6 月29 日 的 負(fù)荷數(shù)據(jù)，按照8∶1∶1 的比例分為訓(xùn)練集、驗(yàn)證集和測試集。

本文采用的硬件平臺(tái)為Intel Core i7-8700 CPU和NVDIA GTX 1050Ti GPU。 軟件平臺(tái)采用Python 語言實(shí)現(xiàn)，LSTM 網(wǎng)絡(luò)調(diào)用keras 深度學(xué)習(xí)庫，LightGBM 模型調(diào)用lightgbm 機(jī)器學(xué)習(xí)庫。

4.2 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

選取平均絕對(duì)百分比誤差EMAPE和均方根誤差ERMSE作為實(shí)驗(yàn)的評(píng)價(jià)指標(biāo)，分別如式（12）和式（13）所示。

式中：yt為t 時(shí)刻負(fù)荷的真實(shí)值。

4.3 超參數(shù)設(shè)置

超參數(shù)的設(shè)置對(duì)于LSTM 網(wǎng)絡(luò)和LightGBM 模型的收斂速度以及預(yù)測效果有著重要的影響，本文采用網(wǎng)格搜索法［24］得出2 種模型的最優(yōu)超參數(shù)。

其中，LSTM 網(wǎng)絡(luò)的層數(shù)為2 層，神經(jīng)元個(gè)數(shù)分別為50 和100、學(xué)習(xí)率取0.01、迭代次數(shù)為100、優(yōu)化算法為Adam 算法。LightGBM 模型的弱回歸樹數(shù)量為200、葉子數(shù)為50、學(xué)習(xí)率為0.06、L1 和L2 正則化參數(shù)分別為0.1 和0.9、迭代次數(shù)為3 000。

4.4 組合預(yù)測的互補(bǔ)性分析

通過改變輸入序列的長度分析2 種單一模型以及組合模型對(duì)時(shí)間序列的整體感知能力，其中一周的預(yù)測結(jié)果如表1 所示。

表1 不同輸入序列長度下的預(yù)測結(jié)果Table 1 Prediction results of input sequence with different lengths

由表1 可知，當(dāng)LSTM 網(wǎng)絡(luò)的輸入序列長度達(dá)到168 時(shí)，其誤差最低，較長的序列可為模型提供更多的信息，從而提高預(yù)測精度。由于負(fù)荷的周變化規(guī)律比較明顯，故序列長度超過168 時(shí)，誤差反而有所上升。而LightGBM 模型隨著輸入序列長度的增加，誤差略有上升，表明其對(duì)長時(shí)間序列信息的挖掘能力較差。通過2 種模型的結(jié)合，能夠一定程度上提高對(duì)時(shí)間序列的整體感知能力，獲得更高的精度。

在輸入特征中，非連續(xù)性特征主要為日期類型信息，如周末與法定節(jié)假日。選取部分周末與法定節(jié)假日負(fù)荷進(jìn)行預(yù)測，結(jié)果如表2 所示。

表2 周末與法定節(jié)假日的預(yù)測結(jié)果Table 2 Prediction results for weekends and legal holidays

由表2 可知，LSTM 網(wǎng)絡(luò)對(duì)這些日期類型的預(yù)測結(jié)果一般，均高于4%，也說明其對(duì)非連續(xù)性特征的擬合效果有限。通過LightGBM 模型的加入，組合模型在周末與節(jié)假日的誤差上分別降低了0.98%和1.07%，取得了更好的預(yù)測效果。

綜合以上分析可以得出，將2 種模型進(jìn)行組合后，可以較為有效地結(jié)合各自的優(yōu)點(diǎn)，不僅可以增強(qiáng)模型對(duì)長時(shí)間序列的感知力，也可以充分挖掘非連續(xù)序列的特征信息。

4.5 不同模型的預(yù)測結(jié)果對(duì)比

分別采用不同組合模型對(duì)一天（2008 年5 月10 日）以 及 連 續(xù) 一 周（2008 年5 月17 日 至2008 年5 月23 日）的數(shù)據(jù)進(jìn)行短期負(fù)荷預(yù)測。方法1 和2 分別為LightGBM 和LSTM 網(wǎng)絡(luò)單一模型，方法3 為本文組合模型，方法4 由2 種常用模型組合而成，即BP-SVM 模型［25］，方法5 將LSTM 網(wǎng)絡(luò)換成深度信念網(wǎng)絡(luò)（DBN）并組合（用DBN-LightGBM 表示），方法6 為2012 年全球能源預(yù)測競賽中表現(xiàn)優(yōu)異的GBM-GP 模型［9］，實(shí)驗(yàn)結(jié)果如表3 所示。

表3 不同模型的結(jié)果比較Table 3 Result comparison of different models

從表3 可以看出，通過方法1 和方法2 這2 種單一模型的組合，本文模型的誤差得到了顯著的降低。方法4 在一天和一周的預(yù)測結(jié)果中，其EMAPE均最大，分別達(dá)到了2.93%和4.26%，ERMSE也明顯高于其余模型。方法6 將經(jīng)典的機(jī)器學(xué)習(xí)方法結(jié)合，取得了不錯(cuò)的預(yù)測效果，在單日的預(yù)測中稍遜于融合了深度學(xué)習(xí)算法的方法3 和方法5，但在一周的預(yù)測效果上好于方法5。而在方法3 與方法5 對(duì)比中，融合了LSTM 網(wǎng)絡(luò)的本文組合模型在精度上全面優(yōu)于融合了DBN 的方法5，這主要還是得益于LSTM 網(wǎng)絡(luò)單元的記憶結(jié)構(gòu)，使其能夠包含時(shí)間序列的更多整體信息。

單一模型和本文組合模型的預(yù)測曲線如圖2 所示，不同組合模型的預(yù)測曲線如圖3 所示，不同組合模型在各預(yù)測點(diǎn)的絕對(duì)誤差對(duì)比見附錄A 圖A4。

由圖2 可以看出，在負(fù)荷的峰谷點(diǎn)附近，由于負(fù)荷變化的不確定性大大增加，單一模型的誤差均較大，而本文組合模型則可以有效地降低這些極端時(shí)刻的誤差。結(jié)合圖3 與附錄A 圖A4 可知，在不同組合模型的對(duì)比中，BP-SVM 模型的誤差最大，達(dá)到8%左右。其余組合模型的預(yù)測效果相對(duì)較好，但本文組合模型的誤差變化更加平穩(wěn)，均保持在較低的水平，能夠更好地?cái)M合出負(fù)荷變化趨勢。

圖2 單一和組合模型的預(yù)測對(duì)比Fig.2 Prediction comparison of single and combined models

圖3 不同組合模型的預(yù)測對(duì)比Fig.3 Prediction comparison of different combined models

5 結(jié)語

本文提出一種基于LSTM 網(wǎng)絡(luò)和LightGBM 模型的組合預(yù)測方法，該組合方法能夠結(jié)合2 種模型的特點(diǎn)，既可以考慮時(shí)序數(shù)據(jù)間的相互關(guān)聯(lián)，也能挖掘非連續(xù)特征的有效信息。相對(duì)于單一模型，所提組合模型能夠有效地降低出現(xiàn)極端預(yù)測誤差的風(fēng)險(xiǎn)。與其他組合模型相比，也取得了更高的預(yù)測精度。

后續(xù)工作可以考慮增加電價(jià)、降水量以及濕度等其他特征，并對(duì)各個(gè)特征進(jìn)行評(píng)價(jià)，得出最佳特征集。此外，模型的包容性檢驗(yàn)以及組合權(quán)重的選擇等問題也值得進(jìn)一步的探索。

附錄見本刊網(wǎng)絡(luò)版（http：//www.aeps-info.com/aeps/ch/index.aspx），掃英文摘要后二維碼可以閱讀網(wǎng)絡(luò)全文。