基于LightGBM及LSTM融合的科技園區(qū)短期負荷預測

昌玲，鄧國安

(湖南大唐先一科技有限公司，湖南 長沙 410000)

0 引言

電力負荷預測是指以外界因素變化為基礎，通過對歷史數(shù)據(jù)的處理和分析，利用數(shù)學手段建立特定的模型來預測未來電力負荷的需求情況[1]。電力負荷預測在保證電力系統(tǒng)規(guī)劃和可靠、經(jīng)濟性運行方面具有十分重要的意義。尤其在售電側市場化的環(huán)境下，逐漸開展了大用戶或園區(qū)的短期負荷預測理論及方法的研究。

隨著科技園區(qū)的迅速建設，園區(qū)的電力需求也在不斷的增長，電網(wǎng)對園區(qū)負荷的分配也不斷在改變。尤其是對于新建園區(qū)，負荷缺失、異常等問題使電網(wǎng)對園區(qū)的負荷分配、園區(qū)需量上報和負荷預測存在干擾，針對這些問題，對已有相關電力數(shù)據(jù)進行分析，通過調研園區(qū)用戶總體情況，結合用電政策、天氣數(shù)據(jù)和歷史負荷數(shù)據(jù)對異常數(shù)據(jù)進行處理，在數(shù)據(jù)量較少的情況下進行負荷預測。

目前為止常見的負荷預測方法主要包括基于時間序列[2]、支持向量機[3－5]、神經(jīng)網(wǎng)絡[6]、機器學習[7－8]等相關的負荷預測方法，這些方法為負荷預測提供了理論基礎，但是目前已有的方法存在局限性。如時間序列方法的自回歸滑動平均模型(ARMA)，僅能對少量影響負荷的因素以及樣本數(shù)據(jù)進行處理，且要求歷史負荷序列平穩(wěn)性較高。支持向量機算法能夠解決負荷存在非線性、收斂于局部最優(yōu)的問題，但是若數(shù)據(jù)樣本太多會出現(xiàn)計算速度慢且預測精度低等問題。神經(jīng)網(wǎng)絡具有強大的非線性映射能力，但是存在學習速度慢，容易陷入局部最優(yōu)的缺陷。XGBoost是一種基于決策樹的機器學習算法，采用預排序法選擇最優(yōu)分割點，數(shù)據(jù)量大時會比較耗時，影響訓練速度。

科技園區(qū)的用電負荷主要為辦公設備負荷，空調負荷、照明、電梯等其他負荷，考慮空調負荷為科技園區(qū)受天氣影響變化最大的負荷，其次是辦公設備負荷受到使用人數(shù)的影響，有明顯的工作日及時間屬性。本文根據(jù)提取的某科技園區(qū)負荷數(shù)據(jù)，結合園區(qū)調研信息數(shù)據(jù)及異常信息進行數(shù)據(jù)預處理，增加時間相關特征量，采用K折交叉驗證訓練方法訓練第一層特征，能避免因數(shù)據(jù)量較少導致的泛化能力差的問題，采用長短時間記憶網(wǎng)絡(LSTM)與LightGBM算法融合，即考慮一周內(nèi)的天氣與負荷的時序相關性，也考慮天氣數(shù)據(jù)與負荷的回歸特性，經(jīng)過算例分析，證明該融合算法在一定程度上能提高預測精度。

1 相關理論

1.1 LightGBM

LightGBM(Light Gradient Boosting Machine)是一款基于決策樹算法的分布式梯度提升框架，是GBDT模型的變體，其基本原理與GBDT原理基本一致，通過將n顆弱回歸樹線性組合為強回歸樹，但是因為其采用了Histogram和Leaf－wise決策樹優(yōu)化算法，能夠減小數(shù)據(jù)計算的內(nèi)存占用，保證在不犧牲速度的前提下盡可能地利用更多的數(shù)據(jù)，能夠實現(xiàn)并行計算學習，支持大規(guī)模數(shù)據(jù)處理，具有更高的準確度。

直方圖算法的基本思想如圖1所示，首先把連續(xù)的特征值離散化成k個整數(shù)，并且構造成一個寬度為k的直方圖。在遍歷數(shù)據(jù)的時候，根據(jù)離散化后的值作為索引在直方圖中累積統(tǒng)計量，當完成一次數(shù)據(jù)遍歷后，直方圖已經(jīng)累積了需要的統(tǒng)計量，所以就可以根據(jù)直方圖的離散值，遍歷尋找最優(yōu)的分割點。

圖1 直方圖算法

LightGBM通過leaf－wise策略來生長樹。如圖2所示，每次分裂都是從當前所有葉子中，找到分裂增益最大的一個葉子，然后分裂，如此循環(huán)。因此同Level－wise相比，在分裂次數(shù)相同的情況下，Leaf－wise可以降低更多的誤差，得到更好的精度。但是，當樣本量較小的時候，leaf－wise可能會造成過擬合。但是，LightGBM可以通過調節(jié)額外的參數(shù)max＿depth來限制樹的深度，從而避免過擬合。

圖2 leaf－wise生長策略

1.2 LSTM

長短期記憶神經(jīng)網(wǎng)絡(LSTM，Long Short－Term Memory)是循環(huán)神經(jīng)網(wǎng)絡(RNN)的一種改進模型[9]。原始的RNN在訓練過程中，若輸入的時間序列過長或網(wǎng)絡層數(shù)過多，容易出現(xiàn)梯度爆炸或者梯度消失等問題，反向傳遞的損失值會隨層數(shù)的增加而越來越小，無法學習太長時間的序列特征。LSTM通過控制輸入、遺忘和輸出3個門能實現(xiàn)對記憶單元的讀取和修改，通過門控狀態(tài)來控制傳輸狀態(tài)，記住需要長時間記憶的，忘記不重要的信息。最終反映到細胞狀態(tài)ct和輸出信號ht－1。LSTM的網(wǎng)絡結構如圖3所示。

圖3 LSTM網(wǎng)絡結構

圖3為xt一個時間單元的網(wǎng)絡循環(huán)結構，分別由細胞狀態(tài)更新、遺忘門、輸入門、輸出門等組成。其中，xt為t時刻的輸入，ct－1和ct分別為t－1和t時刻的狀態(tài)記憶量，ht－1和ht分別是t－1和t時刻的輸出量，ft、it、ot分別為遺忘門、輸入門、輸出門計算輸出的變量，σ和tanh分別為sigmoid函數(shù)和tanh激活函數(shù)。

網(wǎng)絡的計算公式如下:

式中，W f、W i、W g、W o分別為各控制門的相應權重矩陣，bf、bi、bg、bo分別為各控制門的相應偏置項。

2 基于LightGBM與LSTM模型融合算法

基于LigtGBM預測未來24 h負荷模型的建立，其輸入輸出的結構模式與LSTM結構不同，無法記憶時序性的特征，只需針對預測時刻的相關特征建立對每小時負荷值的回歸預測?？紤]數(shù)據(jù)可能存在不均勻性且避免過擬合，采用K折交叉驗證的方法對數(shù)據(jù)進行交叉訓練，如圖4所示。首先按照K折的比例將原始數(shù)據(jù)集分為訓練集和驗證集，然后選取LigtGBM預測算法以交叉驗證的方式對訓練集進行訓練，將訓練完成后的預測模型對驗證集和測試集進行預測。所得的測試集預測值即為各交叉驗證模型預測值的平均值。

圖4 K折交叉驗證

基于LSTM預測未來24 h負荷模型的建立，首先確定模型的輸入輸出，考慮待預測日24 h負荷值與前一周的負荷及天氣等特征有很大的相關性，由于LSTM網(wǎng)絡獨特的記憶結構，能夠直接將時間序列作為單個特征，所以選取前一周每天24 h的負荷相關特征數(shù)據(jù)作為輸入，預測輸出未來24 h的負荷值。其次確定基于LSTM預測模型的網(wǎng)絡架構，采用兩層LSTM網(wǎng)絡和一層全連接輸出層結構。采用2個隱藏層可以提高對輸入特征的提取深度，通過全連接層映射輸出為負荷預測值。

多種較高準確率、不同類型的預測算法融合可以提高模型的性能[10－11]，LSTM算法能考慮負荷的時序特性，LightGBM能充分考慮負荷與天氣數(shù)據(jù)的相關性。兩算法的融合在處理特征的相關性方面能形成互補。圖5為模型融合的具體框架。

圖5 模型融合框架

3 模型融合算法計算流程

模型融合算法流程如圖6所示。

圖6 算法流程

1)對獲取的負荷數(shù)據(jù)、氣象數(shù)據(jù)進行數(shù)據(jù)清洗，結合科技園區(qū)用能調研結果對數(shù)據(jù)進行異常值修正或刪除。處理非數(shù)值特征量，將其進行編碼至0—1，以便數(shù)值計算。增加特征量，針對數(shù)據(jù)集的時間構造屬性，如節(jié)假日屬性、周屬性、小時屬性等。對所有數(shù)據(jù)進行相關性分析，提取相關性較大的特征量。

2)將提取的特征量構建LightGBM預測模型。根據(jù)數(shù)據(jù)集總數(shù)進行訓練集、驗證集、測試集的劃分，采用K折交叉驗證方法訓練LightGBM預測模型，對數(shù)據(jù)集分別訓練，并輸出預測結果及預測誤差。

3)將上一層算法預測的訓練集負荷數(shù)據(jù)加入特征量中，統(tǒng)一進行歸一化處理，構建LSTM時序訓練模型，得出預測結果及預測誤差。

4)根據(jù)以上兩層訓練得出的預測結果和驗證集預測誤差，并驗證預測誤差加權平均得出最終的負荷預測值[10]。

4 短期負荷預測算例分析

空調負荷是科技園區(qū)受天氣影響變化最大的負荷，采用某科技園區(qū)每小時的負荷數(shù)據(jù)，當?shù)氐奶鞖鈹?shù)據(jù)，包括溫度、露點、濕度、風向、風速、壓力、天氣類型等。按照模型融合算法流程進行數(shù)據(jù)預處理，構造時間相關屬性，對所有數(shù)據(jù)進行相關性分析，提取相關性較大的特征量。構建訓練集、驗證集、測試集比例為8∶1∶1。程序計算采用python語言實現(xiàn)，第一、二層算法分別調用Lightgbm的機器學習庫、Keras的深度學習庫。LSTM網(wǎng)絡的層數(shù)為2，每層的神經(jīng)元個數(shù)均為256，優(yōu)化算法為Adam算法，歸一化按照sklearn庫里面的MinMaxScaler處理。Lightgbm算法的葉子數(shù)為31，學習率為0.1，訓練次數(shù)為12 000，目標函數(shù)是regression。誤差考核標準參考平均絕對誤差百分比εMAPE、均方根誤差εRMSE、平均絕對誤差εMAE。

式中，yi為測量值，為預測值，n為數(shù)據(jù)集個數(shù)。

4.1 模型訓練及結果展示

按照模型融合算法計算流程，將處理后的數(shù)據(jù)集作為LightGBM預測模型的第一層數(shù)據(jù)進行訓練，根據(jù)數(shù)據(jù)量大小，選擇4折交叉驗證，訓練后測試集的εMAPE為6.32%，εMAE為44.86，εRMSE為69.32。將第一層訓練得出的訓練集預測結果加入第二層模型訓練中，將兩層模型預測的訓練集數(shù)據(jù)通過融合算法訓練出融合模型，最終得出測試集的預測值。圖7為某天的24 h負荷預測值及其實際負荷值。

圖7 24 h負荷預測值

4.2 不同算法預測結果比較

分別采用單獨的LightGBM、XGBoost、LSTM算法進行負荷預測，測試的預測結果見表1。可見融合算法相比其他的預測算法能獲得更高的預測精度。其次，單獨的LightGBM算法比采用4折交叉驗證算法的預測誤差要大，證明交叉驗證能一定程度上提高模型的泛化能力，從而提高預測精度。

表1 不同算法的預測結果

提取某天的24 h預測值如圖8所示。由此可見，融合算法比其他算法能獲得更高的預測精度，從而證明了方法的有效性。

圖8 不同算法的預測值比較

5 結語

根據(jù)某科技園區(qū)的歷史負荷數(shù)據(jù)及天氣數(shù)據(jù)預測未來24 h的負荷值，采用基于LightGBM及LSTM算法融合的負荷預測方法，考慮負荷的歷史時序特性，也考慮天氣及時間因素對負荷的影響。增加時間相關特征量，映射時間對負荷值的影響，采用LightGBM訓練第一層特征預測模型，4折交叉訓練避免了因數(shù)據(jù)量較少而導致模型泛化能力差的問題，預測精度明顯比直接訓練要高。采用兩種預測算法融合，在一定程度上能減小負荷的預測誤差，提高了負荷預測的精度。