基于LightGBM-LSTM組合模型的商業(yè)建筑能耗預(yù)測

羅 恒 劉 杭

1(蘇州科技大學(xué)電子與信息工程學(xué)院 江蘇 蘇州 215009)2(蘇州科技大學(xué)江蘇省建筑智慧節(jié)能重點實驗室 江蘇 蘇州 215009)

0 引 言

隨著智能電網(wǎng)對于各個大型商業(yè)建筑的普及，建筑能源的節(jié)約使用已經(jīng)成為了人們的關(guān)注要點。很多大型公共建筑通過建立能源節(jié)約系統(tǒng)，能夠預(yù)測未來短期或中長期建筑能耗數(shù)據(jù)，起到節(jié)約資源以及節(jié)約企業(yè)成本的作用[1]。能夠影響大型商業(yè)建筑能耗的因素有很多，例如天氣影響、國家規(guī)定節(jié)假日因素等，所以能耗預(yù)測的準(zhǔn)確度問題仍然是需要重點研究的對象。

建筑能耗預(yù)測中常用的傳統(tǒng)機器學(xué)習(xí)方法主要有隨機森林(Random Forest,RF)算法[2]、K-近鄰(k-Nearest Neighbor，KNN)算法[3]和支持向量回歸機(Support Vector Machine,SVM)算法[4]等。預(yù)測問題使用回歸算法較多，例如，文獻[5]提出一種基于核嶺回歸(Kernel Ridge Regression,KRR)的預(yù)測風(fēng)速的方法，但預(yù)測通用性不高。很多研究人員使用決策樹的算法對時間序列數(shù)據(jù)做出簡單預(yù)測，隨機森林算法使用Bagging思想[6]，將多個決策樹綜合，提升決策樹的預(yù)測效果。文獻[7]使用(Gradient Boosting Decision Tree,GBDT)算法做預(yù)測，它是基于梯度的最小化損失函數(shù)的決策樹算法。LightGBM[8]模型是GBDT模型的一種改進模型，對多特征數(shù)據(jù)處理效果較好。文獻[9-10]使用神經(jīng)網(wǎng)絡(luò)對能耗預(yù)測，但是對于時間序列問題仍然具有局限性。針對時間序列數(shù)據(jù)，經(jīng)典的自回歸移動平均模型(ARIMA)[11]和目前基于循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)[12]衍生的長短期記憶(Long Short-term Memory,LSTM)[13]網(wǎng)絡(luò)都是經(jīng)常使用的預(yù)測模型。LSTM增加具有門控單元的記憶功能，與其他方法相比，在處理時間序列問題上更能夠捕捉時間序列項之間的依賴關(guān)系和模式。

能耗序列數(shù)據(jù)是具有長短期時間序列特性的數(shù)據(jù)，同時易受多種特征因素影響。針對能耗序列這兩種特點，依據(jù)上海某商業(yè)建筑能耗數(shù)據(jù)開展實驗，并提出一種基于LightGBM-LSTM組合模型的權(quán)重組合的預(yù)測方法。其組合方式使用文獻[14]的方差-協(xié)方差法的權(quán)重組合方法，本實驗分別使用LightGBM模型與LSTM模型對該商業(yè)建筑能耗時序數(shù)據(jù)進行建模，通過對于LightGBM模型和LSTM模型預(yù)測結(jié)果的權(quán)重組合，并將組合后的模型與KNN、RF和GBDT等模型進行實驗結(jié)果對比，本文所提出的LightGBM模型與其他單項模型相比，具有較好的預(yù)測能力。

1 研究方法與理論

1.1 LightGBM模型

LightGBM是基于決策樹基分類器的算法，它采用了幾種策略優(yōu)化方式，是泛化梯度提升樹的一種模型。

決策樹算法將特征集合映射，對于輸入數(shù)據(jù)D={(x1,y1),(x2,y2),…,(xn,yn)}預(yù)生成k棵決策樹，將訓(xùn)練集輸入空間遞歸劃分為兩個子區(qū)域輸出值：

計算R1、R2的域內(nèi)方差：

(3)

式中：c1、c2為每個區(qū)域的輸出。找出最優(yōu)切分：

計算第m棵樹子數(shù)劃分區(qū)域的局部均值：

式中：Nm為該劃分區(qū)域的數(shù)據(jù)個數(shù)。

式(5)表示對單個區(qū)域的預(yù)測結(jié)果。對于上述條件可以重復(fù)調(diào)用，獲取滿足條件的最小回歸樹。最終劃分區(qū)域空間數(shù)為M的區(qū)域集合{R1,R2,…,RM}，生成決策樹為：

式中：I為指示函數(shù)，如果x∈Rm，則I為1，反之則為0。

根據(jù)平方誤差最小化原則，輸出區(qū)域內(nèi)最優(yōu)的值。其中對于第m棵子數(shù)的第j個預(yù)測值的損失函數(shù)定義為：

l(m,j)=L(yj,fm(xj))=(yj-(fm(xj)))2

(7)

式中：L為L2損失函數(shù)。

梯度決策提升樹是一種使用Boosting方法預(yù)測的分類回歸算法，在提升樹中使用殘差作為下一個樹的輸入，在梯度決策提升樹中使用公式：

LightGBM模型基于GBDT的策略改進，使用直方圖算法離散遍歷數(shù)據(jù)，優(yōu)化最優(yōu)決策樹分割點，在LightGBM模型中的決策樹使用Level-wise策略[15]，控制模型復(fù)雜度。模型的創(chuàng)新點在于基于單邊梯度的采樣算法(GOSS)和互斥特征打包(MEF)。MEF算法如算法1所示。

算法1MEF算法流入:numData為輸入數(shù)據(jù)的大小，F(xiàn)為互斥特征的一組打包。

輸出:newBin,binRanges。

1. binRanges←{0},totalBin←0；

2.forfinFdo

3. totalBin+=f.numBin；

4. binRanges.append(totalBin)；

5. newBin←new Bin(numData)；

6.fori=1tonumDatado

7. newBin[i]；

8.forj=1tolen(F)do

9.ifF[j].bin[i]≠0then

10. newBin[i]←F[j].bin[i]+binRanges[j]；

1.2 LSTM模型

在使用基于時間序列的數(shù)據(jù)處理時，使用傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型無法得到前后數(shù)據(jù)的依賴關(guān)系結(jié)果。循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)是針對這一問題而設(shè)計的深度遞歸網(wǎng)絡(luò)，它能夠保留前面幾個時間步的信息，但是在時間軸上會發(fā)生梯度消失或梯度爆炸，為了解決RNN梯度問題，LSTM使用門控單元來實現(xiàn)記憶功能，設(shè)置遺忘門(Forget Gate)、輸入門(Input Gate)、狀態(tài)更新(Status Updates)、輸出門(Output Gate)。如圖1所示，四種門控結(jié)構(gòu)連接到乘法元件上，通過控制神經(jīng)元細胞(Memory cell)的輸入輸出，達到提升神經(jīng)元記憶能力的功能。

圖1 LSTM神經(jīng)元結(jié)構(gòu)

定義圖1的部件描述如下：

Input Gate：控制信息流入到記憶單元中，記為it。

Forget Gate：控制前一時刻的信息流入到當(dāng)前時刻的記憶單元中，記為ft。

Output Gate：控制當(dāng)前時刻的記憶單元信息流入隱藏狀態(tài)ht中，記作ot。

Cell：存儲單元，是神經(jīng)元的記憶功能，有對數(shù)據(jù)保存處理的能力，記作ct。

在某一時刻t，LSTM神經(jīng)網(wǎng)絡(luò)內(nèi)部隱藏層定義運算公式為：

ft=sigmoid(wf1xt+wf2xt-1+bf)

(9)

it=sigmoid(wi1xt+wi2xt-1+bi)

(10)

ot=sigmoid(wo1xt+wo2ht-1+bo)

(12)

ht=ot×tanh(ct)

(14)

式中：w和b分別代表不同門的權(quán)重和偏差矩陣；tanh與sigmoid表示激活函數(shù)；ht代表流入當(dāng)前隱藏狀態(tài)信息；xt-1、xt表示t-1時刻與t時刻數(shù)據(jù)。

LSTM在訓(xùn)練過程中，將數(shù)據(jù)輸入進輸入層，經(jīng)過激活函數(shù)作用后輸出，在輸出后將t-1時刻數(shù)據(jù)經(jīng)過隱藏層的輸出t時刻輸入節(jié)點，由圖1和圖2對應(yīng)的遺忘門、輸入門和輸出門單元處理，最后輸出到輸出層或者是下一個層計算單元，輸出層輸出的數(shù)據(jù)經(jīng)過輸出層神經(jīng)單元，通過反向傳播算法，更新節(jié)點權(quán)重。

圖2 LSTM隱藏單元結(jié)構(gòu)

2 LightGBM-LSTM模型構(gòu)建與預(yù)測

2.1 數(shù)據(jù)預(yù)處理及特征分析

實驗采用上海市浦東新區(qū)某大型商業(yè)建筑平臺提供的歷史能耗數(shù)據(jù)，數(shù)據(jù)按照時間序列排序，包含兩年每天每小時的能耗使用情況。經(jīng)過預(yù)處理，得到整點能耗數(shù)據(jù)。根據(jù)文獻[16]，能耗數(shù)據(jù)受到天氣因素影響，所以從某天氣網(wǎng)站上獲取到了這兩年浦東新區(qū)的天氣數(shù)據(jù)進行分析，經(jīng)過預(yù)處理，時間間隔為一個小時。實驗采用的日期準(zhǔn)確范圍為2018年1月1日至2019年12月31日，共17 514條能耗數(shù)據(jù)和17 514條天氣數(shù)據(jù)。

本節(jié)主要根據(jù)歷史能耗數(shù)據(jù)以及天氣相關(guān)因素，篩選確定影響因素，從而能夠進行準(zhǔn)確的預(yù)測。

2.1.1能耗歷史數(shù)據(jù)分析

使用文獻[16]方法，根據(jù)能耗序列歷史數(shù)據(jù)具有時間序列的關(guān)系，使用自相關(guān)系數(shù)和偏自相關(guān)系數(shù)來分析能耗歷史數(shù)據(jù)的平穩(wěn)性和滯后性，如圖3所示。

(a) 能耗數(shù)據(jù)自相關(guān)系數(shù)

(b) 能耗偏自相關(guān)系數(shù)圖3 能耗數(shù)據(jù)相關(guān)系數(shù)

從圖3(a)中可以看出建筑能耗歷史數(shù)據(jù)隨著滯后時間增加，最終趨于平穩(wěn)。通過圖3(b)可以認(rèn)為歷史能耗數(shù)據(jù)具有滯后性，所以使用帶時間滯的數(shù)據(jù)作為基本實驗數(shù)據(jù)。

2.1.2特征因素

通過某天氣網(wǎng)站氣象應(yīng)用程序接口(API)調(diào)用該地區(qū)一年的天氣情況，包括溫度、濕度、風(fēng)速等。為了判定不同的因素影響程度，使用斯皮爾曼相關(guān)系數(shù)表示其相關(guān)性，篩選相關(guān)性較高的因素作為實驗影響因素。從圖4中看出風(fēng)向?qū)τ诮ㄖ芎臄?shù)據(jù)的影響呈無相關(guān)性，其余三種因素呈現(xiàn)中相關(guān)性，因此可以將風(fēng)速、濕度、溫度作為影響因素。

圖4 斯皮爾曼相關(guān)系數(shù)

考慮到該大型商業(yè)建筑是公共娛樂建筑，所以在節(jié)假日會比平時使用電能多。從圖5中可以觀察到，2018年和2019年的寒暑假時期，數(shù)據(jù)呈現(xiàn)上升的趨勢，兩年內(nèi)的同一季節(jié)，數(shù)據(jù)的趨勢變化也大致相同。圖6是2018年節(jié)假期能耗、工作日能耗、全年能耗的小時均值對比圖?？梢钥闯黾倨诘哪芎男r均值比工作日的能耗小時均值高。綜上，將工作日因素以及季節(jié)周期性因素等列為特征因素。

圖5 2018年-2019年能耗序列觀測

圖6 2018年節(jié)假期能耗小時均值對比

根據(jù)特征分析，可以看出序列數(shù)據(jù)在20～30之間趨于穩(wěn)定，因此選取窗口為1～30進行特征重要度分析。使用決策樹被分割后的信息增益(Gain)選取得到特征值的排序，如圖7所示。

圖7 特征重要度分析

2.2 LightGBM-LSTM組合模型預(yù)測

為了充分使用LightGBM模型與LSTM模型的特點，構(gòu)建使用基于LightGBM與LSTM組合模型的預(yù)測方法，使用方差-協(xié)方差方法確定兩種模型的權(quán)值，方差-協(xié)方差方法使用了誤差指標(biāo)作為權(quán)重計算，首先計算對兩種模型預(yù)測結(jié)果的方差為：

根據(jù)如上的方法得到每個預(yù)測模型的權(quán)重，其中：v1、v2分別表示兩種模型同一時間范圍內(nèi)計算的方差；w1、w2為兩種模型設(shè)定的權(quán)重。將每個模型的預(yù)測結(jié)果加上權(quán)重組合，預(yù)測結(jié)果的組合公式為：

Y=w1y1(t)+w2y2(t)

(19)

式中：計算結(jié)果Y為最后組合模型權(quán)重相加的預(yù)測結(jié)果；y1(t)、y2(t)分別表示兩種模型的預(yù)測值。以上流程最終構(gòu)成LightGBM-LSTM模型。圖8為組合模型的預(yù)測流程。

圖8 基于LightGBM-LSTM能耗時間序列預(yù)測流程

2.2.1LightGBM模型構(gòu)建

將歷史序列能耗數(shù)據(jù)經(jīng)過周期性變換后，使用LightGBM模型[17]構(gòu)建，設(shè)計此模型的構(gòu)架流程如圖9所示。

圖9 LightGBM模型構(gòu)建流程

構(gòu)建模型分類器：

式中：M代表類別數(shù)；h(x;αm)是GDBT的弱分類器。設(shè)置m次迭代，優(yōu)化決策樹參數(shù)值，得到m次迭代值：

Fm(x)=Fm-1(x)+βmh(x;αm)

(22)

根據(jù)式(8)構(gòu)造殘差作為下一個決策樹的輸入。αm和βm的計算式為：

式中：α和β為迭代中的基函數(shù)h的參數(shù)和系數(shù)。

圖10所示為構(gòu)建GBDT的框架。

對特征數(shù)據(jù)遍歷，使用直方圖算法得到容器內(nèi)離散數(shù)據(jù)值累積量，劃分決策樹最優(yōu)分割點。能耗歷史數(shù)據(jù)中的噪聲部分會在真實數(shù)據(jù)值附近緩慢波動。使用MEF算法將關(guān)聯(lián)較少的特征綁定部分密集特征上，通過圖9循環(huán)迭代的方式訓(xùn)練模型。

2.2.2LSTM模型構(gòu)建

為了準(zhǔn)確地預(yù)測歷史能耗數(shù)據(jù)，對LSTM眾多參數(shù)和網(wǎng)絡(luò)方法設(shè)置，包括對學(xué)習(xí)率(Learning Rate)、梯度優(yōu)化控制等，使用梯度優(yōu)化方法Adam算法[18]：

mt=μ×mt-1+(1-μ)×gt

(25)

圖11 LSTM預(yù)測能耗數(shù)據(jù)框架

根據(jù)綜上所述，根據(jù)所設(shè)計的LSTM預(yù)測能耗的框架結(jié)構(gòu)進行訓(xùn)練，訓(xùn)練過程如下：

(1) 定義能耗原始數(shù)據(jù)序列：X={x1,x2,…,xn}。

(2) 初始化數(shù)據(jù)集，為了加快訓(xùn)練速度，使用min-max標(biāo)準(zhǔn)化方法對數(shù)據(jù)集進行標(biāo)準(zhǔn)化處理，在訓(xùn)練結(jié)束后，對預(yù)測結(jié)果進行反標(biāo)準(zhǔn)化輸出，與原始數(shù)據(jù)比較。這里使用的min-max標(biāo)準(zhǔn)化與反標(biāo)準(zhǔn)化為：

(3) 設(shè)置LSTM模型參數(shù)，根據(jù)經(jīng)驗進行初始化，設(shè)計訓(xùn)練迭代次數(shù)step，迭代次數(shù)涉及從150逐漸遞增，每次遞增步長為100，多次實驗找到最優(yōu)的迭代次數(shù)。

(4) 對數(shù)據(jù)集進行數(shù)據(jù)集劃分，將原始數(shù)據(jù)集序列劃分訓(xùn)練集、驗證集和測試集。定義{r,m,s}為訓(xùn)練集、驗證集與測試集的長度。

(5) 根據(jù)第4節(jié)特征選取，設(shè)置向前取的窗口長度L=24，模型輸入輸出為：

P=LSTMforward{Xp,Cp-1,…,Hp-1}

(32)

式中：LSTMforward表示LSTM前向傳播計算。

(6) 選取均方根誤差作為誤差計算，設(shè)定損失函數(shù)為最小化誤差。

(7) 通過不斷迭代，更新權(quán)重，得到訓(xùn)練好的LSTM模型，最終應(yīng)用LSTM模型對原始數(shù)據(jù)進行預(yù)測，輸出預(yù)測結(jié)果。

3 實驗與結(jié)果分析

實驗采用2018年1月1日至2019年11月30日作為訓(xùn)練數(shù)據(jù)，將訓(xùn)練數(shù)據(jù)自動劃分為6 ∶1比例的訓(xùn)練集和驗證集，使用2019年12月1日至2019年12月31日作為預(yù)測數(shù)據(jù)。根據(jù)3.1節(jié)特征處理，得到表1所示特征統(tǒng)計表。

表1 某商業(yè)建筑歷史能耗特征統(tǒng)計

為了更好地判定預(yù)測結(jié)果準(zhǔn)確度，根據(jù)文獻[19]，選取指標(biāo)函數(shù)均方根誤差(RMSE)、相對誤差(CV-RMSE)、使用平均絕對誤差(MAE)作為額外的評估指標(biāo)，可以更加準(zhǔn)確地評估組合模型預(yù)測的效果。三種評估指標(biāo)的表達式為：

使用驗證集選取模型的權(quán)重系數(shù)，計算每天數(shù)據(jù)的權(quán)重系數(shù)，最終取每種權(quán)重系數(shù)的均值作為最后的權(quán)重系數(shù)，經(jīng)過均值化的權(quán)重系數(shù)w1=0.5、w2=0.5。圖12是組合模型預(yù)測12月份小時均值，可以看出預(yù)測的效果符合節(jié)假日影響因素，在節(jié)假日時期，能耗的使用偏高。

圖12 組合模型預(yù)測結(jié)果的12月份小時均值

圖13展現(xiàn)了組合模型的預(yù)測效果，由于組合模型的真實值與預(yù)測值相差很小，所以使用了按天和周的預(yù)測數(shù)值做進一步分析，可以看出組合模型預(yù)測效果基本介于LightGBM和LSTM之間，相對有效。

(a) 建筑能耗序列模型每天預(yù)測結(jié)果

(b) 建筑能耗序列模型每周預(yù)測結(jié)果圖13 能耗預(yù)測結(jié)果

為了進一步驗證LightGBM-LSTM模型的性能，類比文獻[20]，本文選取了幾種算法做對比實驗，將所選取的模型與本文設(shè)計的LightGBM-LSTM組合模型實驗結(jié)果做對比，使用24 h的滑動窗口均值擬合，如圖14所示，LigthGBM-LSTM預(yù)測效果相對較好。

圖14 24 h滑動窗口擬合均值模型對比

指標(biāo)評估結(jié)果如表2所示，可以看出，在單項模型中，LSTM與LightGBM模型預(yù)測的誤差較小。LightGBM-LSTM組合模型的CV-RMSE誤差為3.08%，與其他各種單項模型相比相對最小，MAE的誤差指數(shù)也是最小。這表明LightGBM組合模型通過權(quán)重組合的方式，對預(yù)測精度做了提升。

表2 模型性能對比

4 結(jié) 語

分析建筑能耗使用規(guī)律和相關(guān)特征對企業(yè)節(jié)約成本、節(jié)約資源使用有著重要作用。本文依據(jù)上海某大型商業(yè)建筑歷史能源使用序列，提出一種基于LightGBM-LSTM組合模型預(yù)測的方法，構(gòu)建經(jīng)LightGBM模型與LSTM模型的方差協(xié)方差方法加權(quán)預(yù)測模型，并且與組合前單項模型以及其他幾種經(jīng)典的機器學(xué)習(xí)模型進行實驗對比。實驗結(jié)果表明，LightGBM模型與LSTM模型本身的單項模型的預(yù)測能力都高于其他模型的預(yù)測能力，經(jīng)過組合后的模型的預(yù)測性能優(yōu)于其他模型，表現(xiàn)了LightGBM對特征合并以及LSTM時間序列預(yù)測的優(yōu)越性，總體來說，通過加權(quán)方式，充分發(fā)揮了兩種模型的優(yōu)勢。

本文只設(shè)計了兩個優(yōu)勢不同的模型的組合預(yù)測，針對建筑能耗短期數(shù)據(jù)做出的預(yù)測，未來可以在此基礎(chǔ)上設(shè)計能耗長期預(yù)測的方法。后續(xù)會繼續(xù)改進LSTM模型相關(guān)實驗，選取更多的特征因子做進一步研究，尋求更優(yōu)秀的建模方式以及提升長期預(yù)測效果的方法。