基于MI+PSO-LSTM的能耗預(yù)測(cè)模型

諶東海，王 偉，趙昊裔，明新淼

(1.長(zhǎng)江勘測(cè)規(guī)劃設(shè)計(jì)研究有限責(zé)任公司 城市規(guī)劃與建筑設(shè)計(jì)院，湖北 武漢 430010； 2.武漢科技大學(xué) 機(jī)械自動(dòng)化學(xué)院，湖北 武漢 430080)

0 引 言

隨著科技產(chǎn)品的廣泛應(yīng)用，對(duì)電力的需求目前正在全球范圍內(nèi)逐漸增大，需要對(duì)電網(wǎng)進(jìn)行控制[1]從而實(shí)現(xiàn)電力的可持續(xù)發(fā)展[2]。商業(yè)和住宅建筑占智能樓宇能耗總量的30%～40%[3]。所以對(duì)于家庭建筑和企業(yè)建筑[4]，通過能耗的預(yù)測(cè)[5]提高能耗的使用效率[6]，降低能耗[7]具有很大的現(xiàn)實(shí)意義。

鑒于此，研究人員開發(fā)了許多預(yù)測(cè)方法來改善電網(wǎng)質(zhì)量并優(yōu)化能源的使用[8]。能源消耗預(yù)測(cè)已經(jīng)被許多先進(jìn)的模型所研究，這些模型通?？梢苑譃閭鹘y(tǒng)模型[9]和基于人工智能(AI)的模型[10]。目前研究人員常常將歷史數(shù)據(jù)與AI算法[11]結(jié)合使用。比如，Jia等[12]針對(duì)大型商業(yè)建筑客戶密度較高、隨機(jī)性強(qiáng)的特點(diǎn)，采用多元線性反饋回歸模型來精確預(yù)測(cè)空調(diào)能耗，該方法在能耗預(yù)測(cè)中具有好的仿真效果，但是特征的數(shù)量是不確定的，特征的選擇是根據(jù)變量之間的顯式條件進(jìn)行選擇的。Yang等[13]提出了一種利用遞歸神經(jīng)網(wǎng)絡(luò)(RNN)估算建筑能耗的方法，該方法只使用兩層及以下的小型循環(huán)網(wǎng)絡(luò)，沒有深入探索兩層以上的深層網(wǎng)絡(luò)是否會(huì)在建筑能耗預(yù)測(cè)中表現(xiàn)更好的問題。Luo等[14]采用遺傳算法GA確定LSTM架構(gòu)的超參數(shù)包括LSTM層數(shù)、每個(gè)LSTM層中的神經(jīng)元數(shù)、每個(gè)LSTM層的丟包率和網(wǎng)絡(luò)學(xué)習(xí)率，使得LSTM的網(wǎng)絡(luò)結(jié)構(gòu)達(dá)到最優(yōu)以提高其預(yù)測(cè)精度和魯棒性。

在總結(jié)借鑒前人的研究，提出了MI+PSO-LSTM模型，首先在對(duì)數(shù)據(jù)進(jìn)行預(yù)處理時(shí)，使用互信息法(MI)[15]對(duì)原始數(shù)據(jù)的特征進(jìn)行選擇，然后采用粒子群優(yōu)化算法(PSO)[16]對(duì)長(zhǎng)短時(shí)神經(jīng)記憶網(wǎng)絡(luò)(LSTM)[17]的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行尋優(yōu)，以求得到最佳的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，最后將某建筑的歷史用電量作為時(shí)間序列進(jìn)行短期單步1 h的用電量預(yù)測(cè)。

1 相關(guān)理論和方法

1.1 LSTM長(zhǎng)短時(shí)神經(jīng)記憶網(wǎng)絡(luò)

遺忘門：根據(jù)xt和ht-1的大小控制上一單元狀態(tài)Ct-1被遺忘的程度

ft=σ(Wf·[ht-1,xt]+bf)

(1)

輸入門：根據(jù)xt和ht-1的大小控制哪些信息被加入到本單元Ct中

it=σ(Wi·[ht-1,xt]+bi)

(2)

(3)

單元狀態(tài)更新：根據(jù)ft將新信息有選擇的記錄到Ct中

(4)

輸出門：將Ct激活，并控制Ct被過濾的程度

ot=σ(Wo·[ht-1,xt]+bo)

(5)

ht=ot°tanh(Ct)

(6)

σ(x)=1/(1+e-x)

(7)

tanh(x)=(ex-e-x)/(ex+e-x)

(8)

輸出層依據(jù)式(9)將ht經(jīng)過一個(gè)全連接層(dense)得到最終預(yù)測(cè)值yt

yt=σ(Wy·ht+by)

(9)

其中，Wy，by分別為權(quán)重矩陣和偏置項(xiàng)。

LSTM通過遺忘門，控制歷史信息的傳遞，通過輸入門決定當(dāng)前信息的保留程度，然后將經(jīng)過遺忘門的舊狀態(tài)與經(jīng)過輸入門的新狀態(tài)進(jìn)行疊加，得到當(dāng)前單元狀態(tài)更新后的狀態(tài)，將更新后的狀態(tài)通過輸出門輸出。

1.2 MI互信息法

在對(duì)數(shù)據(jù)進(jìn)行預(yù)處理時(shí)，其中原始數(shù)據(jù)的選擇在一定程度上決定了模型的準(zhǔn)確性。如果可以通過選擇最有效和有用的輸入來減少輸入數(shù)據(jù)特征的數(shù)量，則預(yù)測(cè)模型會(huì)得到更好的增強(qiáng)。特征選擇方法的方法包括相關(guān)性分析[18]和數(shù)值靈敏度分析[19]等，但是這些方法都是線性的輸入選擇方法，而能耗數(shù)據(jù)則是非線性的。因此，互信息特征選擇方法將更加有效[20]，此方法計(jì)算輸入和輸出數(shù)據(jù)相關(guān)性的效率是很高的[21]。

互信息(mutual information，MI)，表示兩個(gè)變量X與Y之間的相互依賴性。

X，Y之間的互信息I(X;Y) 定義為

(10)

其中，p(x,y) 是聯(lián)合概率密度函數(shù)，p(x),p(y) 分別為x,y的邊緣概率密度函數(shù)。MI是用來評(píng)價(jià)一個(gè)事件的出現(xiàn)對(duì)于另一個(gè)事件的出現(xiàn)所貢獻(xiàn)的信息量[22]。MI互信息法通過計(jì)算所有特征與目標(biāo)特征的互信息度量，然后進(jìn)行排序，選取K個(gè)MI最高的特征，從而達(dá)到特征選擇的目的。

2 系統(tǒng)模型設(shè)計(jì)

LSTM是一種深度學(xué)習(xí)模型，可以有效地處理較長(zhǎng)的時(shí)間序列并自動(dòng)學(xué)習(xí)數(shù)據(jù)并挖掘更深層次的功能。但是與其它神經(jīng)網(wǎng)絡(luò)模型類似，LSTM神經(jīng)網(wǎng)絡(luò)模型中部分超參數(shù)的設(shè)置，往往依賴研究者的經(jīng)驗(yàn)，這樣的模型缺乏科學(xué)嚴(yán)謹(jǐn)性。為了使LSTM模型的預(yù)測(cè)效果達(dá)到最優(yōu)，采用粒子群優(yōu)化(PSO)算法對(duì)LSTM模型進(jìn)行優(yōu)化。PSO的優(yōu)勢(shì)在于簡(jiǎn)單容易實(shí)現(xiàn)，PSO解決方案提供了更快的收斂速度，并且沒有許多參數(shù)需要調(diào)整。遺傳算法和蟻群算法等不具備這種引導(dǎo)機(jī)制。

2.1 PSO粒子群優(yōu)化算法

粒子群算法的基本思想：一群鳥在一定的區(qū)域內(nèi)隨機(jī)飛往某處搜索食物，所有的鳥僅知道自己與食物的距離和其它鳥的位置信息。每一只鳥在離開當(dāng)前所在位置飛往其它位置時(shí)，會(huì)依賴于下列信息：目前離食物最近的鳥的周圍區(qū)域、根據(jù)自己飛行的經(jīng)驗(yàn)判斷食物的所在。

PSO初始化的狀態(tài)為一群隨機(jī)生成的粒子。然后通過迭代改變粒子的位置從而找到最優(yōu)解。在每一次的迭代中，粒子通過比較當(dāng)前粒子與兩個(gè)“極值”(局部最優(yōu)解pbest，全局最優(yōu)解gbest)來改變粒子的速度和位置，從而達(dá)到更新粒子的目的。在找到這兩個(gè)最優(yōu)值后，粒子通過下面的公式來更新自己的速度和位置

vi=vi+c1×rand()×(pbesti-xi)+c2×rand()×(gbesti-xi)

(11)

xi=xi+vi

(12)

其中，i=1，2，…，N，N是粒子群的粒子總數(shù)。vi為i粒子的當(dāng)前速度；rand()為介于(0，1)之間的隨機(jī)數(shù)；xi為i粒子的當(dāng)前位置；c1和c2為學(xué)習(xí)因子；pbesti和gbesti分別是當(dāng)前粒子群局部最優(yōu)位置和全局最優(yōu)位置。

2.2 LSTM的超參數(shù)

網(wǎng)絡(luò)層數(shù)并不是越多越好，如果設(shè)計(jì)的淺層(3層到5層)網(wǎng)絡(luò)沒有學(xué)習(xí)任何特征，那么設(shè)計(jì)的超深(如100層)網(wǎng)絡(luò)也會(huì)沒有效果，甚至更加糟糕。隱藏單元太多或者太少，都會(huì)導(dǎo)致網(wǎng)絡(luò)難以訓(xùn)練。LSTM隱藏層神經(jīng)元個(gè)數(shù)units是非常重要的，若units過小，LSTM網(wǎng)絡(luò)性能會(huì)很差甚至LSTM可能根本不能訓(xùn)練。增加units的大小在降低模型預(yù)測(cè)的誤差的同時(shí)，也會(huì)增加網(wǎng)絡(luò)的復(fù)雜度，從而增加網(wǎng)絡(luò)的訓(xùn)練時(shí)間。若units過大，會(huì)導(dǎo)致網(wǎng)絡(luò)緩慢、難以訓(xùn)練，殘留噪聲難以消除，從而導(dǎo)致LSTM訓(xùn)練容易陷入局部極小值點(diǎn)甚至出現(xiàn)“過擬合”。

權(quán)重正則化可以減少LSTM“過擬合”訓(xùn)練的風(fēng)險(xiǎn)。當(dāng)dropout很小時(shí)，懲罰項(xiàng)值不大，還是會(huì)出現(xiàn)過擬合現(xiàn)象，當(dāng)dropout的值逐漸調(diào)大時(shí)，會(huì)逐漸抑制過擬合現(xiàn)象的發(fā)生，但是當(dāng)dropout的值超過一個(gè)閾值時(shí)，就會(huì)出現(xiàn)欠擬合現(xiàn)象，因?yàn)槠鋺土P項(xiàng)太大，導(dǎo)致丟失太多的特征。dropout選擇合適的大小，權(quán)重衰減會(huì)抑制靜態(tài)噪聲對(duì)目標(biāo)的某些影響。所以選擇的dropout值至關(guān)重要。

除了上述兩個(gè)參數(shù)對(duì)LSTM模型影響很大之外，批處理大小batchsize的選擇不可或缺。批處理大小為batchsize意味著在更新模型權(quán)重之前，將使用訓(xùn)練數(shù)據(jù)集中的batchsize個(gè)樣本來估計(jì)誤差梯度。小批量通常會(huì)導(dǎo)致快速學(xué)習(xí)，但學(xué)習(xí)過程不穩(wěn)定，并且分類精度差異較大。較大的批次大小會(huì)減慢學(xué)習(xí)過程。若LSTM網(wǎng)絡(luò)中存在批歸一化，batchsize過小則更難以收斂，甚至垮掉。這是因?yàn)閿?shù)據(jù)樣本越少，統(tǒng)計(jì)量越不具有代表性，噪聲也相應(yīng)的增加。而過大的batchsize，會(huì)使得梯度方向基本穩(wěn)定，容易陷入局部最優(yōu)解，降低精度。

所以將units、dropout、batchsize作為L(zhǎng)STM的超參數(shù)優(yōu)化目標(biāo)，使用PSO算法得到最優(yōu)解，使得LSTM模型在短期能耗預(yù)測(cè)中達(dá)到最優(yōu)的預(yù)測(cè)精度。

2.3 MI+PSO-LSTM模型結(jié)構(gòu)

用電量作為時(shí)間序列，其具有復(fù)雜的不確定性。為了準(zhǔn)確地預(yù)測(cè)建筑的用電量，將在時(shí)間序列分析預(yù)測(cè)中有良好表現(xiàn)的LSTM模型作為基礎(chǔ)模型，構(gòu)建建筑用電量預(yù)測(cè)模型。由于時(shí)間序列的復(fù)雜性，如果分析的特性不足，會(huì)無法達(dá)到預(yù)期的預(yù)測(cè)效果，但如果分析所有特征，毫無疑問將會(huì)大幅度提升模型搭建的難度和模型的運(yùn)行時(shí)間，造成模型性能大幅度下降。MI互信息法能盡可能地保留有用的信息，在保證模型預(yù)測(cè)精度的同時(shí)能減少模型搭建的復(fù)雜度。PSO優(yōu)化算法能夠科學(xué)處理全局優(yōu)化問題，有效地解決LSTM因參數(shù)設(shè)置不當(dāng)導(dǎo)致模型效果不佳的問題。

基于MI互信息法和PSO優(yōu)化算法與LSTM結(jié)合，提出了一種建筑能耗短期預(yù)測(cè)組合模型MI+PSO-LSTM，模型結(jié)構(gòu)如圖2所示。

組合模型算法流程如下：

步驟1 對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理，然后進(jìn)行平滑處理形成480個(gè)特征分量。

步驟2 計(jì)算步驟1中480個(gè)特征分量與預(yù)測(cè)分量的MI值，選取MI權(quán)重前60個(gè)的特征分量構(gòu)成新的數(shù)據(jù)集。

步驟3 將步驟2中80%的數(shù)據(jù)集作為訓(xùn)練集，剩下的數(shù)據(jù)作為測(cè)試集。

步驟4 初始化相關(guān)參數(shù)，設(shè)置以下參數(shù)的范圍，units∈[20,300]，dropout∈[0,1]，batchsize∈[20,300]。

步驟5 在初始范圍內(nèi)，對(duì)粒子群(20個(gè)粒子)隨機(jī)初始化，根據(jù)fitness function(LSTM模型擬合結(jié)果)，計(jì)算每個(gè)粒子的適應(yīng)值(平均絕對(duì)誤差MAE)，根據(jù)當(dāng)前每個(gè)粒子的MAE確定這次迭代的粒子群的最優(yōu)位置(pbest)以及歷史粒子種群的最佳方位(gbest)。

步驟6 根據(jù)最優(yōu)粒子的位置和速度以及式(11)和式(12)，對(duì)當(dāng)前粒子的位置和速度進(jìn)行更新，將更新后的粒子通過LSTM模型擬合后，計(jì)算每個(gè)粒子的MAE，根據(jù)MAE更新pbest和gbest；

步驟7 當(dāng)最優(yōu)粒子的適應(yīng)度值不再變化或者迭代次數(shù)達(dá)到上限值即認(rèn)為此時(shí)算法已經(jīng)達(dá)到收斂；若粒子未收斂，則返回步驟3。

步驟8 將得到的最優(yōu)粒子參數(shù)代入到LSTM模型中，對(duì)步驟3中的數(shù)據(jù)進(jìn)行預(yù)測(cè)分析，得到最終的結(jié)果。

3 實(shí)驗(yàn)結(jié)果及結(jié)論

3.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)所用數(shù)據(jù)集為某建筑2019年10月15日至2019年6月4日的用電量，該數(shù)據(jù)集一共20個(gè)特征。這些特征的描述見表1。

表1 數(shù)據(jù)集說明

本文使用前24小時(shí)的數(shù)據(jù)預(yù)測(cè)下一小時(shí)Gi的值，故使用滑動(dòng)窗口將24小時(shí)的20個(gè)特征的數(shù)據(jù)形成480個(gè)特征分量。然后使用MI互信息法選擇使用滑動(dòng)窗口法形成的480個(gè)特征分量中MI值最大的前60維特征。選擇結(jié)果見表2。

其中，選擇的特征例如Gi(t-1) 表示，以當(dāng)前時(shí)間為基準(zhǔn)前一小時(shí)從工業(yè)廠房公共電網(wǎng)中輸入。MI值為當(dāng)前特征分量X與以當(dāng)前時(shí)間為基準(zhǔn)的Gi分量(即I(X;Gi(t)) 的互信息值大小。由表2可知前4小時(shí)的大部分特征與當(dāng)前時(shí)刻的Gi特征的互信息值較大，Gi、Ao、Co、A2前24個(gè)小時(shí)的特征與當(dāng)前時(shí)刻的Gi特征的互信息值也相對(duì)較大。MI減少了87.5%的多余特征，對(duì)提高模型算法效率起到了很好的作用。

3.2 評(píng)價(jià)指標(biāo)

使用4種評(píng)價(jià)指標(biāo)來評(píng)判模型的好壞程度。

均方根誤差：RMSE，數(shù)值越小，表示模型擬合效果越好

(13)

平均絕對(duì)誤差：MAE，數(shù)值越小，表示模型擬合效果越好

(14)

對(duì)稱平均絕對(duì)百分比誤差：SMAPE，數(shù)值越小，表示模型擬合效果越好

(15)

可決系數(shù)：R2，數(shù)值越大，表示模型擬合效果越好

(16)

3.3 模型參數(shù)設(shè)置

為了驗(yàn)證提出MI+PSO-LSTM組合模型的預(yù)測(cè)效果，本節(jié)采用表3中的兩組5個(gè)實(shí)驗(yàn)?zāi)Ｐ妥鰧?shí)驗(yàn)對(duì)比，模型的主要參數(shù)見表4、表5。

3.4 模型實(shí)驗(yàn)數(shù)據(jù)分析

3.4.1 基礎(chǔ)模型實(shí)驗(yàn)結(jié)果分析

本節(jié)表3的基礎(chǔ)模型M1～M3，通過特征1～20對(duì)公共電網(wǎng)輸入總電量Gi，進(jìn)行單步預(yù)測(cè)實(shí)驗(yàn)對(duì)比。

實(shí)驗(yàn)對(duì)比結(jié)果(表6)中，從可決系數(shù)、均方根誤差、對(duì)稱平均絕對(duì)百分比誤差這3個(gè)模型預(yù)測(cè)評(píng)價(jià)指標(biāo)中均可看出LSTM模型預(yù)測(cè)結(jié)果最好。

ARMA、K近鄰和LSTM預(yù)測(cè)1 h用電量的預(yù)測(cè)結(jié)果與真實(shí)值的比對(duì)如圖3和圖4所示。由圖3和圖4可以看出LSTM模型預(yù)測(cè)的趨勢(shì)與真實(shí)值最接近，且僅有LSTM

表2 MI選擇的特征

表3 實(shí)驗(yàn)對(duì)比基準(zhǔn)模型

表4 對(duì)比模型主要參數(shù)1

表5 對(duì)比模型主要參數(shù)2

表6 基礎(chǔ)模型實(shí)驗(yàn)對(duì)比

模型在原始值的置信區(qū)間里。ARIMA與K近鄰模型預(yù)測(cè)的結(jié)果曲線既不在真實(shí)值的置信區(qū)間內(nèi)，又存在預(yù)測(cè)滯后問題。綜上對(duì)比于ARMA、K近鄰回歸模型，LSTM模型的預(yù)測(cè)效果是最佳的。所以選擇LSTM作為實(shí)驗(yàn)基礎(chǔ)模型。

3.4.2 LSTM組合模型實(shí)驗(yàn)結(jié)果分析

本節(jié)采用表3的組合模型M3～M5，通過特征1～20對(duì)公共電網(wǎng)輸入總電量Gi，進(jìn)行了20組單步預(yù)測(cè)對(duì)比實(shí)驗(yàn)。

3種模型預(yù)測(cè)1 h用電量Gi的預(yù)測(cè)結(jié)果與真實(shí)值的比對(duì)如圖5和圖6所示。由圖5和圖6可以看出3個(gè)模型的預(yù)測(cè)值基本處于真實(shí)值的置信區(qū)間內(nèi)，而且MI+PSO-LSTM模型預(yù)測(cè)的趨勢(shì)與真實(shí)值最接近。從圖7可以看出，MI+PSO-LSTM模型的各項(xiàng)評(píng)價(jià)指標(biāo)均為最優(yōu)。

表7給出了3種組合模型20組實(shí)驗(yàn)結(jié)果的平均值，前4列為預(yù)測(cè)模型的4種評(píng)價(jià)指標(biāo)，第五列為預(yù)測(cè)模型的訓(xùn)練時(shí)間。從表7中可以看出，對(duì)比于LSTM和MI+LSTM模型，MI+PSO-LSTM模型在R2上提高并不明顯，但是在MAE、SMAPE上性能分別提高了20%和10%左右。對(duì)比于LSTM模型，MI+LSTM的性能并沒有顯著提升，但是通過MI選擇特征之后，輸入數(shù)據(jù)的維數(shù)減少了87.5%，使模型訓(xùn)練時(shí)間減少了約63%。

表7 組合模型評(píng)價(jià)指標(biāo)對(duì)比

圖7是M3～M5的20組實(shí)驗(yàn)4項(xiàng)評(píng)價(jià)指標(biāo)的箱線圖。圖中不在箱子形狀內(nèi)的“+”符號(hào)為異常值(可以忽略不計(jì))。從圖7中可以看出，MI+PSO-LSTM模型的4項(xiàng)評(píng)價(jià)指標(biāo)明顯優(yōu)于其它兩種模型，且MI+PSO-LSTM模型每次的MAE和SMAPE均優(yōu)于其它模型的所有結(jié)果，而MI+PSO-LSTM模型每次的R2和RMSE也有95%左右的數(shù)據(jù)優(yōu)于其它模型。而MI+LSTM的4項(xiàng)評(píng)價(jià)指標(biāo)與LSTM雖然有部分重合，但是MI+LSTM總體趨勢(shì)上是優(yōu)于LSTM模型的。從圖7中可以看出，對(duì)比于LSTM模型與MI+LSTM模型，MI+PSO-LSTM模型的箱線圖形狀(上下四分位數(shù)差值)最小，這說明MI+PSO-LSTM模型比其它模型更為穩(wěn)定。

綜上所述，MI+PSO-LSTM模型所有評(píng)價(jià)指標(biāo)均為最優(yōu)。

4 結(jié)束語

本文提出了一種基于MI、PSO、LSTM的短期能耗組合預(yù)測(cè)模型。首先，在數(shù)據(jù)預(yù)處理階段，使用互信息法對(duì)原始數(shù)據(jù)進(jìn)行特征選擇，刪除冗余特征。然后使用PSO對(duì)LSTM的網(wǎng)絡(luò)架構(gòu)進(jìn)行匹配化尋優(yōu)，使得LSTM的拓?fù)浣Y(jié)構(gòu)與當(dāng)前輸入數(shù)據(jù)適配性達(dá)到最好，最后將特征選擇后的數(shù)據(jù)輸入到優(yōu)化好的LSTM中，對(duì)能耗數(shù)據(jù)進(jìn)行短期預(yù)測(cè)。為了驗(yàn)證MI+PSO-LSTM模型在短期能耗預(yù)測(cè)上的效果，對(duì)某建筑的能耗時(shí)間序列數(shù)據(jù)集進(jìn)行了多維單步預(yù)測(cè)對(duì)比實(shí)驗(yàn)。綜合上述實(shí)驗(yàn)的結(jié)果表明，MI+PSO-LSTM組合模型的4種評(píng)價(jià)指標(biāo)均為最優(yōu)，即說明MI+PSO-LSTM模型具有更高的預(yù)測(cè)精度和魯棒性以及更為穩(wěn)定的預(yù)測(cè)性能。MI+PSO-LSTM組合模型可以為利用深度學(xué)習(xí)探索時(shí)間序列的預(yù)測(cè)分析方面提供一個(gè)有益的研究思路。然而，MI+PSO-LSTM組合模型仍有很大的優(yōu)化空間，例如研究時(shí)間序列的噪聲過濾問題和特征動(dòng)態(tài)智能選擇問題，從而進(jìn)一步優(yōu)化模型預(yù)測(cè)精度。