基于LSTM-AdaBoost的城市住宅區(qū)負(fù)荷預(yù)測*

李龍祥，彭 晨，李 軍，王雨嫣，魯榮波

(1.吉首大學(xué)信息科學(xué)與工程學(xué)院，湖南 吉首 416000；2.吉首大學(xué)數(shù)學(xué)與統(tǒng)計學(xué)院，湖南 吉首 416000；3.懷化學(xué)院，湖南 懷化 418008)

電能是未來智慧城市發(fā)展最主要也是最重要的能源[1].準(zhǔn)確的住宅負(fù)荷預(yù)測能夠幫助電力部門合理制定生產(chǎn)調(diào)度計劃，減少電力的資源浪費[2-4]，這對于未來智慧城市的發(fā)展至關(guān)重要.目前，城市住宅區(qū)負(fù)荷預(yù)測研究方法主要分為統(tǒng)計算法和機(jī)器學(xué)習(xí)算法[5].統(tǒng)計算法主要包括自回歸積分滑動平均(Autoregressive Integral Moving Average，ARIMA)[6]、卡爾曼濾波[7]等.這些統(tǒng)計方法具有計算速度快、復(fù)雜度低的優(yōu)點，但是難以反映非線性特征的影響.機(jī)器學(xué)習(xí)算法能夠較好地處理非線性問題，因此近幾年常被應(yīng)用于負(fù)荷預(yù)測領(lǐng)域.例如，滿達(dá)等[8]設(shè)計了一種基于長短時記憶(Long Short-Time Memory，LSTM)網(wǎng)絡(luò)的預(yù)測模型，并將該模型用于高校電力負(fù)荷預(yù)測，取得了不錯的效果；王義軍等[9]通過引入粒子群算法來優(yōu)化支持向量機(jī)(Support Vector Machine，SVM)的方式，從而提高負(fù)荷預(yù)測的精度.隨著城市區(qū)域的擴(kuò)張、家用電器的多樣化發(fā)展，單一的預(yù)測方法已不能在日益復(fù)雜的負(fù)荷序列上取得令人滿意的結(jié)果.研究表明[10-13]，使用混合模型往往可以取長補短，獲得更好的預(yù)測效果.因此，筆者設(shè)計了一個將LSTM網(wǎng)絡(luò)與AdaBoost集成方法相結(jié)合的混合模型，并將它用于城市住宅區(qū)短期負(fù)荷預(yù)測.

1 基于 LSTM和集成算法的城市住宅區(qū)負(fù)荷預(yù)測模型

1.1 LSTM網(wǎng)絡(luò)

LSTM是循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)一個優(yōu)秀的變種模型.它解決了原始循環(huán)神經(jīng)網(wǎng)絡(luò)在梯度反向傳播過程中由于逐步縮減而產(chǎn)生的梯度爆炸和消散問題，成為當(dāng)前最流行的RNN，在時間序列分析[14]、語音識別[15]、自然語言處理[16]等許多領(lǐng)域中被成功應(yīng)用.LSTM的出現(xiàn)使得時序數(shù)據(jù)在特征抽取和表示上更加強大，因此被筆者選作集成模型的基學(xué)習(xí)器.

LSTM網(wǎng)絡(luò)由記憶單元Ct、輸入門it、遺忘門ft和輸出門ot四部分組成，內(nèi)部模塊結(jié)構(gòu)如圖1所示.記憶單元決定當(dāng)前時刻的狀態(tài)，輸入門和輸出門控制著進(jìn)出記憶單元的信息大小，遺忘門決定丟棄多少之前的信息.

圖1 LSTM的內(nèi)部模塊結(jié)構(gòu)

LSTM門控單元計算過程如下：

ft=σ(Wfhht-1+Wfxxt+bf)，

it=σ(Wihht-1+Wixxt+bi)，

ot=σ(Wohht-1+Woxxt+bo)

LSTM記憶單元具體計算方法為

ht=ot°tanh(Ct).

為了更進(jìn)一步提升LSTM對負(fù)荷序列的處理能力，筆者使用2層LSTM網(wǎng)絡(luò)作為基學(xué)習(xí)器，神經(jīng)元的個數(shù)通過Keras Tuner優(yōu)化確定為第1層32個，第2層160個.為了減少過擬合，在每個LSTM層之后再設(shè)置一個dropout層進(jìn)行正則化操作并使用損失函數(shù)Huber和RMSprop優(yōu)化器更新模型參數(shù).

1.2 AdaBoost集成學(xué)習(xí)算法

集成學(xué)習(xí)大致可以分為2類[17]：一類是基學(xué)習(xí)器之間必須串行生成且具有強依賴關(guān)系的boosting；另一類是可以并行生成基學(xué)習(xí)器的bagging和 “隨機(jī)森林”.

由 Yoav Freund 和 Robert Schapire 開發(fā)的自適應(yīng)提升(Adaptive Boost，AdaBoost)[18]是一種串行生成基學(xué)習(xí)器的集成算法.AdaBoost通過將多個基學(xué)習(xí)器進(jìn)行結(jié)合，?？色@得比單一的學(xué)習(xí)器更為優(yōu)越的泛化性能，且不易受到過擬合問題的影響.因此，筆者采用AdaBoost集成學(xué)習(xí)算法與LSTM網(wǎng)絡(luò)相結(jié)合的方法來對城市住宅區(qū)短期的用電量進(jìn)行預(yù)測.

1.3 LSTM-AdaBoost負(fù)荷預(yù)測模型

LSTM-AdaBoost負(fù)荷預(yù)測模型先通過AdaBoost集成算法串行訓(xùn)練多個基學(xué)習(xí)器并計算每個基學(xué)習(xí)器的權(quán)重系數(shù)，接著將各個基學(xué)習(xí)器的預(yù)測結(jié)果進(jìn)行線性組合，生成最終的預(yù)測結(jié)果.

LSTM-AdaBoost模型算法流程如下：

輸入：訓(xùn)練集D={(x1,y1),(x2,y2),…,(xi,yi),…,(xm,ym)};

基學(xué)習(xí)器LSTM;

基學(xué)習(xí)器數(shù)量T.

過程：

1.初始化d1=(w11,w12,…,w1i,…,w1m),w1i=1/m,i=1,2,…,m∥初始化訓(xùn)練集權(quán)值

2.fort= 1 toT

3.kt=LSTM(D,dt) ∥使用權(quán)值分布為dt的訓(xùn)練集D訓(xùn)練基學(xué)習(xí)器kt

4.Et=|yi-kt(xi)| ∥計算訓(xùn)練集上的樣本最大誤差

9.end for

首先，將訓(xùn)練集的權(quán)值初始化并設(shè)置基學(xué)習(xí)器數(shù)量為T；接著，將訓(xùn)練集輸入到LSTM網(wǎng)絡(luò)中進(jìn)行第一輪訓(xùn)練并計算出樣本的相對誤差eti、LSTM網(wǎng)絡(luò)的回歸誤差率εt及基學(xué)習(xí)器的權(quán)值系數(shù)αt；最后，通過eti和εt更新下一輪訓(xùn)練的數(shù)據(jù)集權(quán)值，并將更新后的數(shù)據(jù)集輸入到下一個LSTM網(wǎng)絡(luò)進(jìn)行學(xué)習(xí).從更新公式可知，在當(dāng)前輪中預(yù)測錯誤的樣本權(quán)值在下一輪訓(xùn)練中會增大，因此下一個LSTM網(wǎng)絡(luò)會更多的關(guān)注權(quán)值大的樣本.重復(fù)上述訓(xùn)練過程，直至基學(xué)習(xí)器的數(shù)量達(dá)到預(yù)先設(shè)定值T，最后對計算出權(quán)值系數(shù)的所有基學(xué)習(xí)器進(jìn)行線性組合就得到了集成模型LSTM-AdaBoost.

2 實驗部分

2.1 實驗數(shù)據(jù)集

實驗采用的是麻省理工大學(xué)提供的公寓數(shù)據(jù)集，該數(shù)據(jù)集以分鐘為頻率記錄了2014到2016年114個單戶公寓的用電情況，并包含了當(dāng)?shù)剡@3年的天氣數(shù)據(jù).其中天氣數(shù)據(jù)包括溫度、室內(nèi)溫度、露點、濕度、壓力、風(fēng)速等14個氣候特征.考慮到人類活動對住宅用電量的影響，周類型及白天、黑夜2個特征被編碼添加到原始數(shù)據(jù)集中.筆者以15 min的頻率重采樣數(shù)據(jù)集，以114個單戶公寓總計用電量作為預(yù)測目標(biāo).數(shù)據(jù)集中某些公寓的缺失值以同一時刻其他所有公寓負(fù)荷數(shù)據(jù)的均值進(jìn)行填補.訓(xùn)練集、驗證集、測試集的大小分別為4，1，1個月.

2.2 特征選取

盲目構(gòu)建模型輸入特征空間可能會導(dǎo)致數(shù)據(jù)利用效率降低，因此筆者使用Pearson相關(guān)系數(shù)和最大信息系數(shù)(Maximal Information Coefficient，MIC)來探索歷史負(fù)荷數(shù)據(jù)與其他外部變量之間的相關(guān)性.首先以Pearson相關(guān)系數(shù)分析歷史負(fù)荷與溫度、濕度等外部變量之間的線性相關(guān)程度的強弱，再使用MIC檢測輸入變量之間的非線性相關(guān)性.通過綜合使用Pearson相關(guān)系數(shù)與MIC來剔除不相干或冗余的特征，從而提高模型計算效率及預(yù)測精確度.

氣溫是進(jìn)行負(fù)荷預(yù)測時常用的輸入特征之一[19-21]，這是因為人們對冷熱的感受會影響住戶對空調(diào)等一些大功率電器的使用情況.因此，天氣的冷熱和城市住宅區(qū)的用電量是息息相關(guān)的.露點(空氣中的水蒸氣凝結(jié)成水珠的溫度)、室內(nèi)溫度、溫度都是表示天氣溫度高低的數(shù)據(jù)類型，在進(jìn)行變量的相關(guān)性分析過程中，三者之間展現(xiàn)出較強的相關(guān)性.為避免特征冗余，選取最恰當(dāng)?shù)奶卣髯鳛槟Ｐ偷妮斎?，筆者分析了室內(nèi)溫度、溫度及露點各自與歷史負(fù)荷的相關(guān)性，結(jié)果見表1.

表1 相關(guān)性結(jié)果

由表1可知，露點與歷史負(fù)荷的相關(guān)性要比溫度及室內(nèi)溫度強，這說明露點相較而言更能反映居民對家用電器的使用情況.最后結(jié)合2種相關(guān)性分析的結(jié)果，露點、濕度、周類型與歷史負(fù)荷等特征被用作模型的輸入.

2.3 評價指標(biāo)

為了評估LSTM-AdaBoost集成模型的預(yù)測準(zhǔn)確性，筆者采用了3個常用的評價指標(biāo)，平均絕對百分比誤差(Mean Absolute Percentage Error，MAPE，用ηMAPE表示)、平均絕對誤差(Mean Absolute Error,MAE，用ηMAE表示)和均方誤差(Mean Square Error，MSE，用ηMSE表示)，計算公式如下：

2.4 實驗結(jié)果與討論

本研究使用Scikit-Learn包來搭建集成學(xué)習(xí)框架，使用Tensorflow深度學(xué)習(xí)框架進(jìn)行LSTM網(wǎng)絡(luò)層的搭建，在Google Colaboratory平臺上進(jìn)行實驗分析.時間窗口的大小設(shè)置為1 d的采樣值即96，步長為1.特征矩陣在輸入到模型前先進(jìn)行標(biāo)準(zhǔn)化處理，從而消除由于量綱不同所引起的誤差.

為了驗證LSTM-AdaBoost集成模型的優(yōu)越性，以LSTM、SVM、CART決策樹、線性回歸(Linear Regression，LR)和K近鄰法(K-Nearest Neighbor, KNN)作為基準(zhǔn)模型，以MAPE、MSE和MAE作為評價模型優(yōu)劣的指標(biāo)，模型性能比較見表2.

表2 模型性能比較

從表2可以看出，LSTM網(wǎng)絡(luò)的各項指標(biāo)數(shù)值相較于其他基準(zhǔn)模型均有顯著降低，這說明LSTM網(wǎng)絡(luò)對時間序列處理的能力是值得肯定的.因此，筆者采用LSTM網(wǎng)絡(luò)作為集成算法的基學(xué)習(xí)器是合理的.

圖2展示了LSTM網(wǎng)絡(luò)與LSTM-AdaBoost集成模型的預(yù)測結(jié)果.

圖2 LSTM網(wǎng)絡(luò)與LSTM-AdaBoost集成模型的預(yù)測結(jié)果

由圖2可以看出，LSTM-AdaBoost集成模型與LSTM網(wǎng)絡(luò)在預(yù)測整體趨勢方面兩者相差不大，但是在細(xì)節(jié)波動的預(yù)測上LSTM-AdaBoost集成模型的表現(xiàn)更好，這說明LSTM-AdaBoost集成模型對負(fù)荷曲線的擬合效果更好.通過對比LSTM網(wǎng)絡(luò)與LSTM-AdaBoost集成模型的評價指標(biāo)可以看出，集成算法的使用使對城市住宅區(qū)的用電量預(yù)測能力得到進(jìn)一步提升.通過對比其他幾種單一預(yù)測模型與LSTM-AdaBoost集成模型可以看出，混合方法的使用使模型對城市住宅區(qū)的用電量預(yù)測更精確.

3 結(jié)語

筆者提出了一種LSTM-AdaBoost集成模型用來預(yù)測城市住宅區(qū)短期的電力需求，此模型旨在利用不同參數(shù)優(yōu)化的基學(xué)習(xí)器來降低陷入局部最優(yōu)的可能性，以求更準(zhǔn)確地擬合負(fù)荷曲線的波動.集成方法與LSTM網(wǎng)絡(luò)的混合使用豐富了對城市住宅區(qū)的短期負(fù)荷預(yù)測方法.在同等條件下，將LSTM-AdaBoost集成模型與LSTM、SVM、CART決策樹等單一預(yù)測模型進(jìn)行對比，結(jié)果表明，LSTM-AdaBoost集成模型在對城市住宅區(qū)進(jìn)行負(fù)荷預(yù)測時具有更高的預(yù)測精度.在之后的研究中，可以通過修改基學(xué)習(xí)器或者集成方式的方法進(jìn)一步提升模型的預(yù)測效果.