基于深度學(xué)習(xí)的熱負(fù)荷預(yù)測(cè)研究

孫玉芝,杜向?qū)?/p>

(山東公用熱電集團(tuán)有限公司，山東 濟(jì)寧 272100)

0 引言

短期預(yù)測(cè)在能源領(lǐng)域得到了廣泛的應(yīng)用，如電力負(fù)荷預(yù)測(cè)[1]、熱負(fù)荷預(yù)測(cè)[2]等。

熱負(fù)荷預(yù)測(cè)是準(zhǔn)確指導(dǎo)供熱運(yùn)行管理和供熱調(diào)度的前提，不但可以提高集中供熱系統(tǒng)的穩(wěn)定性和生產(chǎn)效率，而且能降低運(yùn)行成本[3-4]。早期已有大量研究利用傳統(tǒng)的機(jī)器學(xué)習(xí)方法[5-7]解決短期熱負(fù)荷預(yù)測(cè)問題，如線性回歸、支持向量機(jī)(support vector machine，SVM)、人工神經(jīng)網(wǎng)絡(luò)等。然而，傳統(tǒng)機(jī)器學(xué)習(xí)方法存在容易過擬合、模型魯棒性低等缺點(diǎn)。隨著近期深度學(xué)習(xí)技術(shù)飛速發(fā)展，已有大量學(xué)者將該技術(shù)引入熱負(fù)荷預(yù)測(cè)[8-11]領(lǐng)域。然而，供暖季節(jié)性明顯、數(shù)據(jù)存在跳躍現(xiàn)象(第二年氣候變化)，導(dǎo)致現(xiàn)有模型預(yù)測(cè)性能不高。此外，熱負(fù)荷預(yù)測(cè)對(duì)天氣條件非常敏感，尤其是溫度，對(duì)供暖有重大影響。

考慮到上述問題，本文提出了一種混合熱負(fù)荷預(yù)測(cè)模型。該模型基于天氣信息和歷史負(fù)荷數(shù)據(jù)對(duì)短期熱負(fù)荷進(jìn)行預(yù)測(cè)，從而進(jìn)一步提高供暖服務(wù)質(zhì)量，助力資源的合理分配。

1 基于深度學(xué)習(xí)的熱負(fù)荷預(yù)測(cè)模型

考慮到天氣預(yù)報(bào)信息為一種典型的時(shí)間序列預(yù)測(cè)數(shù)據(jù)，本研究使用長(zhǎng)短期記憶(long short-term memory,LSTM)作為熱負(fù)荷預(yù)測(cè)的基礎(chǔ)骨干網(wǎng)絡(luò)。首先，本文設(shè)計(jì)了一種基于LSTM單元結(jié)構(gòu)來構(gòu)造遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)的模型，從而解決了梯度爆炸和梯度消失的問題。一般情況下，梯度爆炸和梯度消失主要是由于網(wǎng)絡(luò)層數(shù)過深、損失函數(shù)設(shè)置不合理或參數(shù)初始化等問題而導(dǎo)致的。本研究提出的熱負(fù)荷預(yù)測(cè)基本模型包含兩個(gè)堆疊的LSTM層和一個(gè)線性輸出層。其中，前一個(gè)LSTM層的輸出作為第二個(gè)LSTM層的輸入。這樣，通過復(fù)雜的多層LSTM進(jìn)行記憶，可以確保梯度不易消失。此外，通過設(shè)置合理的激活函數(shù)，可抑制梯度爆炸和梯度消失。以下對(duì)模型結(jié)構(gòu)進(jìn)行詳細(xì)介紹。

對(duì)于普通RNN單元，隱藏狀態(tài)的計(jì)算方法為：

ht=tanh(Wihxt+bih+Whhht-1+bhh)

(1)

式中：ht為t時(shí)的隱藏狀態(tài),ht∈Rh;xt為 輸入，xt∈Rd；Wih∈Rh×d;Whh∈Rh×h;bih、bhh為可訓(xùn)練的參數(shù),bih、bhh∈Rh； tanh(·)為激活函數(shù)。

LSTM單元比較復(fù)雜，除了隱藏狀態(tài)ht，還使用一個(gè)單元狀態(tài)ct來描述記憶。目前，LSTM單元有許多變體。本文采用的LSTM基本模型如圖1所示。

圖1 LSTM基本模型

it=σ(Wiixt+bii+Whiht-1+bhi)

(2)

式中：it為輸入門；Wii和Whi分別為輸入門輸入向量和隱藏狀態(tài)的可訓(xùn)練權(quán)重；bii和bhi分別為輸入門輸入向量和隱藏狀態(tài)的偏差；σ(·)為sigmoid激活函數(shù)。

ft=σ(Wifxt+bif+Whfht-1+bhf)

(3)

式中：ft為遺忘門；Wif和Whf分別為遺忘門輸入向量和隱藏狀態(tài)的可訓(xùn)練權(quán)重；bif和fhf分別為遺忘門輸入向量和隱藏狀態(tài)的偏差。

gt=tanh(Wigxt+big+Whght-1+bhg)

(4)

式中：gt為單元門；Wig和Whg分別為單元門輸入向量和隱藏狀態(tài)的可訓(xùn)練權(quán)重；big和bhg分別為單元門輸入向量和隱藏狀態(tài)的偏差。

ot=σ(Wioxt+bio+Whoht-1+bho)

(5)

式中：ot為輸出門；Wio和Who分別為輸出門輸入向量和隱藏狀態(tài)的可訓(xùn)練權(quán)重；bio和bho分別為輸出門輸入向量和隱藏狀態(tài)的偏差。

ct=fc×ct-1+it×gt

(6)

式中：ct為細(xì)胞態(tài),ct∈Rh；× 為求取阿達(dá)瑪積。

ht=ot×tanh(ct)

(7)

網(wǎng)絡(luò)輸入為歷史天氣預(yù)報(bào)和熱負(fù)荷數(shù)據(jù)。數(shù)據(jù)為五維向量，分別對(duì)應(yīng)溫度、壓力、風(fēng)速、濕度以及歷史熱負(fù)荷。輸出對(duì)應(yīng)于第二天的預(yù)測(cè)熱負(fù)荷。此外，為簡(jiǎn)化計(jì)算過程，本文假設(shè)一周前的數(shù)據(jù)對(duì)預(yù)測(cè)幾乎沒有影響。

熱負(fù)荷預(yù)測(cè)基本模型如圖2所示。

圖2 熱負(fù)荷預(yù)測(cè)基本模型

2 優(yōu)化策略

2.1 平滑預(yù)處理

雖然LSTM在處理非平穩(wěn)時(shí)間序列數(shù)據(jù)方面表現(xiàn)良好，然而供暖季節(jié)在每年的3月中旬結(jié)束，并且在每個(gè)供暖季的最后一個(gè)月，供暖負(fù)荷隨著供暖設(shè)備逐漸關(guān)閉而急劇下降。這種模式每年只發(fā)生一次，持續(xù)1～2周。這為學(xué)習(xí)過程帶來一定困難。為此，本文研究對(duì)數(shù)據(jù)進(jìn)行一定的預(yù)處理，從而提高基礎(chǔ)模型訓(xùn)練性能。

實(shí)際情況下，熱負(fù)荷數(shù)據(jù)非常復(fù)雜，因此適當(dāng)?shù)钠交幚砜梢允鼓Ｐ透菀撞蹲骄植刻卣骱椭饕厔?shì)。令熱負(fù)荷通過大小為b的滑動(dòng)窗口進(jìn)行平滑處理。處理后，每個(gè)數(shù)據(jù)點(diǎn)都將被前一時(shí)間實(shí)例(包括其自身)中超過b個(gè)連續(xù)數(shù)據(jù)點(diǎn)的平均值所取代。因此，對(duì)于t個(gè)時(shí)間步，平滑操作計(jì)算如式(8)所示。

(8)

式中：Yt-1為第(t-1)個(gè)時(shí)間步時(shí)未處理的熱負(fù)荷數(shù)據(jù)；b為滑動(dòng)窗口的大小(取b=15 )。

2.2 局部重縮放

原始數(shù)據(jù)的屬性具有不同的比例和分布，在輸入模型前需要作適當(dāng)?shù)谋壤{(diào)整，否則會(huì)導(dǎo)致訓(xùn)練的收斂速度較慢，使訓(xùn)練模型的性能變差。因此，在保留數(shù)據(jù)的統(tǒng)計(jì)特征的同時(shí)，本文基于最小-最大縮放將所有特征轉(zhuǎn)換為固定范圍[m,M]。對(duì)于給定的時(shí)間序列 {xi}，數(shù)據(jù)重縮放計(jì)算如式(9)～式(10)所示。

x′i=sx(xi-xmin)+m

(9)

式中：xmin為時(shí)間序列{xi}的最小值；x′i為縮放后的數(shù)據(jù)。

(10)

式中：xmax為時(shí)間序列 {xi}的最大值。

2.3 噪聲處理

為進(jìn)一步提高模型泛化能力和魯棒性，本文在兩個(gè)LSTM單元中每個(gè)時(shí)間步長(zhǎng)之間的隱藏狀態(tài)添加高斯噪聲，從而確保模型能夠抵抗輸入數(shù)據(jù)的擾動(dòng)。

(11)

式中：N(0,1)為均值為0、方差為1的高斯噪聲；γ為可調(diào)參數(shù)。

2.4 損失函數(shù)

一般情況下，網(wǎng)絡(luò)訓(xùn)練采用測(cè)量預(yù)測(cè)輸出的絕對(duì)誤差作為損失函數(shù)[12]。損失函數(shù)的計(jì)算如式(12)所示。

(12)

然而，在局部重縮放下，由于應(yīng)用了不同的重縮放函數(shù)，每個(gè)數(shù)據(jù)鏈上的絕對(duì)誤差各不相同。這會(huì)影響預(yù)測(cè)精度。為了解決這個(gè)問題，本文引入了加權(quán)損失，從而有助于糾正樣本權(quán)重的差異。加權(quán)損失計(jì)算如式(13)～式(15)所示。

(13)

(14)

(15)

此外，對(duì)于第i個(gè)數(shù)據(jù)鏈，第t個(gè)時(shí)間步的熱負(fù)荷計(jì)算如式(16)～式(18)所示。

Y′it=siYit+di

(16)

(17)

(18)

因此，縮放前的絕對(duì)誤差計(jì)算如式(19)所示。

(19)

需要注意的是，即使在原始尺度上，不同樣本的絕對(duì)誤差仍然不具有同等的重要性?？紤]到誤差率為評(píng)估結(jié)果更常用的測(cè)量方法，本文進(jìn)一步修正每個(gè)樣本的損失。

(20)

3 仿真與分析

3.1 數(shù)據(jù)集與仿真環(huán)境

本文所使用的數(shù)據(jù)為中國(guó)某省電力公司提供的2016年3月至2018年12月的所有數(shù)據(jù)。數(shù)據(jù)由歷史天氣數(shù)據(jù)和熱負(fù)荷數(shù)據(jù)組成。歷史天氣數(shù)據(jù)包括實(shí)測(cè)天氣數(shù)據(jù)和天氣預(yù)報(bào)數(shù)據(jù)。測(cè)量的天氣數(shù)據(jù)每10 min采集一次，而天氣預(yù)報(bào)數(shù)據(jù)則按小時(shí)采集。天氣數(shù)據(jù)主要包括溫度、壓力、濕度和風(fēng)速。熱負(fù)荷數(shù)據(jù)特點(diǎn)如下：在供暖季節(jié)，溫度與供暖負(fù)荷呈負(fù)相關(guān)；壓力與熱負(fù)荷呈正相關(guān)；風(fēng)速和濕度與熱負(fù)荷無顯性相關(guān)性。然而，風(fēng)速和溫度這兩個(gè)因素仍然對(duì)熱負(fù)荷存在一定影響。根據(jù)經(jīng)驗(yàn)，如果排除這些變量，預(yù)測(cè)精度會(huì)有所下降。

仿真軟件環(huán)境為pycharm搭建算法框架，并由Python基于tensorflow搭建LSTM基礎(chǔ)網(wǎng)絡(luò)。同時(shí)，算法運(yùn)行硬件環(huán)境為酷睿i7 CPU、內(nèi)存128 GB ARM的聯(lián)想服務(wù)器，操作系統(tǒng)為Ubuntu 18.04 64位，顯卡為 NVIDIA RTX2080Ti 11G。

3.2 試驗(yàn)過程

首先，將天氣預(yù)報(bào)數(shù)據(jù)整合到歷史數(shù)據(jù)。接著，對(duì)天氣預(yù)報(bào)數(shù)據(jù)進(jìn)行插值，從而使之與關(guān)于時(shí)間戳的歷史數(shù)據(jù)相連接。然后，執(zhí)行噪聲處理、熱負(fù)荷平滑處理以及局部重縮放。再次，對(duì)數(shù)據(jù)進(jìn)行切片以生成數(shù)據(jù)鏈。最后，將生成的數(shù)據(jù)鏈代入所提混合模型，從而對(duì)未來熱負(fù)荷進(jìn)行預(yù)測(cè)。試驗(yàn)時(shí)，訓(xùn)練集和測(cè)試集比例為7∶3。

訓(xùn)練采用隨機(jī)梯度下降(stochastic gradient descent，SGD)優(yōu)化器訓(xùn)練模型。試驗(yàn)時(shí)，部分參數(shù)定義如下：批量大小為16；初始學(xué)習(xí)率為10-2；學(xué)習(xí)率衰減率為10-1；學(xué)習(xí)率衰減周期為10；最大迭代次數(shù)為150；每次迭代訓(xùn)練為100次。

3.3 性能分析

3.3.1 基礎(chǔ)網(wǎng)絡(luò)性能對(duì)比分析

首先，本小節(jié)對(duì)比了所提基礎(chǔ)雙層LSTM模型與隨機(jī)森林(random forest，RF)、SVM、RNN、LSTM等模型的性能，從而驗(yàn)證所提模型的優(yōu)勢(shì)。不同模型平均絕對(duì)百分比誤差(mean absolute percentage error,MAPE)比較結(jié)果如表1所示。

表1 不同模型MAPE比較結(jié)果

由表1可知，RF和SVM這些傳統(tǒng)模型在測(cè)試數(shù)據(jù)上產(chǎn)生的MAPE通常比在訓(xùn)練數(shù)據(jù)上產(chǎn)生的MAPE高得多。這表明傳統(tǒng)模型存在過度擬合問題。同時(shí)，RNN和LSTM等深度學(xué)習(xí)算法與傳統(tǒng)模型相比性能有所提升，但MAPE仍有提升空間。本文所提雙層LSTM模型性能優(yōu)勢(shì)明顯，訓(xùn)練集MAPE為3.69%，測(cè)試集為4.80%。與RNN和LSTM相比，本文所提模型在測(cè)試集中的MAPE分別下降了5.26%和4.09%。

3.3.2 優(yōu)化策略性能對(duì)比分析

對(duì)基礎(chǔ)雙層LSTM模型的優(yōu)化策略為熱負(fù)荷平滑處理、局部重縮放以及改進(jìn)損失函數(shù)。不同損失函數(shù)下訓(xùn)練誤差對(duì)比結(jié)果如圖3所示。

圖3 不同損失函數(shù)下訓(xùn)練誤差對(duì)比結(jié)果

由圖3可知，所提修正損失訓(xùn)練的訓(xùn)練曲線收斂速度更快(約80代達(dá)到最優(yōu))，且更平滑(收斂后誤差為0.028)。試驗(yàn)結(jié)果驗(yàn)證了所提修正損失對(duì)提升訓(xùn)練效果具有一定積極作用。

基礎(chǔ)網(wǎng)絡(luò)應(yīng)用不同優(yōu)化策略后，不同優(yōu)化策略下MAPE對(duì)比結(jié)果如表2所示。由表2可知，增加平滑處理以及局部縮放會(huì)使得訓(xùn)練和測(cè)試誤差略有下降。本文所提模型在測(cè)試集的MAPE為3.08%，性能較未加入優(yōu)化策略的基礎(chǔ)網(wǎng)絡(luò)提升約1.72%。該仿真結(jié)果進(jìn)一步驗(yàn)證了所提模型對(duì)熱負(fù)荷預(yù)測(cè)具有較高的準(zhǔn)確性。

3.3.3 預(yù)測(cè)性能分析

本文所提模型熱負(fù)荷預(yù)測(cè)曲線如圖4所示。

圖4 熱負(fù)荷預(yù)測(cè)曲線

由圖4可知，2018年供暖季節(jié)期間預(yù)測(cè)和測(cè)量的供暖負(fù)荷之間存在一定誤差，然而整體預(yù)測(cè)情況與實(shí)測(cè)結(jié)果基本吻合。仿真結(jié)果進(jìn)一步驗(yàn)證了本文所提模型的實(shí)用性。該模型為電力熱負(fù)荷智能化服務(wù)發(fā)展提供了借鑒。

4 結(jié)論

本文對(duì)電力熱負(fù)荷預(yù)測(cè)進(jìn)行了研究與分析，建立了一種基于混合模型的電力熱負(fù)荷預(yù)測(cè)模型，可實(shí)現(xiàn)基于天氣信息和歷史負(fù)荷數(shù)據(jù)對(duì)短期熱負(fù)荷的預(yù)測(cè)。本文研究可總結(jié)為：①為有效學(xué)習(xí)歷史天氣預(yù)報(bào)和熱負(fù)荷數(shù)據(jù)特征，提出了一個(gè)雙層LSTM基礎(chǔ)模型；②為提高基礎(chǔ)模型訓(xùn)練性能，提出了一種平滑預(yù)處理方案；③考慮到原始數(shù)據(jù)的屬性具有不同的比例和分布，提出了一種局部重縮放策略；④提出了一種修正損失函數(shù)，從而提高模型預(yù)測(cè)精度。

由于本文的研究任務(wù)是預(yù)測(cè)未來24 h的熱負(fù)荷，因此只使用天氣預(yù)報(bào)的數(shù)據(jù)作為基礎(chǔ)信息?？紤]到不同城市供暖需求可能存在顯著差異(不同城市的天氣條件各不相同)，后續(xù)可將本文模型作為基礎(chǔ)模型，利用遷移模型實(shí)現(xiàn)對(duì)其他城市的熱負(fù)荷預(yù)測(cè)。未來工作可對(duì)遷移模型進(jìn)行研究。