深度學習在建筑物用電預測中的應用研究

楊明智，楊昭，夏乾洋

（中國礦業(yè)大學經(jīng)濟管理學院，江蘇徐州，221116)

1 基于深度學習的用電預測

電力負荷預測按照預測時間長短可以分為短期，中期和長期[1]。短期預測周期為一小時至幾周，對于電網(wǎng)運營和優(yōu)化有重要意義。預測方法主要分為經(jīng)典統(tǒng)計方法和基于人工智能的方法[2]，前者包括時間序列分析，回歸分析，指數(shù)平滑等，此類方法的優(yōu)點是簡單、速度快、可解釋性好，其缺點是對于非線性特征、大數(shù)據(jù)處理能力不足，模型缺乏魯棒性和適應性；后者包括神經(jīng)網(wǎng)絡、灰色預測模型和支持向量機and therefore precise load forecasting plays an important role in reducing the generation cost and the spinning reserve capacity. Short-term electricity demand forecasting (i.e., the prediction of hourly loads (demand等，此類方法能夠更好的處理非線性特征[3]，但仍然無法達到電力系統(tǒng)精細調(diào)控的需求。近年來，深度學習方法在語音識別、計算機視覺和自然語言處理等領域取得了突破，有研究表明深度神經(jīng)網(wǎng)絡解決負荷預測問題的能力明顯超過ARIMA、支持向量回歸等經(jīng)典回歸方法，特別是處理大量歷史數(shù)據(jù)時表現(xiàn)出良好的特征提取能力[4]。

seq2seq是一種端到端的深度神經(jīng)網(wǎng)絡模型，通過編碼器(encoder)-解碼器(decoder)結(jié)構(gòu)將輸入序列映射到輸出序列，該模型解決了傳統(tǒng)神經(jīng)網(wǎng)絡無法將序列映射到序列的問題。文獻[5]最早提出了一個seq2seq模型，用于解決文本翻譯問題，取得了顯著效果。文獻[6]研究了LSTM模型和基于LSTM的seq2seq模型在居民短期負荷預測問題上的表現(xiàn)，發(fā)現(xiàn)標準LSTM在一分鐘分辨率的數(shù)據(jù)下無效，而在一小時分辨率的數(shù)據(jù)下表現(xiàn)出色，而seq2seq模型在兩種分辨率的數(shù)據(jù)上均表現(xiàn)良好，說明其能夠更好適應不同的時間粒度。seq2seq模型的局限在于當輸入序列較長時，模型無法記憶距離太遠的狀態(tài)信息，會使得預測準確率下降。

1.1 注意力機制

圖1 注意力模型工作原理

1.2 基于注意力機制的seq2seq模型

Seq2seq根據(jù)輸入序列和輸出序列長度不同可以分為many-to-many、many-to-one和one-to-many三種形式[5]。本文是根據(jù)歷史負荷預測下一個小時的負荷，符合many-toone的形式。本文將注意力機制加入seq2seq模型中，將其改造為一個注意力模型稱為attention，具體結(jié)構(gòu)如圖2所示。一維卷積層能夠更好提取輸入序列的特征，雙向GRU網(wǎng)絡作為編碼器，注意力層計算上下文向量，全連接層代替循環(huán)神經(jīng)網(wǎng)絡作為解碼器，這是因為模型最終預測的是一個點而非一個序列，循環(huán)神經(jīng)網(wǎng)絡并不能發(fā)揮功能。預測模型輸入向量包含三類特征：第一類是與總耗電量相關的歷史變量，包括當前小時，前1個、前2個、前23和前24小時的耗電量共5個特征；第二類是日期特征，包括hour，day，dow(day of week)，doy(day of year)共4個，此類特征暗示居民用電行存在與日期時間相關的規(guī)律性，第三類是天氣特征，包括當天的最高氣溫、最低氣溫和天氣情況。

圖2 基于注意力機制的seq2seq模型結(jié)構(gòu)

為了驗證本文提出模型的有效性，使用梯度提升回歸樹(Gradient Boosting Regression Tree，GBRT)和 LSTM模型與本文提出的attention模型進行對比。GBRT模型是一種基于樹的回歸算法，通過多棵樹的迭代訓練，每顆樹學習的是前面所有樹的結(jié)論和殘差，逐步提升預測效果，該方法廣泛應用于各種線性和非線性回歸問題[9]。LSTM模型是時間序列預測具代表性的神經(jīng)網(wǎng)絡模型，在電力負荷預測中有大量應用[10]。

2 數(shù)據(jù)與實驗

2.1 數(shù)據(jù)與預處理

為了驗證模型的效果，實驗收集了某大學一棟宿舍樓2015年2月-2017年8月間的每小時用電數(shù)據(jù)。該宿舍樓約有2000名學生，學生群體的用電行為有明顯的時間規(guī)律，比如：周末用電量比平時高，寒暑假用電量處于低谷，期末復習考試階段為用電高峰。天氣通常被認為是影響用電的因素之一，實驗從氣象網(wǎng)站收集了該地區(qū)相應時間段的氣象數(shù)據(jù)，包括日最高氣溫、最低氣溫、天氣狀況，其中天氣狀況按照晴天、陰天、雨雪分為三類進行編碼。模型輸入使用滑動窗口技術將輸入序列按固定窗口長度劃分成相互重疊的窗口，而模型輸出為輸入窗口的下一時刻。最終模型輸入張量為[訓練批量,窗口長度,特征數(shù)量]，輸出張量為[訓練批量,1]。訓練深度神經(jīng)網(wǎng)絡需要對數(shù)據(jù)進行標準化處理，否則會影響梯度下降的效率，導致訓練時間過長，甚至無法求解。本文采用z-score標準化方法，將t時刻電表或電器的功率xt減去其均值再除以標準差σ，標準化后的數(shù)據(jù)被縮放到相同的量級。

2.2 模型訓練

為了比較模型效果，使用python實現(xiàn)了三個模型，分別命名為GBRT、LSTM和attention。實驗將前24個月的用電數(shù)據(jù)作為訓練集，后5個月的數(shù)據(jù)作為測試集。GBRT模型訓練使用scikit-learn庫的GridSearchCV方法進行超參數(shù)調(diào)優(yōu)。按照前文介紹的三類輸入特征，GBRT模型使用全部三類特征共12個，LSTM和attention模型由于輸入窗口已經(jīng)包含前12個小時的用電量，因此不需使用第一類特征中的前三個，所以輸入特征數(shù)為9。LSTM和attention模型訓練過程中均采用Relu為激活函數(shù)，MSE為損失函數(shù)，并使用Adam算法優(yōu)化學習過程。為了縮短訓練時間、避免過擬合，深度學習模型的訓練采用early-stop策略，如果超過5輪訓練評估指標沒有改進則終止訓練，梯度下降學習率設置為0.001，使用MAE和RMSE作為評估指標。

2.3 實驗結(jié)果與討論

模型在測試集上的評估結(jié)果如表1所示，深度學習模型LSTM和attention的效果明顯好于基于樹的GBRT模型，評估指標有超過50%的提升。本文提出的attention模型相較于LSTM模型仍有20%的提升。圖3展示了三個模型在測試集上48小時的實際用電量和預測情況，反映出了評估指標的差距。GBRT模型的預測效果明顯不佳，部分原因可能是調(diào)參不夠充分，但與其它兩個模型效果的較大差距說明該模型擬合能力不足。LSTM模型預測效果較好，無論RMSE還是MAE指標均比GBRT模型有很大提升。attention模型相較于LSTM模型仍有明顯提升，尤其是用電量變化較大的時間段attention模型表現(xiàn)更好。實驗結(jié)果證明attention機制在時間序列預測中是有效的，能夠更好的完成建筑物能耗預測任務。

圖3 模型預測結(jié)果對比

表1 模型評估指標

3 結(jié)論

由于建筑內(nèi)居住者用電行為很難單獨分析，因此基于數(shù)據(jù)驅(qū)動的方法比傳統(tǒng)分析法在建筑物能耗預測方面更具實用性。該項技術可以提升智能電網(wǎng)的需求側(cè)管理水平、優(yōu)化電力供給與需求、提升電網(wǎng)系統(tǒng)效率。本文將應用于機器翻譯領域的注意力機制與seq2seq深度神經(jīng)網(wǎng)絡結(jié)合解決居民建筑物電力負荷預測問題。在一棟大學宿舍樓兩年半實際用電數(shù)據(jù)集上的實驗結(jié)果顯示本文提出的attention模型相較于決策樹類模型GBDT和簡單神經(jīng)網(wǎng)絡模型LSTM有顯著的性能提升。本文沒有測試更多簡單預測模型，因為前人已有研究指出復雜深度學習模型通常比簡單模型更加有效[11]。本文僅使用了一棟宿舍樓的數(shù)據(jù)進行實驗，然而不同居民建筑物的能源消費行為差異巨大，尤其是電動汽車的普及使得許多建筑都新增了充電樁等公共充電設施，將會成為重要的電力消費來源，如何采集和分析居住者用電行為數(shù)據(jù)是建筑物能耗預測面臨的挑戰(zhàn)。