一種基于隨機(jī)森林和GRU網(wǎng)絡(luò)的短期電力負(fù)荷預(yù)測(cè)模型

李曉翔，張超群，郝小芳，王大睿，完顏兵

（1. 廣西民族大學(xué)電子信息學(xué)院，南寧 530006；2. 廣西民族大學(xué)人工智能學(xué)院，南寧 530006；3. 廣西混雜計(jì)算與集成電路設(shè)計(jì)分析重點(diǎn)實(shí)驗(yàn)室，南寧 530006）

0 引言

隨著我國(guó)在新能源領(lǐng)域的深入發(fā)展、電動(dòng)汽車和智能設(shè)備的普及，政府、企業(yè)和社會(huì)對(duì)電力行業(yè)的需求進(jìn)一步提高。但是目前無(wú)法對(duì)電能進(jìn)行大量且有效的儲(chǔ)存，因此高精度的短期電力負(fù)荷預(yù)測(cè)是保證電力部門合理制定發(fā)電計(jì)劃、電力系統(tǒng)安全穩(wěn)定運(yùn)行的重要基礎(chǔ)［1］。

目前國(guó)內(nèi)外對(duì)負(fù)荷預(yù)測(cè)的研究可分為傳統(tǒng)預(yù)測(cè)方法和新興的深度學(xué)習(xí)方法［2］。傳統(tǒng)預(yù)測(cè)方法包括回歸分析法［3］和時(shí)間序列法?；貧w分析法建立方程相對(duì)簡(jiǎn)單，預(yù)測(cè)速度快，但是往往缺乏對(duì)負(fù)荷時(shí)間上的規(guī)律性變化的分析，因此精確度較低。時(shí)間序列法最初由美國(guó)學(xué)者Box等［4］提出，對(duì)時(shí)間序列的歷史負(fù)荷數(shù)據(jù)進(jìn)行數(shù)學(xué)建模，只需要?dú)v史數(shù)據(jù)作為模型的輸入，預(yù)測(cè)時(shí)間快［5］。然而該方法只考慮歷史數(shù)據(jù)的影響，忽略其他影響因素的作用。因此在數(shù)據(jù)集日益豐富的當(dāng)下，單一的時(shí)間分析方法已經(jīng)不再適用于預(yù)測(cè)電力負(fù)荷。之后，出現(xiàn)機(jī)器學(xué)習(xí)方法，主要包括支持向量機(jī)［6］和人工神經(jīng)網(wǎng)絡(luò)算法［7］等。文獻(xiàn)［8］對(duì)歷史數(shù)據(jù)使用小波分解算法進(jìn)行重構(gòu)，再將特征數(shù)據(jù)輸入卷積神經(jīng)網(wǎng)絡(luò)支持向量回歸及模型，實(shí)現(xiàn)較為精確的負(fù)荷預(yù)測(cè)。文獻(xiàn)［9］對(duì)人工神經(jīng)網(wǎng)絡(luò)提出一種新的由熵誘導(dǎo)出的具有高魯棒性和平滑性的度量，提高人工神經(jīng)網(wǎng)絡(luò)的負(fù)荷預(yù)測(cè)性能。雖然這些負(fù)荷預(yù)測(cè)方法提高模型訓(xùn)練效果，但是忽略負(fù)荷預(yù)測(cè)具有非線性和時(shí)序性的特點(diǎn)［10］。近年來，深度學(xué)習(xí)算法在負(fù)荷領(lǐng)域的研究逐漸深入。文獻(xiàn)［11］使用蟻群優(yōu)化算法對(duì)遞歸神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化并用于短期負(fù)荷預(yù)測(cè)，提高傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)負(fù)荷預(yù)測(cè)的精度。文獻(xiàn)［12］提出一種基于最大相關(guān)最小冗余和長(zhǎng)短期記憶（long short-term memory，LSTM）網(wǎng)絡(luò)的用戶電力負(fù)荷預(yù)測(cè)模型，并驗(yàn)證其有效性。文獻(xiàn)［13］提出一種基于雙向門控循環(huán)單元（gate recurrent unit，GRU）網(wǎng)絡(luò)和誤差修正的短期負(fù)荷預(yù)測(cè)模型，一定程度解決模型迭代訓(xùn)練過程中的誤差積累問題。

不同的影響因素會(huì)對(duì)電力負(fù)荷預(yù)測(cè)的精度產(chǎn)生不同的影響。但是，并不是輸入模型的特征越多，訓(xùn)練的效果就越好。因此，在選擇科學(xué)合理的預(yù)測(cè)方法的基礎(chǔ)上，研究不同特征對(duì)負(fù)荷預(yù)測(cè)精度的影響，進(jìn)而篩選出高相關(guān)性的關(guān)鍵特征是提高負(fù)荷預(yù)測(cè)精度的關(guān)鍵［14］。隨機(jī)森林（random forest，RF）［15］是一種監(jiān)督學(xué)習(xí)方法，在學(xué)習(xí)能力強(qiáng)的同時(shí)具有高魯棒性，并且內(nèi)置衡量不同特征重要程度的方法，能夠分析復(fù)雜且相互作用的特征之間的關(guān)系，進(jìn)而對(duì)高維特征進(jìn)行篩選，達(dá)到特征降維的目的。文獻(xiàn)［16］將GRU 和卷積神經(jīng)網(wǎng)絡(luò)組合成混合模型，利用CNN 模塊提取不同數(shù)據(jù)的特征，利用GRU模型提取原始數(shù)據(jù)時(shí)間序列上的特點(diǎn)，提高了短期負(fù)荷預(yù)測(cè)的精確度。文獻(xiàn)［17］提出了一種基于隨機(jī)森林和基于自注意力機(jī)制深度GRU 相融合的混合模型，解決了在渦扇發(fā)動(dòng)機(jī)退化過程中會(huì)產(chǎn)生的檢測(cè)數(shù)據(jù)維數(shù)過高的問題，以較高的精確度預(yù)測(cè)了渦扇發(fā)動(dòng)機(jī)的剩余使用時(shí)長(zhǎng)。

針對(duì)現(xiàn)階段電力負(fù)荷預(yù)測(cè)中存在的影響因素過多導(dǎo)致模型精度下降問題，本文提出一種基于隨機(jī)森林和GRU網(wǎng)絡(luò)的混合模型（即RF-GRU）來進(jìn)行短期電力負(fù)荷預(yù)測(cè)。該模型首先將具有時(shí)間因素、氣候因素的高維數(shù)據(jù)集作為隨機(jī)森林模型的輸入，通過計(jì)算袋外數(shù)據(jù)錯(cuò)誤率對(duì)不同特征進(jìn)行評(píng)分，篩選出相對(duì)重要的特征，再將這部分特征與歷史負(fù)荷數(shù)據(jù)結(jié)合成新的數(shù)據(jù)集作為GRU 模型的輸入，完成某地的電力負(fù)荷預(yù)測(cè)。實(shí)驗(yàn)結(jié)果表明新模型RF-GRU 的預(yù)測(cè)精度比傳統(tǒng)的未經(jīng)特征篩選降維的GRU、LSTM 以及BP神經(jīng)網(wǎng)絡(luò)模型更為理想。

1 隨機(jī)森林算法

隨機(jī)森林算法由若干數(shù)量的決策樹組成，決策樹的數(shù)量越大，該算法的魯棒性就越強(qiáng)，精確度也就越高。此外，隨機(jī)森林算法能夠?qū)?fù)雜且相互作用的特征進(jìn)行分析，其中的變量重要性度量可以作為參考標(biāo)準(zhǔn)對(duì)高維特征進(jìn)行篩選，減少低相關(guān)度的特征對(duì)模型訓(xùn)練的影響，增加模型的準(zhǔn)確性。

利用隨機(jī)森林算法進(jìn)行特征降維的關(guān)鍵是選擇最優(yōu)的特征個(gè)數(shù)，本文根據(jù)計(jì)算袋外錯(cuò)誤率來解決這個(gè)問題。由于隨機(jī)森林的生成過程采用的是有放回隨機(jī)抽樣，所以在一棵樹的生成過程并不會(huì)使用所有的樣本，未使用的樣本被稱為袋外（out_of_bag，oob）樣本。袋外錯(cuò)誤率是隨機(jī)森林泛化誤差的一個(gè)無(wú)偏估計(jì)，其結(jié)果近似于需要大量計(jì)算的k折交叉驗(yàn)證。若給某個(gè)特征隨機(jī)加入噪聲之后，袋外錯(cuò)誤率大幅度提高，則說明這個(gè)特征對(duì)于樣本的分類結(jié)果影響大，即該特征重要程度高。在隨機(jī)森林中，特征X的重要性計(jì)算方法如下，其計(jì)算流程如圖1所示。

圖1 特征X的重要性計(jì)算流程

（1）對(duì)于隨機(jī)森林中的第n棵決策樹，使用相應(yīng)的袋外樣本計(jì)算這棵樹的袋外誤差，記為En。

（2）隨機(jī)地對(duì)所有袋外樣本的特征X加入噪聲干擾，以此隨機(jī)地改變樣本在特征X處的值，再次計(jì)算其袋外誤差，記為。

（3）假設(shè)隨機(jī)森林中有n棵樹，用公式（1）計(jì)算特征X的重要性得分。

2 GRU模型

在循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）的梯度計(jì)算方法中，當(dāng)時(shí)間步數(shù)較大或者較小時(shí)，其梯度較容易出現(xiàn)消失或爆炸，因此RNN 在實(shí)際中難以捕捉時(shí)間序列中時(shí)間步距離較大時(shí)的依賴關(guān)系［18］。為了彌補(bǔ)這一缺陷，LSTM 在RNN 的基礎(chǔ)上加入記憶單元和門控單元，分別是輸入門、遺忘門和輸出門，通過門單元之間的邏輯控制決定數(shù)據(jù)是否更新，解決RNN 容易出現(xiàn)梯度消失、梯度爆炸和不能捕捉時(shí)間步間隔較大時(shí)的依賴關(guān)系的問題［19］。

GRU 是LSTM 的一種變體，既保留LSTM 能夠處理長(zhǎng)距離時(shí)序依賴并且具有高準(zhǔn)確率，又簡(jiǎn)化了LSTM 的輸入和輸出，將輸入門、遺忘門和輸出門簡(jiǎn)化為更新門和重置門。標(biāo)準(zhǔn)的GRU網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 GRU網(wǎng)絡(luò)結(jié)構(gòu)

GRU 的輸入和輸出結(jié)構(gòu)與普通RNN 是一樣的，輸入是t時(shí)刻的輸入xt和t-1 時(shí)刻的隱藏層狀態(tài)Ht-1，Ht-1包含之前節(jié)點(diǎn)的關(guān)鍵信息；輸出是t時(shí)刻隱藏節(jié)點(diǎn)的輸出和傳遞給下一節(jié)點(diǎn)的隱狀態(tài)Ht。通過上一個(gè)傳輸下來的狀態(tài)Ht-1和當(dāng)前節(jié)點(diǎn)的輸入xt可獲取重置門和更新門的控制狀態(tài)，其計(jì)算如公式（2）～（5）所示。

其中：rt和zt分別為t時(shí)刻重置門和更新門的輸出；xt為t時(shí)刻的輸入；Ht和Ht-1分別為t和t-1時(shí)刻的輸出；為候選隱藏層狀態(tài)，包含xt的輸入信息和有針對(duì)性地保留t-1時(shí)刻的隱藏層狀態(tài)Ht-1；W、b和⊙分別為矩陣權(quán)重、偏置向量和數(shù)據(jù)對(duì)應(yīng)位置的點(diǎn)乘運(yùn)算；σ 為sigmoid 激活函數(shù)，可以將數(shù)據(jù)變換為［0,1］范圍內(nèi)的數(shù)值，充當(dāng)門控信號(hào)。當(dāng)rt趨近于0時(shí)，模型會(huì)丟棄過去隱藏信息，只保留當(dāng)前輸入的信息；當(dāng)rt趨近于1時(shí)，模型認(rèn)為過去的信息都有作用，并將其添加到當(dāng)前信息中。

3 RF-GRU模型在短期電力負(fù)荷預(yù)測(cè)中的應(yīng)用

3.1 模型的構(gòu)建

本文提出的RF-GRU 模型融合了隨機(jī)森林和GRU 網(wǎng)絡(luò)用于短期電力負(fù)荷預(yù)測(cè)，其處理流程如圖3所示。

圖3 RF-GRU混合模型預(yù)測(cè)流程

電力負(fù)荷預(yù)測(cè)結(jié)果除了與模型本身有關(guān)，合理的特征集也是非常重要的。通過分析研究現(xiàn)狀，負(fù)荷預(yù)測(cè)的主要影響因素包括氣象因素、時(shí)間日期因素和歷史負(fù)荷因素［20］。但是，用于輸入神經(jīng)網(wǎng)絡(luò)的特征維數(shù)與預(yù)測(cè)結(jié)果的精度并非呈現(xiàn)出絕對(duì)正相關(guān)的特點(diǎn)，輸入特征過多會(huì)造成網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，模型計(jì)算量增加，降低效率。此外，輸入影響程度評(píng)分不高的特征也會(huì)降低模型預(yù)測(cè)的精度。因此，我們?cè)诎庀蠛蜁r(shí)間因素的高維特征集的基礎(chǔ)上，進(jìn)一步使用隨機(jī)森林對(duì)所有特征逐一進(jìn)行評(píng)分篩選。

本文采用2022 年第十屆“泰迪杯”數(shù)據(jù)挖掘挑戰(zhàn)賽B題所給的某地2018年1月1日到2021年8月31日的氣象條件和電力負(fù)荷等共13維特征（見表1）構(gòu)成初始數(shù)據(jù)集（可從官網(wǎng)https://www.tipdm.org:10010/#/competition/148115913778099-8144/question下載）來驗(yàn)證RF-GRU模型的性能。

表1 預(yù)測(cè)短期電力負(fù)荷的初始數(shù)據(jù)集的特征描述

首先對(duì)收集到的時(shí)間日期和氣象因素等原始數(shù)據(jù)集進(jìn)行預(yù)處理。具體采用線性插值法對(duì)缺失及異常值進(jìn)行填補(bǔ)，然后歸一化全部特征數(shù)據(jù)，使得每個(gè)特征數(shù)據(jù)經(jīng)過線性變換之后均處于［0,1］的范圍，消除不同特征數(shù)值量級(jí)不一致對(duì)預(yù)測(cè)模型的影響，使其盡快收斂。對(duì)原始數(shù)據(jù)進(jìn)行歸一化處理的方法如公式（6）所示。

其中：x為原始值；x*為歸一化之后的值；xmin和xmax分別為特征樣本數(shù)據(jù)中的最小值和最大值。

其次，除了歷史負(fù)荷之外的全部特征（包括氣象和時(shí)間因素的12維特征），對(duì)每一種特征分別用隨機(jī)森林計(jì)算袋外錯(cuò)誤率進(jìn)行評(píng)分，其結(jié)果如圖4所示。值得一提的是，本文的所有實(shí)驗(yàn)均在安裝有Intel Core i7-8750H@2.20GHz CPU、16GB RAM、Windows 11 操作系統(tǒng)的一臺(tái)服務(wù)器上運(yùn)行，編程語(yǔ)言為Python 3.8.5，采用框架為tensorflow2.2.1。由圖4可知，所屬時(shí)段、最高溫度、天氣類型、最低溫度、是否節(jié)假日、風(fēng)力這6 個(gè)特征的評(píng)分高于設(shè)定的閾值0.1，將篩選出的6個(gè)高評(píng)分的特征與歷史負(fù)荷數(shù)據(jù)組成新的7維特征數(shù)據(jù)集。

圖4 特征重要性評(píng)分

最后，按照8 ∶1 ∶1的比例將數(shù)據(jù)集劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集，構(gòu)建GRU 網(wǎng)絡(luò)模型，訓(xùn)練得到負(fù)荷預(yù)測(cè)結(jié)果Ypred。需要說明的是，經(jīng)過多次超參數(shù)實(shí)驗(yàn)，RF-GRU 模型的GRU 網(wǎng)絡(luò)最終采用的神經(jīng)元數(shù)量為65，迭代次數(shù)（epochs）為50，批大?。╞atch_size）為128，學(xué)習(xí)率（learning_rate）為0.01。此外，GRU 采用具有高魯棒性的自適應(yīng)矩估計(jì)（adaptive moment estimation，Adam）優(yōu)化算法，通過計(jì)算梯度的一階矩估計(jì)和二階矩估計(jì)為不同的超參數(shù)設(shè)計(jì)獨(dú)立的自適應(yīng)學(xué)習(xí)率。

3.2 模型的評(píng)價(jià)指標(biāo)

為了評(píng)價(jià)模型的性能，我們選擇了文獻(xiàn)中常用的評(píng)價(jià)指標(biāo)，即平均絕對(duì)誤差（mean absolute error，MAE）［21］、均方根誤差（root mean square error，RMSE）［22］和動(dòng)態(tài)時(shí)間歸整（dynamic time warping，DTW）距離［23］，可分別按公式（7）～（10）計(jì)算得到其值。

其中：EMAE是平均絕對(duì)誤差，ERMSE為均方根誤差，n為總預(yù)測(cè)次數(shù)，Yact(i)和Ypred(i)分別為第i次預(yù)測(cè)所對(duì)應(yīng)的真實(shí)負(fù)荷值和預(yù)測(cè)負(fù)荷值。

DTW 是一種新的相似性度量方法，它能夠通過動(dòng)態(tài)規(guī)劃算法找出兩條時(shí)間序列Q(q1,q2,…,qn)和C(c1,c2,…,cm)之間的最佳規(guī)劃路徑。首先，對(duì)兩條時(shí)間序列構(gòu)建距離矩陣，矩陣中的第i行第j列所對(duì)應(yīng)的元素代表該時(shí)間序列中點(diǎn)qi和cj的距離，由公式（9）計(jì)算出其最小累加距離D(i,j)。最后可由公式（10）計(jì)算兩個(gè)序列的DTW距離。

3.3 模型對(duì)短期電力負(fù)荷的預(yù)測(cè)效果

為了驗(yàn)證RF-GRU 模型對(duì)短期電力負(fù)荷的預(yù)測(cè)效果，使用上面獲得的7 維特征數(shù)據(jù)集對(duì)2022 年第十屆“泰迪杯”數(shù)據(jù)挖掘挑戰(zhàn)賽B 題所給的某地2018 年1 月1 日到2021 年8 月28 日間隔4 小時(shí)數(shù)據(jù)進(jìn)行未來三天（2021 年8 月29 日到2021 年8 月31 日）的電力負(fù)荷預(yù)測(cè)，并計(jì)算MAE 和RMSE 兩個(gè)性能評(píng)價(jià)指標(biāo)。將RF-GRU模型預(yù)測(cè)得到的負(fù)荷結(jié)果與真實(shí)負(fù)荷值進(jìn)行對(duì)比，其結(jié)果如圖5所示。

圖5 RF-GRU模型預(yù)測(cè)短期電力負(fù)荷曲線與實(shí)際值對(duì)比

由圖5可知，實(shí)線表示真實(shí)負(fù)荷值，虛線表示RF-GRU 模型的預(yù)測(cè)值。采用DTW 距離度量各模型的預(yù)測(cè)曲線與真實(shí)曲線的相似性，具體結(jié)果見表2。由圖5 和表2 可知，RF-GRU 模型表現(xiàn)出色，該模型均優(yōu)于其他三種對(duì)比模型，其預(yù)測(cè)曲線與實(shí)際曲線最為相似。

表2 四種模型預(yù)測(cè)曲線與真實(shí)曲線的DTW距離對(duì)比

為了進(jìn)一步驗(yàn)證RF-GRU 模型的優(yōu)越性，在相同的設(shè)置條件（最優(yōu)值、層數(shù)、訓(xùn)練次數(shù)和損失函數(shù)等參數(shù)）下分別使用BP 神經(jīng)網(wǎng)絡(luò)模型、傳統(tǒng)的未經(jīng)隨機(jī)森林特征篩選降維的GRU模型、LSTM 模型與RF-GRU 模型進(jìn)行短期電力負(fù)荷預(yù)測(cè)對(duì)比實(shí)驗(yàn)，其結(jié)果如表3和圖6所示。

表3 四種模型預(yù)測(cè)電力負(fù)荷結(jié)果評(píng)價(jià)指標(biāo)對(duì)比

圖6 四種模型預(yù)測(cè)短期電力負(fù)荷曲線與實(shí)際值對(duì)比

由表3可知，與BP神經(jīng)網(wǎng)絡(luò)相比，RF-GRU模型預(yù)測(cè)得到的平均絕對(duì)誤差值EMAE和均方根誤差值ERMSE分別下降了0.1704 和0.1555。相較于適合長(zhǎng)時(shí)間時(shí)序預(yù)測(cè)的LSTM 模型，RF-GRU模型的EMAE和ERMSE分別下降了0.0212和0.0118。此外，與沒有經(jīng)過特征降維而直接使用高維特征集進(jìn)行預(yù)測(cè)的GRU模型的結(jié)果對(duì)比，RF-GRU模型的EMAE和ERMSE分別下降了0.0378 和0.0408。由表3 和圖6 可以看出，BP 神經(jīng)網(wǎng)絡(luò)對(duì)短期電力負(fù)荷的預(yù)測(cè)效果最差；傳統(tǒng)的未經(jīng)隨機(jī)森林特征篩選降維的GRU 模型的預(yù)測(cè)效果要優(yōu)于BP神經(jīng)網(wǎng)絡(luò)，但不如LSTM 模型；LSTM 模型的預(yù)測(cè)效果排名第二；本文新提出的RF-GRU 模型對(duì)短期電力負(fù)荷的預(yù)測(cè)效果最好，明顯優(yōu)于其他對(duì)比模型。

4 結(jié)語(yǔ)

針對(duì)負(fù)荷預(yù)測(cè)特征繁多且復(fù)雜，時(shí)序性強(qiáng)的問題，本文提出一種基于隨機(jī)森林和GRU 網(wǎng)絡(luò)的RF-GRU 模型，該模型使用隨機(jī)森林對(duì)日期因素、氣象因素等高維特征集降維，篩選出高評(píng)分的特征集與歷史電力負(fù)荷數(shù)據(jù)作為GRU網(wǎng)絡(luò)的輸入，完成對(duì)某地的短期電力負(fù)荷預(yù)測(cè)。由于RF-GRU 模型兼具隨機(jī)森林和GRU 的優(yōu)勢(shì)，能顯著提升模型的預(yù)測(cè)性能，通過對(duì)比實(shí)驗(yàn)也驗(yàn)證了RF-GRU 模型具有更高的預(yù)測(cè)精度，其預(yù)測(cè)值與真實(shí)值接近，預(yù)測(cè)效果明顯優(yōu)于BP 神經(jīng)網(wǎng)絡(luò)、LSTM模型和傳統(tǒng)的GRU模型。

需要說明的是，本文獲取的特征集未考慮現(xiàn)實(shí)生活中采用階梯電價(jià)這一影響因素，未來可以在這個(gè)方面對(duì)負(fù)荷影響因素進(jìn)行深入探究。此外，可以對(duì)將RF-GRU 模型部署在電網(wǎng)中的可行性進(jìn)行分析，輔助企業(yè)實(shí)現(xiàn)實(shí)時(shí)負(fù)荷預(yù)測(cè)，合理規(guī)劃發(fā)電量。