基于集成模型的混合神經(jīng)網(wǎng)絡(luò)電力負(fù)荷預(yù)測

裴星懿，黃陳蓉，張建德，霍 瑛

（1. 南京工程學(xué)院 電力工程學(xué)院，南京 211100；2. 南京工程學(xué)院 計(jì)算機(jī)工程學(xué)院，南京 211100）

0 引言

保證電力系統(tǒng)安全、經(jīng)濟(jì)運(yùn)行是電力部門的首要任務(wù)［1］。隨著電力網(wǎng)絡(luò)規(guī)模增大，負(fù)荷與系統(tǒng)發(fā)電保持動(dòng)態(tài)平衡成為一大難題，影響電力系統(tǒng)穩(wěn)定。同樣，在“碳達(dá)峰、碳中和”的任務(wù)目標(biāo)［2］下，需要更準(zhǔn)確地進(jìn)行經(jīng)濟(jì)調(diào)度以提高設(shè)備的利用率、減少電能的浪費(fèi)。由此，如何提高電力系統(tǒng)負(fù)荷預(yù)測精度和效率成為了重中之重。由于影響負(fù)荷數(shù)據(jù)的因素較多，如天氣、溫度、風(fēng)力等，數(shù)據(jù)非線性極強(qiáng)，機(jī)器學(xué)習(xí)逐漸被應(yīng)用到負(fù)荷預(yù)測中來，已經(jīng)有了諸多成果。

循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural networks，RNN）是一種特殊的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，它不僅考慮前一時(shí)刻的輸入，而且賦予了網(wǎng)絡(luò)對(duì)前面的內(nèi)容的一種“記憶”功能。在其基礎(chǔ)上，通過增加門控結(jié)構(gòu)來控制數(shù)據(jù)的儲(chǔ)存及傳遞，發(fā)展出了長短期記憶（long short-term memory，LSTM）神經(jīng)網(wǎng)絡(luò)及其衍生模型Bi-LSTM（bi-directional long short-term memory）神經(jīng)網(wǎng)絡(luò)。文獻(xiàn)［3］將不同時(shí)間段的行為相似度因素引入LSTM 負(fù)荷預(yù)測模型，使預(yù)測模型能更好地挖掘出影響負(fù)荷數(shù)據(jù)的強(qiáng)相關(guān)性特征，極大提升了預(yù)測精度。文獻(xiàn)［4］在遷移學(xué)習(xí)的基礎(chǔ)上將所獲樣本信息輸入GRU（gute recurrent unit）神經(jīng)網(wǎng)絡(luò)，驗(yàn)證了該模型在中長期負(fù)荷預(yù)測中的有效性。由此可見，LSTM 及其衍生出的BiLSTM 和同為RNN 改進(jìn)算法的GRU，都極大提升了負(fù)荷預(yù)測的精度與效率。

為解決單個(gè)模型適應(yīng)能力不足的問題，通常可以集成多個(gè)模型來增強(qiáng)預(yù)測模型的泛化能力，從而提高預(yù)測結(jié)果的準(zhǔn)確性［5］。集成模型（ensemble models）是一種基于集成學(xué)習(xí)［6］（ensemble learning）算法而構(gòu)建的模型，采用串并行結(jié)構(gòu)進(jìn)行組合，通過層層特征提取、多模型并行訓(xùn)練的方式，擴(kuò)大了實(shí)驗(yàn)結(jié)果的假設(shè)空間，同時(shí)可以在一定程度上避免訓(xùn)練陷入局部極小，其適合處理具有高維特征的負(fù)荷數(shù)據(jù)［7］。文獻(xiàn)［8］對(duì)雙向（back propagation）加權(quán)的GRU 神經(jīng)網(wǎng)絡(luò)進(jìn)行集成處理，文獻(xiàn)［9］將BP 神經(jīng)網(wǎng)絡(luò)與灰色預(yù)測模型組合成新模型進(jìn)行預(yù)測，相比于單一算法所構(gòu)建模型，均獲得了預(yù)測結(jié)果的優(yōu)化。

為了更好地預(yù)測效果，本文基于Bi-LSTM 網(wǎng)絡(luò)和GRU 網(wǎng)絡(luò)，結(jié)合Self-attention 機(jī)制［10］，采用Bagging 集成學(xué)習(xí)方法，提出了GRU-BiLSTM-Self-attention負(fù)荷預(yù)測模型。Bagging集成學(xué)習(xí)方法是基于集成模型理論的一種方法，將若干基學(xué)習(xí)器模型進(jìn)行并行訓(xùn)練，并對(duì)這些模型訓(xùn)練所得結(jié)果進(jìn)行合并處理并輸出。本文選取南京的負(fù)荷及相關(guān)數(shù)據(jù)，將歷史負(fù)荷、溫度、天氣、風(fēng)力、日類型等作為輸入，分別通過BiLSTM 神經(jīng)網(wǎng)絡(luò)和GRU 神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并加入注意力機(jī)制加強(qiáng)重要信息的作用，進(jìn)一步避免遠(yuǎn)程歷史信息的丟失。在得到預(yù)測結(jié)果后計(jì)算各評(píng)價(jià)指標(biāo)并與其它負(fù)荷預(yù)測模型進(jìn)行比對(duì)，以此證明該模型在負(fù)荷預(yù)測方面的合理性與實(shí)用性。

1 理論相關(guān)

1.1 LSTM原理

LSTM 可以很好地記憶并學(xué)習(xí)之前乃至?xí)r間較久遠(yuǎn)的信息。記憶信息的添加或刪除是由3個(gè)門控單元實(shí)現(xiàn)的，分為遺忘門、輸入門、輸出門。整體結(jié)構(gòu)如圖1所示。設(shè)t輸入為Xt，隱藏狀態(tài)為ht。

圖1 LSTM原理Fig.1 Schematic diagram of LSTM

式中:ht為t時(shí)刻隱藏狀態(tài)；σ()· 為sigmoid激活函數(shù)；tanh()· 為tanh激活函數(shù)；it為t時(shí)刻輸入門的輸入；ft為t時(shí)刻遺忘門的輸出；ot為t時(shí)刻輸出門的輸出；C～t為t時(shí)刻細(xì)胞狀態(tài)的候選值；Ct為t時(shí)刻細(xì)胞狀態(tài)；Wi、Wf、Wo、WC為各門控單元中表示Xt與ht-1關(guān)系的權(quán)重。

1.2 GRU原理

GRU 是對(duì)RNN 網(wǎng)絡(luò)的一種改進(jìn)，GRU 原理圖如圖2 所示，其主要由更新門和重置門兩個(gè)門控單元組成。相較于LSTM，它用更新門替代了輸入門和遺忘門的作用，負(fù)責(zé)對(duì)信息進(jìn)行添加和刪除。重置門是另一個(gè)用來決定刪除過去信息多少的單元。GRU 相較于LSTM 來說結(jié)構(gòu)簡單，極大加快了運(yùn)算速度。

圖2 GRU原理Fig.2 Schematic diagram of GRU

1.3 BiLSTM原理

BiLSTM 神經(jīng)網(wǎng)絡(luò)由正向LSTM 和反向LSTM 組成，兩條網(wǎng)絡(luò)在每一單元各輸出一個(gè)隱藏狀態(tài)，最終該單元的隱藏狀態(tài)由2 者共同決定。采用BiLSTM 的好處在于它不僅強(qiáng)調(diào)了正向時(shí)序特征的學(xué)習(xí)，還關(guān)注了未來數(shù)據(jù)對(duì)于當(dāng)下數(shù)據(jù)之間的相關(guān)性，強(qiáng)化了對(duì)于負(fù)荷各數(shù)據(jù)前后的時(shí)序特征的局部學(xué)習(xí)，其結(jié)構(gòu)如圖3所示。

圖3 BiLSTM原理Fig.3 Schematic diagram of BiLSTM

單元輸入為Xt，分別輸入正向LSTM 和反向LSTM中，分別得到隱藏狀態(tài)h?t、h?t，結(jié)合得到該單元輸出為ht。

1.4 Self-attention機(jī)制

Self-attention在經(jīng)典Attention機(jī)制［11］基礎(chǔ)上，增加了輸入特征彼此之間進(jìn)行交互，并找出它們應(yīng)該更多關(guān)注的特征，其輸出是這些交互作用和注意力得分的總和。結(jié)構(gòu)如圖4所示。

圖4 Self-attention原理Fig.4 Schematic diagram of Self-attention

2 GRU-BiLSTM-Self-attention模型

2.1 模型概述

負(fù)荷預(yù)測的輸入數(shù)據(jù)特征維度較高，而且不僅是負(fù)荷數(shù)據(jù)本身，其他特征如溫度、天氣的非線性也很強(qiáng)，因此對(duì)數(shù)據(jù)特征進(jìn)行充分的提取與有效的學(xué)習(xí)是單一模型較難以完成的任務(wù)。集成模型本質(zhì)上來說是多個(gè)學(xué)習(xí)器的結(jié)合。相比單一學(xué)習(xí)起來說，多個(gè)學(xué)習(xí)器結(jié)合對(duì)于較為復(fù)雜的數(shù)據(jù)的學(xué)習(xí)更具優(yōu)勢。從統(tǒng)計(jì)上來說，由于假設(shè)空間很大，可能有多個(gè)假設(shè)能在訓(xùn)練集達(dá)到同等最優(yōu)性能。若使用單個(gè)學(xué)習(xí)器可能因誤選使泛化性能不佳，因此多個(gè)學(xué)習(xí)器可減少這一風(fēng)險(xiǎn)。從計(jì)算性能的最優(yōu)化來看，學(xué)習(xí)算法可能陷入局部極小，因此泛化性能不好，多學(xué)習(xí)器可降低風(fēng)險(xiǎn)。從表示的方面看，某些學(xué)習(xí)任務(wù)的真實(shí)假設(shè)可能不在當(dāng)前學(xué)習(xí)算法考慮的假設(shè)空間，多個(gè)學(xué)習(xí)器則可以擴(kuò)大假設(shè)空間，使學(xué)習(xí)盡可能處于真實(shí)假設(shè)的范圍內(nèi)，提高模型的泛化能力。

Bagging算法屬于集成模型的一種，其采用多個(gè)基學(xué)習(xí)器模型，基于每個(gè)模型特點(diǎn)對(duì)數(shù)據(jù)特征進(jìn)行提取和學(xué)習(xí)，并對(duì)學(xué)習(xí)結(jié)果取均值處理，該方法有效解決了對(duì)高維特征提取與學(xué)習(xí)困難的問題。本文所提出的集成模型由BiLSTM-Self-attention 模型與GRU 模型以及部分全連接層構(gòu)成。Self-attention機(jī)制特點(diǎn)是將數(shù)據(jù)與其自身進(jìn)行計(jì)算，使其融入全局的信息，借助全局信息幫助單個(gè)數(shù)據(jù)的局部特征更好表示，因此BiLSTM-Self-attention 模型可以有效地提取輸入數(shù)據(jù)的局部特征。而GRU 模型具有良好的“信息記憶”能力，對(duì)于輸入數(shù)據(jù)的時(shí)序特征可以實(shí)現(xiàn)有效提取。綜上，通過對(duì)負(fù)荷預(yù)測輸入數(shù)據(jù)的局部特征與時(shí)序特征的有效學(xué)習(xí)，最終可以實(shí)現(xiàn)預(yù)測模型效果較普通單一模型的提升。

2.2 Bagging并行集成方法

Bagging 并行集成方法是集成模型（ensemble model）中具有代表性的一種集成學(xué)習(xí)方法。集成方法步驟如下:給定包含有m個(gè)樣本的數(shù)據(jù)集，采用Bootstrap抽樣，通過n輪次有放回的抽取，得到n個(gè)新的訓(xùn)練樣本子集，每個(gè)樣本子集大小相同，樣本可以有重疊，通過這n個(gè)樣本子集訓(xùn)練n個(gè)基學(xué)習(xí)器模型，然后通過結(jié)果平均的方法來構(gòu)建強(qiáng)模型，如圖5所示。

圖5 Bagging集成算法原理Fig.5 Bagging ensemble algorithm principle

Bagging 集成算法中的基學(xué)習(xí)器模型雖然所用樣本數(shù)據(jù)屬于同一個(gè)訓(xùn)練集，但是在訓(xùn)練過程中對(duì)樣本數(shù)據(jù)的提取與訓(xùn)練是相互獨(dú)立的，只是對(duì)其輸出結(jié)果取平均。這種采用多個(gè)基學(xué)習(xí)器并行獨(dú)立訓(xùn)練的方法有效降低了預(yù)測結(jié)果的方差，提高了模型的泛化能力。

2.3 構(gòu)建GRU-BiLSTM-Self-attention神經(jīng)網(wǎng)絡(luò)模型

GRU-BiLSTM-Self-attention神經(jīng)網(wǎng)絡(luò)模型如圖6所示，采用Bagging集成學(xué)習(xí)方法，將訓(xùn)練數(shù)據(jù)分別輸入BiLSTM-Self-attention模型與GRU模型中，并行訓(xùn)練，最后將兩個(gè)模型的輸出取平均，得到預(yù)測結(jié)果。

圖6 GRU-BiLSTM-Self-attention模型結(jié)構(gòu)Fig.6 Structure of GRU-BiLSTM-Self-attention model

2.3.1 輸入層

歷史負(fù)荷數(shù)據(jù)對(duì)于負(fù)荷預(yù)測具有重要意義。對(duì)于除負(fù)荷量之外的其他特征來說，用戶的用電行為也與其息息相關(guān)。以日類型為例，經(jīng)分析數(shù)據(jù)集發(fā)現(xiàn)，周末的負(fù)荷量普遍低于工作日負(fù)荷量，負(fù)荷量大小受到日類型的影響，因此需要將日類型這類非負(fù)荷特征納入輸入數(shù)據(jù)中。

將每個(gè)時(shí)間步的影響特征如天氣、溫度、風(fēng)力、日類型以及平均負(fù)荷數(shù)據(jù)等7個(gè)特征作為輸入。時(shí)間步滑動(dòng)窗口時(shí)設(shè)為Td，滑動(dòng)步長設(shè)為1 d。這里采用觀測前(T-1)d 天數(shù)據(jù)，預(yù)測最后一天數(shù)據(jù)的方式。設(shè)某一時(shí)刻輸入序列為X，第t天的輸入序列為Xt，表示如下

式中:weathert為第t天的天氣；windt為第t天的風(fēng)力；directiont為第t天的風(fēng)向；daytypet為第t天的日類型；low-temptt為第t天的最低溫；high-temptt為第t天的最高溫；loadt為第t天的日平均負(fù)荷量。

2.3.2 BiLSTM層

BiLSTM 中與LSTM 不同的點(diǎn)，在于做了雙向的處理，經(jīng)過BiLSTM 后的輸出兩個(gè)結(jié)果，一部分為正向LSTM產(chǎn)生的輸出，一部分為反向LSTM產(chǎn)生的輸出，再將正反兩個(gè)輸出組合起來得到BiLSTM的總輸出。設(shè)某一時(shí)刻經(jīng)BiLSTM處理后的正向輸出為h?t，反向輸出為h?t，總輸出為Ht，表示如下

2.3.4 GRU層

構(gòu)建單層GRU，與BiLSTM-Self-attention模型進(jìn)行并行訓(xùn)練，輸入仍為多特征向量Xt，輸出如下

式中:hc,t-1為前一時(shí)刻輸出的隱藏狀態(tài)；xt為當(dāng)前時(shí)刻的輸入；hc,t為當(dāng)前時(shí)刻輸出的隱藏狀態(tài)。

2.3.5 全連接層

全連接層的作用是對(duì)前層的特征進(jìn)行一個(gè)加權(quán)和，將特征空間通過線性變換映射到樣本標(biāo)記空間。因此在BiLSTM-Self-attention模型中兩個(gè)自注意力層中間，以及并行訓(xùn)練的BiLSTM-Self-attention 模型與GRU模型的輸出后面各加入了一個(gè)全連接層，用以提高對(duì)隱層特征的提取，并將隱層特征轉(zhuǎn)化為實(shí)際需要預(yù)測的負(fù)荷數(shù)據(jù)作為模型輸出，表示如下

y=ω1x1+ω2x2+…+ωnxn（23）

式中:y為下一層所需要的輸出；xn為各特征數(shù)據(jù)；wn為各特征數(shù)據(jù)與輸出關(guān)系之間的權(quán)重。

2.3.6 輸出層

將兩個(gè)弱模型經(jīng)全連接層后的輸出結(jié)果取平均，即為最終所得負(fù)荷預(yù)測的結(jié)果，表示如下

式中:y為模型最終輸出；y1為BiLSTM-Self-attention模型的輸出；y2為GRU模型的輸出。

3 仿真驗(yàn)證

3.1 數(shù)據(jù)來源及預(yù)處理

本文數(shù)據(jù)集來自于南京某供電公司。數(shù)據(jù)集中包含了該地區(qū)某年11月1日至次年8月31日的負(fù)荷數(shù)據(jù)，每天96個(gè)采樣點(diǎn)的負(fù)荷情況（采樣周期15 min）以及每日的天氣、風(fēng)向、風(fēng)力、日類型、最低溫度以及最高溫度。預(yù)測目標(biāo)為第一個(gè)月每日的日平均負(fù)荷。本文采用滑動(dòng)窗口預(yù)測的方式，每連續(xù)7 d數(shù)據(jù)為一個(gè)樣本，使用每個(gè)樣本前6 d的特征數(shù)據(jù)預(yù)測該樣本第7 d的負(fù)荷數(shù)據(jù)，并以此方式連續(xù)進(jìn)行30 d的日平均負(fù)荷的預(yù)測。

為了一定程度上避免噪聲的影響，這里采用滑動(dòng)平均法將負(fù)荷數(shù)據(jù)平滑處理。滑動(dòng)平均法把前后時(shí)刻的一共（2n+1）個(gè)觀測值做平均，得到當(dāng)前時(shí)刻的濾波結(jié)果。本文中使用滑動(dòng)平均法處理數(shù)據(jù)，設(shè)置滑動(dòng)窗口的寬度為7 d，滑動(dòng)步長為1 d，每個(gè)窗口均值化處理。表示如下

式中:pt為時(shí)刻的濾波結(jié)果；xt為t時(shí)刻的觀測值；xt-i為t-i時(shí)刻的觀測值；xt+i為t+i時(shí)刻的觀測值；n為滑動(dòng)窗口半徑。

處理前后的數(shù)據(jù)對(duì)比如圖7所示。

圖7 平滑處理前后數(shù)據(jù)對(duì)比Fig.7 Data comparison before and after smoothing

式中:x為原數(shù)據(jù)；x*為歸一化后的數(shù)據(jù)；xmax為樣本數(shù)據(jù)中的最大值；xmin為樣本數(shù)據(jù)中的最小值。

對(duì)于風(fēng)向、天氣、日類型等非數(shù)值類型特征，采用遍歷各自特征集合后分類賦值的辦法將其轉(zhuǎn)化為數(shù)值類型特征，確保其在各自特征集合中的唯一性。

3.2 損失函數(shù)

本模型訓(xùn)練時(shí)所用損失函數(shù)為平均絕對(duì)誤差（mean absolute error，MAE），為了更直觀地表現(xiàn)訓(xùn)練效果，在訓(xùn)練過程中將損失函數(shù)值歸一化。

平均絕對(duì)誤差的公式如下

式中:Yt為真實(shí)值；Yt為預(yù)測值。

3.3 評(píng)價(jià)指標(biāo)

為了對(duì)模型精度進(jìn)行全面的評(píng)估，本文選取了4 種評(píng)價(jià)標(biāo)準(zhǔn)，分別為均方根誤差、準(zhǔn)確度、判定系數(shù)，除去作為損失函數(shù)已經(jīng)說明的平均絕對(duì)誤差，其余3種評(píng)價(jià)指標(biāo)的公式如下。

均方根誤差為

3.4 實(shí)驗(yàn)參數(shù)設(shè)置及訓(xùn)練過程分析

本實(shí)驗(yàn)運(yùn)行環(huán)境為Windows10，基于python3.8編譯環(huán)境，采用Pytorch深度學(xué)習(xí)框架。在進(jìn)行深度學(xué)習(xí)實(shí)驗(yàn)時(shí)，劃分60%為訓(xùn)練集，20%為驗(yàn)證集，20%為測試集。數(shù)據(jù)集形狀為sample_size，seq_length+delay，features，由于一共有287 d數(shù)據(jù)，且采用訓(xùn)練前6 d，預(yù)測最后1 d 的滑動(dòng)窗口預(yù)測方法，因此sample_size=287，seq_length=6，delay=1，features為7個(gè)維度的特征。

在Pytorch框架中，batch_size表示多輪訓(xùn)練中，每輪隨機(jī)抽取的每批次樣本數(shù)，hidden_size表示LSTM、BiLSTM以及GRU神經(jīng)網(wǎng)絡(luò)中隱藏層的神經(jīng)元個(gè)數(shù)，bidirectional表示BiLSTM是雙向的必要參數(shù)。

集成模型中各并行模型的訓(xùn)練過程如下:

（1）BiLSTM-Self-attention模型

輸入為input1.shape=torch.Size（［batch_size，seq_length，features］）。經(jīng)過BiLSTM 后的輸出變?yōu)榱薿utput1.shape=torch.Size（［batch_size，delay，hidden_size*bidirectional］），其中bidirectional 為2。一部分為正向產(chǎn)生的結(jié)果，一部分為反向產(chǎn)生的結(jié)果。再經(jīng)過自注意力層和全連接層，將最終的輸出數(shù)據(jù)轉(zhuǎn)為形狀為output1_fc.shape=torch.Size（［batch_size，delay，features］）。

（2）GRU模型

輸入為input2.shape=torch.Size（［batch_size，seq_length，features］）。經(jīng)過GRU 后的輸出變?yōu)榱薿utput2.shape=torch.Size（［batch_size，seq_length，hidden_size］）。再經(jīng)過全連接層GRU-fc，最終輸出變?yōu)閛utput2_fc.shape=torch.Size（［batch_size，delay，features］）。

（3）模型總的輸出

output=（output1_fc+output2_fc）/2。

其中，BiLSTM-Self-attention神經(jīng)網(wǎng)絡(luò)與GRU神經(jīng)網(wǎng)絡(luò)的超參數(shù)選定如表1所示。

表1 模型超參數(shù)設(shè)置Table 1 Super parameter setting of model

模型泛化能力的好壞一般取決于訓(xùn)練過程中欠擬合和過擬合狀態(tài)的變化。訓(xùn)練剛開始時(shí)，模型還在學(xué)習(xí)過程中，訓(xùn)練集和驗(yàn)證集的性能都較差，這時(shí)模型尚未學(xué)習(xí)到知識(shí)，處于欠擬合狀態(tài)。隨著訓(xùn)練的進(jìn)行，訓(xùn)練集損失和驗(yàn)證集損失都下降。隨著模型的進(jìn)一步訓(xùn)練，在訓(xùn)練集上表現(xiàn)的愈來愈好，終于在突破一個(gè)點(diǎn)以后，訓(xùn)練集的損失降低，驗(yàn)證集的損失上升，這個(gè)時(shí)候就進(jìn)入了過擬合區(qū)間。因此，當(dāng)訓(xùn)練結(jié)束時(shí)，模型驗(yàn)證集損失函數(shù)值越小，且訓(xùn)練集損失值與驗(yàn)證集損失值之差越小，模型的泛化能力就越好。說明在訓(xùn)練集和驗(yàn)證集上模型均取得了良好的效果。

在實(shí)驗(yàn)中，本文所提出模型的訓(xùn)練次數(shù)與損失函數(shù)值的關(guān)系如圖8 所示。在上文所定參數(shù)下，訓(xùn)練集損失（train loss）在訓(xùn)練剛開始時(shí)隨著訓(xùn)練次數(shù)增加而大幅度減小，當(dāng)訓(xùn)練次數(shù)到達(dá)50 次左右時(shí)，走勢平緩，當(dāng)訓(xùn)練次數(shù)到達(dá)500次左右時(shí)，訓(xùn)練集損失值圍繞某一固定值上下波動(dòng)。證明在給定參數(shù)下，當(dāng)訓(xùn)練次數(shù)到達(dá)500次時(shí)，損失函數(shù)已經(jīng)到達(dá)最優(yōu)解，無法再繼續(xù)優(yōu)化。與此同時(shí)，驗(yàn)證集損失（valid loss）走勢與訓(xùn)練集損失接近一致，且驗(yàn)證機(jī)損失最優(yōu)解與訓(xùn)練集損失最優(yōu)解極為接近，證明模型泛化能力較好。因此將epoch次數(shù)定為500次，超參數(shù)選用表1所給定參數(shù)。

圖8 損失函數(shù)值隨訓(xùn)練輪次變化關(guān)系Fig.8 Relationship between loss function and training times

3.5 結(jié)果分析及對(duì)比

為了更好地體現(xiàn)GRU-BiLSTM-Self-attention 模型的效果，本文選取了BP 神經(jīng)網(wǎng)絡(luò)模型、LSTM 模型、LSTM-Self-attention 模型、GRU 模型、BiLSTM 模型進(jìn)行預(yù)測，并與本文所提出的新模型進(jìn)行預(yù)測結(jié)果對(duì)比，BP 神經(jīng)網(wǎng)絡(luò)模型中有3 層全連接層，每層神經(jīng)元個(gè)數(shù)分別為18、8、6 個(gè)。其余所有模型中的超參數(shù)均一致，神經(jīng)元個(gè)數(shù)為64個(gè)，隱藏層層數(shù)為4個(gè)，每次訓(xùn)練樣本數(shù)為32 個(gè)，學(xué)習(xí)率為0.000 1。選取了連續(xù)30 d 的預(yù)測結(jié)果與真實(shí)結(jié)果進(jìn)行比對(duì)。圖9 為不同模型真實(shí)值與預(yù)測值的對(duì)比圖，表2 為各評(píng)價(jià)指標(biāo)下這6種模型的預(yù)測誤差值。

圖9 各模型真實(shí)值與預(yù)測值對(duì)比Fig.9 Comparison of real value and predicted value of each model

表2 各模型對(duì)應(yīng)評(píng)價(jià)指標(biāo)Table 2 Evaluation indexes corresponding to each model

從圖9 可以看出，本文提出模型的預(yù)測出的數(shù)據(jù)擬合效果最好。由表2 可知，與除新模型之外表現(xiàn)最好的Bi-LSTM 模型相比，各項(xiàng)評(píng)價(jià)指標(biāo)中，RMSE下降10.347 1，下降了16.93%，MAE下降2.430 0，下降了6.86%，Acc上升了0.54%，RS上升了0.022 7。與其他模型相比，預(yù)測指標(biāo)的提升更是明顯。由此得出結(jié)論:本文所提出模型的各項(xiàng)評(píng)價(jià)表現(xiàn)均為最優(yōu)，預(yù)測效果領(lǐng)先于其他模型，具有良好的泛化能力與預(yù)測精度。

此外，BP神經(jīng)網(wǎng)絡(luò)模型與其余各模型相比，結(jié)果均相對(duì)較差，再次證明在處理時(shí)序性較強(qiáng)，具有高特征維度的負(fù)荷數(shù)據(jù)時(shí)，LSTM神經(jīng)網(wǎng)絡(luò)、GRU神經(jīng)網(wǎng)絡(luò)具有獨(dú)特優(yōu)勢。LSTM-Self-attention模型與LSTM模型相比，RMSE指標(biāo)和MAE指標(biāo)分別降低了7.492 0和7.713 7，Acc上升了0.39%，RS提升了0.034 9，證明了自注意力層的加入提升了預(yù)測的精度與泛化能力。

本文所提出的新模型與GRU單一模型相比，RMSE指標(biāo)和MAE指標(biāo)分別降低了29.664 4 和5.560 1，Acc上升了1.54%，其余各項(xiàng)指標(biāo)均有顯著優(yōu)化，證明加入并行訓(xùn)練的BiLSTM-Self-attention模型對(duì)于負(fù)荷特征的提取和學(xué)習(xí)有著顯著的提升效果。

4 結(jié)束語

本文為提升負(fù)荷預(yù)測的精度與效率，在采用Bagging 集成學(xué)習(xí)方法的基礎(chǔ)上，提出了GRU-BiLSTM-Self-attention 負(fù)荷預(yù)測模型。并采取多特征融合的方式，在實(shí)際預(yù)測中對(duì)影響負(fù)荷的相關(guān)特征予以考慮。經(jīng)算例驗(yàn)證表明，其精度與效率較LSTM模型、GRU 模型等有明顯提高，充分驗(yàn)證了本文所提出模型在提升負(fù)荷預(yù)測效果上的可行性。D