基于小樣本數(shù)據(jù)和深度殘差網(wǎng)絡(luò)的月度供電量預(yù)測研究*

尹 力 周 琪

（國網(wǎng)武漢供電公司 武漢 430070）

1 引言

區(qū)域供電量預(yù)測是電氣工程領(lǐng)域的一項基本工作，國內(nèi)外已在該領(lǐng)域開展了多年的研究［1］。根據(jù)預(yù)測原理的不同，預(yù)測方法可概括為簡單數(shù)學(xué)推理法、傳統(tǒng)數(shù)學(xué)模型法和人工智能預(yù)測法三類。簡單數(shù)學(xué)推理法有專家預(yù)測法、綜合用電水平法、單耗法、彈性系數(shù)法、負荷密度法、平均增長率法、類比法、指數(shù)平滑法等［2］。簡單數(shù)學(xué)推理法，能夠?qū)ξ磥砉╇娏壳闆r做出初步預(yù)測，但卻由于預(yù)測精度不足，現(xiàn)已很少采用。第二類為傳統(tǒng)數(shù)學(xué)模型法，采用更為復(fù)雜的預(yù)測模型，能夠得到較高的供電量預(yù)測精度，主要包括時間序列法［3］、回歸分析法［4］、趨勢外推法［5］等。第三類為人工智能預(yù)測方法，包括以各類神經(jīng)網(wǎng)絡(luò)為主的機器學(xué)習(xí)預(yù)測方法［6～9］、支持向量機預(yù)測法［10］等。

其中，隨著人工智能技術(shù)的飛速發(fā)展，人工智能在供電量預(yù)測方面的研究受到了越來越多的關(guān)注。然而，以深度學(xué)習(xí)為代表的人工智能方法，需要大量的、標(biāo)準(zhǔn)化的樣本集完成模型的訓(xùn)練。因此，在供電量預(yù)測樣本準(zhǔn)備中，需要完整的小粒度歷史統(tǒng)計數(shù)據(jù)，包括按天統(tǒng)計的供電量數(shù)據(jù)、天氣數(shù)據(jù)等。這種小粒度樣本的準(zhǔn)備，將極大增加統(tǒng)計工作量，并且可能由于歷史數(shù)據(jù)的部分缺失，造成模型訓(xùn)練精度下降。

針對上述問題，本文提出了一種基于歷史供電量月度統(tǒng)計數(shù)據(jù)，及少量按天統(tǒng)計的輔助數(shù)據(jù)的樣本增強方法，實現(xiàn)了樣本集的有效擴充；同時通過構(gòu)建深度殘差網(wǎng)絡(luò)，解決預(yù)測模型訓(xùn)練過程中的網(wǎng)絡(luò)退化問題，有效提高了模型的訓(xùn)練效率和預(yù)測精度。

2 樣本增強

采用優(yōu)化的生成對抗網(wǎng)絡(luò)，實現(xiàn)以將全序列按月統(tǒng)計的供電量數(shù)據(jù)，結(jié)合少量按天統(tǒng)計的數(shù)據(jù)，模擬生成每天的供電量數(shù)據(jù)，實現(xiàn)樣本空間的小粒度解析。

2.1 生成對抗網(wǎng)絡(luò)

生成式對抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）是一種深度學(xué)習(xí)模型，由生成模型（Generative Model）和判別模型（Discriminative Model）兩部分組成，通過兩部分的相互博弈，使生成模型的輸出不斷優(yōu)化，直至產(chǎn)生滿足應(yīng)用需求的模型輸出。

2.2 網(wǎng)絡(luò)優(yōu)化

傳統(tǒng)的GAN 模型，輸入為隨機噪聲，生成的圖片具有一定的隨機性，模型無法應(yīng)用于供電量的預(yù)測，需要對模型進行修改、優(yōu)化?？紤]和供電量預(yù)測最為密切相關(guān)的幾個因素，分別為歷史同期供電量參考、預(yù)測時間段天氣情況，因此輸入需在傳統(tǒng)GAN 輸入的基礎(chǔ)上加上5 個維度：歷史供電量、日期、天氣（包括平均溫度和平均降雨量）、該日期所在月份供電量數(shù)據(jù)，重新構(gòu)建GAN 深度學(xué)習(xí)模型。優(yōu)化、改進后GAN的結(jié)構(gòu)如圖1所示。

圖1 改進GAN的結(jié)構(gòu)圖

2.3 樣本集構(gòu)建

需要構(gòu)建專門的樣本集，用于上述改進GAN的訓(xùn)練。樣本集應(yīng)包括供電量信息、時間信息和天氣信息。以天為單位來制作樣本，每個樣本包括當(dāng)天的供電量信息，日期信息以及天氣信息。其中，供電量信息直接以數(shù)值表示；日期信息取值區(qū)間為［1，365］，標(biāo)識按時序計量的一年中的每一天；天氣信息，統(tǒng)計最為重要的溫度信息和降雨量信息。因此，樣本集中的每一個樣本可用列向量表示：

式中，e表示該天供電量信息的具體數(shù)值；d取值［1，365］區(qū)間，標(biāo)明日期信息；wt為該日期全天平均溫度的數(shù)值信息；wr為該日期全天平均降雨量的數(shù)值信息；m為該日期所在月份的供電量信息。

3 深度殘差網(wǎng)絡(luò)

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)在不斷增加神經(jīng)網(wǎng)絡(luò)的深度時，模型準(zhǔn)確率會先上升然后達到飽和，再持續(xù)增加深度則會導(dǎo)致準(zhǔn)確率下降，這種情況稱之為網(wǎng)絡(luò)退化問題（Degradation problem）。深度殘差網(wǎng)絡(luò)（Deep Residual Network，DRN）［11］能夠有效解決上述問題。

深度殘差網(wǎng)絡(luò)是由多個殘差學(xué)習(xí)模塊重復(fù)堆疊形成的神經(jīng)網(wǎng)絡(luò)，與傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)區(qū)別在于學(xué)習(xí)模塊內(nèi)部結(jié)構(gòu)的不同。通過殘差學(xué)習(xí)模塊的不同組合方法，可以構(gòu)建多種不同架構(gòu)、特性的卷積神經(jīng)網(wǎng)絡(luò)。如在文獻［12］中，殘差學(xué)習(xí)模塊與Inception 模型結(jié)構(gòu)結(jié)合，搭建了Inception-ResNet卷積神經(jīng)網(wǎng)絡(luò)模型，在眾多公開數(shù)據(jù)集的分類問題上，取得了優(yōu)異的性能。

3.1 殘差學(xué)習(xí)模塊

DRNs 模型的核心在于殘差學(xué)習(xí)模塊，其基本思想為通過在卷積神經(jīng)網(wǎng)絡(luò)單元訓(xùn)練過程中，保存部分原始輸入信息，從而避免由于卷積層數(shù)過多引起的分類精度飽和問題；同時，殘差模塊（Residual Module）不需要學(xué)習(xí)完整的輸出，只需學(xué)習(xí)輸入、輸出差別的部分，簡化了學(xué)習(xí)目標(biāo)和難度。

設(shè)x為輸入，經(jīng)過卷積層運算后輸出為F(x,W)，激活函數(shù)采用Sigmoid或ReLU［13］，激活函數(shù)變換用f表示。因此，學(xué)習(xí)模塊單元最終輸出可定義為

同時，在所設(shè)計的殘差學(xué)習(xí)模塊中，還將采用批歸一化（Batch Normalization，BN）處理技術(shù)［14］，以提升分類性能。

3.2 深度殘差網(wǎng)絡(luò)

每個殘差學(xué)習(xí)模塊內(nèi)部包括兩個卷積層，所設(shè)計的網(wǎng)絡(luò)包括14 個殘差學(xué)習(xí)模塊，共28 個卷積層。在這28 個卷積層構(gòu)成的完整神經(jīng)網(wǎng)絡(luò)中，設(shè)第n層輸入為xn（1 ≤n≤28），最后總的輸出為y。由于第i層輸出等于第i+1 層輸入，其中（1 ≤n≤28），因此有：

至此，便可構(gòu)建完整的深度殘差網(wǎng)絡(luò)，用于供電量預(yù)測模型的訓(xùn)練。

4 算例分析

實驗采用谷歌公司的開源機器學(xué)習(xí)框架Tensorflow（V2.0）的Slim 模塊完成基于生成對抗網(wǎng)絡(luò)的樣本增強和深度殘差網(wǎng)絡(luò)訓(xùn)練模型的搭建，同時使用GPU 計算加速訓(xùn)練過程，硬件運行環(huán)境選擇為TitanX 顯卡、16G 內(nèi)存。實驗數(shù)據(jù)來源于某區(qū)域2016 年1 月至2019 年11 月的供電量數(shù)據(jù)，數(shù)據(jù)按月度統(tǒng)計，共47組數(shù)據(jù)。數(shù)據(jù)情況如圖2所示。

圖2 2016～2019年某區(qū)域月度供電量數(shù)據(jù)

同時，收集了334 天的按天統(tǒng)計的供電量信息，為2019 年1 月～11 月每天的供電量數(shù)據(jù)。此外，整理了近4 年該區(qū)域每天的天氣數(shù)據(jù)，包括平均溫度與平均降雨量。

將上述數(shù)據(jù)按照前述方法，整理為樣本集。

4.1 樣本增強實驗

將整理好的334 組樣本分為兩部分：一部分為320組樣本，作為訓(xùn)練集；另一部分為14組，作為測試集。運用深度殘差網(wǎng)絡(luò)進行生成模型訓(xùn)練，并將訓(xùn)練好的模型在測試集上計算準(zhǔn)確率。模型輸入?yún)?shù)為隨機噪聲z、日期d、該日期其它年份供電量數(shù)據(jù)e、該天所在月份的供電量信息m。其中，若e在原始樣本集中缺失，則以平均供電量數(shù)據(jù)代替（月度供電量/該月天數(shù)）。

分別在訓(xùn)練1000 步、5000 步、1 萬步、2 萬步時統(tǒng)計測試集上的平均精度如圖3所示。

圖3 測試集上模型精度統(tǒng)計

如圖3 所示，由于樣本集較小，訓(xùn)練過程在10000步時，即已達到了94%的模型精度，增加一倍迭代次數(shù)后，20000步時精度達到95%，說明生成模型已趨于穩(wěn)定。

將模型應(yīng)用于2016 年1 月～2019 年11 月所有日期的供電量數(shù)值生成，增強按天統(tǒng)計的供電量樣本。其中1096 天供電量數(shù)據(jù)缺失，需要運用模型生成。由于這部分生成的樣本數(shù)據(jù)，沒有真實數(shù)據(jù)比對，無法直接計算準(zhǔn)確率。因此，實驗采用生成樣本（每天的供電量數(shù)據(jù)）按月匯總求和，并與月度供電量統(tǒng)計數(shù)據(jù)對比分析的方式，計算準(zhǔn)確率。運用訓(xùn)練20000 步生成的模型，2016 年1月至2018 年12月，各月度供電量樣本精度如圖4所示。

圖4 2016～2018年月度供電量預(yù)測精度（生成樣本精度）

每年度的月度供電量平均預(yù)測精度統(tǒng)計如表1所示。

表1 2016～2018年每年平均預(yù)測精度（生成樣本精度）

由表1 可見，從2016 年～2018 年，生成樣本（每天供電量）的精度逐年攀升，主要由于原始樣本集為2019 年數(shù)據(jù)，時序上越近的年份，生成的樣本越真實。

4.2 供電量預(yù)測實驗

運用前述方法構(gòu)建的深度殘差網(wǎng)絡(luò)，對擴充后的樣本集進行深度學(xué)習(xí)訓(xùn)練。擴充后樣本集共1430 組數(shù)據(jù)，每組數(shù)據(jù)包含當(dāng)天的供電量數(shù)據(jù)、平均溫度數(shù)據(jù)、平均降雨量數(shù)據(jù)、當(dāng)前日期供電量數(shù)據(jù)，以及該日期所在月份的供電量數(shù)據(jù)。數(shù)據(jù)集將分為三部分：一部分為1300 組數(shù)據(jù)，用于預(yù)測模型的訓(xùn)練；一部分為100 組數(shù)據(jù)組成測試集，用于評估模型性能；剩下的30 組數(shù)據(jù)選定2019 年11 月1日～2019 年11 月30 日的數(shù)據(jù)，用戶最終月度供電量預(yù)測精度評估。分別在訓(xùn)練10000 步、20000 萬步、50000 步和100000 步時，生成預(yù)測模型，模型在測試集上精度如圖5所示。

圖5 不同訓(xùn)練步長的預(yù)測模型精度

將模型運用于2019 年11 月的第三組數(shù)據(jù)，生成30個預(yù)測結(jié)果，將30個預(yù)測結(jié)果相加，得到最終2019 年11 月供電量的月度預(yù)測結(jié)果。重復(fù)5 組預(yù)測模型訓(xùn)練，每次訓(xùn)練100000 步，得到最終的預(yù)測結(jié)果如表2所示。

表2 月度供電量預(yù)測精度統(tǒng)計

上表平均預(yù)測精度為95.36%。

為比較采用樣本增強和深度殘差網(wǎng)絡(luò)后的模型性能，增加兩組實驗。兩組實驗均不做樣本增強。第一組用傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）直接對原始按月度統(tǒng)計的供電量信息進行訓(xùn)練，訓(xùn)練生成的模型用于預(yù)測2019 年11 月的月度用電量信息；第二組用深度殘差網(wǎng)絡(luò)對原始樣本集訓(xùn)練，同樣用生成模型預(yù)測2019 年11月的月度用電量信息。每組實驗重復(fù)五次，訓(xùn)練步長均為100000 步，求得平均預(yù)測精度。最終比較結(jié)果如表3所示。

表3 月度供電量預(yù)測精度比較

比較結(jié)果顯示，本論文采用的樣本增強方法和殘差神經(jīng)網(wǎng)絡(luò)用于月度供電量預(yù)測，對比同類型的傳統(tǒng)方法，具有較為明顯的優(yōu)勢。

5 結(jié)語

本文提出了一種基于樣本增強和深度殘差網(wǎng)絡(luò)的月度供電量預(yù)測方法。首先，提出了一種改進的生成對抗網(wǎng)絡(luò)模型，通過該模型將所有按月度統(tǒng)計的供電量數(shù)據(jù)，同分布生成小粒度的按天統(tǒng)計的供電量信息，實現(xiàn)有效樣本的增強，避免深度學(xué)習(xí)預(yù)測模型訓(xùn)練過程中，由于樣本量不足造成的欠擬合現(xiàn)象；其次，運用深度殘差網(wǎng)絡(luò)，對增強后的樣本集實現(xiàn)與預(yù)測模型訓(xùn)練；最終通過不同實驗，驗證并分析了本文所述方法，能夠有效提升同類傳統(tǒng)模型的預(yù)測精度。