基于生成對抗網(wǎng)絡(luò)的綜合能源負(fù)荷場景生成方法

朱慶,鄭紅娟,唐子逸,韋思雅,鄒子驍,吳熙

(1. 國電南瑞科技股份有限公司，南京市 211106；2. 國網(wǎng)浙江杭州市余杭區(qū)供電有限公司，杭州市 311100；3. 東南大學(xué)電氣工程學(xué)院，南京市 210096)

0 引 言

綜合能源系統(tǒng)是多種能源協(xié)調(diào)形成的產(chǎn)消一體化系統(tǒng)，在提高能源利用率，推進(jìn)能源供給改革等方面發(fā)揮了巨大作用[1]。由于數(shù)據(jù)采樣和傳輸過程中存在不可避免的干擾甚至故障，導(dǎo)致實際計量數(shù)據(jù)的丟失或異常，對基于綜合能源負(fù)荷場景的計量仿真和規(guī)劃運行研究造成很大影響[2]，因此亟需一種適用于綜合能源高隨機和多能耦合特點的場景生成方法。此外，隨著高比例新能源和儲能系統(tǒng)的加入，原本就存在能源耦合的綜合能源系統(tǒng)負(fù)荷場景所面臨的情況更加復(fù)雜[3-4]。

目前較為常用的場景生成方法是基于統(tǒng)計模型[5-10]和基于人工智能的方法[11-17]?；诮y(tǒng)計模型的方法主要有馬爾可夫鏈法、時間序列法、蒙特卡洛法等；基于人工智能的方法主要有生成對抗網(wǎng)絡(luò)(generative adversarial networks, GAN)方法?；诮y(tǒng)計模型的場景生成方法有賴于實踐經(jīng)驗，很難對系統(tǒng)結(jié)構(gòu)存在差異的綜合能源系統(tǒng)進(jìn)行概率分布的顯式建模。近些年生成對抗網(wǎng)絡(luò)方法逐漸應(yīng)用于傳統(tǒng)負(fù)荷場景[11-12]、風(fēng)光新能源場景[13-14]和電動汽車場景[15]的生成。文獻(xiàn)[13]基于條件卷積生成對抗網(wǎng)絡(luò)，學(xué)習(xí)目標(biāo)新能源電站臨近電站的場景數(shù)據(jù)，補充該目標(biāo)電站的缺失數(shù)據(jù)。文獻(xiàn)[14]基于條件生成對抗網(wǎng)絡(luò)研究可再生能源日前場景生成，提高了風(fēng)電預(yù)測的準(zhǔn)確性。文獻(xiàn)[15]結(jié)合了聚類算法和改進(jìn)生成對抗網(wǎng)絡(luò)模型，從而獲得更豐富的電動汽車充電電流場景。文獻(xiàn)[16]應(yīng)用了梯度懲罰項，以改善生成對抗網(wǎng)絡(luò)擬合效果、提高風(fēng)電功率場景的生成質(zhì)量。文獻(xiàn)[17]以日期、溫度和歷史數(shù)據(jù)作為條件，提出了一種對分布式能源隨機性負(fù)荷建模的條件生成對抗網(wǎng)絡(luò)模型。

上述文獻(xiàn)主要研究了電力負(fù)荷場景、電動汽車場景、風(fēng)力發(fā)電場景等均為單一類型負(fù)荷場景的生成方法，并不涉及到多元負(fù)荷形式及其相互耦合關(guān)系。本文研究的綜合能源系統(tǒng)負(fù)荷場景涉及到冷、熱、電等多種能源形式，存在多能源系統(tǒng)的耦合以及不同能源之間的交互影響，具有時序性、高隨機性和耦合性等特點，問題的復(fù)雜性使得上述文獻(xiàn)提及的生成方法在本文綜合能源負(fù)荷場景中可用性大大降低。

本文提出一種結(jié)合基于梯度懲罰優(yōu)化的Wasserstein生成對抗網(wǎng)絡(luò)模型和深度長短期記憶(long short-term memory, LSTM)的綜合能源負(fù)荷場景生成方法。首先，模型使用Wasserstein距離和梯度懲罰機制優(yōu)化負(fù)荷場景中容易出現(xiàn)的梯度消失和模式崩潰的問題，提高生成對抗網(wǎng)絡(luò)的可靠性、穩(wěn)定性和擬合概率分布能力，更適用于隨機性較高的綜合能源負(fù)荷場景。其次，為更有效地提取場景中的時序特征，采用深度LSTM網(wǎng)絡(luò)構(gòu)建GAN的生成器和判別器，強化網(wǎng)絡(luò)的時序特性和非線性擬合能力，使其更能突出綜合能源場景多元負(fù)荷之間的時序特性和關(guān)聯(lián)性。最后，通過算例驗證所提方法在概率分布、時序特征和負(fù)荷相關(guān)性方面的生成效果，并與蒙特卡洛法和原始生成對抗網(wǎng)絡(luò)算法進(jìn)行對比。

1 綜合能源負(fù)荷場景

綜合能源系統(tǒng)的負(fù)荷具有隨機性，同時也存在能源之間的相互耦合。多能源耦合使得負(fù)荷之間的關(guān)系比單一能源系統(tǒng)更緊密，某種負(fù)荷用能變化會對其他負(fù)荷產(chǎn)生相應(yīng)影響。例如，電負(fù)荷和熱負(fù)荷之間通過電鍋爐等方式耦合，冷負(fù)荷和電負(fù)荷之間通過電制冷機耦合。

綜合能源系統(tǒng)負(fù)荷的復(fù)雜動態(tài)特性、耦合與時變特性對建模提出了獨特的挑戰(zhàn)。一方面，生成負(fù)荷的概率分布要與高隨機性真實負(fù)荷保持一致；另一方面，生成負(fù)荷的時變特性要在幅值、波動、峰值等方面有所體現(xiàn)。

2 改進(jìn)的GAN模型

2.1 生成對抗網(wǎng)絡(luò)模型

生成對抗網(wǎng)絡(luò)由Ian Goodfellow首次提出[18]，其核心思想是生成器和判別器相互競爭的納什均衡。在博弈訓(xùn)練過程中，生成器的生成能力和判別器的判別能力越來越強，直到達(dá)到平衡點為止，此時判別器無法對生成器樣本的真假進(jìn)行判別。生成器和判別器經(jīng)過相互訓(xùn)練提高生成能力和判別能力的過程，也即二者探索納什均衡的過程[19]。

生成器和判別器的損失函數(shù)可以分別定義為：

LG=-EZ{D[G(Z,θG),θG]}

(1)

LD=-EX{D(Strain,θD)+
EZ{D[G(Z,θG),θD]}}

(2)

式中：LG、LD分別為生成器和判別器的損失函數(shù)；θG表示生成器的網(wǎng)絡(luò)參數(shù)；θD表示判別器的網(wǎng)絡(luò)參數(shù)；G(Z,θG)表示生成器接收隨機的噪聲Z，通過不同功能的神經(jīng)元進(jìn)行一系列采樣操作，輸出生成的樣本數(shù)據(jù)；D(Strain,θD)和D[G(Z,θG),θD]分別表示訓(xùn)練樣本和生成樣本作為輸入時判別器的輸出；EZ(·)和EX(·)分別表示對噪聲分布的期望值和訓(xùn)練樣本分布的期望值。當(dāng)輸入來自真實樣本數(shù)據(jù)時，損失函數(shù)LD期望輸出盡可能接近1；當(dāng)輸入來自生成器生成的樣本時，損失函數(shù)LG期望輸出盡可能接近0。

根據(jù)GAN的訓(xùn)練規(guī)則，可以分別固定生成器和判別器，形成一個極大極小博弈問題。令GAN網(wǎng)絡(luò)的目標(biāo)函數(shù)為V(G,D)，則該博弈問題可以表示為：

(3)

2.2 Wasserstein GAN

相關(guān)研究表明，原始GAN模型存在訓(xùn)練不收斂問題[2]。訓(xùn)練過程中生成器和判別器的損失函數(shù)都不會出現(xiàn)明顯的收斂過程，模型的訓(xùn)練程度只能通過觀察生成樣本的好壞間接判斷，缺少直接顯示訓(xùn)練程度的表征。

為了解決上述問題，采用基于Wasserstein距離的WGAN模型進(jìn)行綜合能源負(fù)荷場景生成。Wasserstein距離代表模型訓(xùn)練過程中負(fù)荷真實分布與生成分布之間的距離，會隨網(wǎng)絡(luò)參數(shù)訓(xùn)練不斷收斂。因此Wasserstein距離可以作為算法訓(xùn)練程度和生成質(zhì)量的評估指標(biāo)，用于衡量GAN訓(xùn)練擬合程度和生成負(fù)荷場景概率分布的合理性。

Wasserstein距離的定義為：

(4)

式中：π(x,x′)為滿足p(x)與p(x′)邊緣分布的聯(lián)合概率密度函數(shù)；d(x,x′)為場景間距離測度。

由于Wasserstein距離的計算成本較高，在GAN中可以使用Kantorovich-Rubinstein對偶簡化Wasserstein距離的計算，其公式為：

(5)

式中：‖f(x)‖L≤1表示f(x)遵循1-Lipschitz函數(shù)，其導(dǎo)數(shù)絕對值上界為1；pr為真實歷史數(shù)據(jù)的樣本分布；pg為生成對抗網(wǎng)絡(luò)生成樣本的概率分布；sup(·)函數(shù)是可以求解某條件下最小上邊界的函數(shù)。

雖然WGAN目標(biāo)函數(shù)使生成器的優(yōu)化更加容易，但是對于某些特定的輸入，其仍然可能產(chǎn)生低質(zhì)量的樣本，或者在某些設(shè)置下無法收斂。通過引入梯度罰分項Gp來限制生成器和判別器的梯度下降，改善WGAN算法在收斂速度和收斂穩(wěn)定性方面存在的問題。

Gp=λ·Ex′～p(x′){[‖D(x′)‖-1]2}

(6)

因此，目標(biāo)函數(shù)V(G,D)轉(zhuǎn)換為：

(7)

2.3 基于LSTM的生成器和判別器

為了確保模型有效捕捉綜合能源負(fù)荷數(shù)據(jù)的時序特征，挖掘多元負(fù)荷中隱含的相互依賴關(guān)系，本文采用LSTM模型構(gòu)建深度LSTM網(wǎng)絡(luò)設(shè)計生成器和判別器。由于LSTM內(nèi)部的記憶機制，深度LSTM模型能夠捕捉時間相關(guān)性[20]，在時序上反向傳播不容易出現(xiàn)梯度消失，且更適用于綜合能源多元負(fù)荷時間序列數(shù)據(jù)的非線性和時序性。

生成器和判別器結(jié)構(gòu)如圖1所示。生成器和判別器由輸入層、深度LSTM層、全連接層和池化層構(gòu)成，深度LSTM層由多層LSTM模型構(gòu)成。通過狀態(tài)信息在同層之間、層與層之間的傳遞，該神經(jīng)網(wǎng)絡(luò)理論上能夠應(yīng)對更復(fù)雜的時間序列，比淺層架構(gòu)的神經(jīng)網(wǎng)絡(luò)具有更好的泛化效果。

圖1 生成器和判別器結(jié)構(gòu)Fig.1 Structure of generator and discriminator

2.4 模型訓(xùn)練

基于圖1生成對抗網(wǎng)絡(luò)架構(gòu)，構(gòu)建綜合能源負(fù)荷生成模型，具體實現(xiàn)方法為：1)構(gòu)建淺層架構(gòu)和較少神經(jīng)網(wǎng)絡(luò)節(jié)點的初始模型，選擇通用超參數(shù)配置以保證收斂的穩(wěn)定性；2)根據(jù)初始模型確定超參數(shù)調(diào)節(jié)閾值，尋找模型最優(yōu)超參數(shù)。為提高生成數(shù)據(jù)質(zhì)量，并在避免過擬合的前提下保證Wasserstein距離最近，參考文獻(xiàn)[21-23]，設(shè)置超參數(shù)閾值如表1所示。

依據(jù)模型調(diào)參結(jié)果，確定生成器由一個深度LSTM層和一個全連接層組成。深度LSTM層具有4個隱藏層，每層有300個LSTM單位，全連接層使用了線性整流函數(shù)(rectified linear unit, ReLU)。判別器由一個深度LSTM層、一個全連接層和一個平均池化層組成。LSTM層由4個隱藏層組成，每層有300個LSTM單位，全連接層采用ReLU函數(shù)。

表1 負(fù)荷生成模型的超參數(shù)閾值Table 1 Hyper-parameter threshold of load generation model

依據(jù)文獻(xiàn)[24-25]，生成對抗網(wǎng)絡(luò)生成器的輸入噪聲分布會一定程度影響訓(xùn)練收斂速度，考慮到電負(fù)荷波動較大，冷熱負(fù)荷波動較小，采用N(0,5)分布作為電負(fù)荷模型的噪聲輸入，采用N(0,1)分布作為冷負(fù)荷和熱負(fù)荷的噪聲輸入。

3 綜合能源多元負(fù)荷場景生成

3.1 數(shù)據(jù)預(yù)處理

由于神經(jīng)網(wǎng)絡(luò)的激活函數(shù)在[0, 1]區(qū)間輸入時具有良好的非線性，因此需要對數(shù)據(jù)進(jìn)行歸一化。為了保證數(shù)據(jù)量級的統(tǒng)一，使用最大最小歸一化對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，實現(xiàn)對原始數(shù)據(jù)的等比例縮放。每個數(shù)據(jù)的值被縮放為介于0和1之間的值，如下所示：

(8)

3.2 生成步驟

綜合能源負(fù)荷場景生成模型如圖2所示，生成器基于噪聲Z產(chǎn)生的生成負(fù)荷場景和經(jīng)過預(yù)處理后的真實負(fù)荷場景混合在一起傳遞給判別器識別。判別器根據(jù)原始網(wǎng)絡(luò)參數(shù)和樣本標(biāo)簽計算損失函數(shù)，通過反向傳播更新網(wǎng)絡(luò)參數(shù)。

GAN通過2個對抗性網(wǎng)絡(luò)交替訓(xùn)練實現(xiàn)損失函數(shù)和網(wǎng)絡(luò)權(quán)重的更新。經(jīng)過算法驗證，綜合能源負(fù)荷場景生成中生成器和判別器的訓(xùn)練進(jìn)度以1∶1交替訓(xùn)練時，生成器與判別器的權(quán)重更新速率不匹配。為了確保每次更新生成器時，判別器都有足夠的步數(shù)移動到最佳點，本文模型中生成器的學(xué)習(xí)率設(shè)置為判別器的5倍[26]。即判別器訓(xùn)練5次，生成器訓(xùn)練一次。不斷重復(fù)上述訓(xùn)練過程，直至2個網(wǎng)絡(luò)損失函數(shù)收斂，此時生成器具備生成逼真樣本的能力。

圖2 GAN訓(xùn)練流程Fig.2 Training process of generative adversarial networks

4 算例分析

4.1 數(shù)據(jù)描述

本文使用來自美國亞利桑那州立大學(xué)Campus Metabolism綜合能源平臺的每日24 h的電、冷、熱負(fù)荷數(shù)據(jù)構(gòu)建場景集。數(shù)據(jù)的時間間隔為1 h。

4.2 模型訓(xùn)練與場景生成

Wasserstein作為真實負(fù)荷場景與基于訓(xùn)練集的生成負(fù)荷場景的距離指標(biāo)，指導(dǎo)并反映模型的訓(xùn)練程度和訓(xùn)練效果。在訓(xùn)練的早期階段，Wasserstein距離相對較大，真實樣本和生成樣本表現(xiàn)出很大的差異，這是因為生成器此時還未學(xué)習(xí)到真實數(shù)據(jù)的分布。Wasserstein距離隨訓(xùn)練變化情況如圖3所示。隨著訓(xùn)練的進(jìn)行，判別器通過和生成器的持續(xù)對抗提升判別能力，Wasserstein距離越來越小，最終保持在0.01附近波動。這表明判別器已經(jīng)無法準(zhǔn)確判別出樣本的來源是真實樣本還是生成樣本，生成器已經(jīng)具備生成擬真樣本的能力。

圖3 Wasserstein距離隨訓(xùn)練變化情況Fig.3 Wasserstein distance changes with training

從未被模型學(xué)習(xí)過的測試集中隨機抽取真實場景，對多條生成場景進(jìn)行驗證。生成場景與真實場景樣本數(shù)據(jù)比較如圖4所示。本文方法所生成的負(fù)荷場景與真實樣本基本一致，準(zhǔn)確地捕捉了冷熱電負(fù)荷場景的標(biāo)志性特征，如峰值、谷值和波動性。譬如，冷負(fù)荷和熱負(fù)荷波動較為平穩(wěn)，其分別在15:00、07:00左右到達(dá)用電高峰，04:00、16:00左右到達(dá)用電低谷；電負(fù)荷隨機性、波動性強，白天相比夜晚負(fù)荷更高。

圖4 生成場景與真實場景樣本數(shù)據(jù)比較Fig.4 Comparison of sample data between generated and real scenarios

4.3 場景生成質(zhì)量評估

綜合能源負(fù)荷生成場景可以從場景集的時序特性、概率分布特性、冷熱電負(fù)荷之間相關(guān)性3個方面進(jìn)行評估。

1)時序特性。

為研究生成場景與真實場景在時序特性方面的相關(guān)性，引入自相關(guān)系數(shù)對比場景的時序相關(guān)性[27]。自相關(guān)系數(shù)反映了原負(fù)荷序列與滯后τh負(fù)荷序列之間的相關(guān)性，具有驗證生成樣本學(xué)習(xí)時間序列相關(guān)性的能力，可應(yīng)用于場景生成領(lǐng)域。

本文方法生成場景與真實場景自相關(guān)系數(shù)比較如圖5所示，在滯后0～10 h的范圍內(nèi)，本文方法所生成的冷、熱、電場景和真實場景的自相關(guān)系數(shù)一致性較高，生成場景的時序特性滿足真實場景時序特性的要求。

圖5 本文方法生成場景與真實場景自相關(guān)系數(shù)比較Fig.5 Comparison of autocorrelation between generated and real scenarios

2)概率分布特性。

累積分布函數(shù)(cumulative distribution function, CDF)可以直觀表征負(fù)荷場景的概率分布，方便對比真實負(fù)荷場景與生成負(fù)荷場景之間的關(guān)系。本文采用累積分布函數(shù)分析生成場景的概率分布特性。

圖6給出了本文方法、蒙特卡洛法和原始GAN方法生成的多元負(fù)荷場景集與真實場景集的CDF曲線對比，本文方法在冷、熱、電負(fù)荷生成中擬合效果最優(yōu)。3種方法對熱負(fù)荷和冷負(fù)荷的生成結(jié)果在概率分布方面差異較小，這與冷、熱負(fù)荷波動小、較穩(wěn)定的特點相一致，蒙特卡洛法用于電負(fù)荷場景生成效果較差，2種GAN方法相對較優(yōu)，這種差異可能是源于電負(fù)荷的高隨機性和波動性，GAN的對抗式算法擬合概率分布的能力更強。相較于原始GAN算法，本文方法生成的多元負(fù)荷場景集的CDF曲線與真實場景的擬合度更高，學(xué)習(xí)給定數(shù)據(jù)潛在概率分布的能力更強。

圖6 生成場景與真實場景數(shù)據(jù)概率分布特性比較Fig.6 Comparison of probability distribution characteristics between generated and real scenarios

3)負(fù)荷相關(guān)性。

綜合能源系統(tǒng)中的冷熱電負(fù)荷間協(xié)調(diào)互補的耦合機制也是衡量綜合能源負(fù)荷場景的重要指標(biāo)，通過皮爾森(Pearson)相關(guān)系數(shù)ρx,y衡量能源x與能源y之間的相關(guān)性：

(9)

式中：cov(x,y)表示x和y之間的協(xié)方差；σx和σy分別表示x和y之間的標(biāo)準(zhǔn)差；μx和μy分別表示x和y的均值。

真實場景、本文方法生成場景、原始GAN和蒙特卡洛方法生成場景下的負(fù)荷相關(guān)性如表2—5所示。

表2 真實場景下的負(fù)荷相關(guān)性Table 2 Correlation of load in real scenarios

表3 本文方法生成場景下的負(fù)荷相關(guān)性Table 3 Correlation of load scenarios generated by proposed method

表4 原始GAN生成場景下的負(fù)荷相關(guān)性Table 4 Correlation of load scenarios generated by original GAN

表5 蒙特卡洛生成場景下的負(fù)荷相關(guān)性Table 5 Correlation of load scenarios generated by Monte Carlo

為了更清晰地量化真實場景與生成場景在多元化方面的真實程度，定義多元負(fù)荷相關(guān)系數(shù)特征向量v的歐幾里得范數(shù)δ衡量冷熱電相關(guān)系數(shù)特征向量之間的距離：

(10)

δ=‖vreal-vgen‖2

(11)

式中：ρ1,2、ρ2,3、ρ3,1分別表示某種場景下的電冷、電熱、冷熱相關(guān)系數(shù)；vreal、vgen分別表示真實數(shù)據(jù)和生成數(shù)據(jù)的相關(guān)系數(shù)特征向量。

本文方法所生成場景與真實場景的距離為0.053 85，原始GAN生成場景與真實場景的距離為0.123 69，蒙特卡洛法生成場景與真實場景的距離為0.393 19，本文方法生成的負(fù)荷場景與真實場景更接近，生成的場景整體更符合真實數(shù)據(jù)的相關(guān)性規(guī)律。這說明本文的多元負(fù)荷場景生成方法能很好地學(xué)習(xí)到冷熱電負(fù)荷之間的復(fù)雜耦合性，并有很好的泛化效果。

5 結(jié) 論

本文提出了一種基于生成對抗網(wǎng)絡(luò)的綜合能源負(fù)荷場景生成方法。該模型使用帶梯度懲罰的Wasserstein距離作為判別器的損失函數(shù)，以適應(yīng)綜合能源負(fù)荷場景中容易出現(xiàn)的梯度消失問題。針對綜合能源負(fù)荷的時序性和關(guān)聯(lián)性，采用深度LSTM構(gòu)建GAN的生成器和判別器，使生成對抗網(wǎng)絡(luò)更適用于高隨機性的時間序列數(shù)據(jù)生成。通過真實負(fù)荷的訓(xùn)練和測試，結(jié)合原始GAN和蒙特卡洛方法的對比算例，表明該模型具有以下優(yōu)點：

1)以Wasserstein距離作為網(wǎng)絡(luò)訓(xùn)練程度的指標(biāo)，避免了GAN訓(xùn)練的盲目性，提高了場景生成算法的概率分布擬合能力，優(yōu)于蒙特卡洛模型和原始GAN模型，能更穩(wěn)定、更高效率地產(chǎn)生高質(zhì)量場景集；

2)加入的梯度懲罰項GP提高了算法的穩(wěn)定性，優(yōu)化了GAN訓(xùn)練可能會出現(xiàn)的梯度消失、梯度爆炸問題；

3)深度LSTM網(wǎng)絡(luò)架構(gòu)強化了生成場景的時序特性和非線性擬合能力，提高了綜合能源負(fù)荷生成場景與原始場景時序特征和多能耦合關(guān)系的一致性。