含有梯度懲罰的WGAN光伏功率場景生成方法

胡石峰，朱瑞金，唐 波

（西藏農(nóng)牧學(xué)院電氣工程學(xué)院，林芝 860000）

隨著清潔能源的不斷開發(fā)并網(wǎng)，光伏電源滲透率日益增高，而光伏能源出力的波動性和間歇性也隨之給電力系統(tǒng)的規(guī)劃和運行帶來了全新挑戰(zhàn)[1]，因此，如何準(zhǔn)確地對光伏功率不確定性進(jìn)行建模是應(yīng)對這些挑戰(zhàn)的關(guān)鍵。場景分析法是對可再生能源出力不確定性進(jìn)行建模的主要方法之一[2]，該方法通過生成符合光伏出力特征的時間序列場景來表征光伏輸出功率，能夠?qū)栴}轉(zhuǎn)換為確定性優(yōu)化問題再進(jìn)行求解[3]。通過使用場景分析法，調(diào)度運行人員能夠更加精準(zhǔn)地做出考慮不確定性的決策，例如隨機(jī)優(yōu)化調(diào)度、機(jī)組組合等[4-5]，并且能得到更加穩(wěn)定的優(yōu)化方案[6]。

已有研究主要采用基于模型的方法，通過構(gòu)建概率分布模型并從中采樣得到場景。文獻(xiàn)[7-8]利用Copula函數(shù)對風(fēng)電場的不確定出力進(jìn)行建模后通過蒙特卡洛抽樣得到場景；文獻(xiàn)[9-10]采用Wasserstein距離作為指標(biāo)構(gòu)建與可再生能源概率分布近似的場景模型，從而生成漸進(jìn)最優(yōu)場景；文獻(xiàn)[11]提出了一種矩匹配（moment matching）技術(shù)用于生成滿足指定統(tǒng)計屬性的有限數(shù)量場景；文獻(xiàn)[12]基于大氣動力方程和風(fēng)速降尺度方程得到風(fēng)速的聯(lián)合分布，再采用蒙特卡洛生成場景。然而，基于模型的方法很難捕捉到可再生能源發(fā)電的多樣性，并且這類方法通常依賴統(tǒng)計假設(shè)，這使得在實踐中很難獲得機(jī)組變化的動態(tài)特性。

隨著人工智能技術(shù)的深入研究及其與電力行業(yè)的結(jié)合，基于機(jī)器學(xué)習(xí)的方法如人工神經(jīng)網(wǎng)絡(luò)[13]、變分自動編碼器[14]和生成對抗網(wǎng)絡(luò)GAN（generative adversarial networks）[15]等，也被用于可再生能源場景的生成。文獻(xiàn)[16]提出了一種基于Wasserstein距離的生成對抗網(wǎng)絡(luò)方法WGAN（Wasserstein GANs），可生成具有時空相關(guān)性的風(fēng)電、光伏機(jī)組出力場景；文獻(xiàn)[17]將貝葉斯公式引入生成對抗網(wǎng)絡(luò)，能夠產(chǎn)生不同均值和方差的可再生能源場景簇；文獻(xiàn)[18]采用深度卷積生成對抗網(wǎng)絡(luò)，以詹森-香農(nóng)JS（Jensen-Shannon）散度作為目標(biāo)函數(shù)生成負(fù)荷場景；文獻(xiàn)[19]提出生成矩匹配網(wǎng)絡(luò)，將最大平均差異作為生成器的損失函數(shù)，用于可再生能源場景生成；文獻(xiàn)[20]提出了一種結(jié)合長短時記憶網(wǎng)絡(luò)的序列生成對抗網(wǎng)絡(luò)，用于捕獲復(fù)雜天氣特征的風(fēng)電時序場景；文獻(xiàn)[21]將生成對抗網(wǎng)絡(luò)生成的風(fēng)、光和負(fù)荷場景應(yīng)用于虛擬電廠的優(yōu)化調(diào)度問題中。與基于模型的方法相比，這些人工智能方法可以潛在地捕捉可再生能源的高維和非線性特征。但是，以上方法仍然存在生成場景質(zhì)量低，模型泛化能力差等問題，并且訓(xùn)練時收斂難和收斂慢等問題依舊未能解決。

為克服上述問題，本文引入了梯度懲罰GP（gradient penalty）項對傳統(tǒng)生成對抗網(wǎng)絡(luò)方法進(jìn)行改進(jìn)。梯度懲罰技術(shù)提高了判別器網(wǎng)絡(luò)的Lipschitz連續(xù)性和梯度信息質(zhì)量，能夠?qū)?quán)重系數(shù)進(jìn)行自適應(yīng)修正，從而起到改善現(xiàn)有生成對抗網(wǎng)絡(luò)方法收斂難和收斂慢的作用。實驗研究證明，本文所提方法能夠生成多樣性的高質(zhì)量光伏功率場景，并且具有良好的泛化能力。通過對比實驗可知，使用梯度懲罰的WGAN在收斂速度和性能指標(biāo)上均優(yōu)于其他先進(jìn)方法。

1 改進(jìn)的生成對抗網(wǎng)絡(luò)模型

1.1 傳統(tǒng)生成對抗網(wǎng)絡(luò)

GAN是Goodfellow提出的一種強(qiáng)大的無監(jiān)督生成式模型[22]。生成對抗網(wǎng)絡(luò)基本結(jié)構(gòu)如圖1所示，該結(jié)構(gòu)受博弈論中“零和博弈”的啟發(fā)演化而來，包含生成器和判別器兩個深度神經(jīng)網(wǎng)絡(luò)。其中，生成器用于捕捉實際樣本數(shù)據(jù)的分布規(guī)律，并依照規(guī)律生成新的數(shù)據(jù)樣本；判別器為二分類器，用于數(shù)據(jù)的辨別，即判斷輸入數(shù)據(jù)來源于真實數(shù)據(jù)還是生成器的生成數(shù)據(jù)。在模型訓(xùn)練過程中，生成器與判別器之間形成一個動態(tài)的“博弈”過程，最終實現(xiàn)納什均衡，即生成器的生成樣本與真實樣本數(shù)據(jù)的分布極為相近，判別器難以識別樣本的來源，對于輸入的樣本判斷為真或假的概率都基本接近1/2。

圖1 生成對抗網(wǎng)絡(luò)基本結(jié)構(gòu)Fig.1 Basic structure of GANs

為了便于分析，本文令x作為光伏歷史出力數(shù)據(jù)，其分布用Pdata表示，該分布是一個未知的、難以建模的分布。假設(shè)隨機(jī)噪聲變量z是從某個已知分布PZ（如高斯分布）中采樣得到的。為了使GAN能進(jìn)行博弈訓(xùn)練，分別定義生成器G(·;θg)和判別器函數(shù)D(·;θd)，θg和θd分別是兩個神經(jīng)網(wǎng)絡(luò)的權(quán)重。方便起見，本文有時會省略θ。

在訓(xùn)練過程中，將一批噪聲z～PZ送到生成器之中，輸出的生成樣本為G(z;θg)～Pg。同時，來自真實數(shù)據(jù)x或生成數(shù)據(jù)G(z;θg)的一批樣本被送到判別器，該判別器目標(biāo)是識別數(shù)據(jù)來自何處。根據(jù)不同的數(shù)據(jù)源，判別器的輸出可以表示為

式中：preal為判別器對真實樣本的判別概率；pfake為判別器對生成樣本的判別概率。

在明確了生成器和判別器的目標(biāo)之后需要分別定義一個損失函數(shù)來更新它們的神經(jīng)網(wǎng)絡(luò)。對于給定的判別器，生成器希望增大判別器對G（z）的概率輸出pfake，因為較大的判別器輸出意味著樣本更加真實。對于給定的生成器，判別器則要在最小化pfake的同時尋求preal的最大化。因此，這兩個神經(jīng)網(wǎng)絡(luò)的損失函數(shù)可以分別定義為

式中：LG與LD分別為生成器和判別器的損失函數(shù)；E為樣本的期望值。在生成器和判別器之間建立一個博弈關(guān)系，使兩個網(wǎng)絡(luò)可以同時訓(xùn)練，其博弈模型目標(biāo)函數(shù)可以表示為

式中，VGANs(G,D)為對抗網(wǎng)絡(luò)的價值函數(shù)。

1.2 改進(jìn)的生成對抗網(wǎng)絡(luò)WGAN-GP

傳統(tǒng)GAN的目標(biāo)函數(shù)可等價于求解真實樣本數(shù)據(jù)分布Pdata和生成樣本分布Pg的JS散度。然而，因Pdata和Pg均為高維空間中的低維流形，它們之間的重疊約可忽略不計，JS散度為一常數(shù)。這將導(dǎo)致判別器無法準(zhǔn)確衡量樣本分布之間的距離，在訓(xùn)練中會出現(xiàn)梯度消失使網(wǎng)絡(luò)訓(xùn)練困難的問題，從而影響生成場景的準(zhǔn)確性[23]。

本文提出的WGAN-GP光伏場景生成方法采用Wasserstein距離直接衡量Pdata和Pg的分布特性差異，其計算方法為

式中，W(Pdata,Pg)兩個分布的Wasserstein距離。就模型訓(xùn)練而言，這種方法可以處理因JS散度而引起的訓(xùn)練不穩(wěn)定的問題。此外，引入該梯度懲罰項能夠增強(qiáng)模型的Lipschitz連續(xù)性并且提高模型收斂速度。其中，梯度懲罰項可用公式描述為

式中，x?=tx+(1-t)G(z),t～U[0,1]。

據(jù)式（6）和式（3），判別器的損失函數(shù)[24]可改寫為

式中，λ為梯度懲罰系數(shù)。

采用WGAN-GP能夠緩解梯度消失的問題并能自適應(yīng)的進(jìn)行權(quán)重修正，提升判別器回傳的梯度信息質(zhì)量，從而使所提方法在訓(xùn)練過程中更加穩(wěn)定，提高模型的收斂能力和收斂速度，在保證樣本多樣性的基礎(chǔ)上生成更高質(zhì)量的樣本，并提高了模型的泛化能力，有效緩解了過擬合問題。

2 基于WGAN-GP的光伏場景生成

2.1 數(shù)據(jù)集說明

本文采用美國可再生能源實驗室的實際數(shù)據(jù)集進(jìn)行仿真和分析。以華盛頓州某光伏發(fā)電站3年的出力曲線作為數(shù)據(jù)集，功率曲線的時間分辨率為5 min，每天包括288個采樣點。本文模型的訓(xùn)練集取隨機(jī)選擇的80%的采樣點作為輸入樣本，其余的20%作為測試集。所提方法采用PyTorch深度學(xué)習(xí)框架，計算機(jī)硬件配置為 Intel（R）Core（TM）i9-10900K CPU@3.70GHz，GPU為RTX3090。

2.2 模型結(jié)構(gòu)與參數(shù)設(shè)置

本文針對光伏出力的特點設(shè)計了WGAN-GP的兩個神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，分別如圖2和圖3所示。圖2為判別器的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，包括3個卷積神經(jīng)網(wǎng)絡(luò)和1個全連接神經(jīng)網(wǎng)絡(luò)，其中卷積層用于提取光伏出力曲線的動態(tài)特征信息，而全連接層則用于判別概率。圖3展示了生成器的網(wǎng)絡(luò)結(jié)構(gòu)，包括1個全連接層和3個反卷積層，其中全連接層從隨機(jī)噪聲中采樣，反卷積層則通過學(xué)習(xí)真實分布重構(gòu)光伏場景。卷積層和反卷積層均采用步長為2、大小為3×3的卷積核進(jìn)行卷積計算，能夠提高網(wǎng)絡(luò)的表達(dá)能力，充分提取光伏出力特征。神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的所有權(quán)重值均由中心正態(tài)分布初始化得到，標(biāo)準(zhǔn)差取0.02。除輸出層外，以整流線性單元ReLU（rectified linear unit）函數(shù)作為生成器的激活函數(shù)，以帶泄露的整流線性單元（leaky-ReLU）函數(shù)作為判別器的激活函數(shù)。

圖2 判別器神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Neural network architecture of discriminator

圖3 生成器神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Neural network architecture of generator

3.3 訓(xùn)練流程

將WAN-GP應(yīng)用于光伏出力場景生成，其訓(xùn)練流程大致如下。

步驟1將歷史樣本進(jìn)行歸一化處理，并將每576個采樣點的光伏出力時序數(shù)據(jù)重塑為24×24的矩陣。

步驟2分別從Pdata和PZ中進(jìn)行小批量采樣獲得真實樣本x和隨機(jī)噪聲z，并將噪聲送入生成器生成樣本。

步驟3將生成樣本和真實樣本數(shù)據(jù)x送入判別器。計算帶有梯度懲罰的判別器損失函數(shù)，并采用Adam優(yōu)化算法更新判別器網(wǎng)絡(luò)的權(quán)重。重復(fù)ncritic次步驟2和步驟3。

步驟4計算生成器損失函數(shù)然后利用Adam優(yōu)化算法對網(wǎng)絡(luò)權(quán)重進(jìn)行更新，若訓(xùn)練還未結(jié)束，返回步驟2，進(jìn)行下一輪訓(xùn)練。

步驟5達(dá)到設(shè)定的訓(xùn)練次數(shù)，則訓(xùn)練結(jié)束，提取WGAN-GP中的生成器模型。

在本文的實驗中，參考文獻(xiàn)[16，24]中讓生成器與判別器交替訓(xùn)練來提高模型的綜合性能，設(shè)定判別器與生成器的訓(xùn)練次數(shù)之比為5∶1，即ncritic=5。更加詳細(xì)的偽代碼見算法1。

算法1：基于WGAN-GP的光伏場景生成Require：學(xué)習(xí)率α；梯度懲罰系數(shù)λ,小批量大小m，Adam優(yōu)化器超參數(shù) β1,β2；Epoch設(shè)定為WRequire:初始化生成器和判別器的權(quán)重參數(shù)θg、θd1：for w=1，2，…，Wdo 2：for t=1，2，…，ncriticdo 3：for i=1，2，…，mdo 4：采樣得到真實數(shù)據(jù)x～Pdata，隨機(jī)噪聲 z～PZ以及一個隨機(jī)數(shù)ε～U[0,1]5：x?← G(z)6：x?← εx+(1- ε)x? 7：L(i) ← D(x?)-D(x)+ λ(||?x?D(x?)||2-1)2 8：end for 9：θd←Adam(?ωL(i),θd,α,β1,β2)10：end for 11：從噪聲分布中采樣的到{}m1 m∑i=1 z(i)m～PZ12：θg←Adam(?θ i=1 m-D(G(z)),θg,α,β1,β2)13:end for 1 m∑i=1

3 算例分析

3.1 光伏時序場景生成

本文使用歷史數(shù)據(jù)訓(xùn)練WGAN-GP模型驗證其能高效地學(xué)習(xí)到光伏出力特征并精確地構(gòu)建機(jī)組的不確定性場景。訓(xùn)練集的訓(xùn)練進(jìn)程如圖4和圖5所示，本文設(shè)定訓(xùn)練次數(shù)Epoch為300，其中一個Epoch表示所有訓(xùn)練樣本經(jīng)過神經(jīng)網(wǎng)絡(luò)前后各傳遞一次。

圖4 判別器損失值隨訓(xùn)練過程的變化Fig.4 Changes in loss values of discriminator with training

圖5 判別器對樣本的輸出Fig.5 Output from the discriminator on samples

圖4展示了隨著訓(xùn)練進(jìn)行真實數(shù)據(jù)分布和生成樣本分布之間的距離變化。由圖可以看出，訓(xùn)練初期判別器損失值為7.69，當(dāng)訓(xùn)練到第8個Epoch時，損失值迅速下降，此后逐漸收斂至0，意味著真實樣本分布和生成樣本分布之間重合度逐漸變大，兩樣本分布的距離減小，此時WGAN-GP收斂。

圖5表示判別器對輸入樣本的判別概率，由圖可以看出，同樣在訓(xùn)練初期判別器對于樣本的輸出有較大差異，很容易區(qū)分出輸入樣本的來源。當(dāng)訓(xùn)練次數(shù)達(dá)到30次Epoch時，判別器對輸入樣本的概率均趨近于0.5，此時模型達(dá)到納什均衡狀態(tài)，說明生成樣本已逼近真實的歷史數(shù)據(jù)。

訓(xùn)練完成后，使用WGAN-GP隨機(jī)生成時間長度為3 d的場景樣本，并與測試集的真實樣本進(jìn)行比較，其中測試集樣本如前所述沒有用于模型的訓(xùn)練。為了證明所提WGAN-GP方法的優(yōu)越性，本文將WGAN-GP與其他2種先進(jìn)的場景生成方法WGAN和GAN進(jìn)行對比，對比結(jié)果如圖6所示。由圖可知，采用WGAN-GP生成的場景能夠很好地捕捉光伏發(fā)電模式變化的多樣性，例如大峰值、日夜變化等。與測試集的對比可以說明本文所提方法不是單純的模仿歷史數(shù)據(jù)，而是精確捕捉了真實光伏出力的特性，具有很強(qiáng)的泛化能力。此外由上述3種場景生成方法的生成場景曲線可以看出，WGAN生成的場景在黑夜時間段精度明顯降低，而GAN生成的場景與真實場景差距較大，本文所提方法則沒有上述問題，場景生成曲線與真實樣本擬合度較高，因此本文所提方法在生成時序場景方面優(yōu)于其他方法。

圖6 由3種方法生成的光伏出力場景及真實場景Fig.6 PV output scenarios generated by three methods and real scenario

本文進(jìn)一步分析了3種方法生成樣本與真實樣本數(shù)據(jù)的時間序列特性，分別計算它們的自相關(guān)系數(shù)R（τ），即

式中：S為隨機(jī)時間序列；μ和σ分別為該序列的均值與方差。自相關(guān)系數(shù)R（τ）能夠描述一組時間序列前后數(shù)據(jù)的相關(guān)關(guān)系。利用R（τ）可以從不同維度分析時間序列的數(shù)據(jù)特性，從而評價生成樣本的質(zhì)量。從圖7所示的由3種方法生成的光伏出力相關(guān)性系數(shù)可以看出，WGAN-GP方法生成樣本的自相關(guān)系數(shù)曲線與真實樣本的自相關(guān)系數(shù)曲線基本重合，可以說明WGAN-GP生成的場景與歷史數(shù)據(jù)具有十分相似的時間相關(guān)性，能夠代表光伏電站的實際運行情況，且所提方法在時序特性上優(yōu)于WGAN和GAN方法。

圖7 由3種方法生成的光伏出力的相關(guān)性系數(shù)Fig.7 Correlation coefficients of PV output generated by three methods

除了比較單個時間序列的隨機(jī)場景，本文通過核密度估計方法計算測試集歷史樣本和不同方法生成場景的累積分布函數(shù)CDF（cumulative distribution function），驗證本文所提方法生成的場景能夠還原光伏功率的長期統(tǒng)計特性。

對于任一實數(shù)x，其核密度估計的概率密度函數(shù)計算公式為

式中：xi為來自未知分布的隨機(jī)樣本；n為樣本大??；K（·）為核平滑函數(shù)；h為帶寬。進(jìn)一步計算CDF，有

生成樣本與真實樣本的累計分布函數(shù)計算結(jié)果如圖8所示。從圖中可以看出WGAN-GP生成場景和真實歷史樣本的CDF幾乎相互重疊，表明生成的樣本不僅能學(xué)習(xí)歷史數(shù)據(jù)的出力特征，還能學(xué)習(xí)到正確的統(tǒng)計分布規(guī)律，所提方法具有捕捉正確邊際分布的能力。通過與其他方法的對比可知，本文所提生成場景方法在長時間統(tǒng)計規(guī)律上明顯優(yōu)于WGAN和GAN方法。

圖8 生成樣本與真實樣本的累計分布函數(shù)Fig.8 Cumulative distribution functions of generated and real samples

3.2 不同方法的收斂性對比

為了進(jìn)一步證明所提方法在收斂性上優(yōu)于WGAN和GAN，本文采用在深度學(xué)習(xí)領(lǐng)域廣泛使用的Fréchet起始距離FID（Fréchet inception distance）和最大平均差異MMD（maximum mean discrepancy）作為評價指標(biāo)評價生成數(shù)據(jù)的優(yōu)劣[25]。

FID可表示為

式中：μg和μdata分別為生成場景與真實場景的均值；Σg和Σdata分別為協(xié)方差矩陣；Tr為矩陣的跡。FID數(shù)值越小說明兩者的均值和協(xié)方差越接近，模型的性能越好，生成數(shù)據(jù)的質(zhì)量越高。

MMD是在希爾伯特空間對真實數(shù)據(jù)和生成數(shù)據(jù)差異的一種度量，可以衡量兩個分布的相似性。MMD距離越小，表示Pg與Pdata越接近，生成的場景越逼近真實場景。MMD距離可表示為

式中，K為核函數(shù)。

3種方法的FID對比如圖9所示。由圖9可以看出，WGAN-GP在Epoch為20之前FID下降速度極快，達(dá)到穩(wěn)定后其值始終低于GAN和WGAN，最終收斂結(jié)果比原始GAN和WGAN分別小60%和34%。在圖10所示3種方法的MMD對比指標(biāo)中，WGANGP訓(xùn)練結(jié)束后MMD指標(biāo)僅為GAN的31%，顯著低于GAN，同時也低于WGAN。綜上，通過對FID和MMD的分析可知，本文所提出的WGAN-GP光伏場景生成方法能夠生成逼近真實數(shù)據(jù)流形的光伏出力場景，且收斂速度優(yōu)于GAN和WGAN方法。

圖9 3種方法的FID對比Fig.9 Comparison of FID among three methods

圖10 3種方法的MMD對比Fig.10 Comparison of MMD among three methods

4 結(jié)論

本文提出了一種基于WGAN-GP的光伏功率隨機(jī)場景生成方法。該方法是一種數(shù)據(jù)驅(qū)動方法，不需要任何關(guān)于概率分布的假設(shè)，也不依賴任何采樣技術(shù)，可以為光伏等清潔能源出力的不確定性建模提供新的理論指導(dǎo)。本文的主要結(jié)論如下。

（1）本文引入梯度懲罰項以改進(jìn)WGAN，提高了模型的訓(xùn)練穩(wěn)定性，克服了現(xiàn)有方法存在的收斂難和收斂慢的問題。

（2）實驗結(jié)果表明WGAN-GP能夠?qū)W習(xí)歷史數(shù)據(jù)的分布規(guī)律，生成高質(zhì)量的光伏出力場景。在與測試集的對比中，生成的場景不論在時間序列特性還是統(tǒng)計特性上都表現(xiàn)優(yōu)異，證明該模型具有良好的泛化能力。

（3）通過與其他先進(jìn)方法的對比可以看出，WGAN-GP在時序特性和統(tǒng)計特性上優(yōu)于WGAN和GAN方法，對于FID和MMD指標(biāo)上的提升均超過30%，收斂速度最快，明顯優(yōu)于現(xiàn)有生成對抗網(wǎng)絡(luò)方法。

致謝：

本文得到西藏自治區(qū)自然科學(xué)基金的資助，謹(jǐn)此致謝。