基于生成對(duì)抗網(wǎng)絡(luò)的小樣本光伏發(fā)電短期預(yù)測(cè)

牛宇童，馮天波，李 慶，崔昊楊

(1.上海電力大學(xué)電子與信息工程學(xué)院，上海 200090；2.國(guó)網(wǎng)上海市電力公司信息通信公司，上海 200030；3.國(guó)網(wǎng)上海市電力公司閘北發(fā)電廠，上海 200432)

對(duì)于新建光伏電站而言，準(zhǔn)確的光伏發(fā)電預(yù)測(cè)較為困難。目前較多發(fā)電量預(yù)測(cè)的深度學(xué)習(xí)方法往往依賴高質(zhì)量海量數(shù)據(jù)[1]，然而新建電站氣象條件相關(guān)光伏發(fā)電量樣本數(shù)據(jù)積累不夠，從而使預(yù)測(cè)時(shí)效性和準(zhǔn)確率難以保證[2]。此外，在數(shù)據(jù)傳輸損失和噪聲干擾的影響下，光伏發(fā)電量數(shù)據(jù)丟失(統(tǒng)計(jì)表明可達(dá)40%以上[3])或存在臟數(shù)據(jù)[3]的情況并不少見(jiàn)，造成可用數(shù)據(jù)樣本更為匱乏。在小樣本數(shù)據(jù)增強(qiáng)的相關(guān)研究中，肖等[4]提出基于GAN 數(shù)據(jù)生成模型和RCGAN 負(fù)荷預(yù)測(cè)模型的SLF 方法，對(duì)小樣本進(jìn)行樣本擴(kuò)充，所得結(jié)果具有良好的穩(wěn)定性和準(zhǔn)確性。Zhang 等[5]采用SolarGAN 方法補(bǔ)全缺失的光伏數(shù)據(jù)，誤差減少至23.9%。上述研究未考慮到GAN 算法本身也需要大量的原始數(shù)據(jù)來(lái)支持網(wǎng)絡(luò)的訓(xùn)練收斂，若數(shù)據(jù)量較少，容易陷入模式崩塌和梯度爆炸。此外，目前小樣本光伏預(yù)測(cè)的方法由于未充分考慮氣象參數(shù)的影響權(quán)重，分析不充足，輸入不充分，所以依然存在一定的預(yù)測(cè)誤差[6]。對(duì)此，提出基于遷移學(xué)習(xí)改進(jìn)WGAN 和LSTM 的小樣本光伏發(fā)電量短期預(yù)測(cè)方法。相較于文獻(xiàn)[5]中的傳統(tǒng)WGAN 模型，本文在此基礎(chǔ)上引入深度遷移學(xué)習(xí)，學(xué)習(xí)已有的源域數(shù)據(jù)集知識(shí)，并遷移至對(duì)缺失樣本的數(shù)據(jù)增強(qiáng)，生成與原始數(shù)據(jù)高度相似分布的樣本；將氣象參數(shù)根據(jù)與發(fā)電量的相關(guān)程度賦予不同權(quán)重作為輸入，在LSTM 方法中增加了誤差補(bǔ)償機(jī)制，進(jìn)一步降低誤差。本文所提方法不僅解決了傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)樣本不足的問(wèn)題，提高了生成對(duì)抗網(wǎng)絡(luò)的泛化能力，同時(shí)有效提高了新建光伏電站小樣本情況下光伏發(fā)電量預(yù)測(cè)準(zhǔn)確率。

1 小樣本數(shù)據(jù)增強(qiáng)與發(fā)電量預(yù)測(cè)模型構(gòu)建

本文針對(duì)新建光伏電站小樣本光伏發(fā)電量短期預(yù)測(cè)分別構(gòu)建了數(shù)據(jù)增強(qiáng)模型和光伏預(yù)測(cè)模型，技術(shù)路線如圖1 所示。引入深度遷移學(xué)習(xí)算法對(duì)模型微調(diào)(fine-tuning)，并以訓(xùn)練參數(shù)優(yōu)化后的WGAN 模型對(duì)目標(biāo)數(shù)據(jù)集樣本進(jìn)行高效擴(kuò)充。在LSTM 預(yù)測(cè)中，通過(guò)對(duì)擴(kuò)充數(shù)據(jù)中的氣象參數(shù)與發(fā)電量作相關(guān)性和可視化分析，按照相關(guān)性程度賦予不同的權(quán)重作為輸入數(shù)據(jù)，并采用相似氣象條件發(fā)電值對(duì)預(yù)測(cè)結(jié)果誤差進(jìn)行補(bǔ)償，得到最終的預(yù)測(cè)結(jié)果。

圖1 小樣本光伏發(fā)電量短期預(yù)測(cè)的技術(shù)路線

1.1 數(shù)據(jù)增強(qiáng)模型構(gòu)建

常規(guī)的GAN 模型由生成網(wǎng)絡(luò)G(generative network)和判別網(wǎng)絡(luò)D(discriminative network)構(gòu)成，如圖2 所示。G 網(wǎng)絡(luò)由LSTM 模型構(gòu)成，用以生成數(shù)據(jù)；D 網(wǎng)絡(luò)由CNN 模型構(gòu)成，用以對(duì)生成數(shù)據(jù)和實(shí)際數(shù)據(jù)進(jìn)行分類。同時(shí)交替訓(xùn)練LSTM模型和CNN 模型：G 網(wǎng)絡(luò)學(xué)習(xí)光伏數(shù)據(jù)集的數(shù)據(jù)分布，D 網(wǎng)絡(luò)判別光伏數(shù)據(jù)來(lái)自實(shí)際樣本數(shù)據(jù)而不是生成樣本數(shù)據(jù)的概率。G 網(wǎng)絡(luò)的訓(xùn)練過(guò)程是最大化D 網(wǎng)絡(luò)判別出錯(cuò)的概率。G 和D 的博弈存在唯一解，當(dāng)D 估計(jì)概率為1/2 時(shí)，G 完成高類似光伏樣本數(shù)據(jù)的生成過(guò)程。GAN 同時(shí)可反向傳播訓(xùn)練，通過(guò)G 和D 的博弈即可完成對(duì)抗訓(xùn)練過(guò)程。常規(guī)GAN 的目標(biāo)函數(shù)如下[7]：

圖2 WGAN 結(jié)構(gòu)

式中：Pdata為實(shí)際目標(biāo)缺失數(shù)據(jù)集的樣本分布。

設(shè)輸入G 的天氣變量和光伏參數(shù)為z～Pz，G 網(wǎng)絡(luò)生成樣本G(z)的分布為Pg，D 網(wǎng)絡(luò)判別概率為C(x)。訓(xùn)練D 以更準(zhǔn)確地判別生成樣本和實(shí)際樣本，同時(shí)訓(xùn)練G 以最小化C[G(z)]。常規(guī)GAN 使用JS 散度來(lái)衡量Pdata和Pg兩個(gè)概率分布的相似度，由于Pdata和Pg幾乎不重疊，無(wú)論兩者差異大小，JS 散度均為常數(shù)log2，并導(dǎo)致生成網(wǎng)絡(luò)梯度消失[8]。為解決該問(wèn)題，利用Wasserstein 距離代替JS 散度對(duì)概率分布進(jìn)行量化[9]：

式中：∏(Pdata,Pg)為生成/實(shí)際光伏數(shù)據(jù)的聯(lián)合分布。對(duì)于任意聯(lián)合分布γ，取其中實(shí)際目標(biāo)數(shù)據(jù)集光伏數(shù)據(jù)x和生成樣本數(shù)據(jù)z，計(jì)算出兩類樣本距離||x－z||，得到該聯(lián)合分布γ 下樣本的期望值，在所有可能的聯(lián)合分布中對(duì)該期望值取下限值。WGAN 的整體結(jié)構(gòu)和訓(xùn)練過(guò)程與常規(guī)GAN 一致。WGAN 整體訓(xùn)練的目標(biāo)函數(shù)為[5]：

對(duì)于式(3)，將隨機(jī)噪聲和實(shí)際目標(biāo)數(shù)據(jù)集的樣本即(z+x)同作為G 網(wǎng)絡(luò)的輸入。D 網(wǎng)絡(luò)應(yīng)滿足1-Lipschitz 函數(shù)集的限制條件：

鑒于原始數(shù)據(jù)集樣本量不足難以訓(xùn)練WGAN，使用預(yù)訓(xùn)練的網(wǎng)絡(luò)來(lái)重新微調(diào)，遷移學(xué)習(xí)的流程如圖3 所示。先用源域數(shù)據(jù)集對(duì)WGAN 預(yù)訓(xùn)練，得到初始化網(wǎng)絡(luò)參數(shù)，凍結(jié)訓(xùn)練參數(shù)并對(duì)模型進(jìn)行層遷移，保留除全連接層外的模型參數(shù)和權(quán)重；使用少量目標(biāo)域數(shù)據(jù)訓(xùn)練完整的新全連接層并對(duì)權(quán)重進(jìn)行保存；采用層凍結(jié)的方法對(duì)部分關(guān)鍵層或整個(gè)模型的訓(xùn)練參數(shù)進(jìn)行微調(diào)。訓(xùn)練完成后，遷移部分的權(quán)重參數(shù)對(duì)模型起到了優(yōu)化效果，使得生成樣本更加接近實(shí)際樣本的分布。因此，將源域數(shù)據(jù)集內(nèi)學(xué)到的知識(shí)用于指導(dǎo)生成網(wǎng)絡(luò)的迭代優(yōu)化，完成源域內(nèi)知識(shí)到目標(biāo)域的遷移。

圖3 遷移學(xué)習(xí)流程

1.2 光伏預(yù)測(cè)模型構(gòu)建

利用三層LSTM 對(duì)擴(kuò)充的目標(biāo)數(shù)據(jù)集進(jìn)行預(yù)測(cè)。在三層LSTM 層中，第一層結(jié)構(gòu)為32×20，32 是網(wǎng)絡(luò)輸入樣本數(shù)，20是樣本數(shù)據(jù)緯度。第二層為32×16，第三層為32×12，輸入層為1×32，輸出層為1×1。使用Relu 函數(shù)作為激活函數(shù)，采用Adam 算法對(duì)各層權(quán)值進(jìn)行優(yōu)化，設(shè)置Dropout 機(jī)制來(lái)避免過(guò)擬合。以此，LSTM 對(duì)時(shí)序數(shù)據(jù)進(jìn)行建模，并且克服了RNN中的“梯度消失”和“梯度爆炸”問(wèn)題，從而實(shí)現(xiàn)光伏序列數(shù)據(jù)預(yù)測(cè)[10]。

為減小氣象因素誤差，本文增加誤差修正環(huán)節(jié)。選取目標(biāo)數(shù)據(jù)集中的現(xiàn)場(chǎng)溫度、光照強(qiáng)度等氣象數(shù)據(jù)構(gòu)造特征向量，建立目標(biāo)函數(shù)如下[11]：

目標(biāo)函數(shù)需滿足以下條件：

式中：M為氣象數(shù)據(jù)集；V1，V2，V3…分別為溫度、光照強(qiáng)度等光伏氣象數(shù)據(jù)；ρx為相關(guān)系數(shù)，且ρ1+ρ2+ρ3+…=1；dij為各樣本點(diǎn)到V1，V2，V3…等光伏氣象數(shù)據(jù)的歐氏距離；為濾除氣象數(shù)據(jù)奇點(diǎn)數(shù)據(jù)和偶發(fā)因素，設(shè)定J*為最大可允許修正量，超出此范圍則修正無(wú)效。

在小樣本氣象數(shù)據(jù)庫(kù)中，搜索并比較與預(yù)測(cè)發(fā)電量值對(duì)應(yīng)的氣象數(shù)據(jù)最相似的樣本，索引該組氣象數(shù)據(jù)對(duì)應(yīng)的光伏發(fā)電量實(shí)際值Pc和預(yù)測(cè)值Pr，取Pc和Pr差值的絕對(duì)值對(duì)LSTM 的初步發(fā)電量預(yù)測(cè)值進(jìn)行誤差補(bǔ)償，獲得最終發(fā)電量預(yù)測(cè)值，并將最終預(yù)測(cè)值實(shí)時(shí)上傳數(shù)據(jù)庫(kù)，以便進(jìn)行下一次誤差補(bǔ)償時(shí)更加精確。計(jì)算公式如下[11]：

式中：Po為L(zhǎng)STM 神經(jīng)網(wǎng)絡(luò)的初步發(fā)電量預(yù)測(cè)值。對(duì)分子取絕對(duì)值做限幅，意味著整體預(yù)測(cè)可能偏高。由于目標(biāo)數(shù)據(jù)集中發(fā)電量最高值Pmax在10～12 之間，對(duì)于計(jì)算出高于Pmax的數(shù)值，直接取預(yù)測(cè)值進(jìn)行截?cái)唷?/p>

2 案例分析

實(shí)驗(yàn)在CUDA8.0，Tesnoeflow1.4，Nvidia Titan1080ti GPU(12G)平臺(tái)下進(jìn)行，以GEFCom2014 年太陽(yáng)軌道的公開(kāi)太陽(yáng)數(shù)據(jù)集[12]為源域數(shù)據(jù)集，以2018 年DataFoutain 公開(kāi)的光伏電站數(shù)據(jù)集作為目標(biāo)數(shù)據(jù)集進(jìn)行案例研究。使用均方誤差(MSE)、均方根誤差(RMSE)和歸一化均方根誤差(NRMSE)作為評(píng)價(jià)指標(biāo)對(duì)模型精度進(jìn)行評(píng)估。

2.1 數(shù)據(jù)增強(qiáng)結(jié)果

為評(píng)估無(wú)監(jiān)督模型生成結(jié)果，設(shè)計(jì)了基于完整數(shù)據(jù)集生成小樣本數(shù)據(jù)集實(shí)驗(yàn)。以DataFoutain 的光伏電站數(shù)據(jù)集為基礎(chǔ)，按照40%缺失率隨機(jī)刪除，生成目標(biāo)缺失小樣本數(shù)據(jù)集；用數(shù)據(jù)增強(qiáng)模型補(bǔ)全缺失的40%數(shù)據(jù)，將生成的數(shù)據(jù)與實(shí)際數(shù)據(jù)進(jìn)行比較。使用下式隨機(jī)刪除光伏電站數(shù)據(jù)集中的部分?jǐn)?shù)據(jù)[5]：

式中：enj為光伏電站數(shù)據(jù)集中第j個(gè)樣本的向量表示；Mmj為光伏電站數(shù)據(jù)集中第j個(gè)樣本的0-1 矩陣，作內(nèi)積處理。0 為缺失，1 則保留，從而生成40%缺失率的目標(biāo)缺失數(shù)據(jù)集。使用式(2)～(4)構(gòu)造WGAN 模型，訓(xùn)練判別網(wǎng)絡(luò)時(shí)選擇優(yōu)化函數(shù)RMSProp。同時(shí)，訓(xùn)練生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)時(shí)選擇優(yōu)化函數(shù)為Adam，對(duì)模型的參數(shù)進(jìn)行更新[13]。設(shè)置Epoch 為30，Batchsize 為16。由于太陽(yáng)數(shù)據(jù)集和光伏電站數(shù)據(jù)集并不完全相同，對(duì)其作領(lǐng)域自適應(yīng)優(yōu)化。對(duì)兩個(gè)數(shù)據(jù)集的數(shù)據(jù)進(jìn)行二分類，盡可能篩選出太陽(yáng)數(shù)據(jù)集中與光伏電站數(shù)據(jù)集特征分布相近的數(shù)據(jù)，因此，將基于太陽(yáng)數(shù)據(jù)集特征訓(xùn)練的判別網(wǎng)絡(luò)用于光伏電站數(shù)據(jù)集。對(duì)二分類時(shí)的損失函數(shù)進(jìn)行優(yōu)化來(lái)提高分類準(zhǔn)確性，優(yōu)化目標(biāo)為[9]：

式中：pj=0 表示太陽(yáng)數(shù)據(jù)集的數(shù)據(jù)標(biāo)簽；qj=1 表示光伏電站數(shù)據(jù)集的標(biāo)簽。得到分類后的太陽(yáng)數(shù)據(jù)集后，利用前文的遷移學(xué)習(xí)流程對(duì)光伏電站數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，得到目標(biāo)擴(kuò)充數(shù)據(jù)集。通過(guò)與原始目標(biāo)數(shù)據(jù)集進(jìn)行比較，可得擴(kuò)充樣本和實(shí)際樣本的MSE為0.079，NRMSE為0.503。而以同樣本數(shù)據(jù)庫(kù)測(cè)試表明，SolarGAN 和GAN-Z 等常規(guī)模型的MSE分別為0.196 和0.369，因此本文方法生成的數(shù)據(jù)更符合實(shí)際數(shù)據(jù)分布。

2.2 數(shù)據(jù)預(yù)處理和可視化分析

對(duì)輸入數(shù)據(jù)進(jìn)行有效預(yù)處理可減少訓(xùn)練和計(jì)算代價(jià)并提高模型預(yù)測(cè)精度。本文對(duì)擴(kuò)充后的光伏電站數(shù)據(jù)集進(jìn)行了標(biāo)準(zhǔn)化處理，所有數(shù)據(jù)都在0～1 的特定范圍內(nèi)重新縮放。擴(kuò)充數(shù)據(jù)集每周期每天200 個(gè)ID，則45 d 訓(xùn)練集數(shù)據(jù)量為9 000 條。對(duì)45 d 內(nèi)的氣象和電壓電流等參數(shù)作散點(diǎn)圖，圖4(a)、(b)分別為平均功率和電壓的特征散點(diǎn)圖。發(fā)現(xiàn)平均功率和電壓等各特征參數(shù)基本都存在明顯異常值。根據(jù)統(tǒng)計(jì)學(xué)知識(shí)，異常值判定遵循以下基本規(guī)則：data∈[均值－3×標(biāo)準(zhǔn)差，均值+3×標(biāo)準(zhǔn)差]，凡是不在此范圍內(nèi)的數(shù)據(jù)均作奇點(diǎn)數(shù)據(jù)進(jìn)行刪除處理，并用上一點(diǎn)有效值替代。

圖4 目標(biāo)數(shù)據(jù)集部分特征散點(diǎn)圖

為探明各特征參數(shù)變化對(duì)光伏發(fā)電量的影響，本文計(jì)算了各氣象和電壓電流等參數(shù)與發(fā)電量的Pearson 相關(guān)系數(shù)，公式如下[14]：

式中：X為各特征參數(shù)值；Y為光伏發(fā)電量值；總體相關(guān)系數(shù)ρ為X、Y之間的協(xié)方差和標(biāo)準(zhǔn)差乘積的比值。若其值越接近＋1 則相關(guān)性越密切，其值大于等于0.8 時(shí)，視為高度相關(guān)。各特征參數(shù)與發(fā)電量的Pearson 系數(shù)如表1 所示，根據(jù)相關(guān)性系數(shù)的大小對(duì)各特征參數(shù)賦予不同的權(quán)重。

表1 Pearson 系數(shù)結(jié)果

為使相關(guān)性直觀體現(xiàn)，本文對(duì)部分特征參數(shù)與發(fā)電量之間的變化關(guān)系數(shù)據(jù)進(jìn)行了可視化處理。從圖5 中發(fā)現(xiàn)，圖5(a)、(b)分別為光照強(qiáng)度/40 和平均功率/480 的曲線，(a)、(b)中特征參數(shù)的變化曲線和發(fā)電量基本重合，光照強(qiáng)度和平均功率的Pearson 系數(shù)值也超過(guò)了0.8，所以其與發(fā)電量表現(xiàn)出較強(qiáng)相關(guān)性。圖5(c)為板溫的曲線，板溫的變化曲線與發(fā)電量只有小部分重合，Pearson 系數(shù)值為0.519，表現(xiàn)出中等強(qiáng)度相關(guān)性。圖5(d)為風(fēng)速曲線，(d)中特征參數(shù)的變化曲線和發(fā)電量的重合較少，Pearson 系數(shù)值也只有0.128，表現(xiàn)出較弱相關(guān)性。綜合分析Pearson 系數(shù)值和可視化圖可以發(fā)現(xiàn)，與發(fā)電量具有較強(qiáng)相關(guān)性的為光照強(qiáng)度、電流A 和平均功率，具有中等強(qiáng)度相關(guān)性的為板溫，具有較弱相關(guān)性的為現(xiàn)場(chǎng)溫度、轉(zhuǎn)換效率A、轉(zhuǎn)換效率C、功率C、電流B、電流C、風(fēng)速和風(fēng)向，其余特征參數(shù)不具有相關(guān)性，可忽略不計(jì)。

圖5 部分特征參數(shù)與發(fā)電量的相關(guān)性曲線圖

2.3 光伏短期預(yù)測(cè)結(jié)果及分析

通過(guò)對(duì)不同權(quán)重比時(shí)的模型預(yù)測(cè)結(jié)果的RMSE作比較，如表2 所示，可以看到，0.8∶0.1 時(shí)模型誤差最小。所以賦予特征參數(shù)最優(yōu)權(quán)重：光照強(qiáng)度、電流A、平均功率和板溫權(quán)重為0.8，其他弱相關(guān)性變量權(quán)重為0.1，此時(shí)，預(yù)測(cè)值與實(shí)際值更為符合。將所有特征參數(shù)賦予對(duì)應(yīng)的權(quán)重作為預(yù)測(cè)模型的輸入，得到光伏電站數(shù)據(jù)集的光伏發(fā)電量預(yù)測(cè)。發(fā)現(xiàn)初步預(yù)測(cè)結(jié)果仍有一定誤差，利用前文誤差補(bǔ)償方法，對(duì)結(jié)果進(jìn)行誤差補(bǔ)償修正。修正前后的結(jié)果對(duì)比如圖6 所示。由于式(7)～(9)和歷史實(shí)際發(fā)電值對(duì)初步預(yù)測(cè)結(jié)果的修正作用，使得修正發(fā)電量后的預(yù)測(cè)結(jié)果比未經(jīng)修正的結(jié)果誤差降低了37.2%。

表2 不同權(quán)重比時(shí)的模型RMSE 結(jié)果

圖6 誤差修正結(jié)果對(duì)比

為進(jìn)一步驗(yàn)證本文方法的有效性，將本文預(yù)測(cè)結(jié)果與常規(guī)LSTM 方法和GA-BP 方法進(jìn)行比較(圖7)，可以看出，在多峰值處本文方法所得結(jié)果更符合原始發(fā)電曲線。而通過(guò)比較本文方法和LSTM 模型、GA-BP 模型幾個(gè)方法的發(fā)電量誤差，可以看出，LSTM 模型、GA-BP 模型誤差波動(dòng)性較強(qiáng)，在－4～2之間波動(dòng)，誤差較大，而本文方法的誤差穩(wěn)定在－1～1之間(圖8)，本文方法的誤差相比常規(guī)方法至少降低了33.4%。

圖7 光伏預(yù)測(cè)方法結(jié)果對(duì)比

圖8 光伏預(yù)測(cè)方法誤差對(duì)比

3 結(jié)論

與其它未與GAN 數(shù)據(jù)增強(qiáng)相結(jié)合的常規(guī)人工神經(jīng)網(wǎng)絡(luò)方法相比，本文結(jié)合太陽(yáng)數(shù)據(jù)集對(duì)光伏電站小樣本數(shù)據(jù)集進(jìn)行數(shù)據(jù)擴(kuò)充，通過(guò)遷移學(xué)習(xí)方法優(yōu)化WGAN 網(wǎng)絡(luò)的初始參數(shù)設(shè)置，在有效擴(kuò)充新建光伏電站小樣本量的同時(shí)保證了生成樣本的質(zhì)量，提高了生成對(duì)抗網(wǎng)絡(luò)的泛化能力；充分考慮氣象多元參數(shù)作為輸入，并根據(jù)相關(guān)性大小賦予不同權(quán)重，發(fā)電預(yù)測(cè)誤差降低了33.4%。然而，對(duì)氣象參數(shù)賦予的權(quán)重比只適用于光伏場(chǎng)景，其他新能源場(chǎng)景需要根據(jù)相關(guān)性另作分析；基于GAN 的網(wǎng)絡(luò)的訓(xùn)練階段比較耗時(shí)，需要減少訓(xùn)練階段的計(jì)算時(shí)間，滿足實(shí)時(shí)處理的需要。