基于小樣本學習和生成式對抗網絡模型的短期風電功率預測

欒 毅， 剡文林，劉 巖，楊永強

(1.云南電力調度控制中心，云南 昆明 650041；2.華北電力大學能源動力與機械工程學院，北京 102206)

0 引 言

風電是一種重要的低碳能源，它具有低成本、清潔、可再生等諸多優(yōu)點，具有可持續(xù)能源供應的潛力[1]。風能固有的間歇性、隨機性和波動性等特點給大規(guī)模風電并網的安全調度和平穩(wěn)運營帶來挑戰(zhàn)[2]。準確的風電預測不僅可以有效解決風電消納問題，也會增強風電在電力市場中的競爭力[3]。

風電預測問題屬于數(shù)據密集型應用，其核心挑戰(zhàn)是如何處理大量、復雜、豐富多樣、快速變化的數(shù)據。機器學習在數(shù)據密集型應用中非常成功，但當數(shù)據集很小時，機器學習模型無法很好的學習到數(shù)據的完整特征[4]。國內外已有大量研究[5-7]表明，統(tǒng)計方法的模型并不直接建立風速與功率的物理關系，而是試圖找出數(shù)據之間的映射關系，需要對大量的歷史數(shù)據進行識別、擬合、訓練，才能達到一定的精度。為了解決這一問題，近年來提出了小樣本學習(Few-shot learning， FSL)[8]。利用先驗知識，F(xiàn)SL可以快速地泛化到只包含少量有監(jiān)督信息的樣本的新任務中[9]。

本文主要開展了以下3方面工作：①針對區(qū)域電網內的風電場缺少大量歷史數(shù)據的問題，本文提出了一種基于FSL的生成對抗網絡(Generative Adversarial Network， GAN)[10]模型用以擴充樣本集，從而更好地完成風電預測模型的訓練與預測功能；②針對傳統(tǒng)生成對抗網絡模型無法處理回歸問題的情況，提出了改進-生成對抗網絡(GR-GAN)的模型，使其可以在樣本有限的條件實現(xiàn)風電預測這一回歸問題；③使用兩個不同地區(qū)風電場的歷史發(fā)電量數(shù)據集進行了實驗驗證，結果表明與基線方法相比，本文模型方法達到了最佳預測效果并且在輸入較少樣本時模型就表現(xiàn)出較小的預測誤差。

1 算法理論介紹

1.1 小樣本學習

機器學習(Machine Learning)是一種計算機程序，可針對特定任務T學習經驗E，并根據性能評價指標P不斷提高經驗E在任務T上的表現(xiàn)。小樣本學習(FSL)是一類機器學習問題(使用E、T、P表示)，其中對目標任務T，E只有有限數(shù)量的有標簽信息。

目前的小樣本研究主要聚焦在監(jiān)督學習，具體可分為以下3類：小樣本分類問題(Few-shot classification)，其目的是在對每一個類別都只有少量有標簽樣本的情況下學習一個分類器；小樣本回歸(Few-shot regression)，其任務則是在有限的輸入-輸出樣本對上評估一個回歸函數(shù)h，其中yi是因變量y的觀測值，xi是模型輸入，即自變量x的觀測值；小樣本強化學習(Few-shot reinforcement learning)，其目標是在少量狀態(tài)-動作對的情況下學習強化策略。風電預測問題的預測目標變量是連續(xù)變量，因此屬于一類回歸問題，本文主要基于小樣本回歸實現(xiàn)風電預測。

1.2 生成對抗網絡

GAN包括2個獨立的深度網絡：生成器和判別器。生成器接收一個隨機變量z并將其映射到數(shù)據分布pdata(x)，其中z的分布為pz(z)。生成器的輸出分布應收斂到訓練期間的數(shù)據分布。判別器通過輸出0或1來判別生成器產生的樣本是否為真樣本。在GAN的訓練過程中，生成器和判別器分別用于生成樣本和分類樣本，采用對抗的方式提升彼此的性能。GAN采用對抗損失函數(shù)來訓練生成器和判別器

minGmaxDV(D，G)=Ex～Pdata(x)[logD(x)]+
Ez～Pz(z)[log(1-D(G(z)))]

(1)

G(z)是生成數(shù)據分布，因此公式可以改為

minGmaxDV(D，G)=Ex～Pdata(x)[logD(x)]+
Ex～PG(x)[log(1-D(x))]

(2)

式中，maxDV(D，G)為最大化判別器D的價值函數(shù)。判別器的任務是，對于真數(shù)據，輸出1；對于假數(shù)據，輸出0。由此可知Ex～Pdata(x)[logD(x)]表示了真數(shù)據的價值，Ex～PG(x)[log(1-D(x))]表示假數(shù)據的價值，兩部分的結果相加得到了判別器的價值函數(shù)，其數(shù)值越大表示判別器越準確。minG部分則是要最小化生成器G的價值函數(shù)，訓練生成器時目標與判別器訓練目標相反，希望D(x)接近與0，即迭代器對假數(shù)據的判斷結果越錯誤越好，這樣就表示了生成數(shù)據分布接近真實數(shù)據分布。

GAN算法的目的是推導出由兩方參與的極小化極大算法的納什均衡點(Nash-equilibrium point)[11]。在本文的風電預測算法中，針對風電場發(fā)電數(shù)據樣本偏少的問題，基于GAN模型完成風電樣本的生成與判定任務。

2 基于GR-GAN的風電預測模型

各地區(qū)風電場保存的歷史數(shù)據包含了大量的缺失值，并且存在一些噪音，不利于算法模型的訓練。因此首先需要對風電場原始數(shù)據進行數(shù)據預處理，得到標準的、干凈的、連續(xù)的數(shù)據。

隨后基于風電場的歷史功率、歷史風速、地形地貌、數(shù)值天氣預報、風電機組運行狀態(tài)等數(shù)據建立風電場的特征表達和融合，進而構建風電場輸出功率的預測模型。受到改進的GAN技術的啟發(fā)[12]，改進GAM模型，使其能夠處理風電預測這一回歸問題。本文應用GAN生成逼真的高質量樣本，并預測與這些生成的樣本相對應的連續(xù)標簽。

最終對整個網絡模型(包括生成器和判定器)進行訓練，最終得到訓練好的預測模型。以風速、功率或數(shù)值天氣預報數(shù)據作為模型的輸入，結合風電場機組的設備狀態(tài)及運行工況，得到風電場未來的輸出功率。具體流程如圖1所示。

圖1 GR-GAN模型流程

2.1 數(shù)據表示

針對風電場歷史數(shù)據集中重要性相對較低的溫度數(shù)據和濕度數(shù)據的缺失部分，基于溫度數(shù)據與濕度數(shù)據服從正態(tài)分布的性質，使用期望值最大化方法(Expectation maximization，EM)進行填充。對于風力特征及其他重要性靠前且缺失率適中的特征參數(shù)，根據歐式距離確定缺失數(shù)據樣本最近的K個樣本，將這K個值加權平均來估計該樣本的缺失數(shù)據，同時使用K最近鄰模型(K-means clustering)預測補充缺失值。

2.2 預測模型構建

借鑒改進的GAN模型原理，提出了GR-GAN模型，重點是基于生成對抗網絡的半監(jiān)督學習來解決回歸問題，它包含一個生成器和一個判別器，其中生成器負責生成接近訓練集的真實樣本；判別器用于驗證生成的樣本并且將這些樣本預測成連續(xù)的標簽。使用特征匹配技術訓練生成器。判別器產生兩個輸出：一個用于預測風電場的功率標簽，一個用于預測生成樣本是真/假的概率。預測標簽歸一化到[0，1]范圍后，在判別器網絡的最后一層使用sigmoid函數(shù)進行非線性變換。

我們使用一個無監(jiān)督GAN損失函數(shù)以及一個有監(jiān)督回歸損失訓練判別器

(3)

基于回歸的GR-GAN模型結構如圖2所示，其中D(x)和預測標簽均使用卷積神經網絡(Convolutional neural network， CNN)。其中，xgen為生成器產生的無標簽風電場數(shù)據；xlabel為有標簽的真實風電場數(shù)據；xunlab為無標簽的真實風場數(shù)據。

圖2 GR-GAN模型結構示意

3 實驗結果及分析

3.1 評價指標

為評估風電預測模型GR-GAN的準確性，選用2個指標作為評估標準。一是平均絕對百分比誤差(Mean Absolute Percentage Error，MAPE)用于評估實時誤差，代表線性回歸損失，公式為

(4)

式中，n為數(shù)據集中包含風電場數(shù)據樣本的天數(shù)；Wi為第i天的實際發(fā)電量，kW·h；W′i為第i天的預測發(fā)電量， kW·h。

另一個指標是均方根百分比誤差(Root Mean Squard Percentage Error，RMSPE)用于評估預測期間的總體誤差，代表誤差的平方的期望值，表達式為

(5)

3.2 對比算法

為驗證GR-GAN算法的生成對抗網絡結構的性能及其對電場日風力發(fā)電功率的預測性能，使用原始生成對抗網絡(Original-RGAN)、支持向量回歸(Support vector regression， SVR)、長短期記憶(Long-short term memory， LSTM)算法進行對比驗證。

Original-RGAN是以原始GAN模型為基礎，在一個生成模型G、一個判別模型D上加入一個回歸模型R?；谂袆e模型D通過對抗學習得到的一系列潛在特征層，通過R與D共享特征層可以提高風電預測回歸模型R的性能表現(xiàn)。同時利用回歸模型R估計生成模型G的條件變量與生成樣本之間互信息的下界值，約束生成模型G使其產生更真實的樣本。

SVR方法作為支持向量機(support vector machine， SVM)在回歸問題上的應用，SVR方法使用核函數(shù)將風電場數(shù)據映射到特征空間并尋找一個最佳區(qū)域，再對區(qū)域外的點進行回歸操作。

LSTM方法是LSTM網絡，通過訓練時在風電場時間序列上的反向傳播來克服梯度消失問題，由于其易于處理時間序列的特性，可以用來構建大規(guī)模的遞歸神經網絡來處理機器學習中復雜的序列問題，并取得不錯的結果[12]。

3.3 仿真實驗與結果分析

實驗風電場的數(shù)據集分別來自新疆某風電場和內蒙古某風電場，前者保存了2015年～2018年的數(shù)據，后者保存了2014年～2019年的數(shù)據。將最后一年的數(shù)據作為測試集，其余作為訓練集。模型對2個測試集的1月時間尺度預測結果如圖3所示。

圖3 實驗對比

由圖3可以看出，GR-GAN模型曲線與真實發(fā)電量曲線表現(xiàn)出相同的趨勢，在所有模型中最接近真實發(fā)電量數(shù)據。通過觀察可知，GR-GAN模型與其他三種模型相比大幅減小了誤差，表現(xiàn)出最好的預測性能，證明了模型在風電預測問題的有效性；LSTM模型表現(xiàn)出比Original-RGAN模型更好的預測效果，這是由于LSTM模型基于風電場數(shù)據的時間序列建模，更好的表征了數(shù)據，而Original-RGAN模型雖然可以生成更多樣本，但其內部結構簡單的卷積網絡層與回歸模型制約了其預測效果；SVR方法表現(xiàn)出了最差的預測性能，這說明SVR這種基于機器學習的方法在本案例中不能很好表示風電場的數(shù)據特征。

本文同時驗證了模型在少量樣本情況下的預測性能，實驗結果如圖4所示，橫坐標表示模型使用x天的訓練數(shù)據，縱坐標為模型的平均絕對百分比誤差。由圖4可見，在訓練的初始階段，基于GAN模型的GR-GAN和Original-RGAN就表現(xiàn)出了較小的誤差，而LSTM模型和SVR模型在實驗初期誤差較高，說明基于生成對抗網絡的模型更適用于小樣本的風電預測問題；隨著加入訓練的真實樣本數(shù)越來越多，LSTM模型的誤差小于Original-RGAN模型，說明在樣本足夠的情況下LSTM模型可以保持較好的預測性能。

圖4 小樣本實驗對比

表1、2列出了兩個數(shù)據集中小樣本實驗的誤差，進一步證明了本文方法的有效性。實驗分別使用了200、500、1 000 d以及全部真實樣本進行訓練，對比分析各模型的平均誤差。由觀察可知，GR-GAN模型相比Original-RGAN其MAPE降低了2.19%，這表明，GR-GAN中的無監(jiān)督網絡模型對生成樣本有很好的增強效果；GR-GAN模型相比LSTM模型MAPE降低了0.33%，說明GR-GAN模型表現(xiàn)了較有競爭力的預測性能，與LSTM模型的全樣本預測結果差別較小的原因可能是由于GR-GAN模型內部的CNN結構不能像LSTM模型可以對時間序列有更好的表示。

表1 小樣本實驗預測誤差統(tǒng)計(新疆電場數(shù)據集) %

表2 小樣本實驗預測誤差統(tǒng)計(內蒙古電場數(shù)據集) %

4 結 論

本文對新疆、內蒙古地區(qū)兩個風力發(fā)電量的短期預測問題進行了研究，提出了一種基于小樣本學習與生成對抗網絡的風電發(fā)電量預測模型，在兩個風電場數(shù)據集上進行了驗證，結論如下：

(1)在多個對比方法中，基于GAN的方法在所有驗證方法中表現(xiàn)最好，說明此類網絡結構更適用于小樣本的風電預測問題，其中GR-GAN模型體現(xiàn)出了最好的預測性能。

(2)在處理復雜風電數(shù)據時，基于深度學習的方法表現(xiàn)出更強的學習能力。

(3)LSTM模型對全樣本訓練的風電預測問題仍然表現(xiàn)了較小的誤差，說明LSTM模型更適合處理風電數(shù)據所構成的時間序列，鑒于其既適用于風電預測的小樣本學習，又能對時間序列進行更準確的預測，因此后續(xù)工作將進一步探索融合LSTM網絡的GAN回歸模型。