基于特征構(gòu)造和改進(jìn)PSO算法的分布式光伏功率預(yù)測

孟令哲，周 翔，曾新華，龐成鑫

(1.上海電力大學(xué)電子與信息工程學(xué)院，上海 200090；2.復(fù)旦大學(xué)工程與應(yīng)用技術(shù)研究院，上海200433)

大多數(shù)分布式光伏并沒有完善的天氣數(shù)值測量、衛(wèi)星云圖以及預(yù)報系統(tǒng)[1-2]，相比集中式光伏電站，功率預(yù)測難度較大。文獻(xiàn)[3]利用聚類方法進(jìn)行天氣分類，文獻(xiàn)[4]采用多種天氣融合進(jìn)行預(yù)測。相比集中式光伏電站，分布式光伏歷史數(shù)據(jù)量較少，天氣分類進(jìn)一步縮減可用數(shù)據(jù)，導(dǎo)致預(yù)測精度不高。

針對以上問題，建立了基于聚類算法的特征工程，聚類的指標(biāo)以及結(jié)果作為新的特征，以擴(kuò)大分布式光伏數(shù)據(jù)集的樣本規(guī)模；提出改進(jìn)粒子群優(yōu)化算法(PSO)，該改進(jìn)算法基于一種跳出循環(huán)策略，確保PSO 算法避免局部最優(yōu)情況發(fā)生，向全局最優(yōu)方向迭代，并應(yīng)用于模型超參數(shù)優(yōu)化中。

1 分布式光伏數(shù)據(jù)預(yù)處理

采用拉依達(dá)(3-Sigma)準(zhǔn)則[5]來判斷異常數(shù)據(jù)，并對異常數(shù)據(jù)進(jìn)行插值處理。分布式光伏輸出功率數(shù)據(jù)一般服從Beta 分布或者正態(tài)分布[6]，認(rèn)為測量數(shù)據(jù)x和平均數(shù)據(jù)μ之差若超過3 倍的標(biāo)準(zhǔn)差δ，則判定為異常數(shù)據(jù)，如式(1)所示，將原始數(shù)據(jù)壓縮到[0,1]范圍內(nèi)，最后預(yù)測時反歸一化處理。

2 相關(guān)性分析及特征構(gòu)造

只考慮光伏出力不為0 時刻的點(diǎn)，由于各個環(huán)境變量對分布式光伏輸出功率各不相同，應(yīng)對整個數(shù)據(jù)相關(guān)性進(jìn)行分析，以便于模型的降維處理，減少計算時間。每個環(huán)境變量序列與光伏輸出功率相關(guān)性計算公式如式(2)所示：

式中：R(Xj，Xk)為相關(guān)性系數(shù)；Cov(Xj，Xk)是兩個向量的協(xié)方差；Var(Xj)和Var(Xk)是兩個向量各自的方差。

引入二分聚類算法對原始數(shù)據(jù)進(jìn)行聚類，相比于傳統(tǒng)k-means 聚類算法[7]能克服陷入局部極小值的情況。聚類后的每個數(shù)據(jù)都會有一個歐氏距離的數(shù)據(jù)特征，該數(shù)據(jù)點(diǎn)是每個時間點(diǎn)的所有歐氏距離，歐氏距離計算公式如式(3)所示：

式中：d(x,y)是歐氏距離；xi是歸一化后特征；yi是歸一化后的光伏出力。該公式描述了與集群中心點(diǎn)的距離，中心點(diǎn)指的是典型天氣情況下的輸出功率和氣象因素之間的關(guān)系。每個時間點(diǎn)計算的歐氏距離作為獨(dú)立輸入特征，引入到數(shù)據(jù)集訓(xùn)練，其機(jī)理相當(dāng)于先于模型訓(xùn)練前，分析輸入和輸出的相關(guān)性，該相關(guān)性指標(biāo)納入到訓(xùn)練模型中，再引入聚類結(jié)果的特征。由于分布式光伏的數(shù)據(jù)可能沒有明確天氣的特征，所以無法進(jìn)行傳統(tǒng)的典型天氣如晴天、陰天、雨天的劃分，若采用聚類算法劃分，則無法說明該類別是否屬于某種典型天氣，而只能說明歸類結(jié)果。擴(kuò)充后的數(shù)據(jù)集再進(jìn)行監(jiān)督學(xué)習(xí)，因此，本構(gòu)造方法的訓(xùn)練特征增加二維，分別為聚類結(jié)果及歐氏距離，可用數(shù)據(jù)增加，能夠解決分布式光伏測量系統(tǒng)測量數(shù)據(jù)少的問題。

3 網(wǎng)絡(luò)模型

為了保留數(shù)據(jù)時序性，所提出的單步預(yù)測模型以長短時記憶網(wǎng)絡(luò)(LSTM)為基礎(chǔ)，引入注意力機(jī)制在LSTM 之后分配權(quán)重，提出改進(jìn)后的PSO 算法作為網(wǎng)絡(luò)超參數(shù)的優(yōu)化，并采用由序列到監(jiān)督的學(xué)習(xí)方法。

3.1 LSTM 循環(huán)神經(jīng)網(wǎng)絡(luò)

LSTM 在1997 年由Hochreiter 和Schmidhuber 所提出，是一種適合處理時間序列連續(xù)性的網(wǎng)絡(luò)，相比于循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)會出現(xiàn)陷入梯度消失和爆炸的情況，LSTM 網(wǎng)絡(luò)能夠解決長期依賴的問題[8]。LSTM 網(wǎng)絡(luò)的一個單元結(jié)構(gòu)如圖1 所示。

圖1 LSTM單細(xì)胞結(jié)構(gòu)

3.2 引入注意力機(jī)制的網(wǎng)絡(luò)模型

注意力機(jī)制是一種人類視覺反映到大腦而產(chǎn)生不同關(guān)注點(diǎn)的機(jī)制。現(xiàn)有如LSTM 模型之類的模型雖能學(xué)習(xí)輸入與輸出相關(guān)性，但無法準(zhǔn)確關(guān)注到各個輸入對輸出的影響程度大小，而注意力機(jī)制相當(dāng)于對輸入值進(jìn)行一個權(quán)重的分配，其它模型如BP 神經(jīng)網(wǎng)絡(luò)與注意力機(jī)制的結(jié)合在處理長序列的任務(wù)時表現(xiàn)并沒有LSTM 結(jié)合注意力機(jī)制好。因此，將注意力機(jī)制與LSTM 模型相結(jié)合進(jìn)行分布式光伏預(yù)測，所提模型的框圖如圖2 所示。

圖2 網(wǎng)絡(luò)模型框圖

X0～Xn為輸入網(wǎng)絡(luò)模型的歷史數(shù)據(jù)，包括氣象數(shù)據(jù)、歷史輸出功率，稱為輸入層。該數(shù)據(jù)流過LSTM層進(jìn)行特征提取學(xué)習(xí)，其中，利用改進(jìn)的PSO 算法優(yōu)化整個LSTM 網(wǎng)絡(luò)的超參數(shù)，優(yōu)化的參數(shù)結(jié)果返回到LSTM 層中。在注意力層中，h1～hn為輸入序列的狀態(tài)值，進(jìn)行相似性判斷后求兩者向量點(diǎn)積，按概率賦予各部分之間的權(quán)重a1～an，賦予較強(qiáng)特征較大的權(quán)重，反之同理，根據(jù)權(quán)重系數(shù)，對h1～hn加權(quán)求和，使得模型對強(qiáng)特征的表達(dá)能力更強(qiáng)，最后，數(shù)據(jù)通過全連接層輸出預(yù)測結(jié)果。

3.3 改進(jìn)PSO 的超參數(shù)優(yōu)化

使用粒子群算法進(jìn)行超參數(shù)優(yōu)化，共進(jìn)行維度為3 的超參數(shù)優(yōu)化，控制變量為抓包數(shù)大小，LSTM隱藏層神經(jīng)元大小，正則化率。目標(biāo)函數(shù)如式(4)所示，該公式反映了預(yù)測值與真實(shí)值的差值比之和，數(shù)值越小，說明模型擬合程度越高。

式中：predict為光伏輸出功率預(yù)測值；true為真實(shí)值。

針對標(biāo)準(zhǔn)粒子群算法存在容易陷入局部最優(yōu)的問題[9]，本文提出一種改進(jìn)的PSO 算法，用于在循環(huán)中跳出局部最優(yōu)點(diǎn)，并進(jìn)行下次迭代。標(biāo)準(zhǔn)PSO 算法出現(xiàn)局部最優(yōu)的原因主要有以下兩點(diǎn)：(1)粒子速度衰減較快，導(dǎo)致粒子在迭代到一定代數(shù)的過程中，速度太小，無法進(jìn)行搜索更新；(2)對于某些復(fù)雜問題，雖然粒子速度沒有明顯衰減，但是被更新到最優(yōu)位置的概率大大減小。

為了解決陷入局部最優(yōu)的問題，提出以下策略：每次迭代時，當(dāng)獲得一個局部最優(yōu)位置，則對所有粒子的位置進(jìn)行編碼成一個向量，對此時的粒子進(jìn)行聚類，聚類中心點(diǎn)隨迭代次數(shù)增加而減少，防止迭代剛開始時，粒子最優(yōu)位置不清晰，錯誤選擇最優(yōu)位置，但必須選擇以每次迭代的局部最優(yōu)位置作為一個中心點(diǎn)，也即加入先驗知識，如果局部最優(yōu)聚類簇數(shù)小于某一個中心點(diǎn)聚類簇數(shù)，則保存全局最優(yōu)到一個數(shù)組當(dāng)中，引入變異策略，按照一定概率，當(dāng)變異值大于0 且數(shù)組不為空集，則自行隨機(jī)選擇數(shù)組中的元素作為全局最優(yōu)，否則就初始化粒子和種群。由于數(shù)組中的粒子都是歷史的最優(yōu)值，再次選擇時可以提高粒子速度，同時，初始化會重新生成最優(yōu)值，避免一直在局部最優(yōu)值下迭代。為了實(shí)現(xiàn)快速優(yōu)化，獲得全局最優(yōu)和局部最優(yōu)之間最佳平衡，引入自適應(yīng)慣性權(quán)重ω，公式為：

式中：ωmax和ωmin是慣性權(quán)重的最大值和最小值；f為目標(biāo)函數(shù)值；favg為平均值；fmin為最小值。

ω用來控制粒子的速度大小，ω大時，由基本PSO 更新公式知，全局搜索能力強(qiáng)；ω小時，粒子速度減小，局部搜索能力強(qiáng)。當(dāng)每個粒子測量到的光伏輸出功率誤差基本一致時，粒子速度變小，則陷入了局部最優(yōu)，此時優(yōu)化得到的優(yōu)選變量為非最優(yōu)值，導(dǎo)致LSTM 網(wǎng)絡(luò)參數(shù)設(shè)置不合適，最終使得預(yù)測質(zhì)量降低。由式(5)可知，引入的自適應(yīng)慣性權(quán)重ω增大，增大了全局搜索能力，避免了繼續(xù)朝著局部最優(yōu)處更新粒子，粒子全局最優(yōu)得到更新。

3.4 評價指標(biāo)

本文采用的評價指標(biāo)共有三種：均方根誤差(RMSE)、平均絕對誤差(MAE)、擬合度[10]。RMSE與MAE均反映了預(yù)測值與真實(shí)值的偏差程度，擬合度的值越接近1，說明模型擬合效果越好。三種評價指標(biāo)的公式如下：

式中：RMSE、MAE、R2均為模型評價指標(biāo)；Pi為第i時刻光伏發(fā)電功率的真實(shí)值；P'i為第i時刻光伏發(fā)電功率的預(yù)測值；Piav為發(fā)電真實(shí)值的平均值；n為測試集的總時刻。

3.5 總流程

圖3 為神經(jīng)網(wǎng)絡(luò)預(yù)測光伏功率流程圖，數(shù)據(jù)預(yù)處理包含了數(shù)據(jù)的清洗。利用聚類算法，生成聚類結(jié)果及歐氏距離作為新特征擴(kuò)充數(shù)據(jù)集。特征工程構(gòu)造完畢后，歸一化數(shù)據(jù)進(jìn)行監(jiān)督學(xué)習(xí)，劃分為訓(xùn)練集、測試集以及預(yù)測集三類。在訓(xùn)練集中，經(jīng)過3.3節(jié)的算法，在該算法循環(huán)中初次訓(xùn)練網(wǎng)絡(luò)模型，根據(jù)適應(yīng)度函數(shù)得到最優(yōu)超參數(shù)，在測試集應(yīng)用最優(yōu)超參數(shù)進(jìn)行訓(xùn)練，輸出評價指標(biāo)來判斷該模型的性能。預(yù)測集用于輸出歸一化的預(yù)測值，反歸一化預(yù)測值后，最終輸出預(yù)測結(jié)果。

圖3 神經(jīng)網(wǎng)絡(luò)預(yù)測光伏功率流程圖

4 實(shí)驗分析

本研究的目的是在數(shù)據(jù)量少的情況下，預(yù)測分布式光伏電站的發(fā)電量，所用數(shù)據(jù)集為澳大利亞公開光伏數(shù)據(jù)集(DKASC)，包含了分布式光伏的輸出功率以及各類氣象因素，原始數(shù)據(jù)有全局輻射水平、溫度、相對濕度、漫反射水平、風(fēng)速、降雨量、相位。采用平臺為python3.8 版本。將數(shù)據(jù)進(jìn)行異常數(shù)據(jù)的檢測和歸一化處理后，構(gòu)造特征工程并融合數(shù)據(jù)集。測試集選取了一天內(nèi)150 個輸出功率不為0 的時間點(diǎn)，用于直觀反映預(yù)測效果。訓(xùn)練集與測試集之比為7∶3。

由式(2)計算得各因素相關(guān)系數(shù)為：全局輻射水平0.903、溫度0.423、相對濕度0.556、擴(kuò)散水平輻射0.117、風(fēng)向0.001、降雨量0.362 2、電流0.996，歐氏距離特征相關(guān)系數(shù)為0.574 6，聚類結(jié)果特征相關(guān)系數(shù)為0.481 1，與輸出功率有較高相關(guān)性，證明了所提特征構(gòu)造方法有效。由以上分析可知，風(fēng)向及擴(kuò)散水平輻照度與光伏輸出功率的相關(guān)性最小，該類特征不應(yīng)作為模型的訓(xùn)練特征。

改進(jìn)PSO 的初始化參數(shù)，設(shè)置為迭代次數(shù)90 次，加速因子C1為2，C2為3，慣性權(quán)重最大、最小值分別為0.7 和0.3，粒子數(shù)50 個，搜索維度為3 維。目標(biāo)函數(shù)如式(4)所示，優(yōu)化迭代曲線與未優(yōu)化迭代曲線如圖4 所示，標(biāo)準(zhǔn)算法在迭代至16 代時，算法開始有一個較長時間的收斂，而改進(jìn)后的算法在第78 代后才收斂，這是由于收斂速度與收斂計算時間存在矛盾。改進(jìn)后的算法由于其粒子初始化的原因，導(dǎo)致在經(jīng)過局部最優(yōu)時重新迭代，算法收斂速度下降。改進(jìn)后的迭代曲線上有兩次適應(yīng)度函數(shù)迅速增加，這是由于跳出循環(huán)策略的引入，選擇了歷史最優(yōu)值或者粒子初始化，從而跳過局部最優(yōu)，經(jīng)過兩次突變后，目標(biāo)函數(shù)繼續(xù)下降，并最終收斂，而標(biāo)準(zhǔn)的PSO算法，?？吭诰植孔顑?yōu)處不再收斂。改進(jìn)的PSO 算法從初始目標(biāo)函數(shù)值的2.4×1010降至1.4×1010。標(biāo)準(zhǔn)PSO 算法從初始目標(biāo)函數(shù)值的2.6×1010降至2.2×1010。

圖4 粒子群算法優(yōu)化曲線對比圖

優(yōu)化超參數(shù)的初始值和尋優(yōu)范圍如表1 所示。最終的優(yōu)化結(jié)果是神經(jīng)元數(shù)量為57，dropout 比率為0.015 64，Batch size 為34。在此超參數(shù)下，固定模型的訓(xùn)練效果最好。

表1 超參數(shù)優(yōu)化值

表2 展示的是不同超參數(shù)的取值，進(jìn)而形成的評價指標(biāo)。初始超參數(shù)均取表1 中的初始值。由表2可以看到，改進(jìn)后的PSO 算法相比標(biāo)準(zhǔn)PSO 算法優(yōu)化LSTM 網(wǎng)絡(luò)超參數(shù)后，RMSE、MAE均下降，而預(yù)測精度提升。說明與標(biāo)準(zhǔn)算法相比，改進(jìn)算法的收斂性更好，找到了更能滿足目標(biāo)函數(shù)最小值的控制變量，而結(jié)合圖4，標(biāo)準(zhǔn)算法的適應(yīng)度函數(shù)已經(jīng)在第15代趨于穩(wěn)定不再收斂，因此可以說明該算法陷入了局部最優(yōu)，而改進(jìn)后的算法無論在適應(yīng)度函數(shù)曲線上下降方面，還是在優(yōu)化超參數(shù)使得模型性能得到提升方面，均證明了所提改進(jìn)效果的有效性。

表2 不同超參數(shù)對性能指標(biāo)的影響

網(wǎng)絡(luò)模型共有4 層，包括2 個LSTM 層，一個注意力層以及一個全連接層。較高的學(xué)習(xí)率會增加丟失先驗知識的風(fēng)險，因此引入了學(xué)習(xí)率自適應(yīng)調(diào)整策略，每經(jīng)過10 次迭代，學(xué)習(xí)率降低為原來的1/10，初始學(xué)習(xí)率為0.01，采用Adam 優(yōu)化器。

圖5 展示了預(yù)測結(jié)果的對比，所提模型采用注意力機(jī)制與LSTM 網(wǎng)絡(luò)結(jié)合，且采用改進(jìn)的PSO算法進(jìn)行超參數(shù)的優(yōu)化，LSTM 模型是指去除超參數(shù)優(yōu)化及注意力機(jī)制預(yù)測的結(jié)果?？傮w來看，相對于LSTM 模型，所提模型的預(yù)測值與真實(shí)值更接近，曲線較為平滑，預(yù)測效果良好。在光伏出力較高的時間點(diǎn)，與真實(shí)值貼合更緊密，表明模型可以準(zhǔn)確預(yù)測高出力點(diǎn)的值。在光伏出力趨勢波動較大時，LSTM 模型預(yù)測極端變化點(diǎn)的輸出功率結(jié)果相比實(shí)際值會偏高，而所提模型在極端點(diǎn)的預(yù)測與真實(shí)值幾乎一致。

圖5 分布式光伏總預(yù)測曲線

表3 是不同方法評價指標(biāo)的數(shù)據(jù)。每次實(shí)驗和迭代由于尋優(yōu)各有差異以及模型的學(xué)習(xí)效果不同，數(shù)據(jù)均有變化，最大變化率不足5%，各種方法和模型下的實(shí)驗均進(jìn)行5 次，取平均值。

表3 預(yù)測方法評價指標(biāo)對比

方法一是簡單LSTM 監(jiān)督模型，其中超參數(shù)為初始參數(shù)；方法二引入聚類算法構(gòu)造特征，擴(kuò)充數(shù)據(jù)集；方法三引入了注意力層；方法四引入改進(jìn)PSO 算法優(yōu)化超參數(shù)。隨著模型深度增加，RMSE與MAE評價指標(biāo)均依次降低，R2指標(biāo)均依次升高，說明模型的擬合效果較好。構(gòu)造特征后，RMSE及MAE均有較大幅度降低，這是由于原始數(shù)據(jù)被擴(kuò)充后，網(wǎng)絡(luò)模型提取了更多有用信息，同時，各個特征的相關(guān)性信息也被充分提取。相比于方法三，方法四的評價指標(biāo)改善情況顯著，這是由于超參數(shù)的選擇可以改善模型性能，而優(yōu)化超參數(shù)會讓固定結(jié)構(gòu)的模型把性能發(fā)揮到極致。

表4 對比了不同神經(jīng)網(wǎng)絡(luò)對評價指標(biāo)的最終影響，均采用特征工程以及使用優(yōu)化算法進(jìn)行超參數(shù)自動調(diào)優(yōu)。從表中可以看出，LSTM 的評價指標(biāo)優(yōu)于其他三類神經(jīng)網(wǎng)絡(luò)，而Bi-LSTM 網(wǎng)絡(luò)與LSTM 網(wǎng)絡(luò)的評價指標(biāo)接近，且只有對于MAE，Bi-LSTM 低于LSTM，因此選用LSTM，而不選用Bi-LSTM 網(wǎng)絡(luò)是合理的?？梢钥吹剑啾扔贐P 神經(jīng)網(wǎng)絡(luò)，RNN 性能有較大的提升，這是由于RNN 神經(jīng)網(wǎng)絡(luò)具有時序性，相比BP 神經(jīng)網(wǎng)絡(luò)能夠更好處理時間序列。

表4 預(yù)測模型評價指標(biāo)對比

5 結(jié)論

本文提出了一種基于數(shù)據(jù)分析和挖掘的神經(jīng)網(wǎng)絡(luò)模型，應(yīng)用于分布式光伏歷史數(shù)據(jù)有限輸出功率的短期預(yù)測場景?；跉W式距離的特征工程的構(gòu)造方法，新特征與輸出功率之間存在較強(qiáng)聯(lián)系，最終在預(yù)測評價指標(biāo)上表現(xiàn)較好。同時，為了讓模型更加關(guān)注到與輸出功率存在強(qiáng)聯(lián)系的數(shù)據(jù)，引入了注意力機(jī)制到LSTM 模型當(dāng)中。實(shí)驗證明，模型評價指標(biāo)R2相比于簡單模型進(jìn)一步提高，最終擬合度接近98%。提出了一種避免PSO 算法陷入局部最優(yōu)的策略并應(yīng)用于神經(jīng)網(wǎng)絡(luò)的超參數(shù)自動尋優(yōu)，該策略是經(jīng)過一個局部最優(yōu)的判據(jù)后，選擇初始化粒子或者更新粒子跳過局部最優(yōu)點(diǎn)，實(shí)驗證明，相比標(biāo)準(zhǔn)的PSO 算法，適應(yīng)度曲線突起后大幅度下降，避免出現(xiàn)局部最優(yōu)不再收斂的情況。