孟令哲,周 翔,曾新華,龐成鑫
(1.上海電力大學(xué)電子與信息工程學(xué)院,上海 200090;2.復(fù)旦大學(xué)工程與應(yīng)用技術(shù)研究院,上海200433)
大多數(shù)分布式光伏并沒有完善的天氣數(shù)值測量、衛(wèi)星云圖以及預(yù)報系統(tǒng)[1-2],相比集中式光伏電站,功率預(yù)測難度較大。文獻(xiàn)[3]利用聚類方法進(jìn)行天氣分類,文獻(xiàn)[4]采用多種天氣融合進(jìn)行預(yù)測。相比集中式光伏電站,分布式光伏歷史數(shù)據(jù)量較少,天氣分類進(jìn)一步縮減可用數(shù)據(jù),導(dǎo)致預(yù)測精度不高。
針對以上問題,建立了基于聚類算法的特征工程,聚類的指標(biāo)以及結(jié)果作為新的特征,以擴(kuò)大分布式光伏數(shù)據(jù)集的樣本規(guī)模;提出改進(jìn)粒子群優(yōu)化算法(PSO),該改進(jìn)算法基于一種跳出循環(huán)策略,確保PSO 算法避免局部最優(yōu)情況發(fā)生,向全局最優(yōu)方向迭代,并應(yīng)用于模型超參數(shù)優(yōu)化中。
采用拉依達(dá)(3-Sigma)準(zhǔn)則[5]來判斷異常數(shù)據(jù),并對異常數(shù)據(jù)進(jìn)行插值處理。分布式光伏輸出功率數(shù)據(jù)一般服從Beta 分布或者正態(tài)分布[6],認(rèn)為測量數(shù)據(jù)x和平均數(shù)據(jù)μ之差若超過3 倍的標(biāo)準(zhǔn)差δ,則判定為異常數(shù)據(jù),如式(1)所示,將原始數(shù)據(jù)壓縮到[0,1]范圍內(nèi),最后預(yù)測時反歸一化處理。
只考慮光伏出力不為0 時刻的點(diǎn),由于各個環(huán)境變量對分布式光伏輸出功率各不相同,應(yīng)對整個數(shù)據(jù)相關(guān)性進(jìn)行分析,以便于模型的降維處理,減少計算時間。每個環(huán)境變量序列與光伏輸出功率相關(guān)性計算公式如式(2)所示:
式中:R(Xj,Xk)為相關(guān)性系數(shù);Cov(Xj,Xk)是兩個向量的協(xié)方差;Var(Xj)和Var(Xk)是兩個向量各自的方差。
引入二分聚類算法對原始數(shù)據(jù)進(jìn)行聚類,相比于傳統(tǒng)k-means 聚類算法[7]能克服陷入局部極小值的情況。聚類后的每個數(shù)據(jù)都會有一個歐氏距離的數(shù)據(jù)特征,該數(shù)據(jù)點(diǎn)是每個時間點(diǎn)的所有歐氏距離,歐氏距離計算公式如式(3)所示:
式中:d(x,y)是歐氏距離;xi是歸一化后特征;yi是歸一化后的光伏出力。該公式描述了與集群中心點(diǎn)的距離,中心點(diǎn)指的是典型天氣情況下的輸出功率和氣象因素之間的關(guān)系。每個時間點(diǎn)計算的歐氏距離作為獨(dú)立輸入特征,引入到數(shù)據(jù)集訓(xùn)練,其機(jī)理相當(dāng)于先于模型訓(xùn)練前,分析輸入和輸出的相關(guān)性,該相關(guān)性指標(biāo)納入到訓(xùn)練模型中,再引入聚類結(jié)果的特征。由于分布式光伏的數(shù)據(jù)可能沒有明確天氣的特征,所以無法進(jìn)行傳統(tǒng)的典型天氣如晴天、陰天、雨天的劃分,若采用聚類算法劃分,則無法說明該類別是否屬于某種典型天氣,而只能說明歸類結(jié)果。擴(kuò)充后的數(shù)據(jù)集再進(jìn)行監(jiān)督學(xué)習(xí),因此,本構(gòu)造方法的訓(xùn)練特征增加二維,分別為聚類結(jié)果及歐氏距離,可用數(shù)據(jù)增加,能夠解決分布式光伏測量系統(tǒng)測量數(shù)據(jù)少的問題。
為了保留數(shù)據(jù)時序性,所提出的單步預(yù)測模型以長短時記憶網(wǎng)絡(luò)(LSTM)為基礎(chǔ),引入注意力機(jī)制在LSTM 之后分配權(quán)重,提出改進(jìn)后的PSO 算法作為網(wǎng)絡(luò)超參數(shù)的優(yōu)化,并采用由序列到監(jiān)督的學(xué)習(xí)方法。
LSTM 在1997 年由Hochreiter 和Schmidhuber 所提出,是一種適合處理時間序列連續(xù)性的網(wǎng)絡(luò),相比于循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)會出現(xiàn)陷入梯度消失和爆炸的情況,LSTM 網(wǎng)絡(luò)能夠解決長期依賴的問題[8]。LSTM 網(wǎng)絡(luò)的一個單元結(jié)構(gòu)如圖1 所示。
圖1 LSTM單細(xì)胞結(jié)構(gòu)
注意力機(jī)制是一種人類視覺反映到大腦而產(chǎn)生不同關(guān)注點(diǎn)的機(jī)制。現(xiàn)有如LSTM 模型之類的模型雖能學(xué)習(xí)輸入與輸出相關(guān)性,但無法準(zhǔn)確關(guān)注到各個輸入對輸出的影響程度大小,而注意力機(jī)制相當(dāng)于對輸入值進(jìn)行一個權(quán)重的分配,其它模型如BP 神經(jīng)網(wǎng)絡(luò)與注意力機(jī)制的結(jié)合在處理長序列的任務(wù)時表現(xiàn)并沒有LSTM 結(jié)合注意力機(jī)制好。因此,將注意力機(jī)制與LSTM 模型相結(jié)合進(jìn)行分布式光伏預(yù)測,所提模型的框圖如圖2 所示。
圖2 網(wǎng)絡(luò)模型框圖
X0~Xn為輸入網(wǎng)絡(luò)模型的歷史數(shù)據(jù),包括氣象數(shù)據(jù)、歷史輸出功率,稱為輸入層。該數(shù)據(jù)流過LSTM層進(jìn)行特征提取學(xué)習(xí),其中,利用改進(jìn)的PSO 算法優(yōu)化整個LSTM 網(wǎng)絡(luò)的超參數(shù),優(yōu)化的參數(shù)結(jié)果返回到LSTM 層中。在注意力層中,h1~hn為輸入序列的狀態(tài)值,進(jìn)行相似性判斷后求兩者向量點(diǎn)積,按概率賦予各部分之間的權(quán)重a1~an,賦予較強(qiáng)特征較大的權(quán)重,反之同理,根據(jù)權(quán)重系數(shù),對h1~hn加權(quán)求和,使得模型對強(qiáng)特征的表達(dá)能力更強(qiáng),最后,數(shù)據(jù)通過全連接層輸出預(yù)測結(jié)果。
使用粒子群算法進(jìn)行超參數(shù)優(yōu)化,共進(jìn)行維度為3 的超參數(shù)優(yōu)化,控制變量為抓包數(shù)大小,LSTM隱藏層神經(jīng)元大小,正則化率。目標(biāo)函數(shù)如式(4)所示,該公式反映了預(yù)測值與真實(shí)值的差值比之和,數(shù)值越小,說明模型擬合程度越高。
式中:predict為光伏輸出功率預(yù)測值;true為真實(shí)值。
針對標(biāo)準(zhǔn)粒子群算法存在容易陷入局部最優(yōu)的問題[9],本文提出一種改進(jìn)的PSO 算法,用于在循環(huán)中跳出局部最優(yōu)點(diǎn),并進(jìn)行下次迭代。標(biāo)準(zhǔn)PSO 算法出現(xiàn)局部最優(yōu)的原因主要有以下兩點(diǎn):(1)粒子速度衰減較快,導(dǎo)致粒子在迭代到一定代數(shù)的過程中,速度太小,無法進(jìn)行搜索更新;(2)對于某些復(fù)雜問題,雖然粒子速度沒有明顯衰減,但是被更新到最優(yōu)位置的概率大大減小。
為了解決陷入局部最優(yōu)的問題,提出以下策略:每次迭代時,當(dāng)獲得一個局部最優(yōu)位置,則對所有粒子的位置進(jìn)行編碼成一個向量,對此時的粒子進(jìn)行聚類,聚類中心點(diǎn)隨迭代次數(shù)增加而減少,防止迭代剛開始時,粒子最優(yōu)位置不清晰,錯誤選擇最優(yōu)位置,但必須選擇以每次迭代的局部最優(yōu)位置作為一個中心點(diǎn),也即加入先驗知識,如果局部最優(yōu)聚類簇數(shù)小于某一個中心點(diǎn)聚類簇數(shù),則保存全局最優(yōu)到一個數(shù)組當(dāng)中,引入變異策略,按照一定概率,當(dāng)變異值大于0 且數(shù)組不為空集,則自行隨機(jī)選擇數(shù)組中的元素作為全局最優(yōu),否則就初始化粒子和種群。由于數(shù)組中的粒子都是歷史的最優(yōu)值,再次選擇時可以提高粒子速度,同時,初始化會重新生成最優(yōu)值,避免一直在局部最優(yōu)值下迭代。為了實(shí)現(xiàn)快速優(yōu)化,獲得全局最優(yōu)和局部最優(yōu)之間最佳平衡,引入自適應(yīng)慣性權(quán)重ω,公式為:
式中:ωmax和ωmin是慣性權(quán)重的最大值和最小值;f為目標(biāo)函數(shù)值;favg為平均值;fmin為最小值。
ω用來控制粒子的速度大小,ω大時,由基本PSO 更新公式知,全局搜索能力強(qiáng);ω小時,粒子速度減小,局部搜索能力強(qiáng)。當(dāng)每個粒子測量到的光伏輸出功率誤差基本一致時,粒子速度變小,則陷入了局部最優(yōu),此時優(yōu)化得到的優(yōu)選變量為非最優(yōu)值,導(dǎo)致LSTM 網(wǎng)絡(luò)參數(shù)設(shè)置不合適,最終使得預(yù)測質(zhì)量降低。由式(5)可知,引入的自適應(yīng)慣性權(quán)重ω增大,增大了全局搜索能力,避免了繼續(xù)朝著局部最優(yōu)處更新粒子,粒子全局最優(yōu)得到更新。
本文采用的評價指標(biāo)共有三種:均方根誤差(RMSE)、平均絕對誤差(MAE)、擬合度[10]。RMSE與MAE均反映了預(yù)測值與真實(shí)值的偏差程度,擬合度的值越接近1,說明模型擬合效果越好。三種評價指標(biāo)的公式如下:
式中:RMSE、MAE、R2均為模型評價指標(biāo);Pi為第i時刻光伏發(fā)電功率的真實(shí)值;P'i為第i時刻光伏發(fā)電功率的預(yù)測值;Piav為發(fā)電真實(shí)值的平均值;n為測試集的總時刻。
圖3 為神經(jīng)網(wǎng)絡(luò)預(yù)測光伏功率流程圖,數(shù)據(jù)預(yù)處理包含了數(shù)據(jù)的清洗。利用聚類算法,生成聚類結(jié)果及歐氏距離作為新特征擴(kuò)充數(shù)據(jù)集。特征工程構(gòu)造完畢后,歸一化數(shù)據(jù)進(jìn)行監(jiān)督學(xué)習(xí),劃分為訓(xùn)練集、測試集以及預(yù)測集三類。在訓(xùn)練集中,經(jīng)過3.3節(jié)的算法,在該算法循環(huán)中初次訓(xùn)練網(wǎng)絡(luò)模型,根據(jù)適應(yīng)度函數(shù)得到最優(yōu)超參數(shù),在測試集應(yīng)用最優(yōu)超參數(shù)進(jìn)行訓(xùn)練,輸出評價指標(biāo)來判斷該模型的性能。預(yù)測集用于輸出歸一化的預(yù)測值,反歸一化預(yù)測值后,最終輸出預(yù)測結(jié)果。
圖3 神經(jīng)網(wǎng)絡(luò)預(yù)測光伏功率流程圖
本研究的目的是在數(shù)據(jù)量少的情況下,預(yù)測分布式光伏電站的發(fā)電量,所用數(shù)據(jù)集為澳大利亞公開光伏數(shù)據(jù)集(DKASC),包含了分布式光伏的輸出功率以及各類氣象因素,原始數(shù)據(jù)有全局輻射水平、溫度、相對濕度、漫反射水平、風(fēng)速、降雨量、相位。采用平臺為python3.8 版本。將數(shù)據(jù)進(jìn)行異常數(shù)據(jù)的檢測和歸一化處理后,構(gòu)造特征工程并融合數(shù)據(jù)集。測試集選取了一天內(nèi)150 個輸出功率不為0 的時間點(diǎn),用于直觀反映預(yù)測效果。訓(xùn)練集與測試集之比為7∶3。
由式(2)計算得各因素相關(guān)系數(shù)為:全局輻射水平0.903、溫度0.423、相對濕度0.556、擴(kuò)散水平輻射0.117、風(fēng)向0.001、降雨量0.362 2、電流0.996,歐氏距離特征相關(guān)系數(shù)為0.574 6,聚類結(jié)果特征相關(guān)系數(shù)為0.481 1,與輸出功率有較高相關(guān)性,證明了所提特征構(gòu)造方法有效。由以上分析可知,風(fēng)向及擴(kuò)散水平輻照度與光伏輸出功率的相關(guān)性最小,該類特征不應(yīng)作為模型的訓(xùn)練特征。
改進(jìn)PSO 的初始化參數(shù),設(shè)置為迭代次數(shù)90 次,加速因子C1為2,C2為3,慣性權(quán)重最大、最小值分別為0.7 和0.3,粒子數(shù)50 個,搜索維度為3 維。目標(biāo)函數(shù)如式(4)所示,優(yōu)化迭代曲線與未優(yōu)化迭代曲線如圖4 所示,標(biāo)準(zhǔn)算法在迭代至16 代時,算法開始有一個較長時間的收斂,而改進(jìn)后的算法在第78 代后才收斂,這是由于收斂速度與收斂計算時間存在矛盾。改進(jìn)后的算法由于其粒子初始化的原因,導(dǎo)致在經(jīng)過局部最優(yōu)時重新迭代,算法收斂速度下降。改進(jìn)后的迭代曲線上有兩次適應(yīng)度函數(shù)迅速增加,這是由于跳出循環(huán)策略的引入,選擇了歷史最優(yōu)值或者粒子初始化,從而跳過局部最優(yōu),經(jīng)過兩次突變后,目標(biāo)函數(shù)繼續(xù)下降,并最終收斂,而標(biāo)準(zhǔn)的PSO算法,??吭诰植孔顑?yōu)處不再收斂。改進(jìn)的PSO 算法從初始目標(biāo)函數(shù)值的2.4×1010降至1.4×1010。標(biāo)準(zhǔn)PSO 算法從初始目標(biāo)函數(shù)值的2.6×1010降至2.2×1010。
圖4 粒子群算法優(yōu)化曲線對比圖
優(yōu)化超參數(shù)的初始值和尋優(yōu)范圍如表1 所示。最終的優(yōu)化結(jié)果是神經(jīng)元數(shù)量為57,dropout 比率為0.015 64,Batch size 為34。在此超參數(shù)下,固定模型的訓(xùn)練效果最好。
表1 超參數(shù)優(yōu)化值
表2 展示的是不同超參數(shù)的取值,進(jìn)而形成的評價指標(biāo)。初始超參數(shù)均取表1 中的初始值。由表2可以看到,改進(jìn)后的PSO 算法相比標(biāo)準(zhǔn)PSO 算法優(yōu)化LSTM 網(wǎng)絡(luò)超參數(shù)后,RMSE、MAE均下降,而預(yù)測精度提升。說明與標(biāo)準(zhǔn)算法相比,改進(jìn)算法的收斂性更好,找到了更能滿足目標(biāo)函數(shù)最小值的控制變量,而結(jié)合圖4,標(biāo)準(zhǔn)算法的適應(yīng)度函數(shù)已經(jīng)在第15代趨于穩(wěn)定不再收斂,因此可以說明該算法陷入了局部最優(yōu),而改進(jìn)后的算法無論在適應(yīng)度函數(shù)曲線上下降方面,還是在優(yōu)化超參數(shù)使得模型性能得到提升方面,均證明了所提改進(jìn)效果的有效性。
表2 不同超參數(shù)對性能指標(biāo)的影響
網(wǎng)絡(luò)模型共有4 層,包括2 個LSTM 層,一個注意力層以及一個全連接層。較高的學(xué)習(xí)率會增加丟失先驗知識的風(fēng)險,因此引入了學(xué)習(xí)率自適應(yīng)調(diào)整策略,每經(jīng)過10 次迭代,學(xué)習(xí)率降低為原來的1/10,初始學(xué)習(xí)率為0.01,采用Adam 優(yōu)化器。
圖5 展示了預(yù)測結(jié)果的對比,所提模型采用注意力機(jī)制與LSTM 網(wǎng)絡(luò)結(jié)合,且采用改進(jìn)的PSO算法進(jìn)行超參數(shù)的優(yōu)化,LSTM 模型是指去除超參數(shù)優(yōu)化及注意力機(jī)制預(yù)測的結(jié)果??傮w來看,相對于LSTM 模型,所提模型的預(yù)測值與真實(shí)值更接近,曲線較為平滑,預(yù)測效果良好。在光伏出力較高的時間點(diǎn),與真實(shí)值貼合更緊密,表明模型可以準(zhǔn)確預(yù)測高出力點(diǎn)的值。在光伏出力趨勢波動較大時,LSTM 模型預(yù)測極端變化點(diǎn)的輸出功率結(jié)果相比實(shí)際值會偏高,而所提模型在極端點(diǎn)的預(yù)測與真實(shí)值幾乎一致。
圖5 分布式光伏總預(yù)測曲線
表3 是不同方法評價指標(biāo)的數(shù)據(jù)。每次實(shí)驗和迭代由于尋優(yōu)各有差異以及模型的學(xué)習(xí)效果不同,數(shù)據(jù)均有變化,最大變化率不足5%,各種方法和模型下的實(shí)驗均進(jìn)行5 次,取平均值。
表3 預(yù)測方法評價指標(biāo)對比
方法一是簡單LSTM 監(jiān)督模型,其中超參數(shù)為初始參數(shù);方法二引入聚類算法構(gòu)造特征,擴(kuò)充數(shù)據(jù)集;方法三引入了注意力層;方法四引入改進(jìn)PSO 算法優(yōu)化超參數(shù)。隨著模型深度增加,RMSE與MAE評價指標(biāo)均依次降低,R2指標(biāo)均依次升高,說明模型的擬合效果較好。構(gòu)造特征后,RMSE及MAE均有較大幅度降低,這是由于原始數(shù)據(jù)被擴(kuò)充后,網(wǎng)絡(luò)模型提取了更多有用信息,同時,各個特征的相關(guān)性信息也被充分提取。相比于方法三,方法四的評價指標(biāo)改善情況顯著,這是由于超參數(shù)的選擇可以改善模型性能,而優(yōu)化超參數(shù)會讓固定結(jié)構(gòu)的模型把性能發(fā)揮到極致。
表4 對比了不同神經(jīng)網(wǎng)絡(luò)對評價指標(biāo)的最終影響,均采用特征工程以及使用優(yōu)化算法進(jìn)行超參數(shù)自動調(diào)優(yōu)。從表中可以看出,LSTM 的評價指標(biāo)優(yōu)于其他三類神經(jīng)網(wǎng)絡(luò),而Bi-LSTM 網(wǎng)絡(luò)與LSTM 網(wǎng)絡(luò)的評價指標(biāo)接近,且只有對于MAE,Bi-LSTM 低于LSTM,因此選用LSTM,而不選用Bi-LSTM 網(wǎng)絡(luò)是合理的??梢钥吹剑啾扔贐P 神經(jīng)網(wǎng)絡(luò),RNN 性能有較大的提升,這是由于RNN 神經(jīng)網(wǎng)絡(luò)具有時序性,相比BP 神經(jīng)網(wǎng)絡(luò)能夠更好處理時間序列。
表4 預(yù)測模型評價指標(biāo)對比
本文提出了一種基于數(shù)據(jù)分析和挖掘的神經(jīng)網(wǎng)絡(luò)模型,應(yīng)用于分布式光伏歷史數(shù)據(jù)有限輸出功率的短期預(yù)測場景?;跉W式距離的特征工程的構(gòu)造方法,新特征與輸出功率之間存在較強(qiáng)聯(lián)系,最終在預(yù)測評價指標(biāo)上表現(xiàn)較好。同時,為了讓模型更加關(guān)注到與輸出功率存在強(qiáng)聯(lián)系的數(shù)據(jù),引入了注意力機(jī)制到LSTM 模型當(dāng)中。實(shí)驗證明,模型評價指標(biāo)R2相比于簡單模型進(jìn)一步提高,最終擬合度接近98%。提出了一種避免PSO 算法陷入局部最優(yōu)的策略并應(yīng)用于神經(jīng)網(wǎng)絡(luò)的超參數(shù)自動尋優(yōu),該策略是經(jīng)過一個局部最優(yōu)的判據(jù)后,選擇初始化粒子或者更新粒子跳過局部最優(yōu)點(diǎn),實(shí)驗證明,相比標(biāo)準(zhǔn)的PSO 算法,適應(yīng)度曲線突起后大幅度下降,避免出現(xiàn)局部最優(yōu)不再收斂的情況。