基于PSO-Soft attention雙向LSTM算法的光伏發(fā)電量預(yù)測研究

趙晉斌，張建平，，毛 玲，屈克慶，黃成建，揭業(yè)煒

（1.上海電力大學(xué)電氣工程學(xué)院，上海 200090；2.國網(wǎng)嘉興供電公司，浙江嘉興 314000）

0 引言

伴隨全球能源形勢日益緊張，常規(guī)能源的開發(fā)與利用被不斷制約，太陽能因其具有儲量豐富、清潔無污染等優(yōu)點，被公認(rèn)為是新能源發(fā)電的理想來源之一[1]。光伏發(fā)電作為太陽能利用的重要方式之一，被社會各界廣泛關(guān)注[2]，考慮到光伏發(fā)電方式受多種氣象因素的影響，其功率波動性高的特點將影響大范圍光伏發(fā)電系統(tǒng)的安全[3]。2021 年6 月11日，國家發(fā)改委發(fā)布《國家發(fā)展改革委關(guān)于2021 年新能源上網(wǎng)電價政策有關(guān)事項的通知》（發(fā)改價格[2021]833 號），2021 年新能源新建項目可自愿通過參與市場化交易形成上網(wǎng)電價。

目前光伏發(fā)電的預(yù)測模型主要為統(tǒng)計模型[4]，方鵬等人采用了長短時記憶（Long Short-Term Memory，LSTM）神經(jīng)網(wǎng)絡(luò)的中長期光伏電站發(fā)電量預(yù)測模型[5]，實驗數(shù)據(jù)集使用了光伏發(fā)電站的長期歷史發(fā)電量以及電站周圍光照強度等數(shù)據(jù)，由于LSTM 算法的細(xì)胞單元的記憶能力有限，在中期數(shù)據(jù)具有較好的應(yīng)用，目前較難解決長期數(shù)據(jù)問題。翟載騰等人提取了光伏發(fā)電組件的實際運行參數(shù)，同時根據(jù)這些參數(shù)的大小建立了實際工作環(huán)境中的電池輸出特性方程，并求解特性方程從而得到預(yù)測功率值[6]。楊朋等人指出了其光伏電池輸出功率與溫度和光照強度的關(guān)系，其通過二維表預(yù)測出了光伏電池輸出功率，將功率預(yù)測轉(zhuǎn)化為溫度和光照強度的預(yù)測，該方法能夠比較準(zhǔn)確地預(yù)測出光伏電池的最大輸出功率，但是光照強度和溫度較難實時獲取[7]。陳昌松等人考慮到了主要影響光伏發(fā)電的輸出功率的核心影響因素，采用光伏陣列的發(fā)電量數(shù)據(jù)、光照強度和環(huán)境溫度等特征建立了誤差反向傳播（Back Propagation，BP）神經(jīng)網(wǎng)絡(luò)預(yù)測模型。但是由于BP 神經(jīng)網(wǎng)絡(luò)本身就存在容易陷入局部最優(yōu)值、較難收斂等一系列缺點，該方法需要大量發(fā)電站的歷史數(shù)據(jù)支持，計算量相當(dāng)大[8]。Mellit A 等人采用了不同小時的天氣信息實測數(shù)據(jù)作為預(yù)測輸入的日類型信息，用這些數(shù)據(jù)求解光伏發(fā)電系統(tǒng)的輸出功率，存在預(yù)測時間較短的問題[9]。

本文采集杭州山都光伏發(fā)電站的部分機組發(fā)電量歷史數(shù)據(jù)，并整理得到多類不同特征的氣象數(shù)據(jù)集合，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)存在泛化性能差以及易進入局部收斂等問題[10]，同時光照強度、環(huán)境溫度等多種因素都會對太陽能發(fā)電的輸出功率產(chǎn)生影響[11]。在光伏電廠發(fā)電量預(yù)測中，本文提出的PSO-Soft attention 雙向LSTM 算法結(jié)合了深度學(xué)習(xí)雙向LSTM網(wǎng)絡(luò)的改進方法預(yù)測發(fā)電量，該方法不僅具有傳統(tǒng)LSTM 的時序建模能力[12]，而且還能后向推算數(shù)據(jù)，具備時空特性。本文主要改進了PSO-Soft attention雙向LSTM 算法的前后向傳播部分，前向傳播過程中通過自適應(yīng)學(xué)習(xí)策略的粒子群優(yōu)化算法（Particle Swarm Optimization，PSO）對LSTM 模型的關(guān)鍵參數(shù)進行尋優(yōu)，在網(wǎng)絡(luò)的主體部分重新調(diào)整網(wǎng)絡(luò)為八層網(wǎng)絡(luò)結(jié)構(gòu)并在前向傳播部分加入了兩層卷積層，反向傳播部分加入了Soft attention 機制，增強了其網(wǎng)絡(luò)的穩(wěn)定性，相較于傳統(tǒng)機器學(xué)習(xí)算法，該算法在泛化能力、魯棒性以及運算力上具有明顯優(yōu)勢[13]。

1 PSO-Soft attention雙向LSTM算法

PSO-Soft attention 雙向LSTM 算法即雙向LSTM 網(wǎng)絡(luò)結(jié)合PSO-Soft attention 機制，其網(wǎng)絡(luò)結(jié)構(gòu)更復(fù)雜[14]，具有更優(yōu)的時空特性。該模型為下層輸入上層輸出的結(jié)構(gòu)，為獲得數(shù)據(jù)的時序關(guān)系以及搭建更優(yōu)的特征方程，該模型的前向傳播部分結(jié)合多位置卷積處理[15]，成功實現(xiàn)了卷積層處理中網(wǎng)絡(luò)狀態(tài)之間的快速切換并且可獲得高維時空特征，同時使用PSO 算法進行模型的前向網(wǎng)絡(luò)的參數(shù)調(diào)優(yōu)，調(diào)整了模型的輸入?yún)?shù)，PSO-Soft attention 雙向LSTM 算法的結(jié)構(gòu)見圖1。

圖1 PSO-Soft attention雙向LSTM算法的結(jié)構(gòu)圖Fig.1 Structure of PSO-Soft attention bidirectional LSTM algorithm

圖1 中，x1...xT為輸入數(shù)據(jù)，h1...hT為隱含層，輸入的數(shù)據(jù)經(jīng)過2 層卷積并且經(jīng)過PSO 參數(shù)調(diào)優(yōu)后，將數(shù)據(jù)傳入隱含層并在雙向LSTM 網(wǎng)絡(luò)中進行傳遞，最后通過注意力機制增強其數(shù)據(jù)穩(wěn)定性，最終輸出模型預(yù)測結(jié)果，其中算法訓(xùn)練過程的偽代碼如下：

其中Xtest為輸入的測試集數(shù)據(jù)，Xtrain為輸入的訓(xùn)練集數(shù)據(jù)，dij為輸入信息xi和xj之間歐氏距離，dc為截斷距離；對于局部密度ρid最大的樣本，其δid=maxj(dij)，該值為樣本空間距離的最大值，若xi的密度是最大局部密度，則δid遠(yuǎn)大于其最鄰近粒子的δid平均距離；yi為發(fā)電廠日發(fā)電量真實值，模型的輸出為發(fā)電廠日發(fā)電量預(yù)測值；c1和c2為粒子權(quán)重系數(shù)，ω為慣性權(quán)重系數(shù)；pbestid和gbestcd分別表示某個粒子最好位置第i維的值、整個種群最好位置第i維的值。

偽代碼過程解釋了PSO-Soft attention 雙向LSTM 網(wǎng)絡(luò)的運行過程，PSO 網(wǎng)絡(luò)主要通過計算輸入特征之間的距離，調(diào)整雙向LSTM 網(wǎng)絡(luò)的前向傳播部分的參數(shù)，使網(wǎng)絡(luò)具有更好的處理數(shù)據(jù)的高維特征的能力。

2 數(shù)據(jù)集以及特征方程

2.1 數(shù)據(jù)集構(gòu)建

本文的數(shù)據(jù)集采用杭州山都光伏發(fā)電站K13 號機組從2018 年8 月1 日到2020 年5 月31 日的日發(fā)電量數(shù)據(jù)，在機組中的每個設(shè)備采集完成后，將發(fā)電量按天整合到一起，發(fā)電量的值設(shè)置為yN，yN為標(biāo)簽，并結(jié)合該發(fā)電站所處的位置，在杭州氣象局網(wǎng)站提取該區(qū)域的日平均溫度、節(jié)假日、日照強度以及月份等因素，共同作為輸入特征，其特征的數(shù)值被分別存為(x1i,...,x4i)∈R4*i，表示總量為670 組的該時段發(fā)電機組的日發(fā)電量數(shù)據(jù)的特征向量，R4*i為樣本數(shù)據(jù)集合，便于之后的特征方程搭建，并且結(jié)合歷史的發(fā)電數(shù)據(jù)構(gòu)造了數(shù)據(jù)集(x1i,...,x4i,yi)∈R4*i，該類數(shù)據(jù)的前80%劃分為訓(xùn)練集數(shù)據(jù)，后20%劃分為測試集數(shù)據(jù)。

2.2 特征方程

本文提取的溫度特征為該機組該時段中的日平均溫度，平均溫度是每一天溫度的最真實反應(yīng)，太陽能電池板的能量轉(zhuǎn)換效率會隨著溫度變化而不同，故不同季節(jié)的平均溫度會影響發(fā)電量。同時節(jié)假日期間的城市用電量下降是導(dǎo)致發(fā)電廠發(fā)電量下降的另一大重要因素，太陽光在不同時間下的光照度不同，而日照強度的大小將決定光伏發(fā)電廠的發(fā)電量，故該指標(biāo)為核心影響因素之一。由于光伏發(fā)電具有一定季節(jié)性，故不同月份的發(fā)電量也差異明顯，分別將這4 類特征放入本文數(shù)據(jù)集中的前4 列中，并采用了Polynomial Features 方程構(gòu)造特征方程，該4 類特征將作為算法預(yù)測的重要依據(jù)之一[16]，Polynomial Features 方程為：

3 算法預(yù)測過程

3.1 輸入數(shù)據(jù)介紹

本文所用的模型輸入為2 部分：

1）第一部分為(x1i,...,x4i,yi)，其中x1i,...,x4i為輸入的特征向量，670 為輸入的樣本數(shù)量，以上數(shù)據(jù)為歷史數(shù)據(jù)集。

將(x1i,...,x4i,yi)和(x1i,...,x4i)∈R4*i作為輸入部分，放入模型中進行訓(xùn)練，模型最終按天輸出未來120 天的日發(fā)電量，預(yù)測流程的結(jié)構(gòu)如圖2所示。

圖2 預(yù)測流程圖Fig.2 Process of forecasting power generation

3.2 軟注意力機制

本文所用的Soft attention 機制的原理如圖3 所示。圖3 中h1...hN為網(wǎng)絡(luò)的隱含層信息，αi為隱含層權(quán)重，N為輸出樣本總數(shù)，St為輸入信息。

圖3 Soft attention機制Fig.3 Soft attention mechanism

Soft attention 每次會照顧到全部的位置，故Soft attention 是光滑的且可微的，即雙向LSTM 的目標(biāo)函數(shù)對權(quán)重αi是可微的，因為目標(biāo)函數(shù)對預(yù)測值yt可微，而yt對αi可微，根據(jù)鏈?zhǔn)椒▌t可知目標(biāo)函數(shù)對αi可微[17]。

3.3 PSO機制

現(xiàn)在定義一個群體中含m個顆粒，在t次迭代中，定義第i顆粒子位置與速率依次為Xit和Vit，算法通過監(jiān)督兩個最優(yōu)解進行位置與速率更新，第1個解即局部最優(yōu)解pbesti，該解為粒子自身進行計算得到的最優(yōu)解，第2 個解即全局最優(yōu)解gbesti，為整個種群體當(dāng)前計算查找的最優(yōu)解[18-20]，粒子速率和新位置的更新公式為：

式中：c1和c2為學(xué)習(xí)因子；rand 為[0，1]之間隨機數(shù)；λ為速度系數(shù)，λ=1。

3.4 PSO-Soft attention 雙向LSTM算法門結(jié)構(gòu)運行機制

本文所用的PSO-Soft attention 雙向LSTM 算法的結(jié)構(gòu)主要包含遺忘門、輸入門、細(xì)胞單元更新模塊和輸出門等，門結(jié)構(gòu)如圖4 所示。圖4 中ft為遺忘門的函數(shù)，it為經(jīng)過輸入門處理的輸出也是記憶細(xì)胞的權(quán)重，Ct-1為t-1 時刻的細(xì)胞狀態(tài)，為細(xì)胞單元更新后的細(xì)胞狀態(tài)。ht-1為t-1 時刻的隱含層狀態(tài)，并且由于網(wǎng)絡(luò)是雙向的，故ht也有方向，前向為，后向為，Xt為t時刻的輸入信息，ot為模型輸出門對應(yīng)的輸出，σ為sigmoid 激活函數(shù)，Tanh為Tanh激活函數(shù)。

圖4 模型門結(jié)構(gòu)圖Fig.4 Door structure of model

3.4.1 遺忘門

新信息的輸入需要先進行遺忘的操作，先丟棄舊的信息，該過程通過遺忘門來實現(xiàn)，該門會讀取ht-1和Xt，遺忘門表達式如下：

式中：*為叉乘符號；·為點乘符號；ht-1為上一個時刻的隱含層的輸出；Wxf，Whf，Wcl分別為變量Xt、變量ht、變量Ct的權(quán)重；bl為遺忘門的偏置。

3.4.2 輸入門

算法中輸入門的作用為生成待更新的數(shù)據(jù)，輸入門的激活函數(shù)選用Tanh 函數(shù)，輸入信息和細(xì)胞狀態(tài)信息通過點乘的形式輸入，其輸入門的表達式為：

式中：Wxi，Whi，Wci分別為變量Xt、變量ht-1、變量Ct-1的第i個權(quán)重；ht-1為第t-1 時刻的隱含層的輸入；bi為輸入門的偏置；Ct為第t個時刻細(xì)胞單元的輸出；Wc為統(tǒng)一的細(xì)胞單元的權(quán)重；bc為該細(xì)胞單元所對應(yīng)的偏置[21]。

3.4.3 細(xì)胞單元更新機制

老的細(xì)胞層通過乘以ft遺忘不需要的信息，并且與相加，得到候選值時的細(xì)胞單元更新公式為：

Ct-1為t-1 時刻的細(xì)胞狀態(tài)，對遺忘門信息點乘之后的結(jié)果再和輸入門信息累加，最后得出t時刻的細(xì)胞狀態(tài)。

3.4.4 輸出門

輸出門先通過Sigmoid 激活函數(shù)獲取模型的初始輸出值，隨后利用Tanh 層將Ct的值縮放到-1 到1 之間，再將其逐對相乘Sigmoid 激活函數(shù)的輸出，從而得到該模型的輸出，其表達式為：

式中：bo為輸出門的偏置；Wxo，Who，Wco分別為輸入變量Xt，隱含層ht-1，細(xì)胞單元Ct的權(quán)重系數(shù)，其中網(wǎng)絡(luò)模型的輸出定義為0～1，通常以概率值形式存在，Tanh 激活函數(shù)會穩(wěn)定數(shù)值，故采用該激活函數(shù)進行門結(jié)構(gòu)的激活[22]。

3.5 損失函數(shù)

本文中的PSO-Soft attention 雙向LSTM 算法的損失函數(shù)主要使用均方誤差損失函數(shù)（Mean Square Error），其表達式為：

式中：f(xi)為預(yù)測值。

PSO-Soft attention 雙向LSTM 算法將待預(yù)測數(shù)據(jù)代入該損失函數(shù)進行計算，表1 為40 次隨機試驗下，訓(xùn)練結(jié)果的損失函數(shù)的4 次最優(yōu)值[23]（無量綱）。

表1 損失函數(shù)最優(yōu)值Table 1 Optimal value of loss function

4 預(yù)測實驗

4.1 數(shù)據(jù)集

本文的數(shù)據(jù)集采用2.1 節(jié)描述的發(fā)電量數(shù)據(jù)，其中部分?jǐn)?shù)據(jù)描述如表2 所示。

表2 輸入的樣本數(shù)據(jù)Table 2 Sample data for input

表2 的數(shù)據(jù)為輸入的樣本數(shù)據(jù)，其中在節(jié)假日時特征為1，工作日為0。待預(yù)測數(shù)據(jù)為去除了日發(fā)電量的2020 年6—9 月空數(shù)據(jù)，具體描述見表3。

表3 待預(yù)測數(shù)據(jù)Table 3 Data waiting for prediction

表3 的數(shù)據(jù)為待預(yù)測數(shù)據(jù)，將上述2 類數(shù)據(jù)放入網(wǎng)絡(luò)完成訓(xùn)練，獲取預(yù)測結(jié)果，同時在網(wǎng)絡(luò)模型中輸出預(yù)測出的數(shù)據(jù)，輸出數(shù)據(jù)為2020 年6 月1日到2020 年9 月31 日的發(fā)電量按天輸出預(yù)測結(jié)果，為了方便描述表4 選取了前6 天的部分預(yù)測出的數(shù)據(jù)。

表4 模型輸出數(shù)據(jù)Table 4 Output data of model

4.2 模型預(yù)測結(jié)果

在算法的預(yù)測實驗中，將歷史數(shù)據(jù)對比預(yù)測值，如圖5 所示，可以準(zhǔn)確預(yù)測未來120 d 的發(fā)電量數(shù)據(jù)，數(shù)據(jù)周期性真實歷史規(guī)律與預(yù)測值誤差較小，約在5%左右，這說明預(yù)測結(jié)果達到預(yù)期，并且滿足實際應(yīng)用標(biāo)準(zhǔn)[24]。

圖5 預(yù)測值與真實值對比Fig.5 Comparison between predicted values and real values

4.3 對比實驗

在同一個數(shù)據(jù)集下，采用SVM 算法，LSTM 算法和PSO-Soft attention 雙向LSTM 算法同時進行預(yù)測[25]，分別用平均誤差（Mean Absolute Percentage Error，MAPE）、均方根誤差（Root Mean Square Error，RMSE）等兩個指標(biāo)對比三者的泛化性能，兩個指標(biāo)的表達式為：

式中：n為預(yù)測的樣本總天數(shù)。

將SVM，LSTM 以 及PSO-Soft Attention 雙 向LSTM 模型預(yù)測的6—9 四個月的預(yù)測值帶入MAPE和RMSE 的指標(biāo)中，發(fā)現(xiàn)PSO-Soft attention 雙向LSTM 算法在該兩類指標(biāo)中的性能均優(yōu)于其他算法，3 個網(wǎng)絡(luò)的實驗結(jié)果見表5。

表5 SVM實驗結(jié)果Table 5 SVM experimental results

圖6 為3 類網(wǎng)絡(luò)在MAPE 指標(biāo)下的對比結(jié)果。由圖6 中的對比結(jié)果可以看出，本文提出的改進網(wǎng)絡(luò)由于PSO 算法優(yōu)化了網(wǎng)絡(luò)的前向部分參數(shù)[26]，故該網(wǎng)絡(luò)的MAPE 值較SVM 的高2.5%左右，較LSTM 高2%左右。

圖6 MAPE對比結(jié)果Fig.6 Comparison of MAPE among three networks

圖7 為3 類網(wǎng)絡(luò)在RMSE 指標(biāo)下的對比結(jié)果。從圖7 的對比結(jié)果可知，由于Soft attention 機制增強了網(wǎng)絡(luò)的穩(wěn)定性，該網(wǎng)絡(luò)的RMSE 值較SVM的高2%左右，較LSTM 高1%左右，所以該網(wǎng)絡(luò)在預(yù)測的準(zhǔn)確度上具有一定提升。

圖7 RMSE對比結(jié)果Fig.7 Comparison of RMSE among three networks

5 結(jié)語

本文提出了一種PSO-Soft attention 雙向LSTM算法的功率預(yù)測模型，該模型不僅具有LSTM 的時序建模能力，同時擁有較好的刻畫局部特征的能力[27]。首先解釋了PSO-Soft attention 雙向LSTM 算法的數(shù)學(xué)原理以及預(yù)測過程，在實驗的數(shù)據(jù)集構(gòu)建過程中，結(jié)合了溫度、節(jié)假日等特征，構(gòu)建了可供模型預(yù)測的數(shù)據(jù)集，實驗數(shù)據(jù)集通用性較強，可以結(jié)合不同算法進行實驗，并在對比實驗中采用了MAPE 和RMSE 等指標(biāo)進行對比，實驗表明，本文所用方法比SVM 算法以及LSTM 算法的預(yù)測精度高了2%左右。

未來的工作將會在算法層面做出進一步改進，將改進LSTM 網(wǎng)絡(luò)的門結(jié)構(gòu)部分，使算法具有更高的魯棒性，同時擴充數(shù)據(jù)集，調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)，使之實現(xiàn)在大規(guī)模數(shù)據(jù)體量下的發(fā)電量預(yù)測。