基于新型注意力機制的LSTM 光伏發(fā)電預(yù)測方法

陳晨，王小楊，梁建盈，馬武興

（1.電子科技大學(xué)中山學(xué)院，中山528402；2.湖南安華源電力科技有限公司，湘潭411100；3.水發(fā)興業(yè)能源（珠海）有限公司，珠海519000）

0 引言

全球經(jīng)濟持續(xù)快速發(fā)展增加了電力需求，同時化石燃料的大量使用造成溫室氣體排放問題，進(jìn)一步導(dǎo)致全球變暖和全球氣候變化。光伏發(fā)電日益成為我國能源生產(chǎn)當(dāng)中不可或缺的一部分，到2020 年底，太陽能發(fā)電裝機將達(dá)到1.1 億千瓦以上，其中光伏發(fā)電裝機達(dá)1.05 億千瓦以上。由于其受氣象因素影響較大，光伏產(chǎn)能曲線波動較大，光伏電能并網(wǎng)時會對電網(wǎng)造成安全問題，光伏發(fā)電準(zhǔn)確預(yù)測可以有效解決并網(wǎng)安全問題。許多學(xué)者針對該問題提出了解決方法，目前光伏發(fā)電預(yù)測方法概括起來有以下四大類[1]（如圖1 所示）：

（1）物理模型：主要依據(jù)太陽能發(fā)電原理，結(jié)合太陽能電板的材料性能、太陽輻射量、輻射角度、溫度等參數(shù)整理出一套公式進(jìn)行計算。該方法在氣象環(huán)境穩(wěn)定時可以獲得較好的預(yù)測精度，異常環(huán)境下的預(yù)測結(jié)果較差，文獻(xiàn)[2-3]中提出了幾種常用的物理模型方法。

（2）統(tǒng)計模型：使用統(tǒng)計學(xué)方法從大量歷史數(shù)據(jù)中，分析出發(fā)電量與氣象數(shù)據(jù)之間的關(guān)系，搭建統(tǒng)計學(xué)模型，實現(xiàn)對未來光伏發(fā)電量的預(yù)測。常見的統(tǒng)計學(xué)方法有多元回歸方法[4-5]、主成分分析法[6]、自回歸移動平均法[7]等。該類方法直接從大數(shù)據(jù)中分析發(fā)電量與氣象數(shù)據(jù)直接的關(guān)系，忽略了光伏系統(tǒng)本身的參數(shù)對發(fā)電量的影響。

（3）機器學(xué)習(xí)模型：通過算法分析數(shù)據(jù)，從結(jié)果中進(jìn)行學(xué)習(xí)，將“學(xué)習(xí)后的算法”用來做出決策或進(jìn)行預(yù)測。文獻(xiàn)[8]提出了新型前饋神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測，文獻(xiàn)[9]使用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測，文獻(xiàn)[10]使用支持向量機的方法進(jìn)行發(fā)電量預(yù)測等，該類方法需要大量歷史數(shù)據(jù)對模型進(jìn)行訓(xùn)練，再使用訓(xùn)練好的模型進(jìn)行預(yù)測。

（4）混合模型：該類方法是將多種模型結(jié)合起來進(jìn)行預(yù)測，發(fā)揮不同模型的優(yōu)勢，提高預(yù)測的精度。對于n 個預(yù)測模型m1,m2,…,mn組成的混合預(yù)測模型，可以表示為：

其中yt是t 時刻預(yù)測的結(jié)果，wit是t 時刻各個模型的權(quán)重，bt是t 時刻的偏移量?；旌夏Ｐ统Ｒ姷姆椒ㄓ蠸ARIMA+LSTM[11]，文獻(xiàn)[12]提出了時序數(shù)據(jù)預(yù)測方法ARIMA+LSTM，文獻(xiàn)[13]提出了GAN+CNN 方法。

圖1 光伏預(yù)測技術(shù)分類

后三類方法均需要在大量高質(zhì)量的歷史數(shù)據(jù)集中訓(xùn)練才能得到較好的模型，實際情況下我們很難獲得較好的訓(xùn)練數(shù)據(jù)集，特別是對于光伏發(fā)電影響最大的氣象因素——太陽輻射量歷史數(shù)據(jù)難以獲取，通常情況下較容易獲取的氣象數(shù)據(jù)只有溫度、濕度、風(fēng)速等。本文提出一種方法改善實際氣象數(shù)據(jù)缺乏情況下的預(yù)測準(zhǔn)確度，由于溫度、濕度、風(fēng)速與光伏發(fā)電量之間并不是簡單的線性關(guān)系，不同時刻它們對于光伏發(fā)電量的影響因子是變化的，因此我們嘗試使用注意力機制在不同時刻選擇不同的氣象因素的組合進(jìn)行發(fā)電量預(yù)測，同時氣象數(shù)據(jù)和發(fā)電量均是時序數(shù)據(jù)，一定時間段內(nèi)的發(fā)電量具有連續(xù)性，使用循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練可以獲得較好的效果，LSTM 是一種時間循環(huán)神經(jīng)網(wǎng)絡(luò)，可以應(yīng)對循環(huán)神經(jīng)網(wǎng)絡(luò)中的梯度衰減問題，并更好地捕捉時間序列中時間步距離較大的依賴關(guān)系。

1 理論基礎(chǔ)

1.1 長短期記憶網(wǎng)絡(luò)（LSTM）

LSTM 是一種常用的門控循環(huán)神經(jīng)網(wǎng)絡(luò)，可以應(yīng)對循環(huán)神經(jīng)網(wǎng)絡(luò)中的梯度衰減問題，并更好地捕捉時間序列中時間步距離較大的依賴關(guān)系。LSTM 引入了三個門，輸入門、遺忘門、輸出門以及隱藏狀態(tài)形狀的記憶細(xì)胞，遺忘門控制上一時間步的記憶細(xì)胞Ct-1的信息是否傳遞到當(dāng)前時間步，輸入門控制當(dāng)前時間步的輸入通過候選記憶細(xì)胞如何流入當(dāng)前時間步的記憶細(xì)胞，輸出門控制記憶細(xì)胞如何流入當(dāng)前隱藏狀態(tài)Ht，計算關(guān)系結(jié)構(gòu)如圖2 所示。

圖2 LSTM計算關(guān)系結(jié)構(gòu)圖

假設(shè)隱藏單元有h 個，給定時間步t 的小批量輸入Xt和上一時間步隱藏狀態(tài)Ht-1，則：

其中Wxf、Wxi、Wxo、Wxc、Whf、Whi、Who、Whf是權(quán)重參數(shù)，bf、bi、bo、bc是偏差參數(shù)，σ是激活函數(shù)，這里選擇sigmoid 函數(shù)，Ht為隱藏狀態(tài)矩陣。

1.2 傳統(tǒng)注意力機制

注意力機制在很多任務(wù)中都已經(jīng)成為序列建模和變換模型的不可或缺的一部分，也因此我們的序列依賴關(guān)系建模也就突破了輸入和輸出序列中距離的限制，在大部分任務(wù)中，注意力機制通常和遞歸神經(jīng)網(wǎng)絡(luò)聯(lián)合起來使用。深度學(xué)習(xí)中的注意力機制從本質(zhì)上講是模擬人類大腦的選擇性視覺注意力機制，目的是從眾多信息中選擇出對當(dāng)前任務(wù)目標(biāo)更關(guān)鍵的信息，注意力機制思想如圖3 所示，它更多地關(guān)注輸入序列中的關(guān)鍵部分，即可以從中更好地學(xué)習(xí)有用信息去影響輸出結(jié)果，此外不會增加模型的計算與存儲。注意力機制是一種通用加權(quán)池方法，其中輸入由兩部分組成：keys-values、query,attention 層可獲取輸出尺寸，針對每一個query,attention 層會計算每個key 的注意力比重并且歸一化這些比重，輸出結(jié)果是每個value 乘上其加權(quán)值的總和。

圖3 注意力機制思想

注意力機制主要應(yīng)用在LSTM 框架中的隱藏狀態(tài)矩陣Hi={h1,h2,…,ht}生成過程中，重要計算公式如下：

其中hi是第i 時間步的隱藏狀態(tài)信息，vt上下文信息向量，最終可由vt、ht得到預(yù)測結(jié)果。

2 MVWM設(shè)計

由上述傳統(tǒng)注意力機制的介紹可知，基于傳統(tǒng)注意力機制的LSTM 方法對時序數(shù)據(jù)的預(yù)測是選擇當(dāng)前時間步的前一段時間步進(jìn)行加權(quán)，這種設(shè)計方式存在一定的缺陷，特別是多變量時序數(shù)據(jù)的預(yù)測，因為每個時間步上都存在多個變量，上述加權(quán)方式下同一個時間步上的變量權(quán)重是相同的，但實際情況下，每個變量對后續(xù)時間步的預(yù)測影響程度并不同，而光伏發(fā)電量預(yù)測問題也具有這種特性，氣象因素與發(fā)電量之間的關(guān)系如圖4，從圖中結(jié)果可知氣溫、濕度與發(fā)電量有較明顯的正關(guān)系趨勢、負(fù)關(guān)系趨勢，下面使用皮爾遜相關(guān)性分析法對溫度、濕度、風(fēng)速與發(fā)電量的相關(guān)性進(jìn)行分析。

Pearson 相關(guān)性系數(shù)（Pearson Correlation）是衡量向量相似度的一種方法。輸出范圍為-1 到+1，0 代表無相關(guān)性，負(fù)值為負(fù)相關(guān)，正值為正相關(guān)，計算公式如下：

結(jié)果如圖5，可以發(fā)現(xiàn)這些變量與發(fā)電量之間并無明顯線性關(guān)系，不同時刻不同氣象因素與發(fā)電量之間的相關(guān)性是動態(tài)變化的。

圖4 溫度、濕度、風(fēng)速與發(fā)電量的關(guān)系圖

圖5 不同時刻溫度、濕度、風(fēng)速與發(fā)電量的皮爾遜相關(guān)性

因此我們將使用新型注意力機制應(yīng)用到LSTM中，其計算框架如圖6，主要特點是同一時間步上不同變量使用不同加權(quán)系數(shù)做為網(wǎng)絡(luò)輸入，這里的不同變量實際上是指隱藏狀態(tài)矩陣中的不同行向量，注意力加權(quán)系數(shù)計算公式如下：

其中是隱藏狀態(tài)矩陣的第i 行向量，包含了第i 個變量的信息，w 是滑動窗口的寬度，αi是第i 個變量的加權(quán)系數(shù)。得到隱藏狀態(tài)每行的權(quán)重αi之后，我們可以得到一個上下文向量vt，它包括多個時間步的信息，獲取了時間維度信息。最后連接vt和ht生成，使用生成最終預(yù)測值。相關(guān)計算公式如下：

其中Wh、Wv、wh'為矩陣變換參數(shù)，通過樣本訓(xùn)練確定其值，αi的計算方法顯然不同于傳統(tǒng)注意力機制中的方法，也最終影響我們的預(yù)測結(jié)果。

圖6 新型注意力機制計算框架

3 實驗與結(jié)果分析

3.1 實驗數(shù)據(jù)

為了驗證該方法的效果，提取了陽江地區(qū)光伏電站2019 年2 月1 日至2020 年3 月30 日的單個光伏陣列的氣象數(shù)據(jù)與發(fā)電量數(shù)據(jù)，每條記錄每隔15 分鐘采集一次，采集時間段為7:00-19:00，共20774 條數(shù)據(jù)。列舉簡單的示例樣本如表1。

表1 實驗示例樣本

MVWM 網(wǎng)絡(luò)參數(shù)設(shè)置如表2。

表2 網(wǎng)絡(luò)模型參數(shù)

模型損失函數(shù)采用均方根誤差函數(shù)（MSE），定義如下：

3.2 實驗步驟

Step 1：訓(xùn)練集、測試集按照80%、20%的比例劃分后分別是16620、4154 條數(shù)據(jù)。

Step 2：將訓(xùn)練集、測試集進(jìn)行歸一化處理，提高模型收斂速度。

Step 3：使用訓(xùn)練集訓(xùn)練我們的網(wǎng)絡(luò)模型MVWM，得到模型的最終學(xué)習(xí)后的參數(shù)。

Step 4：利用學(xué)習(xí)后的模型進(jìn)行預(yù)測，將測試集作為輸入，得到預(yù)測值。

Step 5：將測試集的預(yù)測值與真實值對比，進(jìn)行實驗結(jié)果分析。

3.3 實驗結(jié)果與分析

為驗證MVWM 模型的有效性，我們在Ubuntu 深度學(xué)習(xí)平臺搭建環(huán)境，使用Pytorch 深度學(xué)習(xí)框架，硬件為Intel Core i7-8750H CPU+2×NVIDIA 1080ti GPU，經(jīng)過訓(xùn)練集學(xué)習(xí)后，在測試集進(jìn)行預(yù)測，光伏發(fā)電實際值與預(yù)測結(jié)果對比如圖7 所示，橫坐標(biāo)是連續(xù)的時間步，縱坐標(biāo)是發(fā)電量值，紫色線條表示MVWM 模型的預(yù)測值，紅色線條表示實際值，預(yù)測值與實際值平均誤差5.362。

圖7 MVWM模型預(yù)測結(jié)果

同時我們也將MVWM 模型預(yù)測結(jié)果與LSTM、SVM 線性回歸模型進(jìn)行對比，由于每種模型訓(xùn)練參數(shù)不同都會得到不同的預(yù)測果，這里我們選擇每種模型最好的結(jié)果進(jìn)行對比，結(jié)果如表3 多模型預(yù)測結(jié)果對比表示，列舉了每種模型的誤差值，誤差值計算方法使用的是均方根誤差、平均絕對誤差，由表結(jié)果知，對于一般氣象參數(shù)的太陽能發(fā)電預(yù)測，循環(huán)神經(jīng)網(wǎng)絡(luò)對于時序周期性的數(shù)據(jù)具有較好的預(yù)測結(jié)果，實際結(jié)果也驗證了LSTM、MVWM 模型優(yōu)于SVM 線性回歸模型；添加新型注意力機制的MVWM 模型對比傳統(tǒng)的LSTM模型，其性能有一定的提高。

表3 多模型預(yù)測結(jié)果對比

4 結(jié)語

本文針對常規(guī)氣象數(shù)據(jù)情況下的光伏發(fā)電短期預(yù)測問題，提出了一種基于注意力機制的多氣象因素加權(quán)預(yù)測模型，模型的網(wǎng)絡(luò)以LSTM 網(wǎng)絡(luò)為基礎(chǔ)，同時采用不同時間步對氣象變量進(jìn)行加權(quán)的方式實現(xiàn)注意力機制，最后我們在數(shù)據(jù)集上驗證了該模型的效果，對比SVM 線性回歸、LSTM 等方法有了進(jìn)一步的提高。