基于STL 與MMoE 多任務學習的區(qū)域多光伏電站超短期功率聯(lián)合預測方法

王本濤，白 楊，邢紅濤，徐 巖

（1.國網呼倫貝爾供電公司，呼倫貝爾 021000；2.河北冀研能源科學技術研究院有限公司，石家莊 050071；3.華北電力大學電力工程系，保定 071003）

隨著光伏裝機容量的不斷增長，電網中光伏發(fā)電接入比率不斷提高。在這種背景下，為保證電網的安全穩(wěn)定運行，準確的光伏功率預測不可或缺。光伏電站是典型的間歇性能源，其發(fā)電能力受外部環(huán)境影響較大，波動性強，實現精準的光伏功率預測對提高光伏電站控制調度性能意義重大[1]。光伏預測從時間尺度上可以分為超短期、短期和中長期預測，其中超短期光伏預測能夠提供光伏出力的詳細變化信息，反映功率瞬變的波動細節(jié)，因而相關研究獲得了廣泛關注。

從預測方法來看，已有研究所用的光伏功率預測模型大體可分為統(tǒng)計模型[2-4]、神經網絡模型[5]、傳統(tǒng)機器學習模型[6]3 類。統(tǒng)計模型以時間序列分析為理論基礎，通過光伏功率歷史數據進行建模，理論完備，可解釋性好。例如文獻[2]中分析了光伏出力存在周期性與隨機性，通過太陽輻射模型與最小二乘理論提出了隨機分量提取方法；文獻[3]通過多重線性回歸分析構建了光伏功率預測模型。但是，由于光伏功率與多維特征之間存在復雜的非線性關系，因而統(tǒng)計模型的光伏功率預測精度不夠理想。

目前，隨著深度學習等技術的發(fā)展，神經網絡模型，特別是深度神經網絡模型在光伏功率預測中得到了廣泛應用。深度神經網絡模型具有特征提取能力強、能夠建模時間序列波動特性等優(yōu)勢。文獻[7-8]通過長短時記憶網絡LSTM（long short-term memory）構建了短期光伏發(fā)電預測模型；文獻[9]則是采用了卷積神經網絡CNN（convolutional neural network）-LSTM 作為預測模型；文獻[10]基于互信息熵對已有LSTM 模型進行改進，提出了基于互信息熵MIE（mutual information entropy）-LSTM 的短期光伏功率預測方法。但是，這些方法僅適用于單個光伏電站，無法考慮多光伏電站之間的相關特征，且在高級特征有效性方面有待加強?？紤]到神經網絡初始權重與參數選擇問題，文獻[11]提出了一種雙模式布谷鳥搜索算法對小波神經網絡進行優(yōu)化，提高了其收斂速度。文獻[12-13]也采用了改進的搜索算法來優(yōu)化神經網絡的超參數。參數優(yōu)化的目的是通過控制網絡深度來確保特征有效性，但搜索過程較為復雜。近年來研究表明可以利用注意力機制實現高級特征的自動增強[14]，從而降低參數搜素過程中的計算成本，但目前該方法在光伏功率預測方面的研究還鮮見報道。

為提高模型的預測效果，已有不少研究在輸入特征方面進行改進，例如對功率曲線進行分解[6-7，15-16]，或者選定影響功率的主導因素[8-9，17]。在光伏功率分解方面，變分模態(tài)分解[6]、經驗模態(tài)分解[7]、小波包變換[16]都是近年來常用的方法。這些功率曲線分解算法偏重于分解信號的高頻、低頻分量，對光伏功率的周期性考慮不充分，可解釋性較差。而在影響因素選擇方面，文獻[8，17]通過歷史功率曲線聚類來提取光伏功率與特征之間的關系，進而確定輸入特征。文獻[9]則是通過Granger因果關系算法選擇出關鍵氣象因子作為輸入。文獻[5]通過對歷史氣象因素進行密度峰值聚類，利用統(tǒng)計指標構建天氣特征向量。文獻[11]中利用C-C方法進行混沌吸引子重構，挖掘各因素信息對光伏發(fā)電功率的影響。

由于目前光伏功率預測對象往往是單個光伏電站，已有研究往往是從單個電站的角度來考慮輸入特征，同一區(qū)域內不同光伏電站功率的相關性特征還少有考慮。同一區(qū)域內氣象環(huán)境變化具有連續(xù)性，基于不同光伏電站歷史功率進行聯(lián)合預測有助于提高預測精度，降低計算成本。對于區(qū)域多光伏電站的功率預測問題，傳統(tǒng)機器學習方法或統(tǒng)計學方法需要對每個光伏電站分別建立單獨模型進行預測。這種處理方式忽略了不同光伏電站功率預測問題中存在的潛在相關性，同時存在重復建模、計算成本高的問題。而多任務學習僅需要建立1 個模型，將不同光伏電站的功率預測視作是該模型的子任務，通過不同任務之間的信息共享提高每個子任務的預測準確性。

綜上所述，本文提出了一種基于季節(jié)性分解STL（seasonal and trend decomposition using loess）與MMoE多任務學習的區(qū)域多光伏電站超短期功率聯(lián)合預測方法。首先，對光伏功率曲線進行STL，從而確定光伏功率曲線的周期分量、趨勢分量與剩余分量，進而通過MMoE多任務學習方法挖掘同一區(qū)域內不同光伏電站功率的剩余分量與趨勢分量之間的相關性，通過注意力機制改進的深度神經網絡模型進行預測。

1 預測模型構建流程

首先，將區(qū)域內不同光伏電站功率曲線進行STL，分別得到周期分量、趨勢分量、剩余分量3 種曲線。對于提取得到的周期分量，可直接通過其參數進行外推，無需預測。對于趨勢分量與剩余分量，將光伏電站的歷史分量數據與氣象因素數據共同作為輸入特征進行訓練，深度神經網絡模型采用注意力機制進行改進，采用MMoE多任務學習方法來挖掘不同光伏電站功率之間的相關性，從而實現不同光伏電站功率未來趨勢分量與剩余分量的準確預測。最后，通過對3種分量進行相加得到光伏電站功率超短期預測結果。預測模型構建如圖1所示。

圖1 預測模型構建Fig.1 Construction of prediction model

2 STL 模型

STL方法是一種基于局部加權回歸散點平滑算法（loess）的時間序列分解方法，能夠將時間序列分解為周期分量、趨勢分量、剩余分量3部分。STL包括內循環(huán)和外循環(huán)兩個部分，其中內循環(huán)主要通過去趨勢、去周期、平滑濾波等步驟獲得趨勢分量與周期分量；外循環(huán)則是通過穩(wěn)健性權重削減離群點的影響。

STL 模型可以分為加法模型和乘法模型兩種。乘法模型意味著不同分量之間存在相互影響，而對于本文所述的光伏功率預測問題，不同分量之間彼此獨立，因此加法模型更為適用。以某周光伏電站實際出力功率曲線為例，STL結果如圖2所示。

圖2 光伏功率STL 典型分解結果Fig.2 PV power decomposition result based on typical STL

對于本文所述的區(qū)域多光伏電站功率預測問題，同一區(qū)域內不同光伏電站的功率具有顯著一致的周期性，且趨勢分量與剩余分量的變化存在密切相關性，因此分解后的結果對預測問題而言是有益的。

3 基于注意力機制與LSTM 的MMoE 多任務學習模型

3.1 多任務學習MMoE 模型

多任務學習從實現方式上可以分為硬共享機制與軟共享機制，硬共享機制中通過參數共享來實現特征提取與輸出，而軟共享機制中每個任務都具有單獨的參數?？紤]到區(qū)域多光伏電站的功率相關性較為顯著，并且不同子任務之間性質相近，因此本文采用硬共享機制實現多任務學習，其原理如圖3所示。

圖3 基于硬共享機制的多任務學習Fig.3 Multi-task learning based on hard-sharing mechanism

對于多任務學習，任務之間的關系會極大地影響多任務模型的預測質量。因此，實現特定任務目標和任務間關系之間的建模權衡是非常重要的。MMoE 模型很好地解決了這一問題，通過將共享層劃分為多個專家子網（expert），利用門控（gate）機制實現了共享層的靈活組合[18]，模型如圖4所示。

圖4 MMoE 模型原理Fig.4 Principle of MMoE model

設輸入為x，共享網絡底層為f(x)，子任務獨立輸出層為hk(x)，其中k表示第k個任務，則第k個任務的輸出yk可表示為

式中：n為任務數；gk,i(x)為第i個專家子網門控單元的輸出；fi(x)為第i個專家子網的輸出。

3.2 LSTM 子任務層

對于MMoE 模型，專家子網負責提取不同任務之間的相關性特征，后續(xù)子任務層可依據不同任務需求選擇。對于光伏電站預測問題，此處選擇LSTM單元組成子任務層。LSTM單元的結構如圖5所示。

圖5 LSTM 單元結構Fig.5 Structure of LSTM unit

LSTM 單元輸入的相關變量包括當前輸入xt、前1 個單元的輸出ht-1、前1 個單元的狀態(tài)ct-1、輸出變量即當前單元輸出ht、當前單元狀態(tài)ct。LSTM單元包括遺忘門、輸入門和輸出門，其機制可表示為

式中：ft為遺忘門的輸出，用于控制前一狀態(tài)信息對當前狀態(tài)的影響；it為輸入門的輸出；ot為輸出門的狀態(tài)；Wf、Wi、Wo、Wc分別為網絡激活函數輸入的權重矩陣；bf、bi、bo、bc為偏置項；σ（）為sigmoid函數；[]表示向量連接組合；符號°表示Hadamard乘積運算。

3.3 注意力機制

深度學習中的注意力機制本質上模仿了人類處理復雜信息時的注意力，即從眾多信息中獲取最重要信息的能力。注意力機制能夠使深度學習網絡自適應地進行信息篩選，對重要程度更高的信息加以利用，并抑制其他無關信息，從而提高信息處理的效率和準確性。

本文在模型輸出層之前添加注意力層，通過注意力層計算隱藏層中各神經元的權重，使網絡主動聚焦隱藏層中的關鍵特征，來提高光伏發(fā)電預測的準確性。根據注意力權重計算方法的不同，可以將注意力機制分為兩種：①由Bahdanau提出的加法模型；②由Luong 提出的乘法模型。兩者區(qū)別在于加法模型使用第t-1 步的隱藏層狀態(tài)計算第t步的注意力權重，而乘法模型則使用第t步的隱藏層狀態(tài)進行計算。算例中將對兩種注意力機制模型的效果進行對比，通過算例測試發(fā)現，加法注意力模型的光伏預測誤差更小，因此本文使用加法模型構建注意力層。

3.4 MMoE-LSTM-Attention 網絡結構

結合上述方法，本文設計的MMoE-LSTM-Attention網絡結構如表1所示。

表1 MMoE-LSTM-Attention 網絡結構Tab.1 Structure of MMoE-LSTM-Attention network

本文算例對區(qū)域內10 個光伏電站的趨勢分量與剩余分量進行預測，因此子任務數為10。多任務層用于提取不同光伏電站出力之間的相關性，MMoE層可以自動實現關聯(lián)性與子任務目標的信息分配，子任務層則利用了LSTM 層與注意力層實現了對每個光伏電站出力的預測。

4 算例分析

本文使用的數據來自澳大利亞DKASC 數據集[19]，從中選擇了區(qū)域內10 個光伏電站2019 年全年光伏功率數據，采樣率為每5 min 采樣1 個數據點。輸入特征包括前6 個點的光伏功率分解結果（包括6維趨勢分量和6維剩余分量）和當前時刻的6個氣象特征（包括溫度、相對濕度、全局水平輻射、散射輻射、風向、降水），輸入特征共18維。氣象特征的采樣率同樣為每5 min 采樣1 個數據點，預測對象為下一點的功率值，即滯后階為1步。由于夜間光伏功率無需預測，為準確反映所提方法的有效性，本文僅采用日間功率數據進行訓練與測試，時間段為07：00—18：00，共11×12=132 個功率點。將1月—11月數據作為訓練集，12月數據作為測試集。為驗證所提STL、MMoE多任務學習、注意力機制3方面技術改進有助于提升功率預測精度，下面采用控制變量的方法進行實驗，即在對照方法中分別剔除STL分解、MMoE及注意力機制，以便準確分析所提方法效果，模型均訓練50輪后進行預測。

4.1 STL 有效性分析

本文所提方法需要分別對STL 得到的趨勢分量與剩余分量進行預測，之后再與周期分量相加得到最終預測結果。為測試STL 對光伏功率預測的影響，對比方法使用相同的網絡結構直接對光伏功率進行預測，兩種方法的誤差情況如表2所示。由表2可知，在光伏功率預測中，STL能有效提高預測精度。在平均絕對誤差MAE（mean absolute error）與均方根誤差RMSE（root mean square error）兩個誤差指標上，經過STL的多任務學習模型預測誤差更低。

表2 STL 對預測誤差影響Tab.2 Effect of STL on prediction errors

為進一步驗證STL的優(yōu)越性，保持模型其他環(huán)節(jié)不變，將STL 替換為多種分解算法，計算預測誤差。對比方法包括集合經驗模態(tài)分解、變分模態(tài)分解[6]和小波包分解[16]。根據中心頻率法[6]確定集合經驗模態(tài)分解數目為14，變分模態(tài)分解數目為10，小波包分解數目參考文獻[16]設置為2，得到不同分解算法的誤差對比如表3所示。

表3 不同分解算法的誤差對比Tab.3 Comparison of errors among different decomposition methods

由表3可知，與其他先進分解算法相比，STL算法能有效降低模型預測誤差。從算法原理來看，STL尤其適用于具有周期性的時間序列數據。而對于周期性的光伏功率序列，STL 得到的周期分量無需預測即可確保準確，趨勢分量的波動性不強預測相對容易，剩余分量可通過多任務學習提高預測準確率，因此STL能夠提高光伏功率的預測精度。

4.2 MMoE 多任務學習有效性分析

本節(jié)測試MMoE 多任務學習方法的有效性，選取單任務學習方案作為基準，即采用子任務層的網絡結構分別訓練模型進行預測。傳統(tǒng)的硬共享機制多任務學習方法作為對比方法，在測試集上的預測誤差如表4所示。

表4 多任務學習預測誤差對比Tab.4 Comparison of prediction errors among different multi-task learning methods

由表4 可知，兩種多任務學習的方法預測誤差低于單任務學習方法，而本文所提基于MMoE的多任務學習方法比傳統(tǒng)的硬共享機制多任務學習方法的誤差更低，這表明MMoE 中的門控機制能夠在子任務訓練中實現不同任務信息的自動權衡，從而排除任務之間的無關因素，有助于提高預測精度。

4.3 注意力機制模型選擇

注意力機制模型可分為加法模型和乘法模型兩類，本節(jié)分別采用兩種模型進行測試，不使用注意力機制的方法作為對照，網絡的其他部分與表1 所示結構一致。3 種方法的誤差結果如表5所示。

表5 不同注意力模型誤差對比Tab.5 Comparison of errors among different attention models

由表5 可知，與不使用注意力機制相比，使用注意力機制的效果更好，而加法注意力機制能夠使模型提取的特征更加突出，這可能是由于某個光伏電站與其他光伏電站之間的相關性特征具有可加性導致的。

4.4 預測誤差分析

4.4.1 不同時間區(qū)間的預測誤差分析

本節(jié)對測試集的預測誤差進行分析，以小時為區(qū)間對預測誤差取平均值，并以箱線圖表示，結果如圖6 所示。由圖6 可知，整體預測誤差約為0.5 kW，誤差水平較低，驗證了所提方法的有效性。而13：00—14：00 的預測誤差明顯高于其他時段，這是由于此時段的太陽輻射強度最高，放大了光伏功率的波動性，因此從絕對誤差指標來看預測誤差更高。

圖6 不同時間區(qū)間的MAE 對比Fig.6 Comparison of MAE at different time intervals

4.4.2 不同季節(jié)、天氣類型的預測誤差分析

為驗證所提模型在不同季節(jié)、不同天氣類型下的預測性能，本節(jié)區(qū)分晴、多云、陰和雨/雪4種天氣類型，并使用LSTM、EEMD-LSTM[7]和CNN-LSTM[9]作為對比方法，對數據集中的3 月（春季）、6 月（夏季）、9 月（秋季）和12 月（冬季）的光伏發(fā)電功率進行預測，其余數據作為訓練集，得到MAE指標對比如表6所示。

表6 不同季節(jié)、天氣類型的MAE 指標對比Tab.6 Comparison of MAE under different seasons and different weathers

由表6可知，從季節(jié)因素來看，春季、冬季預測誤差略高，夏季、秋季誤差較低，原因是該地區(qū)春季、冬季氣溫較高，光伏功率總體數值偏大，預測絕對誤差也相應增加。從天氣類型類看，晴天光照充足，光伏發(fā)電功率較高，因此預測誤差較高；多云、陰、雨/雪天氣的光照逐漸降低，光伏發(fā)電功率減小，預測誤差也相應降低。從4種方法的預測誤差對比來看，CNN-LSTM 通過CNN 進行特征提取，增加了特征的有效性，預測誤差較LSTM有所降低；經驗模態(tài)分解EEMD（ensemble empirical mode decomposition）-LSTM 則對原始光伏功率進行分解，得到的模態(tài)分量規(guī)律性更強，易于預測，因此預測誤差進一步下降；本文方法則使用STL對光伏功率序列進行分解，并通過MMoE多任務學習模型考慮區(qū)域光伏電站間的關聯(lián)性，在4種對比方法中預測誤差最低，驗證了所提方法的有效性。

5 結論

本文提出了一種基于STL與MMoE多任務學習的區(qū)域多光伏電站功率聯(lián)合預測方法。通過STL獲得光伏功率的周期分量、剩余分量與趨勢分量。對于區(qū)域多光伏電站，周期分量無需預測，而不同光伏電站的剩余分量與趨勢分量之間存在關聯(lián)性，可通過多任務學習進行預測。對此，本文提出了MMoE-LSTM-Attention 網絡，來挖掘同一區(qū)域內不同光伏電站剩余分量與趨勢分量之間的相關性，通過注意力機制改進深度神經網絡模型進行預測。通過算例驗證了所提方法的有效性。主要結論如下。

（1）與已有分解方法相比，STL更適合光伏功率這種周期時間序列數據，可解釋性更好。分解得到的周期分量、趨勢分量、剩余分量為后續(xù)建模預測提供了便利。

（2）MMoE 多任務學習能夠有效考慮區(qū)域內不同光伏電站剩余分量與趨勢分量之間的弱相關性，從而提高預測精度。此外，MMoE 多任務學習能夠同時對多個光伏電站功率進行預測，降低了建模與計算成本。

（3）使用注意力機制對深度神經網絡進行改進，進一步提高了模型的特征提取能力。算例中對比了加法注意力模型與乘法注意力模型，證明了加法注意力模型更適合光伏功率預測問題。