基于自注意力機(jī)制改進(jìn)的TCN-GRU超短期光伏功率預(yù)測(cè)

摘要：為提高光伏功率預(yù)測(cè)精度，提出一種基于自注意力機(jī)制改進(jìn)的TCN和GRU超短期光伏發(fā)電功率預(yù)測(cè)模型.首先，對(duì)影響光伏功率的氣象因素進(jìn)行分析;其次，在改變TCN的連接方式的基礎(chǔ)上，結(jié)合自注意力機(jī)制特點(diǎn)優(yōu)化TCN殘差結(jié)構(gòu)及GRU的輸出，構(gòu)建組合預(yù)測(cè)模型.結(jié)果表明該模型具有較好的預(yù)測(cè)精度.

關(guān)鍵詞：光伏功率預(yù)測(cè)；自注意力機(jī)制；門控循環(huán)單元；時(shí)間卷積網(wǎng)絡(luò)

中圖分類號(hào)：TD713"" 文獻(xiàn)標(biāo)志碼：A

Improved TCN-GRU UItra Short-term PV PowerPrediction Based on Self-attention Mechanism

ZHANG He， ZHENG Xiao-liang

（School of Electrical and Information Engineering， Anhui University of Science and Technology， Huainan 232001， Anhui， China）

Abstract：In order to improve the accuracy of photovoltaic power prediction， an ultra-short-term photovoltaic power generation power prediction model based on TCN and GRU improved by self-attention mechanism was proposed. Firstly， the meteorological factors affecting photovoltaic power were analyzed. Then， on the basis of changing the connection mode of TCN， the residual structure of TCN and the output of GRU were optimized by combining the characteristics of the self-attention mechanism to construct a combinatorial prediction model. Finally， combined with experiments， it is shown that the model has good prediction accuracy.

Key words：PV power forecasting; self-attention mechanism; gated recurrent unit; temporal convolutional network

0 引言

近年來，隨著化石能源短缺和環(huán)境污染問題的日趨嚴(yán)重，加快能源結(jié)構(gòu)轉(zhuǎn)型已成為全球能源產(chǎn)業(yè)競(jìng)爭的焦點(diǎn)，太陽能發(fā)電行業(yè)成為國際潮流^[1].截至2022年底，全球光伏電站累計(jì)裝機(jī)容量達(dá)到約1 101 GW，其中，中國累計(jì)裝機(jī)容量位居榜首^[2].這一數(shù)據(jù)表明光伏發(fā)電正經(jīng)歷快速推廣與發(fā)展.然而，光伏功率受到多種環(huán)境因素制約，具有較大的波動(dòng)性與隨機(jī)性，使得大規(guī)模光伏發(fā)電并網(wǎng)對(duì)電網(wǎng)穩(wěn)定性產(chǎn)生不良影響^[3].因此，準(zhǔn)確預(yù)測(cè)光伏功率具有重要意義.

光伏功率預(yù)測(cè)根據(jù)時(shí)間范圍不同可劃分為3種類型：超短期光伏功率預(yù)測(cè)、短期光伏功率預(yù)測(cè)及中長期光伏功率預(yù)測(cè).其中，超短期光伏功率預(yù)測(cè)的時(shí)間范圍為未來0～4 h，可提高光伏發(fā)電系統(tǒng)的可靠性^[4].目前，學(xué)界針對(duì)光伏發(fā)電功率預(yù)測(cè)算法開展了大量研究.徐柔等^[5]為構(gòu)建具有多樣性的有效樣本數(shù)據(jù)集，使用一維卷積作為深度卷積對(duì)抗網(wǎng)絡(luò)（DCGAN）生成器的核心結(jié)構(gòu)，并將長短時(shí)記憶網(wǎng)絡(luò)（LSTM）和注意力機(jī)制進(jìn)行光伏功率組合預(yù)測(cè).史加榮等^[6]通過將門控循環(huán)單元（GRU）與寬度學(xué)習(xí)系統(tǒng)（BLS）相融合提出了GRU-BLS組合預(yù)測(cè)模型，用于緩解深度學(xué)習(xí)訓(xùn)練時(shí)間長及易陷入局部極值的缺陷.劉國海等^[7]為提升預(yù)測(cè)精度、降低計(jì)算成本并增強(qiáng)模型泛化能力，將注意力機(jī)制與GRU模型結(jié)合，使其能夠更專注于時(shí)序輸入中的關(guān)鍵信息，從而優(yōu)化預(yù)測(cè)效果.

基于上述研究，本文首先采用皮爾遜（Pearson）相關(guān)系數(shù)法進(jìn)行特征選擇以降低數(shù)據(jù)復(fù)雜度，其次結(jié)合TCN的時(shí)序特征提取及GRU時(shí)序建模特點(diǎn)，最后利用自注意力機(jī)制能動(dòng)態(tài)關(guān)注序列中不同時(shí)間點(diǎn)的能力進(jìn)行改進(jìn)，構(gòu)建基于自注意力機(jī)制改進(jìn)的TCN-GRU預(yù)測(cè)模型.

1 相關(guān)性分析

光伏發(fā)電功率受到輻照度、降雨量、環(huán)境溫度及風(fēng)速等多種氣象因素影響.由于不同氣象因子對(duì)光伏發(fā)電的影響程度存在差異，考慮過多非關(guān)鍵影響因素會(huì)使模型訓(xùn)練難度增強(qiáng)，為此，本文采用Pearson相關(guān)系數(shù)篩選出主要的影響因素，Pearson相關(guān)系數(shù)ρX，Y計(jì)算如式（1）所示.

ρX，Y=

∑Ni=1（xi－x）（yi－y）∑Ni=1（xi－x）2∑Ni=1（yi－y）2，（1）

其中：xi和yi為變量樣本;x和y為樣本平均值.

本文使用澳大利亞艾利斯普林斯（Alice Springs）公開數(shù)據(jù)集進(jìn)行相關(guān)性分析^[8]，涵蓋溫度、濕度、降雨量及水平面總輻照度等氣象因素以及實(shí)際光伏功率，為直觀地顯示分析結(jié)果，繪制相關(guān)系數(shù)的熱力圖，如圖1所示.

由圖1可知，多影響因素下水平輻射對(duì)發(fā)電功率影響是最大，系數(shù)高達(dá)0.894，其次為水平散射、相對(duì)濕度及環(huán)境溫度等，其中相對(duì)濕度與發(fā)電功率呈負(fù)相關(guān).降雨量相關(guān)系數(shù)最低，系數(shù)為-0.007，本文選擇相關(guān)性較高的水平輻射、水平散射及相對(duì)濕度作為影響功率的主要因素.

2 模型建立

2.1 自注意力機(jī)制

使用神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)時(shí)由于不同時(shí)刻的數(shù)據(jù)存在差異性，導(dǎo)致構(gòu)造出的組合預(yù)測(cè)模型無法充分挖掘出數(shù)據(jù)中的動(dòng)態(tài)關(guān)聯(lián)信息，進(jìn)而對(duì)預(yù)測(cè)結(jié)果的準(zhǔn)確性造成影響.

與神經(jīng)網(wǎng)絡(luò)不同，自注意力機(jī)制通過模擬人腦依據(jù)數(shù)據(jù)之間的內(nèi)在關(guān)聯(lián)進(jìn)行權(quán)重的分配，通過確定每個(gè)數(shù)據(jù)的權(quán)重實(shí)現(xiàn)對(duì)輸入數(shù)據(jù)的動(dòng)態(tài)加權(quán).此外，自注意力機(jī)制具備并行處理能力，可規(guī)避長距離依賴引發(fā)的信息丟失問題，進(jìn)而提升數(shù)據(jù)處理效率和準(zhǔn)確性.本文借助自注意力機(jī)制提升長序列數(shù)據(jù)的處理精度.自注意力機(jī)制的計(jì)算過程如下.

（1）計(jì)算注意力分布

設(shè)X=［x1，x2，…，xn］為輸入向量，q為查詢向量，s（xk，q）為打分函數(shù)，用于計(jì)算輸入向量與查詢向量的相關(guān)程度.注意力分布αk計(jì)算如式（2）所示.

αk=softmax（s（xk，q））=e^{s（xk，q）}∑ni=1e^{s（xk，q）}，（2）

其中，αk表示k個(gè)向量的注意力分布.

打分函數(shù)有加性、點(diǎn)積及縮放點(diǎn)積等，分別如式（3）、式（4）及式（5）所示.

s（xk，q）=VTtanh（Wxk+Uq），（3）

s（xk，q）=xTkq，（4）

s（xk，q）=xTkqd，（5）

其中：W，V，U為可學(xué)習(xí)參數(shù);d為特征向量維度.

（2）計(jì)算加權(quán)求和

輸入向量與對(duì)應(yīng)的注意力分布加權(quán)求和即為注意力機(jī)制輸出，如式（6）所示：

A（X，q）=∑ni=1αixi.（6）

自注意力機(jī)制將輸入向量X經(jīng)線性變換矩陣轉(zhuǎn)換為查詢矩陣Q、鍵矩陣K以及值矩陣V，具體過程如圖2所示，計(jì)算如式（7）、式（8）所示.

Q=WqX，K=WkX，V=WvX，（7）

FAtt=softmax（KTQDk）V，（8）

其中：Wq、Wk、Wv為線性變換矩陣;Dk為矩陣維度，自注意力機(jī)制采用式（5）即縮放點(diǎn)積模型，避免Q與K的點(diǎn)乘結(jié)果過大導(dǎo)致softmax函數(shù)進(jìn)入無遞度區(qū)域.

2.2 門控循環(huán)單元

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）作為一種深度學(xué)習(xí)模型，基于其結(jié)構(gòu)特性在預(yù)測(cè)任務(wù)中展現(xiàn)出顯著優(yōu)勢(shì)，但其存在梯度消失等問題.LSTM在RNN的基礎(chǔ)上引入門限機(jī)制有效緩解了上述問題，顯著提升了模型在處理復(fù)雜序列數(shù)據(jù)時(shí)的性能，但是LSTM計(jì)算過程較為復(fù)雜，隨著數(shù)據(jù)量增長，訓(xùn)練時(shí)間也會(huì)顯著增加.

GRU是LSTM的改進(jìn)，相較于LSTM模型的3個(gè)門函數(shù)，GRU簡化為僅兩個(gè)門函數(shù)（更新門、重置門），參數(shù)量更小，訓(xùn)練速度更快.GRU細(xì)胞結(jié)構(gòu)如圖3所示.

GRU的計(jì)算過程如式（9）～式（12）所示.

Rt=σ（WfXt+UfHt－1+bf），（9）

Zt=σ（WiXt+UiHt－1+bi），（10）

H～t=tanh（WjXt+Uj（Rt*Ht－1）+bj），（11）

Ht=（1－Zt）*Ht－1+Zt*H～t，（12）

其中：Rt為重置門，用于控制過去對(duì)當(dāng)前時(shí)刻的影響大?。籞t為更新門，控制現(xiàn)在與過去有多少信息可以被傳遞到下一時(shí)間；H～t為候選狀態(tài)；tanh用于將數(shù)據(jù)進(jìn)行歸一化處理；σ為sigmoid激活函數(shù)；Ht為t時(shí)刻當(dāng)前狀態(tài)；Wf、Wi、Wj、Uf、Ui、Uj為權(quán)值矩陣；bf、bi、bj為偏置.

2.3 基于時(shí)間卷積網(wǎng)絡(luò)的模型結(jié)構(gòu)

2.3.1 時(shí)間卷積網(wǎng)絡(luò)

TCN是一種結(jié)合殘差連接與擴(kuò)張因果卷積的網(wǎng)絡(luò)結(jié)構(gòu).

（1）擴(kuò)張因果卷積

在時(shí)間序列預(yù)測(cè)中，t時(shí)刻的輸出yt僅與當(dāng)前時(shí)刻的輸入xt及之前時(shí)刻的輸入xt－1、xt－2、xt－3、xt－4有關(guān)，而與未來時(shí)刻無關(guān)，為了確保輸出張量與輸入張量長度一致，采取在輸入張量左側(cè)進(jìn)行零填充策略滿足因果卷積，其結(jié)構(gòu)如圖4（a）所示.

一般情況下，若要獲得較長歷史信息甚至覆蓋完整的歷史記錄需要增加網(wǎng)絡(luò)深度，但深度會(huì)導(dǎo)致梯度消失、計(jì)算復(fù)雜等問題.擴(kuò)張卷積通過間隔采樣方式，在不增加模型復(fù)雜度和參數(shù)的情況下，實(shí)現(xiàn)指數(shù)級(jí)增大感受野，捕獲長期依賴關(guān)系，其計(jì)算如式（13）所示.

F（s）=∑l－1h=0f（h）xs－d*h，（13）

其中，x為輸入數(shù)據(jù)序列，l為卷積核的大小，s－d*h為時(shí)序數(shù)據(jù)索引，f（h）為卷積核中第h個(gè)元素.d為擴(kuò)張系數(shù)，其值越大，感受野越大，擴(kuò)張系數(shù)d=［1，2，4，8］的擴(kuò)張卷積如圖4（b）所示.

（2）殘差模塊

與遞歸神經(jīng)網(wǎng)絡(luò)相比，TCN通過引入殘差連接模塊解決了深層傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中網(wǎng)絡(luò)退化及梯度爆炸的困擾，從而提升模型準(zhǔn)確性，TCN模型的殘差模塊如圖5所示.

右分支由擴(kuò)張卷積、權(quán)重歸一化、ReLu函數(shù)及Dropout組成，其中，權(quán)重歸一化通過重寫權(quán)值向量參數(shù)來加速模型收斂，以提高運(yùn)行效率.Dropout通過隨機(jī)丟棄部分神經(jīng)元減少對(duì)局部信息的過分依賴，提高其泛化能力.左分支為殘差連接，使用一維卷積運(yùn)算保證兩個(gè)分支的輸出維度一致.

2.3.2 改進(jìn)的TCN結(jié)構(gòu)

傳統(tǒng)時(shí)間卷積網(wǎng)絡(luò)的殘差模塊采用串聯(lián)方式傳遞信息，但該連接方式導(dǎo)致模型學(xué)習(xí)到的有用信息較少，有一定的改進(jìn)空間^[9].本文受到并聯(lián)結(jié)構(gòu)啟發(fā)，提出兩點(diǎn)改進(jìn).

（1）將殘差模塊的連接方式修改為并聯(lián)連接，提高模型學(xué)習(xí)有用信息的能力.

（2）在并聯(lián)支路添加自注意力機(jī)制，用于捕獲個(gè)體序列間的關(guān)系信息，提升空間特征提取的準(zhǔn)確性和全面性.

改進(jìn)后的殘差模塊結(jié)構(gòu)如圖6所示.

圖6 改進(jìn)殘差模塊結(jié)構(gòu)

2.4 組合模型

本文綜合各模型優(yōu)點(diǎn)，提出一種基于自注意力機(jī)制改進(jìn)的TCN-GRU神經(jīng)網(wǎng)絡(luò)模型，其結(jié)構(gòu)如圖7所示，包含輸入層、TCN網(wǎng)絡(luò)層、GRU層以及輸出層.各層具體任務(wù)如下.

（1）輸入層：將預(yù)處理后的光伏發(fā)電功率數(shù)據(jù)及相關(guān)影響因素輸入模型中.

（2）TCN層：通過改進(jìn)的因果擴(kuò)張卷積實(shí)現(xiàn)特征提取，借助殘差連接加速收斂，利用自注意力機(jī)制層自迭代突出序列中的關(guān)鍵空間特征，有效捕捉時(shí)間序列間的依賴關(guān)系，避免梯度彌散等問題.

（3）GRU層：GRU因其強(qiáng)大的非線性擬合能力，能夠高效地提取數(shù)據(jù)特征，將TCN層的輸出作為其輸入進(jìn)一步提取特征.此外，為捕獲不同時(shí)間點(diǎn)輸出間的重要關(guān)系，在GRU層引入自注意力機(jī)制，增強(qiáng)模型捕獲數(shù)據(jù)特征信息和時(shí)間點(diǎn)間重要關(guān)系的能力，進(jìn)一步提高模型預(yù)測(cè)效果.

（4）輸出層：通過全連接層得到光伏發(fā)電功率預(yù)測(cè)結(jié)果.

2.5 模型評(píng)估指標(biāo)

預(yù)測(cè)模型的評(píng)估主要基于真實(shí)值與預(yù)測(cè)值之間的誤差，以衡量模型的準(zhǔn)確性.實(shí)驗(yàn)選取均方根誤差（RMSE）、平均絕對(duì)誤差（MAE）及相關(guān)系數(shù)（R2）作為評(píng)價(jià)指標(biāo)，其中，RMSE和MAE越低，R2的值越近1，表明模型預(yù)測(cè)效果越好，各指標(biāo)計(jì)算如式（14）～式（16）所示：

RMSE=1N∑Ni=1（yi－yi）2，（14）

MAE=1N∑Ni=1|yi－yi|，（15）

R2=1－∑Ni=1（yi－yi）2∑Ni=1yi－1N∑Ni=1yi2，（16）

其中：N代表樣本數(shù);yi為光伏功率實(shí)際值;yi為模型預(yù)測(cè)值.

3 仿真分析

3.1 數(shù)據(jù)來源

實(shí)驗(yàn)選取DKASC的Alice Spring電站作為研究對(duì)象.結(jié)合澳大利亞地理位置和氣候變化特點(diǎn)，選擇2020年1月1日至2020年2月29日期間光伏發(fā)電數(shù)據(jù)，時(shí)間范圍為每日06∶30∶00至19∶30∶00，每隔5 min采樣一次.該數(shù)據(jù)集用于模型訓(xùn)練，并預(yù)測(cè)未來7天相同時(shí)間范圍內(nèi)的發(fā)電功率數(shù)據(jù).

3.2 模型參數(shù)選取

通過多次實(shí)驗(yàn)驗(yàn)證并結(jié)合相關(guān)文獻(xiàn)，確定模型最優(yōu)的參數(shù)如表1所列.其中，TCN#1和TCN#2分別代表TCN并聯(lián)結(jié)構(gòu)中的分支1和2；d為擴(kuò)張系數(shù)，n為卷積核數(shù)量，p為神經(jīng)元丟棄概率.

3.3 實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證本文提出改進(jìn)TCN-GRU模型的有效性并避免實(shí)驗(yàn)偶然性，對(duì)TCN-GRU模型進(jìn)行了50、70、90、110及130次訓(xùn)練，為公平進(jìn)行對(duì)比，實(shí)驗(yàn)采用相同的輸入變量，測(cè)試集結(jié)果各項(xiàng)指標(biāo)值如表2所列.

由表2可知，與TCN-GRU 3個(gè)評(píng)價(jià)指標(biāo)相比，本文模型R2平均增加0.44%，MMAE平均降低12.66%，RRMSE平均降低2.98%，證明本文所提基于自主注意力機(jī)制改進(jìn)的TCN-GRU模型更有效，引入自注意力機(jī)制模塊預(yù)測(cè)精度更高.

為進(jìn)一步驗(yàn)證預(yù)測(cè)模型有效性與預(yù)測(cè)精確度，本文與單一模型LSTM、GRU和組合模型CNN-BiLSTM^[10]及TCN-Attention-LST-M^[11]進(jìn)行比較，各模型在測(cè)試集上的預(yù)測(cè)結(jié)果如圖8、圖9所示.

由圖8、圖9可直觀看出，本文模型預(yù)測(cè)值與實(shí)際值的變化趨勢(shì)較為接近.各模型的預(yù)測(cè)評(píng)價(jià)指標(biāo)值以及訓(xùn)練時(shí)間如表3所列.

由表3可知，相比單一LSTM、GRU模型，本文模型的MAE值分別降低了33.93%、29.55%;RMSE值分別下降了12.28%、11.27%；R2值分別上升了1.8%、1.63%；相比組合預(yù)測(cè)模型CNN-BiLSTM、TCN-Attention-LSTM，本文模型的MAE值分別下降了21.66%、9.04%；RMSE值分別下降了8.69%、3.05%；R2值上升了1.19%、0.38%.以上結(jié)果表明本文模型的預(yù)測(cè)精度較高.此外，與單一預(yù)測(cè)模型LSTM、GRU相比，本文模型訓(xùn)練時(shí)間較長，表明模型復(fù)雜度增加會(huì)導(dǎo)致訓(xùn)練成本增長.

在光伏功率預(yù)測(cè)中，精確度往往受到天氣狀況的影響.探究了本文模型在不同天氣下的預(yù)測(cè)精度，各模型在平穩(wěn)天氣（3月6—7日）和非平穩(wěn)天氣（3月1-5日）下的預(yù)測(cè)評(píng)價(jià)指標(biāo)值如表4所列.

由表4可知，在天氣變化平穩(wěn)時(shí)，由于光伏發(fā)電功率變化平緩，單模型及組合模型預(yù)測(cè)效果較好.然而，本文模型預(yù)測(cè)結(jié)果更接近實(shí)際值，效果最佳；在非平穩(wěn)天氣狀況下，由于波動(dòng)時(shí)間段較長、波動(dòng)性較大，單模型及組合模型預(yù)測(cè)效果均有不同程度的降低，但本文模型在預(yù)測(cè)精度和穩(wěn)定

性方面仍具有一定優(yōu)勢(shì)，表明該模型具有一定的抗干擾能力.

4 結(jié)語

為提高光伏輸出功率的預(yù)測(cè)精度，提出了基于自注意力機(jī)制改進(jìn)的TCN-GRU的光伏發(fā)電超短期功率預(yù)測(cè)模型.將TCN殘差模塊的連接改為并聯(lián)結(jié)構(gòu)，提高了模型學(xué)習(xí)有用信息的能力，同時(shí)利用注意力機(jī)制進(jìn)行信息權(quán)重自適應(yīng)選擇并構(gòu)建組合預(yù)測(cè)模型.實(shí)驗(yàn)結(jié)果表明，該組合模型具有更好的預(yù)測(cè)精度，證明了本文提出的組合預(yù)測(cè)模型的可行性.這一方法為光伏發(fā)電系統(tǒng)的日常運(yùn)行及管理決策提供了一種可靠的預(yù)測(cè)手段.

參考文獻(xiàn)：

[1] 傅其昌，施紅如.太陽能光伏發(fā)電技術(shù)在農(nóng)業(yè)智能化灌溉系統(tǒng)的應(yīng)用研究[J].山東農(nóng)機(jī)化，2023（3）：43-45.

[2] 朱吉慶，宋雨昂.太陽能光伏發(fā)電技術(shù)發(fā)展現(xiàn)狀與前景[J].對(duì)外經(jīng)貿(mào)，2024（1）：31-34，131.

[3] 龔鶯飛，魯宗相，喬穎.光伏功率預(yù)測(cè)技術(shù)[J].電力系統(tǒng)自動(dòng)化，2016，40（4）：140-151.

[4] 董存，王錚，白捷予，等.光伏發(fā)電功率超短期預(yù)測(cè)方法綜述[J].高電壓技術(shù)，2023，49（7）：2938-2951.

[5] 徐柔，章杰，賴松林，等.結(jié)合改進(jìn)的DCGAN和Attention-LSTM的光伏功率預(yù)測(cè)[J].福州大學(xué)學(xué)報(bào)（自然科學(xué)版），2023，51（4）：498-504.

[6] 史加榮，殷詔.基于GRU-BLS的超短期光伏發(fā)電功率預(yù)測(cè)[J].智慧電力，2023，51（9）：38-45.

[7] 劉國海，孫文卿，吳振飛，等.基于Attention-GRU的短期光伏發(fā)電功率預(yù)測(cè)[J].太陽能學(xué)報(bào)，2022，43（2）：226-232.

[8] DKA Solar Centre. Data Download[EB/OL].[2024-03-01].https：//dkasolarcentre. com. au/download？location=alice-springs.

[9] 秦浩.基于改進(jìn)時(shí)間卷積網(wǎng)絡(luò)的短期電力負(fù)荷預(yù)測(cè)研究[D].南昌：南昌大學(xué)，2024：40.

[10] 倪超，王聰，朱婷婷，等.基于CNN-Bi-LSTM的太陽輻照度超短期預(yù)測(cè)[J].太陽能學(xué)報(bào)，2022，43（3）：197-202.

[11] 高巖，吳漢斌，張紀(jì)欣，等.基于組合深度學(xué)習(xí)的光伏功率日前概率預(yù)測(cè)模型[J].中國電力，2024，57（4）：100-110.

［責(zé)任編輯：李嵐 杜佳］