摘 要:針對(duì)現(xiàn)有短期光伏功率區(qū)間預(yù)測(cè)問(wèn)題,提出一種時(shí)間卷積神經(jīng)網(wǎng)絡(luò)與注意力機(jī)制結(jié)合的框架,對(duì)注意力機(jī)制中的時(shí)間因果順序進(jìn)行嚴(yán)格限制,應(yīng)用殘差機(jī)制增強(qiáng)模型挖掘的信息能力,并利用質(zhì)量驅(qū)動(dòng)區(qū)間損失優(yōu)化模型參數(shù),最終實(shí)現(xiàn)短期功率區(qū)間預(yù)測(cè)效果的提高。根據(jù)中國(guó)河北省某光伏電站的當(dāng)?shù)貧庀髷?shù)據(jù)和歷史光伏功率數(shù)據(jù)進(jìn)行的仿真實(shí)驗(yàn)表明,相較于傳統(tǒng)的序列預(yù)測(cè)方法或區(qū)間損失,在連續(xù)時(shí)刻和不同天氣類型情況下,所提出的功率區(qū)間預(yù)測(cè)方法效果更有助于電網(wǎng)的科學(xué)調(diào)度與決策。
關(guān)鍵詞:光伏發(fā)電;功率預(yù)測(cè);深度學(xué)習(xí);時(shí)間卷積網(wǎng)絡(luò);因果注意力機(jī)制;質(zhì)量驅(qū)動(dòng)損失
中圖分類號(hào):TM615" " " " " " " " " "文獻(xiàn)標(biāo)志碼:A
0 引 言
近年來(lái),全球光伏發(fā)電規(guī)模增長(zhǎng)迅速,到2030年全球光伏發(fā)電裝機(jī)容量將達(dá)到1700 GW。然而,光伏發(fā)電具有隨機(jī)性和波動(dòng)性,大規(guī)模的光伏并網(wǎng)對(duì)電力系統(tǒng)平衡造成沖擊。因此,精確評(píng)估光伏功率是科學(xué)調(diào)度決策的前提,對(duì)保證電力系統(tǒng)穩(wěn)定運(yùn)行具有重要意義[1]。目前光伏功率預(yù)測(cè)形式以點(diǎn)預(yù)測(cè)居多,即通過(guò)歷史氣象、光伏功率數(shù)據(jù)獲取光伏電站運(yùn)行規(guī)律,建立功率的點(diǎn)預(yù)測(cè)模型。然而點(diǎn)預(yù)測(cè)僅提供預(yù)測(cè)時(shí)刻的點(diǎn)估計(jì),無(wú)法表示結(jié)果的不確定性,難以滿足電網(wǎng)調(diào)度決策和風(fēng)險(xiǎn)評(píng)估的需求[2]。
實(shí)際中電網(wǎng)調(diào)度與運(yùn)行涉及多時(shí)間尺度、多因素協(xié)調(diào)耦合,眾多的決策變量與約束條件導(dǎo)致求解難度大。區(qū)間預(yù)測(cè)通過(guò)獲取給定置信度的區(qū)間,運(yùn)用數(shù)值形式表示光伏功率的不確定性,簡(jiǎn)化含預(yù)測(cè)不確定性的光電系統(tǒng)經(jīng)濟(jì)調(diào)度問(wèn)題并做出最佳決策[2]。文獻(xiàn)[3]將分位數(shù)損失(Pinball)和極限學(xué)習(xí)機(jī)(extreme learning machine,ELM)相結(jié)合,通過(guò)在優(yōu)化函數(shù)中引入輔助變量將原問(wèn)題轉(zhuǎn)化為線性優(yōu)化問(wèn)題,快速求解光伏功率的上、下界。但Pinball損失不是直接對(duì)區(qū)間指標(biāo)優(yōu)化,無(wú)法保證區(qū)間預(yù)測(cè)效果。Copula理論近年來(lái)也開(kāi)始應(yīng)用于光伏功率分析中,文獻(xiàn)[4]結(jié)合高斯混合模型與多種Copula函數(shù)建立光伏功率相依結(jié)構(gòu),建立更高精度模型,并通過(guò)秩相關(guān)性和尾部相關(guān)性校驗(yàn)。然而,Copula函數(shù)在形式選擇和參數(shù)求解上存在困難,導(dǎo)致模型魯棒性差。文獻(xiàn)[5]直接應(yīng)用區(qū)間合成指標(biāo)寬度覆蓋標(biāo)準(zhǔn)(coverage width-based criterion,CWC)作為上下界估計(jì)方法(lower upper bound estimation method,LUBE)的損失,但由于CWC不可微分,基于梯度的優(yōu)化算法對(duì)模型參數(shù)更新無(wú)效,所以應(yīng)用模擬退火算法(simulated annealing,SA)進(jìn)行優(yōu)化。然而結(jié)合了啟發(fā)算法的模型天然存在搜索速度慢、結(jié)構(gòu)復(fù)雜、易于陷入局部最優(yōu)等缺點(diǎn),極大地限制了模型的應(yīng)用和效果。而質(zhì)量驅(qū)動(dòng)(quality-driven,QD)損失是一種新型區(qū)間損失函數(shù),與其他損失相比,具有處處可微、易于實(shí)現(xiàn)、保障區(qū)間預(yù)測(cè)效果等優(yōu)點(diǎn)[6]。針對(duì)短期風(fēng)功率預(yù)測(cè)問(wèn)題,文獻(xiàn)[7-8]應(yīng)用神經(jīng)網(wǎng)絡(luò)框架,損失函數(shù)通過(guò)添加正則項(xiàng)改進(jìn)QD損失,以約束風(fēng)功率預(yù)測(cè)區(qū)間,最終提升區(qū)間預(yù)測(cè)指標(biāo);文獻(xiàn)[9]在應(yīng)對(duì)風(fēng)電和光電的區(qū)域性長(zhǎng)期功率預(yù)測(cè)的網(wǎng)絡(luò)建模問(wèn)題時(shí),分解QD損失為多目標(biāo)任務(wù)并應(yīng)用超級(jí)網(wǎng)絡(luò)(hypernetworks,HN)尋找最優(yōu)參數(shù),為QD損失的應(yīng)用提供借鑒。同屬新能源的風(fēng)電、光伏由于均具有波動(dòng)性和非平穩(wěn)性,對(duì)風(fēng)功率預(yù)測(cè)、光伏功率預(yù)測(cè)造成困難,那么借鑒QD損失在風(fēng)功率區(qū)間預(yù)測(cè)問(wèn)題上的成功應(yīng)用,在光伏功率區(qū)間預(yù)測(cè)中引入QD損失具備較強(qiáng)可行性。
在當(dāng)前光伏功率預(yù)測(cè)領(lǐng)域,以長(zhǎng)短期記憶網(wǎng)絡(luò)(long short term memory,LSTM)為代表的循環(huán)神經(jīng)網(wǎng)絡(luò)方法取得了很大成就,但由于無(wú)法并行運(yùn)算,存在訓(xùn)練時(shí)間長(zhǎng)、收斂速度慢等問(wèn)題。隨著人工智能的發(fā)展,具有可并行計(jì)算結(jié)構(gòu)優(yōu)勢(shì)的時(shí)間卷積神經(jīng)網(wǎng)絡(luò)(temporal convolutional network,TCN)可有效解決上述問(wèn)題,且TCN已在新能源領(lǐng)域中的風(fēng)電多變量序列功率預(yù)測(cè)、光伏多變量序列功率預(yù)測(cè)等方向上取得了優(yōu)異的表現(xiàn)[10-11]。但針對(duì)光伏功率問(wèn)題建立TCN,膨脹因子通常呈指數(shù)增長(zhǎng),導(dǎo)致TCN僅能在大尺度的范圍內(nèi)提取時(shí)間序列特征,不利于建立多變量序列和功率的映射[12]。因此,運(yùn)用保證序列時(shí)間因果順序的注意力機(jī)制,對(duì)TCN運(yùn)行結(jié)果再一次重加權(quán)以彌補(bǔ)缺失和遺漏的信息[13]。因果注意力機(jī)制是將上下文信息轉(zhuǎn)化為無(wú)序鍵進(jìn)行存儲(chǔ),進(jìn)而允許模型在序列中精確定位特定信息的模型層操作。因此,TCN與因果注意力機(jī)制在光伏功率預(yù)測(cè)問(wèn)題中相輔相成,前者在相對(duì)大尺度的多變量序列中高速運(yùn)行,后者在特征中精確定位獲取更有用的信息。
綜上,如何應(yīng)對(duì)在光伏功率區(qū)間預(yù)測(cè)時(shí)模型性能不良、魯棒性差的問(wèn)題,仍是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。本文提出一種基于QD和因果注意力TCN的短期光伏功率區(qū)間預(yù)測(cè)方法,首先針對(duì)TCN網(wǎng)絡(luò)在時(shí)間尺度上提取特征不細(xì)致的缺點(diǎn),應(yīng)用因果注意力機(jī)制對(duì)模型結(jié)構(gòu)進(jìn)行改進(jìn),捕獲當(dāng)前時(shí)刻和過(guò)去時(shí)刻序列的遺漏信息,提取有益于構(gòu)建區(qū)間上下界的特征;然后采用QD損失對(duì)區(qū)間預(yù)測(cè)指標(biāo)進(jìn)行優(yōu)化,輸出給定置信度下的預(yù)測(cè)區(qū)間;最后,通過(guò)實(shí)驗(yàn)分析對(duì)比所提模型有效性。
1 QD損失
1.1 區(qū)間預(yù)測(cè)指標(biāo)
對(duì)于[n]組數(shù)據(jù),定義第[i]組輸入變量為[xi],觀測(cè)變量為[yi],那么對(duì)應(yīng)模型的預(yù)測(cè)區(qū)間分別為預(yù)測(cè)上界[yUi]和預(yù)測(cè)下界[yLi]。在區(qū)間預(yù)測(cè)任務(wù)中,期望觀測(cè)值落入預(yù)測(cè)區(qū)間的概率需要大于特定數(shù)值,稱之為置信度,如式(1)所示。
[PyLi≤yi≤yUi≥α] (1)
式中:[P]——概率;[α]——置信度,一般設(shè)置為85%、90%和95%。
然而,有限的觀測(cè)數(shù)據(jù)無(wú)法統(tǒng)計(jì)出準(zhǔn)確的概率。為了簡(jiǎn)化問(wèn)題,用觀測(cè)值落入預(yù)測(cè)區(qū)間的數(shù)量和總數(shù)據(jù)數(shù)量的比例來(lái)代替概率值,數(shù)量統(tǒng)計(jì)如式(2)、式(3)所示。
[ki=1," yLi≤yi≤yUi0," yilt;yLi," yigt;yUi] (2)
[c=i=1nki] (3)
式中:[ki]——觀測(cè)值是否落入預(yù)測(cè)區(qū)間的指示變量;[c]——觀測(cè)值落入預(yù)測(cè)區(qū)間的數(shù)量;[n]——觀測(cè)值總數(shù)量。
由此定義兩種區(qū)間預(yù)測(cè)指標(biāo),分別為預(yù)測(cè)區(qū)間覆蓋率(prediction interval coverage probability,PICP)和平均預(yù)測(cè)區(qū)間寬度(mean prediction interval width,MPIW)。PICP反映模型預(yù)測(cè)區(qū)間的可靠性,PICP越大表明可靠性越高;MPIW衡量模型預(yù)測(cè)區(qū)間的準(zhǔn)確度,在保證PICP大于置信度的前提下,MPIW越窄準(zhǔn)確度越高[14],如式(4)、式(5)所示。
[β=cn] (4)
[γ=1ni=1nyUi-yLi] (5)
式中:[β]——PICP;[γ]——MPIW。
1.2 QD損失原理
經(jīng)典Pinball損失不需要對(duì)觀測(cè)變量做出任何分布假設(shè),僅根據(jù)預(yù)測(cè)區(qū)間與觀測(cè)值的分位數(shù)距離描述區(qū)間效果,如式(6)和式(7)所示。
[LPinball=i=1nρτU(yi-yUi)+i=1nρτL(yi-yLi)] (6)
[ρτ(u)=τu," u≥0(τ-1)u," ult;0] (7)
式中:[LPinball]——Pinball損失;[ρτ]——損失計(jì)算函數(shù);[τ]——損失權(quán)重,其中上界損失權(quán)重[τU=0.5(1+α)],下界損失權(quán)重[τL=0.5(1-α)]。然而Pinball并未對(duì)區(qū)間效果進(jìn)行顯式約束,由于損失權(quán)重?zé)o法自適應(yīng)調(diào)節(jié),輸出區(qū)間的效果往往不滿足給定置信度要求。
相較于Pinball損失,CWC損失直接從區(qū)間效果的角度構(gòu)造損失,希望在保證PICP大于給定置信度的前提下,MPIW能保持盡量窄的寬度,如式(8)所示。
[LCWC=β1+expηmax0,α-γ] (8)
式中:[LCWC]——CWC損失;[η]——調(diào)整懲罰力度的超參數(shù)。當(dāng)[β≥α]時(shí),僅對(duì)[γ]優(yōu)化;當(dāng)[βlt;α]時(shí),在優(yōu)化[γ]的同時(shí),由于預(yù)測(cè)區(qū)間未能覆蓋一定比例的觀測(cè)點(diǎn)而給予一定的懲罰來(lái)增大損失。然而CWC存在缺陷:第一,當(dāng)觀測(cè)值未落入預(yù)測(cè)區(qū)間時(shí),優(yōu)化該部分?jǐn)?shù)據(jù)的區(qū)間寬度無(wú)意義;第二,導(dǎo)數(shù)不連續(xù)無(wú)法直接作為神經(jīng)網(wǎng)絡(luò)的損失函數(shù)。
針對(duì)以上兩點(diǎn)缺陷做出如下調(diào)整:定義[γC]為僅統(tǒng)計(jì)觀測(cè)值落入預(yù)測(cè)區(qū)間范圍內(nèi)數(shù)據(jù)的區(qū)間寬度,應(yīng)用Sigmoid函數(shù)定義[kSi]替代指示變量0和1,如式(9)和式(10)所示。
[γC=1ci=1nki(yUi-yLi)] (9)
[kSi=σsyi-yLi?σsyUi-yi] (10)
式中:[σ]——Sigmoid函數(shù);[s]——調(diào)節(jié)Sigmoid函數(shù)陡峭或平緩的超參數(shù)。
然后通過(guò)假設(shè)觀測(cè)點(diǎn)服從多重伯努利分布以及分布近似和最小化似然等一系列方法,構(gòu)造了與CWC形式相似的QD損失[6],如式(11)所示。
[LQD=γC+ λnα1-αmax0,α-βS2] (11)
[βS=1ni=1nkSi] (12)
式中:[LQD]——QD損失;[λ]——調(diào)節(jié)損失大小的超參數(shù);[βS]——利用[kSi]改進(jìn)后的PICP。QD損失通過(guò)直接優(yōu)化區(qū)間效果,在保證[β≥α]的前提下,使輸出區(qū)間寬度盡量窄,因此稱之為質(zhì)量驅(qū)動(dòng)損失。
當(dāng)網(wǎng)絡(luò)規(guī)模適中時(shí),應(yīng)用啟發(fā)式算法最小化CWC損失是一種可行思路。但當(dāng)網(wǎng)絡(luò)參數(shù)達(dá)到數(shù)千個(gè)以上時(shí),在龐大的參數(shù)空間中應(yīng)用啟發(fā)式算法尋找相對(duì)最優(yōu)解需要付出高額的時(shí)間或存儲(chǔ)代價(jià)。QD損失通過(guò)將乘法調(diào)整為加法,0、1指示變量調(diào)整為Sigmoid的平滑輸出,使梯度相關(guān)優(yōu)化算法應(yīng)用于網(wǎng)絡(luò)模型的參數(shù)更新,為訓(xùn)練大規(guī)模參數(shù)網(wǎng)絡(luò)提供解決方案。
2 殘差因果注意力機(jī)制TCN
2.1 時(shí)間卷積模塊
TCN模塊主要應(yīng)對(duì)時(shí)間序列預(yù)測(cè)問(wèn)題,與以LSTM為代表的循環(huán)神經(jīng)網(wǎng)絡(luò)不同,是一種利用卷積網(wǎng)絡(luò)來(lái)處理時(shí)序數(shù)據(jù)的方法[15]。
時(shí)間序列預(yù)測(cè)問(wèn)題具有時(shí)間因果性,當(dāng)前時(shí)刻輸出僅與過(guò)去時(shí)刻和當(dāng)前時(shí)刻特征有關(guān),然而普通卷積將過(guò)去數(shù)據(jù)和未來(lái)數(shù)據(jù)同等對(duì)待,會(huì)造成數(shù)據(jù)泄露。TCN模塊最主要的結(jié)構(gòu)為因果膨脹卷積層,因果卷積僅對(duì)當(dāng)前時(shí)刻之前的數(shù)據(jù)卷積,符合時(shí)間序列因果性的客觀要求。而普通的因果卷積所捕捉的歷史數(shù)據(jù)信息和TCN模塊層數(shù)線性相關(guān),這會(huì)導(dǎo)致TCN網(wǎng)絡(luò)加深,造成模型參數(shù)量加大和參數(shù)更新困難。因此,引入膨脹卷積實(shí)現(xiàn)序列的跨時(shí)刻點(diǎn)卷積操作擴(kuò)大模型的感受域,直接減少所需TCN的模塊層數(shù)[16]。典型因果膨脹層結(jié)構(gòu)如圖1所示,其中因果卷積核尺寸為2,膨脹因子為2。
感受域由卷積核大小、膨脹因子決定,設(shè)輸入序列為一維序列[a1,…,aT∈?T],輸出隱藏狀態(tài)[h1,…,hTT∈?T×G,][G]為卷積核數(shù)量,[T]為序列長(zhǎng)度,那么隱藏狀態(tài)[ht]的第[g]個(gè)卷積核卷積得到的元素如式(13)所示。
[htg=j=0l-1fgj?at-d?j] (13)
式中:[t]——序列長(zhǎng)度序號(hào);[g]——卷積核序號(hào);[l]——卷積核大?。籟fgj]——第[g]個(gè)卷積核中的元素[j];[at-d?j]——輸入序列中與卷積核對(duì)應(yīng)相乘的元素;[d]——膨脹因子大小。顯然較大的膨脹因子保證輸出序列由更寬的輸入序列范圍提取得到,從而擴(kuò)大模型感受域。
如圖2所示,除因果膨脹卷積層,TCN模塊還包括Dropout層、ReLU層、權(quán)值規(guī)范化層(weight norm)和殘差連接塊(residual connections),圖2展現(xiàn)了TCN模塊的結(jié)構(gòu)以及多個(gè)TCN模塊級(jí)聯(lián)構(gòu)成的TCN網(wǎng)絡(luò)。
2.2 因果注意力TCN模塊
注意力機(jī)制模擬人腦分配注意力的原理,通過(guò)改變神經(jīng)網(wǎng)絡(luò)隱含層權(quán)重達(dá)到注意關(guān)鍵信息的目的。在序列預(yù)測(cè)任務(wù)中,注意力機(jī)制不考慮序列時(shí)刻的遠(yuǎn)近,使其逐漸成為各種序列預(yù)測(cè)任務(wù)中的組成部分[13]。
因果注意力機(jī)制考慮到隨著TCN模塊層數(shù)增加,膨脹因子的增大導(dǎo)致無(wú)法提取完整的時(shí)序信息;同時(shí),應(yīng)用未來(lái)時(shí)刻信息注意過(guò)去時(shí)刻并不符合實(shí)際情況。因此加入符合時(shí)間因果順序的注意力機(jī)制,對(duì)時(shí)序特征進(jìn)行重提取,因果注意力機(jī)制的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。
首先使用TCN模塊計(jì)算多變量時(shí)間序列[X=][x1,…,xTT∈?T×D,]得到對(duì)應(yīng)時(shí)刻隱藏狀態(tài)[H=h1,…,hTT∈?T×G。]
因果注意力機(jī)制的輸入主要由隱藏狀態(tài)序列[H、]查詢[Q∈?T×G]和鍵[V∈?T×G]構(gòu)成,其中[Q]和[V]的計(jì)算如式(14)和式(15)所示。
[Q=HWQ] (14)
[V=HWV] (15)
式中:[WQ]——查詢[Q]的映射陣;[WV]——鍵[V]的映射陣。
然后引入因果掩碼陣[M∈?T×T]來(lái)保證注意力權(quán)重的時(shí)序因果順序,由此可計(jì)算注意力權(quán)重矩陣[A],其中任意元素[Aij]可被解釋為隱藏狀態(tài)[hj]對(duì)特定時(shí)刻[hi]的歸一化注意力,[A]由式(16)計(jì)算可得,[Mij]由式(17)表示。
[A=softmaxM⊙QVTG] (16)
[Mij=1," i≥j-∞," ilt;j] (17)
式中:“[⊙]”——矩陣元素相乘操作。[M]的形式與下三角矩陣類似,目的是當(dāng)[ilt;j]時(shí),使未來(lái)時(shí)刻[hj]對(duì)當(dāng)前時(shí)刻[hi]的注意力權(quán)重計(jì)算為0。使用[softmax]歸一化,從而獲取具有嚴(yán)格下三角矩陣形式的注意力權(quán)重矩陣[A]。
最后采用殘差網(wǎng)絡(luò)的恒等映射形式,使在應(yīng)用注意力機(jī)制情況下至少和不應(yīng)用注意力機(jī)制的TCN模塊能力持平[17],因此,最后的注意力模塊輸出[O∈?T×G]表示為式(18)。
[O=h1+j=11A1jhj,…,hT+j=1TATjhjT] (18)
3 預(yù)測(cè)模型實(shí)現(xiàn)
綜上,利用TCN可對(duì)時(shí)間序列大范圍感受域提取特征,在其基礎(chǔ)上增加殘差因果注意力機(jī)制使其提取特征時(shí)遵守時(shí)間因果,同時(shí)應(yīng)用QD損失建立由區(qū)間質(zhì)量驅(qū)動(dòng)的短期光伏功率區(qū)間預(yù)測(cè)模型。模型建立流程如圖4所示。
模型建立過(guò)程如下:首先利用短期氣象數(shù)據(jù)和歷史功率數(shù)據(jù)構(gòu)造輸入變量,并歸一化處理,然后按照模型輸入對(duì)輸入變量序列化處理;其次將數(shù)據(jù)集劃分為時(shí)間連續(xù)的訓(xùn)練集、驗(yàn)證集和測(cè)試集。最后設(shè)定置信度和提前預(yù)測(cè)步數(shù),建立基于QD損失的因果注意力TCN模型,模型的輸出分別為預(yù)測(cè)區(qū)間上界和區(qū)間預(yù)測(cè)下界。首先設(shè)定模型層數(shù)、膨脹因子以及隱藏層神經(jīng)元數(shù)量建立模型,并在訓(xùn)練集上應(yīng)用QD損失更新模型參數(shù);利用驗(yàn)證集驗(yàn)證模型泛化性,保存表現(xiàn)最優(yōu)的模型;在測(cè)試集上,輸入時(shí)序特征變量獲取光伏功率的區(qū)間預(yù)測(cè)結(jié)果。
4 實(shí)例分析
4.1 數(shù)據(jù)處理與模型建立
為了驗(yàn)證本文所提模型有效性,實(shí)驗(yàn)采用公開(kāi)數(shù)據(jù)集PVOD中的4號(hào)光伏電站歷史數(shù)據(jù)進(jìn)行仿真實(shí)驗(yàn)[18]。該光伏電站位于中國(guó)河北省,時(shí)間分辨率為15 min,時(shí)間跨度為2018年7月1日—2019年6月13日,包括總輻照度(global irradiance)、散射輻照度(diffuse irradiance)、溫度、大氣壓強(qiáng)、風(fēng)速、風(fēng)向以及光伏功率共計(jì)7個(gè)特征。由于夜間光伏電廠發(fā)電量為零,本文所有實(shí)驗(yàn)結(jié)果均剔除夜間數(shù)據(jù)后計(jì)算。按照6∶2∶2的比例對(duì)數(shù)據(jù)進(jìn)行劃分,訓(xùn)練集時(shí)間跨度為2018年7月1日—2019年2月7日,驗(yàn)證集為2019年2月8日—2019年4月11日,測(cè)試集為2019年4月12日—2019年6月13日。
設(shè)置模型的輸入序列長(zhǎng)度為12,表征當(dāng)前時(shí)刻的區(qū)間預(yù)測(cè)輸入由過(guò)去3 h的氣象數(shù)據(jù)和功率數(shù)據(jù)構(gòu)成。預(yù)測(cè)模型由3層因果注意力TCN模塊級(jí)聯(lián)構(gòu)成,考慮到膨脹因子需要根據(jù)序列實(shí)際長(zhǎng)度確定,因此固定TCN模型膨脹因子分別為1、2和4。模型損失采用QD損失,優(yōu)化器采用Adam優(yōu)化器,保存驗(yàn)證集上表現(xiàn)最好的模型為結(jié)果模型,模型評(píng)估指標(biāo)選用PICP和MPIW。特別地,除膨脹因子外其余模型參數(shù)通過(guò)模型在驗(yàn)證集上的表現(xiàn)確定,參數(shù)交叉驗(yàn)證范圍如表1所示,當(dāng)卷積核尺寸設(shè)置為3,輸出序列的特征維度為32、16、16時(shí),模型一般在驗(yàn)證集上表現(xiàn)最優(yōu)。
4.2 區(qū)間預(yù)測(cè)結(jié)果對(duì)比
考慮到光伏功率序列為時(shí)間序列,所選對(duì)比模型均為在序列預(yù)測(cè)任務(wù)上表現(xiàn)優(yōu)異的模型,如TCN、并聯(lián)GRU-CNN、CNN-LSTM和LSTM共計(jì)4種對(duì)比模型,由于CWC在規(guī)模較大的網(wǎng)絡(luò)上訓(xùn)練時(shí)間長(zhǎng)、損失下降慢,且難以訓(xùn)練出合適有效的參數(shù),因此損失函數(shù)僅采用[LPinball]和[LQD]。分別在置信度為85%、90%和95%時(shí),預(yù)測(cè)提前1步(15 min)、提前2步(30 min)和提前3步(45 min)的功率,采用PICP和MPIW評(píng)估區(qū)間預(yù)測(cè)效果,如表2所示,其中“*”表示PICP合格,“_”表示PICP合格模型的MPIW,數(shù)值加粗表示MPIW的最優(yōu)值。
可看出隨著提前步數(shù)增加,應(yīng)用氣象特征和歷史日功率建立模型輸出合理預(yù)測(cè)區(qū)間的難度越來(lái)越高。尤其當(dāng)置信度相同時(shí),隨著預(yù)測(cè)步數(shù)增加MPIW明顯逐漸增大,例如置信度為85%所提模型的MPIW從4.74 MW到6.18 MW,再到7.50 MW,這符合長(zhǎng)時(shí)間序列預(yù)測(cè)性能下降的客觀規(guī)律。
同時(shí)對(duì)比[LPinball]和[LQD]兩種損失,在絕大多數(shù)情況下,應(yīng)用QD優(yōu)于應(yīng)用Pinball,例如當(dāng)置信度為90%時(shí)提前1步的預(yù)測(cè)情況下,無(wú)論何種模型Pinball的PICP均未達(dá)標(biāo),而QD的PICP都符合要求;而在兩種損失的PICP均合格時(shí),QD的MPIW又明顯優(yōu)于Pinball,例如置信度為85%時(shí)提前3步預(yù)測(cè)情況下,所提模型和TCN模型QD下的MPIW均為最優(yōu)。這是由于QD由區(qū)間質(zhì)量驅(qū)動(dòng),直接對(duì)區(qū)間預(yù)測(cè)效果優(yōu)化,特
別當(dāng)PICP小于置信度時(shí),QD損失會(huì)加大懲罰力度以避免該種情況。而Pinball損失無(wú)法顯式地感知PICP不滿足要求,因此,盡管已將Pinball損失下降到了最小值,模型仍不滿足基本要求。
當(dāng)給定置信度時(shí),對(duì)比所有應(yīng)用QD損失的方法,所提模型PICP大于置信度的同時(shí)MPIW最小,這反映了所提模型對(duì)于效果提升有所幫助。即使當(dāng)提前3步預(yù)測(cè)功率區(qū)間時(shí),置信度為90%和95%的多數(shù)模型PICP都無(wú)法滿足要求,但所提模型相較其他方法不僅保持了接近于置信度的PICP,MPIW也保持在相對(duì)較窄的數(shù)值,這反映了所提模型的魯棒性。圖5為提前1步任意連續(xù)3天內(nèi)的各模型預(yù)測(cè)區(qū)間效果,且標(biāo)注了置信度為85%下各個(gè)模型的PICP和MPIW效果,可看到所提模型不僅在各置信度的預(yù)測(cè)區(qū)間層次分明,而且相較于其他模型所有置信度下的區(qū)間MPIW提升明顯,以置信度為85%為例,MPIW提升了7%~18%。
4.3 不同天氣類型Pinball和QD損失的效果對(duì)比
本文通過(guò)功率范圍定義歷史日天氣類型,衡量不同天氣類型下所提模型Pinball損失和QD損失的區(qū)間預(yù)測(cè)效果。這是因?yàn)槊咳盏墓β士偤团c天氣類型關(guān)聯(lián)緊密,晴朗天氣下的功率總和總是相對(duì)較高。因此計(jì)算測(cè)試集一天內(nèi)的歸一化功率總和指標(biāo),通過(guò)劃分區(qū)間范圍定義歷史日天氣類型,天氣類型和區(qū)間范圍的對(duì)應(yīng)關(guān)系如表3所示。
3種天氣類型下,所提模型應(yīng)用不同損失的區(qū)間預(yù)測(cè)效果對(duì)比如圖6所示。無(wú)論是何種天氣類型,應(yīng)用QD損失的所提模型在多數(shù)情況下的MPIW的折線都位于Pinball損失MPIW折線的下方。尤其是在陰天類型下,QD損失較于Pinball損失改善最大,MPIW指標(biāo)有不同程度的下降。
當(dāng)天氣類型為晴天和陰天時(shí),無(wú)論顯著度和提前預(yù)測(cè)步數(shù)如何變化,PICP均滿足大于等于置信度的要求。在多云天氣類型下,PICP值均不合格,說(shuō)明多云天氣類型的功率隨機(jī)性最大,難以建立合格有效的模型。雖然[LQD]和[LPinball]的PICP接近一致且未能合格,但QD損失的MPIW卻顯著優(yōu)于Pinball損失,表明了QD損失的魯棒性,在沒(méi)有更優(yōu)秀的區(qū)間預(yù)測(cè)損失前,QD損失依然是更好的選擇。
5 結(jié) 論
光伏功率的區(qū)間預(yù)測(cè)對(duì)光伏電站的電網(wǎng)調(diào)度和科學(xué)決策起至關(guān)重要的作用。本文提出基于QD損失的殘差因果注意力機(jī)制的TCN網(wǎng)絡(luò),通過(guò)引入因果注意力機(jī)制,改善了時(shí)間卷積網(wǎng)絡(luò)對(duì)序列處理不足的問(wèn)題,同時(shí)考慮到Pinball無(wú)法直接針對(duì)區(qū)間效果優(yōu)化模型而采用QD損失。實(shí)驗(yàn)部分對(duì)比了TCN、GRU-CNN、CNN-LSTM和LSTM分別在Pinball和QD下的光伏功率區(qū)間預(yù)測(cè)效果,結(jié)果表明,本文所提模型在相對(duì)較短時(shí)間內(nèi)區(qū)間預(yù)測(cè)效果改善明顯,不僅PICP穩(wěn)定大于給定置信度,且MPIW在多數(shù)情況下取得最優(yōu)結(jié)果。但是,當(dāng)預(yù)測(cè)時(shí)長(zhǎng)提升至45 min后,區(qū)間預(yù)測(cè)效果下降,特別是在隨機(jī)性大的多云天氣類型下,雖然模型仍具有一定的魯棒性,但效果惡化明顯,今后將針對(duì)惡劣天氣情況的短期功率區(qū)間預(yù)測(cè)問(wèn)題進(jìn)行研究。
[參考文獻(xiàn)]
[1] 張成, 白建波, 蘭康, 等. 基于數(shù)據(jù)挖掘和遺傳小波神經(jīng)網(wǎng)絡(luò)的光伏電站發(fā)電量預(yù)測(cè)[J]. 太陽(yáng)能學(xué)報(bào), 2021, 42(3): 375-382.
ZHANG C, BAI J B, LAN K, et al. Photovoltaic power generation prediction based on data mining and genetic wavelet neural network[J]. Acta energiae solaris sinica, 2021, 42(3): 375-382.
[2] 萬(wàn)燦, 宋永華. 新能源電力系統(tǒng)概率預(yù)測(cè)理論與方法及其應(yīng)用[J]. 電力系統(tǒng)自動(dòng)化, 2021, 45(1): 2-16.
WAN C, SONG Y H. Theories, methodologies and applications of probabilistic forecasting for power systems with renewable energy sources[J]. Automation of electric power systems, 2021, 45(1): 2-16.
[3] WAN C, LIN J, SONG Y H, et al. Probabilistic forecasting of photovoltaic generation: an efficient statistical" "approach[J]." IEEE" "transactions" "on" "power systems, 2017, 32(3): 2471-2472.
[4] 朱曉榮, 金繪民, 王羽凝. 基于混合高斯模型與Copula函數(shù)結(jié)合的光伏電站功率相依結(jié)構(gòu)建模[J]. 太陽(yáng)能學(xué)報(bào), 2019, 40(7): 1912-1919.
ZHU X R, JIN H M, WANG Y N. Analysis on dependence structure among photovoltaic power outputs based on combination of Copula function and Gaussian mixture model[J]. Acta energiae solaris sinica, 2019, 40(7): 1912-1919.
[5] KHOSRAVI A, NAHAVANDI S, CREIGHTON D, et al. Lower upper bound estimation method for construction of neural" "network-based" "prediction" "intervals[J]." "IEEE transactions on neural networks, 2011, 22(3): 337-346.
[6] PEARCE T, ZAKI M, BRINTRUP A, et al. High-quality prediction intervals for deep learning: a distribution-free,ensembled" "approach[C]//International" "Conference" "on Machine Learning. Stockholm, Sweden, 2018.
[7] LIU H Y, HAN H, SUN Y, et al. Short-term wind power interval prediction method using VMD-RFG and Att-GRU[J]. Energy, 2022, 251: 123807.
[8] HU J M, ZHAO W G, TANG J W, et al. Integrating a softened multi-interval loss function into neural networks for wind power prediction[J]. Applied soft computing, 2021, 113: 108009.
[9] ALCáNTARA A, GALVáN I M, ALER R. Direct estimation of prediction intervals for solar and wind regional energy forecasting with deep neural networks[J]. Engineering applications of artificial intelligence, 2022, 114: 105128.
[10] 黃睿, 杜文娟, 王海風(fēng). 計(jì)及湍流強(qiáng)度的風(fēng)電功率短期預(yù)測(cè)[J]. 電網(wǎng)技術(shù), 2019, 43(6): 1907-1914.
HUANG R, DU W J, WANG H F. Short-term prediction of wind power considering turbulence intensity[J]. Power system technology, 2019, 43(6): 1907-1914.
[11] 李桂蘭, 楊杰, 周滿國(guó). 基于改進(jìn)時(shí)間卷積網(wǎng)絡(luò)的光伏發(fā)電功率預(yù)測(cè)[J]. 激光與光電子學(xué)進(jìn)展, 2022, 59(8): 480-489.
LI G L, YANG J, ZHOU M G. Power prediction of photovoltaic generation based on improved temporal convolutional" " network[J]." "Laser" " amp;" " optoelectronics progress, 2022, 59(8): 480-489.
[12] MISHRA N, ROHANINEJAD M, CHEN X, et al. A simple" "neural" "attentive" "meta-learner[C]//International Conference on Learning Representations. Toulon, France, 2017.
[13] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[C]//Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach, California, USA, 2017: 6000-6010.
[14] 陸欣, 沈艷霞, 陳杰, 等. 考慮風(fēng)力發(fā)電隨機(jī)性的超短期風(fēng)電功率區(qū)間預(yù)測(cè)研究[J]. 太陽(yáng)能學(xué)報(bào), 2017, 38(5): 1307-1315.
LU X, SHEN Y X, CHEN J, et al. Ultra-short-term wind power intervals prediction considering randomness of wind power generation[J]. Acta energiae solaris sinica, 2017, 38(5): 1307-1315.
[15] AKSAN E, HILLIGES O. STCN: stochastic temporal convolutional" "network[C]//International" "Conference" "on Learning Representations. New Orleans, USA, 2019.
[16] YU F, KOLTUN V. Multi-scale context aggregation by dilated" "convolutions[C]//International" "Conference" "on Learning Representations. San Juan, Puerto Rico, 2016.
[17] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, NV, USA, 2016: 770-778.
[18] YAO T C, WANG J, WU H Y, et al. A photovoltaic power output dataset: multi-source photovoltaic power output dataset with Python toolkit[J]. Solar energy, 2021, 230: 122-130.
PHOTOVOLTAIC POWER INTERVAL PREDICTION BASED ON
QD AND CAUSAL ATTENTION TCN
Cui Jinggang1,Wang Fang1,Ye Zefu2,Zhu Zhujun2,Yan Gaowei1
(1. College of Electrical and Power Engineering, Taiyuan University of Technology, Taiyuan 030024, China;
2. Shanxi Gemeng US-China Clean Energy Ramp;D Center Co., Ltd., Taiyuan 030031, China)
Abstract:For the existing problems of short-term photovoltaic power interval prediction, a framework combining a time convolution neural network with an attention mechanism is proposed. This framework imposes strict constraints on the temporal causal order in the attention mechanism, applies residual blocks to enhance the information mining ability of the model, and utilizes model parameters for quality-driven interval loss simultaneously, which ultimately improves the short-term power interval prediction effect. The simulation experiments based on the local meteorological data and historical photovoltaic power data of a photovoltaic power station in Hebei Province, China, show that compared with the traditional sequence prediction method or interval loss, the power interval prediction method proposed in this paper is more effective for scientific dispatching and decision-making of the power grid in continuous time and different weather types.
Keywords:PV power; power forecasting; deep learning; temporal convolutional network; causal attention mechanism; quality-driven loss