考慮數(shù)據(jù)分布偏移的短期居民凈負(fù)荷預(yù)測(cè)方法

王瑞臨, 趙健, 孫智卿, 宣羿

(1.上海電力大學(xué)電氣工程學(xué)院, 上海市 200090;2. 國(guó)網(wǎng)浙江省電力有限公司杭州供電公司,杭州市 310007)

0 引 言

隨著分布式可再生能源發(fā)電的不斷發(fā)展,凈負(fù)荷,即用戶總負(fù)荷需求與新能源出力之差,日益成為電力系統(tǒng)關(guān)注的問(wèn)題。準(zhǔn)確的居民凈負(fù)荷預(yù)測(cè)可以保證電力系統(tǒng)的可靠性,更重要的是可以促進(jìn)電力系統(tǒng)對(duì)可再生能源發(fā)電的適應(yīng)[1]。新能源發(fā)電的高隨機(jī)性為凈負(fù)荷注入了更多的不確定性,進(jìn)而使得凈負(fù)荷數(shù)據(jù)分布偏移更為頻繁和嚴(yán)重。數(shù)據(jù)分布偏移是指數(shù)據(jù)的概率分布發(fā)生變化,其會(huì)導(dǎo)致模型在歷史數(shù)據(jù)中學(xué)習(xí)到的特征信息不再完全適用于未來(lái)數(shù)據(jù),從而降低了數(shù)據(jù)的可預(yù)測(cè)性。在需求側(cè),如氣溫上升[2]和電價(jià)上漲等[3]導(dǎo)致負(fù)荷需求數(shù)據(jù)分布發(fā)生變化。在供應(yīng)側(cè),輻照水平、風(fēng)速等變化會(huì)影響可再生能源發(fā)電量的數(shù)據(jù)分布。由于凈負(fù)荷的不確定性由負(fù)荷需求的不確定性和新能源發(fā)電的不確定性組成,這些不確定性因素的綜合影響將使凈負(fù)荷數(shù)據(jù)分布的變化更加復(fù)雜和頻繁。

現(xiàn)有居民凈負(fù)荷預(yù)測(cè)研究可分為間接預(yù)測(cè)和直接預(yù)測(cè)。間接預(yù)測(cè)通過(guò)將凈負(fù)荷數(shù)據(jù)分解為負(fù)荷需求部分和可再生能源發(fā)電部分來(lái)降低凈負(fù)荷的巨大波動(dòng)性。文獻(xiàn)[4]提出了一種滾動(dòng)調(diào)節(jié)優(yōu)化的VMD-SaE-ELM(variational mode decomposition-selfadaptive evolutionary-extreme learning machine)凈負(fù)荷超短期預(yù)測(cè)方法,減小了常規(guī)機(jī)組的調(diào)峰壓力。文獻(xiàn)[5]將數(shù)據(jù)分解后的誤差通過(guò)不同的影響權(quán)重與凈負(fù)荷誤差相聯(lián)系。文獻(xiàn)[6]通過(guò)相關(guān)性分析和網(wǎng)格搜索方法將凈負(fù)荷分解為光伏發(fā)電量、實(shí)際負(fù)荷和殘差。然而,間接預(yù)測(cè)依賴于分解方法和預(yù)測(cè)方法的準(zhǔn)確性,這會(huì)導(dǎo)致誤差累積。

直接預(yù)測(cè)是直接使用凈負(fù)荷數(shù)據(jù)進(jìn)行預(yù)測(cè),文獻(xiàn)[1]提出了一種概率不確定性模型,通過(guò)貝葉斯深度學(xué)習(xí)模型同時(shí)捕獲凈負(fù)荷的隨機(jī)不確定性和模型不確定性。文獻(xiàn)[7]提出了一種全參數(shù)化序列深度學(xué)習(xí)模型,來(lái)學(xué)習(xí)凈負(fù)荷中的最優(yōu)特征和整個(gè)概率分布。文獻(xiàn)[8]提出了一種基于特征加權(quán)改進(jìn)的Stacking集成學(xué)習(xí)凈負(fù)荷預(yù)測(cè)方法。文獻(xiàn)[9]提出了基于自注意力編碼器和深度神經(jīng)網(wǎng)絡(luò)的凈負(fù)荷預(yù)測(cè)模型,同時(shí)集成了負(fù)荷、風(fēng)光、凈負(fù)荷等多個(gè)不確定量。

直接預(yù)測(cè)依賴高精度的深度學(xué)習(xí)技術(shù),而深度學(xué)習(xí)技術(shù)默認(rèn)數(shù)據(jù)滿足獨(dú)立同分布,其基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化(experience risk minimization, ERM)的學(xué)習(xí)模式允許模型"不計(jì)后果"地學(xué)習(xí)數(shù)據(jù)中的特征信息。當(dāng)數(shù)據(jù)分布不斷變化時(shí),現(xiàn)有模型在歷史數(shù)據(jù)中學(xué)習(xí)到的特征信息不再適用于未來(lái)數(shù)據(jù),從而使得凈負(fù)荷預(yù)測(cè)精度難以得到保證。

因此,本文提出了一種基于不變風(fēng)險(xiǎn)最小化(invariant risk minimization-uncertainty, IRM)的短期居民凈負(fù)荷預(yù)測(cè)方法,以提升凈負(fù)荷預(yù)測(cè)的精度。面對(duì)數(shù)據(jù)分布的變化,IRM考慮同時(shí)學(xué)習(xí)最小誤差和不同分布下的不變性[10],并通過(guò)學(xué)習(xí)不同數(shù)據(jù)分布下的不變特征來(lái)實(shí)現(xiàn)對(duì)不可見環(huán)境的魯棒性。首先,對(duì)凈負(fù)荷中的數(shù)據(jù)分布偏移問(wèn)題進(jìn)行了探索。其次,建立了基于不變風(fēng)險(xiǎn)最小化-不確定性加權(quán)-長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(invariant risk minimization-uncertainty weighting-long short-term memory neural network,IRM-UW-LSTM)的凈負(fù)荷預(yù)測(cè)模型。其中,通過(guò)IRM建立了一個(gè)雙目標(biāo)問(wèn)題,包括準(zhǔn)確預(yù)測(cè)和學(xué)習(xí)跨不同數(shù)據(jù)分布的不變特征;通過(guò)長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(long short-term memory neural network,LSTM)處理時(shí)間序列數(shù)據(jù)的非線性特征;通過(guò)基于不確定性加權(quán)(uncertainty weighting,UW)的目標(biāo)平衡機(jī)制避免過(guò)度實(shí)現(xiàn)任一目標(biāo);此外,通過(guò)引入分位數(shù)回歸方法將本文方法擴(kuò)展到概率預(yù)測(cè)。最后,通過(guò)基于澳大利亞Ausgrid公司提供的真實(shí)居民電表數(shù)據(jù)從確定性預(yù)測(cè)結(jié)果、概率預(yù)測(cè)結(jié)果、不同數(shù)據(jù)分布偏移程度和不同光伏滲透率等多個(gè)維度驗(yàn)證了所提方法的有效性。

1 凈負(fù)荷數(shù)據(jù)分布偏移探索

本文利用幾種常用數(shù)據(jù)分布比較方法驗(yàn)證了凈負(fù)荷預(yù)測(cè)(net load forecasting,NLF)中的數(shù)據(jù)分布偏移程度高于用電量預(yù)測(cè)(electricity consumption forecasting,ECF)。用于比較的數(shù)據(jù)是澳大利亞Ausgrid公司提供的悉尼地區(qū)從2010年7月到2013年6月數(shù)百戶包含居民凈負(fù)荷和居民總用電量的數(shù)據(jù)[11]。

為了避免季節(jié)對(duì)數(shù)據(jù)分布比較的影響,選擇了四個(gè)季節(jié)中每個(gè)典型月份的數(shù)據(jù)(南半球春、夏、秋、冬分別使用10月、1月、4月和7月的數(shù)據(jù)),分別比較不同年份同一季節(jié)的數(shù)據(jù)分布偏移程度,如圖1所示。此外,為反映不同月份下的數(shù)據(jù)分布偏移情況,還將重點(diǎn)關(guān)注同一季節(jié)下相鄰月份的數(shù)據(jù)分布偏移程度,如圖2所示。

圖1 不同年份同一季節(jié)數(shù)據(jù)分布偏移比較Fig.1 The compare of the degree of the data distribution shift under the same season for different years

圖2 同一季節(jié)相鄰月份數(shù)據(jù)分布偏移比較Fig.2 The compare of the degree of data distribution shift adjacent months under the same season

本文采用Kolmogorov-Smirnov(KS)檢驗(yàn)[12]、Kullback-Leible(KL)散度[13]和最大平均差異法(maximum mean difference,MMD)[14]進(jìn)行數(shù)據(jù)分布偏移評(píng)估。從圖1可以看出,在不同年份的四個(gè)季節(jié)中,NLF的KL值和MMD值均明顯大于ECF。在KS值方面,除4月份ECF值與NLF值相差不大之外,其余年份NLF值均大于ECF值。這可能是由于KS檢驗(yàn)對(duì)數(shù)據(jù)分布的中間部分更敏感,而對(duì)兩端不夠敏感。值得注意的是,由于冬季晝短夜長(zhǎng),光伏發(fā)電量最少,因此南半球7月份的數(shù)據(jù)分布偏移較小。從圖2中可以看出,在所有相鄰月份的數(shù)據(jù)分布偏移比較中,NLF的數(shù)據(jù)分布偏移程度大于ECF。另一個(gè)有趣的發(fā)現(xiàn)是,KL散度對(duì)數(shù)據(jù)分布偏移最為敏感,而MMD由于比較的是多維數(shù)據(jù)分布,敏感度較低。

通過(guò)三種統(tǒng)計(jì)方法,可以發(fā)現(xiàn)凈負(fù)荷的數(shù)據(jù)分布偏移程度大于傳統(tǒng)用電量數(shù)據(jù)。這表明居民凈負(fù)荷數(shù)據(jù)面臨更嚴(yán)重的數(shù)據(jù)分布偏移問(wèn)題,歷史數(shù)據(jù)與未來(lái)數(shù)據(jù)的相關(guān)性將降低。此時(shí),原有模型訓(xùn)練集與測(cè)試集數(shù)據(jù)獨(dú)立同分布的前提也將被削弱,從而影響現(xiàn)有模型對(duì)凈負(fù)荷預(yù)測(cè)的有效性。因此,解決凈負(fù)荷預(yù)測(cè)中的數(shù)據(jù)分布偏移問(wèn)題具有現(xiàn)實(shí)意義和挑戰(zhàn)性。

2 基于IRM的凈負(fù)荷預(yù)測(cè)理論和建模

2.1 IRM與數(shù)據(jù)分布偏移的關(guān)系

基于深度學(xué)習(xí)的方法在計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別和文本識(shí)別等許多應(yīng)用領(lǐng)域取得了巨大成功[15]。然而,大多數(shù)方法依賴于使用ERM進(jìn)行優(yōu)化,當(dāng)測(cè)試數(shù)據(jù)的分布與訓(xùn)練數(shù)據(jù)的分布發(fā)生變化時(shí),基于ERM的模型的性能會(huì)下降。IRM能夠通過(guò)學(xué)習(xí)數(shù)據(jù)跨分布的不變性來(lái)克服數(shù)據(jù)分布偏移,對(duì)未來(lái)數(shù)據(jù)具有魯棒性。需要關(guān)注以下兩個(gè)問(wèn)題:1)IRM如何克服數(shù)據(jù)分布偏移;2)IRM學(xué)習(xí)的凈負(fù)荷數(shù)據(jù)中的不變特征信息是什么。

對(duì)于問(wèn)題1),ERM合并來(lái)自所有訓(xùn)練環(huán)境的數(shù)據(jù),并利用訓(xùn)練數(shù)據(jù)中的所有特征訓(xùn)練一個(gè)模型,以最小化數(shù)據(jù)的訓(xùn)練誤差。而在最小化訓(xùn)練誤差的過(guò)程中,基于ERM的模型會(huì)導(dǎo)致模型不計(jì)后果地吸收訓(xùn)練數(shù)據(jù)中發(fā)現(xiàn)的所有相關(guān)性[10]。此時(shí),面對(duì)未來(lái)分布變化的數(shù)據(jù),模型的預(yù)測(cè)精度會(huì)下降。對(duì)于IRM,以本文的凈負(fù)荷預(yù)測(cè)為例,首先將所有的凈負(fù)荷訓(xùn)練數(shù)據(jù)進(jìn)行合理的劃分,形成多個(gè)訓(xùn)練環(huán)境。這些訓(xùn)練環(huán)境下的凈負(fù)荷數(shù)據(jù)分布本身是不同的。面對(duì)未來(lái)的數(shù)據(jù),IRM保持了部分ERM的性能,即對(duì)同一分布下的數(shù)據(jù)尋求最小訓(xùn)練誤差;同時(shí),對(duì)不同分布下的數(shù)據(jù)可以學(xué)習(xí)跨不同數(shù)據(jù)分布的不變性。

對(duì)于問(wèn)題2),在數(shù)學(xué)上,本文的目的是找到式(1)所示的變化環(huán)境e中的不變信息E[Ye|(Φ(Xe)=y]:

E[Ye1|(Φ(Xe1)=y)]=
E[Ye2|(Φ(Xe2)=y)]=···=
E[YeN|(Φ(XeN)=y)]

(1)

式中:E為條件期望值;Φ:X→y為一個(gè)數(shù)據(jù)表示;e為環(huán)境;N為環(huán)境總數(shù)量;y為數(shù)據(jù)表示Φ下因變量的數(shù)值。圖3列舉了影響凈負(fù)荷數(shù)據(jù)分布的幾個(gè)主要因素。環(huán)境因素(溫度、輻照度)主要通過(guò)影響光伏出力來(lái)影響凈負(fù)荷,而經(jīng)濟(jì)因素和社會(huì)因素主要通過(guò)影響居民用電需求來(lái)影響凈負(fù)荷。所有箭頭表示兩個(gè)因素之間的函數(shù)關(guān)系。圖3(a)、(b)、(c)和(d)分別表示4個(gè)時(shí)間段各因素對(duì)凈負(fù)荷的影響關(guān)系。紅色部分代表發(fā)生變化的影響因素。圖3(a)顯示了第1個(gè)時(shí)間段的所有影響關(guān)系。圖3(b)表示第2個(gè)時(shí)間段與第1個(gè)時(shí)段相比輻照度發(fā)生了變化,進(jìn)而導(dǎo)致了凈負(fù)荷的數(shù)據(jù)分布發(fā)生偏移。圖3(c)中表示了溫度的變化,同時(shí)紅色箭頭表示經(jīng)濟(jì)因素與用戶行為之間非線性關(guān)系的變化(例如,用戶的整體經(jīng)濟(jì)水平?jīng)]有變化,但售電政策發(fā)生了變化)。圖3(a)、(b)、(c)中顏色不變的部分即為3個(gè)時(shí)間段內(nèi)的不變特征信息。學(xué)習(xí)不變特征信息可以充分利用凈負(fù)荷歷史信息,更好地應(yīng)對(duì)圖3(d)中第4年未知的凈負(fù)荷數(shù)據(jù)分布變化。

圖3 凈負(fù)荷預(yù)測(cè)中的不變特征信息示例Fig.3 Invariant feature information in the net load forecasting

2.2 IRM-LSTM模型建立

LSTM神經(jīng)網(wǎng)絡(luò)是基于時(shí)間序列的模型,可以在歷史信息和未來(lái)信息之間建立時(shí)間關(guān)聯(lián)性。此外,LSTM網(wǎng)絡(luò)還可以克服循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)中的梯度消失和梯度爆炸問(wèn)題。首先描述LSTM網(wǎng)絡(luò)的結(jié)構(gòu),如圖4所示。

圖4 LSTM結(jié)構(gòu)Fig.4 A unit of LSTM

如圖4所示,LSTM在某一特定時(shí)間步長(zhǎng)t的輸入是前一狀態(tài)ht-1和當(dāng)前輸入xt。三個(gè)門(輸入門、遺忘門和輸出門)通過(guò)4個(gè)全連接的神經(jīng)元Ft、It、Ot和Gt來(lái)實(shí)現(xiàn)記憶信息或遺忘功能。具體來(lái)說(shuō),遺忘門決定有多少t之前的信息可以向前傳遞,輸入門控制新的輸入信息,輸出門決定在這一時(shí)間步輸出的信息。對(duì)于輸出,ht是作為下一時(shí)間步輸入的短期狀態(tài),而ct決定長(zhǎng)期依賴性。具體計(jì)算公式如式(2)-(5)所示。

Ft=σ(Wfx·xt+Wfh·ht-1+bf)

(2)

It=σ(Wix·xt+Wih·ht-1+bi)

(3)

Ot=σ(Wox·xt+Woh·ht-1+bo)

(4)

Gt=tanh(Wgx·xt+Wgh·ht-1+bg)

(5)

式中:Ft、It、Ot、Gt為全連接神經(jīng)元;xt為輸入向量;ht-1為前一個(gè)短期狀態(tài);Wfx、Wix、Wox和Wgx分別為矢量xt的權(quán)重;Wfh、Wih、Woh和Wgh分別為ht-1的權(quán)重;bf、bi、bo和bg為偏置。根據(jù)式(6)-(7)計(jì)算下一個(gè)時(shí)間步的輸入值ct和ht。

ct=Ft·ct-1+It·Gt

(6)

ht=Ot·tanh(ct)

(7)

根據(jù)上述LSTM的結(jié)構(gòu),LSTM通過(guò)將重要的輸入信息存儲(chǔ)在長(zhǎng)期狀態(tài)中來(lái)處理時(shí)間序列問(wèn)題,并根據(jù)需要長(zhǎng)期保存,在需要時(shí)進(jìn)行使用。

為了克服凈負(fù)荷預(yù)測(cè)中數(shù)據(jù)分布偏移對(duì)模型的影響,引入了IRM。IRM從多個(gè)不同數(shù)據(jù)分布的訓(xùn)練環(huán)境中學(xué)習(xí)不變特征預(yù)測(cè)因子。由于環(huán)境的概念對(duì)框架至關(guān)重要,引入了文獻(xiàn)[16]中提出的訓(xùn)練環(huán)境的概念:在所有訓(xùn)練環(huán)境e∈εtr中,有不同的實(shí)驗(yàn)條件,并且在每個(gè)環(huán)境中都有一個(gè)獨(dú)立同分布的樣本(Xe,Ye)。Xe是在環(huán)境e下的預(yù)測(cè)變量;Ye是目標(biāo)變量。本文中e= [e1,e2,…,eN]為訓(xùn)練環(huán)境,N為訓(xùn)練環(huán)境數(shù)目,etest為測(cè)試環(huán)境。本文對(duì)風(fēng)險(xiǎn)定義為:

R(f)=mine∈εtrRe(f)

(8)

任一環(huán)境e的風(fēng)險(xiǎn)定義為:

Re(f)=E(Xe,Ye){L[f(Xe),Ye]}

(9)

數(shù)據(jù)表示Φ有兩個(gè)目標(biāo):

1)該數(shù)據(jù)表示能在相同訓(xùn)練環(huán)境下保持準(zhǔn)確的預(yù)測(cè)。

2)在所有e∈εtr中學(xué)習(xí)一個(gè)跨環(huán)境預(yù)測(cè)器,以學(xué)習(xí)不同數(shù)據(jù)分布下的不變特征信息。

在數(shù)學(xué)上,這兩個(gè)目標(biāo)被表述為約束優(yōu)化問(wèn)題,如式(10):

(10)

式中:w代表分類器;Y、Z表示函數(shù)映射的輸入或輸出;其余符號(hào)同上文的定義。

式(10)是一個(gè)具有挑戰(zhàn)性的雙層優(yōu)化問(wèn)題,包含優(yōu)化項(xiàng)Φ和w。根據(jù)文獻(xiàn)[10]中的詳細(xì)介紹,得到近似可解的式(11):

(11)

式中:λ∈[0,∞)為保持同分布下精確預(yù)測(cè)和不同分布下不變預(yù)測(cè)之間的正則化平衡。在居民凈負(fù)荷預(yù)測(cè)問(wèn)題中,設(shè)模型的輸入訓(xùn)練集的輸入數(shù)據(jù)和輸出標(biāo)簽為:

Xtrain=[x1,x2,…,xn]T∈Rn×dx

(12)

Ytrain=[y1,y2,…,yn]T∈Rn×dy

(13)

(14)

式中:LIRM是為實(shí)現(xiàn)IRM的優(yōu)化目標(biāo)而簡(jiǎn)化得到的損失函數(shù)。第一項(xiàng)是LSTM網(wǎng)絡(luò)中的ERM項(xiàng),對(duì)應(yīng)目標(biāo)1),第二項(xiàng)是不變預(yù)測(cè)項(xiàng),對(duì)應(yīng)目標(biāo)2)。

3 基于IRM-UW-LSTM模型的凈負(fù)荷預(yù)測(cè)方法

基于上述IRM理論與模型,本節(jié)將對(duì)所提出的住宅凈負(fù)荷預(yù)測(cè)方法的其余部分進(jìn)行描述。具體來(lái)說(shuō),包括3個(gè)主要過(guò)程:1)數(shù)據(jù)輸入;2)目標(biāo)平衡;3)擴(kuò)展到概率預(yù)測(cè)。

3.1 數(shù)據(jù)輸入:特征和環(huán)境建立

1)特征建立。

表1 特征建立Table 1 Feature establishment

2)環(huán)境建立。

本文提出的方法旨在學(xué)習(xí)凈負(fù)荷數(shù)據(jù)不同分布下的不變特征信息。為了使學(xué)習(xí)到的不變特征信息有意義,需要盡可能學(xué)習(xí)具有一致性的數(shù)據(jù)。盡管可以通過(guò)精確的實(shí)驗(yàn)設(shè)計(jì)為Xe創(chuàng)建環(huán)境e∈εtr(例如,通過(guò)隨機(jī)化Xe的某些元素),但對(duì)于凈負(fù)荷數(shù)據(jù),其環(huán)境應(yīng)盡可能使用原始?xì)v史數(shù)據(jù)創(chuàng)建,而不宜采用人工干預(yù)的方式創(chuàng)建環(huán)境,以使預(yù)測(cè)中歷史數(shù)據(jù)與未來(lái)數(shù)據(jù)的相關(guān)性盡量不被削弱。同時(shí),對(duì)于凈負(fù)荷預(yù)測(cè),很難快速獲得數(shù)據(jù)分布開始偏移的具體時(shí)刻,這也是今后工作的主要方向。

RNN的輸入原則在于未來(lái)數(shù)據(jù)的輸入要在歷史數(shù)據(jù)之后。本文采用了基于并行輸入數(shù)據(jù)集的環(huán)境構(gòu)建方法。以月份作為環(huán)境單位為例,首先僅針對(duì)第1年的數(shù)據(jù)(first year data,FYD)使用ERM訓(xùn)練網(wǎng)絡(luò),然后針對(duì)第2年的數(shù)據(jù)(second year data,SYD)使用{(1月FYD,1月SYD),(2月FYD,2月SYD),…,12月FYD, 12月SYD)}作為IRM訓(xùn)練的兩個(gè)環(huán)境輸入網(wǎng)絡(luò)。此外,對(duì)于第3年的數(shù)據(jù)(third year data,TYD),使用{(1月FYD,1月SYD,1月TYD),(2月FYD,2月SYD,2月TYD),…,(12月FYD,12月SYD,12月TYD)}作為IRM訓(xùn)練的三個(gè)環(huán)境輸入網(wǎng)絡(luò)。

3.2 目標(biāo)平衡機(jī)制:不確定性加權(quán)

通常需要花費(fèi)大量精力選擇合適的模型參數(shù),如IRM中的平衡項(xiàng)λ∈[0,∞),即預(yù)測(cè)能力和不變性預(yù)測(cè)因子之間的目標(biāo)平衡。否則,方程式(11)可能無(wú)法執(zhí)行式(10)中的約束條件,導(dǎo)致性能不理想。對(duì)于式(14)中的λ∈[0,∞),可以采用多任務(wù)學(xué)習(xí)的方法對(duì)式(15)進(jìn)行調(diào)整,以更好地分配目標(biāo)1)和目標(biāo)2)的學(xué)習(xí)權(quán)重。在多任務(wù)損失函數(shù)式(15)中,計(jì)算每個(gè)任務(wù)的權(quán)重是一項(xiàng)計(jì)算量極大的工作。如果模型將這些權(quán)重作為參數(shù)之一進(jìn)行學(xué)習(xí),將大大減少計(jì)算量。

L=LERM+λLIRM

(15)

式中:LERM、LIRM分別為ERM和IRM訓(xùn)練結(jié)構(gòu)下的損失函數(shù)。

為了實(shí)現(xiàn)自動(dòng)選擇權(quán)重,按照Kendall等人在文獻(xiàn)[17]中提出的策略,將式(15)中的損失函數(shù)改寫為式(16)形式:

(16)

3.3 拓展至概率預(yù)測(cè):分位數(shù)回歸

模型中通過(guò)凈負(fù)荷預(yù)測(cè)得到的輸出是一個(gè)條件期望函數(shù),通過(guò)函數(shù)找到當(dāng)輸入確定時(shí)的輸出期望。分位數(shù)回歸不僅是研究輸出的期望值,而是希望探索輸出的完整數(shù)據(jù)分布[9]。分位數(shù)回歸可以直接將確定性預(yù)測(cè)模型重構(gòu)為區(qū)間預(yù)測(cè)形式,以將本文策略擴(kuò)展到概率預(yù)測(cè)。設(shè)原始損失函數(shù)為L(zhǎng)(yreal,ypred),結(jié)合分位數(shù)回歸得到式(17),其中q為介于(0,1)之間的分位數(shù)因子,通過(guò)控制q的取值可以得到不同分位數(shù)的上下限。

(17)

式中:LQR(q)為結(jié)合分位數(shù)后的損失函數(shù);i和j為第i和j個(gè)數(shù)據(jù);yreal為真實(shí)值;ypred為預(yù)測(cè)值。圖5描述了基于IRM-UW-LSTM的凈負(fù)荷預(yù)測(cè)方法的總體框架。

圖5 基于IRM-UW-LSTM的凈負(fù)荷預(yù)測(cè)整體框架Fig.5 The process of the net load forecasting method based on IRM-UW-LSTM

4 案例分析

4.1 數(shù)據(jù)集描述

本文使用澳大利亞Ausgrid公司提供的真實(shí)居民電表數(shù)據(jù),這些數(shù)據(jù)來(lái)自悉尼數(shù)百個(gè)安裝了光伏電表的用電客戶,提供了2010年7月至2013年6月的半小時(shí)粒度的凈負(fù)荷數(shù)據(jù)和光伏發(fā)電數(shù)據(jù)。數(shù)據(jù)的詳細(xì)信息參見文獻(xiàn)[11]。

4.2 實(shí)驗(yàn)細(xì)節(jié)描述

為了驗(yàn)證本文所提方法的有效性,本文引入了多種常用的確定性和概率預(yù)測(cè)方法作為對(duì)比。其中確定性方法采用隨機(jī)森林(random forest,RF)[18-19]、LSTM[20-21]、時(shí)間卷積網(wǎng)絡(luò)(temporal convolutional network,TCN)[22]、卷積長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(convolutional long short-term memory neural network,CNNLSTM)[23]。概率預(yù)測(cè)比較方法采用分位數(shù)RF(quantiles-RF, QRF)[19]、分位數(shù)LSTM(quantiles-LSTM, QLSTM)[21]、分位數(shù)CNNLSTM(quantiles-CNNLSTM, QCNNLSTM)[23]。通過(guò)網(wǎng)格搜索和交叉驗(yàn)證確定的模型超參數(shù)如表2所示。所有測(cè)試算法均用Python實(shí)現(xiàn),主要使用的軟件包有Scikit-learn、Keras和PyTorch。

表2 超參數(shù)值Table 2 Hyperparameter value

4.3 結(jié)果評(píng)估方法

本文使用了6個(gè)評(píng)估指標(biāo)來(lái)評(píng)估所研究方法的預(yù)測(cè)性能。平均絕對(duì)百分比誤差(mean absolute percentage error,MAPE)、均方根誤差(root mean square error,RMSE)和歸一化均方根偏差(normalized root mean square deviation,NRMSD)作為確定性預(yù)測(cè)評(píng)估方法。此外,由于在光伏滲透率較高時(shí),凈負(fù)荷數(shù)據(jù)可能出現(xiàn)接近0的值,此時(shí)MAPE的可靠性會(huì)受到影響。為了更好地克服這一問(wèn)題,引入了平均反正百分誤差(mean arctangent absolute percentage error,MAAPE)[24]。將Pinball和Winkler score[1]作為概率預(yù)測(cè)評(píng)估方法。評(píng)價(jià)指標(biāo)的表述如下詳述。

1)確定性預(yù)測(cè)指標(biāo)。

計(jì)算MAPE和MAAPE的目的是量化實(shí)際凈負(fù)荷與預(yù)測(cè)凈負(fù)荷數(shù)據(jù)之間的絕對(duì)差異,同時(shí)全面衡量模型預(yù)測(cè)結(jié)果的好壞[25]。計(jì)算公式如下:

(18)

(19)

式中:ytest,i為實(shí)際凈負(fù)荷;ypred,i為預(yù)測(cè)凈負(fù)荷。

RMSE用來(lái)評(píng)估預(yù)測(cè)結(jié)果中極大或極小誤差的敏感性,表示如下:

(20)

NRMSE提供了歸一化的預(yù)報(bào)精度,其解釋性更強(qiáng),可以對(duì)不同尺度的預(yù)測(cè)結(jié)果進(jìn)行比較,表示如下:

(21)

式中:D為數(shù)據(jù)的最大值和最小值之差。MAE、MAPE、MAAPE、RMSE和NRMSD值越小,預(yù)測(cè)結(jié)果越準(zhǔn)確。

2)概率預(yù)測(cè)的指標(biāo)。

Winkler score在關(guān)注區(qū)間寬度的同時(shí),可以很好地衡量無(wú)條件覆蓋率,是概率預(yù)測(cè)中的一個(gè)綜合評(píng)價(jià)指標(biāo)。它可以表示為:

(22)

式中:yup和ydown為預(yù)測(cè)區(qū)間的上限和下限;δ=yup-ydown為預(yù)測(cè)區(qū)間的寬度;1-α為置信水平。Winkler score的值越小越好。

Pinball是另一種綜合概率預(yù)測(cè)評(píng)估指標(biāo),可表示如下:

(23)

4.4 確定性預(yù)測(cè)結(jié)果

本節(jié)的目標(biāo)是將本文提出的方法與常用的確定性預(yù)測(cè)方法的預(yù)測(cè)結(jié)果進(jìn)行比較。證明本文方法具有更高的確定性預(yù)測(cè)精度。不同方法下評(píng)估指標(biāo)如表3所示。本文提出的IRM-UW-LSTM方法的各項(xiàng)評(píng)估指標(biāo)MAE、MAPE、MAAPE、NRMSD和RMSE值都是最低的,說(shuō)明本文提出的方法具有最高的預(yù)測(cè)精度。4項(xiàng)指標(biāo)的誤差分別比次優(yōu)方法CNNLSTM降低了9.36%、7.36%、11.74%和11.81%。同時(shí),從表3還可以看出,傳統(tǒng)人工智能方法RF的誤差較大,而基于深度學(xué)習(xí)技術(shù)的LSTM、TCN方法以及組合預(yù)測(cè)方法CNNLSTM的誤差次之,這說(shuō)明了數(shù)據(jù)分布偏移對(duì)現(xiàn)有各種類型人工智能的預(yù)測(cè)方法都有一定的影響。圖6給出了不同方法的確定性預(yù)測(cè)結(jié)果,可以觀察到本文提出的方法更接近實(shí)際值。這表明本文所提方法具有更高的凈負(fù)荷預(yù)測(cè)精度。

表3 確定性凈負(fù)荷預(yù)測(cè)結(jié)果Table 3 Deterministic net load forecasting results

圖6 不同方法下確定性凈負(fù)荷預(yù)測(cè)結(jié)果Fig.6 Deterministic net load forecasting results under different methods

4.5 概率預(yù)測(cè)結(jié)果

本節(jié)的目標(biāo)是將本文提出的方法與常用的概率預(yù)測(cè)方法的預(yù)測(cè)結(jié)果進(jìn)行比較,以證明本文方法具有更高的概率預(yù)測(cè)精度,如圖7所示。圖7中,紅線代表實(shí)際凈負(fù)荷,藍(lán)色由淺到深分別代表50%和90%的置信區(qū)間。通過(guò)比較圖7(a)、(b)、(c)、(d)可以直觀地看出,本文提出的方法在90%置信區(qū)間具有更緊密的預(yù)測(cè)覆蓋區(qū)間,在50%置信區(qū)間也有一定的精度提升幅度。不同方法下的概率預(yù)測(cè)評(píng)估指標(biāo)如表4所示,本文所提方法的Winkler score和Pinball值最低。對(duì)于更關(guān)注無(wú)條件覆蓋率和區(qū)間寬度的指標(biāo)Winkler score,與次優(yōu)方法CNNLSTM相比,所提方法的誤差在置信水平50%和90%下分別減少了15.74%和9.34%。而對(duì)于指標(biāo)Pinball,所提方法的誤差降低了10.69%。這表明本文所提方法具備更高的概率凈負(fù)荷預(yù)測(cè)精度,證明了將本文方法擴(kuò)展到概率預(yù)測(cè)的可能性。

表4 不同方法下概率凈負(fù)荷預(yù)測(cè)評(píng)估結(jié)果Table 4 Probabilistic net load forecast evaluation results under different methods

表5 不同RNN網(wǎng)絡(luò)的凈負(fù)荷預(yù)測(cè)結(jié)果Table 5 Net load forecasting results for different RNN networks

圖7 凈負(fù)荷概率預(yù)測(cè)結(jié)果Fig.7 Probabilistic net load forecasting results

4.6 不同程度數(shù)據(jù)分布偏移預(yù)測(cè)結(jié)果

為了更好地體現(xiàn)本文所提方法在凈負(fù)荷預(yù)測(cè)過(guò)程中應(yīng)對(duì)數(shù)據(jù)分布偏移的能力,本節(jié)驗(yàn)證在面對(duì)不同程度的數(shù)據(jù)分布偏移時(shí)所提方法的有效性。以2013年1月至6月的數(shù)據(jù)作為測(cè)試集。圖8給出了在不同數(shù)據(jù)分布偏移程度下本文所提方法與次優(yōu)方法CNNLSTM的MAAPE和RMSE。本文提出的方法在各個(gè)月份下的誤差總體上低于次優(yōu)方法。所提方法相比次優(yōu)方法誤差指標(biāo)提升程度如圖9所示。分別觀察2013年1-6月數(shù)據(jù)分布偏移程度以及各月份精度的提高程度。兩種方法下指標(biāo)的變化趨勢(shì)一致,這表明,數(shù)據(jù)分布偏移程度由小到大的順序,也就是準(zhǔn)確度相對(duì)提高程度由小到大的順序,反映出本文提出的方法在面對(duì)較大的數(shù)據(jù)分布偏移時(shí)具有較好的改進(jìn)潛力。相比之下,數(shù)據(jù)分布偏移程度越小,本文所提方法精度提高的程度也越小。

圖9 不同數(shù)據(jù)分布偏移程度下所提方法與次優(yōu)方法相比MAAPE、RMSE的提升程度Fig.9 Relative improvement of proposed method compared to the second-best method under different degrees of data distribution shift

4.7 不同光伏滲透率預(yù)測(cè)結(jié)果

可再生能源發(fā)電的間歇性和不確定性是凈負(fù)荷數(shù)據(jù)分布偏移的主要原因之一?？稍偕茉礉B透率越高,數(shù)據(jù)不確定性越大,數(shù)據(jù)分布偏移程度越高。所有用戶的總用電量、光伏發(fā)電量和凈負(fù)荷數(shù)據(jù)已知,可以通過(guò)控制無(wú)光伏發(fā)電量客戶的數(shù)量來(lái)控制光伏滲透率。假設(shè)一些客戶的光伏發(fā)電量為0(即這些客戶的用電量全部由凈負(fù)荷提供)。本文以300個(gè)客戶為固定值,構(gòu)建(0,300)、(50,250)、(100,200)、(150,150)、(200,100)、(250,50)、(300,0)的實(shí)驗(yàn)組,其中前者為無(wú)光伏發(fā)電出力的用戶數(shù)量,后者為有光伏發(fā)電的用戶數(shù)量。圖10給出了不同光伏滲透率下所提方法與次優(yōu)方法的MAAPE和RSME。從圖10可以看出,光伏用戶越多,即光伏滲透率越高,評(píng)價(jià)指標(biāo)MAAPE和RMSE的值越大。這與數(shù)據(jù)分布偏移越明顯,預(yù)測(cè)難度越大、精度越差的結(jié)論一致。此外,光伏滲透率越高,本文所提方法的精度提升程度越大,當(dāng)滲透率最高時(shí),改進(jìn)幅度分別為16.062%和13.452%。本節(jié)仿真結(jié)果說(shuō)明,光伏滲透率越高,數(shù)據(jù)分布偏移程度越高,本文所提方法的精度提升程度越大。這與第4.6節(jié)的結(jié)論是一致的,也反映出隨著未來(lái)光伏等新能源在電力系統(tǒng)中滲透率的提高,本文方法具有較大的應(yīng)用潛力。

圖10 不同光伏滲透率下所提方法與次優(yōu)方法的MAAPE、RMSE結(jié)果Fig.10 MAAPE and RMSE results of the proposed method and the suboptimal method under different photovoltaic permeability

4.8 不同RNN網(wǎng)絡(luò)結(jié)構(gòu)預(yù)測(cè)結(jié)果

RNN因其處理連續(xù)數(shù)據(jù)的能力而廣泛應(yīng)用于負(fù)荷預(yù)測(cè)。RNN的網(wǎng)絡(luò)機(jī)制使模型能夠?qū)⑸弦粫r(shí)間步產(chǎn)生的結(jié)果作為當(dāng)前時(shí)間步輸入的一部分,從而影響當(dāng)前時(shí)間步的輸出。在負(fù)荷預(yù)測(cè)領(lǐng)域幾種常見的RNN變體如:LSTM[21]、門控循環(huán)單元(gate recurrent unit,GRU)[26],它們除了繼承了RNN的優(yōu)良預(yù)測(cè)特性外,還能更好地處理更長(zhǎng)的時(shí)間序列數(shù)據(jù),同時(shí)克服梯度爆炸等問(wèn)題[27]。本節(jié)比較了IRM-RNN、IRM-LSTM和IRM-GRU的預(yù)測(cè)結(jié)果,結(jié)果表明在利用本文所提方法克服凈負(fù)荷數(shù)據(jù)分布偏移時(shí),LSTM是更優(yōu)的選擇。表5給出了不同RNN網(wǎng)絡(luò)的凈負(fù)荷預(yù)測(cè)結(jié)果,可知,IRM-LSTM具有更好的預(yù)測(cè)精度,與IRM-RNN和IRM-GRU相比,MAAPE分別提高了31.6%和7.96%。由于張量運(yùn)算較少,GRU的計(jì)算速度更具優(yōu)勢(shì)。表6給出了不同RNN網(wǎng)絡(luò)計(jì)算時(shí)間,從表6可以看出,IRM-GRU在訓(xùn)練時(shí)間方面更占優(yōu)勢(shì)。結(jié)果表明,IRM并沒(méi)有改變RNN網(wǎng)絡(luò)本身的優(yōu)勢(shì),這進(jìn)一步說(shuō)明了本文方法的合理性,同時(shí),未來(lái)可以根據(jù)預(yù)測(cè)需要選擇更快或更準(zhǔn)確的方法。

表6 不同RNN網(wǎng)絡(luò)的計(jì)算時(shí)間Table 6 Computational time for different RNN network

5 結(jié) 論

由于更多不確定性的注入,分布式能源的廣泛部署大大降低了凈負(fù)荷的可預(yù)測(cè)性。更高的不確定性使得凈負(fù)荷數(shù)據(jù)分布偏移更為頻繁和嚴(yán)重。針對(duì)此問(wèn)題,本文通過(guò)學(xué)習(xí)不同凈負(fù)荷數(shù)據(jù)分布下的不變特征信息,提出了一種基于IRM-UW-LSTM的短期居民凈負(fù)荷預(yù)測(cè)方法。該方法不同于現(xiàn)有方法,減少了模型對(duì)測(cè)試集與訓(xùn)練集數(shù)據(jù)獨(dú)立同分布的依賴。通過(guò)Ausgrid公司提供的真實(shí)凈負(fù)荷數(shù)據(jù)驗(yàn)證了本文方法可以通過(guò)克服數(shù)據(jù)分布偏移問(wèn)題提高確定性和概率凈負(fù)荷預(yù)測(cè)精度。而且,結(jié)果表明,分布偏移程度越高,該方法與其他方法相比改進(jìn)潛力越大。此外,隨著可再生能源在電力系統(tǒng)中滲透率的提高,本文方法具有更高的應(yīng)用潛力。