基于多頭概率稀疏自注意力模型的綜合能源系統(tǒng)多元負(fù)荷短期預(yù)測(cè)

韓寶慧,陸玲霞,包哲靜,于淼

(浙江大學(xué)電氣工程學(xué)院,杭州市 310027)

0 引 言

隨著我國(guó)經(jīng)濟(jì)的持續(xù)發(fā)展,能源需求不斷增加,能源問(wèn)題成為影響我國(guó)經(jīng)濟(jì)可持續(xù)發(fā)展的關(guān)鍵因素。然而,傳統(tǒng)能源系統(tǒng)結(jié)構(gòu)單一,各個(gè)能源子系統(tǒng)相互獨(dú)立,無(wú)法有效實(shí)現(xiàn)多種能源的協(xié)同運(yùn)行,能源綜合利用效率低下。綜合能源系統(tǒng)(integrated energy system, IES)突破了傳統(tǒng)能源系統(tǒng)的技術(shù)和管理壁壘,實(shí)現(xiàn)了各類能源的統(tǒng)一規(guī)劃、管理和調(diào)度,在滿足多種用能需求的同時(shí)提升了能源利用效率[1]。但是隨著綜合能源系統(tǒng)的不斷發(fā)展,各能源互補(bǔ)特性增強(qiáng),多能流間耦合作用加深,大量分布式可再生能源的接入以及電動(dòng)汽車等新型負(fù)荷的出現(xiàn),進(jìn)一步加大系統(tǒng)運(yùn)行不確定性,源網(wǎng)荷之間的多重復(fù)雜交互使得系統(tǒng)穩(wěn)定性受到影響[2]。因此,面對(duì)綜合能源系統(tǒng)背景下能源供給側(cè)和需求側(cè)的雙重不確定性,深入分析和挖掘各個(gè)能源子系統(tǒng)之間的耦合特性,實(shí)現(xiàn)準(zhǔn)確、可靠的多元負(fù)荷預(yù)測(cè),已經(jīng)成為當(dāng)前的重點(diǎn)研究方向[3]。

傳統(tǒng)的負(fù)荷預(yù)測(cè)方法主要包括自回歸模型[4]、多元線性回歸[5]和卡爾曼濾波[6]等統(tǒng)計(jì)方法以及隨機(jī)森林、支持向量機(jī)[7]等傳統(tǒng)的機(jī)器學(xué)習(xí)方法。近年來(lái),深度學(xué)習(xí)憑借其對(duì)輸入輸出數(shù)據(jù)之間非線性特性的準(zhǔn)確擬合能力,被廣泛應(yīng)用于負(fù)荷預(yù)測(cè)領(lǐng)域并取得了很好的預(yù)測(cè)效果。在電力負(fù)荷預(yù)測(cè)方面,文獻(xiàn)[8]提出了一種基于長(zhǎng)短期記憶(long short term memory, LSTM)網(wǎng)絡(luò)的短期電力負(fù)荷預(yù)測(cè)模型。文獻(xiàn)[9]提出了一種基于完整自適應(yīng)噪聲集成經(jīng)驗(yàn)?zāi)B(tài)分解和注意力機(jī)制的LSTM預(yù)測(cè)方法,在LSTM的基礎(chǔ)上引入注意力機(jī)制以突出關(guān)鍵特征,得到了更好的預(yù)測(cè)效果。文獻(xiàn)[10]基于LSTM的改進(jìn)網(wǎng)絡(luò)門控循環(huán)單元(gate recurrent unit, GRU)建立預(yù)測(cè)模型,預(yù)測(cè)效果相較LSTM網(wǎng)絡(luò)有所提升。為了進(jìn)一步提高預(yù)測(cè)精度,不少學(xué)者嘗試采用模型融合和模型組合的方式構(gòu)建負(fù)荷預(yù)測(cè)模型。文獻(xiàn)[11]針對(duì)電網(wǎng)負(fù)荷數(shù)據(jù)非線性和時(shí)序性等特征,提出了一種基于CNN-BiLSTM-Attention深度學(xué)習(xí)模型實(shí)現(xiàn)超短期電力負(fù)荷預(yù)測(cè),提升了特征提取能力。文獻(xiàn)[12]提出基于CNN-LSTM-XGBoost多模型融合的短期負(fù)荷預(yù)測(cè)方法,該組合預(yù)測(cè)方法相比單一模型預(yù)測(cè)精度更高。在冷/熱負(fù)荷預(yù)測(cè)方面,文獻(xiàn)[13]分別采用回歸分析、隨機(jī)森林和神經(jīng)網(wǎng)絡(luò)模型對(duì)冷熱負(fù)荷進(jìn)行預(yù)測(cè),證明了神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)效果優(yōu)于其他2個(gè)模型。文獻(xiàn)[14]提出一種基于長(zhǎng)短期記憶網(wǎng)絡(luò)的冷負(fù)荷預(yù)測(cè)模型,提升了預(yù)測(cè)效果。文獻(xiàn)[15]使用LSTM預(yù)測(cè)熱負(fù)荷,并引入了時(shí)空注意機(jī)制,提高了熱負(fù)荷預(yù)測(cè)的準(zhǔn)確性。

目前,針對(duì)單一負(fù)荷的預(yù)測(cè)技術(shù)已經(jīng)比較成熟,但是在綜合能源系統(tǒng)中,多元負(fù)荷不僅受到歷史負(fù)荷和外部因素的影響,負(fù)荷間的耦合關(guān)系也會(huì)對(duì)預(yù)測(cè)結(jié)果產(chǎn)生影響。目前對(duì)于多元負(fù)荷預(yù)測(cè)的相關(guān)研究相對(duì)較少。文獻(xiàn)[16]利用多變量相空間重構(gòu)和卡爾曼濾波對(duì)冷熱電負(fù)荷進(jìn)行預(yù)測(cè);文獻(xiàn)[17]針對(duì)電-氣能源系統(tǒng)建立了基于徑向基模型的短期負(fù)荷預(yù)測(cè);文獻(xiàn)[18]提出基于小波包分解和循環(huán)神經(jīng)網(wǎng)絡(luò)的綜合能源系統(tǒng)短期負(fù)荷預(yù)測(cè)方法,使用小波包對(duì)冷熱電負(fù)荷進(jìn)行頻段分解并對(duì)各頻段內(nèi)的綜合能源負(fù)荷進(jìn)行相關(guān)性分析,有效降低了預(yù)測(cè)誤差;文獻(xiàn)[19]使用LSTM網(wǎng)絡(luò)構(gòu)建了基于冷熱電聯(lián)產(chǎn)系統(tǒng)的負(fù)荷預(yù)測(cè)模型。但是以上文獻(xiàn)都采用單任務(wù)方式進(jìn)行負(fù)荷預(yù)測(cè),針對(duì)多能系統(tǒng)的耦合性挖掘力度不夠深入。為了進(jìn)一步挖掘多能系統(tǒng)間的耦合關(guān)系,相關(guān)學(xué)者在多元負(fù)荷預(yù)測(cè)模型的構(gòu)建中引入了多任務(wù)學(xué)習(xí)。文獻(xiàn)[20]建立了基于最小二乘支持向量機(jī)和多任務(wù)學(xué)習(xí)的電、熱、冷、氣負(fù)荷組合預(yù)測(cè)模型,但計(jì)算效率較低。文獻(xiàn)[21]采用了由多任務(wù)學(xué)習(xí)和CNN-GRU以及集成學(xué)習(xí)組成的多能負(fù)荷預(yù)測(cè)模型,挖掘了多能負(fù)荷的時(shí)空相關(guān)性。文獻(xiàn)[22]提出基于LSTM和多任務(wù)學(xué)習(xí)的綜合能源系統(tǒng)多元負(fù)荷預(yù)測(cè)方法,使用硬共享機(jī)制結(jié)合長(zhǎng)短時(shí)記憶共享層構(gòu)建預(yù)測(cè)模型,提高多元負(fù)荷的預(yù)測(cè)精度。文獻(xiàn)[23]采用基于ResNet-LSTM網(wǎng)絡(luò)和注意力機(jī)制的多元負(fù)荷預(yù)測(cè)方法,挖掘多能負(fù)荷的空間耦合特性,實(shí)現(xiàn)多元負(fù)荷的聯(lián)合預(yù)測(cè)。文獻(xiàn)[24]使用雙向GRU結(jié)合注意力機(jī)制對(duì)多元負(fù)荷進(jìn)行未來(lái)一小時(shí)的預(yù)測(cè),驗(yàn)證了多元負(fù)荷的預(yù)測(cè)效果優(yōu)于單一負(fù)荷預(yù)測(cè)。

作為短期預(yù)測(cè)的常用方法,LSTM或GRU等都存在一定局限性,如存在梯度爆炸和無(wú)法并行運(yùn)行的缺點(diǎn)。除此之外,大多數(shù)多任務(wù)架構(gòu)的實(shí)現(xiàn)基本上都基于一個(gè)簡(jiǎn)單的“硬連接”方法,導(dǎo)致要素共享層和具體任務(wù)層直接連接,不能反映不同的子任務(wù)對(duì)共享要素的關(guān)注不同。

本文借鑒自然語(yǔ)言處理領(lǐng)域廣泛使用的注意力機(jī)制,將其改進(jìn)后應(yīng)用于多元負(fù)荷短期預(yù)測(cè),利用多頭概率稀疏自注意力(multihead probabilistic sparse self-attention, MPSS)模型學(xué)習(xí)長(zhǎng)序列輸入的依賴關(guān)系,采用相對(duì)位置編碼方法增強(qiáng)數(shù)據(jù)間的內(nèi)在聯(lián)系,提高模型的預(yù)測(cè)性能;并且采用多元預(yù)測(cè)任務(wù)的參數(shù)軟共享機(jī)制,通過(guò)不同子任務(wù)對(duì)共享特征的差異化選擇,實(shí)現(xiàn)多元負(fù)荷的聯(lián)合預(yù)測(cè);最后,在亞利桑那州立大學(xué)Tempe校區(qū)的多元負(fù)荷數(shù)據(jù)集上對(duì)所提模型的性能進(jìn)行驗(yàn)證。與其他預(yù)測(cè)模型進(jìn)行對(duì)比,結(jié)果表明本文所提多元負(fù)荷預(yù)測(cè)方法能夠有效提高預(yù)測(cè)精度。

1 多元負(fù)荷耦合特征挖掘

綜合能源系統(tǒng)作為新一代能源系統(tǒng)的重要組成,通過(guò)協(xié)同發(fā)展電、熱、冷等多種類型能源,滿足不同類型用戶的多種用能需求。

一方面,在多元化的電源側(cè)供給互補(bǔ)過(guò)程中,風(fēng)電、光伏、燃?xì)獾雀黝惸茉垂┙o來(lái)源存在著較大的互補(bǔ)特性。同時(shí),綜合能源系統(tǒng)集成了電、熱、冷等多個(gè)能源子系統(tǒng),在各能源子系統(tǒng)之間均有相互能量轉(zhuǎn)化,充分挖掘了源-源多能耦合、協(xié)同互補(bǔ)特性。

另一方面,在綜合能源系統(tǒng)的服務(wù)商向用戶提供多種用能需求的過(guò)程中,會(huì)受到氣象條件、人類活動(dòng)以及建筑特性等因素影響。氣溫的變化使得冷熱負(fù)荷在需求上表現(xiàn)出明顯的季節(jié)性和地域性,同時(shí),非工作日時(shí)居民活動(dòng)頻繁,用能設(shè)備靈活多樣,用能需求也呈現(xiàn)出隨機(jī)性和不確定性。

1.1 冷熱電負(fù)荷相關(guān)性分析

本文采用皮爾遜相關(guān)系數(shù)(Pearson correlation coefficient, PCC)分析多元負(fù)荷的內(nèi)在耦合關(guān)系以及多元負(fù)荷與氣象因素的相關(guān)性。皮爾遜相關(guān)系數(shù)的計(jì)算公式為:

(1)

式中:ρY1,Y2為向量Y1、Y2的皮爾遜相關(guān)系數(shù);cov(Y1,Y2)為特征向量Y1、Y2的協(xié)方差;σY1、σY2分別為Y1、Y2的標(biāo)準(zhǔn)差。

相關(guān)系數(shù)的取值范圍為[-1,1],相關(guān)系數(shù)的絕對(duì)值越大,線性相關(guān)性越強(qiáng)。一般認(rèn)為,相關(guān)系數(shù)為0.8～1.0表示存在極強(qiáng)相關(guān)性,0.6～0.8表示存在強(qiáng)相關(guān)性,0.2～0.6表示存在中等相關(guān)性,0～0.2表示存在弱相關(guān)性或不相關(guān)。

使用亞利桑那州立大學(xué)Tempe校區(qū)的多能負(fù)荷數(shù)據(jù)集,計(jì)算綜合能源系統(tǒng)多元負(fù)荷之間以及與天氣影響因素之間的皮爾遜相關(guān)系數(shù),得到熱力圖,如圖1所示。由圖1可見,電負(fù)荷與冷負(fù)荷和熱負(fù)荷之間存在很強(qiáng)的耦合關(guān)系,相關(guān)系數(shù)的絕對(duì)值都大于0.6。在多元負(fù)荷與天氣因素的相關(guān)性方面,冷熱電負(fù)荷與溫度的相關(guān)性極強(qiáng),其中冷負(fù)荷與溫度的相關(guān)系數(shù)為0.94,熱負(fù)荷與溫度的相關(guān)系數(shù)為-0.84,這與用戶的用能習(xí)慣一致,高溫時(shí)冷負(fù)荷需求增加,低溫時(shí)熱負(fù)荷需求相應(yīng)增加。同時(shí),多元負(fù)荷與露點(diǎn)、氣壓、濕度的相關(guān)性較強(qiáng),與風(fēng)速的相關(guān)性比較弱。

圖1 多元負(fù)荷的皮爾遜相關(guān)系數(shù)Fig.1 Pearson correlation coefficient of multi-energy load

由上述分析結(jié)果表明,多元負(fù)荷之間以及多元負(fù)荷與天氣因素之間均存在較強(qiáng)的相關(guān)性,因此在對(duì)多元負(fù)荷建模時(shí)需要考慮不同負(fù)荷之間的耦合性。

1.2 冷熱電負(fù)荷序列耦合關(guān)系挖掘

根據(jù)1.1節(jié)的結(jié)論,可知冷熱電負(fù)荷之間存在較強(qiáng)的相關(guān)關(guān)系,但是皮爾遜系數(shù)只能對(duì)負(fù)荷間的線性相關(guān)關(guān)系進(jìn)行描述。為了進(jìn)一步挖掘冷熱電負(fù)荷之間的非線性耦合關(guān)系,針對(duì)原始負(fù)荷數(shù)據(jù),采用取負(fù)荷間比值、負(fù)荷高次冪和負(fù)荷對(duì)數(shù)的方式對(duì)原始數(shù)據(jù)矩陣進(jìn)行擴(kuò)展,以構(gòu)建原始數(shù)據(jù)的特征工程。

對(duì)負(fù)荷進(jìn)行耦合特征挖掘的算法由以下3個(gè)步驟構(gòu)成。

1)計(jì)算原始數(shù)據(jù)的擴(kuò)展矩陣。

(2)

(3)

(4)

(5)

2)針對(duì)擴(kuò)展矩陣進(jìn)行相關(guān)性分析。

對(duì)于Z1和Z2矩陣,直接采用皮爾遜相關(guān)系數(shù)分析原始電、冷、熱負(fù)荷數(shù)據(jù)與負(fù)荷間比值和對(duì)數(shù)擴(kuò)展矩陣的相關(guān)性。為了避免低相關(guān)度數(shù)據(jù)對(duì)預(yù)測(cè)結(jié)果產(chǎn)生負(fù)面影響,若原始數(shù)據(jù)與擴(kuò)展數(shù)據(jù)之間的相關(guān)度低于0.4,則表示數(shù)據(jù)間的相關(guān)性較弱,此時(shí)舍棄該擴(kuò)展數(shù)據(jù),否則保留。

對(duì)于Z3矩陣,分別計(jì)算負(fù)荷內(nèi)和負(fù)荷間的耦合矩陣(以電負(fù)荷為例)。

(6)

(7)

3)計(jì)算Z3矩陣的耦合特征。

文獻(xiàn)[25]提出了一種基于類似泰勒展開的耦合關(guān)系量化方法,計(jì)算公式為(以電負(fù)荷為例):

(8)

式中:Zb表示電負(fù)荷原始數(shù)據(jù)矩陣(L=1);Zr表示電負(fù)荷擴(kuò)展數(shù)據(jù)矩陣(L≠1);k=[(1/1!),(1/2!),…,(1/L!)]為建立類泰勒展開所需的系數(shù)矩陣;⊙表示哈達(dá)瑪積。為了避免計(jì)算量過(guò)大,L取值為3。

最終,獲得的耦合特征變量矩陣為:

(9)

式中:F(C)、F(H)分別為經(jīng)過(guò)式(6)-(8)的計(jì)算后獲得的冷、熱負(fù)荷的耦合特征。

本文所提耦合特征挖掘算法可以挖掘負(fù)荷間的非線性耦合關(guān)系,在后續(xù)建模中可作為預(yù)測(cè)模型的輸入變量,輔助提高模型的特征提取效果。

2 基于多頭概率稀疏自注意力模型的多元負(fù)荷預(yù)測(cè)

編碼器-解碼器框架是深度學(xué)習(xí)中一種常用的模型架構(gòu),它的主要特點(diǎn)是可以處理長(zhǎng)度可變的序列輸入和輸出。這種模型架構(gòu)通常用于解決序列轉(zhuǎn)換問(wèn)題,比如時(shí)間序列預(yù)測(cè)等。本文提出的多頭概率稀疏自注意力模型就是基于編碼器-解碼器框架構(gòu)建的模型,該模型利用多頭注意力機(jī)制,實(shí)現(xiàn)了不同位置信息的交互和融合,并通過(guò)概率分布集中不同的注意力權(quán)重,從而實(shí)現(xiàn)更加準(zhǔn)確的負(fù)荷預(yù)測(cè)。此外,通過(guò)引入稀疏性約束,模型的泛化能力和魯棒性得到了進(jìn)一步提高。

2.1 多頭概率稀疏自注意力模型

1)自注意力模型。

注意力機(jī)制來(lái)源于人類視覺系統(tǒng)的選擇性注意力,當(dāng)人類觀察某一事物時(shí),不會(huì)掌握事物的全部細(xì)節(jié),而是將注意力放在重點(diǎn)關(guān)注的區(qū)域,以獲取該區(qū)域盡可能多的細(xì)節(jié)。

在深度學(xué)習(xí)領(lǐng)域中,模型往往需要接收和處理大量的數(shù)據(jù),然而在特定的某個(gè)時(shí)刻,往往只有少部分的某些數(shù)據(jù)是重要的,這種情況就非常適合采用注意力機(jī)制,從大量的信息中選擇對(duì)當(dāng)前目標(biāo)最重要的信息。

自注意力(self-attention)模型[26]是目前注意力模型中使用最廣的一種,自注意力模型采用向量點(diǎn)積計(jì)算相似度,并采用輸入向量維度d對(duì)結(jié)果進(jìn)行縮放,然后采用Softmax函數(shù)進(jìn)行歸一化計(jì)算后得到注意力權(quán)重,最后使用注意力權(quán)重對(duì)值向量進(jìn)行加權(quán)得到注意力分?jǐn)?shù)矩陣,其標(biāo)準(zhǔn)計(jì)算公式為:

(10)

式中:A(Q,K,V)為自注意力分?jǐn)?shù)矩陣;Q為查詢向量;K為鍵向量;V為值向量;X為輸入向量;Wq、Wk、Wv分別對(duì)應(yīng)Q、K、V向量的可訓(xùn)練的線性變換矩陣;d為輸入向量維度。

2)概率稀疏自注意力模型。

在標(biāo)準(zhǔn)的自注意力模型中,每個(gè)輸入元素都需要關(guān)注其他的輸入元素,因此得到的注意力矩陣是非常稀疏的。“稀疏”的自注意力結(jié)構(gòu)呈長(zhǎng)尾分布,即少數(shù)點(diǎn)積對(duì)貢獻(xiàn)了主要的注意力,而其他點(diǎn)積對(duì)產(chǎn)生的貢獻(xiàn)則可以忽略不計(jì)。因此可以通過(guò)刪除部分元素之間的連接來(lái)降低計(jì)算復(fù)雜度。

稀疏自注意力模型[27]通過(guò)使用Kullback-Leibler散度來(lái)進(jìn)行稀疏性度量,計(jì)算得到的度量值大小可以反映對(duì)應(yīng)的查詢?cè)氐闹匾?度量值計(jì)算公式為:

(11)

式中:M(qi,K)為稀疏性度量值;qi為Q中第i個(gè)元素;kj為K中第j個(gè)元素;LK為K的長(zhǎng)度。

基于上述稀疏性度量方法,就可以得到概率稀疏自注意力機(jī)制(probability sparse self-attention)的公式,即:

(12)

3)多頭自注意力機(jī)制。

多頭自注意力機(jī)制將模型的Q、K、V分出多個(gè)分支,形成多個(gè)子空間,與稀疏自注意力模型結(jié)合后,每個(gè)子空間生成不同的稀疏Query-Key對(duì),從而可以讓模型關(guān)注來(lái)自不同位置的子空間的信息,有效避免了信息的損失,計(jì)算公式為:

AMH(Q,K,V)=Concat(h1,h2,…,hn)Wo

(13)

(14)

式中:AMH(Q,K,V)為經(jīng)過(guò)多頭自注意力計(jì)算后的注意力分?jǐn)?shù)矩陣;n為多頭的數(shù)量,表示對(duì)式(12)進(jìn)行n次計(jì)算;Concat(·)為拼接操作;Wo為可訓(xùn)練的線性變換矩陣。

多頭注意力機(jī)制中,每個(gè)頭部的線性變換矩陣都是可以訓(xùn)練的參數(shù),因此模型可以自適應(yīng)地學(xué)習(xí)每個(gè)頭部應(yīng)該關(guān)注的序列上下文。此外,多頭注意力機(jī)制可以通過(guò)并行計(jì)算多組查詢向量、鍵向量和值向量,從而加速計(jì)算,提高模型效率。

2.2 改進(jìn)位置編碼

在時(shí)間序列處理任務(wù)中,數(shù)據(jù)間的先后順序?qū)δＰ偷慕Y(jié)果存在顯著影響。不同于RNN利用自回歸的方式考慮數(shù)據(jù)之間的順序,單純的自注意力模型并未引入結(jié)構(gòu)假設(shè),無(wú)法捕獲輸入元素序列的順序。因此,為了能夠利用輸入數(shù)據(jù)的位置信息,通常采用位置編碼的方式生成位置向量矩陣,將位置向量添加到原始輸入序列中,即可讓輸入數(shù)據(jù)攜帶位置信息。主流的位置編碼方法主要分為絕對(duì)位置編碼與相對(duì)位置編碼兩大類。

絕對(duì)位置編碼生成的位置向量矩陣的維度與輸入序列維度相同,通過(guò)直接相加的方式為每個(gè)輸入向量添加位置編碼,具體公式為:

X=(w1+p1,…,wm+pm)

(15)

式中:X表示經(jīng)過(guò)位置編碼后的模型輸入向量;wm表示第m個(gè)位置的數(shù)據(jù)嵌入向量;pm表示第m個(gè)位置的絕對(duì)位置編碼向量。

有研究證明[28]在加入未知的線性變化后,使用絕對(duì)位置編碼方式的模型會(huì)丟失原本的相對(duì)位置信息,因此本文選擇引入相對(duì)位置編碼。相對(duì)位置編碼側(cè)重于不同序列之間的位置關(guān)系,而不僅是單個(gè)序列的位置順序。對(duì)此,在計(jì)算Q和K的向量積時(shí)引入可訓(xùn)練的辨識(shí)相對(duì)位置的參數(shù)。

采用絕對(duì)位置編碼的公式為:

(16)

采用相對(duì)位置編碼方法改進(jìn)后的公式為:

(17)

式中:si,j表示計(jì)算Q的第i個(gè)元素和K的第j個(gè)元素的向量積;Ri-j表示查詢向量qi和鍵向量kj之間的相對(duì)位置距離;u、v為2個(gè)可訓(xùn)練的參數(shù)向量。

2.3 多元負(fù)荷預(yù)測(cè)網(wǎng)絡(luò)

本文提出的MPSS多元負(fù)荷預(yù)測(cè)網(wǎng)絡(luò)采用改進(jìn)位置編碼,主要由以下3部分組成:

第一部分為特征提取網(wǎng)絡(luò),通過(guò)一維卷積層和最大池化層對(duì)輸入的冷熱電歷史負(fù)荷和耦合特征數(shù)據(jù)輸入序列進(jìn)行特征提取操作得到特征圖,同時(shí)進(jìn)行位置編碼,得到相對(duì)位置編碼矩陣,將特征圖與位置編碼矩陣組合得到特征矩陣。

第二部分為特征處理網(wǎng)絡(luò),通過(guò)MPSS網(wǎng)絡(luò)層進(jìn)行多頭概率稀疏自注意力計(jì)算,然后經(jīng)過(guò)蒸餾層提煉重要特征,丟棄冗余特征,提高模型計(jì)算效率。多個(gè)MPSS網(wǎng)絡(luò)層和蒸餾層堆疊可以加強(qiáng)特征的多層抽象表示,提高模型的泛化能力。

第三部分為特征映射部分,通過(guò)多頭自注意力層和全連接層處理后得到冷、熱、電負(fù)荷的預(yù)測(cè)結(jié)果輸出。網(wǎng)絡(luò)總體框圖如圖2所示。

圖2 多元負(fù)荷預(yù)測(cè)網(wǎng)絡(luò)框圖Fig.2 Diagram of multi-energy loads forecasting model

3 算例分析

3.1 實(shí)驗(yàn)設(shè)置

本文使用python 3.7作為編程語(yǔ)言,基于PyTorch深度學(xué)習(xí)框架搭建模型,硬件平臺(tái)采用Intel(R) Core(TM) i5-10400 CPU@ 2.90 GHz處理器以及NVIDIA RTX 2080顯卡。

本文負(fù)荷數(shù)據(jù)來(lái)源為亞利桑那州立大學(xué)的Campus Metabolism系統(tǒng),該系統(tǒng)收集了亞利桑那州立大學(xué)的所有能耗數(shù)據(jù),選擇Tempe校區(qū)的電、熱、冷等歷史負(fù)荷數(shù)據(jù)作為負(fù)荷預(yù)測(cè)的數(shù)據(jù)集[29]。其中,熱能值是根據(jù)熱水進(jìn)出建筑物時(shí)溫度和流速的降低來(lái)計(jì)算的,冷能值是使用水進(jìn)入和離開建筑物時(shí)溫度和流速的增加來(lái)計(jì)算的。為了便于比較和計(jì)算,采用kW作為多元負(fù)荷的統(tǒng)一量綱,如式(18)所示。

1 kW=3.4 mBtu/h=0.284 RT

(18)

式中:RT為制冷能力的單位,表示每小時(shí)的制冷量大小;mBtu/h為制熱能力的單位,表示每小時(shí)的熱量流量。

天氣數(shù)據(jù)來(lái)自于美國(guó)NOAA氣象監(jiān)測(cè)數(shù)據(jù)網(wǎng)站[30],包括露點(diǎn)、干球溫度、濕度、氣壓、濕球溫度和風(fēng)速信息。日期數(shù)據(jù)包括工作日、周末和重要節(jié)假日數(shù)據(jù)。

數(shù)據(jù)集選取2019年1月1日-2019年12月31日之間的冷熱電負(fù)荷歷史數(shù)據(jù),其中前80%用于訓(xùn)練模型,后20%用于實(shí)際預(yù)測(cè)。對(duì)于訓(xùn)練模型的數(shù)據(jù)集,按照8∶2劃分為訓(xùn)練集和驗(yàn)證集。

3.2 數(shù)據(jù)預(yù)處理

由于數(shù)據(jù)在采集過(guò)程中可能出現(xiàn)異常數(shù)據(jù),因此需要進(jìn)行數(shù)據(jù)預(yù)處理。

首先,采用四分位點(diǎn)內(nèi)距(inter-quartile range, IQR)檢測(cè)數(shù)據(jù)中異常值的基本分布。數(shù)據(jù)集的四分位數(shù)將數(shù)據(jù)集分為4個(gè)部分,每個(gè)部分包含25%的數(shù)據(jù)。計(jì)算IQR的公式為:

χIQR=Q3-Q1

(19)

式中:Q1、Q3分別代表第25個(gè)百分位數(shù)和第75個(gè)百分位數(shù)。

因此,離群異常值的判定依據(jù)為:

xoutlier=(x>Q3+1.5χIQR)∪(x

(20)

式中:xoutlier為離群異常數(shù)據(jù);x為原始數(shù)據(jù)。

然后,異常值作為缺失值處理,消除具有大量缺失值的樣本。最后,采用線性插值的方法填補(bǔ)剩余部分的缺失值。

為了加速模型收斂以及消除不同數(shù)據(jù)量綱之間的影響,使用如式(21)所示標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化(Z-Score)方法對(duì)數(shù)據(jù)進(jìn)行歸一化處理。

(21)

3.3 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

為了全面評(píng)估預(yù)測(cè)性能,本文采用平均精度(mean accuracy,MA)eMA、平均絕對(duì)誤差(mean absolute error,MAE)eMAE和均方根誤差(root mean squared error,RMSE)eRMSE作為每一類負(fù)荷的評(píng)價(jià)指標(biāo),采用權(quán)重平均精度(weighted mean accuracy,WMA)eWMA作為多元負(fù)荷整體的評(píng)價(jià)指標(biāo)。針對(duì)不同能源的重要性賦予對(duì)應(yīng)的權(quán)重,考慮到電力負(fù)荷在綜合能源負(fù)荷中的重要性和不確定性更大,將電、冷、熱負(fù)荷預(yù)測(cè)任務(wù)的權(quán)重分別設(shè)置為0.5、0.2、0.3。模型指標(biāo)的表達(dá)式為:

(22)

(23)

(24)

eMA=1-eMAPE

(25)

(26)

3.4 模型輸入輸出數(shù)據(jù)

綜合考慮多元負(fù)荷的預(yù)測(cè)時(shí)間和預(yù)測(cè)精度,本文選擇預(yù)測(cè)時(shí)刻前168 h整點(diǎn)的電、冷、熱負(fù)荷歷史數(shù)據(jù)、計(jì)算獲得的耦合特征數(shù)據(jù)以及對(duì)應(yīng)的日期和天氣數(shù)據(jù)作為模型的輸入Dinput;選擇預(yù)測(cè)時(shí)間段t～t+23的電、冷、熱負(fù)荷作為模型的輸出Doutput。

(27)

(28)

3.5 模型超參數(shù)設(shè)置

超參數(shù)調(diào)整對(duì)于獲得最佳預(yù)測(cè)性能至關(guān)重要。但是,對(duì)于本文所提出模型來(lái)說(shuō),調(diào)整每個(gè)候選模型的所有參數(shù)非常耗時(shí)。因此,本文采用了一些超參數(shù)選擇的經(jīng)驗(yàn)法則和實(shí)驗(yàn)方法。首先,參考文獻(xiàn)[27]確定了超參數(shù)的值范圍。然后,使用網(wǎng)格搜索方法獲取具有較大影響的超參數(shù)值。最后,得到了所提模型的超參數(shù),如表1所示。

表1 模型超參數(shù)Table 1 The model hyper-parameter

經(jīng)過(guò)多次實(shí)驗(yàn)測(cè)試,選擇批樣本數(shù)量(batch size)為72,優(yōu)化器選擇具有學(xué)習(xí)率衰減的Adam優(yōu)化器,隨著訓(xùn)練次數(shù)增加學(xué)習(xí)率不斷下降,學(xué)習(xí)率初始值設(shè)定為0.000 1,衰減系數(shù)設(shè)置為0.5,學(xué)習(xí)率隨著迭代次數(shù)衰減變化為:

(29)

式中:lr為學(xué)習(xí)率;niterations為迭代次數(shù)。

3.6 結(jié)果分析

1)不同模型對(duì)比。

將本文所提出的模型與長(zhǎng)短期記憶(long short term memory, LSTM)網(wǎng)絡(luò)、隨機(jī)森林(random forest,RF)、輕量級(jí)梯度提升機(jī)(light gradient boosting machine,LGBM)、基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)和長(zhǎng)短期記憶網(wǎng)絡(luò)的融合模型(CNN-LSTM)等進(jìn)行比較。采用經(jīng)驗(yàn)法設(shè)置對(duì)比模型的參數(shù)與結(jié)構(gòu),對(duì)比模型的超參數(shù)設(shè)置如表2所示。除了對(duì)比模型自身網(wǎng)絡(luò)參數(shù)的設(shè)定,其余的數(shù)據(jù)處理部分包括數(shù)據(jù)集劃分和數(shù)據(jù)處理部分與MPSS模型保持一致。

表2 對(duì)比模型的超參數(shù)Table 2 Hyper-parameters of the comparison models

將訓(xùn)練得到的各個(gè)模型對(duì)多元負(fù)荷進(jìn)行預(yù)測(cè),得到多元負(fù)荷的MA值、MAE值、RMSE值和WMA值如表3所示。

表3 各模型預(yù)測(cè)精度對(duì)比Table 3 Comparison of prediction accuracy of each model

為了更直觀地顯示預(yù)測(cè)結(jié)果,選擇了未來(lái)96 h的預(yù)測(cè)曲線,如圖3、4、5所示。

由表3可以看出,本文提出的MPSS多元預(yù)測(cè)模型相比于其他模型的預(yù)測(cè)精度最高,電、冷、熱負(fù)荷預(yù)測(cè)精度分別達(dá)到96.50%、95.90%、96.35%。從圖3、圖4和圖5中也可以看出,MPSS模型的預(yù)測(cè)曲線更加接近真實(shí)負(fù)荷曲線,預(yù)測(cè)效果最好。這是由于MPSS模型采用了多頭自注意力機(jī)制,可以針對(duì)不同子任務(wù)進(jìn)行差異化的特征提取,并且能夠捕獲長(zhǎng)時(shí)間序列之間的依賴,因此與其他模型相比,MPSS模型具有最高的預(yù)測(cè)精度。

圖4 冷負(fù)荷預(yù)測(cè)結(jié)果Fig.4 Cold load forecasting results

圖5 熱負(fù)荷預(yù)測(cè)結(jié)果Fig.5 Heat load forecasting results

2)與單一預(yù)測(cè)比較。

為了驗(yàn)證多元負(fù)荷預(yù)測(cè)對(duì)預(yù)測(cè)精度有提升作用,將其與單一負(fù)荷預(yù)測(cè)進(jìn)行對(duì)比,采用相同的原始數(shù)據(jù)和處理方式,設(shè)置不同的模型輸入輸出數(shù)據(jù)格式,進(jìn)行對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)得到各模型精度如表4所示。

表4 單一負(fù)荷輸入與多元負(fù)荷輸入的預(yù)測(cè)精度對(duì)比Table 4 Comparison of prediction accuracy between single load input and multiple load input

模型1：模型的輸入包括歷史多元負(fù)荷數(shù)據(jù)、耦合系數(shù)、歷史環(huán)境特征;模型的輸出為多元負(fù)荷的預(yù)測(cè)值。

模型2：模型的輸入包括歷史單一負(fù)荷數(shù)據(jù)、歷史環(huán)境特征;模型的輸出為單一負(fù)荷的預(yù)測(cè)值。

模型3：模型的輸入包括歷史多元負(fù)荷數(shù)據(jù)、耦合系數(shù)、歷史環(huán)境特征;模型的輸出為電負(fù)荷的預(yù)測(cè)值。

模型4：模型的輸入包括歷史多元負(fù)荷數(shù)據(jù)、耦合系數(shù)、歷史環(huán)境特征;模型的輸出為熱負(fù)荷的預(yù)測(cè)值。

模型5：模型的輸入包括歷史多元負(fù)荷數(shù)據(jù)、耦合系數(shù)、歷史環(huán)境特征;模型的輸出為冷負(fù)荷的預(yù)測(cè)值。

由表4可以看出,多元負(fù)荷預(yù)測(cè)相較于單一負(fù)荷預(yù)測(cè)精度分別提高了0.63%、2.01%、1.03%,這說(shuō)明多元負(fù)荷預(yù)測(cè)包含更多的負(fù)荷之間相關(guān)性信息,輸入特征信息的增多使得模型預(yù)測(cè)精度更高。同時(shí),本文所提的多元負(fù)荷預(yù)測(cè)模型得到的電負(fù)荷、冷負(fù)荷和熱負(fù)荷預(yù)測(cè)精度與單獨(dú)訓(xùn)練3個(gè)模型的預(yù)測(cè)結(jié)果一致,但是本模型具備同時(shí)輸出3種多元負(fù)荷的預(yù)測(cè)結(jié)果的能力,從而減小了模型訓(xùn)練中的計(jì)算開銷,提高了訓(xùn)練的效率,具有更高的工程應(yīng)用價(jià)值。

3)輔助信息驗(yàn)證。

由多元負(fù)荷和天氣數(shù)據(jù)之間的相關(guān)性分析可知,天氣信息是負(fù)荷預(yù)測(cè)問(wèn)題非常重要的輔助信息,對(duì)用戶的用能行為有直接的影響。同時(shí),節(jié)假日和工作日等時(shí)間信息也會(huì)影響用戶的用能需求。因此,為了驗(yàn)證輔助信息對(duì)多元負(fù)荷預(yù)測(cè)的提升效果,設(shè)置有輔助信息和無(wú)輔助信息作為輸入的對(duì)比實(shí)驗(yàn),得到的結(jié)果如表5所示。

表5 有無(wú)輔助信息的預(yù)測(cè)精度對(duì)比Table 5 Comparison of prediction accuracy with and without auxiliary information

由表5可以看出,有輔助信息的多元負(fù)荷預(yù)測(cè)精度比沒(méi)有輔助信息的預(yù)測(cè)精度更高,說(shuō)明天氣信息和時(shí)間信息可以有效提高負(fù)荷預(yù)測(cè)的準(zhǔn)確性。

4 結(jié) 論

本文針對(duì)綜合能源系統(tǒng)多元負(fù)荷預(yù)測(cè)問(wèn)題,在考慮多元負(fù)荷耦合特性的前提下,結(jié)合深度學(xué)習(xí)和注意力機(jī)制,提出了基于改進(jìn)位置編碼的MPSS模型的多元負(fù)荷短期預(yù)測(cè)方法,有效提升了預(yù)測(cè)精度。通過(guò)選取多個(gè)不同預(yù)測(cè)模型作為對(duì)比模型,在真實(shí)數(shù)據(jù)集上驗(yàn)證了所提模型的有效性,并且得到以下結(jié)論:

1)綜合能源系統(tǒng)與單一能源系統(tǒng)不同,多個(gè)能源設(shè)備之間相互耦合,多元負(fù)荷之間的聯(lián)系更加緊密,因此多元負(fù)荷預(yù)測(cè)技術(shù)應(yīng)該充分考慮多元負(fù)荷之間的耦合特性,才能提升多元負(fù)荷的預(yù)測(cè)效率。

2)與單一負(fù)荷預(yù)測(cè)相比,考慮外界因素以及多元負(fù)荷特征的預(yù)測(cè)精度更高。因此,在進(jìn)行綜合能源負(fù)荷預(yù)測(cè)時(shí),考慮負(fù)荷之間以及負(fù)荷與外界因素之間的相關(guān)性能夠有效提升預(yù)測(cè)精度。

3)本文提出的基于改進(jìn)位置編碼的MPSS模型的多元負(fù)荷短期預(yù)測(cè)方法充分考慮了多元負(fù)荷的耦合特性和輸入輸出數(shù)據(jù)之間的長(zhǎng)期依賴關(guān)系,通過(guò)仿真實(shí)驗(yàn)以及與LSTM、RF、LGBM、CNN-LSTM等模型進(jìn)行對(duì)比,驗(yàn)證了本文所提模型比其他模型具有更高的預(yù)測(cè)精度。