基于MRMR 和雙重注意力機制的城市能源多元負荷短期預(yù)測

白冰青，劉江濤，王 旭，蔣傳文，江 婷，張沈習(xí)

（1. 電力傳輸與功率變換控制教育部重點實驗室（上海交通大學(xué)）,上海市 200240；2. 南京電力設(shè)計研究院有限公司,江蘇省南京市 210036）

0 引言

在“雙碳”目標的背景下,城市能源系統(tǒng)因其能源利用效率高和可再生能源消納比例高的優(yōu)勢,成為低碳化發(fā)展的重要方向［1-3］。為了保證城市能源系統(tǒng)的正常調(diào)度運行,需要在調(diào)度前預(yù)知系統(tǒng)內(nèi)的負荷需求情況。但不同于傳統(tǒng)的電力調(diào)度,城市能源系統(tǒng)是城市供熱、供冷、供電和滿足其他需求的能源系統(tǒng)的集合,負荷結(jié)構(gòu)多樣且復(fù)雜［4-5］,包含商業(yè)、辦公、娛樂等多種建筑,人員分布不規(guī)律,空調(diào)等能源設(shè)備開關(guān)頻繁,用戶需求波動性強［6］。城市能源系統(tǒng)通過能源轉(zhuǎn)換裝置和存儲裝置實現(xiàn)能源間的聯(lián)動［7-9］,能源系統(tǒng)在調(diào)度運行時需要考慮大量的非線性約束和離散變量,導(dǎo)致能源負荷彼此會受到復(fù)雜的非線性影響［10-12］。因此,城市能源系統(tǒng)負荷波動性強、耦合關(guān)系復(fù)雜,需要精準的多元負荷預(yù)測結(jié)果以保證能源系統(tǒng)的正常運行。為解決這一問題,本文提出一種基于最小冗余最大相關(guān)性（minimum redundancy maximum relevance,MRMR）方法和雙重注意力（dual-attention,DA）機制的城市能源系統(tǒng)多元負荷短期預(yù)測方法。

現(xiàn)有的負荷預(yù)測方法可以分為統(tǒng)計方法和機器學(xué)習(xí)方法［13］。統(tǒng)計方法包括線性回歸［14］、指數(shù)平滑［15］、自回歸差分移動平均［16］等,調(diào)節(jié)參數(shù)簡單且可解釋性強；而機器學(xué)習(xí)方法包括支持向量機［17］、人工神經(jīng)網(wǎng)絡(luò)［18］、深度神經(jīng)網(wǎng)絡(luò)［19］、模糊邏輯［20］等,調(diào)節(jié)參數(shù)相對復(fù)雜,解釋性也較弱,但預(yù)測精度高于一般統(tǒng)計方法［21］,是未來研究的重要方向。

在使用機器學(xué)習(xí)進行負荷預(yù)測的過程中,需要進行特征分析并建立神經(jīng)網(wǎng)絡(luò)模型。常用的特征分析方法包括協(xié)方差法、皮爾遜系數(shù)法、最大互信息系數(shù)（maximal information coefficient,MIC）法［22］和以MIC 法為基礎(chǔ)的MRMR 方法［23］。其中,協(xié)方差法和皮爾遜系數(shù)法能夠分析序列之間的線性關(guān)系,但城市能源系統(tǒng)中的能源耦合存在大量非線性關(guān)系,用戶的用能需求也難以線性描述,更適合使用MIC法和MRMR 方法。現(xiàn)有研究將MIC 法應(yīng)用到短期電價預(yù)測［24］,有效提高了特征序列的篩選效果,但城市能源系統(tǒng)中特征序列的冗余度較高,MIC 指標沒有考慮這一問題,而MRMR 方法將序列中的冗余度融入篩選指標,更適用于高冗余度的城市能源系統(tǒng)。常用的神經(jīng)網(wǎng)絡(luò)主要有小波神經(jīng)網(wǎng)絡(luò)（wavelet neural network,WNN）［25］、卷 積 神 經(jīng) 網(wǎng) 絡(luò)（convolutional neural network,CNN）［26］、循 環(huán) 神 經(jīng)網(wǎng) 絡(luò)（recurrent neural network,RNN）［27］及 其 變種—— 長 短 期 記 憶（long short-term memory,LSTM）網(wǎng)絡(luò)［28-29］。

CNN 和LSTM 網(wǎng)絡(luò)已被應(yīng)用于城市能源負荷預(yù)測。文獻［30］使用皮爾遜系數(shù)法分析負荷與特征之間的相關(guān)性,將卷積網(wǎng)絡(luò)和支持向量回歸相結(jié)合來預(yù)測城市能源系統(tǒng)的負荷,但受限于分析方法,相關(guān)性分析階段沒有考慮輸入信息的冗余問題。文獻［31］對多能負荷進行像素重構(gòu)和特征融合,在CNN-LSTM 網(wǎng)絡(luò)的基礎(chǔ)上結(jié)合圖像識別領(lǐng)域的方法實現(xiàn)負荷預(yù)測,但特征處理工作相對復(fù)雜,且預(yù)測跨度為1 h。實際調(diào)度工作中需要更久的時間跨度,以便提前制作調(diào)度方案。在神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上,可以添加注意力機制以提高網(wǎng)絡(luò)的性能［32］。文獻［33］采用灰色關(guān)聯(lián)度法分析多元負荷之間的耦合性,將注意力機制應(yīng)用到LSTM 網(wǎng)絡(luò)中,驗證了注意力機制的作用。文獻［34］應(yīng)用核主成分分析和模態(tài)分解將能源系統(tǒng)的負荷數(shù)據(jù)降維分解為非平穩(wěn)序列和平穩(wěn)序列,再分別采用深度雙向LSTM 網(wǎng)絡(luò)和多元線性回歸預(yù)測最終結(jié)果,預(yù)測步長仍為1 h,僅通過降維分解對負荷特征的處理也較為有限。上述研究中建立的神經(jīng)網(wǎng)絡(luò)模型均表現(xiàn)為LSTM 網(wǎng)絡(luò)或者CNN 的拼接,未將神經(jīng)網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)做出創(chuàng)新性修改以應(yīng)對城市復(fù)雜能源耦合系統(tǒng)的預(yù)測需求。因此,可以采用LSTM 網(wǎng)絡(luò)搭建序列到序列（sequence to sequence,Seq2Seq）結(jié)構(gòu),并輔以DA機制搭建適用于城市能源系統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型。其中,Seq2Seq 模型在處理文本翻譯、時序預(yù)測等問題時易于解釋、拓展性強,具有明顯優(yōu)勢［35］。該模型使用了2 個RNN,分別為編碼器和解碼器。編碼器處理輸入序列后生成語義向量,交由解碼器生成輸出序列,可以對這2 個神經(jīng)網(wǎng)絡(luò)特別設(shè)計以適用于城市能源系統(tǒng)。文獻［36］提出了DA 機制,在解碼器和編碼器階段分別加入注意力機制,以突出輸入和輸出環(huán)節(jié)中重要信息的作用,將其應(yīng)用到城市能源系統(tǒng)多元負荷預(yù)測領(lǐng)域中,可以使Seq2Seq 模型充分學(xué)習(xí)多元能源間的耦合關(guān)系。

因此,在能源系統(tǒng)負荷波動性強和能源耦合關(guān)系復(fù)雜的背景下,為了提高多元負荷的預(yù)測精度,本文使用MRMR 方法篩選特征序列,在LSTM 網(wǎng)絡(luò)的基礎(chǔ)上,應(yīng)用Seq2Seq 模型針對性地學(xué)習(xí)城市能源序列的信息,應(yīng)用DA 機制加強神經(jīng)網(wǎng)絡(luò)的特征提取能力,在輸出階段考慮歷史數(shù)據(jù)特征和能源系統(tǒng)特征以應(yīng)對能源負荷的隨機波動,得到間隔24 h的負荷預(yù)測結(jié)果。最后,提出一種基于MRMR 方法和DA 機制的城市能源系統(tǒng)多元負荷短期預(yù)測方法。主要包含以下兩方面貢獻:

1）針對輸入數(shù)據(jù)特征處理的問題,對不同類型的數(shù)據(jù)進行無量綱化和特征序列篩選,并對比了MIC 法和MRMR 方法的原理與篩選結(jié)果,有效降低了特征序列的冗余度。實驗結(jié)果表明,與MIC 法相比,采用MRMR 方法篩選的特征序列的預(yù)測精度明顯提高,為城市能源系統(tǒng)多元負荷特征處理提供了技術(shù)基礎(chǔ)。

2）建立基于DA 機制的Seq2Seq 神經(jīng)網(wǎng)絡(luò),在編碼器和解碼器階段都引入注意力機制,學(xué)習(xí)城市能源負荷序列的時空特征,突出其中的關(guān)鍵信息。實驗結(jié)果表明,DA 機制提高了模型的精度和魯棒性,可以服務(wù)于城市能源系統(tǒng)多元負荷預(yù)測的神經(jīng)網(wǎng)絡(luò)構(gòu)建。

1 輸入數(shù)據(jù)特征處理

城市能源系統(tǒng)的結(jié)構(gòu)包括能源輸入、能源轉(zhuǎn)換和能源輸出。電和天然氣等能源進入系統(tǒng)后,在冷熱電聯(lián)供、電轉(zhuǎn)氣等系統(tǒng)內(nèi)轉(zhuǎn)化為電、熱、冷負荷,輸出給用戶。這個過程中涉及的數(shù)據(jù)繁多,需要在原始數(shù)據(jù)的基礎(chǔ)上重新調(diào)整數(shù)據(jù)格式,調(diào)整數(shù)據(jù)分布,提高數(shù)據(jù)信息密度,從而和神經(jīng)網(wǎng)絡(luò)模型匹配。因此,在進行多元負荷預(yù)測前需要進行數(shù)據(jù)預(yù)處理和特征篩選工作。

1.1 數(shù)據(jù)修正和無量綱化

城市能源系統(tǒng)中存儲的數(shù)據(jù)存在數(shù)據(jù)缺失和數(shù)據(jù)突變的情況,本文采用插值法保證數(shù)據(jù)的平滑性。當判斷原始數(shù)據(jù)為0 或突變時,使用前一時刻和后一時刻的數(shù)據(jù)平均值代替缺失數(shù)據(jù)。若出現(xiàn)連續(xù)數(shù)據(jù)為0 的情況,則統(tǒng)一使用前一時刻數(shù)據(jù)代替。

式中:dt-1為前一時刻數(shù)據(jù)；dt+1為后一時刻數(shù)據(jù)；dt和d't分別為當前時刻t修正前和修正后的數(shù)據(jù)。

城市能源系統(tǒng)中的數(shù)據(jù)包括能源數(shù)據(jù)和相關(guān)氣象數(shù)據(jù),都具有不同的量綱,需要進行無量綱化,使數(shù)據(jù)具有相同規(guī)格,加速神經(jīng)網(wǎng)絡(luò)的收斂。

城市能源系統(tǒng)中,能源負荷和氣象序列的數(shù)據(jù)可以歸一化到[-0.5,0.5]區(qū)間以實現(xiàn)無量綱化,不同于常見的[0,1]區(qū)間,神經(jīng)網(wǎng)絡(luò)偏向于以0 為中心的數(shù)據(jù)輸入。因此,將歸一化區(qū)間的中心設(shè)置為0有利于神經(jīng)網(wǎng)絡(luò)的收斂。數(shù)據(jù)d的表達式為:

式中:dmax和dmin分別為數(shù)據(jù)d的最大值和最小值。

星期數(shù)據(jù)序列將雙休日定義為0,工作日定義為1,用以分辨雙休日的能源特征。時刻數(shù)據(jù)若使用[-0.5,0.5]區(qū)間,則區(qū)分度較低,所以將時刻數(shù)據(jù)[1,24]的區(qū)間映射到[0.25,6]區(qū)間上,以更大的區(qū)間范圍提高對時刻信息的敏感度。

1.2 特征序列選擇

城市能源系統(tǒng)中存在諸多類別的特征序列,包括城市能源系統(tǒng)內(nèi)各子系統(tǒng)的多元負荷、新能源出力、碳排放水平、氣象數(shù)據(jù)、日期數(shù)據(jù)等,需要計算這些特征序列和待預(yù)測負荷序列之間的相關(guān)性,選擇合適的特征序列集合作為預(yù)測模型的輸入。

為了考慮單特征變量和目標變量之間的相關(guān)性,同時考慮線性關(guān)系和非線性關(guān)系,可以選擇MIC 法來判斷2 個序列間的相關(guān)性。

MIC 法 由Reshef 在2011 年 提 出,可 以 有 效 檢 測2 個變量之間的線性或其他函數(shù)關(guān)系［17］。MIC 法利用互信息的概念,可表示為:

式 中:dX和dY分 別 為 離 散 化 的dx和dy；a和b分 別為dX和dY方向上離散化的個數(shù)；IMIC(x,y)為序列x和y的MIC。

本文采用的數(shù)據(jù)集特征向量包含13 個負荷序列維度:電、熱、冷3 種能源負荷和其他能源類型在不同時間和空間下的數(shù)據(jù)；2 個時間序列維度（時刻和星期數(shù)據(jù)）；8 個氣象維度（太陽輻射、溫度、濕度等）。對上述數(shù)據(jù)進行無量綱化后計算MIC,結(jié)果如圖1 所示。圖中,23 種特征序列每小時采集一次,共采集8 784 個點。Y1-e、Y2-h、Y3-c 分別表示待預(yù)測區(qū)域內(nèi)的電、熱、冷3 種負荷；e-24、h-24、c-24 分別表示輸入信息中同預(yù)測時段間隔24 h 的已知電、熱、冷負荷；all-e-24、all-h-24、all-c-24 分別表示城市能源系統(tǒng)總的電、熱、冷負荷；Carbon 表示碳排放水平；Combined 表示聯(lián)合機組出力；Total 表示能源負荷之和；PV 表示光伏出力；Week 表示星期數(shù)據(jù)；Time 表示時刻數(shù)據(jù)；DHI 表示太陽散射輻射；DNI表示太陽直接輻射；Humidity 表示濕度；Temperature 表示溫度；Dew Point 表示露點；S Albedo 表示地表反射率；Wind Speed 表示風(fēng)速；Pressure 表 示 氣 壓。Week 序 列 和S Albedo 序 列 與自身相關(guān)的MIC 分別為0.86 和0.89,這是因為計算MIC 時需要對給定dX、dY進行網(wǎng)格化,當序列為離散數(shù)據(jù)且分布非常不均勻時,同自身的MIC 很可能出現(xiàn)不為1 的現(xiàn)象,屬于正常情況,不影響結(jié)論。

圖1 各特征序列間的MICFig.1 MIC among each characteristic sequence

按照MIC 法從高到低選擇的特征子集如表1 所示。可以看到,所選擇的特征子集存在很多冗余信息,例如:e-24 和all-e-24 的相關(guān)性非常高（0.85）,h-24 和all-h-24 的相關(guān)性為1,信息幾乎完全重復(fù),它們不應(yīng)該同時存在特征子集中；Week、Time 和Y1-e、Y1-h、Y1-c 的相關(guān)性僅為0.06、0.04 和0.06,被剔除出特征子集,但這些信息可以對時間序列進行關(guān)鍵判別,不應(yīng)該被剔除,因此,MIC 法有待改進。

表1 采用MIC 法的特征序列選擇Table 1 Selection of characteristic sequence using MIC method

為了降低特征序列的冗余性,本文在MIC 法的基礎(chǔ)上選擇MRMR 方法來實現(xiàn)特征選擇［18］。MRMR 方法可以對已選擇特征中相關(guān)性較高的冗余特征進行處罰。在所有的特征序列中,遞增式地選擇新的特征序列,每次都選擇局部最優(yōu)的特征。

定義D(S,y)為所有特征和目標變量y之間的相關(guān)度,R(S)為所有特征的冗余度,其中,S為所有特征共同構(gòu)成的特征集合,即

式中:di為第i個特征序列；m為最終選擇的特征集合中特征序列的數(shù)量；IMRMR為特征序列的MRMR值。通過求解優(yōu)化問題式（8）即可得到最終的特征子集。針對本文數(shù)據(jù)集選擇的特征子集如表2所示。

表2 采用MRMR 方法的特征序列選擇Table 2 Selection of characteristic sequence using MRMR method

在MRMR 方法中,重點考慮降低特征序列內(nèi)部之間的冗余性,面對不同目標變量時,特征序列和目標變量之間相關(guān)性發(fā)揮的作用較小,所以3 種負荷通過MRMR 方法篩選為同一組特征序列。所選擇的11 種特征序列包含常規(guī)數(shù)據(jù)中同負荷數(shù)據(jù)強相關(guān)的數(shù)據(jù),其中濕度、太陽輻射、溫度數(shù)據(jù)直接影響負荷需求,電、冷、熱負荷作為直接相關(guān)的負荷數(shù)據(jù),是負荷預(yù)測必備的輸入特征,碳排放出力和光伏出力反映了綜合能源系統(tǒng)內(nèi)的能源輸入和輸出信息,也是關(guān)鍵的特征信息,同時去掉了冗余的總負荷和無關(guān)的氣象信息,因此,經(jīng)過MRMR 方法篩選的結(jié)果符合正常認知,是符合負荷預(yù)測需要的篩選結(jié)果。從算例結(jié)果可以看出,采用MRMR 方法的預(yù)測效果得到了提高。

2 預(yù)測模型的構(gòu)建

在特征處理的基礎(chǔ)上建立多元負荷的預(yù)測模型,考慮到城市能源系統(tǒng)負荷波動性強和能源耦合關(guān)系復(fù)雜,本文使用基于LSTM 網(wǎng)絡(luò)的Seq2Seq 模型來簡化預(yù)測數(shù)據(jù)輸入格式的限制,引入DA 機制增強模型的特征提取能力,改善預(yù)測效果,以有效提高城市能源系統(tǒng)的預(yù)測精度。

2.1 Seq2Seq-LSTM 模型

Seq2Seq 模型由編碼器和解碼器構(gòu)成。在編碼器階段將輸入序列編碼為指定長度的向量,在解碼器階段將編碼后的向量按照神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到的規(guī)則解碼,生成輸出序列。Seq2Seq 模型可以搭載多種神經(jīng)網(wǎng)絡(luò),但一般保持編碼器和解碼器中的神經(jīng)網(wǎng)絡(luò)一致。本文選擇LSTM 網(wǎng)絡(luò),這種方法適用于時間序列的處理,與注意力機制的親和度高。LSTM 網(wǎng)絡(luò)是一種特殊的RNN,用于解決RNN 在訓(xùn)練中存在的梯度爆炸或梯度消失的問題［23-24］。本文在預(yù)測模型的編碼器階段和解碼器階段分別用到了一次LSTM 網(wǎng)絡(luò),建立的Seq2Seq-LSTM 模型整體結(jié)構(gòu)如圖2 所示。

圖2 Seq2Seq-LSTM 模型結(jié)構(gòu)Fig.2 Structure of Seq2Seq-LSTM model

2.2 DA 機制的定義

1）注意力機制

注意力機制是神經(jīng)網(wǎng)絡(luò)中的常用模塊,首先應(yīng)用于機器翻譯,隨后在眾多領(lǐng)域中廣泛應(yīng)用,因其出色的數(shù)據(jù)處理能力和良好的解釋性,近年來在電力系統(tǒng)的負荷預(yù)測中也發(fā)揮了重要作用。

注意力機制源自對人類思維模式的模擬,人類在理解事物時會自動忽略低價值的信息,而將注意力集中到價值最高的信息上。因此,在人工神經(jīng)網(wǎng)絡(luò)中模擬這一現(xiàn)象,可以避免無關(guān)信息的干擾,實現(xiàn)信息的高效利用。在一般的神經(jīng)網(wǎng)絡(luò)中,輸入資源被平均分配,而注意力機制可以根據(jù)預(yù)測對象的重要程度重新分配資源,優(yōu)化資源對應(yīng)的權(quán)重配比,如附錄A 圖A1 所示。

2）DA 機制

傳統(tǒng)的注意力機制能夠有效篩選提取模型內(nèi)部信息,解決一般的RNN 中存在的輸入長度、輸入順序不合理而造成收斂效率不高、信息丟失的問題,因此,在一般電力負荷的預(yù)測上具有良好的表現(xiàn)。但是在城市能源系統(tǒng)中,不同于傳統(tǒng)電力負荷只需進行單一電力負荷預(yù)測,其同時存在冷、熱、電等多種能源,不同能源之間存在復(fù)雜的耦合關(guān)系,在預(yù)測數(shù)據(jù)輸入的信息中存在很多難以直觀描述但關(guān)聯(lián)明顯的特征信息,因此需要采用DA 機制強化特征信息的提取。

DA 機制下的編碼器和解碼器中各包含一個注意力層,可以分別從空間和時間上尋找特征表示和目標序列之間的相關(guān)性,為不同的信息賦予不同的權(quán)重,以便更準確地預(yù)測目標序列,編碼器注意力機制和解碼器注意力機制的原理分別如圖3和圖4所示。

圖3 編碼器注意力機制Fig.3 Attention mechanism of encoder

圖4 解碼器注意力機制Fig.4 Attention mechanism of decoder

2.3 基于DA-Seq2Seq 的城市能源系統(tǒng)負荷預(yù)測模型

1）編碼器階段

在編碼器階段,引入空間注意力機制在模型輸入的每個時間步中進行特征提取,分析該時間步下所有特征向量序列中價值更高的一組,賦予其更高的權(quán)重,學(xué)習(xí)多元負荷同其他輸入特征之間空間上的依賴關(guān)系。

2）解碼器階段

在解碼器階段,引入時間注意力機制在模型輸入的多個時間步隱藏層狀態(tài)中進行特征提取,分析不同時間步的隱藏層狀態(tài)中價值更高的時間步,賦予其更高的權(quán)重,作為參數(shù)更新語義向量ct,并結(jié)合負荷序列的歷史數(shù)據(jù),得到最終的預(yù)測結(jié)果。

傳統(tǒng)的Seq2Seq 模型中,對編碼器輸出的隱藏層狀態(tài)取平均值或直接僅以T時刻編碼器輸出的隱藏層狀態(tài)hen,T作為編碼器的語義向量,但這樣神經(jīng)網(wǎng)絡(luò)不能將注意力集中到關(guān)鍵部分。因此,可以通過解碼器的注意力機制,利用解碼器的隱藏層狀態(tài)hde,t-1和神經(jīng)元狀態(tài)sde,t-1對編碼器隱藏層狀態(tài)hen,t進行加權(quán)平均。

首先,根據(jù)編碼器隱藏層狀態(tài)和解碼器的神經(jīng)元狀態(tài)、隱藏層狀態(tài)計算權(quán)重βm t:

式中:fde(?)為解碼器階段LSTM 函數(shù)。

3）輸出階段

在輸出階段,傳統(tǒng)統(tǒng)計方法中一般會輸入臨近時間點的歷史負荷序列和其他特征序列的集合。因此,選擇hde,T代表[1,T]時段內(nèi)的歷史負荷特征,cT代表[1,T]時段內(nèi)的能源系統(tǒng)特征,共同輸入得到結(jié)果yT+Δt:

式中:vy、Wy、bm、b0為待學(xué)習(xí)的參數(shù)；Δt為預(yù)測負荷序列和輸入的歷史負荷序列的時間間隔,本文取24 h；f(y1,y2,…,yT,x1,x2,…,xT)表示最終結(jié)果由(y1,y2,…,yT)和(x1,x2,…,xT)決定。

3 預(yù)測流程

本文的預(yù)測模型流程如圖5 所示,主要分為原始數(shù)據(jù)處理、神經(jīng)網(wǎng)絡(luò)構(gòu)建和模型訓(xùn)練及預(yù)測3 個部分。其中,原始數(shù)據(jù)處理采用歸一化和MRMR 方法得到訓(xùn)練集和測試集。神經(jīng)網(wǎng)絡(luò)構(gòu)建采用本文所提的基于DA-Seq2Seq 的城市能源負荷預(yù)測模型。最后,根據(jù)所選擇的數(shù)據(jù)集和網(wǎng)絡(luò)進行模型訓(xùn)練與測試,得到最終的城市能源系統(tǒng)電、熱、冷負荷的預(yù)測結(jié)果。

圖5 預(yù)測模型流程圖Fig.5 Flow chart of forecasting model

4 算例分析

4.1 實驗環(huán)境

本文實驗均通過Python（版本3.6.10）實現(xiàn),以PyTorch（版本1.7.1）作為深度學(xué)習(xí)框架。使用的計算機配置為Intel Core i5-10210U 1.60 GHz CPU,操作系統(tǒng)為Windows 10。

4.2 數(shù)據(jù)來源

本文選擇的數(shù)據(jù)集為美國亞利桑那州立大學(xué)Campus Metabolism 項 目 網(wǎng) 站［37］2020 年1 月1 日 至2020 年12 月31 日的能源系統(tǒng)負荷數(shù)據(jù)和美國國家氣象局網(wǎng)站［38］的氣象數(shù)據(jù),數(shù)據(jù)集為距離亞利桑那州立大學(xué)最近的數(shù)據(jù)點同時間段的氣象序列,數(shù)據(jù)以1 h 為單位進行采樣,每天采集24 個點,共8 784 個采集點。 輸入序列分別由MIC 法和MRMR 方法選擇,序列選擇如表1 和表2 所示。

4.3 誤差評價指標

選用下述指標對城市能源負荷預(yù)測的整體結(jié)果和峰值結(jié)果進行評價。

式 中:y?i為 預(yù) 測 負 荷；yi為 實 際 負 荷；IRMSE和ISMAPE分別為預(yù)測結(jié)果的絕對誤差和相對誤差；IMASE為預(yù)測結(jié)果和天真預(yù)測結(jié)果之間的誤差,其中天真預(yù)測［39］直接將前一天對應(yīng)時刻的結(jié)果作為預(yù)測時刻的結(jié)果。IMASE值越小,說明預(yù)測效果越好,當IMASE值大于1 時,說明預(yù)測效果差于天真預(yù)測。

4.4 不同模型的預(yù)測結(jié)果

各深度學(xué)習(xí)模型的學(xué)習(xí)率設(shè)為0.001,步長T設(shè)為10,批大小設(shè)為256,迭代次數(shù)設(shè)為200 次,隱藏層的神經(jīng)元數(shù)量為128,Seq2Seq 模型編碼器和解碼器的隱藏層神經(jīng)元數(shù)量也設(shè)為128。

模型訓(xùn)練樣本為2020 年1 月1 日至2020 年6 月15 日的數(shù)據(jù),測試樣本為6 月16 日至6 月29 日的數(shù)據(jù)。選取作為對比的模型包括差分整合移動平均自回 歸（ARIMA）模 型、LSTM 網(wǎng) 絡(luò) 模 型、CNNLSTM 模型、Seq2Seq 模型、注意力機制-LSTM（ALSTM）模型、MRMR-注意力機制-LSTM（MR-ALSTM）模 型、MRMR-DA-Seq2Seq（MR-A-DASeq2Seq）模型等。MR-A-LSTM 模型采用MRMR方法進行特征選取,輸入序列如表2 所示,其他模型均采用MIC 法進行特征選擇,輸入序列如表1 所示。全部模型預(yù)測結(jié)果如表3 所示,其中,mmBTU 表示百萬英熱單位。圖6 展示了以LSTM 網(wǎng)絡(luò)模型和Seq2Seq 模型為基礎(chǔ)的5 種模型后7 天的預(yù)測結(jié)果曲線。

圖6 負荷預(yù)測結(jié)果Fig.6 Result of load forecasting

表3 不同模型的預(yù)測結(jié)果對比Table 3 Comparison of forecasting results with different models

首先,關(guān)注電、熱、冷3 種能源負荷的MASE 按照2∶1∶1 的比例加權(quán)平均得到的wMASE 指標,可以通過對比天真預(yù)測反映預(yù)測方法的有效性。Seq2Seq 和ARIMA 模型預(yù)測結(jié)果的wMASE 指標分別為1.04 和1.70,均大于1,預(yù)測效果差于手動平移前一天負荷的天真預(yù)測方法,說明城市能源系統(tǒng)通過一般方法進行預(yù)測時難以學(xué)習(xí)到系統(tǒng)內(nèi)的耦合關(guān)系,預(yù)測難度較大。LSTM、CNN-LSTM、ALSTM、DA-Seq2Seq 模型的wMASE 指標都在0.9附近,說明在單純MIC 法的特征序列篩選下,上述負荷預(yù)測模型都不能實現(xiàn)有效預(yù)測,輸入特征的選擇對神經(jīng)網(wǎng)絡(luò)具有顯著的影響。而MR-A-LSTM和MR-DA-Seq2Seq 模型的wMASE 指標都明顯小于1,說明選擇正確的特征輸入后可以顯著提升預(yù)測效果,而MR-A-LSTM 模型的wMASE 指標相較A-LSTM 模型降低了0.13,MR-DASeq2Seq 模型的wMASE 指標相較DA-Seq2Seq 模型降低了0.37,說明MRMR 指標的特征選擇方法適用于Seq2Seq 模型,能夠使其顯著提高預(yù)測效果。

其次,關(guān)注電、熱、冷3 種能源負荷的SMAPE按照2∶1∶1 的比例加權(quán)平均得到的wSMAPE 指標,可以反映預(yù)測模型的精度。對比所有模型可以看出,本文所提MR-DA-Seq2Seq 模型具有最好的測試效果,其平均相對誤差相比A-LSTM 模型降低了1.32%,相比Seq2Seq 模型降低了2.27%,相比MR-A-LSTM 模型降低了0.67%。說明本文所提模型可在注意力機制和Seq2Seq 模型的基礎(chǔ)上,提高城市能源多元負荷預(yù)測的精度。

具體到每一種負荷,可以看到電負荷預(yù)測中本文模型具有最好的效果,MR-A-LSTM 模型緊隨其后,ARIMA 模型的預(yù)測效果很差,這是因為電負荷波動水平高,對輸入特征依賴程度高,ARIMA 模型只能輸入歷史電負荷數(shù)據(jù),所以預(yù)測精度最差。如圖6（a）所示,90～95 h 時段內(nèi),本文所提MR-DASeq2Seq 模型貼合實際負荷曲線效果最好,交錯在實際負荷之間,對負荷變化趨勢掌握準確。而MRA-LSTM 模型的預(yù)測波動較大,說明可以學(xué)習(xí)到負荷變化的趨勢但仍有缺陷,其他模型的預(yù)測結(jié)果都比較保守,精度不高。

熱負荷預(yù)測中,眾多預(yù)測模型精度區(qū)別不大,本文所提模型表現(xiàn)最好。由圖6（b）中的熱負荷預(yù)測結(jié)果可以看出,這段時間內(nèi)熱負荷的相對波動性非常強,而且沒有明顯規(guī)律,但波動的絕對值很小,這是因為所選時段為夏季,綜合能源系統(tǒng)內(nèi)具有熱負荷需求的區(qū)域很少,熱負荷需求變化受到的隨機影響很多,但本文所提MR-DA-Seq2Seq 模型仍能學(xué)習(xí)到熱負荷的波動規(guī)律,提高了熱負荷預(yù)測的精度。

冷負荷需求的規(guī)律較為明顯,整體波動性較小。 由 圖6（c）可 以 看 出,本 文 所 提MR-DASeq2Seq 模型全程貼近實際負荷,在22～30 h 時段內(nèi)距離實際負荷最近,在最后3 天內(nèi)實際冷負荷向下波動時,也很好地預(yù)測了負荷的波動趨勢,相比沒有及時發(fā)現(xiàn)負荷下降的LSTM 模型,具有更好的表現(xiàn)。

同樣模型架構(gòu)下采用LSTM 網(wǎng)絡(luò)建立神經(jīng)網(wǎng)絡(luò)模型時,應(yīng)用注意力機制和MRMR 方法可以提升預(yù)測效果,但提升效果不夠明顯。而使用Seq2Seq模型作為基礎(chǔ)的模型中,使用DA 機制后可以降低0.36%的平均相對誤差,使用MRMR 方法后可以再降低1.84%的平均相對誤差,說明MRMR 方法和DA 機制在Seq2Seq 模型上具有比較好的應(yīng)用效果,能夠更好地提取負荷特征信息,提升預(yù)測負荷的精度。

4.5 注意力機制在能源耦合關(guān)系上的體現(xiàn)

模型的訓(xùn)練集為2020 年1 月1 日至2020 年6 月22 日 的 數(shù) 據(jù),測 試 集 為6 月23 日 至6 月29 日 的 數(shù)據(jù)。分別考慮如下4 種算法:

算法1:分別輸入電、熱、冷單一能源的數(shù)據(jù),不考慮注意力機制,輸出對應(yīng)類型能源；

算法2:分別輸入電、熱、冷單一能源的數(shù)據(jù),考慮注意力機制,輸出對應(yīng)類型能源；

算法3:同時輸入電、熱、冷能源數(shù)據(jù)和其他相關(guān)耦合信息,不考慮注意力機制,分別輸出電、熱、冷能源數(shù)據(jù)；

算法4:同時輸入電、熱、冷能源數(shù)據(jù)和其他相關(guān)耦合信息,并考慮注意力機制,分別輸出電、熱、冷能源數(shù)據(jù),為本文采用的方法。

4 種算法的預(yù)測結(jié)果如表4 所示。

表4 不同算法的預(yù)測結(jié)果對比Table 4 Comparison of forecasting results with different algorithms

從表4 可以看出,同時輸入多種能源并考慮注意力機制的算法4 效果最好。輸入單一能源數(shù)據(jù)時,考慮注意力機制帶來的提升不夠明顯,即算法2較算法1 的平均相對誤差降低了0.50%,說明當輸入信息不夠充足,難以反映城市能源系統(tǒng)的能源耦合關(guān)系時,注意力機制發(fā)揮的作用有限,模型預(yù)測的精度也不夠高。而在預(yù)測模型同時輸入多種能源時,考慮注意力機制明顯提升了精度,即算法4 的平均相對誤差相比算法3 降低了1.90%,說明當信息密度充足時,DA 機制能夠幫助神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到多種能源間的復(fù)雜耦合關(guān)系,從而提高城市能源系統(tǒng)多元負荷預(yù)測的精度。

4.6 預(yù)測算法的魯棒性分析

1）不同季節(jié)數(shù)據(jù)間的對比

使用K均值聚類算法對每個季節(jié)的電、熱、冷負荷進行聚類,得到一個聚類中心。然后,計算每天負荷同聚類中心的均方根并進行從小到大排序,平均排名最低的日期是同聚類中心最相似的日期,選擇其作為典型日進行不同季節(jié)的負荷預(yù)測。

根據(jù) 上述方法選擇2 月27 日、6 月23 日、9 月17日和11 月29 日分別作為4 個季節(jié)的典型日,該訓(xùn)練集選擇典型日前60 天,預(yù)測模型使用A-LSTM 模型和MR-DA-Seq2Seq 模型。

不同季節(jié)的多元負荷預(yù)測結(jié)果如表5 所示,可以看到,常用的A-LSTM 模型預(yù)測精度在2%～10%波動,不能保持穩(wěn)定的預(yù)測精度,而本文所提模型在每一個季度典型日的預(yù)測誤差都能保持在3%左右,預(yù)測精度比較穩(wěn)定。因此,本文所提模型具有足夠的魯棒性應(yīng)對季節(jié)變化。

表5 不同季節(jié)的預(yù)測結(jié)果對比Table 5 Comparison of forecasting results in different seasons

2）氣象預(yù)測誤差的影響

模型訓(xùn)練樣本為2020 年1 月1 日至2020 年6 月22 日的數(shù)據(jù),評價指標為SMAPE,測試樣本為6 月23 日至6 月29 日的數(shù)據(jù)。在模型訓(xùn)練完成后,調(diào)整測試數(shù)據(jù)的氣象信息,在無氣象誤差的基礎(chǔ)上,分別增加10%、20%、100%的隨機誤差,重新得到測試集結(jié)果,如表6 所示。預(yù)測模型使用A-LSTM 模型和MR-DA-Seq2Seq 模型。

表6 氣象預(yù)測誤差的影響Table 6 Impact of meteorological forecasting errors

城市能源系統(tǒng)中的電、熱、冷負荷都會受到氣象數(shù)據(jù)的影響,從表6 中可以看到,當氣象數(shù)據(jù)誤差為100% 時,預(yù) 測 模 型A-LSTM 和MR-DA-Seq2Seq的預(yù)測精度都有明顯的下降。但是在城市能源系統(tǒng)的生產(chǎn)實踐中,氣象數(shù)據(jù)都是預(yù)測數(shù)據(jù),預(yù)測誤差不容忽視。因此,需要預(yù)測模型在面對氣象預(yù)測誤差時具有足夠的魯棒性。

本節(jié)分別考慮了輸出氣象數(shù)據(jù)存在0%～20%隨機誤差帶來的影響,表6 中對比A-LSTM 和MRDA-Seq2Seq 模型可以看到,在應(yīng)對氣象誤差時本文所提模型依然能夠保持良好的預(yù)測效果,平均預(yù)測誤差在“20%誤差”時僅從2.8%上升到3.0%,說明本文所提模型具有足夠的魯棒性應(yīng)對氣象的變化。

5 結(jié)語

針對城市能源系統(tǒng)多元負荷短期預(yù)測問題,本文提出了一種基于MRMR 方法和DA 機制的預(yù)測方法。所提方法首先對輸入序列特征進行處理,即無量綱化處理和基于MRMR 方法的特征序列選?。蝗缓?輸入DA-Seq2Seq 神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練和預(yù)測,并在實際城市能源系統(tǒng)數(shù)據(jù)集上進行了仿真實驗,得到如下結(jié)論:

1）相比已有負荷預(yù)測方法,所提基于DA 機制的城市能源系統(tǒng)多元負荷預(yù)測方法具有更好的預(yù)測精度。常用的A-LSTM 模型的平均誤差為4.20%,而本文所提多元負荷預(yù)測技術(shù)的平均誤差僅為2.88%,有效提高了城市能源系統(tǒng)多元負荷短期預(yù)測的精度。

2）DA 機制可以反映城市能源系統(tǒng)中的能源耦合關(guān)系,在多種能源負荷需求同時存在時,能更好地解決負荷預(yù)測問題。

3）MRMR 的相關(guān)性分析方法能有效篩選與城市能源負荷信息相關(guān)的特征序列,同時有效降低信息的冗余度,提升A-LSTM 模型和DA-Seq2Seq 模型的城市能源系統(tǒng)多元負荷預(yù)測精度。

4）不同季節(jié)和氣象數(shù)據(jù)精度會對負荷預(yù)測的精度造成明顯的影響,基于DA 機制的方法在不同季節(jié)和不同氣象場景下都具有很高的預(yù)測精度,驗證了本文所提方法的魯棒性。

此外,本文所建立的基于MRMR 方法和DA 機制的城市能源多元負荷短期預(yù)測模型中可以加入多種能源的價格數(shù)據(jù)和城市能源系統(tǒng)的運行數(shù)據(jù)以提高預(yù)測精度,但受限于數(shù)據(jù)集中缺乏相關(guān)的信息,所以尚未在本文方法中考慮,在后續(xù)研究過程中可以進一步分析,以提高預(yù)測模型的精度。

附錄見本刊網(wǎng)絡(luò)版（http：//www.aeps-info.com/aeps/ch/index.aspx），掃英文摘要后二維碼可以閱讀網(wǎng)絡(luò)全文。