基于機(jī)器學(xué)習(xí)的短期負(fù)荷預(yù)測算法綜述①

梁宏濤,劉紅菊,李 靜,2,王 瑩,郭超男

1(青島科技大學(xué) 信息科學(xué)技術(shù)學(xué)院,青島 266061)

2(華電國際十里泉電廠,棗莊 277100)

當(dāng)前全球能源發(fā)展面臨資源緊缺、利用效率低等深層次矛盾與問題,能源轉(zhuǎn)型迫在眉睫[1].根據(jù)國際可再生能源署(international renewable energy agency,IRENA)數(shù)據(jù)統(tǒng)計(jì),截至2020年底,中國光伏與風(fēng)電裝機(jī)容量分別為254 GW 和282 GW,占世界領(lǐng)導(dǎo)地位[2].隨著新能源裝機(jī)量增加,能源消納問題日益凸顯,每年我國因“三棄”問題帶來的損失達(dá)百億元,近幾年能源消納問題雖有所緩解,但截止到2019年,新能源棄光電量仍然高達(dá)26.1 億千瓦時[3].因此精確的負(fù)荷預(yù)測對于優(yōu)化能源調(diào)度、解決“三棄”問題具有重要意義.

負(fù)荷預(yù)測不僅在綜合能源管理與能源調(diào)度中占據(jù)主導(dǎo)地位,對于電價制定和電網(wǎng)的穩(wěn)定運(yùn)行也尤為重要[4].早在20世紀(jì)80年代便有專家學(xué)者針對負(fù)荷預(yù)測進(jìn)行了研究,諸如回歸分析法[5]、時間序列法[6,7]等傳統(tǒng)負(fù)荷預(yù)測算法,但此類模型的預(yù)測能力僅針對線性模型表現(xiàn)較好,而用戶用電負(fù)荷具有典型的非線性特征.尤其近幾年隨著智能化設(shè)備的廣泛普及,用電量大幅度提升,捕獲到的諸如天氣、經(jīng)濟(jì)、人口數(shù)量、地理位置等電力負(fù)荷影響因素越來越多,負(fù)荷預(yù)測的難度也隨之增大[8].為綜合考慮多個影響因素,ANN[9]、SVM[10]、集成學(xué)習(xí)[11,12]等智能化算法開始被廣泛應(yīng)用于負(fù)荷預(yù)測,例如Chahkoutahi 等人[13]分別采用基于自適應(yīng)網(wǎng)絡(luò)的模糊推理系統(tǒng)、多層感知器神經(jīng)網(wǎng)絡(luò)和季節(jié)性自回歸綜合滑動平均法對電力負(fù)荷進(jìn)行預(yù)測,預(yù)測精確度有所提高.與傳統(tǒng)預(yù)測算法相比,智能化預(yù)測算法適用范圍更廣和精確度也相對較高.

1 電力負(fù)荷預(yù)測

1.1 電力負(fù)荷

負(fù)荷是指供電地區(qū)或電網(wǎng)在某一瞬間所承擔(dān)的用電功率,根據(jù)用戶結(jié)構(gòu)的不同,可將電力負(fù)荷劃分為工業(yè)負(fù)荷、商用負(fù)荷、城市民用負(fù)荷、農(nóng)村負(fù)荷以及其他負(fù)荷等.其中城市民用負(fù)荷主要指城市居民家用電器的用電負(fù)荷,與居民日常生活息息相關(guān),是目前的主要研究領(lǐng)域.

負(fù)荷預(yù)測[14]是指充分考慮各種自然因素、社會影響、系統(tǒng)運(yùn)行等條件,利用各種數(shù)學(xué)方法或智能化模型預(yù)測用戶未來一定時間內(nèi)的負(fù)荷數(shù)值.根據(jù)研究目的與預(yù)測時長的不同,可將負(fù)荷預(yù)測分為超短期負(fù)荷預(yù)測、短期負(fù)荷預(yù)測、中期負(fù)荷預(yù)測以及長期負(fù)荷預(yù)測[15].精確的短期負(fù)荷預(yù)測對于制定發(fā)電計(jì)劃、安排機(jī)組啟停與檢修以及電價制定具有重要意義.

1.2 負(fù)荷預(yù)測影響因素

電力是維持用戶日常生活的基礎(chǔ)能源,容易受到如天氣、建筑的物理特性、用戶行為、人口密度等多種因素的影響.本文將用戶用電負(fù)荷影響因素劃分為地區(qū)天氣因素、經(jīng)濟(jì)因素、建筑結(jié)構(gòu)以及人口密度等4 大類別.

(1)天氣因素主要包括室內(nèi)外氣溫、空氣濕度、太陽照射角以及風(fēng)速等; 天氣是影響用戶負(fù)荷的主要因素之一,尤其表現(xiàn)在夏季氣溫升高時,空調(diào)制冷等大功率電器用電量大幅度提升.

(2)經(jīng)濟(jì)因素是指居民家庭收入、城區(qū)能源配比與價格、區(qū)域生活水平及教育水平等; 家庭經(jīng)濟(jì)水平對居民用戶用電行為以及設(shè)備所有權(quán)起決定性作用,從而對用戶用電負(fù)荷產(chǎn)生影響.

(3)建筑結(jié)構(gòu)包括建筑材料、綠化規(guī)劃、住戶位置等要素; 其中建筑高度與建筑位置等因素通過影響太陽輻射度、通風(fēng)效果進(jìn)而影響用戶用電負(fù)荷,建筑材料則會影響房間的制冷制熱問題.另外室內(nèi)設(shè)備條件也會對用戶用電負(fù)荷產(chǎn)生較大影響.

(4)人文特點(diǎn)是指某地區(qū)的居民密集度、生活風(fēng)俗以及居民特點(diǎn),地域風(fēng)俗習(xí)慣、居民職業(yè)特點(diǎn)以及家庭人口年齡構(gòu)成對用戶用電習(xí)慣與負(fù)荷高低都會產(chǎn)生一定的影響.

2 典型負(fù)荷預(yù)測算法

目前負(fù)荷預(yù)測可分為傳統(tǒng)預(yù)測和基于深度學(xué)習(xí)的智能化預(yù)測模型,本文簡要介紹了回歸分析、ANN、SVM、CNN 以及RNN 等預(yù)測方法,總結(jié)概括各預(yù)測方法的優(yōu)缺點(diǎn)與適用范圍,以期為未來負(fù)荷預(yù)測提供參考.

2.1 回歸分析法

回歸分析法指在分析因變量與自變量的基礎(chǔ)上,建立回歸方程來預(yù)測因變量未來的變化趨勢.該模型構(gòu)建簡單,預(yù)測速度較快.但隨著科技的快速發(fā)展,可收集到的用電負(fù)荷影響因素?cái)?shù)據(jù)與日俱增,回歸分析模型往往會忽略負(fù)荷變化的內(nèi)在規(guī)律性以降低預(yù)測精度.目前回歸分析逐漸開始作為基礎(chǔ)模型用于處理負(fù)荷預(yù)測問題,例如文獻(xiàn)[16]在基礎(chǔ)回歸模型的基礎(chǔ)上,引入虛擬變量用于描述時間的周期變化規(guī)律,同時考慮即時溫度、滯后溫度以及24 小時平均溫度實(shí)現(xiàn)用戶負(fù)荷預(yù)測.

2.2 時間序列法

時間序列算法最初由美國學(xué)者Box 等人[17]提出,該方法根據(jù)時間序列歷史數(shù)據(jù),建立數(shù)學(xué)模型描述時間與負(fù)荷值之間的關(guān)系.Boroojeni 等人[18]通過模擬不同季節(jié)周期(每天、每周、每季度和每年)的離線數(shù)據(jù),借助自回歸(auto regressive model,AR)和移動平均(moving average model,MA)模型,分別對季節(jié)性和非季節(jié)性負(fù)荷周期進(jìn)行建模,有效降低了預(yù)測誤差.時間序列分析算法只考慮時間變量,需求數(shù)據(jù)量少,預(yù)測速度快.但該模型理論復(fù)雜,對原始數(shù)據(jù)平穩(wěn)性要求較高,并且未考慮其他不確定性影響因素,最終的預(yù)測精確度存在較大誤差.

除回歸分析與時間序列法外,統(tǒng)計(jì)負(fù)荷預(yù)測模型還包括灰色模型法(grey model,GM)[19]、相似日法[20]、負(fù)荷求導(dǎo)法等.灰色模型對不確定性因素處理較好,僅適用于長期負(fù)荷預(yù)測; 相似日法在一定程度上解決負(fù)荷預(yù)測中的“積溫效應(yīng)”問題,但過于依賴歷史數(shù)據(jù); 負(fù)荷求導(dǎo)對超短期負(fù)荷預(yù)測表現(xiàn)出較好的性能,但計(jì)算復(fù)雜度較高.

2.3 人工神經(jīng)網(wǎng)絡(luò)

BPNN 因其強(qiáng)大的非線性映射能力和柔性的網(wǎng)絡(luò)結(jié)構(gòu)使之成為應(yīng)用最廣泛的人工神經(jīng)網(wǎng)絡(luò)之一[21].但目前沒有統(tǒng)一標(biāo)準(zhǔn)來定義神經(jīng)元個數(shù)與網(wǎng)絡(luò)層數(shù),同時BPNN 還存在學(xué)習(xí)收斂速度慢以及局部最優(yōu)解的問題.許多專家學(xué)者針對這些問題進(jìn)行改進(jìn).文獻(xiàn)[22]利用蝙蝠算法優(yōu)化模型參數(shù)選擇,從負(fù)荷曲線形狀以及距離相似性兩個維度設(shè)計(jì)灰色關(guān)聯(lián)模型以選取負(fù)荷相似日,與單一BPNN 等模型相比,RMSE 降低了1.06%.

用戶因地理位置、地域經(jīng)濟(jì)等情況不同導(dǎo)致用電負(fù)荷量產(chǎn)生較大差異,主成分分析以及Pearson 相關(guān)系數(shù)等常用方法具有一定的主觀性.針對該問題,文獻(xiàn)[23]利用最小二乘法、最小方差以及遺傳算法等模型計(jì)算各因素權(quán)重,利用加權(quán)方式得出影響因素的重要性排名,結(jié)合徑向基函數(shù)模型進(jìn)行預(yù)測.文獻(xiàn)[24]構(gòu)建新型隨機(jī)嵌入式分布框架,利用核密度估計(jì)法擬合多個神經(jīng)網(wǎng)絡(luò)預(yù)測結(jié)果形成概率密度函數(shù),結(jié)合期望估計(jì)法計(jì)算得到最終預(yù)測值,適用于數(shù)據(jù)較少的情況,并且BPNN 結(jié)構(gòu)與隱含層節(jié)點(diǎn)個數(shù)仍需通過反復(fù)試驗(yàn)確定.文獻(xiàn)[25]利用魯棒性較強(qiáng)的CIM 度量方式作為ANN的損失函數(shù)以減少噪聲和異常值的影響.

2.4 支持向量機(jī)

SVM[26]最早主要用于數(shù)據(jù)分類,由于其良好的非線性數(shù)據(jù)處理能力,也可被用于處理負(fù)荷預(yù)測問題.與BPNN 相比,SVM 收斂速度快,不存在網(wǎng)絡(luò)層數(shù)與局部最優(yōu)解的問題,但針對復(fù)雜結(jié)構(gòu)數(shù)據(jù),計(jì)算難度高,模型較難實(shí)現(xiàn).Chu 等人[27,28]利用決策樹和加權(quán)平均法劃分季節(jié)屬性,利用時間序列與SVM 支持向量機(jī)針對不同變量進(jìn)行預(yù)測,呈現(xiàn)較好的預(yù)測效果.文獻(xiàn)[29]采用最小二乘支持向量機(jī)進(jìn)行負(fù)荷預(yù)測,并結(jié)合改進(jìn)并行粒子群優(yōu)化算法(improved particle swarm optimization,IPPSO)優(yōu)化參數(shù)選擇,有效提高了數(shù)據(jù)處理效率與算法預(yù)測準(zhǔn)確率.Wu 等人[30]提出了一種面向預(yù)測成本的線性非對稱損失函數(shù),對預(yù)測過高或過低實(shí)施不同懲罰措施,同時充分優(yōu)化LSSVM 的不敏感參數(shù),大大降低了負(fù)荷預(yù)測的經(jīng)濟(jì)成本.文獻(xiàn)[31,32]分別將經(jīng)驗(yàn)小波變換、變分模式分解與LSSVM 模型相結(jié)合,在數(shù)據(jù)預(yù)處理階段將數(shù)據(jù)分解,合并所有子序列的預(yù)測結(jié)果,以獲得更滿意的預(yù)測結(jié)果.

模式搜索算法(pattern search,PS)在局部搜索方面呈現(xiàn)較好的效果,而螢火蟲群優(yōu)化(glowworm swarm optimization,GSO)算法則具有全局搜索能力,文獻(xiàn)[33]結(jié)合這兩個算法的優(yōu)點(diǎn),提出一種綜合算法GSOPS,并利用多層次粒度提高SVM 的訓(xùn)練效率,模型訓(xùn)練效率高,但模型復(fù)雜,構(gòu)建有難度.文獻(xiàn)[34]在基礎(chǔ)負(fù)荷預(yù)測的基礎(chǔ)上引入實(shí)時電價,利用加權(quán)灰色關(guān)聯(lián)投影算法預(yù)測節(jié)假日負(fù)荷,PSO 算法優(yōu)化SVM 模型參數(shù)用于預(yù)測基本負(fù)荷,該模型更具有現(xiàn)實(shí)意義.

各種傳統(tǒng)負(fù)荷預(yù)測模型受到歷史數(shù)據(jù)影響較大,并且考慮因素不全面,導(dǎo)致預(yù)測準(zhǔn)確度較低.隨著大數(shù)據(jù)的發(fā)展,深度學(xué)習(xí)預(yù)測模型應(yīng)運(yùn)而生.深度學(xué)習(xí)模型由于其強(qiáng)大的泛化能力和無監(jiān)督學(xué)習(xí)等特征,被廣泛應(yīng)用于圖像識別、自然語言處理等領(lǐng)域[35].本文以CNN、LSTM、深度置信網(wǎng)絡(luò)(deep belief network,DBN)以及集成學(xué)習(xí)與組合模型等多種預(yù)測算法為例,簡要介紹深度學(xué)習(xí)模型在短期負(fù)荷預(yù)測中的應(yīng)用.

2.5 卷積神經(jīng)網(wǎng)絡(luò)

CNN 依賴卷積層從負(fù)荷數(shù)據(jù)中提取特征,利用全連接層實(shí)現(xiàn)回歸預(yù)測與分類.最初CNN 主要被用于圖像處理,但若將數(shù)據(jù)像圖像一樣以二維或三維表示時,也可使用CNN 進(jìn)行處理數(shù)據(jù)預(yù)測.如表1 所示,文獻(xiàn)[36]結(jié)合CNN 和K-means 聚類的最佳特征,開發(fā)了一種混合預(yù)測方法,使用從電網(wǎng)獲得的大數(shù)據(jù)集,利用K-means算法將其聚類成子集,獲得的子集用于訓(xùn)練CNN,最終將子集預(yù)測結(jié)果集成得到最終負(fù)荷預(yù)測結(jié)果.Sadaei 等人[37]將多變量時間序列數(shù)據(jù)轉(zhuǎn)換成多通道圖像輸入至CNN 模型,同時使用模糊空間、頻譜等邏輯模型來表示時間序列的一維結(jié)構(gòu),有效控制CNN 的過擬合問題.文獻(xiàn)[38]以歷史負(fù)荷為輸入特征,同時考慮數(shù)據(jù)時間序列分布,降低負(fù)荷數(shù)據(jù)噪聲誤差和增強(qiáng)時間序列特性,采用多時空尺度CNN (multi-temporalspatial-scale temporal convolutional network,MTCN)處理負(fù)荷數(shù)據(jù); 該方法可同時學(xué)習(xí)負(fù)荷數(shù)據(jù)的非線性特征和時間序列特征.Imani 等人[39]將CNN 應(yīng)用到住宅負(fù)荷預(yù)測中,利用非線性關(guān)系抽取方法(nonlinear relationship extraction,NRE)將歷史負(fù)荷的附近兩周前中后3 天的同時刻負(fù)荷與溫度數(shù)據(jù)抽取集成為一個負(fù)荷-溫度立方體,利用CNN 二維卷積算子從鄰域中提取負(fù)荷值之間的局部特征,同時使用負(fù)荷溫度立方體學(xué)習(xí)隱藏的非線性負(fù)荷溫度特征來訓(xùn)練CNN 模型; 結(jié)合高斯核SVR 來最小化預(yù)測誤差,預(yù)測結(jié)果表明該方法具有優(yōu)越的性能.

表1 CNN 模型在短期負(fù)荷預(yù)測中的應(yīng)用

2.6 循環(huán)神經(jīng)網(wǎng)絡(luò)

RNN 在負(fù)荷預(yù)測方面也做出了巨大貢獻(xiàn).文獻(xiàn)[42]針對家庭用電負(fù)荷預(yù)測中的波動性和不確定性問題,將住宅消費(fèi)者的負(fù)荷概況作為池化深度遞歸神經(jīng)網(wǎng)絡(luò)(pooling-based deep recurrent neural network,PDRNN)的輸入,直接對不確定性信息進(jìn)行處理學(xué)習(xí),有效解決模型過擬合問題.RNN 一般被用于離線學(xué)習(xí),每次訓(xùn)練都存在無法從新數(shù)據(jù)中及時學(xué)習(xí)新知識,針對此問題,Fekri 等人[43]利用RNN 捕捉時間相關(guān)性,并根據(jù)新數(shù)據(jù)更新RNN 的權(quán)重,自動調(diào)整RNN 超參數(shù)以適應(yīng)數(shù)據(jù)變化.文獻(xiàn)[44]則將RNN 與一維CNN 網(wǎng)絡(luò)相結(jié)合,提出了用于短期電力負(fù)荷預(yù)測的遞歸檢驗(yàn)神經(jīng)網(wǎng)絡(luò)模型(recurrent inspection CNN,RICNN),利用RNN學(xué)習(xí)電力負(fù)荷時間序列數(shù)據(jù)中存在的長期和短期時間相關(guān)性,CNN 則處理負(fù)荷時間序列的谷峰特征,與MLP 模型相比,有效提高了MAPE.

RNN 通過共享所有時間步的參數(shù)來學(xué)習(xí)過去時刻的模式表示,但隨著時間的推移,序列的增長使過去時刻的模式記憶逐漸消失,LSTM 利用門控記憶單元可以將數(shù)據(jù)信息保持更長的時間,并做出更好的預(yù)測.文獻(xiàn)[45]充分考慮能耗數(shù)據(jù)的周期性,利用自相關(guān)性分析影響因素特征,構(gòu)建LSTM 網(wǎng)絡(luò)對序列數(shù)據(jù)進(jìn)行建模和預(yù)測,與ARMA、BPNN 等傳統(tǒng)模型相比,RMSE 大幅度降低.文獻(xiàn)[46]則將LSTM 應(yīng)用到非住宅用戶負(fù)荷預(yù)測上,利用K-means 分類挖掘用戶能耗行為模式,應(yīng)用Spearman 相關(guān)系數(shù)研究非住宅消費(fèi)者在多個時間序列下的時間相關(guān)性,最終設(shè)計(jì)提出一種基于多序列LSTM 遞歸神經(jīng)網(wǎng)絡(luò)的非住宅負(fù)荷預(yù)測框架.而針對住宅用戶,文獻(xiàn)[47,48]利用負(fù)荷序列分解和基于互信息的多源輸入數(shù)據(jù)重構(gòu)雙層特征方式處理住宅用戶負(fù)荷數(shù)據(jù),引入自注意力機(jī)制(self-attention mechanism,SAM)為時間序列特征分配權(quán)重,最終采用LSTM 和SAM 相結(jié)合的混合模型進(jìn)行預(yù)測,彌補(bǔ)了單一LSTM 的不足.針對個人用戶負(fù)荷預(yù)測,文獻(xiàn)[49]則利用LSTM 結(jié)合多分位數(shù)原理實(shí)現(xiàn)概率預(yù)測.Han 等人[50]將時間序列劃分為53 組,每層設(shè)計(jì)7 個輸入節(jié)點(diǎn)和1 個輸出節(jié)點(diǎn); 將371 個的日用電負(fù)荷數(shù)據(jù)點(diǎn)輸入至具有53 個神經(jīng)元的全連接層,全連接層的輸出作為LSTM 循環(huán)層的輸入,有效減少輸入負(fù)荷序列的長度,緩解了梯度消失問題.面對高維海量特征數(shù)據(jù),文獻(xiàn)[51]構(gòu)建影響因素特征矩陣,利用密度聚類將用戶聚為2 類,利用3 層BiLSTM 對某地區(qū)未來一周的負(fù)荷進(jìn)行預(yù)測.

除LSTM 外,門控循環(huán)單元(gate recurrent unit,GRU)也由于其超群的記憶學(xué)習(xí)能力而受到各專家學(xué)者的青睞.Du 等人[52]建立具有時空相關(guān)性的歷史負(fù)荷矩陣(historical load matrix,HLM),利用3 層CNN提取負(fù)荷數(shù)據(jù)特征,GRU 則負(fù)責(zé)將序列映射到最終預(yù)測值.用電負(fù)荷的影響因素不斷疊加導(dǎo)致負(fù)荷序列非平穩(wěn)性逐漸增強(qiáng),為提高負(fù)荷序列的穩(wěn)定性,Gao等人[53]利用EMD 將分離出負(fù)荷序列的不平穩(wěn)因素,采用Pearson 分析序列相關(guān)性,將相關(guān)性較高的序列輸入GRU 中進(jìn)行預(yù)測; 而文獻(xiàn)[54]則利用差分分解與誤差補(bǔ)償平滑負(fù)荷序列后利用GRU 進(jìn)行預(yù)測;這兩種方法均有效提高了模型精度.Eskandari 等人[55]利用二維卷積層提取電力負(fù)荷矩陣的隱藏特征,有效避免了卷積層中參數(shù)爆炸的問題,其中卷積核大小由電力負(fù)載的自相關(guān)系數(shù)確定; 針對預(yù)測,該模型充分利用LSTM 和GRU 網(wǎng)絡(luò)的優(yōu)點(diǎn),LSTM 單元用于前向傳播,GRU 單元用于反向傳播,以獲得更高的預(yù)測精度.表2 展示了RNN 模型在短期負(fù)荷預(yù)測中的應(yīng)用.

表2 RNN 模型在短期負(fù)荷預(yù)測中的應(yīng)用

2.7 其他深度學(xué)習(xí)模型

除CNN、LSTM、GRU 等常用模型外,還有部分其他深度學(xué)習(xí)模型也被應(yīng)用于短期負(fù)荷預(yù)測中.例如Dedinec 等人[56]將多層受限玻爾茲曼機(jī)組成的深度信念網(wǎng)絡(luò)(deep belief networks,DBN)用于負(fù)荷預(yù)測,在逐層無監(jiān)督訓(xùn)練后使用有監(jiān)督反向傳播訓(xùn)練方法微調(diào)模型參數(shù),同時引入電價變量,有效提高了預(yù)測精度.

為降低由于復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)和受限于確定性點(diǎn)預(yù)測而導(dǎo)致的計(jì)算成本問題,Dong 等人[57]利用K 近鄰算法尋找與未來值相似的歷史電力負(fù)荷時間序列特征,采用DBN 進(jìn)行預(yù)測,而文獻(xiàn)[58]則利用縱橫交叉算法(crisscross optimization,CSO)優(yōu)化DBN,利用互信息算法篩選影響因素,這兩種模型均表現(xiàn)出較好的性能.

Alipour 等人[59]利用自動編碼器與級聯(lián)神經(jīng)網(wǎng)絡(luò)構(gòu)建DNN 模型進(jìn)行負(fù)荷預(yù)測.文獻(xiàn)[60]同時考慮歷史負(fù)荷與溫度、陽光等氣象數(shù)據(jù),利用梯度增強(qiáng)回歸樹(gradient boosting regression tree,GBRT)進(jìn)行概率凈負(fù)荷預(yù)測.文獻(xiàn)[61]研究光伏滲透率、季節(jié)性和負(fù)荷需求增加對凈負(fù)荷預(yù)測間隔的影響,采用分位數(shù)回歸和動態(tài)高斯模型進(jìn)行日負(fù)荷區(qū)間概率預(yù)測.文獻(xiàn)[62]采用相空間重構(gòu)和BNN 相結(jié)合進(jìn)行短期凈負(fù)荷預(yù)測.

深度學(xué)習(xí)模型可以更深層次的挖掘負(fù)荷數(shù)據(jù)集特征,提高預(yù)測精確度,但模型框架、參數(shù)選擇仍然是亟待解決的難題.

2.8 集成學(xué)習(xí)與組合模型

一直以來,高穩(wěn)定性和準(zhǔn)確度都是模型訓(xùn)練所追求的目標(biāo),但單一的模型訓(xùn)練結(jié)果往往不如人意.為此各大專家學(xué)者將多個弱學(xué)習(xí)器組合成一個強(qiáng)學(xué)習(xí)器以期獲得更好的效果[63],即集成學(xué)習(xí).Hu 等人[64]提出了一種基于綜合加權(quán)矢量角和基于移位的密度估計(jì)的多模態(tài)進(jìn)化算法,設(shè)計(jì)了包括預(yù)測性能評估、模型屬性分析、結(jié)構(gòu)和融合策略優(yōu)化以及最優(yōu)模型偏好選擇的智能決策支持方案,以改進(jìn)基于隨機(jī)向量函數(shù)鏈網(wǎng)絡(luò)的集成學(xué)習(xí)模型.

目前應(yīng)用比較廣泛的是Bagging、AdaBoost、XGBoost、GBDT 等集成學(xué)習(xí)模型.Bagging 采用并行方式,訓(xùn)練速度快,但有放回抽樣導(dǎo)致部分?jǐn)?shù)據(jù)集取不到,且每個學(xué)習(xí)器權(quán)重一致,未考慮其重要性.AdaBoost采用串行方式運(yùn)行,可根據(jù)模型訓(xùn)練結(jié)果調(diào)整權(quán)重,模型訓(xùn)練精度更高,但弱學(xué)習(xí)器個數(shù)不好設(shè)定且訓(xùn)練比較耗時.針對此問題,文獻(xiàn)[65]將決策樹作為弱學(xué)習(xí)器構(gòu)建隨機(jī)森林(random forest,RF)模型進(jìn)行負(fù)荷預(yù)測,分別利用粗糙集、灰色投影技術(shù)、果蠅優(yōu)化算法對模型進(jìn)行優(yōu)化,均取得了較好的效果.

XGBoost 算法采用二階導(dǎo),提高了計(jì)算效率并有效減小過擬合問題,但每次迭代運(yùn)行都需遍歷整個數(shù)據(jù)集,不適合處理較大數(shù)據(jù)集,對內(nèi)存也有較高的要求.為解決此問題,文獻(xiàn)[66]利用集成學(xué)習(xí)的stacking 技術(shù)將XGBoost 與輕量級梯度提升樹(light gradient boosting machine,LGBM)、多層感知機(jī)MLP 三個模型組合用于負(fù)荷預(yù)測,表現(xiàn)出較好的性能優(yōu)勢.孫超等人[67]構(gòu)建篩選特征集的數(shù)據(jù)處理層以及優(yōu)化參數(shù)選擇的負(fù)荷預(yù)測層的雙層XGBoost 模型結(jié)構(gòu),該模型將第1 層篩選得到的特征集與負(fù)荷作為第2 層的輸入,有效避免特征數(shù)據(jù)相互依賴的問題.

除以上集成學(xué)習(xí)模型外,部分專家還將SVM、神經(jīng)網(wǎng)絡(luò)、集成學(xué)習(xí)等算法集成進(jìn)行組合預(yù)測(如表3所示).Malekizadeh 等人[68]將電力系統(tǒng)劃分為若干小區(qū)域,利用模糊神經(jīng)網(wǎng)絡(luò)(fuzzy neural network,FNN)、SVM 等多個算法分別預(yù)測單個區(qū)域的用電負(fù)荷,采用局部線性模型樹(locally linear model tree,LOLIMOT)方式將小區(qū)域的預(yù)測結(jié)果組合,結(jié)合模糊推理靈活設(shè)置網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),更加有效的提取負(fù)荷分布趨勢.文獻(xiàn)[69]將CNN 與RF 結(jié)合使用,有效減小了MAPE.針對數(shù)據(jù)特征少導(dǎo)致的預(yù)測低精度問題,Tian 等人[70]利用CNN 提取用戶用電負(fù)荷局部趨勢,結(jié)合LSTM 模型進(jìn)行預(yù)測.陳振宇等人[71,72]則利用誤差倒數(shù)法(MAPEreciprocal weight,MAPE-RW)選取模型組合最佳權(quán)重,將XGBoost 與LSTM 模型預(yù)測的時序數(shù)據(jù)進(jìn)行加權(quán)組合,有效降低了單一模型的預(yù)測誤差.Zhang 等人[73]利用CNN 提取數(shù)據(jù)特征,Seq2Seq 對用戶用能負(fù)荷進(jìn)行預(yù)測,同時引入注意機(jī)制和多任務(wù)學(xué)習(xí)方法來提高負(fù)荷預(yù)測的準(zhǔn)確性.Nie 等人[74]將數(shù)據(jù)預(yù)處理、多目標(biāo)優(yōu)化、模型預(yù)測以及模型評估組合成一個新型負(fù)荷預(yù)測系統(tǒng),利用EMD將負(fù)荷數(shù)據(jù)分解,結(jié)合RBF、ELM 與GRNN 三種預(yù)測模型進(jìn)行預(yù)測,將結(jié)果加權(quán)形成最終預(yù)測值.

表3 組合模型在短期負(fù)荷預(yù)測中的應(yīng)用

研究發(fā)現(xiàn),基于深度學(xué)習(xí)的預(yù)測算法已成功解決了大多數(shù)負(fù)荷預(yù)測分析問題,組合模型在性能與準(zhǔn)確性方面表現(xiàn)都要優(yōu)于單一模型,挖掘深度學(xué)習(xí)模型的更多組合方式是未來的研究熱點(diǎn).

3 實(shí)驗(yàn)分析

為進(jìn)一步分析各預(yù)測模型的優(yōu)缺點(diǎn),本文利用2 個國外負(fù)荷數(shù)據(jù)與2 個國內(nèi)負(fù)荷數(shù)據(jù)進(jìn)行實(shí)驗(yàn)對比,選取較為典型的SVM[27,28]、LSTM[49]、Bagging[65]、XGBoost[67]等模型進(jìn)行實(shí)驗(yàn),國外數(shù)據(jù)集包括2016年國外建筑能耗數(shù)據(jù)(energydata)[75]以及2019年比利時負(fù)荷數(shù)據(jù)集(Elia_data)[76]; 國內(nèi)數(shù)據(jù)集包括2016年電工數(shù)學(xué)建模競賽負(fù)荷預(yù)測數(shù)據(jù)集(math_load)與2014年上海市真實(shí)用電數(shù)據(jù)集(2014_上海).4 種電力負(fù)荷數(shù)據(jù)屬性如表4 所示.

表4 實(shí)驗(yàn)測試數(shù)據(jù)集

為精確對比各模型優(yōu)缺點(diǎn),統(tǒng)一劃分?jǐn)?shù)據(jù)集,選取前80%為訓(xùn)練數(shù)據(jù)集,后20%為測試數(shù)據(jù)集,本實(shí)驗(yàn)基于Python 3.8 進(jìn)行.6 種常用的負(fù)荷預(yù)測模型預(yù)測值與用戶用電真實(shí)值的對比圖1 所示.

圖1 各模型預(yù)測值與真實(shí)值對比圖

圖1 由4 個子圖組成,圖1(a)-圖1(d)分別代表AdaBoost 與Bagging 模型、XGBoost 與GBDT 模型、選取3 種核函數(shù)的SVM 模型以及LSTM 模型.由圖可知,Bagging、GBDT 以及LSTM 等負(fù)荷預(yù)測模型的數(shù)值擬合度較高,而Adaboost 與XGBoost 的擬合度有待提高.由于SVM 處理數(shù)據(jù)的局限性,使得該模型的擬合度表現(xiàn)較差.

6 種常用模型的運(yùn)行結(jié)果的MAPE 與運(yùn)行時間(運(yùn)行10 次取均值)如表5 和表6 所示.由實(shí)驗(yàn)結(jié)果可知,Bagging 模型泛化能力較好,適用于各種大小的數(shù)據(jù)集,并且預(yù)測效果也較為可觀.與Bagging 模型相比,AdaBoost 運(yùn)行時間較長,精確度也有待提高.針對小數(shù)據(jù)集,各個集成學(xué)習(xí)表現(xiàn)都較為穩(wěn)定.但針對高維稀疏數(shù)據(jù),例如energydata 數(shù)據(jù)集,GBDT 的預(yù)測效果有待提高.

表5 部分預(yù)測模型的MAPE 比較 (%)

表6 部分模型的運(yùn)行時間比較(ms)

綜合看來,Bagging 模型與AdaBoost 模型具有很高的泛化能力,適合處理各種數(shù)據(jù)集.XGBoost 預(yù)測效果較好,但其對內(nèi)存需求大,不適合處理大規(guī)模數(shù)據(jù)集.而GBDT 訓(xùn)練速度快,但對高維稀疏數(shù)據(jù)集的處理存在一定的局限.LSTM 模型預(yù)測效果較好,但模型參數(shù)的選擇對預(yù)測結(jié)果影響較大.

4 結(jié)論與展望

隨著信息時代的高速發(fā)展,負(fù)荷預(yù)測已經(jīng)成為電力系統(tǒng)領(lǐng)域不可或缺的重要部分[1].本文簡單介紹了有關(guān)負(fù)荷預(yù)測的傳統(tǒng)預(yù)測方法與基于深度學(xué)習(xí)的智能預(yù)測算法,可發(fā)現(xiàn)傳統(tǒng)負(fù)荷預(yù)測算法速度快、模型簡單,對于非線性數(shù)據(jù)處理存在一定局限[16,19,20].基于深度學(xué)習(xí)的智能化預(yù)測算法因其泛化能力強(qiáng)、自學(xué)習(xí)能力高等優(yōu)點(diǎn)被各大專家青睞,但也存在模型復(fù)雜、過擬合、局部最優(yōu)解等問題[35].模型組合策略、權(quán)重參數(shù)設(shè)置問題則成為集成學(xué)習(xí)模型發(fā)展的阻礙.

在實(shí)際應(yīng)用中,短期電力負(fù)荷預(yù)測在以下方面仍有待發(fā)展:

(1)隨著智能化設(shè)備的發(fā)展,可獲取的負(fù)荷數(shù)據(jù)影響因素越來越多,但由于服務(wù)提供商出于安全考慮,對實(shí)時和歷史數(shù)據(jù)保密,高質(zhì)量的標(biāo)記數(shù)據(jù)仍然缺乏,利用傳感器獲取的數(shù)據(jù)存在重復(fù)、錯誤標(biāo)記以及數(shù)據(jù)流的暫時丟失等問題,因此高效可靠的數(shù)據(jù)預(yù)處理在負(fù)荷預(yù)測中變得尤為重要[14].

(2)傳統(tǒng)模型與智能化模型各有優(yōu)點(diǎn),如何利用各個模型的優(yōu)點(diǎn),揚(yáng)長避短,提高模型的準(zhǔn)確率仍是目前的研究熱點(diǎn)[55,59,60].

(3)目前電力負(fù)荷預(yù)測涉及訓(xùn)練數(shù)據(jù)的準(zhǔn)確性和完整性、深度學(xué)習(xí)模型及其性能限制等多個不確定度的量化問題.不確定性的量化問題對于提高深度學(xué)習(xí)模型的可靠性與準(zhǔn)確性具有重要意義.

(4)無人機(jī)、電動汽車、可再生能源的發(fā)展都使電力系統(tǒng)變得龐大而復(fù)雜,挖掘更深層次的影響因素、考慮更接近實(shí)際情況的用電負(fù)荷是未來努力方向.