基于LSSVR和LSTM的多模型優(yōu)化集成負(fù)荷預(yù)測

郭傅傲，劉大明，唐 飛

(上海電力大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，上海 200093)

1 引言

負(fù)荷預(yù)測對(duì)于能源規(guī)劃和安全至關(guān)重要，基于負(fù)荷預(yù)測可進(jìn)行包括電力系統(tǒng)調(diào)度、規(guī)劃、電價(jià)調(diào)整和維護(hù)等一系列電力系統(tǒng)運(yùn)行操作。精確負(fù)荷預(yù)測是提高發(fā)電設(shè)備利用率和經(jīng)濟(jì)調(diào)度有效性的重要保證[1]。在過去的十年中，由于負(fù)荷預(yù)測在需求側(cè)管理和智能電網(wǎng)方面的潛力，人們對(duì)負(fù)荷預(yù)測進(jìn)行了廣泛的研究。

氣象、日期類型和其它外生變量影響著負(fù)荷需求。對(duì)天氣因素而言，研究人員利用分析方法探究天氣因素與負(fù)荷的相關(guān)性，取相關(guān)性較大的因素作為預(yù)測模型輸入。對(duì)日期類型而言，主要有工作日休息日，星期類型，節(jié)假日等。文獻(xiàn)[2，3]提取氣象主要因素、日期類型特征分析并修正后作為預(yù)測模型輸入，結(jié)果表明考慮相關(guān)影響因素分析修正后的特征輸入比直接負(fù)荷預(yù)測有更好的效果。

當(dāng)今人工智能技術(shù)在負(fù)荷預(yù)測領(lǐng)域發(fā)揮著越來越重要的作用。人工神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、深度學(xué)習(xí)[4-6]等是短期負(fù)荷預(yù)測的流行技術(shù)，都在一定程度上提升了負(fù)荷預(yù)測的精度。但以上所提模型都有其特定的應(yīng)用范圍。單個(gè)模型可能存在過擬合問題，且可能受到泛化能力的限制[7]。在模型預(yù)測中，相同的單一模型對(duì)不同的預(yù)測樣本具有不同的預(yù)測精度，不同的單一模型對(duì)相同的預(yù)測樣本也具有不同的預(yù)測精度。為了降低單個(gè)模型的預(yù)測誤差，在負(fù)荷預(yù)測領(lǐng)域主要有兩類集成方法，分別是使用不同采樣數(shù)據(jù)集，設(shè)置不同模型參數(shù)而構(gòu)建的多個(gè)同類模型集成和涉及多種算法的異構(gòu)模型集成預(yù)測。第一類集成方法可以解決單個(gè)模型過擬合和泛化能力有限的問題。但是，由于算法本身的局限性，這種方法不能解決單一算法應(yīng)用局限性問題。另一種集成由多種異構(gòu)模型組成，多預(yù)測模型的互補(bǔ)優(yōu)勢克服了單一算法應(yīng)用有限的缺點(diǎn)，但每種模型的訓(xùn)練仍是相同的訓(xùn)練集，依然存在單模型過擬合和泛化能力有限的問題。

在集成預(yù)測中，決策過程應(yīng)是單個(gè)預(yù)測的策略組合。常用的方法有簡單平均法、加權(quán)平均法、MLR(多元線性回歸)等。簡單平均法是對(duì)多個(gè)子預(yù)測輸出取均值，但在預(yù)測輸出過程中，某些個(gè)體的預(yù)測精度會(huì)明顯高于其它個(gè)體，導(dǎo)致在決策中弱化了具有高預(yù)測精度子模型的預(yù)測能力。同時(shí)單個(gè)子模型經(jīng)相同數(shù)據(jù)集訓(xùn)練，預(yù)測結(jié)果高度相關(guān)，可能產(chǎn)生共線性或奇異性問題，如采用MLR決策，可能會(huì)忽略重要權(quán)重因子。

針對(duì)以上問題，本文提出了一種基于LSSVR和LSTM的多模型優(yōu)化集成負(fù)荷預(yù)測方法。首先探究負(fù)荷相關(guān)特征對(duì)負(fù)荷剖面的影響，作出適當(dāng)?shù)男拚⒂苫バ畔⑦M(jìn)行特征選擇，提升輸入數(shù)據(jù)的相關(guān)性。采用boostrap隨機(jī)抽樣生成多個(gè)訓(xùn)練集。以這種方式，通過改變簇的數(shù)量來獲得不同的負(fù)荷預(yù)測，增強(qiáng)了訓(xùn)練模型泛化能力。然后，使用具有良好預(yù)測能力的最小支持向量回歸(LSSVM)和長短期記憶循環(huán)神經(jīng)網(wǎng)絡(luò)(LSTM)模型進(jìn)行預(yù)測。并由粒子群優(yōu)化算法進(jìn)行優(yōu)化，進(jìn)一步提升預(yù)測精度。在決策過程中利用偏最小二乘回歸(PLSR)組合各個(gè)子模型的最優(yōu)預(yù)測并提供最終預(yù)測結(jié)果。對(duì)真實(shí)電網(wǎng)數(shù)據(jù)進(jìn)行了仿真，并與其它預(yù)測方法進(jìn)行了比較。驗(yàn)證了方法的有效性。

2 基于LSSVR和LSTM的多模型優(yōu)化集成負(fù)荷預(yù)測方法

所提方法如圖1所示，由以下4個(gè)階段組成。

圖1 所提方法流程圖

2.1 特征分析與選擇階段

影響負(fù)荷變化的因素有多種，主要包括經(jīng)濟(jì)發(fā)展規(guī)模、日期類型(工作日與休息日、星期類型、節(jié)假日)和氣象因素(溫度、濕度、氣壓、風(fēng)速和降雨量)等。經(jīng)濟(jì)增長規(guī)模的短期數(shù)據(jù)暫時(shí)由于無法獲得，所以并未考慮。文中通過對(duì)影響負(fù)荷變化的氣象和日期類型特征進(jìn)行可視化分析，尋找特征之間聯(lián)系。然后采用互信息(MI)特征選擇方法選出最優(yōu)特征集。

互信息(MI)度量是單個(gè)變量的減少影響另一個(gè)變量的不確定性的程度。此方法非常適合于尋找非線性關(guān)系的相關(guān)性。設(shè)X，Y為隨機(jī)變量，其聯(lián)合概率密度函數(shù)為p(x，y)，邊緣密度函數(shù)為p(x)和p(y)。Y的不確定性由熵來表示

(1)

當(dāng)已知X，條件為X的Y的不確定性由條件熵給出，定義為

(2)

隨機(jī)變量X和Y之間的互信息(MI)定義為

(3)

互信息I(X;Y)描述了隨機(jī)變量之間的依賴關(guān)系。I(X，Y)越大，兩個(gè)隨機(jī)變量之間的相關(guān)性越高。并可由熵表示為I(X;Y)=H(Y)-H(Y|X)。

2.2 多異構(gòu)模型集成階段

在預(yù)測模型構(gòu)建方面，首先在互信息選出的最優(yōu)數(shù)據(jù)集上進(jìn)行有放回的隨機(jī)抽樣(bootstrap)[8]，生成多個(gè)訓(xùn)練集。采用這種方式，通過改變簇的數(shù)量來獲得不同的負(fù)荷預(yù)測，增強(qiáng)訓(xùn)練模型泛化能力。然后利用不同的機(jī)器學(xué)習(xí)算法構(gòu)建出一個(gè)多模型，即預(yù)測模型層次上多個(gè)非線性異構(gòu)模型的集成預(yù)測。文中采用在負(fù)荷預(yù)測領(lǐng)域具有良好預(yù)測性能的LSSVR和LSTM模型在各個(gè)抽取的子訓(xùn)練集上進(jìn)行預(yù)測。

2.2.1 LSSVR

支持向量回歸是通過構(gòu)造最優(yōu)擬合超平面為目標(biāo)的機(jī)器學(xué)習(xí)模型，模型中的核函數(shù)取代了高維特征空間的內(nèi)積運(yùn)算，解決了神經(jīng)網(wǎng)絡(luò)存在的“維數(shù)災(zāi)難”問題，且泛化能力強(qiáng)[9]。在負(fù)荷預(yù)測中，最小二乘支持向量回歸LSSVR是它的一種擴(kuò)展。其將SVR算法的不等式約束轉(zhuǎn)換為等式約束，大大方便了Lagrange乘子 α的求解，降低了計(jì)算復(fù)雜度。且由于待選參數(shù)少，求解速度快的優(yōu)勢，廣泛的應(yīng)用于電力系統(tǒng)負(fù)荷預(yù)測中。其基本原理如下：

給定一組樣本(xi，yi)，i=1，…，N，預(yù)測模型可表示為

f(x)=(ω，φ(x))+b

(4)

其中ω是權(quán)值向量，φ(x)表示高維特征空間的非線性映射輸入，b為偏置值。由結(jié)構(gòu)化最小原理的該模型優(yōu)化目標(biāo)為

s.t.yi=ωTφ(xi)+b+ei，i=1，…，N

(5)

其中，γ為正則化參數(shù)，ei為引入的誤差變量，y=f(x)，即為預(yù)測模型函數(shù)。引入Lagrange乘子α

(6)

(7)

K(x，xi)=φ(x)Tφ(xi)為LSSVR的核函數(shù)，α和b的值可由式(7)求出。

實(shí)驗(yàn)中LSSVR采用的參數(shù)為：核函數(shù)類型為高斯核函數(shù)kernel=RBF，懲罰因子C=2.0，正則化參數(shù)γ=30。

2.2.2 LSTM

由于循環(huán)神經(jīng)網(wǎng)絡(luò)RNN存在梯度消失或爆炸的問題，學(xué)習(xí)中的長期記憶是難以保存的。(梯度消失指的是長期分量的梯度范數(shù)以指數(shù)方式快速縮減為零，限制了模型學(xué)習(xí)長期時(shí)間相關(guān)性的能力，而梯度爆炸則指的是相反事件)。為了克服這些問題，Hochreiter等人首次提出了長期短期記憶(LSTM)架構(gòu)[10]。它由循環(huán)神經(jīng)網(wǎng)絡(luò)RNN衍變出的一種變種模型，能夠建立先前信息與當(dāng)前環(huán)境之間的時(shí)間相關(guān)性?？朔似胀≧NN在訓(xùn)練反傳過程中出現(xiàn)的梯度消失等問題。因其中含有記憶單元，非常適用于處理和預(yù)測長時(shí)間序列問題。

LSTM的單元結(jié)構(gòu)由輸入門，遺忘門和輸出門組成，如圖2。

圖2 LSTM單元結(jié)構(gòu)

在LSTM單元中有3個(gè)sigmoid函數(shù)和2個(gè)tanh函數(shù)，輸出范圍分別為(0，1)和(-1，1)，其中，sigmoid被用作“軟”開關(guān)，以決定信號(hào)是否通過。如果門為0，則信號(hào)被阻擋。遺忘門，輸入門和輸出門的開關(guān)都取決于當(dāng)前輸入和先前的輸出。以下為LSTM單元模型的數(shù)學(xué)表示：

ft=σ(Wf[ht-1，xt]+bf)

(8)

it=σ(Wi[ht-1，xt]+bi)

(9)

(10)

(11)

ot=σ(Wo[ht-1，xt]+bo)

(12)

ht=ottanh(ct)

(13)

其中，式(8)為遺忘門信號(hào)，式(9)(10)(11)為輸入門信號(hào)，輸出門信號(hào)由式(12)(13)得出。Wf，Wi，Wc，Wo是相應(yīng)輸入的權(quán)重矩陣；σ和tanh分別表示sigmoid和tanh激活函數(shù)；xt和ht-1為單元輸入；ht為單元輸出；it為輸入門輸出，ft為遺忘門輸出，ot為輸出門輸出；ct表示當(dāng)前時(shí)刻為t的細(xì)胞單元更新狀態(tài)。

遺忘門信號(hào)控制是否丟棄信息。將輸出ft在(0，1)范圍內(nèi)的值與細(xì)胞狀態(tài)ct-1對(duì)比進(jìn)行判斷。輸入門信號(hào)控制內(nèi)部狀態(tài)的更新信息，然后更新細(xì)胞狀態(tài)。輸出門確定LSTM單元輸出傳遞的內(nèi)容。然后，該過程繼續(xù)重復(fù)下一個(gè)LSTM單元。通過最小化LSTM輸出和實(shí)際訓(xùn)練樣本之間的誤差來學(xué)習(xí)更新權(quán)重和偏差。LSTM詳細(xì)結(jié)構(gòu)和最新進(jìn)展可參考文獻(xiàn)[11]。

文中LSTM采用的結(jié)構(gòu)為：3層結(jié)構(gòu)，優(yōu)化器為adam，損失函數(shù)mse。激活函數(shù)linear。迭代30次。

選擇在負(fù)荷預(yù)測領(lǐng)域具有良好預(yù)測性能的LSSVR和LSTM來訓(xùn)練集成模型中的多個(gè)訓(xùn)練子集。

2.3 模型優(yōu)化階段

粒子群優(yōu)化算法(PSO)是一種基于粒子群中粒子數(shù)量的啟發(fā)式搜索方法[12]。該算法具有較強(qiáng)的尋優(yōu)能力，在眾多領(lǐng)域都得到了廣泛應(yīng)用。但PSO算法易于陷入局部最優(yōu)，為了解決這一問題，引入混沌理論，生成一種新的群智能算法—混沌粒子群算法(CPSO)，通過對(duì)粒子的混沌擾動(dòng)來幫助粒子逃離局部最優(yōu)解，然后更新粒子的速度和位置來獲得全局最優(yōu)解。粒子群算法的速度和位置迭代更新公式為：

(14)

(15)

混沌優(yōu)化方法是先建立映射關(guān)系(即混沌空間和解空間之間關(guān)系)，然后將優(yōu)化變量映射到混沌空間，最后利用混沌變量搜索出全局最優(yōu)解。其中，映射模式可以是一種典型的迭代混沌方程式

zi+1=μzi(1-zi)，i∈(0，1)

(16)

其中，zi表示混沌域，取值范圍為(0，1)；μ為控制參量，由式(16)可知，由任意初值z0，通過遍歷(0，1)空間，可迭代出確定的混沌序列z1，z2，z3，…。然后利用混沌運(yùn)動(dòng)遍歷全局，從而在解空間上尋出全局最優(yōu)解。

2.4 決策集成階段

單個(gè)預(yù)測子模型經(jīng)類似數(shù)據(jù)集訓(xùn)練后產(chǎn)生的預(yù)測結(jié)果高度相關(guān)，可能會(huì)使預(yù)測序列在集成過程中存在共線性或奇異性問題，因此多元線性回歸(MLR)集成可能會(huì)丟失某些重要權(quán)重因子。文中利用偏最小二乘回歸(PLSR)方法組合各個(gè)子預(yù)測模型的輸出結(jié)果。PLSR的主要思想是通過將原始變量投影到一個(gè)新的空間來尋找線性回歸模型。假設(shè)X和Y是單獨(dú)輸出和集合輸出，PLSR將通過新空間中的潛在變量由X去預(yù)測Y。經(jīng)X和Y通過伸縮變換后的Xc和Yc的分解公式為

(17)

其中，T和U是核心矩陣，P和Q是加載矩陣，E和F是剩余矩陣，J為分量數(shù)。PLSR的目的是找到潛在的向量tj和uj，使Xc和Yc之間的協(xié)方差最大化。

PLSR是對(duì)潛在變量而不是原始變量進(jìn)行回歸分析。這樣，PLSR就能夠處理共線性，并為組合權(quán)重生成可靠的估計(jì)。此外，PLSR允許選擇具有最佳泛化性能估計(jì)值的潛在分量子集，這可以消除個(gè)體預(yù)測的過擬合。

2.5 所提負(fù)荷預(yù)測方法工作流程

1) 對(duì)負(fù)荷及相關(guān)影響因素?cái)?shù)據(jù)進(jìn)行特征分析，考慮綜合氣象指數(shù)及簡單修正，由互信息選擇出最優(yōu)特征集。

2) 利用boostrap重采樣技術(shù)對(duì)所選特征集進(jìn)行隨機(jī)抽樣，劃分出不同子集作為訓(xùn)練集(文中分為兩類，每一類有三組子訓(xùn)練集。如采用更多模型，可劃分多類)。

3) 將2)中的數(shù)據(jù)歸一化處理(文中采用z_score標(biāo)準(zhǔn)化)，數(shù)據(jù)集的前80%做為預(yù)測子模型的訓(xùn)練集，20%作為測試集。

4) 訓(xùn)練模型結(jié)構(gòu)及參數(shù)(文中采用LSSVR與LSTM作為訓(xùn)練模型)。以最小化實(shí)際與輸出誤差為目標(biāo)，通過訓(xùn)練來調(diào)整模型的權(quán)重及偏值。

5) 混沌粒子群優(yōu)化算法(CPSO)分別與最小二乘支持向量回歸(LSSVR)和長短期記憶循環(huán)神經(jīng)網(wǎng)絡(luò)(LSTM)結(jié)合，可提升算法預(yù)測精度。

6) 在集成決策階段，通過偏最小二乘回歸(PLSR)組合各個(gè)子模型的最優(yōu)預(yù)測并提供最終預(yù)測結(jié)果。

3 仿真分析

數(shù)據(jù)集：實(shí)驗(yàn)數(shù)據(jù)來自中國某地區(qū)近三年(2012/01/01-2014/12/27)的真實(shí)電網(wǎng)數(shù)據(jù)和相關(guān)影響因素?cái)?shù)據(jù)。主要包括歷史負(fù)荷數(shù)據(jù)(一天96點(diǎn))、天氣數(shù)據(jù)(溫度、相對(duì)濕度、降雨量)、日期類型數(shù)據(jù)(年、月、日、小時(shí))。

實(shí)驗(yàn)環(huán)境：使用CoreI5處理器、8GB RAM和DDR3存儲(chǔ)。

3.1 數(shù)據(jù)特征分析選擇

首先可視化原始數(shù)據(jù)特征，如圖3、4所示。

圖3 負(fù)荷及氣象數(shù)據(jù)

圖4 日期類型分析圖

由圖3、4分析可知：

1)負(fù)荷需求曲線呈現(xiàn)逐年遞增規(guī)律，年與年負(fù)荷變化相似；

2)溫度、降雨量與負(fù)荷需求呈正相關(guān)，而相對(duì)濕度看似與負(fù)荷需求影響不大；

3)周末負(fù)荷整體比工作日(周一至周五)負(fù)荷低，但周五的負(fù)荷需求比較特殊，夾在兩者之間；

4)在夏季和冬季負(fù)荷需求相差較大，具有明顯的季節(jié)性。日負(fù)荷的整體規(guī)律非常相似，在大約上午10點(diǎn)至下午8點(diǎn)達(dá)為用電高峰，在凌晨5點(diǎn)為用電低谷；

文中在原始數(shù)據(jù)特征的基礎(chǔ)上考慮了綜合氣象因素(溫濕指數(shù)，雨量指數(shù)等)并對(duì)日期類型作為簡單修正。利用[0，1]范圍之間的數(shù)來表示一周中的星期類型。例如，周末和工作日(周一至周四)由0和1表示，周五由0.8表示。

圖5顯示了每個(gè)天氣因素、日期類型與負(fù)荷需求的MI是不同的。在本文中，選取前8個(gè)特征和歷史負(fù)荷一起作為訓(xùn)練模型的輸入。

圖5 負(fù)荷需求與相關(guān)特征互信息圖

選出最佳特征集作為預(yù)測模型輸入。

3.2 結(jié)果與分析

平均絕對(duì)百分比誤差(MAEP)和歸一化均方根誤差(NRMSE)用于評(píng)估文中所提方法與其它方法的性能。公式如下

(18)

(19)

圖6 預(yù)測模型對(duì)比圖

在圖6中，由互信息選出的最優(yōu)特征集作為其它預(yù)測模型的輸入，BP、LSSVR和LSTM仿真預(yù)測結(jié)果與實(shí)際負(fù)荷需求的MAPE分別為3.76%，1.72%，1.48%，0.86%。可見LSSVR和LSTM預(yù)測模型對(duì)時(shí)間序列具有較為良好的預(yù)測能力，而BP神經(jīng)網(wǎng)絡(luò)由于學(xué)習(xí)速率緩慢，易陷入局部極值，從而不能建立良好的負(fù)荷預(yù)測模型。本文所提方法集成了子預(yù)測模型LSSVR和LSTM優(yōu)化的預(yù)測結(jié)果，大大提升了負(fù)荷預(yù)測精度。

由于LSTM模型訓(xùn)練時(shí)間較長，為了簡單說明，本文采用LSSVR來進(jìn)行仿真分析。圖7比較了LSSVR和經(jīng)混沌粒子群優(yōu)化(CPSO)后的LSSVR預(yù)測仿真結(jié)果。LSSVR和LSSVR+CPSO的MAPE分別為1.72%和1.32%。LSSVR-CPSO算法獲得更為理想的預(yù)測效果，這表明采用CPSO算法對(duì)LSSVR的相關(guān)參數(shù)進(jìn)行優(yōu)化，可以極大概率建立全局最優(yōu)解，進(jìn)一步提高了負(fù)荷預(yù)測精度。

圖7 LSSVR和LSSVR+CPSO預(yù)測對(duì)比圖

圖8為經(jīng)隨機(jī)抽樣后的多預(yù)測模型的集成仿真預(yù)測結(jié)果。多元線性回歸(MLR)和偏最小二乘回歸(PLSR)集成的MAPE分別為0.99%和0.86%?？梢?，此案例仿真分析集成預(yù)測方法優(yōu)于任一單一的預(yù)測算法。由于每個(gè)子模型預(yù)測結(jié)果具有高度相似性，且MLR集成過程是在原始變量空間進(jìn)行線性回歸，極可能存在共線性問題，使某些子模型預(yù)測權(quán)重置0，忽略掉重要權(quán)重因子。而PLSR集成預(yù)測將原始變量投影到新空間來尋找線性回歸模型。避免了原始空間存在的共線性問題，提升了決策集成的效果。

圖8 MLR集成和PLSR集成預(yù)測對(duì)比圖

表1為各種算法的預(yù)測結(jié)果誤差分析，可見本文所提集成方法具有非常高的穩(wěn)定性和預(yù)測精度，明顯優(yōu)于單一LSSVR和LSTM預(yù)測模型，表明了多先進(jìn)模型的集成預(yù)測在負(fù)荷預(yù)測中的有效性。

表1 預(yù)測結(jié)果誤差分析

4 結(jié)論

本文提出的基于LSSVR和LSTM的多模型優(yōu)化集成負(fù)荷預(yù)測模型，通過分析負(fù)荷相關(guān)特征并由互信息選出最優(yōu)特征集。然后，隨機(jī)抽樣生成多個(gè)子訓(xùn)練集，每個(gè)子訓(xùn)練集作為具有良好預(yù)測能力的子預(yù)測模型輸入，克服了單個(gè)模型易過擬合和泛化能力有限的問題，提升了模型的魯棒性和穩(wěn)定性。并利用了多算法的互補(bǔ)優(yōu)勢解決了單一算法應(yīng)用有限的問題，同時(shí)使用混沌粒子群優(yōu)化進(jìn)一步提升負(fù)荷預(yù)測精度。最后由偏最小二乘方法組合各個(gè)子模型的預(yù)測結(jié)果作為最終預(yù)測輸出。本模型方法具有非常高的預(yù)測精度，是一種實(shí)用的短期電力負(fù)荷預(yù)測方法。在今后的研究中將考慮更多的先進(jìn)預(yù)測算法組合和在多種公開的數(shù)據(jù)集上驗(yàn)證此模型方法的適用性。