改進(jìn)粒子群算法優(yōu)化回聲狀態(tài)網(wǎng)絡(luò)的電力需求預(yù)測(cè)研究*

王 林，王燕麗，安澤遠(yuǎn)

(華中科技大學(xué)管理學(xué)院，湖北 武漢 430074)

1 引言

電力能源是國(guó)家經(jīng)濟(jì)發(fā)展的重要基礎(chǔ)，電力能源的有效利用程度和消費(fèi)量是衡量人類(lèi)生產(chǎn)技術(shù)和生活水平的重要標(biāo)志。2019年，由于受到貿(mào)易摩擦、逆全球化等不利因素導(dǎo)致的經(jīng)濟(jì)增速放緩，以及2018年拉動(dòng)能源需求的一些一次性因素部分緩解，全球用電量增速下降至1.3%，不到上年增速(2.8%)的一半。2020年，大部分國(guó)家受到疫情沖擊，全球用電量下降約0.7%。電力需求受諸多相互作用且具有內(nèi)在復(fù)雜性和不規(guī)則性因素影響導(dǎo)致的波動(dòng)變化，對(duì)國(guó)家或者地區(qū)的電力能源安全規(guī)劃提出了更高的要求，其中預(yù)測(cè)精度是電力需求預(yù)測(cè)問(wèn)題的研究重點(diǎn)。

目前已有許多來(lái)自世界各地的研究人員對(duì)電力需求預(yù)測(cè)進(jìn)行了相關(guān)研究，主要預(yù)測(cè)模型包括統(tǒng)計(jì)模型、機(jī)器學(xué)習(xí)和混合模型。Sarkodie[1]使用自回歸移動(dòng)平均模型ARIMA(AutoRegressive Integrated Moving Average model)模型，通過(guò)人口和國(guó)內(nèi)生產(chǎn)總值來(lái)預(yù)測(cè)加納的電力需求；Wang等[2]運(yùn)用卷積積分優(yōu)化的灰色多元模型預(yù)測(cè)中國(guó)工業(yè)用電能耗；Kialashaki等[3]利用人工神經(jīng)網(wǎng)絡(luò)ANN(Artificial Neural Network)預(yù)測(cè)美國(guó)的工業(yè)用電需求；Rahman等[4]運(yùn)用一種新的深度遞歸神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)商業(yè)和住宅建筑的電力負(fù)荷需求；馬煜等[5]通過(guò)結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和支持向量回歸的思路，來(lái)提取影響電力負(fù)荷因素的高維特征。但是，現(xiàn)有能源需求預(yù)測(cè)模型普遍存在精度有待提高或者操作較復(fù)雜等問(wèn)題，因此尋找高效和精確的新型預(yù)測(cè)方法成為了研究的焦點(diǎn)。

Jaeger等[6]提出了回聲狀態(tài)網(wǎng)絡(luò)ESN(Echo State Network)。與傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)相比，ESN使用了動(dòng)態(tài)遞歸網(wǎng)絡(luò)儲(chǔ)備池，在解決非線(xiàn)性問(wèn)題時(shí)，能夠克服傳統(tǒng)操作存在的計(jì)算復(fù)雜、耗時(shí)長(zhǎng)，以及容易陷入局部最優(yōu)等問(wèn)題。ESN已被廣泛應(yīng)用于各領(lǐng)域的預(yù)測(cè)問(wèn)題。眾多研究人員還對(duì)ESN進(jìn)行了改進(jìn)，如張亞麗等[7]采用改進(jìn)的局部均值分解方法，與回聲狀態(tài)網(wǎng)絡(luò)相結(jié)合，以提高預(yù)測(cè)精度；Li等[8]提出了一種基于先驗(yàn)數(shù)據(jù)的多層儲(chǔ)備池生成算法；Hu等[9]將深度學(xué)習(xí)框架引入基本的ESN中，結(jié)合回聲狀態(tài)網(wǎng)絡(luò)強(qiáng)大的非線(xiàn)性時(shí)間序列建模能力和深度學(xué)習(xí)框架的高效學(xué)習(xí)能力，提出了DeepESN，通過(guò)多個(gè)算例驗(yàn)證了其性能良好。也有研究人員使用啟發(fā)式算法對(duì)ESN進(jìn)行參數(shù)優(yōu)化，獲得了良好的效果，例如Wang等[10]運(yùn)用差分進(jìn)化算法優(yōu)化回聲狀態(tài)網(wǎng)絡(luò)的儲(chǔ)備池關(guān)鍵參數(shù)。本文擬采用改進(jìn)的群體智能優(yōu)化方法對(duì)ESN進(jìn)行改進(jìn)。

Eberhart等[11]提出的粒子群優(yōu)化PSO(Particle Swarm Optimization)算法是一種容易實(shí)現(xiàn)但性能強(qiáng)大的隨機(jī)優(yōu)化技術(shù)，能夠用于解決復(fù)雜的連續(xù)或組合非線(xiàn)性問(wèn)題。但是，PSO算法自身存在收斂精度低、不穩(wěn)定、容易陷入局部最優(yōu)解等缺點(diǎn)。朱小明等[12]通過(guò)對(duì)PSO算法進(jìn)行理論分析，指出算法容易過(guò)早收斂的主要原因是種群多樣性的缺失。為此研究人員近年來(lái)對(duì)PSO算法進(jìn)行了大量研究，如Zhang等[13]提出了一種基于終端交叉和轉(zhuǎn)向的分布式PSO算法，Rehman等[14]提出了一種改進(jìn)的量子啟發(fā)式PSO算法。

本文首先引入自適應(yīng)算子對(duì)PSO算法進(jìn)行改進(jìn)，以提高其探索當(dāng)前空間和開(kāi)發(fā)未知空間之間的平衡性；同時(shí)，采用非線(xiàn)性函數(shù)來(lái)構(gòu)建ESN儲(chǔ)備池內(nèi)部狀態(tài)之間的非線(xiàn)性關(guān)系；接著利用改進(jìn)的粒子群優(yōu)化APSO(Adaptive Particle Swarm Optimization)算法對(duì)非線(xiàn)性回聲狀態(tài)網(wǎng)絡(luò)NESN(Nonlinear Echo State Network)的關(guān)鍵參數(shù)進(jìn)行優(yōu)化，以構(gòu)建APSO-NESN組合預(yù)測(cè)模型；最后運(yùn)用該模型進(jìn)行能源需求預(yù)測(cè)，以期為一個(gè)國(guó)家或地區(qū)的相關(guān)能源決策提供可靠的輔助支持。本文為ESN在能源需求預(yù)測(cè)上的應(yīng)用提供了新的研究思路，為相關(guān)經(jīng)濟(jì)活動(dòng)管理提供了有益的管理借鑒。

2 粒子群優(yōu)化算法及其改進(jìn)

2.1 粒子群優(yōu)化算法原理

PSO算法是基于群體迭代模式的啟發(fā)式算法，它在搜索過(guò)程中通過(guò)個(gè)體間的交互行為來(lái)尋找最優(yōu)值，具有收斂速度快、全局搜索能力強(qiáng)和易于實(shí)現(xiàn)等優(yōu)點(diǎn)。

2.2 粒子群優(yōu)化算法的數(shù)學(xué)模型

首先初始化粒子群，規(guī)模為m，在空間坐標(biāo)系連續(xù)的情況下，第i個(gè)粒子的當(dāng)前位置為xi=(xi1,xi2,…,xid)，歷史最優(yōu)位置為Pi=(Pi1,Pi2,…,Pid)，當(dāng)前速度為vi=(vi1,vi2,…,vid)。所有粒子中的最好位置可以表示為Pg=(Pg1,Pg2,…,Pgd)。其中,i=1,2,…,m;d為空間維度。

粒子群中每個(gè)粒子第j維在t+1時(shí)刻的速度更新如式(1)所示：

(1)

其中,c1和c2均為非負(fù)的學(xué)習(xí)因子，保證了粒子盡可能往個(gè)體最優(yōu)和全局最優(yōu)的地方移動(dòng);ω表示慣性權(quán)重,Shi等[15]通過(guò)仿真實(shí)驗(yàn)得出，通常情況下ω在[0.9,1.2]。非負(fù)常數(shù)c1和c2通常都設(shè)置為2，rand()表示[0,1]的隨機(jī)數(shù)。

在更新過(guò)程中，通過(guò)設(shè)置Vmax來(lái)控制速度更新范圍，避免因速度過(guò)大而錯(cuò)過(guò)最優(yōu)位置。粒子群中每個(gè)粒子第j維在t+1時(shí)刻的位置更新如式(2)所示:

(2)

2.3 粒子群優(yōu)化算法的改進(jìn)

適應(yīng)度計(jì)算由式(3)所示:

(3)

其中,yk是利用當(dāng)前粒子的位置信息輸出的預(yù)測(cè)值，Wk是已確定的實(shí)際值，n表示待比較的y和W的長(zhǎng)度。

若輸出的預(yù)測(cè)值和實(shí)際值偏差很大，該粒子的適應(yīng)度函數(shù)值也會(huì)很大，則此時(shí)粒子處于一個(gè)較差的解空間，粒子需要以一個(gè)較大的速度盡快離開(kāi)該空間，以避免消耗過(guò)多的迭代次數(shù)；相反，若一個(gè)粒子的適應(yīng)度函數(shù)值很小而更新速度很大，那么可能會(huì)導(dǎo)致粒子在較優(yōu)的解空間中不能進(jìn)行充分的探索。在標(biāo)準(zhǔn)PSO算法中，由于慣性權(quán)重ω和學(xué)習(xí)因子c1、c2是固定的，搜索當(dāng)前最優(yōu)空間和探索新空間這2種操作無(wú)法平衡，PSO算法的效率和優(yōu)化能力就會(huì)受到影響。

為了解決上述問(wèn)題，本文引入了自適應(yīng)非線(xiàn)性慣性權(quán)重和學(xué)習(xí)因子。本文將慣性權(quán)重ω的賦值方法由初始設(shè)定改成了如式(4)所示的自適應(yīng)非線(xiàn)性慣性權(quán)重:

(4)

其中,mapetarget表示設(shè)定的目標(biāo)適應(yīng)度，ωstandard表示設(shè)定的初始標(biāo)準(zhǔn)慣性權(quán)重,objvaluezbest表示當(dāng)前粒子群最優(yōu)的適應(yīng)度。

慣性權(quán)重ω由固定值轉(zhuǎn)化為了一個(gè)與設(shè)定的慣性權(quán)重、設(shè)定的目標(biāo)適應(yīng)度和當(dāng)前的適應(yīng)度相關(guān)的值。隨著粒子的迭代計(jì)算，當(dāng)前粒子群最優(yōu)適應(yīng)度逐漸降低，表示粒子不斷接近最優(yōu)解；而慣性權(quán)重也隨之不斷減小，這使得粒子的更新速度降低，保證了粒子能在較優(yōu)的解空間中進(jìn)行更為充分的搜索?？梢?jiàn)，慣性權(quán)重能夠隨著當(dāng)前全局最優(yōu)適應(yīng)度與目標(biāo)適應(yīng)度之間的差距變化發(fā)生相應(yīng)變化，從而平衡了當(dāng)前最優(yōu)空間和新空間的搜索，成為一種“動(dòng)態(tài)”的學(xué)習(xí)過(guò)程，提高了算法效率。

學(xué)習(xí)因子c1和c2的賦值方法由初始設(shè)定改成了如式(5)所示的自適應(yīng)非線(xiàn)性學(xué)習(xí)因子，同樣也是為了獲得“動(dòng)態(tài)學(xué)習(xí)”能力。

(5)

引入了自適應(yīng)非線(xiàn)性慣性權(quán)重和學(xué)習(xí)因子的PSO算法，本文稱(chēng)之為自適應(yīng)粒子群優(yōu)化算法——APSO算法。

3 回聲狀態(tài)網(wǎng)絡(luò)及其改進(jìn)

3.1 標(biāo)準(zhǔn)回聲狀態(tài)網(wǎng)絡(luò)

ESN是一種特殊的遞歸神經(jīng)網(wǎng)絡(luò)，具有訓(xùn)練過(guò)程簡(jiǎn)單、收斂速度快和處理非線(xiàn)性問(wèn)題能力強(qiáng)等優(yōu)點(diǎn)，適合處理非平穩(wěn)的時(shí)間序列數(shù)據(jù)。其標(biāo)準(zhǔn)的組成部分為具有K個(gè)神經(jīng)元的輸入層、包含N個(gè)內(nèi)部神經(jīng)元的儲(chǔ)備池層和具有L個(gè)神經(jīng)元的輸出層。標(biāo)準(zhǔn)的ESN結(jié)構(gòu)如圖1所示，圖中黑色實(shí)線(xiàn)表示在網(wǎng)絡(luò)初始化時(shí)隨機(jī)生成但在訓(xùn)練過(guò)程中保持不變的連接權(quán)重；灰色虛線(xiàn)表示在ESN中需要訓(xùn)練的儲(chǔ)備池輸出權(quán)重；灰色實(shí)線(xiàn)表示輸出層與儲(chǔ)備池的反饋連接。

本文使用最小二乘法LSM(Least Squares Method)來(lái)獲得輸出連接權(quán)重。為了使ESN網(wǎng)絡(luò)具有短時(shí)記憶功能，必須使動(dòng)態(tài)儲(chǔ)備池保持1%～5%的稀疏度，且其權(quán)值矩陣W的譜半徑小于1[16]。

Figure 1 Structure of standard ESN圖1 標(biāo)準(zhǔn)ESN結(jié)構(gòu)圖

與此同時(shí)，ESN在t時(shí)刻的儲(chǔ)備池內(nèi)部狀態(tài)s(t)和輸出o(t)的更新公式分別如式(6)和式(7)所示：

(6)

(7)

其中，f(·)表示儲(chǔ)備池內(nèi)部狀態(tài)的激活函數(shù);fout(·)表示輸出狀態(tài)的激活函數(shù)，本文均選擇了tanh函數(shù)作為激活函數(shù)；儲(chǔ)備池內(nèi)部狀態(tài)s(t)在網(wǎng)絡(luò)中初始化為零向量。

3.2 非線(xiàn)性回聲狀態(tài)網(wǎng)絡(luò)

ESN的特點(diǎn)是具有回聲狀態(tài)屬性的儲(chǔ)備池，其隱藏層神經(jīng)元具有大量、隨機(jī)和稀疏組合的特性。標(biāo)準(zhǔn)ESN儲(chǔ)備池內(nèi)部狀態(tài)的關(guān)系是線(xiàn)性的，本文采用非線(xiàn)性函數(shù)來(lái)構(gòu)建儲(chǔ)備池內(nèi)部狀態(tài)的非線(xiàn)性關(guān)系，將改進(jìn)后的ESN稱(chēng)為非線(xiàn)性回聲狀態(tài)網(wǎng)絡(luò)NESN。NESN的結(jié)構(gòu)如圖2所示，與ESN相比，NESN增加了M=p×q個(gè)單元的讀出層,其中，p為NESN儲(chǔ)備池內(nèi)部神經(jīng)元的數(shù)量，q為構(gòu)建儲(chǔ)備池內(nèi)部狀態(tài)之間關(guān)系的非線(xiàn)性函數(shù)的階數(shù)。NESN在使用更少儲(chǔ)備池內(nèi)部神經(jīng)元的情況下，進(jìn)一步提升了儲(chǔ)備池的非線(xiàn)性動(dòng)態(tài)存儲(chǔ)能力，進(jìn)而提高了處理復(fù)雜的非線(xiàn)性問(wèn)題的能力。

Figure 2 Structure of NESN圖2 NESN結(jié)構(gòu)圖

NESN在t時(shí)刻的輸出o(t)的計(jì)算公式如式(8)所示，式(9)和式(10)是讀出層內(nèi)部神經(jīng)元，表示它是由儲(chǔ)備池內(nèi)部的神經(jīng)元非線(xiàn)性組合而來(lái)。

(8)

(9)

s(t)=[s1(t),s2(t),…，sq(t)]T

(10)

4 組合預(yù)測(cè)模型APSO-NESN

4.1 APSO-NESN基本原理

本文將APSO與NESN相結(jié)合，構(gòu)建了一種新的組合預(yù)測(cè)模型APSO-NESN，其主要思路是運(yùn)用APSO算法來(lái)對(duì)NESN的儲(chǔ)備池稀疏度和譜半徑進(jìn)行參數(shù)尋優(yōu)，同時(shí)優(yōu)化輸出連接權(quán)重的計(jì)算方式。與經(jīng)典的ESN相比，該組合預(yù)測(cè)模型利用了APSO算法的全局搜索能力來(lái)替代傳統(tǒng)的參數(shù)設(shè)定模式，同時(shí)該模型還具有NESN所特有的優(yōu)點(diǎn)。實(shí)驗(yàn)結(jié)果表明，本文提出的APSO-NESN組合預(yù)測(cè)模型不僅能夠減少儲(chǔ)備池內(nèi)部神經(jīng)元的數(shù)量和計(jì)算負(fù)荷，還獲得了更好的學(xué)習(xí)能力和更高的運(yùn)算效率。

4.2 APSO-NESN算法步驟

APSO-NESN主要分為2個(gè)階段，在第1個(gè)階段中，該組合模型運(yùn)用APSO算法對(duì)NESN的參數(shù)進(jìn)行尋優(yōu)，APSO算法的決策變量由儲(chǔ)備池稀疏度、譜半徑和輸出連接權(quán)重組成，其適應(yīng)度函數(shù)值為將每個(gè)粒子的位置變量xi代入NESN中返回的對(duì)應(yīng)預(yù)測(cè)誤差值；在第2個(gè)階段中，該組合模型將在第1階段中APSO算法獲得的優(yōu)秀個(gè)體解碼作為參數(shù)值來(lái)初始化NESN，并進(jìn)行預(yù)測(cè)。具體流程如圖3所示，詳細(xì)描述如下所示：

(1)讀取數(shù)據(jù)。對(duì)輸入數(shù)據(jù)進(jìn)行歸一化預(yù)處理，并將數(shù)據(jù)劃分為訓(xùn)練集和測(cè)試集，訓(xùn)練集用于APSO算法優(yōu)化儲(chǔ)備池稀疏度和譜半徑，以及在線(xiàn)訓(xùn)練得到輸出連接權(quán)重。

(2)NESN參數(shù)設(shè)置及初始化。設(shè)置輸入神經(jīng)元數(shù)量K、儲(chǔ)備池內(nèi)部神經(jīng)元數(shù)量p、輸出神經(jīng)元數(shù)量L和非線(xiàn)性函數(shù)的階數(shù)q等參數(shù)，并初始化除了輸出連接權(quán)重矩陣外的其它連接權(quán)重矩陣，選擇雙曲正切函數(shù)為儲(chǔ)備池內(nèi)部神經(jīng)元激活函數(shù)。

(3)APSO算法參數(shù)設(shè)置及初始化。設(shè)置種群規(guī)模、最大迭代次數(shù)、空間維度、最大和最小速度、標(biāo)準(zhǔn)慣性權(quán)重和目標(biāo)適應(yīng)度等參數(shù)，并生成初始種群，按式(3)計(jì)算初始種群中各粒子的適應(yīng)度函數(shù)值，將其最優(yōu)適應(yīng)度值作為初始個(gè)體最優(yōu)適應(yīng)度值和全局適應(yīng)度值。本文APSO算法的適應(yīng)度函數(shù)值為將每個(gè)粒子的位置變量xi對(duì)應(yīng)的參數(shù)值代入NESN模型中進(jìn)行預(yù)測(cè)返回的預(yù)測(cè)誤差值。

Figure 3 Flow chart of APSO-NESN algorithm圖3 APSO-NESN算法流程圖

(4)對(duì)APSO算法的初始種群進(jìn)行自適應(yīng)慣性權(quán)重和學(xué)習(xí)因子更新、速度更新與判斷及位置更新操作，以獲得新一代種群；計(jì)算種群中各粒子的適應(yīng)度函數(shù)值，對(duì)全局最優(yōu)個(gè)體的位置和適應(yīng)度進(jìn)行更新并記錄。重復(fù)操作此步驟直至達(dá)到APSO算法的最大迭代次數(shù)，返回全局最優(yōu)個(gè)體的位置。

(5)判斷NESN是否達(dá)到運(yùn)行的終止條件(達(dá)到設(shè)置的最大運(yùn)行次數(shù))，如果達(dá)到，則停止迭代過(guò)程，輸出預(yù)測(cè)模型歷史迭代運(yùn)算中最小的預(yù)測(cè)誤差及測(cè)試樣本對(duì)應(yīng)的預(yù)測(cè)值；如果未達(dá)到運(yùn)行的終止條件，則繼續(xù)執(zhí)行下一步。

(6)將APSO算法優(yōu)化得到的全局最優(yōu)個(gè)體解碼為NESN對(duì)應(yīng)的參數(shù)，并將優(yōu)化得到的儲(chǔ)備池稀疏度、譜半徑和輸出連接權(quán)重代入到NESN中，生成非線(xiàn)性回聲狀態(tài)網(wǎng)絡(luò)；然后輸入測(cè)試集進(jìn)行預(yù)測(cè)，計(jì)算模型對(duì)測(cè)試樣本的預(yù)測(cè)誤差。

(7)更新NESN模型歷史迭代運(yùn)算中最小的預(yù)測(cè)誤差，并將算法當(dāng)前的迭代計(jì)數(shù)增加1，繼續(xù)執(zhí)行第(5)步，判斷算法是否達(dá)到終止條件。

5 實(shí)例仿真和結(jié)果分析

為了檢驗(yàn)組合預(yù)測(cè)模型APSO-NESN在電力需求預(yù)測(cè)上的應(yīng)用效果，本文選擇了2組真實(shí)的能源需求數(shù)據(jù)，并綜合運(yùn)用多種誤差評(píng)價(jià)指標(biāo)，包括平均絕對(duì)百分比誤差MAPE(Mean Absolute Percentage Error)、均方根誤差RMSE(Root Mean Square Error)和平均絕對(duì)誤差MAE(Mean Absolute Error)，確保預(yù)測(cè)模型效果評(píng)價(jià)的全面性與客觀(guān)性。上述指標(biāo)的計(jì)算如式(11)～式(13)所示：

(11)

(12)

(13)

5.1 美國(guó)電力需求預(yù)測(cè)

5.1.1 實(shí)驗(yàn)數(shù)據(jù)及數(shù)據(jù)集劃分

為了驗(yàn)證APSO-NESN在電力需求預(yù)測(cè)方面的效果，本節(jié)仿真實(shí)驗(yàn)使用的數(shù)據(jù)與文獻(xiàn)[17-19]中的相同。數(shù)據(jù)集的時(shí)間跨度為1967年～2009年，共包含了43年的電力需求EEC(Electrical Energy Consumption)、國(guó)內(nèi)生產(chǎn)總值GDP(Gross Domestic Produce)、人口POP(PoPulation)、進(jìn)口額IMP(IMPort)和出口額EXP(EXPort)，如圖4所示。

Figure 4 Electricity demand of USA and its four influencing factors related data from 1967 to 2009圖4 美國(guó)1967年～2009年電力需求及其4個(gè)影響因素相關(guān)數(shù)據(jù)

5.1.2 參數(shù)設(shè)置與實(shí)驗(yàn)結(jié)果分析

本文仿真實(shí)驗(yàn)是在Matlab R2009b的編程環(huán)境下實(shí)現(xiàn)的，在充分考慮了文獻(xiàn)[9-11,20]中的經(jīng)驗(yàn)和多次實(shí)驗(yàn)后，APSO-NESN、DeepESN和DE-ESN的參數(shù)設(shè)置如表1所示。

模型參數(shù)設(shè)置完成后，將測(cè)試樣本作為預(yù)測(cè)模型的輸入進(jìn)行預(yù)測(cè)。使用APSO算法優(yōu)化NESN迭代過(guò)程的誤差梯度走勢(shì)如圖5所示。優(yōu)化得到的儲(chǔ)備池稀疏度SD=0.2953和譜半徑SR=0.812，優(yōu)化結(jié)束后預(yù)測(cè)模型得到的測(cè)試樣本預(yù)測(cè)值與實(shí)際值的對(duì)比如圖6所示。

Table 1 Parameter settings of APSO-NESN,DeepESN and DE-ESN (USA) 表1 APSO-NESN,DeepESN和DE-ESN 3種優(yōu)化算法的參數(shù)設(shè)置(美國(guó))

Figure 5 Error gradient trend of APSO-NESN (USA)圖5 APSO-NESN誤差梯度走勢(shì)圖(美國(guó))

Figure 6 Comparison between predicted value and actual value of APSO-NESN (USA)圖6 APSO-NESN預(yù)測(cè)值與實(shí)際值對(duì)比圖(美國(guó))

APSO-NESN、文獻(xiàn)[9,10]中的模型及其它研究[17 - 19]中的模型的預(yù)測(cè)效果對(duì)比如表2所示。其中,DeepESN是一種采用堆疊層次結(jié)構(gòu)的ESN新模型[9]，DE-ESN是一種基于ESN的混合預(yù)測(cè)模型[10]，這2種模型在類(lèi)似預(yù)測(cè)問(wèn)題上表現(xiàn)出了良好的綜合性能。故除了APSO-NESN，這2種模型在本文中同樣也被用作對(duì)比模型，以期得到客觀(guān)的對(duì)比數(shù)據(jù)。SFL-QR、IPSO-QR、SFL-ANN來(lái)自于文獻(xiàn)[17]，GD-ANN、PSO-ANN、IPSO-ANN來(lái)自于文獻(xiàn)[18]，ADE-BPNN來(lái)自于文獻(xiàn)[19]，相應(yīng)的預(yù)測(cè)結(jié)果都是從文獻(xiàn)[19]中直接獲取的。文獻(xiàn)[17]在運(yùn)用GDP、POP、IMP和EXP4種社會(huì)經(jīng)濟(jì)因素對(duì)美國(guó)電力需求進(jìn)行預(yù)測(cè)的同時(shí)，提出了將對(duì)電力需求預(yù)測(cè)產(chǎn)生積極影響的需求方管理DSM(DemandSideManagement)作為補(bǔ)充因素考慮進(jìn)來(lái)，運(yùn)用上述4個(gè)社會(huì)經(jīng)濟(jì)因素和DSM作為預(yù)測(cè)模型的自變量，將預(yù)測(cè)結(jié)果與未考慮DSM情況下的預(yù)測(cè)結(jié)果進(jìn)行比較，如圖2所示。數(shù)據(jù)顯示,對(duì)比模型中最低的MAPE為ADE-BPNN的0.34%，而APSO-NESN的MAPE達(dá)到了0.31%，效果更好。

Figure 7 Industrial electricity consumption of Guangdong and its eight influencing factors related data from Jan.2016 to Oct.2019圖7 廣東省2016年1月～2019年10月工業(yè)用電量及其8個(gè)影響因素相關(guān)數(shù)據(jù)

Table 2 Comparison of MAPE between APSO-NESN and other models (USA)表2 APSO-NESN與其他對(duì)比模型的MAPE對(duì)比(美國(guó))

5.2 廣東工業(yè)用電消耗量預(yù)測(cè)

5.2.1 輸入變量特征選擇與數(shù)據(jù)集劃分

本節(jié)仿真實(shí)驗(yàn)將APSO-NESN用于廣東省月度工業(yè)用電消耗量預(yù)測(cè)。數(shù)據(jù)集包含了2016年1月至2019年10月共46個(gè)月的工業(yè)用電量IEC(Industrial Electricity Consumption)和影響IEC的8個(gè)因素，即出口額Export、進(jìn)口額Import、工業(yè)出口交貨值IEDV(Industrial Export Delivery Value)、工業(yè)銷(xiāo)售產(chǎn)值ISV(Industrial Sales Value)、工業(yè)增加值IAV(Industrial Addition Value)、工業(yè)生產(chǎn)者購(gòu)進(jìn)價(jià)格指數(shù)PPI-buy(Industrial Producer Purchase Price Index)、工業(yè)生產(chǎn)者出廠(chǎng)價(jià)格指數(shù)PPI-sale(Industrial Producer Price Index)和工業(yè)企業(yè)利潤(rùn)總額IEP(Industrial Enterprises Profits)，如圖7所示。

研究表明預(yù)測(cè)模型的效果受輸入數(shù)據(jù)質(zhì)量影響較大，因此，對(duì)輸入變量進(jìn)行選擇是實(shí)現(xiàn)更準(zhǔn)確預(yù)測(cè)、更好解釋和確定關(guān)鍵變量進(jìn)而對(duì)問(wèn)題進(jìn)行更深入分析的重要步驟。梯度提升決策樹(shù)GBDT(Gradient Boosting Decision Tree)是嵌入式變量選擇方法boosting中的一種，屬于基于樹(shù)的集成算法，使用決策樹(shù)作為學(xué)習(xí)器，對(duì)模型性能影響較小，同時(shí)模型訓(xùn)練結(jié)束后可以輸出特征的相對(duì)重要度，以獲取影響預(yù)測(cè)結(jié)果的關(guān)鍵因素。

GBDT衡量特征相對(duì)重要度的方式是通過(guò)計(jì)算所有非葉子節(jié)點(diǎn)在分裂時(shí)不純度的減少之和。不純度的減少值表示該節(jié)點(diǎn)此次分裂的收益值，因此節(jié)點(diǎn)分裂時(shí)收益越大，其相對(duì)重要度越高。本節(jié)仿真實(shí)驗(yàn)中采用的是Friedman[21]提出的GBDT中計(jì)算特征相對(duì)重要度的方法。GBDT中構(gòu)建的樹(shù)都是二叉樹(shù)，特征α在單棵樹(shù)中的相對(duì)重要度計(jì)算如式(14)所示，特征α的全局相對(duì)重要度通過(guò)特征α在單棵樹(shù)中相對(duì)重要度的平均值來(lái)衡量，如式(15)所示:

(14)

(15)

本文實(shí)驗(yàn)中基于GBDT的特征選擇是在Python 3.6的環(huán)境下編程實(shí)現(xiàn)的。首先將數(shù)據(jù)集劃分為GBDT模型的訓(xùn)練集、驗(yàn)證集和測(cè)試集，其中訓(xùn)練集有28個(gè)樣本，驗(yàn)證集有8個(gè)樣本，測(cè)試集有10個(gè)樣本。將劃分完成的數(shù)據(jù)集輸入到基于GBDT進(jìn)行特征選擇的模型中，在訓(xùn)練過(guò)程中根據(jù)式(14)和式(15)來(lái)計(jì)算各個(gè)特征的相對(duì)重要度，最后輸出特征的相對(duì)重要度。

影響IEC的8個(gè)因素對(duì)應(yīng)的特征的相對(duì)重要度及其排序如圖8所示。去掉相對(duì)重要度最低的Import，將剩余的7個(gè)影響因素及IEC作為新的數(shù)據(jù)集，再次運(yùn)用GBDT模型對(duì)新樣本進(jìn)行特征選擇，以期對(duì)特征變量進(jìn)行更為有效的選擇，得到的新樣本中7個(gè)因素對(duì)應(yīng)的特征相對(duì)重要度及其排序如圖9所示。本文又去掉了相對(duì)重要度最低的PPI-sale，然后將剩余的6個(gè)影響因素，即IEP、PPI-buy、Export、IEDV、IAV和ISV作為預(yù)測(cè)模型的輸入變量。將2016年1月～2018年12月的36個(gè)數(shù)據(jù)設(shè)置為訓(xùn)練集，2019年1月～2019年10月的10個(gè)數(shù)據(jù)設(shè)置為測(cè)試集。先對(duì)所有的數(shù)據(jù)進(jìn)行歸一化預(yù)處理，使每個(gè)變量的取值都在[0,1]。

Figure 8 Relative importance of features based on GBDT (8 features)圖8 基于GBDT的特征相對(duì)重要度(8個(gè)特征)

Figure 9 Relative importance of features based on GBDT (7 features)圖9 基于GBDT的特征相對(duì)重要度(7個(gè)特征)

5.2.2 參數(shù)設(shè)置與實(shí)驗(yàn)結(jié)果分析

本節(jié)實(shí)驗(yàn)的運(yùn)行環(huán)境與5.1節(jié)的相同。ARIMA預(yù)測(cè)模型的參數(shù)設(shè)置為ARIMA(1,1,1)。多元線(xiàn)性回歸MLR(Multiple Linear Regression)預(yù)測(cè)模型使用的是SPSS軟件中默認(rèn)的參數(shù)。DeepESN和DE-ESN的參數(shù)設(shè)置中除了調(diào)整輸入神經(jīng)元數(shù)量外，其他參數(shù)設(shè)置均不做改變。APSO-NESN和PSO-NESN參數(shù)設(shè)置如表3所示。

Table 3 Optimization algorithm parameter settings of APSO-NESN and PSO-NESN (Guangdong)表3 APSO-NESN和PSO-NESN優(yōu)化算法參數(shù)設(shè)置(廣東)

參數(shù)設(shè)置完成后，將測(cè)試樣本作為預(yù)測(cè)模型的輸入進(jìn)行預(yù)測(cè)。APSO和PSO優(yōu)化NESN的迭代過(guò)程中誤差梯度走勢(shì)分別如圖10和圖11所示;APSO優(yōu)化NESN得到的儲(chǔ)備池稀疏度和譜半徑，優(yōu)化結(jié)束后預(yù)測(cè)模型得到的測(cè)試樣本預(yù)測(cè)值與實(shí)際值的對(duì)比如圖12所示；PSO優(yōu)化NESN得到的儲(chǔ)備池稀疏度和譜半徑，優(yōu)化結(jié)束后預(yù)測(cè)模型得到的測(cè)試樣本預(yù)測(cè)值與實(shí)際值的對(duì)比如圖13所示。

Figure 10 Error gradient trend of APSO-NESN (Guangdong)圖10 APSO優(yōu)化NESN誤差梯度走勢(shì)圖(廣東)

Figure 11 Error gradient trend of PSO-NESN (Guangdong)圖11 PSO優(yōu)化NESN誤差梯度走勢(shì)圖(廣東)

Figure 12 Comparison between predicted value and actual value of APSO-NESN(Guangdong)圖12 APSO-NESN預(yù)測(cè)值與實(shí)際值對(duì)比圖 (廣東)

Figure 13 Comparison between value and actual value of PSO-NESN predicted (Guangdong)圖13 PSO-NESN預(yù)測(cè)值與實(shí)際值對(duì)比圖 (廣東)

APSO-NESN的預(yù)測(cè)效果與ARIMA、MLR、ESN、DE-ESN、DeepESN、NESN和PSO-NESN共7種對(duì)比模型的預(yù)測(cè)效果如表4所示。其中，ARIMA是一種常用的時(shí)間序列預(yù)測(cè)模型；MLR采用了分段擬合策略，是一種廣為采用的模型；除了DE-ESN和DeepESN，本文還將APSO-NESN中嵌入的ESN、NESN和PSO-NESN作為比較模型來(lái)分析所提出模型單個(gè)組成部分的影響。實(shí)驗(yàn)結(jié)果顯示，APSO-NESN的MAPE為3.44%、RMSE為13.84、MAE為11.34，較對(duì)比模型在3種預(yù)測(cè)精度衡量指標(biāo)上均具有明顯優(yōu)勢(shì)。APSO-NESN預(yù)測(cè)結(jié)果的MAPE比ESN的下降了33.85%，比基本的NESN的下降了32.55%，比PSO-NESN的下降了15.27%，從中可以看出APSO提高了NESN的預(yù)測(cè)性能。此外，相比ARIMA和MLR，APSO-NESN的預(yù)測(cè)效果有大幅的提升。實(shí)驗(yàn)結(jié)果表明,APSO-NESN在電力需求預(yù)測(cè)方面是有效的，可以作為一個(gè)具有競(jìng)爭(zhēng)力的替代方法。

Table 4 Comparison of MAPE between APSO-NESN and other prediction models(Guangdong)表4 APSO-NESN與其他預(yù)測(cè)模型結(jié)果及對(duì)比(廣東)

6 結(jié)束語(yǔ)

本文首先引入自適應(yīng)算子對(duì)標(biāo)準(zhǔn)PSO算法的慣性權(quán)重和學(xué)習(xí)因子進(jìn)行改進(jìn)，并采用非線(xiàn)性函數(shù)來(lái)構(gòu)建ESN儲(chǔ)備池內(nèi)部狀態(tài)的非線(xiàn)性關(guān)系；然后利用APSO算法對(duì)NESN的關(guān)鍵參數(shù)進(jìn)行優(yōu)化，以構(gòu)建APSO-NESN組合預(yù)測(cè)模型，拓展了算法的應(yīng)用領(lǐng)域，為ESN的應(yīng)用提供了新的思路。在實(shí)驗(yàn)中，本文將APSO-NESN用來(lái)預(yù)測(cè)美國(guó)電力需求和廣東工業(yè)用電消耗量。在美國(guó)電力需求預(yù)測(cè)中，APSO-NESN的MAPE達(dá)到了0.31%，優(yōu)于SFL-QR、IPSO-QR、SFL-ANN、IPSO-ANN、GD-ANN、PSO-ANN、ADE-BPNN、DE-ESN和DeepESN預(yù)測(cè)模型。在廣東工業(yè)用電消耗量預(yù)測(cè)中，APSO-NESN的MAPE為3.44%,RMSE為13.84,MAE為11.34，比ARIMA、MLR、ESN、DE-ESN、DeepESN、NESN和PSO-NESN預(yù)測(cè)模型效果更好。實(shí)驗(yàn)結(jié)果表明，引入自適應(yīng)算子和非線(xiàn)性函數(shù)的APSO-NSN組合預(yù)測(cè)模型在收斂速度和預(yù)測(cè)精度上表現(xiàn)更優(yōu)，驗(yàn)證了模型的有效性。未來(lái)可通過(guò)拓展儲(chǔ)備池拓?fù)浣Y(jié)構(gòu)優(yōu)化的方式來(lái)提高APSO-NESN模型的預(yù)測(cè)效果，并嘗試使用多種深度學(xué)習(xí)方法(如XGBoost)更有效地選擇適合能源需求預(yù)測(cè)的信息。