高斯骨架差分進化算法與回聲狀態(tài)網(wǎng)絡(luò)的結(jié)合應(yīng)用

謝霖銓，曾孟麒，楊火根

(江西理工大學(xué)理學(xué)院，江西 贛州 341000)

時間序列普遍存在于人類社會的方方面面,比如在能源領(lǐng)域上能源每年的消耗量以及排放量等[1]；天氣領(lǐng)域中城市的風(fēng)速、降水量、平均氣溫等[2-3];工業(yè)領(lǐng)域中的鐵塊的凝結(jié)透點[4]、電力負(fù)荷序列[5]和原油物性預(yù)測[6]等。

隨著人工智能研究的不斷發(fā)展,人工神經(jīng)網(wǎng)絡(luò)、支持向量機[7]等機器學(xué)習(xí)方法逐漸成為非線性時間序列建模和預(yù)測[8]的主要工具。但是傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)如BP(Back Propagation)[9]存在訓(xùn)練復(fù)雜、網(wǎng)絡(luò)結(jié)構(gòu)難以確定、易陷入局部最優(yōu)和收斂速度慢等問題。支持向量機(Support Vector Machine，SVM)若訓(xùn)練模型樣本過大,存在訓(xùn)練時間長和訓(xùn)練效果不佳等問題。隨著學(xué)者們的不斷研究,發(fā)現(xiàn)回聲狀態(tài)網(wǎng)絡(luò)[10](Echo State Network,ESN)在時間序列預(yù)測方面存在一定的優(yōu)勢,其訓(xùn)練算法簡單,計算快速,且能保證解的全局最優(yōu)性。雖然ESN具有以上優(yōu)點,但是也存在一些問題,例如儲備池的適應(yīng)性問題、共線性問題、穩(wěn)定性問題以及病態(tài)解的出現(xiàn)會影響網(wǎng)絡(luò)的泛化能力,容易產(chǎn)生過擬合等。

近年來,學(xué)者們針對ESN存在的一些問題進行一些改進。文獻[11]利用遺傳算法(Genetic Algorithm,GA)直接優(yōu)化回聲狀態(tài)網(wǎng)絡(luò),實現(xiàn)自適應(yīng)非線性動力系統(tǒng)的控制。文獻[12]采用人工蜂群算法(Artificial Bee Colony Algorithm,ABC)優(yōu)化ESN,滿足了聚氯乙烯聚合過程的實時控制要求。文獻[13]利用粒子群(Particle Swarm Optimization,PSO)優(yōu)化算法對ESN中未經(jīng)訓(xùn)練的權(quán)重進行優(yōu)化,提高網(wǎng)絡(luò)的預(yù)測性能。文獻[14]利用狼群優(yōu)化算法(Grey Wolf Optimizer,GWO)直接優(yōu)化ESN參數(shù),避免了網(wǎng)絡(luò)參數(shù)的設(shè)立,提高網(wǎng)絡(luò)的精確性。

雖然已經(jīng)有學(xué)者采用智能優(yōu)化算法優(yōu)化回聲狀態(tài)網(wǎng)絡(luò)參數(shù),但由于回聲狀態(tài)網(wǎng)絡(luò)的儲備池包含節(jié)點較多、神經(jīng)元節(jié)點之間的連接狀態(tài)較復(fù)雜,優(yōu)化效果還有待提高。人工蜂群算法擁有較好的魯棒性,但由于不能有效地平衡勘探和開采導(dǎo)致算法容易陷入局部極值。狼群優(yōu)化算法因其參數(shù)少、易于實現(xiàn)、收斂速度快等受到廣大學(xué)者喜愛,但其種群多樣性差和后期算法收斂速度慢易陷入局部最優(yōu)等,阻礙了算法尋優(yōu)性能。粒子群算法由于參數(shù)的初始化會對算法性能產(chǎn)生較大影響,往往會使算法陷入局部最優(yōu)。研究中發(fā)現(xiàn)差分進化算法[15](Differential Evolution,DE)結(jié)構(gòu)簡單、易于實現(xiàn),受控參數(shù)少以及魯棒性強,且具有較強的全局搜索能力,尋優(yōu)速度快,更具實用性。該算法自提出以來,已被廣泛用于約束優(yōu)化、聚類優(yōu)化、非線性優(yōu)化、神經(jīng)網(wǎng)絡(luò)優(yōu)化以及其他領(lǐng)域。綜上,本文選用簡單高效的差分進化算法。

為使差分進化算法可以更加高效地找到最優(yōu)解以及適用性更強。本文提出一種改進的高斯骨架差分進化算法。結(jié)合三角高斯變異策略和標(biāo)準(zhǔn)差分進化算法中的DE/best/1變異策略,提出一種新的策略選擇因子,同時交叉概率采用自適應(yīng)生成。為了避免算法陷入局部最優(yōu),設(shè)立了算法停滯擾動策略來提升算法尋優(yōu)性能。綜上所述,本文采用改進的高斯骨架差分進化算法來優(yōu)化回聲狀態(tài)網(wǎng)絡(luò)中儲備池的五個重要參數(shù),通過策略選擇機制來平衡差分進化算法的勘探和開采能力,從而加快該算法的收斂速度,更加準(zhǔn)確地找到最優(yōu)解,提高預(yù)測精度。

1 回聲狀態(tài)網(wǎng)絡(luò)

回聲狀態(tài)網(wǎng)[10](Echo State Network,ESN)是Jaeger于2004年提出來的一種簡化版的遞歸神經(jīng)網(wǎng)絡(luò),由于其用稀疏連接的儲備池代替全連接的隱含層,增強了對動態(tài)系統(tǒng)的建模能力,避免一般神經(jīng)網(wǎng)絡(luò)基于梯度下降法的收斂速度慢、易陷入局部最優(yōu)問題。

1.1 ESN基本原理

基本ESN的拓?fù)浣Y(jié)構(gòu)如圖1所示,回聲狀態(tài)網(wǎng)絡(luò)是一種三層遞歸神經(jīng)網(wǎng)絡(luò),由輸入層、隱含層和輸出層三部分組成,隱含層又稱儲備池,含有成百上千個稀疏遞歸連接的神經(jīng)元,神經(jīng)元之間的連接權(quán)值隨機生成且固定不變。

圖1 ESN拓?fù)浣Y(jié)構(gòu)示意圖Figure 1 Schematic diagram of the ESN topology

ESN的狀態(tài)方程和輸出方程如下：

x(t)=φ{(diào)Winu(t)+Wxx(t-1)+bx}

(1)

y(t)=wTx(t)+b

(2)

上式中u(t)∈RM×1是M元輸入向量,y(t)∈RM×1是M元輸出向量,bx∈RN×1為輸入偏置,b∈RM×1為輸出偏置。由當(dāng)前時刻t的輸入u(t)和前一時刻t-1的儲備池內(nèi)部狀態(tài)x(t-1)通過激活函數(shù)的映射得到當(dāng)前時刻的狀態(tài)x(t)∈RN×1。φ(?)為神經(jīng)元激活函數(shù),可以選取Sigmod函數(shù)或者tanh函數(shù)。輸入連接矩陣Win∈RN×N的元素在區(qū)間[-1,1]取值。Wx∈RN×N為儲備池內(nèi)部連接矩陣,稀疏連接。通過偽逆求得輸出連接矩陣w∈RN×M。輸入連接矩陣Win和內(nèi)部連接矩陣Wx隨機生成,且在回聲狀態(tài)網(wǎng)絡(luò)的訓(xùn)練階段始終保持不變。網(wǎng)絡(luò)只需求輸出連接矩陣w,因此降低了計算復(fù)雜度。

1.2 網(wǎng)絡(luò)關(guān)鍵參數(shù)

回聲狀態(tài)網(wǎng)絡(luò)的核心是儲備池,儲備池性能的好壞取決于五個重要的參數(shù)：初始化儲備池大小Nini、儲備池大小N、儲備池的普半徑R、稀疏度D以及輸入縮放因子S,如何選取以上五個參數(shù)至關(guān)重要。下面介紹儲備池的參數(shù)選擇對模型性能的影響。

(1)初始化儲備池大小

初始化儲備池大小的Nini是儲備池初始激活神經(jīng)元個數(shù),讓儲備池中形成較好的回聲,使ESN具有較好的動力特性。

(2)儲備池大小

儲備池的大小N即為儲備池中神經(jīng)元數(shù)目,是影響ESN預(yù)測性能最重要的參數(shù)。N值過大,容易造成過擬合；N值過小,又容易造成欠擬合。

(3)儲備池的普半徑

普半徑R為內(nèi)部連接矩陣Wx。的最大特征值的絕對值。R的取值范圍一般為[0,1]之間,但對于不同的時間序列其取值將視情況而定。

(4)稀疏度

儲備池內(nèi)部神經(jīng)元連接的稀疏程度稱為稀疏度D,儲備池的神經(jīng)元之間不是全連接的,而是少部分連接。具體實現(xiàn)方法是使儲備池的連接權(quán)重Wx中的大多數(shù)元素等于零。文獻[16]中提到稀疏度D∈[0.01,0.04]之間即可保證儲備池具有足夠的動力特性。

(5)輸入變換因子

輸入變換因子S是指在信號輸入儲備池前縮放的比例因子,表征輸入連接權(quán)值的取值范圍。根據(jù)式(1)可知,其大小決定激活函數(shù)的工作區(qū)間,也決定了輸入對儲備池的狀態(tài)變量作用的強度。

回聲狀態(tài)網(wǎng)絡(luò)參數(shù)的選擇往往會針對數(shù)據(jù)的不同特性而變化,因此如何選擇適合不同數(shù)據(jù)的儲備池參數(shù)是本文研究的重點。本文采用改進的差分進化算法來優(yōu)化回聲狀態(tài)網(wǎng)絡(luò)儲備池的參數(shù),得到適合當(dāng)前數(shù)據(jù)的儲備池參數(shù),用于提高網(wǎng)絡(luò)的預(yù)測性能。

2 改進差分進化算法

差分進化算法[15](Differential Evolution,DE)是基于群體智能的優(yōu)化算法。由于該算法簡單易于實現(xiàn)、魯棒性好、搜索能力強等優(yōu)點被廣泛應(yīng)用于工程問題的求解。

2.1 差分進化算法

DE采用實數(shù)編碼方式,其算法原理與遺傳算法十分相似,進化流程與遺傳算法相同：變異、交叉和選擇。DE算法中的選擇策略通常為錦標(biāo)賽選擇,而交叉操作方式與遺傳算法也大體相同,但在變異操作方面使用差分策略,即利用種群中個體間的差分向量對個體進行擾動,實現(xiàn)個體變異。DE的變異方式,有效利用群體分布特性,提高算法的搜索能力,避免遺傳算法中變異方式的不足。

(3)

其中,xi(0)表示種群中第0代的第i個個體,xj,i(0)表示第0代的第i個個體的第j維。NP表示種群大小,rand(0,1)表示在(0,1)區(qū)間均勻分布的隨機數(shù)。

2)變異操作。DE通過變異策略來產(chǎn)生新的個體,有利于后代進行搜索以便找到最優(yōu)的解。常用的變異策略主要有以下6種:

DE/rand/1

vi(g)=xr1(g)+F×(xr2(g)-xr3(g))

(4)

DE/rand/2

vi(g)=xr1(g)+F(xr2(g)-xr3(g))+F(xr4(g)-xr5(g))

(5)

DE/best/1

vi(g)=xbest(g)+F·(xr1(g)-xr2(g))

(6)

DE/best/2

vi(g)=xbest(g)+F·(xr1(g)-xr2(g))+F·(xr3(g)-xr4(g))

(7)

DE/current-to-best/1

vi(g)=xi(g)+F·(xbest(g)-xi(g))

+F·(xr1(g)-xr2(g))

(8)

高斯三角差分進化策略

μ=(xr1(g)+xr2(g)+xr3(g))/3

σ=(|xr1(g)-xr2(g)|+|xr1(g)-xr3(g)|

+|xr2(g)-xr3(g)|)/3

vi(g)=N(μ,σ)

(9)

其中,F為縮放因子,xbest(g)表示第g代種群中最優(yōu)個體,xi(g)表示第g代種群中第i個個體,i≠r1≠r2≠r3≠r4≠r5,μ、σ為高斯變異策略個體的均值和標(biāo)準(zhǔn)差,N(?)為服從均值為μ標(biāo)準(zhǔn)差為σ的正態(tài)分布。在進化過程中,為了保證解的有效性,必需判斷個體中每一維的值是否滿足邊界條件,如果不滿足邊界條件,則按照式(3)重新生成個體。這樣就得到變異的中間個體vi(g)。

(3)交叉操作。對第g代種群{xi(g)}及其變異的中間體{vi(g)}進行個體間的交叉操作:

(10)

其中,CR為交叉概率,jrand為[1,2,…,D]的隨機整數(shù)。生成的試驗個體為ui,j(g),{i=1,2,…NPj=1,2,…,D}

(4)選擇操作,就是對新舊個體進行的一個淘汰制操作,其規(guī)則為比較新舊個體的適應(yīng)度,適應(yīng)度好的個體保留到下一代繼續(xù)參與進化,適應(yīng)度差的個體就被淘汰,以此來獲得適應(yīng)度較好的個體,選擇公式如下:

(11)

式中xi(g)為第g代的第i個個體,如果個體xi(g)的適應(yīng)度比實驗個體ui,j(g)適應(yīng)度更優(yōu),則個體xi(g)進入下一代參與進化,反之實驗個體ui,j(g)進入下一代參與進化。

反復(fù)執(zhí)行2)、3)、4)步操作達(dá)到設(shè)定好的最大代數(shù)G{g=0,1,2,…,G}得到一個最優(yōu)種群NP,種群中適應(yīng)度最好的個體就是最優(yōu)個體xbest。

2.2 MGBDE算法

Wang等[17]于2013年提出了一種基于高斯變異的新型骨架差分進化算法(GBDE)及其改進算法MGBDE。其中,MGBDE算法將GBDE算法中的高斯變異策略和標(biāo)準(zhǔn)DE算法中的DE/best/1策略進行組合,種群中每一個個體隨機等概率地從中選擇一種變異策略進行進化,如式(15)所示。

(12)

其中,Mi表示個體xi執(zhí)行的變異策略。

2.3 IGBDE算法

上述提到將高斯變異策略和標(biāo)準(zhǔn)DE算法中的DE/best/1變異策略進行組合得到一種新的變異策略Mi,但是這種變異策略Mi在進化過程中每個個體都是等概率的執(zhí)行DE/best/1變異策略和高斯變異策略,完全沒用考慮到DE算法在進化初期趨向于勘探,在進化后期趨向開采,故本文提出一種策略選擇機制ZZ,使DE算法在進化初期大概率的選擇利于勘探的高斯變異策略,在進化后期大概率的選擇利于開采的DE/best/1變異策略。策略選擇機制ZZ公式如下:

ZZi(g)=1-

(13)

其中ω是閾值,本文取值為0.001.ZZi表示為第i個個體的策略選擇概率。兩個個體xi、xbest在搜索空間中離得很遠(yuǎn)的情況下ZZi較大,則說明算法應(yīng)該利于勘探,故選擇勘探能力強的高斯變異策略,反之,兩個個體xi、xbest在搜索空間離得很近的情況下ZZi較小,則說明算法應(yīng)該利于開采,故選擇開采能力強的DE/best/1變異策略。在進化過程中ZZi隨著個體xi、xbest一起更新演變。

雖然高斯變異策略勘探能力強,但利用了xbest個體來指導(dǎo)進化,沒有利用差分進化的核心思想,即隨機選擇的個體之間的差異進行高斯變異,使種群多樣性降低,故本文采用Peng等[18]于2015年提出一種基于三角骨架的DE算法,該算法提出了一種新的變異策略——高斯三角變異策略。也就是本文的式(9)。將式(12)的高斯變異策略換成高斯三角變異策略,提高算法的前期的勘探能力。結(jié)合策略選擇機制ZZ,形成新的變異策略如下：

(14)

其中μ,σ由式(9)得來的。

分析發(fā)現(xiàn),在算法尋優(yōu)初期,個體適應(yīng)值與全局最優(yōu)值相差較大,則ZZi較大,種群中絕大部分個體執(zhí)行三角高斯變異策略,對解空間進行探索;隨著進化的推進;個體不同程度的向最優(yōu)個體靠近,此時根據(jù)個體適應(yīng)值與最優(yōu)適應(yīng)值的比較,為每一個個體指定當(dāng)前最合適的變異策略;在進化后期,大部分個體收斂于最優(yōu)個體附近,此時ZZi較小,種群中絕大部分個體轉(zhuǎn)為執(zhí)行DE/best/1變異策略,算法聚焦于在最優(yōu)個體附近開發(fā)。IGBDE算法繼承了骨架算法家族近似無參的優(yōu)點,新引進的控制參數(shù)ZZ隨進化過程自適應(yīng)調(diào)節(jié),無需人工干預(yù)和任何先驗知識。

此外,交叉概率在一定程度上會影響算法性能。為提高交叉操作的適應(yīng)性,本文采用文獻[19]的方法控制交叉概率的設(shè)置,即：

(15)

最后借鑒文獻[20]提出的停滯擾動策略來防止算法陷入局部極值。停滯擾動策略公式如下：

(16)

根據(jù)文獻[20]給出τ取值為0.2時對單峰問題和多峰問題均表現(xiàn)出良好的尋優(yōu)性能,故本文τ取值為0.2。

3 改進高斯骨架差分進化算法優(yōu)化儲備池參數(shù)

ESN優(yōu)點在于網(wǎng)絡(luò)學(xué)習(xí)過程中僅僅需要更新儲備池到輸出層之間的連接權(quán)值,而輸入連接權(quán)值和儲備池中神經(jīng)元內(nèi)部的連接權(quán)值一般都是在隨機賦值后保持不變。故儲備池參數(shù)設(shè)置直接影響ESN的預(yù)測性能,人工調(diào)節(jié)參數(shù)既費時又不能選擇出最佳的參數(shù)值,所以本文提出基于改進的高斯骨架差分進化算法優(yōu)化回聲狀態(tài)網(wǎng)絡(luò)(Improve Gaussian Bare-Bones Differential Evolution-Echo State Network,IGBDE-ESN)的參數(shù)。本文將實驗數(shù)據(jù)分為訓(xùn)練集、測試集兩部分,目標(biāo)函數(shù)為訓(xùn)練集誤差最小。算法偽代碼如算法1所示,算法流程圖如圖2所示。

圖2 IGBDE-ESN算法流程圖Figure 2 IGBDE-ESN algorithm flowchart

算法1改進的高斯骨架差分進化算法優(yōu)化回聲狀態(tài)網(wǎng)絡(luò)

步驟1設(shè)置種群代數(shù)g=0,初始化交叉概率CR=0.9,最大迭代次數(shù)為G,設(shè)置儲備池參數(shù)的取值范圍。

步驟2設(shè)置個體參數(shù),即每一維對應(yīng)儲備池的一個參數(shù)。初始化并評價種群NP,保存最優(yōu)個體。

步驟3根據(jù)式(13)計算初代ZZi

步驟4迭代,判斷g≤G時,設(shè)置監(jiān)視器count=0,根據(jù)式(12)生成變異個體vi(g),對變異個體越界處理。

步驟5根據(jù)式(10)生成實驗個體ui(g),評價ui(g)。

步驟6根據(jù)式(11)進行選擇操作,如果生成新的個體,則count=count+1,反之count保持不變。根據(jù)式(15)更新CRi,根據(jù)式(13)更新ZZi。

步驟8輸出最優(yōu)個體,在測試集上驗證。

4 仿真實驗

為驗證本文所提模型的有效性,本文選擇Mackey-Glass時間序列、贛州月平均氣溫—降雨量數(shù)據(jù)集進行仿真實驗,并提出2組分別適合大樣本和小樣本的ESN儲備池參數(shù)取值范圍。同時,在相同數(shù)據(jù)集上,與人工蜂群[11]優(yōu)化ESN(ABC-ESN)、狼群算法[13]優(yōu)化ESN(GWO-ESN)、粒子群[12]優(yōu)化ESN(PSO-ESN)和極限學(xué)習(xí)機(ELM)預(yù)測模型的仿真結(jié)果進行比較。模型預(yù)測性能好壞的評價指標(biāo)為均方根誤差(Root Mean Square Error,RMSE)、平均對稱絕對誤差(Symmetric Mean Absolute Percentage Error,SMAPE)和標(biāo)準(zhǔn)化均方根誤差(Normalized Root Mean Squared Error,NRMSE)。RMSE、SMAPE、NRMSE的計算公式定義如下:

(17)

(18)

(19)

4.1 Mackey-Glass時間序列

本文采用龍格庫塔[21](Runge-Kutte)方法來生成Mackey-Glass混沌時間序列數(shù)據(jù)。Mackey-Glass(MG)時滯微分方程如下:

(20)

當(dāng)θ>17時,整個序列是混沌的,無周期的,且不收斂不發(fā)散,本文取θ=17時產(chǎn)生的10 000組MG時間序列。

由于MG時間序列數(shù)據(jù)較大適合大樣本的ESN儲備池參數(shù)取值范圍。改進高斯骨架差分進化算法優(yōu)化ESN模型參數(shù)的設(shè)定:初始化儲備池大小Nini范圍設(shè)為[10,150]、儲備池規(guī)模N范圍設(shè)為[500,1500]、譜半徑R范圍設(shè)為[0.5,1.5]、稀疏度D范圍設(shè)為[0.01,0.1]及輸入變換因子S范圍設(shè)為[0.1,1];種群大小NP設(shè)為25,最大迭代次數(shù)設(shè)為100,閾值ω設(shè)為0.001,τ值設(shè)為0.2.前9000條MG數(shù)據(jù)用于訓(xùn)練,后1 000條MG數(shù)據(jù)用于測試。人工蜂群優(yōu)化ESN模型、灰狼優(yōu)化ESN模型以及粒子群優(yōu)化ESN模型的參數(shù)設(shè)置同改進的高斯骨架差分優(yōu)化ESN模型一致。表1給出了對于MG時間序列IGBDE選出的最優(yōu)參數(shù)值。

表1 Mackey-Glass時間序列:IGBDE-ESN模型參數(shù)Tab.1

表2給出不同模型對MG時間序列的預(yù)測結(jié)果,可以看出本文所提出的模型在RMSE、SMAPE、NRMSE方面均優(yōu)于其他對比模型,且更具優(yōu)勢。其中狼群、人工蜂群優(yōu)化ESN模型的預(yù)測精度不及粒子群優(yōu)化ESN模型,由此可以看出在同時優(yōu)化多個不同范圍的參數(shù)時,狼群、人工蜂群優(yōu)化ESN存在一定的局限性。

表2 Mackey-Glass時間序列:測試集仿真結(jié)果Table 2 Mackey-Glass time series:test set simulation results

圖3給出了IGBDE-ESN對MG測試數(shù)據(jù)的預(yù)測曲線和誤差曲線。從圖中可以看出IGBDE-ESN能夠很好的擬合Mackey-Glass時間序列,且誤差值越來越趨近于零。

圖3 IGBDE-ESN對MG測試數(shù)據(jù)的預(yù)測曲線和誤差曲線Figure 3 Prediction curve and error curve of IGBDE-ESN on MG test data

圖4給出對于MG時間序列,本文所提出的改進的高斯骨架差分進化算法優(yōu)化ESN(IGBDE-ESN)、人工蜂群優(yōu)化ESN(ABC-ESN)、灰狼優(yōu)化ESN(GWO-ESN)以及粒子群優(yōu)化ESN(PSO-ESN)在迭代過程中的適應(yīng)度值(Fitness)的變化曲線圖.為了更清楚地顯示各個模型適應(yīng)度曲線的差別,對適應(yīng)度的值取以10為底的對數(shù).從圖中可以看出IGBDE-ESN模型在迭代過程中,誤差越來越小,最終誤差值在其他同類模型中最低。

圖4 Mackey-Glass時間序列:不同模型的適應(yīng)的曲線Figure 4 Mackey-Glass time series：Adaptation curves for different models

4.2 贛州月平均氣溫序列

在中國氣象網(wǎng)上獲取贛州市從1971年1月到2021年10月的月平均氣溫數(shù)據(jù)記錄值,作為仿真實驗數(shù)據(jù),采樣間隔為月.共計609組數(shù)據(jù),其中前450條數(shù)據(jù)作為訓(xùn)練集,后159條數(shù)據(jù)作為測試集.該數(shù)據(jù)集采用小樣本的ESN儲備池參數(shù)取值范圍.改進高斯骨架差分進化算法優(yōu)化ESN模型參數(shù)的設(shè)定:初始化儲備池大小Nini范圍設(shè)為[10,50]儲備池規(guī)模N范圍設(shè)為[20,150]、譜半徑R范圍設(shè)為[0.1,1]、稀疏度D范圍設(shè)為[0.01,0.04]及輸入變換因子S范圍設(shè)為[0.0001,0.1];種群大小NP設(shè)為25,最大迭代次數(shù)設(shè)為100,閾值ω設(shè)為0.001,τ值設(shè)為0.2.為證明本文所提模型的有效性,對于ABC-ESN模型、GWO-ESN模型以及PSO-ESN模型的參數(shù)設(shè)置同IGBDE-ESN模型一致.表3給出本文所提模型針對贛州月平均氣溫序列選出的最優(yōu)儲備池參數(shù).

表3 贛州月平均氣溫：IGBDE-ESN模型參數(shù)Table 3 Monthly average temperature in Ganzhou:IGBDE-ESN model parameters

表4給出了不同模型對贛州月平均氣溫數(shù)據(jù)的預(yù)測結(jié)果,可以看出本文所提模型在RMSE、SMAPE、NRMSE方面均優(yōu)于其他對比模型。其中狼群、人工蜂群優(yōu)化ESN模型的預(yù)測精度不及粒子群優(yōu)化ESN模型但也相差不大,由此可見粒子群、狼群、人工蜂群對贛州月平均氣溫的預(yù)測大體上差不多,但也不及本文所提模型。

表4 贛州月平均氣溫:測試集仿真結(jié)果Table 4 Monthly average temperature in Ganzhou:Test set simulation results

圖5給出了IGBDE-ESN模型對贛州月平均氣溫序列測試數(shù)據(jù)的預(yù)測曲線和誤差曲線。從圖中可以看出,本文模型能夠很好地擬合贛州月平均氣溫序列曲線,絕對誤差較小。

圖5 IGBDE-ESN對贛州月平均氣溫測試數(shù)據(jù)的預(yù)測曲線和誤差曲線Figure 5 Prediction curve and error curve of IGBDE-ESN on monthly average temperature test data in Ganzhou

圖6給出對贛州月平均氣溫數(shù)據(jù)集,IGBDE-ESN、ABC-ESN、GWO-ESN及PSO-ESN在迭代過程中的適應(yīng)度值的變化曲線圖,為了更清楚地顯示各個模型適應(yīng)度曲線的差別,對適應(yīng)度的值取以10為底的對數(shù),從圖中可以看出IGBDE-ESN算法收斂速度快,且誤差較小。

圖6 贛州月平均氣溫序列:不同模型的適應(yīng)的曲線Figure 6 Sequence of monthly average temperatures in Ganzhou：Adaptation curves of different models

5 結(jié)論

本文通過選用不同樣本容量的時間序列,利用改進的高斯骨架差分進化算法來動態(tài)的選擇回聲狀態(tài)網(wǎng)絡(luò)參數(shù),并找到了兩組適合不同樣本容量的儲備池參數(shù)范圍,以適應(yīng)于不同的時間序列的動力學(xué)特性,從而提高ESN的預(yù)測精度和泛化性能。對差分進化算法改進主要有2點,一是提出了一種新的策略選擇機制,使個體能夠隨著進化動態(tài)的選擇合適的變異策略,以提高DE算法性能。二是將高斯三角變異策略替換掉策略選擇機制中的高斯變異策略,進一步增強DE算法在進化初期的勘探能力。對兩組時間序列進行預(yù)測分析,仿真實驗結(jié)果表明,本文所提模型較其他預(yù)測模型更好,既具有較高的預(yù)測精度,又具有較快的收斂速度,在時間序列預(yù)測分析中具有實用性和有效性、普適性。