基于彈性小世界回聲狀態(tài)網(wǎng)絡(luò)的非線性時(shí)間序列預(yù)測

任條娟 鐘陳健 劉半藤,2 鄭啟航

1(常州大學(xué)信息科學(xué)與工程學(xué)院 江蘇 常州 213164)2(浙江樹人大學(xué)信息科技學(xué)院 浙江 杭州 310015)

0 引 言

目前，時(shí)間序列預(yù)測在醫(yī)學(xué)[1]、工業(yè)[2]、金融[3]等領(lǐng)域有著廣泛需求，而大量的時(shí)間序列呈現(xiàn)不穩(wěn)定非線性特征，對(duì)非線性時(shí)間序列的預(yù)測長期都是時(shí)間序列分析領(lǐng)域的難題之一[4]。非線性時(shí)間序列預(yù)測方法主要分為兩類：一類通過回歸分析[5-6]，構(gòu)建回歸模型，該方法適合持續(xù)時(shí)間較長、變化較為緩慢的序列的預(yù)測；另一類是通過機(jī)器學(xué)習(xí)方法[7-9]。文獻(xiàn)[7-8]分別用深度神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)對(duì)非線性時(shí)間序列進(jìn)行預(yù)測能夠取得較好的預(yù)測效果，但是它們?cè)谟?xùn)練過程中，需要的樣本過多，網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜龐大，導(dǎo)致計(jì)算復(fù)雜性過大?；芈暊顟B(tài)網(wǎng)絡(luò)預(yù)測方法(ESN)作為一種基于儲(chǔ)備池計(jì)算的神經(jīng)網(wǎng)路，結(jié)構(gòu)簡單，只需采用一個(gè)隨機(jī)大規(guī)模的稀疏連接的儲(chǔ)備池即可保證模型對(duì)非線性數(shù)據(jù)的處理能力，通過樣本輸出進(jìn)行反饋學(xué)習(xí)，實(shí)時(shí)修正預(yù)測模型，被廣泛用于非線性時(shí)間序列的應(yīng)用中[10-12]，而ESN儲(chǔ)備池網(wǎng)絡(luò)的隨機(jī)性使得模型訓(xùn)練無目的性、收斂速度慢，無法滿足非線性時(shí)間序列準(zhǔn)確有效的預(yù)測需求[13-14]。因此本文用小世界網(wǎng)絡(luò)替代隨機(jī)網(wǎng)絡(luò)作為儲(chǔ)備池來構(gòu)建非線性時(shí)間序列預(yù)測模型，小世界網(wǎng)絡(luò)同時(shí)具備隨機(jī)網(wǎng)絡(luò)和規(guī)則性，提高了模型適應(yīng)性和收斂速度。

以小世界網(wǎng)絡(luò)作為儲(chǔ)備池的ESN模型，在計(jì)算輸出權(quán)值時(shí)，易受儲(chǔ)備池規(guī)模的影響。當(dāng)儲(chǔ)備池規(guī)模過大時(shí)存在共線性問題，且容易引入噪聲，影響模型的泛化性；當(dāng)儲(chǔ)備池規(guī)模過小時(shí)存在欠擬合現(xiàn)象，無法體現(xiàn)其強(qiáng)大的非線性處理能力。為了解決該問題，文獻(xiàn)[15]引入一種信息論結(jié)合ESN的方法，通過信息論計(jì)算剪枝概率，實(shí)現(xiàn)輸出的選擇與壓縮，剔除噪聲干擾，從而提高泛化性。另外，Ridge回歸法[16-17]和Lasso回歸法[18-19]等正則化方法，通過在計(jì)算輸出權(quán)值時(shí)添加懲罰項(xiàng)，分別解決了共線性問題和噪聲干擾問題。

因此，為提高非線性時(shí)間序列的預(yù)測精度，本文提出了一種基于彈性小世界回聲狀態(tài)網(wǎng)絡(luò)的非線性時(shí)間序列預(yù)測模型(ESWESN)，用小世界網(wǎng)絡(luò)替代隨機(jī)網(wǎng)絡(luò)作為儲(chǔ)備池來構(gòu)建非線性時(shí)間序列預(yù)測模型，提高模型的適應(yīng)性和非線性映射能力；并且在計(jì)算輸出權(quán)值時(shí)，提出一種基于彈性懲罰的權(quán)值計(jì)算模型，綜合Ridge回歸和Lasso回歸兩者的優(yōu)點(diǎn)，解決共線性問題并合理縮減儲(chǔ)備池規(guī)模，提高模型求解穩(wěn)定性和預(yù)測精度。

1 模型設(shè)計(jì)

1.1 小世界回聲狀態(tài)網(wǎng)絡(luò)

回聲狀態(tài)網(wǎng)絡(luò)由輸入層、儲(chǔ)備池和輸出層構(gòu)成，其中儲(chǔ)備池是一種網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)輸入輸出的非線性映射，傳統(tǒng)ESN采用隨機(jī)網(wǎng)絡(luò)作為儲(chǔ)備池，產(chǎn)生網(wǎng)絡(luò)節(jié)點(diǎn)連接不確定問題，導(dǎo)致模型訓(xùn)練存在盲目性，影響模型的非線性預(yù)測能力，增大系統(tǒng)開銷。因此，本文采用小世界網(wǎng)絡(luò)代替隨機(jī)網(wǎng)絡(luò)作為儲(chǔ)備池。

小世界網(wǎng)絡(luò)是能夠反映真實(shí)世界的網(wǎng)絡(luò)結(jié)構(gòu)，介于隨機(jī)網(wǎng)絡(luò)和規(guī)則網(wǎng)絡(luò)之間，同時(shí)具備兩者的優(yōu)點(diǎn)，既有較短特征路徑長度又有較高聚合系數(shù)。這種特殊的網(wǎng)絡(luò)結(jié)構(gòu)使得信息在網(wǎng)絡(luò)中傳遞速度極快，并具有較大的靈活性，改變幾個(gè)連接就可以劇烈地改變整個(gè)網(wǎng)絡(luò)的性能[20-21]。目前，小世界網(wǎng)絡(luò)結(jié)構(gòu)常用模型包括WS模型和NW模型，由于WS模型構(gòu)造算法中的隨機(jī)化過程有可能破壞網(wǎng)絡(luò)的連通性，造成信息在網(wǎng)絡(luò)中的傳遞中斷，而NW模型能夠有效地避免網(wǎng)絡(luò)中孤立節(jié)點(diǎn)的產(chǎn)生，更適合作為回聲狀態(tài)網(wǎng)絡(luò)的儲(chǔ)備池以保證模型的非線性映射能力，降低計(jì)算復(fù)雜度[22]。其拓?fù)浣Y(jié)構(gòu)如圖1所示。

圖1 小世界回聲狀態(tài)網(wǎng)絡(luò)結(jié)構(gòu)

小世界回聲狀態(tài)網(wǎng)絡(luò)的狀態(tài)方程為：

x(t)=f(Winu(t)+Wxx(t-1))

(1)

輸出方程為：

y(t)=xT(t)Wout

(2)

式中：u(t)∈RL、x(t)∈RM和y(t)∈R分別表示儲(chǔ)備池t時(shí)刻的輸入變量、狀態(tài)變量和輸出變量；激活函數(shù)f通常取雙曲正切tanh函數(shù)；Win∈RM×L、Wx∈RM×M和Wout∈RM分別為輸入權(quán)值矩陣、儲(chǔ)備池內(nèi)部權(quán)值矩陣和輸出權(quán)值矩陣。其中Win和Wx在網(wǎng)絡(luò)訓(xùn)練前隨機(jī)產(chǎn)生，在訓(xùn)練過程中不再改變，輸出權(quán)值Wout可通過線性回歸計(jì)算得到，常用的方法有偽逆法、Ridge回歸法和Lasso回歸法[23-25]等。通常情況下，由訓(xùn)練時(shí)收集狀態(tài)變量x(t)產(chǎn)生的小世界網(wǎng)絡(luò)內(nèi)部狀態(tài)矩陣X是高維帶噪聲的，偽逆法求解高維線性回歸時(shí)易出現(xiàn)共線性問題；Ridge回歸法通過添加l2范數(shù)解決共線性問題，但無法縮減模型，泛化性能差；Lasso回歸為了剔除噪聲干擾，通過添加l1范數(shù)過度壓縮模型規(guī)模，預(yù)測精度降低。

1.2 基于彈性懲罰的輸出權(quán)值計(jì)算模型

針對(duì)上述問題，本文提出了一種基于彈性懲罰的輸出權(quán)值計(jì)算模型，綜合了Lasso和Ridge回歸方法形成凸組合函數(shù)，其目標(biāo)函數(shù)為：

(3)

令α=λ1/(λ1+λ2)，λ=λ1+λ2，得到目標(biāo)函數(shù)如下：

(4)

上述模型的求解方法可轉(zhuǎn)化為Lasso回歸方法求解，對(duì)于給定的樣本數(shù)據(jù)(X,Y)和(λ1,λ2)，定義一個(gè)增廣數(shù)據(jù)集(X*,Y*)，其中:

(5)

(6)

可得：

(7)

(8)

(9)

因此，本文算法的訓(xùn)練和計(jì)算過程如下：

步驟一初始化模型參數(shù)，設(shè)置儲(chǔ)備池規(guī)模為250，譜半徑為0.9，小世界加邊概率為0.05。

步驟二按上述參數(shù)設(shè)置構(gòu)建NW小世界網(wǎng)絡(luò)模型，將其作為儲(chǔ)備池，得到小世界回聲狀態(tài)網(wǎng)絡(luò)預(yù)測模型。

步驟三利用訓(xùn)練數(shù)據(jù)集計(jì)算并收集狀態(tài)變量x(t)，獲得儲(chǔ)備池內(nèi)部狀態(tài)矩陣X和輸出變量Y。

2 仿真實(shí)驗(yàn)

為了驗(yàn)證本方法的有效性，用Narma、MackeyGlass和Lorenz混沌時(shí)間序列進(jìn)行測試。

1) Narma系統(tǒng)，其混沌動(dòng)力學(xué)公式為:

y(t+1)=0.7u(t-τ)+0.1+(1-y(t))y(t)

(10)

式中：u(t-τ)為隨機(jī)序列，取τ=2，y(0)=0，迭代依次求出1 500個(gè)時(shí)刻進(jìn)行仿真測試。通過歸一化、相空間重構(gòu)處理后進(jìn)行仿真測試。實(shí)驗(yàn)取時(shí)間序列的前1 300個(gè)時(shí)刻訓(xùn)練模型，后200個(gè)時(shí)刻用于預(yù)測。

2) MackeyGlass系統(tǒng)，其混沌動(dòng)力學(xué)公式為:

(11)

取a=0.2，b=0.1，c=10，τ=17，x(0)=1.2，t(0)=0，系統(tǒng)呈現(xiàn)出混沌特性。利用四階龍格庫塔算法對(duì)MackeyGlass系統(tǒng)求得1 500個(gè)時(shí)刻進(jìn)行仿真測試。通過歸一化、相空間重構(gòu)處理后進(jìn)行仿真測試。實(shí)驗(yàn)取時(shí)間序列的前1 300個(gè)時(shí)刻訓(xùn)練模型，后200個(gè)時(shí)刻用于預(yù)測。

3) Lorenz系統(tǒng)，其混沌動(dòng)力學(xué)公式為:

(12)

取a=10，b=28，c=8/3，x(0)=12，y(0)=2，z(0)=9，系統(tǒng)呈現(xiàn)出混沌特性。利用四階龍格庫塔算法對(duì)Lorenz系統(tǒng)求得1 500個(gè)時(shí)刻，通過歸一化、相空間重構(gòu)處理后進(jìn)行仿真測試，取x軸時(shí)間序列的前1 300個(gè)時(shí)刻訓(xùn)練模型，后200個(gè)時(shí)刻用于預(yù)測。

用ESWESN模型分別對(duì)上述三種混沌時(shí)間序列進(jìn)行預(yù)測，預(yù)測效果分別如圖2-圖4所示。

圖2 Narma預(yù)測曲線和目標(biāo)曲線

圖3 MackeyGlass預(yù)測曲線和目標(biāo)曲線

圖4 Lorenz的預(yù)測曲線和目標(biāo)曲線

進(jìn)一步分析ESWESN模型在不同儲(chǔ)備池維度下時(shí)間序列預(yù)測能力，通過重復(fù)實(shí)驗(yàn)(20次)，計(jì)算與目標(biāo)序列的均方根誤差(RMSE)和對(duì)稱平均絕對(duì)百分率誤差(SMAPE)。

均方根誤差用來衡量觀測值同真值之間的偏差，其計(jì)算公式定義為：

(13)

對(duì)稱平均絕對(duì)百分率誤差用來衡量時(shí)間序列擬合的準(zhǔn)確度，其計(jì)算公式定義為：

(14)

設(shè)置不同儲(chǔ)備池規(guī)模大小，將計(jì)算結(jié)果與ESN模型、SWESN模型、基于Ridge回歸的SWESN模型(RSWESN)、基于Lasso回歸的SWESN模型(LSWESN)進(jìn)行比較，結(jié)果如表1-表3和圖5-圖10所示。

表1 Narma時(shí)間序列預(yù)測結(jié)果比較

表2 MackeyGlass時(shí)間序列預(yù)測結(jié)果比較

續(xù)表2

表3 Lorenz時(shí)間序列預(yù)測結(jié)果比較

圖5 Narma時(shí)間序列RMSE比較

圖6 Narma時(shí)間序列SMAPE比較

圖7 MackeyGlass時(shí)間序列RMSE比較

圖8 MackeyGlass時(shí)間序列SMAPE比較

圖9 Lorenz時(shí)間序列RMSE比較

圖10 Lorenz時(shí)間序列SMAPE比較

可以看出，ESWESN模型預(yù)測精度均高于ESN模型及其改進(jìn)模型。本文方法克服了ESN模型和SWESN模型的過擬合問題，自適應(yīng)地壓縮輸出權(quán)值規(guī)模，去除冗余特征，提高模型預(yù)測精度。由圖5可見，對(duì)Narma時(shí)間序列預(yù)測中，當(dāng)儲(chǔ)備池維度超過250時(shí)，ESN模型和SWESN模型出現(xiàn)過擬合，誤差開始增大；由圖7和圖9可見，對(duì)MackeyGlass和Lorenz時(shí)間序列進(jìn)行預(yù)測，當(dāng)儲(chǔ)備池維度超過350時(shí)，ESN模型和SWESN模型出現(xiàn)過擬合，誤差開始增大。本文方法克服了RSWESN模型不壓縮權(quán)值規(guī)模和LSWESN模型過度壓縮權(quán)值規(guī)模分別導(dǎo)致當(dāng)儲(chǔ)備池輸維度較大和較小時(shí)預(yù)測模型適應(yīng)度差的問題。由圖5可見，當(dāng)儲(chǔ)備池維度超過200時(shí)，RSWESN模型的預(yù)測精度相對(duì)較低，當(dāng)儲(chǔ)備池維度在100和150時(shí)，LSWESN模型的預(yù)測精度相對(duì)較低。綜上所述，本文方法的ESWESN模型自適應(yīng)壓縮輸出權(quán)值規(guī)模，選擇出對(duì)預(yù)測效果影響最大的輸出權(quán)值規(guī)模子集，優(yōu)化儲(chǔ)備池網(wǎng)絡(luò)，剔除噪聲干擾，提高了模型對(duì)時(shí)間序列預(yù)測的準(zhǔn)確性、穩(wěn)定性和可靠性。

3 結(jié) 語

本文提出一種彈性小世界回聲狀態(tài)網(wǎng)絡(luò)預(yù)測模型。用小世界網(wǎng)絡(luò)替代隨機(jī)網(wǎng)絡(luò)作為儲(chǔ)備池來構(gòu)建非線性時(shí)間序列預(yù)測模型，提高模型的適應(yīng)性和非線性映射能力，降低了模型開銷；在計(jì)算模型的輸出權(quán)值時(shí)，提出一種基于彈性懲罰的權(quán)值計(jì)算模型，提高了求解的數(shù)值穩(wěn)定性和準(zhǔn)確性。將ESWESN模型分別對(duì)三組不同類型的混沌時(shí)間序列進(jìn)行仿真實(shí)驗(yàn)，將預(yù)測結(jié)果與其他四種模型進(jìn)行對(duì)比，結(jié)果表明本文方法具有良好的穩(wěn)定性，取得了更好的預(yù)測效果。