結(jié)合高斯噪聲的回聲狀態(tài)網(wǎng)絡(luò)模型及其時間序列預(yù)測性能

摘要： 為了模擬回聲狀態(tài)網(wǎng)絡(luò)模型在時間序列預(yù)測實例中的影響因素，在回聲狀態(tài)網(wǎng)絡(luò)模型的儲備池層引入高斯噪聲，構(gòu)建結(jié)合高斯噪聲的回聲狀態(tài)網(wǎng)絡(luò)模型；利用公式推導(dǎo)分析所提模型的非線性性質(zhì)； 采用股票序列數(shù)據(jù)與Logistic混沌序列數(shù)據(jù)進行實驗驗證和對比分析。結(jié)果表明，本文所提模型的預(yù)測效果優(yōu)于回聲狀態(tài)網(wǎng)絡(luò)模型、 壓縮感知回聲狀態(tài)網(wǎng)絡(luò)模型和反向傳播神經(jīng)網(wǎng)絡(luò)模型，股票收盤價預(yù)測、Logistic混沌序列預(yù)測的平均絕對誤差均最小，分別為1.33×10^-3、 5.21×10^-4。

關(guān)鍵詞： 時間序列預(yù)測； 回聲狀態(tài)網(wǎng)絡(luò)模型； 高斯噪聲； 儲備池層

中圖分類號： TP183

文獻標(biāo)志碼： A

開放科學(xué)識別碼（OSID碼）：

Echo State Network Model Combined with

Gaussian Noise and Its Time Series Prediction Performance

WANG Zijian ZHAO Hui ZHENG Mingwen3， LI Xin2

（1. School of Information Science and Engineering， University of Jinan， Jinan 250022， Shandong， China;

2. Key Laboratory of Computing Power Network and Information Security， Ministry of Education，

Qilu University of Technology， Jinan 250353， Shandong， China;

3. School of Mathematics and Statistics， Shandong University of Technology， Zibo 255000， Shandong， China）

Abstract： To simulate the influencing factors of echo state network model in time series prediction， Gaussian noise was introduced into the reservoir layer of echo state network model， and the echo state network model combined with Gaussian noisewasconstructed.Thenonlinearrelationshipoftheproposedmodelwas derived by using the equation. The stock series data and Logistic chaotic series data were used for experimental verification and comparative analysis. The experimental results show that the prediction effect of the proposed model is better than the basic echo state network models and back propagationneuralnetworkmodel，andthemeanabsolute errors of stock closing price prediction and Logistic chaotic sequence prediction are the smallest， which are 1.33×10^-3 and 5.21×10^-4， respectively.

Keywords： time series prediction; echo state network; Gaussian noise; reservoir layer

回聲狀態(tài)網(wǎng)絡(luò)（echo state network， ESN）模型是一種特殊的遞歸神經(jīng)網(wǎng)絡(luò)模型，由Jaeger等^［1］提出。ESN模型使用儲備池層代替?zhèn)鹘y(tǒng)深度學(xué)習(xí)模型中計算復(fù)雜的隱藏層，避免了慢收斂和遞歸神經(jīng)學(xué)習(xí)算法不穩(wěn)定等問題。同時，與傳統(tǒng)的基于反向傳播算法的模型相比，ESN模型的關(guān)鍵參數(shù)的求解方法為最小二乘法，如偽逆法、 嶺回歸等，該類方法減少了模型的計算量，并有效避免了過擬合帶來的問題，為預(yù)測任務(wù)提供了更加靈活的解決方案。

ESN模型在時間序列預(yù)測^［2］中有很廣泛的應(yīng)用，例如：在能源預(yù)測領(lǐng)域，與深度學(xué)習(xí)結(jié)合的改進ESN模型對能源消耗與風(fēng)力發(fā)電實現(xiàn)了可靠預(yù)測^［3］；在混沌序列領(lǐng)域，一種結(jié)合了選擇性對抗灰狼優(yōu)化器（selective opposition grey wolf optimizer， SOGWO）的ESN模型實現(xiàn)了對混沌序列的精準(zhǔn)預(yù)測^［4］； 在股票預(yù)測領(lǐng)域，深度ESN模型在股票預(yù)測上也取得了較好的效果^［5］。2022年，Sun等^［6］總結(jié)了ESN模型在時間序列預(yù)測中的發(fā)展歷程，并指出未來該模型可優(yōu)化的方向，為后續(xù)的研究提供了理論支撐。Wang等^［7］提出了快速回聲狀態(tài)網(wǎng)絡(luò)（fast echo state network， FastESN）模型，該模型大大簡化了ESN模型的結(jié)構(gòu)，同時還能保證預(yù)測的準(zhǔn)確性。在先前的工作中，也有學(xué)者使用基于壓縮感知的回聲狀態(tài)網(wǎng)絡(luò)（compressed sensing echo state network， CSESN）模型進行了股票預(yù)測和一系列時間序列預(yù)測^［8］。壓縮感知技術(shù)能夠解決ESN模型中節(jié)點冗余、 計算效率低的問題，從而提高了網(wǎng)絡(luò)的運行效率，并且取得了較好的預(yù)測結(jié)果。此外，在前人研究基礎(chǔ)上，Wang等^［9］在池化激活算法以及壓縮感知算法的基礎(chǔ)上提出池化壓縮感知回聲狀態(tài)網(wǎng)絡(luò)（pooling compressed sensing echo state network， PCSESN）模型， 該模型解決了儲備池的節(jié)點冗余與信息冗余問題。為了減少深度ESN模型的計算量，Liu等^［10］提出了最小復(fù)雜度交互回聲狀態(tài)網(wǎng)絡(luò)（minimum complexity interaction echo state network， MCI-ESN）模型，該模型在混沌序列預(yù)測上取得了很好的效果。

近年來的研究^［11-13］證明，高斯噪聲可以提高算法的數(shù)值穩(wěn)定性，還可以避免模型陷入對預(yù)測極其不利的局部極小值^［14］，有助于改善結(jié)構(gòu)復(fù)雜的網(wǎng)絡(luò)的預(yù)測效果。高斯噪聲是指滿足高斯分布（也稱正態(tài)分布）的隨機噪聲，在機器學(xué)習(xí)領(lǐng)域，高斯噪聲常常用于正則化等技術(shù)中，通過高斯噪聲與模型的權(quán)重參數(shù)相結(jié)合，可以動態(tài)調(diào)整參數(shù)狀態(tài)和提升模型魯棒性^［15］。高斯噪聲與深度模型相結(jié)合的研究在不同任務(wù)中都有體現(xiàn)，如高斯噪聲融入數(shù)據(jù)樣本，增加數(shù)據(jù)的復(fù)雜性，可訓(xùn)練深度模型對異常值的敏感性^［16］； 也有學(xué)者將非線性電子元件與ESN模型相結(jié)合，將高斯噪聲與輸入數(shù)據(jù)相結(jié)合，測試ESN模型對帶有噪聲的數(shù)據(jù)的敏感性，該模型在分類任務(wù)中也取得了較好的結(jié)果^［17］。盡管如此，已有研究中并未將高斯噪聲用于模擬實際影響因素對實際預(yù)測任務(wù)的影響，大多數(shù)情況是將高斯噪聲作為一種模型學(xué)習(xí)的阻力或負面因素存在，少部分魯棒性偏弱的模型在高斯噪聲的復(fù)雜非線性影響下，預(yù)測精度可能會顯著降低。如果高斯噪聲能夠正向的、輔助性地與模型相結(jié)合，幫助模型訓(xùn)練，那么模型的預(yù)測精度就能夠進一步提升。

從混沌序列預(yù)測的角度來看，ESN模型能夠很好地學(xué)習(xí)混沌系統(tǒng)并發(fā)掘其中存在的非線性關(guān)系^［18］。在混沌學(xué)領(lǐng)域中，已有的研究中也提到高斯噪聲可以用于幫助模型實現(xiàn)更準(zhǔn)確的預(yù)測效果^［19］，但應(yīng)該注意的是，只有仔細選擇和調(diào)整滿足高斯分布的噪聲值，才能適應(yīng)不同的預(yù)測任務(wù)。

針對以往ESN模型均面向儲備池結(jié)構(gòu)的優(yōu)化，很少將預(yù)測任務(wù)中某些重要的影響因素引入模型架構(gòu)的問題，本文中以時間序列為具體實例，模擬其中重要的影響因素，以參數(shù)或者變量的形式引入ESN模型結(jié)構(gòu)中，輔助ESN模型訓(xùn)練，進一步提升模型的預(yù)測精度，實現(xiàn)更精確的時序預(yù)測。在實際的股票預(yù)測中，至關(guān)重要的影響因素為政策干預(yù)，考慮到ESN模型內(nèi)儲備池的非線性特性，因此在模型中嘗試引入具有非線性性質(zhì)的因素，以提升模型預(yù)測精度。本文中提出了一種結(jié)合高斯噪聲的ESN模型，解決ESN模型框架中時序預(yù)測任務(wù)欠缺合理的影響因素模擬的問題，通過公式推導(dǎo)證明高斯噪聲與ESN模型結(jié)合的合理性。結(jié)合實際應(yīng)用，在ESN模型框架下使用高斯噪聲模擬股市中的政策干預(yù)因素，高斯噪聲值代表政策對股市的影響，通過實驗驗證所提模型的合理性。

1 ESN模型

ESN模型的基本結(jié)構(gòu)由3個部分組成，分別為輸入層、 儲備池層、 輸出層。與其他神經(jīng)網(wǎng)絡(luò)相比，經(jīng)典ESN模型的大多數(shù)參數(shù)是在訓(xùn)練階段隨機初始化的，且該類參數(shù)在隨機初始化后的取值不再變化，關(guān)鍵參數(shù)的確定方式則采用最小二乘法求解。ESN模型的結(jié)構(gòu)如圖1所示。由圖可知，輸入層連接權(quán)重矩陣Win建立輸入層與儲備池層之間的連接，將輸入數(shù)據(jù)分批傳遞到儲備池層，用于后續(xù)的訓(xùn)練過程； 儲備池層連接權(quán)重矩陣W在儲備池層內(nèi)多個節(jié)點之間建立連接，而且W的初始值也有特殊要求，即必須是稀疏矩陣以保證具有回聲狀態(tài)特性的ESN模型。該類參數(shù)在未經(jīng)過訓(xùn)練的情況下在一定值區(qū)間內(nèi)隨機初始化。一旦初始過程完成，參數(shù)Win和W就被固定，唯一要依據(jù)數(shù)據(jù)特性進行訓(xùn)

練的參數(shù)為輸出層連接權(quán)重矩陣Wout。該參數(shù)以最小二乘解的形式進行訓(xùn)練，同時訓(xùn)練階段結(jié)束后最終取值保持不變。

由于ESN模型的預(yù)測過程涉及到不同時間的數(shù)據(jù)的維度變化和狀態(tài)變化，因此保證該過程的關(guān)鍵是儲備池層和輸出層功能的同時活躍。儲備池層的計算公式為

x（n）=f［Winu（n）+Wx（n-1）］ ，（1）

輸出層的計算公式為

y（n）=fout［Woutx（n）］ ，（2）

式中： u（n）、 x（n）和y（n）分別是第n個時刻的輸入數(shù)據(jù)、 儲備池層的節(jié)點狀態(tài)以及預(yù)測值； f（·）、 fout（·）代表激活函數(shù)， 常用的激活函數(shù)有tanh、 sigmoid等。

ESN模型在訓(xùn)練階段還須要計算關(guān)鍵參數(shù)Wout，常見的計算方法為偽逆法，計算公式為

Wout=Y·XT（XXT）^-1 ，（3）

式中： X=（x（1）， x（2）， …， x（n））為儲備池層節(jié)點所有歷史狀態(tài)構(gòu)成的矩陣， x（·）為某時刻的儲備池層節(jié)點狀態(tài)； Y·=（y·（1）， y·（2）， …， y·（n））為所有歷史標(biāo)簽構(gòu)成的矩陣， y·（·）為某時刻的標(biāo)簽值。

在此基礎(chǔ)上，也有研究者向其中添加正則項系數(shù)來避免可能存在的過擬合問題，提升模型的穩(wěn)定性，計算公式^［20］為

Wout=Y·XT（XXT+λE）^-1 ，（4）

式中λE是正則項， λ為正則系數(shù)， E是單位矩陣。

2 結(jié)合高斯噪聲的ESN模型

股票價格的變化趨勢一直備受投資者的關(guān)注。為了使股票投資收益最大化，投資者須要考慮國家政策、國際經(jīng)濟形勢和政府調(diào)控政策等多種因素。其中，政策調(diào)控對國內(nèi)股票收盤價的影響最為直接和顯著，因此本文中在ESN模型框架下，將高斯噪聲用于模擬政策干預(yù)對股票價格的影響。政策干預(yù)通常是在一定的時間段內(nèi)施加的，因此這個時間段可以看作是一個隨機變量，其分布可以采用高斯分布進行模擬。政策干預(yù)可能會對股票市場產(chǎn)生各種影響，例如改變市場的供需關(guān)系、 提高或降低股票市場的流動性等。通過將高斯噪聲添加到股票價格中，可以模擬這些影響，從而更準(zhǔn)確地預(yù)測股票價格的走勢。

在此理論基礎(chǔ)與假設(shè)上，結(jié)合高斯噪聲的ESN模型的儲備池層計算公式為

x（n）=f［Winu（n）+Wx（n-1）+（n）］ ，（5）

式中（n）表示第n時刻的高斯噪聲項。

本文中將高斯噪聲與ESN結(jié)合以后的模型稱為結(jié)合高斯噪聲的回聲狀態(tài)網(wǎng)絡(luò)（ESN-N）模型，其結(jié)構(gòu)圖如圖2所示。由圖可知，高斯噪聲是添加在儲備池層內(nèi)，在此基礎(chǔ)上，如果加入高斯噪聲后的模型因達到了某些條件而具備了更好的預(yù)測精度，那么就說明加入噪聲后的ESN-N模型取得了更好的效果。具體的公式推導(dǎo)如下：

假設(shè)第n個時刻的儲備池層狀態(tài)為x（n），輸入為u（n），儲備池層的更新公式為

x（n）=f［Winu（n）+Wx（n-1）+（n）］ ，（6）

式中（n）是均值為0、 方差為σ2的高斯噪聲。 （n）可以表示為σv（n），v（n）是均值為0、 方差為1的標(biāo)準(zhǔn)正態(tài)分布序列，則公式可以寫為

x（n）=f［Winu（n）+Wx（n-1）+σv（n）］。（7）

在此基礎(chǔ)上，使用泰勒級數(shù)展開f（·）函數(shù)，將其近似為

f（x）≈∑Kk=0f^（k）（0）k！xk ，（8）

K趨于無窮大，將式（8）代入更新公式中，得到

x（n）=∑Kk=0f^（k）（0）k！{［Winu（n）+Wx（n-1）+σv（n）］}k 。（9）

使用二項式展開右側(cè)的多項式，得到

x（n）=∑Kk=0f^（k）（0）k∑ki=0k

i［

Winu（n）

+

Wx（n-1）

］i·

［σv（n）］^k-i 。（10）

將噪聲項的冪同樣按照泰勒公式展開， 可以得到

［σv（n）］^k-i=σ^k-iv^k-i（n）=

σ^k-i∑Kj=0v^（j）（n0）j?。╪-n0）^k-i ，（11）

化簡可以得到

［σv（n）］^k-i=σ^k-iv^k-i（n）=

σ^k-i∑Kj=0v^（j）（n-1）j！k-i ，（12）

進而得到新的展開式

x（n）=∑Kk=0f^（k）（0）k！∑ki=0k

i［Winu（n）

+

Wx（n-1）］i·

σ^k-i∑Kj=0v^（j）（n-1）j！k-i 。（13）

式（13）進一步整理得到

x（n）=∑Kk=0F1［Winu（n）+Wx（n-1）］k F2［σv（n）］k 。（14）

在式（14）中， ESN模型可看作是2個濾波器的級聯(lián)組合， F1（·）k對應(yīng)一個非線性濾波器， 其輸入為Winu（n）+Wx（n-1）， 輸出為非線性函數(shù)f（·）的泰勒級數(shù)展開式的前K項的加權(quán)和。 F2（·）k對應(yīng)一個高斯噪聲的濾波器， 其輸入為隨機變量v（n）， 輸出為以σ為標(biāo)準(zhǔn)差的高斯分布的加權(quán)和， 通過添加高斯噪聲， ESN模型被引入更多的隨機性和非線性關(guān)系， 使得模型能夠更好地捕捉數(shù)據(jù)中的細微變化和不規(guī)則性。

3 實驗仿真

本文中實驗使用了2種數(shù)據(jù)集，分別為30支股票過去10 a的歷史收盤價與Logistic混沌序列，評價指標(biāo)使用絕對誤差和（AES）、 平均絕對誤差（MAE）與均方誤差（MSE）， 三者的計算公式為

PAES=∑Ni=1yi-y·i ，（15）

PMAE=1N∑Ni=1yi-y·i ，（16）

PMSE=1N∑Ni=1yi-y·i2 ，（17）

式中： PAES、 PMAE與PMSE分別為AES、 MAE與MSE的統(tǒng)計結(jié)果； y·i為真實值； yi為預(yù)測值。

為了使數(shù)據(jù)更加順滑與平穩(wěn)，輔助模型學(xué)習(xí)，本文中對輸入數(shù)據(jù)進行樣本分組與歸一化處理。實驗中選擇50個輸入節(jié)點、 1個輸出節(jié)點和1 024個儲備池節(jié)點。儲備池節(jié)點的激活函數(shù)采用tanh函數(shù)，學(xué)習(xí)率為0.85。實驗的目的是比較ESN、 ESN-N模型在股票數(shù)據(jù)與混沌序列的預(yù)測效果，驗證理論推導(dǎo)的合理性。同時，本文中還比較了CSESN模型引入噪聲前、 后的預(yù)測性能，進一步驗證高斯噪聲引入ESN模型中可以增強模型的非線性預(yù)測能力，稱引入高斯噪聲的CSESN模型為結(jié)合高斯噪聲的壓縮感知回聲狀態(tài)網(wǎng)絡(luò)（CSESN-N）模型。股票數(shù)據(jù)覆蓋多個不同領(lǐng)域，數(shù)據(jù)點總個數(shù)為103 615。實驗內(nèi)容是預(yù)測股票數(shù)據(jù)的收盤價，圖3所示為一支股票數(shù)據(jù)某時刻的收盤價格。

表1所示為不同模型對股票收盤價的預(yù)測結(jié)果。由表可知，當(dāng)代表政策干預(yù)的高斯噪聲引入到ESN模型中后，ESN-N模型的預(yù)測效果明顯改善，MAE、 MSE減小到了1.60×10^-3、 1.29×10^-5，與ESN模型相比減少了0.13×10^-3、 0.13×10^-5，AES也達到了更小的3.26，與ESN模型相比減少了0.26， 驗證了高斯噪聲能賦予ESN模型更強大的非線性預(yù)測能力。同樣地，引入高斯噪聲后的CSESN-N模型也展現(xiàn)出很好的預(yù)測效果， 與CSESN模型相比，各個指標(biāo)數(shù)值均不同程度減小， 說明模型應(yīng)對非線性變換的預(yù)測能力也有所提升。 本文中還將經(jīng)典的反向傳播神經(jīng)網(wǎng)絡(luò)^［21］（back propagation neural network， BPNN）模型用于股票價格預(yù)測， 并與相關(guān)模型進行對比。結(jié)果表明， 引入高斯噪聲后的ESN-N模型的MAE、 MSE以及AES與BPNN模型相比分別下降了1.84×10^-2、 6.26×10^-4以及38.28。

以引入高斯噪聲后的CSESN-N模型為例，圖4所示為該模型在預(yù)測階段對未來12 d的股票收盤價預(yù)測結(jié)果。由圖可見，CSESN-N模型很好地擬合了股票收盤價數(shù)據(jù)，實現(xiàn)了股票價格的精準(zhǔn)預(yù)測，表明高斯噪聲的引入對ESN模型在混沌序列的預(yù)測同樣起到了積極的作用。

混沌序列具有初值敏感性、 隨機性、 非線性，對于該序列的準(zhǔn)確預(yù)測須要具有良好的泛化能力，因此通過使用混沌序列進行測試，可以評估模型的非線性預(yù)測能力。本文中采用Logistic混沌序列^［22］驗證引入高斯噪聲后的ESN模型的非線性預(yù)測能力。Logistic混沌序列的數(shù)據(jù)點個數(shù)為100 000。Logistic混沌序列生成公式為

X（n+1）=uX（n）［1-X（n）］ ，（18）

式中： u為繁殖率，決定混沌序列節(jié)點的分布形式，取值為［0， 4］； X（n）為第n時刻的混沌序列的節(jié)點狀態(tài)，取值為［0， 1］。Logistic混沌序列部分節(jié)點分布如圖5所示。

不同模型在Logistic混沌序列的預(yù)測效果如表2所示。實驗選取的高斯噪聲均值與方差均與前文保持一致，ESN-N模型引入的隨機生成的高斯噪聲的均值為5×10^-3，方差為2.5×10^-5； CSESN-N模型加入的高斯噪聲的均值為10^-3，方差為10^-5。由表中結(jié)果可以看出： 引入高斯噪聲能夠提升ESN模型的非線性預(yù)測能力。 與ESN模型相比，CSESN模型表現(xiàn)出更強的非線性預(yù)測能力，而且高斯噪聲的引入進一步提升了CSESN模型的預(yù)測精度，與CSESN模型相比，CSESB-N模型的MAE、 MSE以及AES分別下降了5.29×10^-4、 1.374×10^-6以及1.03。圖6所示為CSESN-N模型的在預(yù)測階段對未來12個時間步的Logistic混沌序列預(yù)測結(jié)果。由圖可以看出，CSESN-N模型在混沌序列的預(yù)測值與真實值幾乎一致，具有優(yōu)秀的非線性預(yù)測性能。

4 結(jié)論

本文中將高斯噪聲與ESN模型結(jié)合，增強了ESN模型的非線性預(yù)測能力，提高了模型在股票預(yù)測以及混沌序列預(yù)測中的準(zhǔn)確性。結(jié)合股票預(yù)測與混沌序列預(yù)測實驗，證明代表政策干預(yù)的噪聲值引入到ESN模型后，ESN模型具有更好的非線性預(yù)測性能。相關(guān)結(jié)論總結(jié)如下：

1）當(dāng)滿足高斯分布的噪聲值被引入到ESN模型中時， 噪聲值的非線性特點使得ESN獲得更強的非線性預(yù)測能力， 有助于模型獲得更準(zhǔn)確的預(yù)測結(jié)果。

2）在ESN模型中使用高斯噪聲模擬股市中的政策干預(yù)因素，能夠反映政策干預(yù)對股市的影響，采用本文中提出的結(jié)合高斯噪聲的回聲狀態(tài)網(wǎng)絡(luò)模型能夠更準(zhǔn)確地預(yù)測股票收盤價的波動，取得更精確的預(yù)測結(jié)果。

參考文獻：

［1］ JAEGERH，HAASH.Harnessingnonlinearity：predictionofchaotictimeserieswithneural networks［J］. Science， 2004， 304（5667）： 78.

［2］ 甄遠婷， 冶繼民， 李國榮. 基于中心Copula函數(shù)相似性度量的時間序列聚類方法［J］. 陜西師范大學(xué)學(xué)報（自然科學(xué)版）， 202 49（1）： 29.

［3］ HU H L， LIN W， LYU S X. Forecasting energy consumption and windpowergenerationusingdeepechostatenetwork［J］.Renewable Energy， 2020， 154： 598.

［4］ CHEN H C， WEI D Q. Chaotic time series prediction using echo state network based on selective opposition grey wolf optimizer［J］. Nonlinear Dynamics， 202 104（4）： 3925.

［5］ RIBEIROGT，SANTOSAAP，MARIANI V C， et al. Novel hybrid model based on echo state neural network applied to the prediction of stock price return volatility［J］. Expert Systems with Applications， 202 184： 115490.

［6］ SUN C X， SONG M X， CAI D R， et al. A systematic review of echo state networks from design to application［J］. IEEE Transactions on Artificial Intelligence， 2022， 5（1）： 23.

［7］ WANG H， LONG X Y， LIU X X. FastESN： fast echo state network［J］. IEEE Transactions on Neural Networks and Learning Systems， 2023， 34（12）： 10487.

［8］ ZHANG H， ZHENG M W， ZHANG Y P， et al. Application of ESN prediction model based on compressed sensing in stock market［J］. Communications in Nonlinear Science and Numerical Simulation， 202 101： 105857.

［9］ WANG Z J， ZHAO H， ZHENG M W， et al. A novel time series prediction method based on pooling compressed sensing echo state network and its application in stock market［J］. Neural Networks， 2023， 164： 216.

［10］ LIU J M， XU X， LI E. A minimum complexity interaction echo state network［J］. Neural Computing and Applications， 2024， 36： 4013.

［11］ 高健， 顏子翔， 肖井華. 儲備池算法與動力系統(tǒng)分析研究進展［J］. 北京師范大學(xué)學(xué)報（自然科學(xué)版）， 2023， 59（6）： 860.

［12］ 秦鳳鳴， 徐宗玲， 王有貴. 政府政策對股價波動的影響：基于中國市場的證據(jù)［J］. 數(shù)量金融學(xué)， 2018， 18（9）： 1479.

［13］ YUN S S， KANG J M， KIM I M， et al. Deep artificial noise： deep learning-based precoding optimization for artificial noise scheme［J］. IEEE Transactions on Vehicular Technology， 2020， 69（3）： 3465.

［14］ CARTIS C， ROBERTS L， SHERIDAN M O. Escaping local minima with local derivative-free methods： a numerical investigation［J］. Optimization， 2022， 71（8）： 2343.

［15］ KHAN S H， HAYAT M， PORIKLI F. Regularization of deep neural networks with spectral dropout［J］. Neural Networks， 2019， 110： 82.

［16］ LI D C， HAN M， WANG J. Chaotic time series prediction based on a novel robust echo state network［J］. IEEE Transactions on Neural Networks and Learning Systems， 2012， 23（5）： 787.

［17］ SORIANO M C， ORTIN S， KEUNINCKX L， et al. Delay-based reservoircomputing：noiseeffectsinacombined analog and digital implementation［J］. IEEE Transactions on Neural Networks and Learning Systems， 2014， 26（2）： 388.

［18］ PATHAK J， HUNT B， GIRVAN M， et al. Model-free prediction of large spatiotemporally chaotic systems from data： a reservoir computingapproach［J］.PhysicalReviewLetters，2018，120（2）：024102.

［19］ 李立祥，李鵬，張鑫.基于高斯噪聲擾動和多群體粒子群優(yōu)化的混沌時間序列預(yù)測［J］.非線性動力學(xué)學(xué)報，2021，101（2）：1149.

［20］ WANG C， PENG G H， LIN W. Robust local metric learning via least square regression regularization for scene recognition［J］. Neurocomputing， 202 423： 179.

［21］ WYTHOFF B J. Backpropagation neural networks： a tutorial［J］. Chemometrics and Intelligent Laboratory Systems， 1993， 18（2）： 115.

［22］ 徐震，沈云柱.概周期驅(qū)動的二維分段線性范式系統(tǒng)的奇異非混沌吸引子［J］.濟南大學(xué)學(xué)報（自然科學(xué)版），2022，36（2）：231.

（責(zé)任編輯：劉建亭）