基于最小二乘支持向量機(jī)對(duì)稱性的混沌時(shí)間序列預(yù)測

陳佳 鄭恩讓 賀永寧

摘 ?要： 利用最小二乘支持向量機(jī)的對(duì)稱性約束條件挖掘混沌時(shí)間序列的對(duì)稱性，分析混沌系統(tǒng)固有的對(duì)稱特性，提出一種對(duì)稱性最小二乘支持向量機(jī)的混沌時(shí)間序列預(yù)測方法。該方法將混沌系統(tǒng)的對(duì)稱性作為先驗(yàn)知識(shí)嵌入預(yù)測模型，Lorenz系統(tǒng)的仿真結(jié)果表明該方法不僅能夠精確地預(yù)測混沌時(shí)間序列，而且擴(kuò)展了混沌系統(tǒng)的預(yù)測空間，這一結(jié)論預(yù)示著最小二乘支持向量機(jī)是一種研究混沌時(shí)間序列的有效方法。

關(guān)鍵詞： 混沌時(shí)間序列預(yù)測; 支持向量機(jī); 最小二乘法; 對(duì)稱性分析; 混沌系統(tǒng); Lorenz 系統(tǒng)

中圖分類號(hào)： TN911.1?34 ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2019）15?0109?04

Chaotic time series prediction based on symmetry of LS support vector machines

CHEN Jia1， ZHENG Enrang1， HE Yongning2

（1.Shannxi University of Science and Technology， Xian 710046， China;

2. Xian Jiaotong University， Xian ，710049， China）

Abstact：The symmetry of the chaotic time series is mined and the inherent symmetry characteristic of the chaotic system is analyzed by means of symmetry constraints of least square support vector machines.，The forecasting method of chaotic time series using the least square support vector machines with symmetry is proposed， which takes the symmetry of chaotic system as priori knowledge to embed it into the prediction model. The simulation result of Lorenz system shows that the proposed method can predict the chaotic time series accurately， and expand the forecast room of the chaotic system. This conclusion implies that the least square support vector machine is an effective tool to study chaotic time series.

Keywords：chaotic times series prediction; support vector machine; least square method; symmetry analysis; chaotic system ;Lorenz system

0 ?引 ?言

近年來，對(duì)非線性系統(tǒng)尤其是混沌時(shí)間序列預(yù)測已經(jīng)成為非常重要的研究方向之一，并已在地質(zhì)科學(xué)、水文預(yù)報(bào)、軍事科學(xué)、空間科學(xué)、氣象預(yù)報(bào)、工業(yè)自動(dòng)化、信號(hào)處理等領(lǐng)域中得到了廣泛的應(yīng)用。在混沌時(shí)間序列分析中建立一個(gè)基于訓(xùn)練集學(xué)習(xí)，并能夠準(zhǔn)確預(yù)測未來數(shù)據(jù)的非線性“黑盒子”預(yù)測模型是一項(xiàng)具有挑戰(zhàn)性的任務(wù)[1?7]。通常時(shí)間序列模型基于已有[t]時(shí)刻的數(shù)據(jù)，而最終評(píng)估模型的數(shù)據(jù)仿真驗(yàn)證是從[t+1]時(shí)刻開始?；煦缦到y(tǒng)吸引子的局部不穩(wěn)定性導(dǎo)致時(shí)間序列不僅呈現(xiàn)出非線性行為特性，而且也呈現(xiàn)大范圍的突變，因此，混沌系統(tǒng)產(chǎn)生時(shí)間序列的本質(zhì)決定了混沌時(shí)間序列的預(yù)測是一項(xiàng)非常困難的工作。如果混沌時(shí)間序列建模時(shí)充分利用其固有的某些特征如對(duì)稱性，則混沌時(shí)間序列的模型精度和建模能力將進(jìn)一步提升[8?12]。

本文挖掘混沌時(shí)間序列的對(duì)稱性，利用最小二乘支持向量機(jī)（Least Squares Support Vector Machines，LS?SVM）的對(duì)稱性約束條件，分析混沌系統(tǒng)固有的對(duì)稱特性，提出一種對(duì)稱性最小二乘支持向量機(jī)的混沌時(shí)間序列預(yù)測方法，將對(duì)稱性作為混沌系統(tǒng)的先驗(yàn)信息應(yīng)用到混沌時(shí)間序列建模中，并以Lorenz系統(tǒng)為例對(duì)對(duì)稱性最小二乘支持向量機(jī)的混沌時(shí)間序列預(yù)測方法進(jìn)行驗(yàn)證，仿真結(jié)果表明該預(yù)測方法不僅提高了混沌時(shí)間序列建模的精度，而且擴(kuò)展了混沌模型的預(yù)測空間。

1 ?最小二乘支持向量機(jī)的對(duì)稱性分析

若時(shí)間序列數(shù)據(jù)樣本集為[{xk，yk}Nk=1]，[xk∈Rm]，[yk∈R]，則支持向量機(jī)的擬合函數(shù)形式為[13]：

式中：[ω]為權(quán)向量;[b]為偏差;[?（x）]為把輸入空間映射到一個(gè)高維特征空間中的非線性映射函數(shù);[ek]為假定服從零均值，某一固定偏差分布。因?yàn)閇?（x）]可用核函數(shù)代替，而核函數(shù)可用原空間函數(shù)實(shí)現(xiàn)，因而無需知道其具體形式。LS?SVM是基于正則化理論對(duì)經(jīng)典支持向量機(jī)的改進(jìn)[14]，這樣在很大程度上簡化了支持向量機(jī)的求解，也是支持向量機(jī)在二次損失函數(shù)下的一種形式，并用等式約束條件替代支持向量機(jī)的不等式約束條件，通過求解一系列線性方程組來替代傳統(tǒng)支持向量回歸中的二次型規(guī)劃問題，這在實(shí)際應(yīng)用中表現(xiàn)出運(yùn)算簡捷、收斂快和精度高的優(yōu)點(diǎn)。擬合函數(shù)中最優(yōu)權(quán)向量[ω]和偏差[b]可通過最小化擬合誤差的平方和及正則化項(xiàng)組成的目標(biāo)函數(shù)獲得：

式中：正實(shí)數(shù)[γ]是調(diào)節(jié)常數(shù)，這樣可在訓(xùn)練誤差和模型復(fù)雜度間取折衷以便使所求函數(shù)具有好的泛化能力，且[γ]值越大，模型預(yù)測誤差越小;[s]取值1或-1，依賴于對(duì)稱類型。第一個(gè)約束條件為LS?SVM的標(biāo)準(zhǔn)約束條件，第二個(gè)約束條件是通過賦值[s]取值1或-1，賦予非線性映射函數(shù)[?（x）]的奇偶特性。如果核函數(shù)滿足[k（xk，-xi）= k（-xk，xi）]，因?yàn)閇ω]維數(shù)可能為無限值故難以最小化式（2），但可在對(duì)偶空間上求取[ω]，建立Lagrangian方程：

式（8）為等效的容納非線性特性的對(duì)稱核函數(shù)。需要強(qiáng)調(diào)的是，式（8）與式（7）中矩陣的維數(shù)并沒有發(fā)生改變，因此第二個(gè)限制條件并沒有增加問題求解的難度，僅僅是把新問題轉(zhuǎn)化成了核函數(shù)。分析式（8），不難發(fā)現(xiàn)高斯核函數(shù)、小波核函數(shù)等均可以組成對(duì)稱核函數(shù)[15]。

2 ?混沌系統(tǒng)的對(duì)稱性分析

許多混沌系統(tǒng)具有對(duì)稱性導(dǎo)致其混沌吸引子也具有某種對(duì)稱性，混沌系統(tǒng)的對(duì)稱吸引子特性已經(jīng)被多位學(xué)者深入研究，典型的對(duì)稱混沌系統(tǒng)如[Z4]對(duì)稱因子混沌系統(tǒng)，[λ=]0.16，[μ=]0.74，時(shí)間步長為0.01時(shí)，20 000個(gè)數(shù)據(jù)點(diǎn)的[（x，y）]和[（x，ω）]映射關(guān)系分別如圖1a），圖1b）所示，該混沌系統(tǒng)的映射關(guān)系無論是[（x，y）]還是[（x，ω）]均具有對(duì)稱性;100 000 000個(gè)數(shù)據(jù)點(diǎn)的[（x，y）]映射關(guān)系如圖1c）所示，不難發(fā)現(xiàn)隨著數(shù)據(jù)點(diǎn)的大量增加混沌系統(tǒng)仍然呈現(xiàn)對(duì)稱性。

圖1 ?[λ=]0.16，[μ=]0.74，時(shí)間步長為0.01的映射關(guān)系圖

3 ?預(yù)測實(shí)例

實(shí)踐研究表明，基于LS?SVM對(duì)稱性的混沌時(shí)間序列預(yù)測方法由于其將混沌時(shí)間序列的對(duì)稱性作為先驗(yàn)知識(shí)，因而在復(fù)雜非線性建模中具有更加獨(dú)特的優(yōu)越性。對(duì)初始狀態(tài)極其敏感是混沌時(shí)間序列的顯著特征之一，導(dǎo)致混沌時(shí)間序列預(yù)測非常困難。但是實(shí)驗(yàn)結(jié)果表明，LS?SVM能夠在一定時(shí)間內(nèi)比較精確地預(yù)測未來混沌時(shí)間序列。為衡量預(yù)測模型的精確性，采用相對(duì)誤差：

假定初始條件[x0=5]，[y0=5]，[z0=15]，利用四階五級(jí)Runge?Kutta算法求解Lorenz系統(tǒng)的數(shù)值解，取采樣間隔時(shí)間為0.05 s，相空間如圖2a）所示，不難看出，Lorenz系統(tǒng)的[x?y?z]相空間圖呈現(xiàn)明顯的對(duì)稱性。關(guān)于[x]的時(shí)間序列如圖2b）所示，其時(shí)間序列具有復(fù)雜的非線性混沌特征，而且時(shí)間序列呈現(xiàn)高度的自相關(guān)性，直接建立其預(yù)測模型存在很大的困難。

利用前[N=]200個(gè)時(shí)間序列作為訓(xùn)練集（如圖3所示），取嵌入維數(shù)[m]為3、延遲時(shí)間[τ]為2，在[{γ，α，s}=]{30，2.5，-1}時(shí)進(jìn)行訓(xùn)練建立預(yù)測模型。

為了驗(yàn)證模型的準(zhǔn)確性，對(duì)將來的200個(gè)數(shù)據(jù)點(diǎn)進(jìn)行驗(yàn)證，所建混沌時(shí)間序列預(yù)測模型的預(yù)測值與混沌時(shí)間序列實(shí)際值的比較曲線如圖4所示，實(shí)線為實(shí)際混沌時(shí)間序列，點(diǎn)為預(yù)測值，不難看出基于LS?SVM的對(duì)稱性，將混沌系統(tǒng)的對(duì)稱性作為先驗(yàn)知識(shí)嵌入預(yù)測模型中能夠進(jìn)一步更加精確地預(yù)測未來的混沌時(shí)間序列。

圖2 ?Lorenz混沌時(shí)間序列

圖3 ?Lorenz時(shí)間序列訓(xùn)練數(shù)據(jù)

圖4 ?預(yù)測值與實(shí)際值比較曲線

為了進(jìn)一步比較預(yù)測性能，預(yù)測值與實(shí)測值的預(yù)測誤差曲線如圖5所示，除個(gè)別點(diǎn)外大部分預(yù)測誤差小于0.5，RMSE誤差為0.025 1，這個(gè)預(yù)測精度對(duì)于介于隨機(jī)和規(guī)律之間的混沌時(shí)間序列預(yù)測來說是非常高的。

圖5 ?預(yù)測誤差曲線

利用預(yù)測的時(shí)間序列重構(gòu)的曲線如圖6所示。不難看出該模型的預(yù)測值與系統(tǒng)的實(shí)際值吻合得比較好，這說明該方法能夠從無序和復(fù)雜中產(chǎn)生出有序和規(guī)律的系統(tǒng)挖掘混沌時(shí)間序列的對(duì)稱性等有序行為，并能夠精確預(yù)測其未來的混沌時(shí)間序列。

圖6 ?預(yù)測的時(shí)間序列重構(gòu)曲線

4 ?結(jié) ?語

本文利用最小二乘支持向量機(jī)的對(duì)稱性約束條件挖掘混沌時(shí)間序列的對(duì)稱性，分析了混沌系統(tǒng)固有的對(duì)稱特性，提出一種對(duì)稱性最小二乘支持向量機(jī)的混沌時(shí)間序列預(yù)測方法，以Lorenz系統(tǒng)為例對(duì)對(duì)稱性最小二乘支持向量機(jī)的混沌時(shí)間序列預(yù)測方法進(jìn)行驗(yàn)證，仿真結(jié)果表明該預(yù)測方法不僅提高了混沌時(shí)間序列建模的精度，而且擴(kuò)展了模型的預(yù)測空間。

參考文獻(xiàn)

[1] WEIGEND A S， GERSHENFELD N A. Time series prediction forecasting the future and understanding the past [M]. New Jersey： Addison?Wesley， 1993.

[2] 陳佳，鄭恩讓，崔萬照，等.基于小波支持向量回歸的電力系統(tǒng)負(fù)荷預(yù)測[J].現(xiàn)代電子技術(shù)，2009，32（16）：135?139.

CHEN Jia， ZHENG Enrang， CUI Wanzhao， et al. Power load foresting based on wavelet support vector regression [J]. Modern electronics technique， 2009， 32（16）： 135?139.

[3] CUI Wanzhao， ZHU Changchun， BAO Wenxing， et al. Prediction of the chaotic time series using support vector machines [J]. Acta physica sinica， 2004， 53（10）： 3303?3310.

[4] CUI Wanzhao， ZHU Changchun， BAO Wenxing， et al. Prediction of the chaotic time series using support vector machines for fuzzy rule?based modeling [J]. Acta physica sinica， 2005， 54（7）： 3009?3018.

[5] SHEN Lihua， CHEN Jihong， ZENG Zhigang， et al. Chaotic time series prediction based on robust extreme learning machine[J]. Acta physica sinica， 2018， 67（3）： 030501.

[6] 顧兆軍，李冰，劉濤. 基于PSO?Elman模型的網(wǎng)絡(luò)流量預(yù)測[J].現(xiàn)代電子技術(shù)，2019，42（1）：82?86.

GU Zhaojun， LI Bing， LIU Tao. Network traffic prediction based on PSO?Elman model [J]. Modern electronics technique， 2019， 42（1）： 82?86.

[7] 姜嬌嬌，郭俊，楊淑瑩. 基于粒子濾波的混沌時(shí)間序列局域多步預(yù)測[J].現(xiàn)代電子技術(shù)，2018，41（1）：43?46.

JIANG Jiaojiao， GUO Jun， YANG Shuying. Particle filtering based local multi?step prediction for chaotic time series [J]. Modern electronics technique， 2018， 41（1）： 43?46.

[8] AGUIRRE L A， LOPES R， AMARAL G， et al. Constraining the topology of neural networks to ensure dynamics with symmetry properties [J]. Physical Review E， 2004， 69： 026701.

[9] YU Jinjiang， ZHANG Mingxuan， XU Haibo. Nonlinear dyna?mics and control of symmetric chaotic systems [J]. Acta physica sinica， 2004， 53（11）： 3701?3705.

[10] ABREU S， ASTON P ， MELBOURNE I. Symmetric chaos in a local codimension two bifurcation with the symmetry group of a square [J]. SIAM journal on. applied dynamical systems， 2005， 4（1）： 32?52.

[11] KING G P， STEWART I N. Symmetric chaos， in nonlinear equations in the applied sciences [M]. New York： Academic Press， 1991： 257?315.

[12] FIELD MJ.， Lectures on bifurcations， dynamics and symmetry [M]. Harlow： Longman， 1996.

[13] VAPNIK V N. The nature of statistical learning theory [M]. New York： Springer， 1995.

[14] SUYKENS J A K， VAN GESTEL T， DE BRABANTER J， et al. Least squares support vector machines [M]. Singapore： World Scientific， 2002.

[15] STEWART I. The Lorenz attractor exists [J]. Nature， 2000， 406： 948?949.

[16] FELLMAN J. Transfer policies with discontinuous Lorenz curves [J]. Journal of mathematical finance， 2016， 6： 28?33.