混沌時間序列的LSSVM預(yù)測方法

莫小琴，李鐘慎

（華僑大學(xué) 機(jī)電及自動化學(xué)院，福建 廈門361021）

隨著混沌理論研究的不斷深入，混沌時間序列預(yù)測已成為非常重要的一個研究方向，并廣泛應(yīng)用于信號處理、自動控制等領(lǐng)域［1］.但混沌系統(tǒng)對初值的極端敏感性使其很難進(jìn)行精確的預(yù)測.相空間重構(gòu)是混沌時間序列預(yù)測的基礎(chǔ)，重構(gòu)效果的好壞直接影響著預(yù)測的精度.選用互信息法［2］和Cao提出改進(jìn)的模糊神經(jīng)網(wǎng)絡(luò)（fuzzy neural network，F(xiàn)NN）算法［3］分別對相空間重構(gòu)參數(shù)進(jìn)行確定，能夠?qū)崿F(xiàn)比較好的重構(gòu)效果.最小二乘支持向量機(jī)（least squares support vector machines，LSSVM）是一種新型的預(yù)測方法，擁有強(qiáng)大的學(xué)習(xí)能力，能很好地解決神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練時容易陷入局部極小和過擬合等問題［4-5］.但是LSSVM在不同參數(shù)作用下，預(yù)測性能會有很大的差別.粒子群優(yōu)化（particle swarm optimization，PSO）是近年來發(fā)展比較快的一種簡單可行的智能尋優(yōu)算法，能快速有效地解決如何尋找合適參數(shù)的問題［6］.因此，本文在結(jié)合相空間重構(gòu)理論的基礎(chǔ)上，提出PSO算法優(yōu)化的LSSVM的混沌時間序列預(yù)測模型，分別對一階Logistic、二階Henon、三階Lorenz等3種典型混沌時間序列進(jìn)行預(yù)測，并與RBF神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果［7］進(jìn)行比較.

1 時間序列相空間重構(gòu)

1.1 相空間重構(gòu)

相空間重構(gòu)提出從高維的相空間中恢復(fù)混沌吸引子［8］.它的思想是系統(tǒng)中任一個分量的演化進(jìn)程都是由其他與其相互作用的分量決定的，所以通過分析某一分量的一批時間序列數(shù)據(jù)，能提取和恢復(fù)出原系統(tǒng)的規(guī)律.根據(jù)Takens定理，當(dāng)吸引子的分形維數(shù)為d時，選擇合適的延遲時間τ和嵌入維數(shù)m，且滿足m≥2d+1，對混沌時間序列｛x（t）｝，t＝1，2，…，n進(jìn)行相空間重構(gòu)，即

對n步后的預(yù)測為

式（2）中：F（·）為構(gòu)建的預(yù)測模型.由F（x（k-m），x（k-m+1），…，x（k-1））和Y（k）＝x（k）組成的樣本對，訓(xùn)練并建立LSSVM預(yù)測模型，從而完成對混沌時間序列的預(yù)測.

1.2 重構(gòu)相空間參數(shù)的選取

相空間重構(gòu)吸引子的成敗在于延遲時間和嵌入維數(shù)的選取，并且這2個參數(shù)的選取是互不相關(guān)的［9］.互信息法是一種有效估計延遲時間的方法.Shaw 提出互信息第一次到達(dá)最小時滯時即為延遲時間［10］.定義計算延時時間τ的公式為

式（3）中：P（xn，xn+τ）為時間序列｛xn｝和｛xn+τ｝的聯(lián)合概率；I（τ）為某一時間序列包含另一時間序列信息的概率，當(dāng)I（τ）為第一個極小值時，τ的取值就是最佳的延遲時間.

CAO方法是對FNN算法改進(jìn)后提出的一種選擇最佳嵌入維數(shù)的方法［3］.其運(yùn)算步驟為如下.

在d維空間中，每一個相點(diǎn)矢量X（i）都有一個某距離內(nèi)的最鄰近點(diǎn)NNN（i），兩者距離為Rd（i），當(dāng)維數(shù)增加到d+1時，兩相點(diǎn)的距離發(fā)生變化，則在d+1維相空間中的距離為

若Rd+1（i）遠(yuǎn)大于Rd（i），可認(rèn)為這兩點(diǎn)是偽鄰近點(diǎn).

CAO方法定義計算嵌入維數(shù)的公式為

計算所有a2（i，d）的平均值，得到

計算m維到m+1維的變化，可得

式（7）中：隨著m的變化，E1（m）達(dá)到飽和，此時，m+1取值就是所求的最佳嵌入維數(shù).

采用這2種方法分別確定的3種典型混沌時間序列的延遲時間（τ）以及嵌入維數(shù)（m），如表1所示.通過對比重構(gòu)吸引子的幾何形狀與原吸引子之間的相似性，以及不同延遲時間所產(chǎn)生的差異性，可以驗證這2種方法選取的參數(shù)能夠達(dá)到比較好的重構(gòu)效果［8］.

表1 實驗參數(shù)Tab.1 Experimental parameters

2 基于LSSVM的回歸預(yù)測

2.1 LSSVM 模型

選取延遲時間τ和最優(yōu)嵌入維數(shù)m后，構(gòu)造樣本數(shù)據(jù)對

式（8）中：Xi（i＝1，2，…，M）為預(yù)測輸入數(shù)據(jù)；yi（i＝1，2，…，M）為對應(yīng)的輸出數(shù)據(jù).

對于一個給定的訓(xùn)練樣本數(shù)據(jù)集（Xi，yi）（i＝1，2，…，l），在高維空間中用線性函數(shù)擬合樣本，可得

式（9）中：wT為二次規(guī)劃問題解的矩陣；φ（·）為非線性映射關(guān)系函數(shù)；b為常值偏差.

時間序列的數(shù)據(jù)集被非線性映射函數(shù)φ（·）由輸入空間映射到特征空間，這樣就把相應(yīng)的預(yù)測問題轉(zhuǎn)化優(yōu)化的問題.

LSSVM的目標(biāo)優(yōu)化函數(shù)為

約束條件為

建立Lagrange函數(shù)

式（10）～（12）中：ε為指數(shù)；a為拉格朗日乘子；γ為正則化參數(shù).根據(jù)最優(yōu)化條件對L（w，b，ε，a）進(jìn)行求偏導(dǎo)并消去εi和w后，把優(yōu)化問題轉(zhuǎn)化為求解下列線性方程組，即

式（13）中：Y＝［y1，y2，…，yl］T；α＝［a1，a2，…，al］T；Γ＝［1，1，…，1］T；I為單位陣；Ω可表示為

式（14）中：K（·）為滿足Mercer條件的核函數(shù).以最小二乘法求解系數(shù)ai和偏差b，可得混沌時間序列的LSSVM預(yù)測模型為

式（15）中：σ為徑向基寬度是一個待定參數(shù).

2.2 PSO參數(shù)尋優(yōu)

PSO算法［11］起源于對鳥群捕食行為的研究，是一種模擬群體智能行為的優(yōu)化算法.其基本原理是：每一次迭代，粒子通過跟蹤個體極值Pbest和全局極值gbest這2個極值來更新自己的速度和位置；之后根據(jù)目標(biāo)值的大小選擇最優(yōu)參數(shù)再次進(jìn)行訓(xùn)練，直到得到目標(biāo)訓(xùn)練模型.在找到2個最優(yōu)解時，粒子根據(jù)下式來更新自己的速度和位置，即

式（16），（17）中：ω是慣性權(quán)重因子；v為粒子速度；χ為當(dāng)前粒子位置；r1，r2為介于（0，1）之間的隨機(jī)數(shù)；C1，C2為學(xué)習(xí)因子，通常取1.5.

LSSVM模型正則化參數(shù)γ和徑向基寬度σ的選取對預(yù)測精度有很大的影響［12］.文中采用PSO算法來優(yōu)化LSSVM參數(shù).基本步驟如下：1）隨機(jī)產(chǎn)生一組｛γ，σ｝作為粒子的初始位置，讀取樣本數(shù)據(jù)；2）進(jìn)行LSSVM訓(xùn)練，計算訓(xùn)練樣本的均方誤差作為驗證誤差；3）以驗證誤差作為適應(yīng)值，同時記憶個體與群體對應(yīng)的最佳適應(yīng)值的位置，再根據(jù)PSO優(yōu)化方程搜索更好的｛γ，σ｝；4）重復(fù)訓(xùn)練與計算誤差直到滿足結(jié)束條件.

3 仿真研究

把一維Logistic系統(tǒng)、二維Henon系統(tǒng)和三維Lorenz系統(tǒng)3種典型的混沌系統(tǒng)作為研究對象.通過迭代計算得到混沌時間序列，均去掉前3 000個暫態(tài)數(shù)據(jù)，選取后3 000點(diǎn)作為實驗數(shù)據(jù)，對所選數(shù)據(jù)進(jìn)行歸一化處理，選取合適的延遲時間和嵌入維數(shù)，對3種典型的混沌時間序列進(jìn)行相空間重構(gòu).選用其中1 500個作為訓(xùn)練數(shù)據(jù)，應(yīng)用相應(yīng)的測試模型進(jìn)行學(xué)習(xí)和預(yù)測，后1 500個作為測試數(shù)據(jù).在PSO優(yōu)化模型［13］中，采用的粒子種群數(shù)為20，最大迭代次數(shù)90，慣性權(quán)重為0.9.運(yùn)行PSO優(yōu)化模型，不斷更新粒子當(dāng)前的最優(yōu)位置，分別得到3種混沌時間序列的LSSVM最優(yōu)參數(shù)｛γ，σ｝，結(jié)果如表1所示.

為了衡量預(yù)測模型的有效性和精確度，采用均方誤差（RMSE）作為評價整體預(yù)測性能的指標(biāo)，即

式（18）中：x（n）是第n個時間序列的實際值；＾x（n）是預(yù)測值.

應(yīng)用LSSVM預(yù)測模型分別對3種典型混沌系統(tǒng)進(jìn)行預(yù)測，表達(dá)式與預(yù)測結(jié)果如下所示.

1）考慮Logistic映射迭代表達(dá)式為

式（19）中：初始值取0.4，當(dāng)λ＝4時，系統(tǒng)處于混沌狀態(tài).運(yùn)用LSSVM預(yù)測模型的輸出值和真實值的比較（x（n））和預(yù)測誤差（e），如圖1（a）所示.為了便于觀察，圖1（a），（b）只截取800到950之間的數(shù)據(jù)預(yù)測結(jié)果進(jìn)行展示；圖1（c）則截取800到900之間的數(shù)據(jù).

2）考慮Henon映射迭代表達(dá)式

式（20）中：取a＝1.4，b＝0.3，此時系統(tǒng)處于混沌狀態(tài).預(yù)測結(jié)果如圖1（b）所示.

3）考慮Lorenz映射迭代表達(dá)式

式（21）中：當(dāng)s＝16，b＝4，r＝45.92時，系統(tǒng)處于混沌狀態(tài).運(yùn)用LSSVM預(yù)測模型的輸出值和真實值的比較和預(yù)測誤差，如圖1（c）所示.由輸出誤差可知：PSO優(yōu)化的LSSVM模型能夠?qū)崿F(xiàn)對混沌時間序列較精確的預(yù)測.

圖1 不同混沌系統(tǒng)的預(yù)測結(jié)果Fig.1 Prediction results of different chaotic system

仿真實驗中所用的參數(shù)，如表1所示.通過計算均方誤差（＾e）作為衡量性能的標(biāo)準(zhǔn)，并與RBF神經(jīng)網(wǎng)絡(luò)建立的預(yù)測模型的預(yù)測結(jié)果進(jìn)行比較.其中：RBF神經(jīng)網(wǎng)絡(luò)采用的是二層結(jié)構(gòu)網(wǎng)絡(luò)，神經(jīng)元數(shù)目等于輸入向量的個數(shù)，比較結(jié)果如表2所示.由表2可知：采用PSO算法優(yōu)化的LSSVM的預(yù)測效果明顯優(yōu)于RBF預(yù)測算法.

表2 均方誤差的對比結(jié)果Tab.2 Compared results of the mean square error

4 結(jié)束語

結(jié)合相空間重構(gòu)理論建立LSSVM預(yù)測模型，利用PSO算法的全局優(yōu)化和快速收斂的能力，克服了LSSVM預(yù)測模型參數(shù)選取的隨機(jī)性，提高了LSSVM預(yù)測模型的泛化能力和預(yù)測精度.通過對3種典型的混沌時間序列進(jìn)行預(yù)測，并與RBF神經(jīng)網(wǎng)絡(luò)建立的預(yù)測模型的預(yù)測結(jié)果進(jìn)行比較，表明PSO優(yōu)化的LSSVM預(yù)測模型的預(yù)測精度更高.

［1］ 黨建亮.基于支持向量機(jī)的混沌序列預(yù)測方法研究［D］.成都：西南交通大學(xué)，2006：12-24.

［2］ 雷紹蘭，孫才新，周浪，等.基于改進(jìn)加權(quán)一階局域預(yù)測模型的短期負(fù)荷預(yù)測方法研究［J］.電測與儀表，2006，43（455）：5-6.

［3］ CAO Liang-yue.Practical method for determining the minimum embedding dimension of a scalar time series［J］.Physica D：Nonlinear Phenomena，1997，110（1）：43-50.

［4］ 朱光兆，何偉.基于支持向量機(jī)的混沌時間序列預(yù)測分析［J］.自動化儀器儀表，2012（1）：145-149.

［5］ 往永生，劉衛(wèi)華，楊利斌，等.基于最小二乘支持向量回歸的混沌時間序列預(yù)測研究［J］.海軍航空工程學(xué)院學(xué)報，2009，24（3）：283-288.

［6］ 翟永杰，王子杰，黃寶還，等.基于PSO優(yōu)化的SMO算法研究及應(yīng)用［J］.華北電力大學(xué)學(xué)報，2008，35（1）：57-61.

［7］ 孫濤，李健，鄭豫，等.基于神經(jīng)網(wǎng)絡(luò)的混沌時間序列預(yù)測［J］.成都信息工程學(xué)院學(xué)報，2008，23（2）：126-130.

［8］ 張弦，王宏力.嵌入維數(shù)自適應(yīng)最小二乘支持向量機(jī)狀態(tài)時間序列預(yù)測方法［J］.航空學(xué)報，2007，31（12）：672-675.

［9］ 張淑清，賈鍵，高敏，等.混沌時間序列重構(gòu)相空間參數(shù)選取研究［J］.物理學(xué)報，2010，59（3）：1576-1582.

［10］ 王朝.基于SVM的混沌時間序列預(yù)測方法研究［D］.保定：河北大學(xué)，2012：15-20.

［11］ 陳旭，劉延泉，葛建宏.基于PSO優(yōu)化的LS-SVM 的混沌時間序列預(yù)測［J］.儀器儀表用戶，2009，16（1）：135-136.

［12］ 孫斌，姚海濤.基于PSO優(yōu)化LSSVM 的短期風(fēng)速預(yù)測［J］.電力系統(tǒng)保護(hù)與控制，2012，40（5）：85-89.

［13］ 朱小明，張慧斌.PSO算法的穩(wěn)定性分析及算法改進(jìn)［J］.計算機(jī)科學(xué)，2013，40（3）：275-278.