基于粒子群優(yōu)化最小二乘向量機(jī)的地震預(yù)測模型①

徐松金，龍 文

（1．銅仁學(xué)院數(shù)學(xué)與計算機(jī)科學(xué)系，貴州銅仁 554300；2．貴州財經(jīng)學(xué)院貴州省經(jīng)濟(jì)系統(tǒng)仿真重點實驗室，貴州貴陽 550004）

基于粒子群優(yōu)化最小二乘向量機(jī)的地震預(yù)測模型①

徐松金1，龍 文2

（1．銅仁學(xué)院數(shù)學(xué)與計算機(jī)科學(xué)系，貴州銅仁 554300；2．貴州財經(jīng)學(xué)院貴州省經(jīng)濟(jì)系統(tǒng)仿真重點實驗室，貴州貴陽 550004）

為解決地震預(yù)測中最小二乘向量機(jī)（LSSVM）模型的參數(shù)難以確定的問題，利用粒子群算法（PSO）的收斂速度快和全局優(yōu)化能力，優(yōu)化LSSVM模型的懲罰因子和核函數(shù)參數(shù)，建立了PSOLSSVM地震預(yù)測模型。通過對地震實例的預(yù)測仿真及其相關(guān)分析表明該方法的有效性。該方法優(yōu)于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)的地震預(yù)測方法，可以有效提高預(yù)測效能。

粒子群優(yōu)化算法；最小二乘向量機(jī)模型；地震預(yù)測；參數(shù)

Abstract：In order to overcome the problem of the uncertain parameters in LSSVM model，the PSO－LSSVM prediction model concerning earthquake forecast is developed，which is based on the particle swarm optimization algorithm with abilities of fast convergence and global optimization．The simulation results show that the proposed method is an effective tool for the prediction of earthquake，and it can effectively enhance the prediction accuracy compared with the way using neural network and support vector machine model．

Key words：Particle swarm optimization（PSO）；Least squares support vector machine（LSSVM）model；Earthquake forecast；Parameter

0 前言

地震孕育過程是一個不穩(wěn)定的過程。各種地震活動參數(shù)和前兆以不同的異常形態(tài)表現(xiàn)出其單體或群體異常特征，表明這些地震前兆異常與未來地震的震級之間有著很明顯的非線性關(guān)系，從而使得地震預(yù)測至今仍是世界上的一大科學(xué)難題［1－3］。

近年來，作為一種高度自適應(yīng)非線性動力學(xué)系統(tǒng)，神經(jīng)網(wǎng)絡(luò)在地震預(yù)測中開展了廣泛的應(yīng)用。王煒等［4］利用BP神經(jīng)網(wǎng)絡(luò)對我國最大地震時間序列進(jìn)行預(yù)測；陳超等［5］提出一種基于遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)參數(shù)的地震預(yù)測模型；陳以等［6］提出了一種基于自組織映射的組合神經(jīng)網(wǎng)絡(luò)模型對地震進(jìn)行預(yù)測。雖然人工神經(jīng)網(wǎng)絡(luò)模型在地震預(yù)測中具有較好的預(yù)測結(jié)果，但存在網(wǎng)絡(luò)結(jié)構(gòu)難以確定、易陷入局部極小值等缺點［6］。最小二乘支持向量機(jī)（LSSVM）在支持向量機(jī)（SVM）的基礎(chǔ)上用等式約束替代不等式約束，避免了求解耗時的二次規(guī)劃問題［7］。LSSVM可以以任意精度逼近非線性系統(tǒng)，是非線性系統(tǒng)建模與預(yù)測的有力工具［8－9］。但日前還鮮有文獻(xiàn)將LSSVM模型應(yīng)用到地震預(yù)測中。

利用LSSVM模型進(jìn)行預(yù)測時，其推廣預(yù)測能力很大程度上依賴于懲罰因子C和核函數(shù)參數(shù)σ，因此確定合適的參數(shù)C和σ是使用LSSVM進(jìn)行建模和預(yù)測時所要解決的關(guān)鍵問題。到目前為止還沒有指導(dǎo)LSSVM模型參數(shù)選擇的好方法，也沒有什么規(guī)律所循，在實際應(yīng)用中大多憑經(jīng)驗確定參數(shù)，這可能導(dǎo)致由于參數(shù)選擇不恰當(dāng)而使其預(yù)測精度不高。張春曉等［10］采用遺傳算法來優(yōu)化LSSVM參數(shù)，雖然遺傳算法不依賴于問題的數(shù)學(xué)模型，但遺傳操作比較復(fù)雜，后期收斂速度慢。粒子群優(yōu)化算法（PSO）是近年來發(fā)展起來的一種新型的啟發(fā)式進(jìn)化算法，具有簡單、容易實現(xiàn)、收斂速度快和全局尋優(yōu)的特點，非常適用于求解非線性模型參數(shù)優(yōu)化問題［11］。本文利用粒子群算法全局優(yōu)化能力和收斂速度快的優(yōu)點，優(yōu)化LSSVM模型的懲罰因子C和核函數(shù)參數(shù)σ，對參數(shù)進(jìn)行自動搜索和確定，以提高LSSVM模型的預(yù)測精度。將PSO－LSSVM模型對地震實例進(jìn)行預(yù)測，檢驗該方法的有效性。

1 基于PSO優(yōu)化的LSSVM模型

SVM是在統(tǒng)計學(xué)理論上發(fā)展起來的一種機(jī)器學(xué)習(xí)算法。與傳統(tǒng)的學(xué)習(xí)方法相比，SVM基于結(jié)構(gòu)風(fēng)險最小化原則，折衷考慮了經(jīng)驗風(fēng)險最小化和學(xué)習(xí)機(jī)器VC維的關(guān)系，使其具有較強(qiáng)的預(yù)測能力。SVM的基本思想是通過非線性映射，把輸入空間的數(shù)據(jù)映射到高維特征空間，將實際問題轉(zhuǎn)化為帶不等式約束的二次規(guī)劃問題。LSSVM是SVM的一種擴(kuò)展，將不等式約束替代等式約束，把誤差平方和損失函數(shù)作為訓(xùn)練集的經(jīng)驗損失，從而把問題轉(zhuǎn)化為一個線性矩陣求解問題，大大提高了機(jī)器學(xué)習(xí)訓(xùn)練的速度［7］。

假設(shè)給定一組樣本數(shù)據(jù)集｛xi，yi｝mi＝1，其中xi是輸入向量，xi∈Rn；yi是對應(yīng)的輸出，yi∈R；m為樣本集大小。通過一個非線性函數(shù)φ將樣本映射到高維空間，然后進(jìn)行線性回歸，回歸函數(shù)為f（x）＝wTφ（x）＋b（1）其中，w為權(quán)值向量；b為偏差。根據(jù)結(jié)構(gòu)風(fēng)險最小化原理，利用LSSVM進(jìn)行函數(shù)回歸時要優(yōu)化的目標(biāo)函數(shù)為

其中C為誤差懲罰函數(shù)；ξi為松弛變量。構(gòu)造拉格朗日函數(shù)L為

其中ai為拉格朗日乘子。根據(jù)KKT條件有

消去w和ξi，可得出

其中Q＝［1，…，1］T；A＝［a1，a2，…，am］T；Y＝［y1，y2，…，ym］T。根據(jù)Mercer條件可以確定核函數(shù)為

則LSSVM的函數(shù)估計為

本文采用徑向基函數(shù)（RBF）作為核函數(shù)

其中σ是核函數(shù)寬度。

根據(jù)LSSVM回歸理論可知，它的主要參數(shù)是核函數(shù)參數(shù)σ和懲罰參數(shù)C，這兩個參數(shù)對LSSVM的學(xué)習(xí)和泛化能力影響很大。本文采用粒子群算法來優(yōu)化選擇兩個參數(shù)σ和C，在一定程度上減少了主觀經(jīng)驗選擇的盲目性，提高其預(yù)測精度。

在PSO算法中，ui＝（ui1，ui2，…，uim）表示粒子i的位置向量，pi＝（pi1，pi2，…，pim）表示第i個粒子所經(jīng)歷過的最好位置。每個粒子的速度向量表示為vi＝（vi1，vi2，…，vim），種群中所有粒子經(jīng)歷過的最好位置為pg＝（pg1，pg2，…，pgm）。粒子i的速度、位置更新公式如下：

式中，r1和r2為［0，1］之間的隨機(jī)數(shù)；w為慣性權(quán)重。w是粒子群算法的一個關(guān)鍵參數(shù)，它可以平衡算法的全局搜索能力和局部搜索能力。在進(jìn)化初期，我們希望粒子具有較好的探索能力，隨著迭代次數(shù)的增加，在進(jìn)化后期，希望粒子具有較好的開發(fā)能力。所以在進(jìn)化過程中需要動態(tài)調(diào)整慣性權(quán)重。因此，本文采用慣性權(quán)重w隨進(jìn)化代數(shù)線性遞減：

其中，iter為當(dāng)前迭代次數(shù)；itermax為最大迭代次數(shù)；wmax和wmin為慣性權(quán)重的最大值和最小值。

對于LSSVM模型參數(shù)的優(yōu)化，首先定義目標(biāo)函數(shù)

其中，xi是第i個已知樣本的輸出值；＾xi是第i個樣本的LSSVM模型預(yù)測值，可由式（1）計算得到。

LSSVM模型參數(shù)優(yōu)化的思想是通過迭代算法搜索一組參數(shù)（C，σ），使目標(biāo)函數(shù)式（11）達(dá)到最小。本文采用PSO來進(jìn)行優(yōu)化，將定義域內(nèi)一組參數(shù)序列（C，σ）作為PSO算法中粒子的位置向量，各粒子的適應(yīng)度函數(shù)取式（11）?；赑SO優(yōu)化LSSVM模型參數(shù)的具體步驟如下：

Step1：根據(jù)收集到的歷史數(shù)據(jù)，建立訓(xùn)練樣本集合測試樣本集。

Step2：設(shè)置參數(shù)，初始化粒子的位置和速度，每個位置值對應(yīng)于LSSVM模型的一組參數(shù)（C，σ）值，由參數(shù)和樣本訓(xùn)練建立如式（7）所示的LSSVM預(yù)測模型。

Step3：由式（11）計算每個粒子的適應(yīng)度值。

Step4：判斷是否滿足迭代終止條件，若滿足，則迭代結(jié)束輸出最優(yōu)參數(shù)（C，σ），轉(zhuǎn)向step6；否則繼續(xù)執(zhí)行step5。

Step5：按式（9）和式（10）更新粒子的位置和速度，然后返回step3。

Step6：利用得到的最優(yōu)參數(shù)（C，σ）和訓(xùn)練樣本訓(xùn)練建立PSO－LSSVM預(yù)測模型。

2 地震預(yù)測仿真與分析

選取某地沿海東經(jīng)117°－120°，北緯22°－26°范圍內(nèi)的地震預(yù)測因子數(shù)據(jù)［12］作為樣本，驗證PSO－LSSVM模型在地震預(yù)測中的有效性。根據(jù)地震資料，通過對與地震活動相關(guān)的參數(shù)進(jìn)行主成分分析［13］，我們選取地震在時間、空間、強(qiáng)度三方面具有代表性的6個指標(biāo)，即相關(guān)性較強(qiáng)的6個指標(biāo)，如地震頻度、蠕變、能量、b值、缺震和η值作為PSOLSSVM模型的輸入向量，實際發(fā)生的震級作為輸出向量進(jìn)行訓(xùn)練和測試。

與文獻(xiàn)［12］相同，我們一共收集了29組實際數(shù)據(jù)作為樣本數(shù)據(jù)，其中，前20組數(shù)據(jù)作為訓(xùn)練樣本，后9組數(shù)據(jù)作為用來檢測PSO－LSSVM模型的測試樣本，具體數(shù)據(jù)內(nèi)容詳見表1［12］。

表1 地震樣本數(shù)據(jù)

本文方法的參數(shù)設(shè)置為：粒子群算法種群規(guī)模N＝10，最大迭代次數(shù)為itermax＝100，wmax＝0．9，wmin＝0．2，懲罰因子C∈［1，1 000］，核函數(shù)參數(shù)σ∈［1，10］。通過PSO算法優(yōu)化LSSVM的兩個參數(shù)C和σ，最終得到最優(yōu)參數(shù)為：C＝427．36，σ＝3．28。圖1給出了利用PSO算法對LSSVM模型參數(shù)尋優(yōu)的迭代曲線。

在訓(xùn)練過程中PSO－LSSVM模型的誤差變化如圖2所示，可以看出，LSSVM模型訓(xùn)練誤差很快就達(dá)到了期望的誤差目標(biāo)。為了驗證本文方法（PSO－LSSVM）相對于神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)的優(yōu)勢，利用Elman神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)（SVM）模型分別對地震震級進(jìn)行預(yù)測。三種方法的預(yù)測結(jié)果比較見表2，其預(yù)測相對誤差如表3所示。

圖1 PSO對LSSVM參數(shù)的尋優(yōu)曲線Fig．1 Optimization curve for parameters of LSSVM using PSO．

圖2 訓(xùn)練過程中誤差的變化曲線Fig．2 Error curve in the training process．

表2 三種方法對地震震級的預(yù)測結(jié)果比較

從表2和表3中的結(jié)果可知，PSO－LSSVM模型比Elman神經(jīng)網(wǎng)絡(luò)模型和SVM模型得到更好的預(yù)測效能。與Elman網(wǎng)絡(luò)相比，除了第2和第8個測試樣本的預(yù)測結(jié)果略差外，PSO－LSSVM模型在其余7個樣本的預(yù)測結(jié)果明顯要優(yōu)。尤其是第4個和第7個樣本，Elman網(wǎng)絡(luò)得到的結(jié)果偏差較大。與SVM模型相比，除了第2、第3和第6個樣本的預(yù)測結(jié)果較差外，PSO－LSSVM模型在其余6個樣本的預(yù)測結(jié)果要明顯優(yōu)于SVM模型。PSOLSSVM模型預(yù)測的平均相對誤差僅為2．606 5%，比Elman神經(jīng)網(wǎng)絡(luò)模型和SVM模型分別要小5．618 6%和2．449 8%，這充分說明PSO－LSSVM模型具有較高的預(yù)測效能。

表3 三種方法的預(yù)測相對誤差比較

3 結(jié)論

地震預(yù)測的困難之處在于地震預(yù)測因子信息的高度非線性［6］。LSSVM能以任意精度逼近非線性系統(tǒng)。結(jié)合粒子群算法的全局搜索能力，優(yōu)化LSSVM模型的參數(shù)，建立PSO－LSSVM模型用于地震預(yù)測領(lǐng)域中的震級預(yù)測。仿真實驗結(jié)果表明PSO－LSSVM模型具有較高的預(yù)測效能。

［1］ Ifantisk A，Giannakopoulos K．Changes of chaotic behavior of the long－term geoelectic potential difference observed during a five－year investigation and its possible relation to seismic activity in Weatern Greece［J］．Chaos，Solitons and Fractals，2002，14（5）：779－795．

［2］ Gotoh M，Hayakawa N A，Smirnova K．Fractal analysis of seismogenic ULF emissions［J］．Physics and Chemistry of the Earth，2004，29（4－9）：419－424．

［3］ King C，Azuma S，Ohno M，et al．In search of earthquake precursors in the water－level data of 16closely clustered wells at Tono［J］．International Journal Geophysical，2000，143（2）：469－477．

［4］ 王煒，謝瑞，宋先月，等．使用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行我國大陸強(qiáng)震時間序列預(yù)測［J］．西北地震學(xué)報，2002，24（4）：315－320．

［5］ 陳超，曾三友，張好春，等．基于遺傳神經(jīng)網(wǎng)絡(luò)的地震預(yù)測研究［J］．計算機(jī)應(yīng)用與軟件，2008，25（4）：135－137．

［6］ 陳以，王穎，張晉魁．組合人工神經(jīng)網(wǎng)絡(luò)在地震預(yù)測中的應(yīng)用研究［J］．計算機(jī)仿真，2011，28（1）：190－193．

［7］ Suykens J A K，Vandewalle J．Least squares support machine classifier［J］．Neural Processing Letters，1999，9（3）：293－300．

［8］ Van G T，Suykens J A K．Financial time series prediction using least squares support vector machine within the evidence framework［J］．IEEE Transactions on Neural Networks，2001，12（4）：809－821．

［9］ Esen H，Ozgen F，Esen M．Modeling of a new solar air heater through least squares support vector machine［J］．Expert Systems with Applications，2009，36（7）：10673－10682．

［10］ 張春曉，張濤．基于最小二乘向量機(jī)和遺傳算法的熱式油水兩相流含油率建模［J］．化工學(xué)報，2009，60（7）：1651－1655．

［11］ 龍文，梁昔明，董淑華，等．動態(tài)調(diào)整慣性權(quán)重的粒子群優(yōu)化算法［J］．計算機(jī)應(yīng)用，2009，29（8）：2240－2242．

［12］ 朱凱，王正林．精通MATLAB神經(jīng)網(wǎng)絡(luò)［M］．北京：電子工業(yè)出版社，2010．

［13］ 王煒，林命，馬欽忠，等．主成分分析法在地震預(yù)測中的應(yīng)用研究［J］．中國地震，2005，21（3）：409－416．

Earthquake Forecast Model Based on the Partical Swarm Optimization Algorithm Used in LSSVM

XU Song－jin1，LONG Wen2

（1．Department of Mathematics and Computer Science，Tongren University，Guizhou Tongren 554300，China；2．Guizhou Key Laboratory of Economics System Simulation，Guizhou College of Finance and Economics，Guiyang 550004，China）

P315．71

A

1000－0844（2012）03－0220－04

10．3969／j．issn．1000－0844．2012．03．0220

2011－05－11

國家自然科學(xué)基金（61074069）

徐松金（1972－），男（漢族），湖南隆回人，講師，主要從事復(fù)雜系統(tǒng)建模與預(yù)測研究．