基于CEPSO-LSSVM的煤炭消費(fèi)量預(yù)測模型

楊世杰，龍 丹，周慶標(biāo)

1.浙江工業(yè)職業(yè)技術(shù)學(xué)院 信息工程分院，浙江 紹興 312000

2.浙江大學(xué)醫(yī)學(xué)院，杭州 310058

基于CEPSO-LSSVM的煤炭消費(fèi)量預(yù)測模型

楊世杰1，龍 丹2，周慶標(biāo)1

1.浙江工業(yè)職業(yè)技術(shù)學(xué)院 信息工程分院，浙江 紹興 312000

2.浙江大學(xué)醫(yī)學(xué)院，杭州 310058

1 引言

煤炭是我國的主要能源，在經(jīng)濟(jì)生活中具有不可替代的地位，但由于缺乏長期、科學(xué)的規(guī)劃，我國煤炭供需處于一種失衡狀態(tài)，科學(xué)地對煤炭消費(fèi)量進(jìn)行預(yù)測，解決煤炭供需失衡問題，保證經(jīng)濟(jì)正常、快速發(fā)展，具有十分重要的意義[1]。

針對煤炭消費(fèi)量預(yù)測問題，國內(nèi)外學(xué)者進(jìn)行了大量研究，有回歸分析、灰色系統(tǒng)和時間序列分析等傳統(tǒng)預(yù)測方法[2]。傳統(tǒng)方法假設(shè)煤炭消費(fèi)量是一種線性變化規(guī)律，但由于煤炭消費(fèi)量受到多種因素影響，實(shí)際上具有非平穩(wěn)性、時變性等特點(diǎn)，因此，傳統(tǒng)方法預(yù)測效果并不理想[3]。20世紀(jì)80年代以來，非線性的神經(jīng)網(wǎng)絡(luò)算法在煤炭消費(fèi)量預(yù)測中得到了廣泛的應(yīng)用，提高了煤炭消費(fèi)量預(yù)測的精度[4]，但是神經(jīng)網(wǎng)絡(luò)要求樣本數(shù)量大，而煤炭消費(fèi)量是一種小樣本數(shù)據(jù)，難以滿足該條件，因此預(yù)測結(jié)果易出現(xiàn)過擬合現(xiàn)象[5]。最小二乘支持向量機(jī)（Least Square Support Vector Machines，LSSVM）是專門解決小樣本、非線性等難題的機(jī)器學(xué)習(xí)算法，泛化能力強(qiáng)，為煤炭消費(fèi)量預(yù)測提供了一種新的研究方法[6]。LSSVM的預(yù)測性能與其參數(shù)密切相關(guān)，粒子群優(yōu)化（PSO）算法的全局搜索能力強(qiáng)，在LSSVM參數(shù)優(yōu)化中應(yīng)用最為廣泛[7-8]。但傳統(tǒng)PSO算法存在“早熟”收斂和陷入局部最優(yōu)等缺陷，難以獲得最優(yōu)的LSSVM參數(shù)，從而對煤炭消費(fèi)量預(yù)測結(jié)果產(chǎn)生不利影響[9]。

“鯰魚效應(yīng)”（catfish effect）模擬鯰魚對沙丁魚群體的驅(qū)趕機(jī)制，以改變沙丁魚的惰性，提高了沙丁魚群體活性[10]。基于此，針對PSO算法的不足，引入“鯰魚效應(yīng)”產(chǎn)生一種鯰魚粒子群優(yōu)化（CEPSO）算法，并采用CEPSO優(yōu)化LSSVM參數(shù)，最后根據(jù)最優(yōu)參數(shù)的LSSVM建立煤炭消費(fèi)量預(yù)測模型，通過仿真測試檢驗?zāi)Ｐ偷男阅堋?/p>

2 CEPSO優(yōu)化LSSVM的煤炭消費(fèi)量模型

2.1 最小二乘支持向量機(jī)

對于訓(xùn)練樣本{(xi，yi)}，i=1，2，…，n，LSSVM通過非線性映射函數(shù)Φ(·)將樣本映射到高維特征空間，并進(jìn)行線性回歸，則有：

式中，w為權(quán)值向量，b為偏置量。

根據(jù)預(yù)測誤差和計算復(fù)雜折衷原則，式（2）變?yōu)椋?/p>

式中，γ為正則化參數(shù)，ei為預(yù)測誤差[11-12]。

為簡化LSSVM求解過程，引入拉格朗日乘子，將式（2）變?yōu)閷ε純?yōu)化問題，即

式中，αi為拉格朗日乘子。

對于非線性預(yù)測問題，引入核函數(shù)轉(zhuǎn)變成為線性預(yù)測問題，選擇徑向基核函數(shù)作為LSSVM的核函數(shù)，最后LSSVM回歸模型為：

式中，σ表示徑向基核函數(shù)的寬度。

2.2 CEPSO算法

設(shè)粒子i的飛行速度和位置分別為：vi=(vi1，vi2，…，viD)T和xi=(xi1，xi2，…，xiD)T，粒子i的歷史最優(yōu)位置為pi=(pi1，pi2，…，piD)，種群最優(yōu)位置為pg=(pg1，pg2，…，pgD)，粒子i的位置和速度更新方式為：

式中，c1、c2為加速系數(shù)；rand()為[0，1]之間的隨機(jī)數(shù)；t為當(dāng)前迭代次數(shù)；w為慣性權(quán)值[13-14]。

由式（6）可知，一旦PSO算法出現(xiàn)“早熟”現(xiàn)象，全局極值pg一定是局部最優(yōu)解，因此可以通過直接改變pg或間接改變pi，幫助粒子逃逸局部最優(yōu)解區(qū)域，進(jìn)入其他區(qū)域進(jìn)行搜索，最終找到全局最優(yōu)解[15]。根據(jù)“鯰魚效應(yīng)”啟示：當(dāng)粒子聚集在局部最優(yōu)解，搜索出現(xiàn)停滯時，用一條“鯰魚”去刺激粒子群，增加粒子活力，幫助其中逃出局部極值點(diǎn)，這就是鯰魚粒子群算法（CEPSO）的基本思想。CEPSO算法通過偏差的閾值作為“鯰魚效應(yīng)”觸發(fā)條件，采用鯰魚算子對pg或pi進(jìn)行擾動，這樣粒子速度更新變?yōu)椋?/p>

式中，c3表示鯰魚對個體最優(yōu)的沖撞強(qiáng)度，c4表示鯰魚對全局最優(yōu)的沖撞強(qiáng)度；c3×rand()和c4×rand()為鯰魚算子，分別定義為：

式中，ep表示當(dāng)前值與當(dāng)前個體最優(yōu)值的偏差；eg表示當(dāng)前值與當(dāng)前全局最優(yōu)值的偏差；e0p和e0g分別表示當(dāng)前值與當(dāng)前局部最優(yōu)值、全局最優(yōu)值間偏差的閾值。

2.3 LSSVM參數(shù)優(yōu)化的數(shù)學(xué)模型

其中，f()表示LSSVM模型。

要建立最優(yōu)的煤炭消費(fèi)量預(yù)測模型，首先要找到最優(yōu)的LSSVM參數(shù)，然而LSSVM參數(shù)優(yōu)化的目標(biāo)是找到最優(yōu)參數(shù)組合，使LSSVM預(yù)測值與實(shí)際煤炭消費(fèi)量值之間的誤差最小，因此采用均方根誤差作為煤炭消費(fèi)量LSSVM參數(shù)優(yōu)化的目標(biāo)函數(shù)，即

式中，n為煤炭消費(fèi)量樣本個數(shù)；yi和y?i分別表示第i個樣本實(shí)際值和預(yù)測值。

2.4 CEPSO算法優(yōu)化支持向量機(jī)參數(shù)步驟

艾司西酞普蘭與度洛西汀治療抑郁癥有效性與安全性的Meta分析 ……………………………………… 路淑淑等（10）：1395

（1）收集一維煤炭消費(fèi)量時間序列，并將其重構(gòu)成多維時間序列，產(chǎn)生LSSVM的訓(xùn)練集和驗證集。

（2）預(yù)估計LSSVM參數(shù)γ、σ范圍，并設(shè)置CEPSO算法的相關(guān)參數(shù)值。

（3）隨機(jī)產(chǎn)生粒子群，每一個粒子位置串包括γ、σ。

（4）LSSVM根據(jù)初始粒子群的γ、σ對訓(xùn)練集進(jìn)行學(xué)習(xí)，并通過式（12）計算每一個粒子的適應(yīng)度值，并將適應(yīng)度值最小者作為個體極值Pi和群體極值Pg。

（5）根據(jù)式（8）、式（9）確定鯰魚算子，并更新粒子的速度和位置。

（6）根據(jù)式（12）計算每個粒子在新位置上的適應(yīng)度值，粒子的適應(yīng)度值與Pi的適應(yīng)度值比較，如果優(yōu)于Pi的適應(yīng)度值，則用該粒子代替最優(yōu)適應(yīng)度值，并用該粒子位置代替Pi。

（7）將粒子的適應(yīng)度值與Pg的適應(yīng)度值比較，如果優(yōu)于Pg的適應(yīng)度值，則該粒子為群體的最優(yōu)適應(yīng)度值，同時用該粒子的位置代替Pg。

（8）若迭代次數(shù)超過最大允許迭代次數(shù)，則訓(xùn)練結(jié)束，并輸出粒子群全局最優(yōu)位置相對應(yīng)的LSSVM的γ、σ，否則跳轉(zhuǎn)至步驟（5）繼續(xù)進(jìn)行參數(shù)優(yōu)化。

（9）采用最優(yōu)γ、σ建立煤炭消費(fèi)量預(yù)測模型，并對驗證集進(jìn)行預(yù)測，對預(yù)測結(jié)果進(jìn)行分析。

3 仿真實(shí)驗

3.1 數(shù)據(jù)來源

數(shù)據(jù)來自1990年—2012年中國煤炭消費(fèi)量，具體如圖1所示。前18個數(shù)據(jù)組成訓(xùn)練集用于尋找LSSVM最優(yōu)參數(shù)，其余5個數(shù)據(jù)組成驗證集對參數(shù)有效性能和模型泛化能力進(jìn)行檢驗，仿真測試在CPU Intel 2.8 GHz，RAM 1 GB，Windows XP，Matlab 2009的平臺上編程實(shí)現(xiàn)。

圖1 煤炭消費(fèi)量數(shù)據(jù)

3.2 數(shù)據(jù)歸一化處理

LSSVM對[0 1]之間的數(shù)據(jù)十分靈敏，煤炭消費(fèi)量具有突變性，數(shù)值差異較大，為此，在建模之前，進(jìn)行歸一化處理，具體為：

式中，表示歸一化后煤炭消費(fèi)量值，xmax、xmin分別為煤炭消費(fèi)量的最大、最小值。

3.3 模型評價指標(biāo)

為了使CEPSO-LSSVM預(yù)測結(jié)果更具說服力，采用粒子群算法優(yōu)化LSSVM（PSO-LSSVM）、遺傳算法優(yōu)化LSSVM（GA-LSSVM）作為對比模型。采用均方根誤差（RMSE）和平均絕對百分誤差（MAPE）作為模型的評價指標(biāo)，它們分別定義如下：

3.4 LSSVM參數(shù)優(yōu)化過程

煤炭消費(fèi)量數(shù)據(jù)是一種時間序列，因此數(shù)據(jù)之間有明顯的數(shù)據(jù)相關(guān)性，當(dāng)前時刻的煤炭消費(fèi)量與前段時間煤炭消費(fèi)量存在一定的聯(lián)系，這樣就可以利用歷史煤炭消費(fèi)量數(shù)據(jù)對未來時刻煤炭消費(fèi)量進(jìn)行預(yù)測，本研究選擇前12個時間點(diǎn)的數(shù)據(jù)對當(dāng)前煤炭消費(fèi)量進(jìn)行預(yù)測，那么要預(yù)測yi，其輸入為：{yi-1，yi-2，…，yi-12}。

GA的交叉概率為Pc=0.9，變異概率為Pm=0.02；CEPSO的c1=c2=2，c3=1.2，c4=3.5，e0g=0，e0p=0.01，PSO參數(shù)與CEPSO設(shè)置相同，所有算法的種群大小均為10，最大迭代次數(shù)為500。LSSVM參數(shù)的范圍為：γ∈[1，1 000]，σ∈[0.1，10]，將煤炭消費(fèi)量訓(xùn)練集輸入到LSSVM進(jìn)行訓(xùn)練，在訓(xùn)練過程中用GA、PSO、CEPSO對參數(shù)(γ，σ)進(jìn)行在線優(yōu)化，根據(jù)訓(xùn)練集的10折交叉驗證誤差最小原則，參數(shù)優(yōu)化過程如圖2所示，得到的最優(yōu)參數(shù)結(jié)果見表1。從圖2可知，相對于PSO、GA，CEPSO可以更快地找到LSSVM參數(shù)，且交叉驗證誤差更小，這表明CEPSO是一種有效的LSSVM參數(shù)優(yōu)化算法。

圖2 各算法的LSSVM參數(shù)尋優(yōu)曲線對比

表1 各算法優(yōu)化LSSVM的參數(shù)結(jié)果

3.5 結(jié)果與分析

3.5.1 擬合能力比較

采用表1中的γ、σ值作為LSSVM參數(shù)，對訓(xùn)練集進(jìn)行學(xué)習(xí)，建立相應(yīng)的GA-LSSVM、PSO-LSSVM、CEPSOLSSVM的煤炭消費(fèi)量預(yù)測模型，并采用這些模型對訓(xùn)練集進(jìn)行擬合，得到的擬合結(jié)果見表2所示。從表2可知，在所有模型中，CEPSO-LSSVM的擬合誤差最小，擬合精度最高，根據(jù)擬合對比結(jié)果可知，CEPSO可以獲得更優(yōu)的LSSVM參數(shù)，更加準(zhǔn)確地刻畫了煤炭消費(fèi)量變化趨勢。

表2 各模型對訓(xùn)練集的擬合誤差

3.5.2 泛化能力比較

評價一個預(yù)測模型性能的優(yōu)劣，主要考察其預(yù)測能力，為此采用建立的煤炭消費(fèi)量模型對驗證集進(jìn)行預(yù)測，均采用一步預(yù)測，具體方式：采用前18個煤炭消費(fèi)量數(shù)據(jù)作為最原始訓(xùn)練集，對第19個數(shù)據(jù)進(jìn)行預(yù)測，然后采用滾動方式將第19個數(shù)據(jù)合到訓(xùn)練集，對第20個數(shù)據(jù)進(jìn)行預(yù)測，依此類推，最后得到第23個數(shù)據(jù)的預(yù)測結(jié)果，預(yù)測結(jié)果如圖3和表3所示。從圖3和表3可知，相對于對比模型，CEPSO-LSSVM的預(yù)測精度更高，說明CEPSO具有較好的全局搜索能力，通過引入“鯰魚效應(yīng)”，有助于跳出局部最優(yōu)值，從而找到了更優(yōu)的LSSVM參數(shù)，建立的煤炭消費(fèi)量預(yù)測模型更加準(zhǔn)確地描述了煤炭消費(fèi)量時變、非平穩(wěn)變化趨勢。

圖3 各模型對驗證集的預(yù)測結(jié)果對比

表3 各模型對驗證集的預(yù)測誤差

4 結(jié)語

煤炭消費(fèi)量受到多種因素的影響，具有隨機(jī)性、時變性，針對LSSVM在煤炭消費(fèi)量預(yù)測中的參數(shù)優(yōu)化問題，提出一種CEPSO-LSSVM的煤炭消費(fèi)量預(yù)測模型。首先將LSSVM參數(shù)優(yōu)化視為一個組合優(yōu)化問題，并根據(jù)煤炭消費(fèi)量預(yù)測建立參數(shù)優(yōu)化的目標(biāo)函數(shù)，然后基于煤炭消費(fèi)量預(yù)測結(jié)果的誤差最小原則，采用PSO算法對LSSVM最優(yōu)參數(shù)進(jìn)行尋優(yōu)，并引入“鯰魚效應(yīng)”解決PSO算法存在的不足，最后采用實(shí)際煤炭消費(fèi)量進(jìn)行仿真實(shí)驗，并與其他模型進(jìn)行對比。結(jié)果表明，CEPSO-LSSVM可以獲得更優(yōu)的煤炭消費(fèi)量預(yù)測模型，提高了煤炭消費(fèi)量的預(yù)測精度，并擴(kuò)展了LSSVM在其他非線性預(yù)測領(lǐng)域的應(yīng)用范圍。

[1]王延中.我國能源消費(fèi)政策的變遷及展望[J].中國工業(yè)經(jīng)濟(jì)，2001（4）：33-38.

[2]李世祥，吳巧生.我國煤炭需求函數(shù)回歸模型的建立及需求預(yù)測[J].中國煤炭，2005，31（6）：17-19.

[3]孫國文，尹光志.基于灰色系統(tǒng)理論的重慶市煤炭消費(fèi)預(yù)測[J].重慶大學(xué)學(xué)報，2006，29（7）：142-145.

[4]寧云.煤炭需求預(yù)測的復(fù)合小波神經(jīng)網(wǎng)絡(luò)模型[J].煤炭學(xué)報，2003，28（1）：108-112.

[5]張宏，李仲學(xué).煤炭需求影響因素及前景分析[J].煤炭學(xué)報，2007，32（5）：557-560.

[6]韓超，車永才，王繼波.改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)煤炭需求預(yù)測模型[J].遼寧工程技術(shù)大學(xué)學(xué)報，2005（S1）：121-126.

[7]穆朝絮，張瑞民，孫長銀.基于粒群優(yōu)化的非線性系統(tǒng)最小二乘支持向量機(jī)預(yù)控制方法[J].控制理論與應(yīng)用，2010，27（2）：164-167.

[8]劉智國，張雅明，林立忠.基于粒子群LSSVM的網(wǎng)絡(luò)入侵[J].計算機(jī)仿真，2011，27（11）：136-139.

[9]張朝龍，江巨浪，李彥梅.基于云粒子群-最小二乘支持向量機(jī)的傳感器溫度補(bǔ)償[J].傳感技術(shù)學(xué)報，2012，25（4）：472-477.

[10]陳磊.遺傳最小二乘支持向量機(jī)法預(yù)測時用水量[J].浙江大學(xué)學(xué)報：工學(xué)版，2011，45（6）.

[11]梁昔明，閻綱，李山春，等.基于最小二乘支持向量機(jī)和混沌優(yōu)化的非線性預(yù)測控制[J].信息與控制，2010，39（2）：129-135.

[12]景龍，楊淑霞，劉承水.基于遺傳算法優(yōu)化參數(shù)的支持向量機(jī)短期負(fù)荷預(yù)測方法[J].中南大學(xué)學(xué)報：自然科學(xué)版，2009，40（1）.

[13]易文周.混沌鯰魚粒子群優(yōu)化和差分進(jìn)化混合算法[J].計算機(jī)工程與應(yīng)用，2012，48（15）：54-58.

[14]Hu X H，Eberhart R C.Multi-objective optimization using dynamic neighborhood particle swarm optimization[C]//Proceedings of the 2002 Congress on Evolutionary Computation.Honolulu：IEEE，2002.

[15]Li Y，Wang C S，Yang C H.Chaotic catfish particle swarm optimization for solving global numerical optimization problems[J].Applied Mathematics and Computation，2011，217：6900-6916.

YANG Shijie1,LONG Dan2,ZHOU Qingbiao1

1.School of Computer Science,Zhejiang Industry Polytechnic College,Shaoxing,Zhejiang 312000,China
2.Zhejiang University School of Medicine,Hangzhou 310058,China

The coal consumption has time-varying and nonlinear characteristics.In order to improve the prediction accuracy of coal consumption,a coal consumption prediction model based on Catfish Particle Swarm algorithm and Least Squares Support Vector Machine（CEPSO-LSSVM）is proposed.LSSVM parameter is encoded into the position of the particle,and minimum of the cross validation error of network training set is taken as optimal target,and then the parameters of LSSVM are obtained by the exchange information among particles,and“catfish effect”is introduced to keep the diversity of particle swarm to overcome the local optimum of the traditional particle swarm optimization algorithm,and coal consumption prediction model is built according to the optimum parameters,and the simulation test is carried out on actual coal consumption data.The results show that,compared with other prediction models,the proposed model can get better parameters,and coal consumption prediction accuracy can be improved.It is more suitable for complex coal consumption prediction.

coal consumption;Least Squares Support Vector Machine（LSSVM）;Particle Swarm Optimization（PSO）algorithm; catfish effect

針對煤炭消費(fèi)量的時變性、非平穩(wěn)性特點(diǎn)，為了提高煤炭消費(fèi)量預(yù)測精度，提出了一種鯰魚粒子群算法優(yōu)化最小二乘支持向量機(jī)（LSSVM）的煤炭消費(fèi)量預(yù)測模型（CEPSO-LSSVM）。將LSSVM參數(shù)編碼成粒子位置串，并根據(jù)煤炭消費(fèi)量訓(xùn)練集的交叉驗證誤差最小作為參數(shù)優(yōu)化目標(biāo)，通過粒子間信息交流找到最優(yōu)LSSVM參數(shù)，并引入“鯰魚效應(yīng)”，保持粒子群的多樣性，克服傳統(tǒng)粒子群算法的局部最優(yōu)，根據(jù)最優(yōu)參數(shù)建立煤炭消費(fèi)量預(yù)測模型，并采用實(shí)際煤炭消費(fèi)量數(shù)據(jù)進(jìn)行仿真測試。結(jié)果表明，相對于其他預(yù)測模型，CEPSO-LSSVM可以獲得更優(yōu)的LSSVM參數(shù)，提高了煤炭消費(fèi)量預(yù)測精度，更加適用于復(fù)雜非線性的煤炭消費(fèi)量預(yù)測。

煤炭消費(fèi)量；最小二乘支持向量機(jī)；粒子群優(yōu)化算法；鯰魚效應(yīng)

A

TP391

10.3778/j.issn.1002-8331.1305-0287

YANG Shijie,LONG Dan,ZHOU Qingbiao.Coal consumption prediction based on LSSVM optimized by Catfish Particle Swarm Optimization algorithm.Computer Engineering and Applications,2013,49（18）：108-111.

浙江省教育技術(shù)研究規(guī)劃課題（No.JB083）。

楊世杰（1979—），男，講師，主要研究領(lǐng)域為機(jī)器學(xué)習(xí)算法、模式識別、圖形圖像；龍丹（1975—），男，博士，主要研究領(lǐng)域為計算機(jī)應(yīng)用、機(jī)器學(xué)習(xí)算法；周慶標(biāo)（1972—），男，博士，副教授，主要研究領(lǐng)域為計算機(jī)應(yīng)用、時間序列預(yù)測。

2013-05-22

2013-06-17

1002-8331（2013）18-0108-04