基于主成分分析的LS-SVM非線形預(yù)測模型應(yīng)用

郭志鋼，蒲 忠，李 秋

（1.西南石油大學(xué) 經(jīng)濟(jì)管理學(xué)院，成都 610500；2.中國石油西氣東輸公司豫鄂管理處，武漢 430073）

0 引言

天然氣消費量的預(yù)測對于四川省這樣的一個天然氣資源大省有著非常重要的意義。隨著新一輪經(jīng)濟(jì)的增長，四川省能源供需矛盾更加緊張，準(zhǔn)確的預(yù)測不僅關(guān)系到四川省能源戰(zhàn)略的制定、經(jīng)濟(jì)的可持續(xù)增長，還關(guān)系到人民生活水平的提高。

對于四川省天然氣消費量的預(yù)測既可以采用時間序列預(yù)測方法也可以采用回歸預(yù)測方法。由于時序預(yù)測法只考慮預(yù)測對象過去的時序模式，涉及的因素較少，因此建模雖然簡單，但是精度有所不夠?；貧w分析方法通常涉及到眾多因素，考慮問題比較全面，因此模型尤其是非線形模型相對復(fù)雜，但是精度比時間序列模型要高。

本文首先在考慮影響四川省天然氣消費量眾多影響因素的基礎(chǔ)上，選擇出比較有代表性的自變量體系，然后為降低預(yù)測模型的復(fù)雜度以及提高模型的預(yù)測精度，利用主成分分析方法對自變量體系進(jìn)行降維及去噪，把多個自變量變?yōu)樯贁?shù)主成分，最后利用這些生成的主成分及應(yīng)變量（四川省天然氣消費量）建立起基于最小二乘支持向量機的非線形預(yù)測模型。

1 主成分分析（PCA）

PCA將原樣本矩陣分解為一組標(biāo)準(zhǔn)正交基與該正交基所張成的空間中投影坐標(biāo)的外積，即將過程中大量的相關(guān)信息和帶有噪聲的數(shù)據(jù)投影到含所有相關(guān)信息的低維子空間上，從而起到降維和去噪的作用。計算過程如下：

設(shè) X=(x1，x2，…，xp)T，求 X 的各主成分，等價于求它的協(xié)方差矩陣的各特征值及相應(yīng)的正交單位特征向量λ1≥λ2≥…λp≥0 及 D=(d1，d2，…，dn)。

定義 Y=(Y1，Y2，…，Yn)T為主成分向量，則

即主成分分析是按特征值由大到小所對應(yīng)的正交單位特征向量為x1，x2，…，xp的線性組合分別為 x的第一、第二、直到第p個主成分，而各主成分的方差等于相應(yīng)的特征值，即 Var（Yk）=λk。

實際應(yīng)用中，通常選取m＜p，使前m個主成分的累計貢獻(xiàn)率達(dá)到較高的比例（如80%到90%）。這樣用前m個主成分 Y1，Y2，…，Ym代替原始變量 x1，x2，…，xp不但使變量維數(shù)降低，而且也不致于明顯損失原始變量中的信息。

2 最小二乘支持向量機（LS-SVM）

基于回歸的LS－SVM原理如下：

首先考慮n個訓(xùn)練樣本的線性回歸問題，設(shè)訓(xùn)練數(shù)據(jù)集(xi，yi)，i=1，2，…，n，xi∈Rd是第 i個樣本的輸入模式，yi∈R是對應(yīng)第i個樣本的期望輸出。線性回歸函數(shù)為

根據(jù)SRM準(zhǔn)則，綜合考慮正則化項與擬合誤差的平方和，將回歸問題轉(zhuǎn)化為如下的有約束二次優(yōu)化問題，它存在唯一的最優(yōu)解

其中γ為可調(diào)參數(shù)，它控制對超出誤差樣本的懲罰的程度，實現(xiàn)在訓(xùn)練誤差和模型復(fù)雜度之間的折衷。與標(biāo)準(zhǔn)SVM不同，這里只有等式約束，且優(yōu)化目標(biāo)的損失函數(shù)是誤差ξi的二范數(shù)。引入Lagrange函數(shù)，把有約束優(yōu)化問題轉(zhuǎn)化成無約束優(yōu)化問題，

其中 αi≥0,i=1，2，…，n 為 Lagrange 乘子，根據(jù) KKT 條件，把上式對w,b,ξi和αi求偏微分并令它們等于零，得到

上式對于i=1，2，…，n,消去w和ξi得到下面的方程組

解之，得到LS－SVM線性回歸模型

由（8）式可以看出，求解LS－SVM線性回歸模型的過程只涉及到訓(xùn)練樣本之間的內(nèi)積運算因此在樣本維數(shù)增加很多的情況下，求解過程的復(fù)雜度并沒有明顯增加，解決了維數(shù)災(zāi)難問題。對于LS－SVM非線性回歸，通常用一個由低維空間到高維空間（Hilbert空間）的非線性映 φ(·):Rd→Rdh，把低維空間的非線性回歸轉(zhuǎn)化為高維空間的線性回歸，并定義高維空間的內(nèi)積運算為

高維空間的內(nèi)積運算K(xi，xj)稱為核函數(shù)，它可以是滿足Mercer條件的任意對稱函數(shù),常用的有多項式核函數(shù)、徑向基核函數(shù)、Sigmoid核函數(shù)，本文采用徑向基核函數(shù)，其公式如下：

其中σ為徑向基函數(shù)的寬度，為待定系數(shù)。

3 實證分析

影響天然氣消費量變化因素很多，依據(jù)系統(tǒng)性、可行性、科學(xué)性的特點，受數(shù)據(jù)統(tǒng)計的限制，選取四川省工業(yè)總產(chǎn)值（億元）；四川省GDP（億元）；四川省人均可支配收入（元）；四川省總?cè)丝冢ㄈf人）；四川省固定資產(chǎn)投資（億元）；四川省天然氣產(chǎn)量（億立方米）；煤炭價格指數(shù)（上一年為100%）；電力價格指數(shù)（上一年為100%）為自變量體系X，各自變量分別命名為 X1、X2、X3、X4、X5、X6、X7、X8。 具體數(shù)據(jù)見表 1，其中Y代表四川省天然氣消費量（億立方米）。（數(shù)據(jù)來源于中國能源統(tǒng)計年鑒及四川省統(tǒng)計年鑒）

3.1 主成分分析

為了達(dá)到降維與去噪的目的，首先對樣本進(jìn)行PCA處理。表2為原始樣本數(shù)據(jù)經(jīng)過標(biāo)準(zhǔn)化處理后的相關(guān)矩陣的PCA計算結(jié)果。

從表2看出，前兩個主成分的累計貢獻(xiàn)率已達(dá)98.4%，能夠很好地概括原始變量。其中，第一個主成分的貢獻(xiàn)率為89.5%,并且在所有的變量上都有正的荷載且大小比較平均，因此可以看做是一個綜合成分；第二主成分的貢獻(xiàn)率為8.9%，在X2上有較大的荷載，因此第二主成分可以看作是工業(yè)發(fā)展對天然氣消費的影響。做主成分與應(yīng)變量間的散點分析圖（圖1），從圖1可知，主成分與應(yīng)變量間既存在線形關(guān)系，也存在非線形關(guān)系，顯然使用傳統(tǒng)的多元線形回歸預(yù)測模型來進(jìn)行預(yù)測精度比較低，因此本文采用最小二乘支持向量機這種具有較強非線形擬合能力的機器算法建立預(yù)測模型。

表2 X相關(guān)矩陣的前兩個特征值、特征向量以及貢獻(xiàn)率

表3 基于主成分分析的LS-SVM模型學(xué)習(xí)樣本及測試樣本計算預(yù)測結(jié)果

圖1 主成分與應(yīng)變量之間的散點圖

表4 三種模型預(yù)測性能比較

3.2 最小二乘支持向量機預(yù)測模型

以生成的兩個主成分作為輸入變量，以對應(yīng)年份的四川省天然氣消費量作為輸出變量建立LS-SVM預(yù)測模型，其中1997年至20005年這九組數(shù)據(jù)作為學(xué)習(xí)樣本，最后一組數(shù)據(jù)作為測試樣本。

LS-SVM模型的調(diào)整參數(shù)γ及徑向基函數(shù)的寬度σ的取值對預(yù)測模型的學(xué)習(xí)及范化能力影響較大，為了提高模型的學(xué)習(xí)及預(yù)測能力，利用遺傳算法對最小二乘支持向量機的參數(shù)進(jìn)行優(yōu)化，優(yōu)化后的參數(shù)取值分別為：γ=5192，σ=21.35。

模型性能結(jié)果如表3所示。

為了說明問題，在同樣的原始數(shù)據(jù)的基礎(chǔ)上，本文同時建立了基于時間序列的LS-SVM預(yù)測模型（模型Ⅱ）及基于主成分分析的線形回歸預(yù)測模型（模型Ⅲ），并且采用預(yù)測樣本誤差均方差及預(yù)測樣本相對最大誤差兩個指標(biāo)來進(jìn)行衡量。具體結(jié)果見表4，其中模型Ⅰ代表本文所使用的模型。

從表4中可以看出，本文所采用的模型在預(yù)測性能指標(biāo)上遠(yuǎn)遠(yuǎn)好于其它兩種預(yù)測模型，模型Ⅱ雖然通過LS-SVM模型模擬了自變量與應(yīng)變量間的非線形關(guān)系，但是由于模型輸入變量包含的信息相對較少，因此預(yù)測誤差相對較大。模型Ⅲ雖然包含較廣自變量信息，但是由于僅使用線形回歸進(jìn)行分析，顯然不符合自變量與應(yīng)變量間的非線形關(guān)系，因此誤差比較大。而本文所建立的模型綜合上述二者的優(yōu)點，模型自變量包含的信息較多，預(yù)測時丟失的信息較少，同時經(jīng)過主成分分析實現(xiàn)了降維及去噪；另一方面利用LS-SVM模型成功的模擬了自變量與應(yīng)變量間所存在的非線形關(guān)系，因此預(yù)測性能要遠(yuǎn)強其它兩外兩種模型。

4 結(jié)論

本文使用主成分分析方法對影響四川省天然氣消費量影響因素進(jìn)行降維及去噪，利用遺傳算法改造后的最小二乘支持向量機回歸方法建立四川省天然氣消費量預(yù)測模型。結(jié)果表明該模型具有較強的學(xué)習(xí)能力及范化能力，具有一定的應(yīng)用價值。

[1]郭志鋼.四川省天然氣消費量變權(quán)重組合預(yù)測[J].西南石油大學(xué)學(xué)報(社會科學(xué)版)，2009.2.（2）.

[2]王革麗.基于支持向量機方法對非平穩(wěn)時間序列的預(yù)測[J].物理學(xué)報，2008,(2).

[3]周輝仁.LS-SVM的參數(shù)優(yōu)選及鐵路客運市場預(yù)測[J].計算機工程與應(yīng)用，2007,43（30）.

[4]王效東.天然氣消費量的神經(jīng)網(wǎng)絡(luò)方法預(yù)測[J].天然氣勘探與開發(fā)，2007,(9).

[5]覃章健.四川省成品油和天然氣需求預(yù)測[J].資源科學(xué)，2006,(9).

[6]殷建成.天然氣需求自適應(yīng)優(yōu)化組合預(yù)測模型的改進(jìn)[J].油氣儲運，2005,24（10）.

[7]永高,孫文建.基于主成分分析法的建筑企業(yè)競爭力評價研究[J].施工技術(shù)，2007,（12）.

[8]萬璽.重慶市“十一五”天然氣需求組合預(yù)測研究[J].天然氣技術(shù)，2007,(6).

[9]Pelckmans K，Suykens Jak，DE Moor B.Building Sparse Representations and Structure Determination on LS-SVM Substrates[J].Neurocomputing,2005,(64).