短期負(fù)荷預(yù)測(cè)的支持向量機(jī)參數(shù)選擇方法

楊國健， 楊鏡非， 童開蒙， 程浩忠， 孫毅斌， 葉 清

(1.上海交通大學(xué)電氣工程系， 上海 200240； 2.上海電力公司青浦供電公司， 上海 201700)

短期負(fù)荷預(yù)測(cè)的支持向量機(jī)參數(shù)選擇方法

楊國健1，2， 楊鏡非1， 童開蒙1， 程浩忠1， 孫毅斌2， 葉 清2

(1.上海交通大學(xué)電氣工程系， 上海 200240； 2.上海電力公司青浦供電公司， 上海 201700)

支持向量機(jī)SVM(support vector machine)方法的合理參數(shù)選擇對(duì)提高回歸結(jié)果的準(zhǔn)確性有重要作用。該文采用基于支持向量機(jī)短期負(fù)荷預(yù)測(cè)的參數(shù)選擇方法，用遺傳算法對(duì)參數(shù)種群進(jìn)行編碼、交叉、復(fù)制和變異，求得最優(yōu)參數(shù)和最優(yōu)核函數(shù)。將該算法應(yīng)用于電力系統(tǒng)短期負(fù)荷預(yù)測(cè)中，應(yīng)用了篩選和不篩選特征值兩種方案對(duì)歷史數(shù)據(jù)進(jìn)行了預(yù)測(cè)。算例證明，無論是應(yīng)用篩選特征值方案還是不篩選特征值方案，參數(shù)選擇對(duì)預(yù)測(cè)精度提高都具有重要作用。

支持向量機(jī)； 參數(shù)選擇； 核函數(shù)選擇； 負(fù)荷預(yù)測(cè)； 遺傳算法

支持向量機(jī)[1]SVM(support vector machine)方法是一種基于統(tǒng)計(jì)分析和穩(wěn)健回歸理論的統(tǒng)計(jì)學(xué)習(xí)方法，它具有學(xué)習(xí)速度快、全局最優(yōu)和推廣能力強(qiáng)的優(yōu)點(diǎn)，其學(xué)習(xí)結(jié)果經(jīng)常明顯好于其他的模式識(shí)別和回歸預(yù)測(cè)方法，在電力系統(tǒng)短期負(fù)荷預(yù)測(cè)中，取得了較好的預(yù)測(cè)效果[2～4]。由于支持向量機(jī)在模型選取上需要對(duì)參數(shù)進(jìn)行選擇，而目前應(yīng)用于短期負(fù)荷預(yù)測(cè)的支持向量機(jī)法多半是通過個(gè)人設(shè)計(jì)經(jīng)驗(yàn)來進(jìn)行參數(shù)選擇，具有非常強(qiáng)的主觀性和隨意性，因而有必要采用自適應(yīng)優(yōu)化算法對(duì)參數(shù)進(jìn)行客觀選擇，來提高支持向量機(jī)訓(xùn)練的精度。

本文提出了支持向量機(jī)短期負(fù)荷預(yù)測(cè)的參數(shù)選擇方法，采用變參數(shù)的SVM作為負(fù)荷預(yù)測(cè)的模型，通過遺傳算法對(duì)參數(shù)進(jìn)行編碼、交叉、復(fù)制和變異，以求得最優(yōu)參數(shù)。這種方法利用了SVM良好的回歸能力，同時(shí)又能夠通過參數(shù)種群的進(jìn)化尋覓到最優(yōu)的參數(shù)。在特征值選取問題上，提出了基于數(shù)據(jù)特征值篩選的方法和未經(jīng)篩選的方法，分析比較了兩種方法的誤差結(jié)果。

1 支持向量機(jī)模型

支持向量機(jī)是一種統(tǒng)計(jì)學(xué)習(xí)方法，它對(duì)l個(gè)數(shù)據(jù)進(jìn)行訓(xùn)練，其中第i個(gè)數(shù)據(jù)包含自變量xi∈Rn和與之相對(duì)應(yīng)的因變量yi∈R。SVM定義映射函數(shù)

f(x)=k(x，x′)+b

(1)

此函數(shù)反映自變量x和因變量f(x)的關(guān)系，其中x，x′∈Rn，f(x)∈R，k(x，x′)=?φ(x)，φ(x′)?稱為核函數(shù)，φ：X→τ是一種τ的映射。SVM的數(shù)學(xué)模型為

subject toyi-?φ(x′)，xi?-

b≤ε+εi?φ(x′)，xi?+

(2)

線性函數(shù)

k(x，x′)=?x，x′?

(3)

多項(xiàng)式函數(shù)

k(x，x′)=(γ?x，x′?+δ)d

(4)

徑向基函數(shù)

k(x，x′)=e-γ‖x-x′‖2

(5)

對(duì)數(shù)S型函數(shù)

k(x，x′)=tanh(γ*?x，x′?+δ)

(6)

經(jīng)證明[2]，上述函數(shù)符合φ(x)能將x映射到τ特征空間的條件，可以作為支持向量機(jī)中的核函數(shù)。

回歸問題的實(shí)質(zhì)是一個(gè)優(yōu)化問題，它的求解有多種算法，如IBM公司在1992年推出的OSL算法，1995年Cortes和Vapnik提出的Chunking算法、內(nèi)點(diǎn)法、序列極小化[5]， Chih-Jen Lin于2005年提出的LIBSVM方法[6]等。

2 基于遺傳算法的支持向量機(jī)參數(shù)選擇

選取好的SVM參數(shù)，提高模型的模式識(shí)別能力非常重要[1，6]，本文提出一種基于遺傳算法的SVM參數(shù)選擇方法。SVM中需要進(jìn)行用戶選擇的參數(shù)有：1)核函數(shù)類型；2)懲罰因子C；3)期望最大絕對(duì)誤差ε；4)核函數(shù)的內(nèi)部參數(shù)γ，δ，d。由于不同核函數(shù)的參數(shù)沒有可比性，故本文提出先對(duì)同一種核函數(shù)內(nèi)部用遺傳算法進(jìn)行參數(shù)選擇，再把每種核函數(shù)的最優(yōu)參數(shù)的結(jié)果進(jìn)行比較，用于選擇最佳的擬合方案。下面以徑向基函數(shù)為例，說明基于遺傳算法的SVM參數(shù)選擇方法。

徑向基函數(shù)的表達(dá)式為k(x，x′)=e-γ‖x-x′‖2，因而需要選擇的參數(shù)有3個(gè)：γ，C，ε，采用通用的二進(jìn)制編碼，將這些變量都轉(zhuǎn)化為相應(yīng)的0、1編碼。建立一個(gè)包含所有參數(shù)的二進(jìn)制編碼的種群，通過隨機(jī)填入數(shù)字0或1對(duì)這些種群變量進(jìn)行初始化賦值，對(duì)每一個(gè)種群，將二進(jìn)制變量還原為十進(jìn)制變量，找到使式(1)達(dá)到最優(yōu)解的x′和b，然后相應(yīng)地最佳擬合函數(shù)f(x)=k(x，x′)+b的訓(xùn)練誤差E為

(7)

定義適應(yīng)度函數(shù)

F=E+ct

(8)

式中：t為訓(xùn)練時(shí)間；c為訓(xùn)練時(shí)間系數(shù)。這樣的適應(yīng)度函數(shù)既考慮到訓(xùn)練的精度，又考慮到訓(xùn)練的速度，目的是防止大規(guī)模數(shù)據(jù)在尋優(yōu)過程中速度過慢。找出適應(yīng)度函數(shù)較小的染色體，不斷進(jìn)行交叉和復(fù)制、變異，直到滿足以下兩個(gè)遺傳中止條件之一：1)適應(yīng)度函數(shù)小于給定的適應(yīng)度函數(shù)限值；2)兩代最優(yōu)適應(yīng)度函數(shù)的差值小于給定的差值限值。此時(shí)，該染色體所對(duì)應(yīng)的參數(shù)被認(rèn)為是問題的最優(yōu)參數(shù)。圖1示出了支持向量機(jī)參數(shù)選擇的流程圖。

圖1 固定核函數(shù)的支持向量機(jī)參數(shù)選擇流程

前面描述的是對(duì)同一種核函數(shù)內(nèi)部用遺傳算法進(jìn)行參數(shù)選擇并進(jìn)行負(fù)荷預(yù)測(cè)的方法，考慮到不同核函數(shù)在不同訓(xùn)練背景下的預(yù)測(cè)精度不同，本文提出在對(duì)同一核函數(shù)進(jìn)行參數(shù)選擇的基礎(chǔ)上，再把每種核函數(shù)的最優(yōu)參數(shù)的結(jié)果進(jìn)行比較，用于篩選最佳核函數(shù)，選擇最佳的擬合方案。步驟如下：

1)利用遺傳算法對(duì)各種不同核函數(shù)選擇最佳參數(shù)值；

2)計(jì)算對(duì)每種核函數(shù)最佳參數(shù)值對(duì)應(yīng)訓(xùn)練誤差E；

3)將訓(xùn)練誤差E最小值所對(duì)應(yīng)的核函數(shù)作為篩選核函數(shù)；

4)利用篩選核函數(shù)以及相應(yīng)的最佳參數(shù)值進(jìn)行SVM預(yù)測(cè)。

這里采用了訓(xùn)練誤差E而沒有采用適應(yīng)度函數(shù)F作為優(yōu)化目標(biāo)，原因是在前述的不同核函數(shù)參數(shù)優(yōu)選的過程中，已經(jīng)考慮過訓(xùn)練時(shí)間，核函數(shù)篩選后不需要再對(duì)各種核函數(shù)進(jìn)行再次訓(xùn)練，只需要根據(jù)最優(yōu)參數(shù)直接得出被預(yù)測(cè)量的映射函數(shù)解析解，因此不會(huì)影響預(yù)測(cè)時(shí)間的長(zhǎng)短。這種情況下，精度最優(yōu)是篩選最優(yōu)核函數(shù)唯一需要考慮的因素。

3 支持向量機(jī)負(fù)荷預(yù)測(cè)方法的參數(shù)選擇

本文采用的算例是對(duì)2010年河南電網(wǎng)連續(xù)30天的負(fù)荷情況進(jìn)行日負(fù)荷預(yù)測(cè)。給出的已知數(shù)據(jù)是河南電網(wǎng)每天48個(gè)采樣點(diǎn)的負(fù)荷數(shù)據(jù)、每天平均氣溫?cái)?shù)據(jù)以及被預(yù)測(cè)日的氣象預(yù)報(bào)數(shù)據(jù)，歷史數(shù)據(jù)的時(shí)間長(zhǎng)度是從2008年1月1日到被預(yù)測(cè)日之前36小時(shí)的時(shí)間段，預(yù)測(cè)的對(duì)象是每個(gè)預(yù)測(cè)日全天48點(diǎn)的負(fù)荷數(shù)據(jù)。對(duì)于特征值的選取，使用兩套方案來預(yù)測(cè)訓(xùn)練樣本。第一套方案，首先篩選出和預(yù)測(cè)點(diǎn)在星期屬性、節(jié)假日屬性、預(yù)測(cè)時(shí)段都相同且和預(yù)測(cè)日的時(shí)間距離小于兩年的數(shù)據(jù)作為SVM中的y值，相應(yīng)的x值共有9個(gè)特征輸入量，包括訓(xùn)練點(diǎn)前一天與預(yù)測(cè)時(shí)段相同的負(fù)荷、提前一個(gè)時(shí)段的負(fù)荷、提前兩個(gè)時(shí)段的負(fù)荷、訓(xùn)練點(diǎn)的溫度、訓(xùn)練點(diǎn)前1～5天的與預(yù)測(cè)時(shí)段相同時(shí)段的負(fù)荷。第二套方案，不進(jìn)行篩選，找出所有和預(yù)測(cè)點(diǎn)的時(shí)間距離小于兩年的數(shù)據(jù)作為SVM中的y值，相應(yīng)的x值除了第一套方案中的9個(gè)特征輸入量外，還包含星期屬性、節(jié)假日屬性和預(yù)測(cè)時(shí)段。本例中設(shè)置訓(xùn)練時(shí)間系數(shù)c=10-4，訓(xùn)練時(shí)間單位為 s。算例做了30次日負(fù)荷預(yù)測(cè)，每次預(yù)測(cè)某日48個(gè)點(diǎn)的負(fù)荷，一共預(yù)測(cè)了1440(30×48)個(gè)預(yù)測(cè)點(diǎn)，表1列出了這1440個(gè)點(diǎn)的平均絕對(duì)百分誤差MAPE(mean absolute percentage error)和絕對(duì)百分誤差最大值A(chǔ)PEM(absolute percentage error maximum)。

表1 連續(xù)30天日負(fù)荷預(yù)測(cè)結(jié)果的誤差情況

表1中可以看出，無參數(shù)優(yōu)化的預(yù)測(cè)誤差明顯高于考慮參數(shù)優(yōu)化的誤差，證實(shí)了參數(shù)優(yōu)化的重要作用。在考慮參數(shù)優(yōu)化訓(xùn)練結(jié)果中，采用第一套方案對(duì)這些日負(fù)荷對(duì)應(yīng)的1440個(gè)點(diǎn)進(jìn)行預(yù)測(cè)，最佳核函數(shù)為多項(xiàng)式函數(shù)的有963個(gè)點(diǎn)，為線性函數(shù)的有358個(gè)點(diǎn)，為徑向基函數(shù)的有119個(gè)點(diǎn)。而采用第二套方案，1440個(gè)點(diǎn)的最佳核函數(shù)均為徑向基函數(shù)。對(duì)這個(gè)結(jié)果進(jìn)行更進(jìn)一步的分析，發(fā)現(xiàn)第一套方案中963個(gè)最佳核函數(shù)為多項(xiàng)式的點(diǎn)，其多項(xiàng)式指數(shù)d大多接近于1，也就是說其多項(xiàng)式表達(dá)式大多數(shù)都接近線性。這是由于在第一套方案中，數(shù)據(jù)篩選模塊已經(jīng)將分散性比較強(qiáng)的數(shù)據(jù)分割為幾大類，每類內(nèi)部的數(shù)據(jù)具有相似的變化規(guī)律，基本可以用線性來表示。而在第二套方案中，數(shù)據(jù)點(diǎn)較為分散，由文獻(xiàn)[7]可以證明，徑向基函數(shù)對(duì)于這類問題的描述更為準(zhǔn)確。另外從表1中還可以看出，經(jīng)過篩選最佳函數(shù)后的預(yù)測(cè)結(jié)果明顯優(yōu)于未經(jīng)篩選的數(shù)據(jù)，證明了篩選函數(shù)的重要性。 圖2為某日實(shí)際負(fù)荷和預(yù)測(cè)負(fù)荷對(duì)比曲線圖，預(yù)測(cè)方法采用第一套方案并進(jìn)行了核函數(shù)篩選，從圖中可以看出，本文所提的預(yù)測(cè)方法具有較高的預(yù)測(cè)精度。

圖2 某日實(shí)際負(fù)荷曲線與預(yù)測(cè)負(fù)荷曲線對(duì)比

4 結(jié)語

本文提出了支持向量機(jī)負(fù)荷預(yù)測(cè)的參數(shù)選擇方法，首先用SVM寫出預(yù)測(cè)的數(shù)學(xué)模型并進(jìn)行求解，再通過遺傳算法對(duì)參數(shù)進(jìn)行編碼、交叉、復(fù)制和變異，以求得最優(yōu)參數(shù)。最后以訓(xùn)練誤差最小作為目標(biāo)函數(shù)，篩選出最優(yōu)核函數(shù)。將該算法應(yīng)用于電力系統(tǒng)短期負(fù)荷預(yù)測(cè)中，考慮到影響負(fù)荷的要素，對(duì)歷史數(shù)據(jù)進(jìn)行篩選，找出與預(yù)測(cè)點(diǎn)屬同一類的數(shù)據(jù)進(jìn)行訓(xùn)練。

河南電網(wǎng)的算例證明了考慮參數(shù)優(yōu)化對(duì)提高預(yù)測(cè)精度的作用。在算例結(jié)果中，采用篩選后的數(shù)據(jù)的最佳核函數(shù)多為接近線性表達(dá)式，且經(jīng)過篩選的數(shù)據(jù)進(jìn)行預(yù)測(cè)的結(jié)果優(yōu)于未經(jīng)篩選的數(shù)據(jù)，說明了特征值的選擇對(duì)于支持向量機(jī)的重要作用。誤差結(jié)果顯示，支持向量機(jī)負(fù)荷預(yù)測(cè)的參數(shù)選擇法結(jié)果合理、精度高、具有應(yīng)用價(jià)值。

[1] Vapnik V.The Nature of Statistical Learning Theory [M].New York:Spdnge-Verlag, 1995.

[2] 趙登福，王蒙， 張講社，等(Zhao Dengfu, Wang Men-g, Zhang Jiangshe,etal). 基于支撐向量機(jī)方法的短期負(fù)荷預(yù)測(cè)(A support vector machine approach for short term load forecasting)[J]. 中國電機(jī)工程學(xué)報(bào)(Proceedings of the CSEE), 2002, 22(4):26-30.

[3] Keerthi S S, Shevade S K, Bhattacharyya C,etal.Improvements to Platt's SMO algorithm for SVM classifier design [J]. Neural Computation, 2001,13(3): 637-649.

[4] Chang C, Lin C. LIBSVM: a library for support vector machines[EB/OL]. http://www.csie.ntu.edu.tw/～cjlin/libsvm, 2002.

[5] 吳宗敏(Wu Zongmin). 徑向基函數(shù)、散亂數(shù)據(jù)擬合與無網(wǎng)格偏微分方程數(shù)值解(Radial basis function scattered data interpolation and the meshless method of numerical solution of PDEs)[J]. 工程數(shù)學(xué)學(xué)報(bào)(Journal of Engineering Mathematics), 2002, 19(2): 1-12.

[6] 蔣喆(Jiang Zhe). 支持向量機(jī)在電力負(fù)荷預(yù)測(cè)中的應(yīng)用研究(Research on power load forecasting base on support vector machines)[J]. 計(jì)算機(jī)仿真(Computer Simulation), 2010, 27(8): 282-285.

[7] 葉淳錚, 常鮮戎, 顧為國(Ye Chunzheng, Chang Xianrong, Gu Weiguo). 基于小波變換和支持向量機(jī)的電力系統(tǒng)短期負(fù)荷預(yù)測(cè)(Short-term load forecasting based on wavelet transform and support vector machines)[J]. 電力系統(tǒng)保護(hù)與控制(Power System Protection and Control) , 2009,37(14):41-45.

[8] 梁建武，陳祖權(quán)，譚海龍(Liang Jianwu, Chen Zuquan, Tan Hailong). 短期負(fù)荷預(yù)測(cè)的聚類組合和支持向量機(jī)方法(Application of clustering combination and support vector machine in short-term load forecasting)[J]. 電力系統(tǒng)及其自動(dòng)化學(xué)報(bào)(Proceedings of the CSU-EPSA) , 2011,23(1):34-38.

楊國健(1978-)，男，碩士研究生，工程師，研究方向?yàn)樨?fù)荷預(yù)測(cè)、配電網(wǎng)運(yùn)行優(yōu)化。Email:cn_yangcn@sina.com

楊鏡非(1974-)，女，副教授，研究方向?yàn)樨?fù)荷預(yù)測(cè)、智能電網(wǎng)、變電站仿真。Email:carayang@sjtu.edu.cn

童開蒙(1987-)，男，碩士研究生，研究方向?yàn)樨?fù)荷預(yù)測(cè)、配電網(wǎng)運(yùn)行優(yōu)化。Email:kaikai.sjtu@hotmail.com

ParameterSelectionofSupportVectorMachineforShort-termLoadForecasting

YANG Guo-jian1，2， YANG Jing-fei1， TONG Kai-meng1，CHENG Hao-zhong1， SUN Yi-bin2， YE Qing2

(1.Department of Electrical Engineering, Shanghai Jiaotong University,Shanghai 200240, China;2.Qingpu Power Supply Branch, Shanghai Municipal Electric Power Company,Shanghai 201700, China)

The parameter selection of support vector machine (SVM) play a key role in increasing the accuracy of short-term load forecasting result. The method of SVM parameter selection for short-term load forecasting is presented in this paper which the parameters in a binary group are coded, crossed, reproduced and mutated on the base of genetic algorithm to find the optimal parameter and kernel function. The choosing and non-choosing eigenvalue scheme is used for short-term load forecasting and the results show that parameter selection is important for improving the forecasting accuracy no matter which eigenvalue scheme.

support vector machine(SVM)； parameter selection； kernel selection； load forecasting; genetic algorithm

TM61

A

1003-8930(2012)06-0148-04

2011-08-17；

2011-10-08