基于CLPSO模型選擇的SVM電力負(fù)荷預(yù)測(cè)模型研究

夏成文，楊司玥，鮑玉昆，潘 睿，鄧源彬

(1.南方電網(wǎng)深圳數(shù)字電網(wǎng)研究院有限公司，廣東 深圳 518053；2.華中科技大學(xué) 管理學(xué)院，湖北 武漢 430074)

電力負(fù)荷預(yù)測(cè)主要是通過對(duì)歷史上的電力負(fù)荷數(shù)據(jù)和氣候等影響因素進(jìn)行分析，探索電力負(fù)荷可能的變化規(guī)律，從而預(yù)先估測(cè)未來電力的需求情況[1]。負(fù)荷預(yù)測(cè)為電力系統(tǒng)的安全可靠供電和經(jīng)濟(jì)穩(wěn)定運(yùn)作提供了至關(guān)重要的支撐作用。隨著電力系統(tǒng)逐步向更加智能化的方向發(fā)展，其對(duì)于高精度電力負(fù)荷預(yù)測(cè)的需求也日益提高。目前，常用的負(fù)荷預(yù)測(cè)方法大致可歸納為兩類：一類是基于統(tǒng)計(jì)模型的傳統(tǒng)時(shí)間序列模型，如ARIMA[2]、指數(shù)平滑法[3]及多種回歸模型。此類方法要求時(shí)間序列有較好的平穩(wěn)性，在非線性、非平穩(wěn)的負(fù)荷預(yù)測(cè)任務(wù)中使用較為受限。另一類是以數(shù)據(jù)為驅(qū)動(dòng)的機(jī)器學(xué)習(xí)技術(shù)，如應(yīng)用較為廣泛的神經(jīng)網(wǎng)絡(luò)[4]、支持向量機(jī)[5](support vector machine, SVM)等。此類方法對(duì)負(fù)荷序列中非結(jié)構(gòu)性、非精確性的規(guī)律和模式有較好的自適應(yīng)性，隨著負(fù)荷及相關(guān)數(shù)據(jù)在數(shù)量和種類方面的不斷豐富，機(jī)器學(xué)習(xí)方法在非線性的復(fù)雜負(fù)荷序列預(yù)測(cè)任務(wù)中也表現(xiàn)出了較大的潛力[6]。

盡管基于機(jī)器學(xué)習(xí)方法的負(fù)荷預(yù)測(cè)技術(shù)在精確程度方面受到了很多研究的肯定，但其預(yù)測(cè)性能往往取決于很多技術(shù)細(xì)節(jié)，比如輸入特征選擇和超參數(shù)優(yōu)化等一系列問題，這些問題統(tǒng)稱為“模型選擇”。不恰當(dāng)?shù)哪Ｐ瓦x擇會(huì)導(dǎo)致一些具有優(yōu)秀潛力的機(jī)器學(xué)習(xí)算法在實(shí)際預(yù)測(cè)任務(wù)中的表現(xiàn)欠佳。解決輸入特征選擇、超參數(shù)優(yōu)化等模型選擇問題，盡可能改善模型表現(xiàn)，是機(jī)器學(xué)習(xí)在負(fù)荷預(yù)測(cè)領(lǐng)域能夠發(fā)揮作用的關(guān)鍵。已有不少研究探索了電力負(fù)荷預(yù)測(cè)中機(jī)器學(xué)習(xí)方法的模型選擇問題。其中，在超參數(shù)優(yōu)化方面，張文濤等[7]采用了核極限學(xué)習(xí)機(jī)(kernel extreme learning machine, KELM)進(jìn)行負(fù)荷預(yù)測(cè)建模，為了提高KELM的預(yù)測(cè)性能，引入了改進(jìn)的鯨魚算法對(duì)KELM的核函數(shù)參數(shù)和正則化系數(shù)進(jìn)行優(yōu)化；孫海蓉等[8]針對(duì)支持向量機(jī)在短期電力負(fù)荷預(yù)測(cè)中的超參優(yōu)化問題，提出了一種二階振蕩和帶斥力因子的粒子群優(yōu)化算法(particle swarm optimization, PSO)，改進(jìn)后的算法提高了PSO對(duì)SVM各項(xiàng)參數(shù)的全局搜索能力，使SVM表現(xiàn)出更好的性能；魏騰飛等[9]將改進(jìn)的PSO與遺傳算法中的變異操作相結(jié)合，優(yōu)化了長(zhǎng)短期記憶(long short-term memory, LSTM)模型的多種參數(shù)，從而提高了LSTM在短期電力負(fù)荷預(yù)測(cè)任務(wù)中的準(zhǔn)確度和穩(wěn)定性。在特征選擇方面，SEMERO等[10]提出了一種基于自適應(yīng)模糊神經(jīng)推斷系統(tǒng)的微電網(wǎng)超短期負(fù)荷預(yù)測(cè)模型，采用了二進(jìn)制的遺傳算法進(jìn)行特征選擇；LIU等[11]構(gòu)建了一種基于最小二乘支持向量機(jī)(least squares support vector machines, LSSVM)的短期負(fù)荷預(yù)測(cè)模型，采用小波變換與不一致率模型進(jìn)行特征選擇，并使用抹香鯨算法優(yōu)化LSSVM的超參數(shù)。

綜上可知，在負(fù)荷預(yù)測(cè)研究領(lǐng)域，學(xué)者對(duì)于優(yōu)化算法應(yīng)用于單獨(dú)的特征選擇或超參優(yōu)化任務(wù)已有了較為充分的探索，并證實(shí)了恰當(dāng)?shù)哪Ｐ瓦x擇方法對(duì)于模型預(yù)測(cè)準(zhǔn)確度的提升有著重要作用。但在實(shí)際應(yīng)用中，由于優(yōu)化算法的每一輪迭代對(duì)每個(gè)解的評(píng)價(jià)都需要完成一次機(jī)器學(xué)習(xí)模型的訓(xùn)練，并以模型的評(píng)估函數(shù)值作為當(dāng)前解的評(píng)價(jià)標(biāo)準(zhǔn)，所以利用啟發(fā)式等優(yōu)化算法進(jìn)行一次完整的超參優(yōu)化或特征選擇操作，都是相對(duì)耗時(shí)的。在整個(gè)機(jī)器學(xué)習(xí)模型訓(xùn)練的過程中，若以嵌套的方式分別進(jìn)行模型的超參優(yōu)化和特征選擇，耗時(shí)會(huì)大幅上升，效率較低。而在眾多機(jī)器學(xué)習(xí)方法中，SVM的目標(biāo)函數(shù)采用了結(jié)構(gòu)風(fēng)險(xiǎn)最小化的原則，具有泛化能力好、不易過擬合、收斂速度快等優(yōu)點(diǎn)，在負(fù)荷預(yù)測(cè)研究中應(yīng)用廣泛，負(fù)荷預(yù)測(cè)準(zhǔn)確性也被反復(fù)證實(shí)[12]。同時(shí)，SVM也具有較典型的、對(duì)模型性能起到關(guān)鍵影響的超參數(shù)，如正則化常數(shù)C、RBF核函數(shù)的半徑系數(shù)等，更適用于檢驗(yàn)上述所提出的模型選擇策略。因此，筆者采用一種基于綜合型學(xué)習(xí)粒子群算法(comprehensive learning particle swarm optimization, CLPSO)的模型選擇一體化策略，將特征選擇與參數(shù)優(yōu)化過程進(jìn)行整合，進(jìn)而提出了一種基于SVM預(yù)測(cè)建模方法和CLPSO模型選擇一體化策略的超短期電力負(fù)荷預(yù)測(cè)方法，以提高模型的自適應(yīng)能力和模型選擇的效率，同時(shí)進(jìn)一步提高負(fù)荷預(yù)測(cè)精確程度。

1 基于SVM和CLPSO的預(yù)測(cè)方法

1.1 基于SVM的電力負(fù)荷預(yù)測(cè)

在回歸問題中，給定訓(xùn)練樣本D={(x1,y1),(x2,y2),…,(xm,ym)}，希望得到一個(gè)形如f(x)=wφ(x)+b的模型，其中φ(x)為特征空間，w為權(quán)重系數(shù)，b為偏置項(xiàng)?？紤]到結(jié)構(gòu)風(fēng)險(xiǎn)最小化的原理，設(shè)置上述問題的目標(biāo)函數(shù)為：

(1)

支持向量機(jī)回歸模型(support vector regression, SVR)假設(shè)可被允許的模型預(yù)測(cè)結(jié)果與真實(shí)值之間的偏差為ε，并引入了懲罰項(xiàng)系數(shù)(也稱為正則化系數(shù))C和松弛變量，則式(1)可轉(zhuǎn)化為如下優(yōu)化問題：

(2)

采用拉格朗日對(duì)偶理論進(jìn)行求解，將式(2)轉(zhuǎn)化為二次規(guī)劃問題，可得到如下SVR形式：

(3)

式中：K(xi,x)=φ(xi)·φ(x)為核函數(shù)；xi為訓(xùn)練樣本；x為測(cè)試數(shù)據(jù)。

在多種核函數(shù)中，RBF核函數(shù)在使用SVR進(jìn)行負(fù)荷預(yù)測(cè)時(shí)較為常用，其處理非線性問題時(shí)的穩(wěn)定性較強(qiáng)，因此筆者采用RBF核函數(shù)，其表達(dá)式為：

(4)

其中，σ為核函數(shù)的半徑系數(shù)。

1.2 基于二進(jìn)制CLPSO的模型選擇算法設(shè)計(jì)

1.2.1 模型選擇流程概述

基于二進(jìn)制CLPSO算法的模型選擇流程與負(fù)荷預(yù)測(cè)模型如圖1所示，左側(cè)部分為二進(jìn)制CLPSO優(yōu)化算法的運(yùn)行流程，右側(cè)部分為SVR模型的訓(xùn)練與測(cè)試過程。每個(gè)CLPSO粒子包含由一組候選輸入特征和一組SVR超參數(shù)組合而成的整體編碼信息；在評(píng)價(jià)粒子時(shí)，每個(gè)粒子個(gè)體在算法迭代過程中的位置取值被解碼還原為對(duì)應(yīng)的特征組合和超參數(shù)，用于在負(fù)荷數(shù)據(jù)的訓(xùn)練集上完成模型訓(xùn)練和模型評(píng)價(jià)，以模型的預(yù)測(cè)效果評(píng)價(jià)指標(biāo)作為當(dāng)前粒子的評(píng)價(jià)標(biāo)準(zhǔn)(即適應(yīng)值)，并據(jù)此展開下一輪的粒子更新。當(dāng)CLPSO算法滿足終止條件時(shí)，篩選出的最優(yōu)粒子即為整個(gè)CLPSO模型選擇方法所決策出的最優(yōu)超參數(shù)和特征組合。最后，利用最優(yōu)超參數(shù)和特征組合再次訓(xùn)練SVR模型，并在測(cè)試集上對(duì)模型的預(yù)測(cè)準(zhǔn)確度進(jìn)行檢驗(yàn)。

圖1 二進(jìn)制CLPSO模型選擇流程與負(fù)荷預(yù)測(cè)模型

1.2.2 特征與超參數(shù)的粒子表示

在CLPSO中，每個(gè)粒子包含位置和速度兩個(gè)屬性，其中位置屬性代表問題的解，而速度屬性則用于粒子的迭代更新。在本研究中，粒子的位置屬性由兩部分組成：特征編碼和3個(gè)SVM超參數(shù)的編碼。其中，特征部分是一個(gè)長(zhǎng)度為l的0-1編碼串，1表示對(duì)應(yīng)位置的特征入選，0表示對(duì)應(yīng)位置的特征不入選；超參數(shù)部分為3個(gè)SVM的參數(shù)C、σ、ε，分別由長(zhǎng)度為k、m、n的0-1編碼串表示。每個(gè)超參數(shù)對(duì)應(yīng)的0-1編碼串是一個(gè)整體，將其轉(zhuǎn)化為十進(jìn)制形式，即為可選超參數(shù)值序列的索引，從而與可選超參數(shù)值一一對(duì)應(yīng)。一個(gè)粒子位置向量的維數(shù)為D=l+k+m+n。

特征與超參數(shù)的粒子表示示例如圖2所示，假設(shè)模型的l個(gè)輸入特征為從時(shí)刻t-l+1到時(shí)刻t的歷史負(fù)荷值，令zi表示時(shí)刻i的負(fù)荷值；一個(gè)粒子的位置可表示為一個(gè)長(zhǎng)度為D的0-1編碼串，其中前l(fā)維對(duì)應(yīng)輸入特征，圖2中zt-l+2和zt-1成為被選中的部分輸入特征；而超參數(shù)部分，以超參數(shù)C對(duì)應(yīng)的片段為例，假設(shè)參數(shù)C的可選值序列為[10-4,10-3,10-2,10-1,1,10,102,103]，序列中可取值的索引分別為0～7，k=3(參數(shù)C的可選值個(gè)數(shù)為2k)。將編碼“101”轉(zhuǎn)換為十進(jìn)制，對(duì)應(yīng)值為5，表示可選值序列中索引為5的值作為參數(shù)C的取值，即這一粒子所表示的解對(duì)應(yīng)參數(shù)C=10。

圖2 特征與超參數(shù)的粒子表示示例

上述編碼方式中，需將每個(gè)超參數(shù)的可取值個(gè)數(shù)設(shè)定為2的正整數(shù)次冪，且每個(gè)超參數(shù)的可取值按升序或降序進(jìn)行排列。超參數(shù)的取值范圍通常由模型的使用者依據(jù)預(yù)實(shí)驗(yàn)和經(jīng)驗(yàn)進(jìn)行設(shè)定，因此通過調(diào)整部分可取值以實(shí)現(xiàn)上述規(guī)定，理論上并無障礙，且不會(huì)對(duì)模型的最終效果產(chǎn)生較大影響。

1.2.3 二進(jìn)制CLPSO算法

CLPSO算法是PSO算法的一種優(yōu)秀變種。在傳統(tǒng)的PSO算法中，計(jì)算并更新粒子的速度和位置時(shí)，只考慮到粒子個(gè)體自身的歷史最優(yōu)位置信息和整個(gè)種群的歷史最優(yōu)位置信息；而CLPSO算法采用綜合型學(xué)習(xí)方式，即種群中其他粒子的位置信息也被納入到更新速度的計(jì)算中。這一改進(jìn)保證了種群中粒子的多樣性，使得CLPSO算法的全局搜索能力比PSO算法更具優(yōu)勢(shì)。在CLPSO算法中，使用式(5)更新粒子的速度：

(5)

Pci=0.05+0.45×

(6)

其中，ps為種群中的個(gè)體數(shù)量。

典型粒子的索引fi(d)的確定步驟：①針對(duì)第i個(gè)粒子的每個(gè)維度，生成一個(gè)[0,1]上的隨機(jī)數(shù)。如果該隨機(jī)數(shù)大于Pci，則該粒子當(dāng)前維度的學(xué)習(xí)對(duì)象為自己的pbest，即fi(d)=i；否則該粒子當(dāng)前維度的學(xué)習(xí)對(duì)象為種群中某一其他粒子相應(yīng)維度的pbest。②若確定了學(xué)習(xí)對(duì)象為其他粒子，則采用錦標(biāo)賽排序選擇該粒子當(dāng)前維度對(duì)標(biāo)的典型粒子。具體而言，隨機(jī)選擇兩個(gè)其他粒子，比較它們的pbest適應(yīng)值，選擇值較小(即位置更佳)的粒子作為粒子i當(dāng)前維度對(duì)標(biāo)的典型粒子。③若一個(gè)粒子所有維度對(duì)標(biāo)的典型粒子均為自己，則隨機(jī)挑選該粒子的一個(gè)維度去對(duì)標(biāo)另一任意粒子的pbest對(duì)應(yīng)維度。④一個(gè)粒子的每個(gè)維度均匹配到了合適的學(xué)習(xí)對(duì)象(典型粒子)后，該粒子的所有維度就保持對(duì)標(biāo)各自學(xué)習(xí)對(duì)象的pbest。⑤經(jīng)歷m代的更新后，重復(fù)步驟①～步驟③，重新選擇該粒子每個(gè)維度對(duì)標(biāo)的典型粒子。

對(duì)于二進(jìn)制的CLPSO算法，粒子的速度代表了該粒子相應(yīng)位置的值進(jìn)行0-1變換的概率。二進(jìn)制CLPSO算法的粒子更新公式為：

(7)

2 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

2.1 實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)采用了全球能源預(yù)測(cè)大賽GEFCom 2012提供的電力負(fù)荷預(yù)測(cè)比賽數(shù)據(jù)，涵蓋了美國(guó)20個(gè)地理區(qū)域的小時(shí)級(jí)負(fù)荷數(shù)據(jù)，完整數(shù)據(jù)集信息及下載方式參見文獻(xiàn)[13]。本實(shí)驗(yàn)隨機(jī)選取了區(qū)域1和區(qū)域6的負(fù)荷數(shù)據(jù)為實(shí)驗(yàn)對(duì)象，針對(duì)一年當(dāng)中4個(gè)典型月份(1月、4月、7月和10月)的負(fù)荷分別進(jìn)行預(yù)測(cè)建模。其中，2007年4個(gè)月份的數(shù)據(jù)為測(cè)試集，每個(gè)測(cè)試月在2005、2006年對(duì)應(yīng)同月的負(fù)荷數(shù)據(jù)分別作為訓(xùn)練集。

為了檢驗(yàn)所提出的CLPSO模型選擇一體化策略在SVR模型上的表現(xiàn)，在對(duì)比實(shí)驗(yàn)中，將所有候選特征全部輸入，使用網(wǎng)格搜索對(duì)SVR的3個(gè)參數(shù)進(jìn)行優(yōu)化，3個(gè)參數(shù)的取值范圍與基于CLPSO的模型一致。

2.2 輸入特征與模型參數(shù)

考慮到小時(shí)級(jí)負(fù)荷的日內(nèi)變化趨勢(shì)和日周期性，實(shí)驗(yàn)選取待預(yù)測(cè)負(fù)荷的前24 h負(fù)荷序列和過去7 d(一周)內(nèi)同一時(shí)間點(diǎn)上的負(fù)荷值，組合成為初始的候選輸入特征集合。令zi表示i時(shí)刻的負(fù)荷值，則初始候選輸入特征為{zt-1,zt-2,…,zt-24,zt-48,zt-72,zt-96,zt-120,zt-144,zt-72,zt-168}，共30個(gè)特征。

實(shí)驗(yàn)中，SVR的超參數(shù)取值范圍定義如下：參數(shù)C的取值范圍為“以10-2為首項(xiàng)、102為末項(xiàng)、項(xiàng)數(shù)為32”的等比數(shù)列，對(duì)應(yīng)在CLPSO的粒子中所占維數(shù)為5；參數(shù)ε的取值范圍是“以10-4為首項(xiàng)、1為末項(xiàng)、項(xiàng)數(shù)為16”的等比數(shù)列，對(duì)應(yīng)在CLPSO的粒子中所占維數(shù)為4；參數(shù)σ的取值范圍為[0.05,0.10,0.20,0.40]，對(duì)應(yīng)在CLPSO的粒子中所占維數(shù)為2。

除了SVR模型中的待優(yōu)化超參數(shù)之外，CLPSO算法中也存在部分需人為設(shè)定的參數(shù)。經(jīng)過預(yù)實(shí)驗(yàn)的反復(fù)嘗試與調(diào)整，設(shè)定種群中粒子的總數(shù)為20，終止條件為迭代次數(shù)超過200次或連續(xù)30次全局最優(yōu)適應(yīng)值未更新，學(xué)習(xí)因子為2，初始慣性權(quán)重為0.9，終止慣性權(quán)重為0.4，典型粒子的重置迭代次數(shù)m為8。為避免隨機(jī)誤差的影響，取20次實(shí)驗(yàn)后各評(píng)價(jià)指標(biāo)的均值作為預(yù)測(cè)結(jié)果。

2.3 模型評(píng)價(jià)指標(biāo)

筆者選擇平均絕對(duì)百分誤差(mean absolute percent error，MAPE)和均方根誤差(root mean squared error,RMSE)作為評(píng)價(jià)指標(biāo)。

(8)

(9)

2.4 實(shí)驗(yàn)結(jié)果分析

8個(gè)場(chǎng)景下基于CLPSO模型選擇策略的SVR預(yù)測(cè)模型(CLPSO-SVR)和使用網(wǎng)格搜索進(jìn)行參數(shù)優(yōu)化的SVR預(yù)測(cè)模型(GS-SVR)的誤差評(píng)價(jià)指標(biāo)MAPE和RMSE結(jié)果對(duì)比如表1所示。比較兩種模型的MAPE可知，CLPSO-SVR模型除了“區(qū)域6-1月”之外的其他所有場(chǎng)景下的MAPE均低于GS-SVR模型；而比較兩種模型的RMSE可知，除“區(qū)域1-7月”外,CLPSO-SVR模型在其他7個(gè)場(chǎng)景下的預(yù)測(cè)表現(xiàn)均優(yōu)于GS-SVR模型。

表1 CLPSO-SVR模型和GS-SVR模型的MAPE與RMSE對(duì)比

3 結(jié)論

筆者針對(duì)電力負(fù)荷預(yù)測(cè)中SVM等機(jī)器學(xué)習(xí)方法面臨的模型選擇問題，提出了一種基于綜合型學(xué)習(xí)粒子群算法的模型選擇一體化策略，通過對(duì)粒子的編碼來整合特征選擇和參數(shù)優(yōu)化過程，以提高算法的自適應(yīng)性和模型選擇效率。實(shí)驗(yàn)結(jié)果證明，基于CLPSO模型選擇策略的SVR在超短期電力負(fù)荷預(yù)測(cè)中的表現(xiàn)普遍優(yōu)于使用網(wǎng)格搜索進(jìn)行參數(shù)調(diào)優(yōu)的SVR。因此，在使用SVR模型進(jìn)行電力負(fù)荷預(yù)測(cè)時(shí)，相較于單獨(dú)進(jìn)行特征選擇或參數(shù)優(yōu)化過程，一體化的模型選擇框架能夠有效提升模型預(yù)測(cè)的精確程度，且模型的自適應(yīng)性更好，所需的先驗(yàn)信息更少，具有較好的實(shí)際應(yīng)用價(jià)值。

本研究的局限性在于：所提出的一體化模型選擇框架主要適用于SVR及其他待調(diào)參數(shù)數(shù)量有限、結(jié)構(gòu)較簡(jiǎn)單的淺層機(jī)器學(xué)習(xí)模型，并不能直接適用于具有深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的、參數(shù)更復(fù)雜多元的預(yù)測(cè)模型。隨著電力負(fù)荷數(shù)據(jù)量的擴(kuò)大和設(shè)備計(jì)算能力的提高，未來將考慮進(jìn)一步針對(duì)一些表現(xiàn)突出的深度神經(jīng)網(wǎng)絡(luò)模型在電力負(fù)荷預(yù)測(cè)應(yīng)用當(dāng)中面臨的參數(shù)優(yōu)化和特征選擇等模型選擇問題，設(shè)計(jì)與深度網(wǎng)絡(luò)結(jié)構(gòu)更為契合、更具針對(duì)性的模型選擇優(yōu)化框架。