基于自組織特征神經(jīng)網(wǎng)絡(luò)和最小二乘支持向量機(jī)的短期電力負(fù)荷預(yù)測(cè)方法

魏明奎，葉葳，沈靖，周泓，蔡紹榮，王渝紅，沈力

（1. 國(guó)家電網(wǎng)有限公司西南分部，四川省成都市 6100315；2. 四川大學(xué)電氣工程學(xué)院，四川省成都市 610065）

0 引言

電力系統(tǒng)負(fù)荷預(yù)測(cè)一般分為超短期、短期、中期、長(zhǎng)期四類(lèi)負(fù)荷預(yù)測(cè)[1]，隨著市場(chǎng)化改革的逐步推進(jìn)，短期負(fù)荷預(yù)測(cè)的重要性日益提升[2]。近年來(lái)，國(guó)內(nèi)外學(xué)者對(duì)于短期負(fù)荷預(yù)測(cè)進(jìn)行了廣泛的研究，圍繞具體預(yù)測(cè)思路的差異，可將預(yù)測(cè)方法分為兩類(lèi)，其一是傳統(tǒng)的時(shí)間序列分析方法，包括回歸分析法[3]、指數(shù)平滑法[4]、多元線性回歸法[5]、卡爾曼濾波法[6]等；其二是機(jī)器學(xué)習(xí)算法，由于其可以較好的解決負(fù)荷非線性的問(wèn)題，受到了廣泛的應(yīng)用和研究。目前已有較多機(jī)器學(xué)習(xí)算法在負(fù)荷預(yù)測(cè)領(lǐng)域應(yīng)用，在這些方法上又存在著很多的改進(jìn)算法，目前使用較多的方法有基于極限學(xué)習(xí)機(jī)（Extreme Learning Machine, ELM）的預(yù)測(cè)方法[7-8]、基于支持向量機(jī)（Support Vector Machine，SVM）的預(yù)測(cè)方法[9]、基于BP 神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)方法[10]等。

近年來(lái)，由于SVM 具有較好的魯棒性和有效規(guī)避維數(shù)災(zāi)等優(yōu)點(diǎn)，得到了學(xué)者的重視，在其基礎(chǔ)上，一些改進(jìn)方法也在不斷被提出，而目前已有的應(yīng)用較廣泛的改進(jìn)模型是利用最小二乘方法改進(jìn)的最小二乘支持向量機(jī)（Least Squares Support Vector Machine，LSSVM）?，F(xiàn)有研究中已有學(xué)者將LSSVM 應(yīng)用于負(fù)荷預(yù)測(cè)領(lǐng)域，如文獻(xiàn)[11]中為了避免傳統(tǒng)負(fù)荷預(yù)測(cè)需要針對(duì)整個(gè)負(fù)荷數(shù)據(jù)集建立預(yù)測(cè)模型所存在的學(xué)習(xí)不充分和計(jì)算量大的問(wèn)題，提出基于即時(shí)學(xué)習(xí)算法和LSSVM的局部預(yù)測(cè)模型，并配置了局部模型更新策略，最后通過(guò)仿真驗(yàn)證了其所提模型的有效性；文獻(xiàn)[12]中立足于大氣污染的背景下，依據(jù)大氣污染防治措施與負(fù)荷變化之間的關(guān)聯(lián)關(guān)系，將空氣質(zhì)量指標(biāo)作為預(yù)測(cè)的狀態(tài)變量引入預(yù)測(cè)模型，結(jié)合K-means 和LSSVM 構(gòu)成預(yù)測(cè)模型，取得了較好的預(yù)測(cè)結(jié)果；文獻(xiàn)[13]從負(fù)荷數(shù)據(jù)集入手，利用經(jīng)驗(yàn)?zāi)B(tài)分解將原始負(fù)荷時(shí)間序列分解為多個(gè)不同的子序列，減弱了負(fù)荷波動(dòng)性，同時(shí)利用特征相關(guān)分析法選取了最佳特征集，最后利用LSSVM 建立負(fù)荷預(yù)測(cè)模型，最后通過(guò)仿真實(shí)驗(yàn)，驗(yàn)證了該方法對(duì)于短期負(fù)荷預(yù)測(cè)精度的提升作用；文獻(xiàn)[14]利用小波變異果蠅優(yōu)化算法對(duì)LSSVM的學(xué)習(xí)過(guò)程進(jìn)行了優(yōu)化處理，改進(jìn)了預(yù)測(cè)模型的性能，提高了最后模型的預(yù)測(cè)精度。上述有關(guān)LSSVM 的負(fù)荷預(yù)測(cè)方法多單獨(dú)針對(duì)LSSVM 本身或者負(fù)荷數(shù)據(jù)集本身做出改進(jìn)，而忽視了二者協(xié)同改進(jìn)所帶來(lái)的預(yù)測(cè)精度提升作用。

在上述研究和相關(guān)研究的基礎(chǔ)上，本文同時(shí)對(duì)負(fù)荷數(shù)據(jù)和預(yù)測(cè)模型進(jìn)行處理，一方面針對(duì)負(fù)荷數(shù)據(jù)集，考慮使用粒子群優(yōu)化算法[15]（Particle Swarm Optimization，PSO）對(duì)自組織特征映射神經(jīng)網(wǎng)絡(luò)[16]（Self-organizing Feature Mapping，SOFM）訓(xùn)練過(guò)程進(jìn)行優(yōu)化，使用優(yōu)化后的PSO-SOFM 對(duì)收集到的負(fù)荷數(shù)據(jù)進(jìn)行聚類(lèi)分析，得到多組典型訓(xùn)練集；另一方面針對(duì)不同訓(xùn)練集建立LSSVM預(yù)測(cè)模型，并引入遺傳算法[17]（Genetic Algorithm，GA）對(duì)每個(gè)模型的關(guān)鍵參數(shù)進(jìn)行優(yōu)化處理得到最終的GA-LSSVM 預(yù)測(cè)模型。最后選取了某地區(qū)的負(fù)荷進(jìn)行仿真實(shí)驗(yàn)，結(jié)果表明本文所提方法通過(guò)對(duì)負(fù)荷數(shù)據(jù)集和LSSVM 做出協(xié)同改進(jìn)措施后，能夠顯著提升原模型的性能，同時(shí)對(duì)提升負(fù)荷預(yù)測(cè)的精度效果明顯。

1 短期負(fù)荷預(yù)測(cè)模型框架

本文采用改進(jìn)后的SOFM 對(duì)原始負(fù)荷數(shù)據(jù)進(jìn)行特征挖掘及聚類(lèi)處理，使用自適應(yīng)權(quán)重的粒子群算法(PSO)優(yōu)化其學(xué)習(xí)過(guò)程；對(duì)經(jīng)由PSOSOFM 模型處理后的原始數(shù)據(jù)建立起LSSVM 模型，采用GA 優(yōu)化參數(shù)。首先依據(jù)已有信息歸類(lèi)待預(yù)測(cè)日所屬類(lèi)別，然后選用相應(yīng)GA-LSSVM模型進(jìn)行預(yù)測(cè)，得到預(yù)測(cè)結(jié)果，整體預(yù)測(cè)模型框架如圖1 所示。

圖1 短期負(fù)荷預(yù)測(cè)流程圖Fig.1 Flow chart of short-term load forecasting

2 數(shù)據(jù)特征挖掘及聚類(lèi)

2.1 自組織特征映射神經(jīng)網(wǎng)絡(luò)

為避免傳統(tǒng)聚類(lèi)方法存在的求解復(fù)雜、收斂速度慢、易陷入局部最優(yōu)的問(wèn)題，采用改進(jìn)后的SOFM 神經(jīng)網(wǎng)絡(luò)對(duì)原始負(fù)荷數(shù)據(jù)進(jìn)行特征挖掘、聚類(lèi)。SOFM 神經(jīng)網(wǎng)絡(luò)由Kohonen 提出，是一種無(wú)監(jiān)督的學(xué)習(xí)網(wǎng)絡(luò)，通過(guò)神經(jīng)元之間的競(jìng)爭(zhēng)實(shí)現(xiàn)大腦神經(jīng)系統(tǒng)中的“近興奮遠(yuǎn)抑制”功能。如圖2所示，SOFM 神經(jīng)網(wǎng)絡(luò)為輸入層與競(jìng)爭(zhēng)層的組織方式，更貼近大腦皮層的形象。學(xué)習(xí)過(guò)程依據(jù)權(quán)值向量與輸入向量的歐式距離來(lái)修改權(quán)值向量，且只對(duì)輸入向量歐式距離最小的權(quán)值向量進(jìn)行修改。

圖2 SOFM 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure of SOFM neural network

SOFM 神經(jīng)網(wǎng)絡(luò)的聚類(lèi)步驟如下：

1）輸入向量歸一化，避免向量長(zhǎng)度的影響。

2）計(jì)算輸入向量與權(quán)值向量之間的歐式距離：

式中：xi為輸入向量的第i 個(gè)分量；wij為輸入層的第i 個(gè)神經(jīng)元和競(jìng)爭(zhēng)層第j 個(gè)神經(jīng)元之間的權(quán)值。

3）記輸入向量和權(quán)值向量的歐式距離最小的神經(jīng)元為j*，此神經(jīng)元及其鄰接神經(jīng)元的權(quán)值修改公式為：

式中：σ 為鄰域；η∈(0,1)，σ2隨著學(xué)習(xí)過(guò)程的進(jìn)行而減小，因此在學(xué)習(xí)初期鄰域函數(shù)h(j, j*)較寬，到學(xué)習(xí)后期逐漸變窄，能夠起到有效映射的作用。

通過(guò)不斷調(diào)整權(quán)值向量的方向，使得與某些相似輸入向量歐式距離最近的權(quán)值向量在學(xué)習(xí)過(guò)程中不斷逼近聚類(lèi)中心。

2.2 自適應(yīng)權(quán)重粒子群算法優(yōu)化

粒子群算法源于對(duì)鳥(niǎo)類(lèi)捕食的行為研究，是一種全局尋優(yōu)的算法。采用自適應(yīng)權(quán)重的粒子群算法對(duì)SOFM 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程進(jìn)行優(yōu)化，加速勝利單元接近聚類(lèi)中心。優(yōu)化過(guò)程為：

1) 初始化粒子的位置和速度。

2) 計(jì)算各粒子適應(yīng)度，記錄個(gè)體及全局最優(yōu)粒子。

3) 對(duì)粒子的位置及速度進(jìn)行修改：

式中：vi為粒子當(dāng)前速度；vi+1為下一次迭代速度；ni為當(dāng)前位置；ni+1為下一次迭代位置；m為慣性權(quán)重；C1、C2為學(xué)習(xí)因子；r1、r2∈(0,1)，pi及gi分別為全局最優(yōu)粒子及個(gè)體最優(yōu)粒子。為平衡其局部與全局搜索能力，采用非線性動(dòng)態(tài)慣性權(quán)重系數(shù)m：

式中：mmax、mmin為權(quán)重最大值及最小值；f、favg、fmin分別為當(dāng)前粒子適應(yīng)度、平均適應(yīng)度及最小適應(yīng)度。以每次獲勝單元權(quán)值與輸入向量之間的歐式距離最小值為目標(biāo)函數(shù)，每次權(quán)值修改方式為：

式中：vi+1通過(guò)式(5)進(jìn)行計(jì)算；wij為當(dāng)前權(quán)值向量；wij+1為下一次迭代的權(quán)值向量；Δwij為權(quán)值向量修改值；α 為一較小的值。這樣既能保證加快分類(lèi)速度，同時(shí)保證了權(quán)值向量不超過(guò)聚類(lèi)中心。

2.3 數(shù)據(jù)特征挖掘及聚類(lèi)步驟

為加快求解過(guò)程，提取和挖掘出同類(lèi)原始負(fù)荷序列特征，避免求解過(guò)程復(fù)雜，時(shí)間及空間復(fù)雜度大，本文將對(duì)原始負(fù)荷數(shù)據(jù)及其相關(guān)影響數(shù)據(jù)進(jìn)行預(yù)處理，采用改進(jìn)后的SOFM 神經(jīng)網(wǎng)絡(luò)對(duì)其進(jìn)行特征挖掘及聚類(lèi)。具體處理方法如下：

1）原始負(fù)荷數(shù)據(jù)及其相關(guān)影響數(shù)據(jù)歸一化處理

2）采用改進(jìn)后SOFM 神經(jīng)網(wǎng)絡(luò)的自組織學(xué)習(xí)特性進(jìn)行數(shù)據(jù)序列特征挖掘、聚類(lèi)。

3）采用自適應(yīng)權(quán)重的粒子群算法優(yōu)化SOFM神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程，得到聚類(lèi)結(jié)果。

3 負(fù)荷預(yù)測(cè)方法

3.1 最小二乘支持向量機(jī)

SVM 具有很好的非線性映射能力，通過(guò)這種轉(zhuǎn)化方式，能夠?qū)崿F(xiàn)由低維到高維的轉(zhuǎn)化過(guò)程，從而使得樣本的線性不可分問(wèn)題變?yōu)楦呔S可分，同時(shí)由于引入核函數(shù)，降低了轉(zhuǎn)化過(guò)程中維度升高帶來(lái)計(jì)算難度增加量。LSSVM 是SVM 模型上改進(jìn)而來(lái)的一種新模型，LSSVM 將SVM 中不等式約束條件轉(zhuǎn)化為等式條件，實(shí)現(xiàn)了將求解二次規(guī)劃問(wèn)題向求解線性方程組轉(zhuǎn)化，從而大大加快了算法的收斂速度。

式（9）為常規(guī)的非線性負(fù)荷預(yù)測(cè)模型：

式中：負(fù)荷數(shù)據(jù)(xi, yi)，i=1, 2,···, N, xi表示與負(fù)荷預(yù)測(cè)相關(guān)的輸入向量，其維數(shù)由輸入向量維數(shù)決定；yi為與輸入向量xi對(duì)應(yīng)的期望輸出；N 為負(fù)荷數(shù)據(jù)點(diǎn)個(gè)數(shù)；φ(x)表式輸入變量與高維特征空間的非線性映射關(guān)系；w 為權(quán)向量，b 為輸出偏置量。

SVM 中以風(fēng)險(xiǎn)結(jié)構(gòu)最小化原則進(jìn)行優(yōu)化，因此在LSSVM 中優(yōu)化目標(biāo)為：

式中：r 表示懲罰參數(shù),用于控制誤差的懲罰修正程度；ξ 表示誤差向量。

將優(yōu)化目標(biāo)函數(shù)與拉格朗日函數(shù)約束條件結(jié)合：

式中：αi含義為拉格朗日乘子。由KKT（Karush-Kuhn-Tucker）條件可以得到線性方程組：

式中：

I 為單位矩陣。

依據(jù)Mercer 條件，核函數(shù)為：

非線性預(yù)測(cè)模型變換為：

由于徑向基函數(shù)（Radial Basis Function，RBF）的非線性映射性能很好，適合LSSVM 的需求，所以本文選擇RBF 函數(shù)作為核函數(shù)，其定義為：

3.2 數(shù)據(jù)預(yù)處理及評(píng)價(jià)指標(biāo)

對(duì)于原始數(shù)據(jù)異常的情況，利用解析法基于數(shù)據(jù)點(diǎn)相鄰數(shù)據(jù)對(duì)其進(jìn)行修正；對(duì)于數(shù)據(jù)缺失的情況，則考慮相鄰數(shù)據(jù)變化趨勢(shì)采用趨勢(shì)外推填補(bǔ)空缺數(shù)據(jù)。

對(duì)原始負(fù)荷數(shù)據(jù)歸一化處理，將數(shù)據(jù)值放縮到[?1,1]，氣象數(shù)據(jù)采用分段歸一化，預(yù)測(cè)當(dāng)日及前一日的日期類(lèi)型采用獨(dú)熱編碼。

設(shè)置平均絕對(duì)誤差(EMAPE)及均方根誤差(ERMSE)[17-18]對(duì)負(fù)荷預(yù)測(cè)模型進(jìn)行評(píng)價(jià)，兩者越小預(yù)測(cè)效果越好。各模型的訓(xùn)練過(guò)程結(jié)束后，利用各模型來(lái)預(yù)測(cè)同一日的負(fù)荷水平，比較各模型預(yù)測(cè)結(jié)果與實(shí)際負(fù)荷水平的差距，利用EMAPE及ERMSE評(píng)價(jià)模型的預(yù)測(cè)精度：

式中：N 為目標(biāo)日預(yù)測(cè)數(shù)據(jù)點(diǎn)個(gè)數(shù)；yi和mi為同一數(shù)據(jù)點(diǎn)的實(shí)際值和預(yù)測(cè)值。

4 算例分析

4.1 算例介紹

原始負(fù)荷數(shù)據(jù)及相關(guān)負(fù)荷影響數(shù)據(jù)采用某地區(qū)2016 年至2018 年電力負(fù)荷數(shù)據(jù)和氣象數(shù)據(jù)作為數(shù)據(jù)集，每日負(fù)荷共24 個(gè)數(shù)據(jù)點(diǎn)，間隔1 h。前兩年的數(shù)據(jù)集作為訓(xùn)練集，最后一年數(shù)據(jù)作為測(cè)試集。訓(xùn)練好的負(fù)荷預(yù)測(cè)模型對(duì)該地區(qū)2019 年6 月30 日的工業(yè)、居民負(fù)荷進(jìn)行預(yù)測(cè)。由于模型參數(shù)值直接影響其預(yù)測(cè)性能，采用交叉驗(yàn)證法進(jìn)行參數(shù)選取，為對(duì)歷史負(fù)荷數(shù)據(jù)進(jìn)行有效地聚合分類(lèi)且避免分類(lèi)過(guò)多而造成收斂速度慢的問(wèn)題，SOFM 神經(jīng)網(wǎng)絡(luò)競(jìng)爭(zhēng)層神經(jīng)元數(shù)為5，初始粒子數(shù)為40，mmax=0.9，mmin=0.6，最大迭代次數(shù)為100，遺傳算法初始種群為30，最大遺傳代數(shù)為200。為進(jìn)一步驗(yàn)證提出的負(fù)荷預(yù)測(cè)模型，采用了幾種不同的預(yù)測(cè)模型作為比較，包括LSSVM 模型、GA-LSSVM 模型、PSO-SOFM-LSSVM 模型。

4.2 實(shí)際算例分析

首先采取本文所提的基于SOFM 神經(jīng)網(wǎng)絡(luò)的聚類(lèi)方法對(duì)所有原始數(shù)據(jù)集進(jìn)行數(shù)據(jù)挖掘、聚類(lèi)，對(duì)輸入向量進(jìn)行歸一化處理，建立SOFM 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，初始化SOFM 神經(jīng)網(wǎng)絡(luò)權(quán)重和閾值，將輸入向量導(dǎo)入神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)分類(lèi)，以kohonen原則修改權(quán)重向量，最后得到圖3 的SOFM 神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成后其權(quán)重位置，在訓(xùn)練過(guò)程中采用改進(jìn)粒子群算法對(duì)其優(yōu)化。如圖4 所示，類(lèi)一到類(lèi)五的數(shù)量分別為282，216，264，193，141。表1 為采用LSSVM、GA-LSSVM、PSO-SOFMLSSVM 和PSO-GA-SOFM-LSSVM 對(duì)工業(yè)及居民負(fù)荷的預(yù)測(cè)結(jié)果指標(biāo)。

圖3 權(quán)重位置Fig.3 Position of weights

圖4 聚類(lèi)結(jié)果Fig.4 Results of clustering

由圖5 可以看出，居民負(fù)荷波峰及波谷較為明顯，其負(fù)荷水平變化較大，有較強(qiáng)的波動(dòng)性，四種預(yù)測(cè)模型的誤差為8.3743%、7.7548%、5.8304%、4.7961%，本文所采用的PSO-SOFMGA-LSSVM 方法在跟蹤負(fù)荷變化水平上效果突出，較其他方法精度高。LSSM 由于其參數(shù)的局限性，無(wú)法表現(xiàn)出良好的預(yù)測(cè)效果，在進(jìn)行GA 優(yōu)化后能提高其預(yù)測(cè)精度，但此類(lèi)方法并未考慮不同負(fù)荷類(lèi)型的特征性，采用串行化的輸入輸出方式，泛化能力不足。

表1 評(píng)價(jià)指標(biāo)比較Table 1 Comparison of evaluation indicators

對(duì)于工業(yè)負(fù)荷來(lái)說(shuō)，此類(lèi)負(fù)荷水平晝夜變化大，總的來(lái)說(shuō)，傍晚到清晨的負(fù)荷水平較低，其余時(shí)間負(fù)荷水平較高。四種預(yù)測(cè)模型的誤差為9.4522%、7.4632%、6.2954%、4.7648%，工業(yè)負(fù)荷在白天的負(fù)荷水平較高，但15 時(shí)以后，其負(fù)荷受生產(chǎn)計(jì)劃、調(diào)度管理等因素的影響，負(fù)荷水平逐漸上升，LSSVM 及GA-LSSVM 無(wú)法跟蹤此類(lèi)變化，究其原因在于未能良好學(xué)習(xí)其負(fù)荷影響因素與負(fù)荷之間的內(nèi)在聯(lián)系，采用PSO-SOFMLSSVM 及PSO-SOFM-GA-LSSVM 的預(yù)測(cè)模型精度較以上兩種模型精度高，可驗(yàn)證出本文所提模型能在不同類(lèi)型的負(fù)荷下進(jìn)行較好地預(yù)測(cè)。

5 結(jié)論

將本文所提的PSO-SOFM-GA-LSSVM 的模型依據(jù)平均絕對(duì)誤差及均方根誤差進(jìn)行評(píng)估，并與LSSVM，GA-LSSVM，PSO-SOFM-LSSVM 進(jìn)行比較。由實(shí)際仿真算例分析可知，與其他負(fù)荷預(yù)測(cè)模型相比，本文所提負(fù)荷預(yù)測(cè)模型具有更好的預(yù)測(cè)精度及泛化能力，采用PSO 算法及GA 算法優(yōu)化后的模型收斂速度更快、性能更好、預(yù)測(cè)精度更高?；赑SO-SOFM 的分解方法能更好地挖掘原始負(fù)荷數(shù)據(jù)序列及相關(guān)影響因素之間的內(nèi)在聯(lián)系，能較好學(xué)習(xí)其強(qiáng)非線性關(guān)系?；贕A優(yōu)化得到的GA-LSSVM 克服了在使用LSSVM 時(shí)參數(shù)選擇的盲目性，不易陷入局部最優(yōu)，具有很好的普適性，同時(shí)也具有很高的預(yù)測(cè)精度。

圖5 負(fù)荷預(yù)測(cè)結(jié)果及誤差Fig.5 Results and error of load forecasting