基于主成分分析和正則化神經(jīng)網(wǎng)絡(luò)的電力負(fù)荷預(yù)測(cè)方法

徐 江，馮 雪，付兆慶，馬寶明，苗耀庭

（1.內(nèi)蒙古電力（集團(tuán)）有限責(zé)任公司，呼和浩特 010010；2.巴彥淖爾電業(yè)局，內(nèi)蒙古 巴彥淖爾 015000；3.內(nèi)蒙古華電卓資發(fā)電有限公司，內(nèi)蒙古 烏蘭察布 012000）

0 引言

隨著我國(guó)電力改革的深化，售電側(cè)市場(chǎng)逐步放開(kāi)，售電公司已逐漸參與電力市場(chǎng)交易。截至2019年，內(nèi)蒙古電網(wǎng)電力市場(chǎng)交易電量超過(guò)了1400億kWh，占全社會(huì)用電量的49.8%，超過(guò)全國(guó)平均水平17個(gè)百分點(diǎn)。傳統(tǒng)的售電公司靠賺取差價(jià)盈利，這在供大于需的時(shí)期或地區(qū)比較合適，但2019年以來(lái)蒙西地區(qū)電力供需形勢(shì)已發(fā)生轉(zhuǎn)變，呈現(xiàn)出整體緊平衡、局部供需緊張的狀態(tài)。

電力負(fù)荷預(yù)測(cè)是能量管理系統(tǒng)（EMS）的一個(gè)重要組成部分，是電力現(xiàn)代化管理不可或缺的技術(shù)手段。用電企業(yè)用電行為受行業(yè)性質(zhì)、環(huán)境變化、交易電價(jià)等因素影響，售電公司增強(qiáng)其代理用戶用電行為的分析和負(fù)荷預(yù)測(cè)，對(duì)制訂合理的交易計(jì)劃和規(guī)避違約考核風(fēng)險(xiǎn)具有重要意義[1]。

近年來(lái)，關(guān)于負(fù)荷預(yù)測(cè)的研究成果眾多，各種預(yù)測(cè)方法（包括神經(jīng)網(wǎng)絡(luò)法、時(shí)間序列法、回歸分析法、支持向量機(jī)法、模糊預(yù)測(cè)法等）各具特點(diǎn)，但由于影響負(fù)荷變化的因素較多，且各因素之間存在較強(qiáng)的相關(guān)性，造成傳統(tǒng)預(yù)測(cè)方法的準(zhǔn)確性和普適性較差[2-5]。本文提出一種基于主成分分析（PCA）和正則化人工神經(jīng)網(wǎng)絡(luò)負(fù)荷預(yù)測(cè)模型，能夠適應(yīng)售電公司中短期電力負(fù)荷預(yù)測(cè)的最新需求[2]。

1 主成分分析法介紹

1.1 主成分分析基本原理

海量的變量樣本數(shù)據(jù)中蘊(yùn)含了豐富的信息，但各變量之間存在信息重疊情況，增加了數(shù)據(jù)挖掘的工作量和分析研究的復(fù)雜性。為了在減少變量樣本的同時(shí)，盡量保留原變量包含的信息，需對(duì)樣本數(shù)據(jù)進(jìn)行降維處理。數(shù)據(jù)降維算法有很多，比如獨(dú)立成分分析、因子分析、自組織特征映射、主成分分析（PCA）等。其中主成分分析是統(tǒng)計(jì)學(xué)中一種常見(jiàn)的降維算法，通過(guò)正交變換將一組可能存在相關(guān)性的變量轉(zhuǎn)換為一組線性不相關(guān)變量，可以很好地解決因變量太多造成計(jì)算復(fù)雜、計(jì)算量增大的弊端。

PCA的基本思想是將n維的特征變量映射到k維上（k

1.2 PCA數(shù)學(xué)模型

假設(shè)一個(gè)樣本庫(kù)X觀測(cè)n個(gè)樣品，m個(gè)變量X1，X2，…，Xm的數(shù)據(jù)矩陣為：

PCA首先將m個(gè)觀測(cè)變量通過(guò)線性組合獲得m個(gè)新的綜合變量，即

其中，F(xiàn)1的Var( F1)最大，為第一主成分，F(xiàn)2的Var( F2)次之，為第二主成分，依此類推。A稱為主成分系數(shù)矩陣，a ij（i=1，2，3，…，m；j=1，2，3，…，m）為主成分系數(shù)。求解主成分系數(shù)就是提取主成分所要解決的問(wèn)題[4]。

1.3 PCA步驟

PCA的基本流程如圖1所示，主要過(guò)程如下。

圖1 PCA流程圖

（1）數(shù)據(jù)標(biāo)準(zhǔn)化處理：主要包括數(shù)據(jù)中心化和數(shù)據(jù)歸一化處理，目的是消除量綱、數(shù)據(jù)自身變異及數(shù)據(jù)量級(jí)差異對(duì)變量分析的影響。

（2）計(jì)算協(xié)方差矩陣，將各個(gè)特征的方差和不同特征之間的協(xié)方差表示出來(lái)。

（3）求解協(xié)方差矩陣的特征值及對(duì)應(yīng)的特征向量。

（4）將特征向量按照對(duì)應(yīng)特征值由大到小排序，組成變換矩陣，計(jì)算主成分矩陣。

（5）用特征值計(jì)算方差累計(jì)貢獻(xiàn)率，取累計(jì)貢獻(xiàn)率超過(guò)80%的前i個(gè)主成分，作為新的主成分變量。

2 正則化神經(jīng)網(wǎng)絡(luò)模型

2.1 BP神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)是一種信息響應(yīng)網(wǎng)狀拓?fù)浣Y(jié)構(gòu)，具有較快的處理速度和較強(qiáng)的容錯(cuò)能力[6-8]。BP神經(jīng)網(wǎng)絡(luò)是通過(guò)計(jì)算輸出層與期望值之間的誤差來(lái)調(diào)整網(wǎng)絡(luò)參數(shù)，從而使誤差變小。BP神經(jīng)網(wǎng)絡(luò)包括輸入層、隱含層和輸出層。相鄰各層神經(jīng)元之間由權(quán)重系數(shù)相互連接，輸入信號(hào)經(jīng)過(guò)傳遞函數(shù)的作用由輸入層傳播到隱含層，再由隱含層傳播到輸出層，最后得到輸出結(jié)果，完成一次訓(xùn)練。以3層BP神經(jīng)網(wǎng)絡(luò)為例，結(jié)構(gòu)如圖2所示[5]。

在訓(xùn)練過(guò)程中，定義第n次迭代后所有輸入數(shù)據(jù)的期望輸出和實(shí)際輸出之間誤差的平方和為目標(biāo)函數(shù)E(n)：

式中：ti為第i個(gè)神經(jīng)元的期望輸出；Zi為第i個(gè)神經(jīng)元的實(shí)際輸出；p為輸出層神經(jīng)元個(gè)數(shù)。當(dāng)E(n)滿足目標(biāo)值時(shí)，實(shí)際輸出和期望輸出達(dá)到一致，網(wǎng)絡(luò)訓(xùn)練結(jié)束，BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程如圖3所示[6]。

圖3 BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練流程圖

2.2 神經(jīng)網(wǎng)絡(luò)正則化

在傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中，受網(wǎng)絡(luò)結(jié)構(gòu)、節(jié)點(diǎn)數(shù)目以及訓(xùn)練數(shù)據(jù)質(zhì)量的影響，有可能出現(xiàn)過(guò)擬合情況，導(dǎo)致訓(xùn)練好的網(wǎng)絡(luò)泛化能力差。一般的神經(jīng)網(wǎng)絡(luò)工具箱會(huì)將樣本數(shù)據(jù)集分成訓(xùn)練樣本、驗(yàn)證樣本及測(cè)試樣本3個(gè)部分，使用訓(xùn)練樣本得到多個(gè)模型，利用驗(yàn)證樣本計(jì)算各模型的誤差，選取誤差最小的模型計(jì)算測(cè)試樣本的泛化誤差，評(píng)價(jià)模型的泛化能力。為進(jìn)一步解決過(guò)擬合問(wèn)題，利用神經(jīng)網(wǎng)絡(luò)正則化，在原目標(biāo)函數(shù)E（n）的基礎(chǔ)上加入約束項(xiàng)，避免網(wǎng)絡(luò)模型一味追求誤差最小而導(dǎo)致網(wǎng)絡(luò)結(jié)構(gòu)過(guò)于復(fù)雜，過(guò)度擬合訓(xùn)練樣本中的噪聲特征而影響模型訓(xùn)練結(jié)果，以達(dá)到更好的推廣能力，目標(biāo)函數(shù)變?yōu)椋?/p>

通過(guò)增加約束項(xiàng)E(ω)和調(diào)整α，β的大小，在保證網(wǎng)絡(luò)訓(xùn)練誤差減小的同時(shí)使網(wǎng)絡(luò)連接權(quán)重盡可能少，相當(dāng)于減小網(wǎng)絡(luò)規(guī)模，提高泛化能力。

3 基于PCA與BP神經(jīng)網(wǎng)絡(luò)的負(fù)荷預(yù)測(cè)模型

以某售電公司所代理用戶典型年度3月13日至4月20日的每日負(fù)荷值及當(dāng)天最高溫度、最低溫度、平均溫度、日期類型作為數(shù)據(jù)樣本，以前7天的負(fù)荷值及預(yù)測(cè)當(dāng)天的最高溫度、最低溫度、平均溫度為協(xié)變量，日期類型為分類變量（工作日定為1，節(jié)假日定為0）作為BP網(wǎng)絡(luò)的輸入，預(yù)測(cè)當(dāng)天的負(fù)荷值作為輸出，創(chuàng)建32個(gè)樣本集進(jìn)行訓(xùn)練[7]。

3.1 主成分提取

首先將樣本數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，經(jīng)過(guò)處理的數(shù)據(jù)符合標(biāo)準(zhǔn)正態(tài)分布，即均值為0，標(biāo)準(zhǔn)差為1，消除不同數(shù)據(jù)類型對(duì)結(jié)果的影響。由標(biāo)準(zhǔn)化處理后的樣本數(shù)據(jù)可得到特征值和方差貢獻(xiàn)率（見(jiàn)表1）。由于前4個(gè)分量的累計(jì)貢獻(xiàn)率已超過(guò)80%，包含了絕大部分的數(shù)據(jù)信息量，因此選擇前4個(gè)主成分，主成分系數(shù)見(jiàn)表2。

表1 特征值和方差貢獻(xiàn)率

表2 主成分系數(shù)

3.2 BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練

BP神經(jīng)網(wǎng)絡(luò)具有尋優(yōu)能力強(qiáng)的特點(diǎn)，但容易陷入局部最優(yōu)的陷阱，造成網(wǎng)絡(luò)模型過(guò)擬合，算法魯棒性差[9-11]。利用貝葉斯正則化方法自適應(yīng)調(diào)整α，β的大小，優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值，既可壓縮網(wǎng)絡(luò)模型，又能避免網(wǎng)絡(luò)陷入局部最小的問(wèn)題，提高模型泛化能力。具體步驟如下：

（1）選取前4個(gè)主成分進(jìn)行建模，預(yù)測(cè)輸出為當(dāng)日負(fù)荷值，所以確定BP神經(jīng)網(wǎng)絡(luò)輸入層為4，輸出層為1，通過(guò)經(jīng)驗(yàn)及試湊法，選擇1個(gè)隱含層，傳遞函數(shù)選用log-sigmoid型函數(shù)。

（2）將32個(gè)樣本中的20個(gè)作為訓(xùn)練集，6個(gè)作為驗(yàn)證集，6個(gè)作為測(cè)試集，用來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)并驗(yàn)證測(cè)試網(wǎng)絡(luò)模型的性能。

（3）確定網(wǎng)絡(luò)結(jié)構(gòu)及樣本集后，利用神經(jīng)網(wǎng)絡(luò)工具箱對(duì)樣本進(jìn)行訓(xùn)練，訓(xùn)練結(jié)果如圖4所示。

圖4 神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)果散點(diǎn)圖

圖4給出樣本集訓(xùn)練后的數(shù)據(jù)擬合情況，可以看出樣本訓(xùn)練情況較好，實(shí)際輸出和期望輸出之間誤差在允許范圍內(nèi)，達(dá)到了網(wǎng)絡(luò)訓(xùn)練的要求。利用神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到的網(wǎng)絡(luò)模型對(duì)樣本集的電力負(fù)荷進(jìn)行預(yù)測(cè)，結(jié)果如圖5所示，預(yù)測(cè)值與實(shí)際值的相對(duì)誤差如圖6所示，誤差范圍為[-0.03，0.01]。

圖5 PCA-BP神經(jīng)網(wǎng)絡(luò)負(fù)荷預(yù)測(cè)結(jié)果

圖6 PCA-BP神經(jīng)網(wǎng)絡(luò)負(fù)荷預(yù)測(cè)相對(duì)誤差

3.3 結(jié)果對(duì)比分析

利用時(shí)間序列預(yù)測(cè)法以及不含主成分提取的原始數(shù)據(jù)及正則化約束的BP網(wǎng)絡(luò)模型對(duì)樣本數(shù)據(jù)進(jìn)行訓(xùn)練預(yù)測(cè)，與本文訓(xùn)練方法的結(jié)果進(jìn)行對(duì)比分析，結(jié)果見(jiàn)表3。

表3 時(shí)間序列、BP神經(jīng)網(wǎng)絡(luò)以及PCA-BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)結(jié)果對(duì)比

由表3可見(jiàn)，時(shí)間序列預(yù)測(cè)法得到的結(jié)果與實(shí)際值偏差較大，主要原因?yàn)闀r(shí)間序列預(yù)測(cè)法只利用歷史負(fù)荷數(shù)據(jù)的趨勢(shì)進(jìn)行統(tǒng)計(jì)分析，未考慮溫度以及日期類型對(duì)用電負(fù)荷的影響[12]。而基于BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)值與實(shí)際值較為接近，但因?yàn)闃颖炯g關(guān)聯(lián)性較強(qiáng)且輸入樣本較多，造成網(wǎng)絡(luò)模型復(fù)雜，存在過(guò)擬合現(xiàn)象[13-16]，導(dǎo)致有些時(shí)間的預(yù)測(cè)值偏離實(shí)際值較大；基于主成分分析和正則化約束的BP神經(jīng)網(wǎng)絡(luò)模型簡(jiǎn)捷有效，對(duì)訓(xùn)練集外的樣本預(yù)測(cè)準(zhǔn)確率較高。

4 結(jié)語(yǔ)

本文利用主成分分析法對(duì)影響負(fù)荷變化的變量進(jìn)行降維，消除各變量間重疊的信息，同時(shí)簡(jiǎn)化了網(wǎng)絡(luò)模型，然后利用增加正則化約束項(xiàng)的BP神經(jīng)網(wǎng)絡(luò)對(duì)樣本集進(jìn)行訓(xùn)練，避免模型過(guò)擬合，得到負(fù)荷預(yù)測(cè)網(wǎng)絡(luò)模型。通過(guò)與未采用主成分分析及添加正則化項(xiàng)的BP神經(jīng)網(wǎng)絡(luò)模型和時(shí)間序列法預(yù)測(cè)的結(jié)果進(jìn)行對(duì)比，驗(yàn)證了該方法的正確性和優(yōu)勢(shì)，研究方法可供電力用戶、售電公司以及其他電力市場(chǎng)參與者參考。