基于最大信息挖掘?qū)挾葘W(xué)習(xí)系統(tǒng)短期電力負(fù)荷預(yù)測研究

楊光雨，李曉航

(1.國網(wǎng)河南省電力公司檢修公司, 鄭州 450000； 2. 國網(wǎng)河南省電力公司平頂山供電公司，河南 平頂山 467001)

0 引 言

混沌時間序列預(yù)測對于許多領(lǐng)域都是十分重要的技術(shù)手段，比如天氣預(yù)測、電力預(yù)測和成績預(yù)測等,因此得到了廣泛的關(guān)注[1-2]。然而，線性方法不足以學(xué)習(xí)時間序列的非線性模式，因此學(xué)者們開始將注意力放在非線性模型混沌時間序列預(yù)測的研究上[3-4]。

混沌動力系統(tǒng)中，尤其是電力負(fù)荷預(yù)測中，由于各種因素的影響，存在著不穩(wěn)定的因素：線性相關(guān)、非線性決定機(jī)制、混沌機(jī)制以及噪聲等[5-6]。最大化信息挖掘(Maximum Information Excavate，MIE)可以看作是充分提取數(shù)據(jù)中的特征并充分利用它們[7]。反向傳播算法利用反向傳播誤差來更新權(quán)重以減少輸出誤差，在一定程度上可以看作是MIE的早期階段[8]。此外，學(xué)者們開始關(guān)注網(wǎng)絡(luò)架構(gòu)的研究，以達(dá)到最大的功能利用率。文獻(xiàn)[9]從實際運行的風(fēng)電場獲得了相關(guān)風(fēng)速、環(huán)境溫度和風(fēng)電功率的歷史數(shù)據(jù)，建立了基于徑向基函數(shù)(Radial Basis Function，RBF)神經(jīng)元網(wǎng)絡(luò)的短期風(fēng)電功率預(yù)測模型。文獻(xiàn)[10]提出了基于粗糙集理論的改進(jìn)神經(jīng)網(wǎng)絡(luò)算法，并將其應(yīng)用于短期負(fù)荷預(yù)測。文獻(xiàn)[11]采用主成分分析法(Principal Component Analysis，PCA)減少變量數(shù)，用神經(jīng)網(wǎng)絡(luò)動態(tài)集成的方法構(gòu)建出較強(qiáng)泛化能力的反向傳播(Back Propagation，BP)網(wǎng)絡(luò)集成。這些方法通過建立快捷連接來確保信息的完整性，但是為了獲得較好的預(yù)測效果，上述方法訓(xùn)練時間較長，需要的樣本較多，且模型的可解釋性較差。

為提高預(yù)測速度，文獻(xiàn)[12]基于泄漏積分型回聲狀態(tài)網(wǎng)絡(luò)(Leaky Integral Echo State Network，LIESN)，提出了一種基于相似日和LS-SVM微網(wǎng)短期負(fù)荷預(yù)測方法。文獻(xiàn)[13]采用模糊寬度學(xué)習(xí)系統(tǒng)(Fuzzy Broad Learning System，F(xiàn)BLS)的負(fù)荷預(yù)測方法，可以有效降低學(xué)習(xí)時間。文獻(xiàn)[14]將隨機(jī)森林回歸算法引入電力系統(tǒng)短期負(fù)荷預(yù)測中一種基于聚類分析與隨機(jī)森林的短期負(fù)荷滾動預(yù)測模型。文獻(xiàn)[15]考慮到時間序列的時間特性，在寬度學(xué)習(xí)系統(tǒng)(Broad Learning System，BLS)的特征節(jié)點中引入了一種儲層結(jié)構(gòu)，用于時間序列的動態(tài)模式提取。雖然這幾種方法有效解決了訓(xùn)練時間與模型解釋性問題，但是仍舊未能充分挖掘混沌系統(tǒng)的演化信息，使得預(yù)測精度的提升有限。

為了提高電力負(fù)荷的預(yù)測精度，減少訓(xùn)練時間，提出了一種基于MIE-BLS多核LS-SVM短期電力負(fù)荷預(yù)測。為了有效地捕捉電力負(fù)荷的非線性信息，引入了一種改進(jìn)的漏積分器動態(tài)儲層，不僅可以獲取系統(tǒng)當(dāng)前狀態(tài)的信息，而且可以學(xué)習(xí)歷史信息。進(jìn)一步通過非線性隨機(jī)映射從而充分挖掘非線性信息。然后提出了一種多核LS-SVM預(yù)測模型，有效綜合了各個核函數(shù)的優(yōu)點。最后通過實驗證明了提出方法的有效性。

1 最大信息挖掘廣域?qū)W習(xí)系統(tǒng)

1.1 改進(jìn)的漏積分器動態(tài)儲層

提出的MIE-BLS包括建立進(jìn)化模型和動態(tài)特征激活。采用沒有非線性激活的改進(jìn)泄漏積分型動態(tài)隱藏層將系統(tǒng)的當(dāng)前狀態(tài)和歷史狀態(tài)進(jìn)行整合。將模擬系統(tǒng)隱藏層的狀態(tài)發(fā)送到增強(qiáng)層，以提取非線性信息，并在大規(guī)模時間序列預(yù)測應(yīng)用中快速建模。此外，動態(tài)隱藏層和隨機(jī)非線性增強(qiáng)特征與輸出層同時連接。

假設(shè)重建的輸入數(shù)據(jù)矩陣為U=[u1,u2,…,uN]T∈RN×K，其中N為樣本大小，K代表輸入維數(shù)。相應(yīng)的滲漏積分神經(jīng)元的動態(tài)隱藏層狀態(tài)更新公式為:

x(t+1)=(1-a)f(Wresx(t)+Winu(t+1)+ax(t))

(1)

線性轉(zhuǎn)換公式為：

x(t+1)=(1-a)(Wresx(t)+Winu(t+1)+ax(t))

(2)

此線性傳遞方法使動態(tài)系統(tǒng)中的信息流最大化，激活了新狀態(tài)和歷史狀態(tài)之間的相互作用[16]。為了避免隱藏層稀疏性帶來的不確定性，在模型中引入了全連接層。將所有更新后的隱藏層狀態(tài)定義為:

(3)

隨機(jī)映射表示為：

Hj=ξ(PWhj+βhj),j=1,2,...,m

(4)

式中Whj和βhj隨機(jī)生成的，表示權(quán)重和偏差；P代表隱藏層狀態(tài)信息；m為增強(qiáng)節(jié)點個數(shù)。增強(qiáng)層的輸出為Hm=[H1,H2,…,Hm]。Hj代表相應(yīng)的映射值，假設(shè)U對應(yīng)的輸出為Y，則：

Y=[P|Hm]W=AW

(5)

式中W是MIE-BLS的輸出權(quán)重，A=[P|Hm]W∈RN×(n+m)。采用嶺回歸算法求解輸出矩陣：

W=(ATA+λI)-1ATY

(6)

式中λ是正則化參數(shù)。嶺回歸作為一種專用于共線性數(shù)據(jù)分析的有偏估計回歸方法，對病態(tài)數(shù)據(jù)的擬合要強(qiáng)于最小二乘法，因此將該方法用于計算輸出權(quán)重。

改進(jìn)了BLS之后，就要進(jìn)一步引入到最大信息挖掘機(jī)制中。

1.2 最大信息挖掘

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)不同層之間傳輸存在信息丟失。特征提取的本質(zhì)是提取回歸/分類的本質(zhì)特征，避免信息丟失。從混沌時間序列預(yù)測的角度來看，MIE應(yīng)該最終利用混沌時間序列中的線性相關(guān)性、非線性確定性和混沌性。如圖1所示，采用了兩種基本機(jī)制來保證混沌動力學(xué)系統(tǒng)的MIE：改進(jìn)的泄漏積分隱藏層代表相互作用機(jī)制和具有隨機(jī)映射的增強(qiáng)層代表層疊機(jī)制。這兩種技術(shù)增強(qiáng)了MIE且將功能重新激活。

圖1 MIE理論描述

MIE與傳統(tǒng)方法的區(qū)別在于學(xué)習(xí)了歷史信息，考慮了狀態(tài)之間的相關(guān)性，從而有效地提升了信息的挖掘深度，并探索最多數(shù)量的信息。另外為了能夠充分挖掘非線性信息，必須進(jìn)一步引入非線性隨機(jī)映射。

1.3 隨機(jī)映射分析

假設(shè)高維特征為u∈Rm，低維特征為v∈Rn，隨機(jī)矩陣為A∈Rn×m,n<

(7)

式中δ表示極小的正數(shù)。JL定理也為上述結(jié)果提供了理論支持。

JL定理：假設(shè)存在U=[u1,u2,…,ud]∈Rm×d且0<δ<1，β> 0，令：

(8)

對于U中的任何兩個向量ui,uj(i≠j)，都有一個映射f：Rm→Rn。將映射f定義為隨機(jī)矩陣A，并將矩陣中的元素定義為A(i,j)=aij，此時，需要滿足：

(9)

基于最大信息挖掘廣域?qū)W習(xí)系統(tǒng)的混沌時間序列預(yù)測算法流程如圖2所示。

圖2 混沌時間序列預(yù)測流程圖

2 LS-SVM

2.1 SVM

支持向量機(jī)作為一種經(jīng)典的機(jī)器學(xué)習(xí)算法，一經(jīng)提出便得到了廣泛的研究，在模式識別、系統(tǒng)辨識、建模等領(lǐng)域得到了應(yīng)用[17]。Vapnik提出的ε不敏感損失函數(shù)表達(dá)為:

訓(xùn)練集{(xi,yi),i=1,2,...l}，xi∈Rn是樣本的第i個輸入，yi∈R是對應(yīng)的第i個輸出，l表示樣本數(shù)目。則ε不敏感損失函數(shù)是：

(10)

其中f(x)是通過對訓(xùn)練數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)得到的估計函數(shù)，y是實際輸出值，ε是敏感參數(shù)。此方法的目標(biāo)是通過不斷調(diào)整網(wǎng)絡(luò)模型，使獲得的f(x)與實際輸出之間的誤差在ε范圍內(nèi)，并且使網(wǎng)絡(luò)的維度最小化，確定好網(wǎng)絡(luò)模型之后，在預(yù)測新的數(shù)據(jù)集x的時候，就可以獲得高精度的預(yù)測輸出。

當(dāng)需要擬合的數(shù)據(jù)為非線性數(shù)據(jù)的時候，將非線性函數(shù)φ(x)進(jìn)行線性化處理，處理方式為：

f(x)=ωφ(x)+b

(11)

其中，ω∈Rn，b是偏差量。式(11)求取回歸估計函數(shù)f(x)可以變?yōu)閮?yōu)化過程：

(12)

式中，C>0，稱為正則化參數(shù)，當(dāng)C越大則說明擬合的數(shù)據(jù)值與實際值的誤差越大。ξi是松弛變量。將式(12)采用Lagrange方法變成對偶問題[18]。

(13)

(14)

式中的b求取過程為：

(15)

2.2 最小二乘支持向量機(jī)算法

傳統(tǒng)的SVM具有較強(qiáng)的擬合和泛化性能，但是在求取SV的時候要進(jìn)行二次規(guī)劃，因此提出了LS-SVM提升計算效率[20-24]?；诖?，為了實現(xiàn)電力系統(tǒng)暫態(tài)分析的實時在線預(yù)測功能，提出了一種改進(jìn)的LS-SVM算法。

LS-SVM采用了二次偏離系數(shù)C，并將原問題轉(zhuǎn)變成在yi=ωTφ(xi)+b+ei,i=1,2,...,N成立的條件下，使訓(xùn)練誤差最小。

(16)

式中ei為誤差。對上述問題采用Lagrange定理求解，得到：

(17)

(18)

對式(16)聯(lián)立簡化后得：

(19)

式中a=[a1,a2,a3,...,aN]T為Lagrange算子，1e=[1,1,1,...,1]T，y=[y1,y2,y3,...,yN]T。I為單位矩陣，K為核函數(shù)矩陣。K(i,j)=k(xi,xj)=φT(xi)φ(xj)表示K的第i行第j列元素。則將回歸估計方程線性化后的方程為：

K(i,j)=k(xi,xj)=φT(xi)φ(xj)

(20)

解式(17)求得ai和b，LS-SVM的模型預(yù)測輸出為：

(21)

3 仿真實驗

3.1 實例1

實例1中所有電力負(fù)荷數(shù)據(jù)均來自于A市電業(yè)局，訓(xùn)練集包括2017.03.06～2017.03.12間的負(fù)荷數(shù)據(jù)，由于雙休日與工作日的生產(chǎn)生活方式有明顯差異，因此必須區(qū)分兩種情況進(jìn)行預(yù)測。

實驗中，所有數(shù)據(jù)集按9:1的比例分成訓(xùn)練集和測試集。選擇了一些其他方法進(jìn)行比較：文獻(xiàn)[13]提出的LIESN算法、文獻(xiàn)[14]提出的FBLS算法和文獻(xiàn)[15]提出的流形結(jié)構(gòu)寬度學(xué)習(xí)系統(tǒng)(Structured Manifold Broad Learning System，SM-BLS)算法。用均方根誤差(Root Mean Square Error，RMSE)、標(biāo)準(zhǔn)均方根誤差(Normalized Root Mean Square Error，NRMSE)、平均絕對誤差(Mean Absolute Error，MAE)以及對稱平均絕對百分比誤差(Symmetric Mean Absolute Percentage Error，SMAPE)四個指標(biāo)來評價預(yù)測性能，指標(biāo)的計算公式可以參考文獻(xiàn)[25]。由于周中與周末電力負(fù)荷變化較大，將所有的數(shù)據(jù)分割為周中和周末。具體的預(yù)測對比結(jié)果如圖3所示，具體的預(yù)測指標(biāo)如表1所示。在線預(yù)測的周中選取為:2017.03.13，周末選擇為: 2017.03.18。

圖3 2017.03.13日的電力負(fù)荷預(yù)測結(jié)果

表1 2017.03.13日的電力負(fù)荷預(yù)測誤差表

從表1中可以看出，提出方法的平均相對誤差為4.35%，相比較于FBLS方法與SM-BLS的平均誤差分別減小了1.21%和2.12%，證明了廣義學(xué)習(xí)系統(tǒng)的引入能夠提升預(yù)測精度，另外多核函數(shù)對提高預(yù)測精度也有積極作用，而且對比SM-BLS方法與FBLS方法可知，提出方法相對于廣義學(xué)習(xí)系統(tǒng)，具有更高的預(yù)測精度。

進(jìn)一步對2017.03.18 日A市的電力負(fù)荷進(jìn)行預(yù)測，結(jié)果如圖4所示。

圖4 2017.03.18日的電力負(fù)荷預(yù)測結(jié)果

同理，從2017.03.18的電力負(fù)荷預(yù)測結(jié)果中可以得出相似結(jié)論，見表2。

表2 2017.03.18日的電力負(fù)荷預(yù)測誤差表

3.2 實例2

對B市的兩組數(shù)據(jù)集進(jìn)行了MIE-BLS的進(jìn)一步驗證。將B市全市2016年國慶7天內(nèi)電力負(fù)荷作為預(yù)測變量，預(yù)測對比結(jié)果見表3，三步預(yù)測結(jié)果對比見表4，從表3和表4可以看出，MIE-BLS在實際數(shù)據(jù)集的訓(xùn)練和測試過程中都取得了最好的效果，其中一步中預(yù)測訓(xùn)練數(shù)據(jù)MIE-BLS的MAE相對于LIESN、FBLS和SM-BLS分別減少了22.2%、 64.5%、 3.6%。測試數(shù)據(jù)的MAE分別下降了13.0%、 68.9%、 11.7%。三步中預(yù)測訓(xùn)練數(shù)據(jù)MIE-BLS的MAE相對于LIESN、FBLS和SM-BLS分別減少了7.2%、 16.9%、 6.1%。測試數(shù)據(jù)的MAE分別下降了5.4%、 21.7%、 11.9%。在表3和表4的大多數(shù)實驗數(shù)據(jù)表明，測試集的訓(xùn)練結(jié)果優(yōu)于訓(xùn)練集。這對時間序列的分析是合理且實用的。與圖像不同，時間序列包含著豐富的動態(tài)信息。此外，混沌時間序列的演化不是一成不變的，它表現(xiàn)為線性相關(guān)、非線性確定性和混沌性。該數(shù)據(jù)集的時間跨度很長，訓(xùn)練集占總數(shù)據(jù)量的90%，包含有較大的波動和噪聲。而測試集的波動相對較小，比訓(xùn)練數(shù)據(jù)包含的噪聲少。相應(yīng)的三步預(yù)測曲線如圖5所示。雖然預(yù)測動態(tài)波動劇烈時的結(jié)果準(zhǔn)確率不高，但預(yù)測誤差在可接受范圍內(nèi)。

表3 B市國慶電力負(fù)荷的一步預(yù)測性能的比較

表4 B市國慶電力負(fù)荷的三步預(yù)測性能的比較

圖5 MIE-BI三步預(yù)測B市市國慶節(jié)電力負(fù)荷的結(jié)果

B市國慶電力負(fù)荷預(yù)測結(jié)果進(jìn)一步證明了該方法的實用性和有效性。預(yù)測誤差曲線如圖6所示，可以看出預(yù)測誤差在可接受范圍內(nèi)，無較大偏差。文中方法的一步預(yù)測結(jié)果與其他方法的比較如表5所示。其中一步中預(yù)測訓(xùn)練數(shù)據(jù)MIE-BLS的MAE相對于LIESN、FBLS和SM-BLS分別減少了33.8%、 43.5%、 3.0%。測試數(shù)據(jù)的MAE分別下降了37.0%、 46.7%、 6.2%。盡管兩種方法的RMSE沒有太大差別，但SM-BLS的NRMSE明顯大于MIE-BLS，可能因為所提出的方法能夠動態(tài)捕捉時間信息，從而成功地捕捉到混沌時間序列的峰值。

圖6 MIE-BLS一步B市國慶節(jié)電力負(fù)荷的結(jié)果

表5 B市國慶電力負(fù)一步預(yù)測性能的比較

4 結(jié)束語

為了進(jìn)一步提升預(yù)測精度，減少訓(xùn)練時間，最大信息挖掘廣域?qū)W習(xí)系統(tǒng)多核LS-SVM短期電力負(fù)荷預(yù)測。通過實際電力負(fù)荷數(shù)據(jù)集實驗得出如下結(jié)論：

(1)MIE-BLS具有快速訓(xùn)練的特點，能夠有效地減少訓(xùn)練時間，為在大規(guī)模數(shù)據(jù)集上的應(yīng)用提供了可能；

(2)因為特征和增強(qiáng)層輸出之間的層疊，補(bǔ)償了在傳輸過程中丟失的信息，提出的方法更注重特征信息的利用，特別是混沌時間序列信息的利用，能夠有效解決短期電力負(fù)荷序列預(yù)測問題；

(3)該方法既考慮了電力負(fù)荷時間序列的混沌時間特性，又最大限度地利用了演化信息，有效地實現(xiàn)了充分的信息挖掘，提升了預(yù)測的精度。