基于核極限學(xué)習(xí)機的負(fù)荷多粒度預(yù)測模型

崔 嬌，文玉興，余永勝，歐鈺瞧，陳 蒙，谷紫文

(1. 云南電網(wǎng)有限責(zé)任公司 昆明供電局，昆明 650011；2. 湖南大學(xué) 電氣與信息工程學(xué)院，長沙 410082)

準(zhǔn)確的負(fù)荷預(yù)測是保障電網(wǎng)穩(wěn)定、解決電量偏差、節(jié)約能源的有效途徑[1]。隨著存儲技術(shù)和數(shù)據(jù)采集技術(shù)的發(fā)展，通過歷史數(shù)據(jù)搭建預(yù)測模型進行負(fù)荷預(yù)測的方式廣受關(guān)注[2]。傳統(tǒng)的時間序列預(yù)測方法主要包括最小二乘回歸法[3]、回歸分析法[4]等，由于負(fù)荷數(shù)據(jù)的非線性、非平穩(wěn)性和自相關(guān)性等特征[5-6]，這些方法難以達到電力市場的精度要求。神經(jīng)網(wǎng)絡(luò)算法具有較強的非線性特征提取能力，能夠有效提高預(yù)測模型的精度。目前，已有大量的神經(jīng)網(wǎng)絡(luò)算法應(yīng)用在負(fù)荷預(yù)測模型中，主要包括BP神經(jīng)網(wǎng)絡(luò)[7]、支持向量機(support vector machine，SVM)[8]、長短期記憶神經(jīng)網(wǎng)絡(luò)(long short-term memory，LSTM)[9]、極限學(xué)習(xí)機(extreme learning machine，ELM)[10]、極限梯度提升(extrme gradient boosting, XGBoost)[11]等。文獻[12]針對風(fēng)電功率的隨機性和波動性特征，建立了基于遺傳算法優(yōu)化后的核極限學(xué)習(xí)機預(yù)測模型，具有較好的泛化性能與預(yù)測精度。文獻[13]針對負(fù)荷數(shù)據(jù)不確定性動態(tài)特征，提出了一種基于約束并行長短期記憶神經(jīng)網(wǎng)絡(luò)分位數(shù)回歸的短期電力負(fù)荷概率預(yù)測模型，該模型有效提高了預(yù)測效率和預(yù)測精度。文獻[14]提出了一種基于貝葉斯深度學(xué)習(xí)的多任務(wù)概率預(yù)測模型框架，通過群集池化的方式增加該框架處理數(shù)據(jù)的多樣性和數(shù)量，不僅解決了過擬合問題，還改善了預(yù)測性能。

1 基本理論

1.1 混沌時間序列分析

混沌理論對原始數(shù)據(jù)進行重構(gòu)，將原始數(shù)據(jù)擴展到高維空間，以高維的方式將非線性系統(tǒng)中隱含的特征信息表現(xiàn)出來[16]。根據(jù)混沌學(xué)Takens的延遲嵌入定理，時間序列可以通過相空間重構(gòu)恢復(fù)到原系統(tǒng)。對于單變量時間序列X∈{x1,x2,…,xn}，通過嵌入維度d和延遲時間τ進行相空間重構(gòu)，拓?fù)浣Y(jié)構(gòu)為

X={xi,xi+τ,…,xi+(d-1)τ},i∈[1,n] 。

(1)

進行相空間重構(gòu)時需要對嵌入維度d和延遲時間τ進行求解，其中交互信息法和虛假近鄰法是計算這2個參數(shù)的有效方法。

1.1.1 交互信息法求解延遲時間

交互信息法是一種通過信息論和遍歷論求解非線性系統(tǒng)混沌時間序列延遲時間τ的一種有效方法。對于時間序列X∈{x1,x2,…,xn}，延遲時間τ的交互信息公式為

I(τ)=H[x(i)]+H[x(i+τ)]-H[x(i),x(i+τ)] ，

(2)

式中：I(τ)為x(i+τ)對于x(i)的依賴程度。當(dāng)I(τ)為0時，說明x(i+τ)和x(i)完全不相關(guān)，而I(τ)的第1個極小值表示x(i+τ)和x(i)的最大可能不相關(guān)，相空間重構(gòu)時I(τ)的第1個極小值為最優(yōu)的延遲時間。

1.1.2 虛假近鄰法求解嵌入維度

虛假近鄰法在相空間重構(gòu)方面是計算嵌入維數(shù)的有效方法。隨著嵌入維度的增大，混沌運動軌跡逐漸打開，低維空間相鄰的2個數(shù)據(jù)在高維可能相距很遠，那么這2個點便是虛假近鄰點。針對時間序列X∈{x1,x2,…,xn}，令a(i,d)代表維度變換距離之差：

(3)

如果a(i,d)(典型值為[10,50])，則認(rèn)為這2個數(shù)據(jù)是由于高維混沌吸引子中2個不相鄰的數(shù)據(jù)投影到低維空間中變成虛假近鄰點。嵌入維數(shù)從2開始，隨著嵌入位數(shù)d的增大，直到虛假臨近點的數(shù)量少于某一值或者虛假臨近點的數(shù)量不再改變時，此時的嵌入維度d便是最小嵌入維度。

1.2 變分模態(tài)分解

變分模態(tài)分解算法(variational mode decomposition，VMD)能夠?qū)⒃挤瞧椒€(wěn)信號S分解為k個具有不同中心頻率和有限帶寬的相對平穩(wěn)子信號{μ1,μ2,…,μn}。每一個子信號作為原始信號的一種帶限固有模態(tài)分量(band-limited intrinsic mode function，BLIMF)[15]，能夠反映原始信號在不同時間尺度下的結(jié)構(gòu)特征。

(4)

μi(t)=Ai(t)cos(φi(t))，

(5)

式中：Ai表示模態(tài)分量μi的幅值；φi表示模態(tài)分量μi的相位。

文中將原始負(fù)荷數(shù)據(jù)經(jīng)VMD分解為不同模態(tài)分量，考慮不同模態(tài)分量的自相關(guān)性強弱不同，針對每一模態(tài)分量建立各自的預(yù)測模型，以提高預(yù)測精度。文中模型用于短期負(fù)荷預(yù)測，在短時間內(nèi)溫度波動幅度較小，溫度分解對短期預(yù)測模型的預(yù)測精度影響較小，故不對溫度數(shù)據(jù)進行VMD分解，以減小模型的復(fù)雜度。

1.3 核極限學(xué)習(xí)機

極限學(xué)習(xí)機是一種高效的單隱含層前饋神經(jīng)網(wǎng)絡(luò)，廣泛應(yīng)用在預(yù)測回歸和分類領(lǐng)域。極限學(xué)習(xí)機的輸入為[x1,x2,…,xn]，輸入層與隱藏層之間是全連接。若隱藏單元的個數(shù)是m，則隱藏層的輸出矩陣為

H(x)=[h1(x),h2(x),…,hk(x)] 。

(6)

隱藏單元的輸出是輸入節(jié)點乘上隱藏節(jié)點的權(quán)值w加上偏差b，經(jīng)過一個非線性函數(shù)將所有輸入節(jié)點求和得：

(7)

其中：g是激活函數(shù)，常用的有Sigmoid函數(shù)、Gaussian函數(shù)等。

從隱藏層到輸出層也是全連接，輸出層的結(jié)果為

(8)

1.4 預(yù)測質(zhì)量評價指標(biāo)

(9)

式中，RMSE的范圍是[0，+∞]，該指標(biāo)越小，說明預(yù)測值越貼近真實值。

(10)

式中，MAE的范圍是[0，+∞]，該指標(biāo)越小，說明預(yù)測值越貼近真實值。

(11)

2 負(fù)荷多粒度預(yù)測模型

2.1 負(fù)荷預(yù)測中的時間窗大小取值問題

負(fù)荷作為一種時序數(shù)列，具有較強的自相關(guān)性。此外，用戶用電過程中受溫度因素的影響，導(dǎo)致負(fù)荷與溫度之間存在潛在的互相關(guān)性。針對多變量單值預(yù)測模型，其數(shù)學(xué)模型為

yt+m=f(X,Z) ，

(12)

X={xt,xt-1,…,xt-kx} ，

(13)

Z={zt+h,zt+h-1,…,zt+h-kz} ，

(14)

式中：t表示時刻；m表示預(yù)測步長；f表示預(yù)測模型；X表示歷史負(fù)荷數(shù)據(jù)；Z表示預(yù)測溫度數(shù)據(jù)；y表示預(yù)測負(fù)荷。

由式(12)所代表的負(fù)荷預(yù)測模型可知，預(yù)測質(zhì)量不僅與預(yù)測模型擬合的函數(shù)f有關(guān)，還與輸入數(shù)據(jù)的時間窗大小kX和kZ有關(guān)。文中分析負(fù)荷數(shù)據(jù)的自相關(guān)性以及負(fù)荷數(shù)據(jù)與溫度數(shù)據(jù)之間的互相關(guān)性，研究輸入數(shù)據(jù)的時間窗大小對模型預(yù)測精度的影響。

選擇核極限學(xué)習(xí)機作為預(yù)測模型，采用1.4節(jié)中的評價指標(biāo)衡量模型的預(yù)測質(zhì)量。當(dāng)預(yù)測步長較小時，負(fù)荷數(shù)據(jù)的自相關(guān)性對預(yù)測模型影響較大。設(shè)置預(yù)測步長大小為1，預(yù)測溫度時間窗kZ大小為24，預(yù)測質(zhì)量與輸入負(fù)荷時間窗大小的關(guān)系曲線如圖1所示。由圖1可知，當(dāng)輸入負(fù)荷時間窗大小為25時，模型的預(yù)測質(zhì)量最高，說明合適的負(fù)荷時間窗大小能夠提高模型的預(yù)測精度。

圖1 預(yù)測質(zhì)量與輸入負(fù)荷時間窗大小的關(guān)系曲線Fig. 1 Relationship between the prediction quality and the size of the input load-time window

當(dāng)預(yù)測步長較大時，負(fù)荷數(shù)據(jù)與溫度數(shù)據(jù)之間的互相關(guān)性對預(yù)測模型影響較大。設(shè)置預(yù)測步長為5，預(yù)測負(fù)荷時間窗kX大小為25，預(yù)測質(zhì)量與輸入溫度時間窗大小的關(guān)系曲線，如圖2所示。由圖2可知，當(dāng)輸入溫度時間窗為26時，模型的預(yù)測質(zhì)量最高，說明合適的溫度時間窗大小能夠提高模型的預(yù)測質(zhì)量。

圖2 預(yù)測質(zhì)量與輸入溫度時間窗的關(guān)系曲線Fig. 2 Relationship between prediction quality and the size of input temperature-time window

2.2 負(fù)荷多粒度預(yù)測模型

文中提出的基于MG-KELM的負(fù)荷預(yù)測模型的總體框架，如圖3所示，該模型包括3個階段：信號分解階段、時間窗求解階段和多粒度預(yù)測階段。

圖3 基于MG-KELM的多粒度預(yù)測模型的總體框架Fig. 3 Framework of the prediction model based on MG-KELM

第1階段：信號分解階段。與其它時序信號比較，臺區(qū)負(fù)荷的頻率分量相對較少。為此，將負(fù)荷信號X分解為3個中心頻率遞增的子信號：主要特征信號XL，細(xì)節(jié)特征信號XM和隨機特征信號XH。可根據(jù)經(jīng)驗得到負(fù)荷信號分解的個數(shù)，實驗發(fā)現(xiàn)分解個數(shù)為3比較合理。如果原始信號最優(yōu)的分解個數(shù)為2或者4，則需相應(yīng)建立數(shù)量為2或者4的子信號預(yù)測模型，文中模型作相應(yīng)修改即可。

第2階段：時間窗求解階段。通過混沌時序分析，利用嵌入維度和延遲時間求解每個模態(tài)在進行預(yù)測時的時間窗。

1)混沌特性分析。在進行相空間重構(gòu)時，延遲時間τ和嵌入維度m由于數(shù)據(jù)時間長度有限導(dǎo)致求解時不存在。此外，混沌系統(tǒng)具有對初始值的極端敏感性，即2個差別很小的初值經(jīng)過混沌系統(tǒng)處理后產(chǎn)生的差距將越來越大，并且呈現(xiàn)指數(shù)級分離，Lyapunov指數(shù)是描繪這一現(xiàn)象的方法。只要最大Lyapunov指數(shù)大于0便可判定該系統(tǒng)存在混沌特性。因此，一個系統(tǒng)是否具有混沌特性可以從2個方面判斷：在一定條件下延遲時間和嵌入維度是否可解，最大Lyapunov指數(shù)是否大于0。

2)時間窗求解。在數(shù)據(jù)Xi處，理想時間窗的窗內(nèi)數(shù)據(jù)與之時序相關(guān)，窗外數(shù)據(jù)與之時序無關(guān)。根據(jù)數(shù)據(jù)是否具有混沌特性，時間窗的計算方法分為2種情況。

情況一：數(shù)據(jù)具有混沌特性。在單變量相空間重構(gòu)過程中，延遲時間τ和嵌入維度m使得{xi,xi-τ,…,xi-(m-1)τ}中，數(shù)據(jù)之間保持相互獨立但又不完全隨機。由于時間窗的大小與延遲時間和嵌入維度有關(guān)，由混沌時間序列中延遲時間τ和嵌入維度m，得到混沌時間序列中數(shù)據(jù)之間最大不相關(guān)的時間尺度T的最終表達式為

T=(m-1)τ。

(15)

情況二：數(shù)據(jù)不具有混沌特性。對于不具有混沌特性的系統(tǒng)，無法進行相空間重構(gòu)，說明該數(shù)據(jù)系統(tǒng)的時序相關(guān)性較弱。若數(shù)據(jù)不具有混沌特性，則將時間窗大小設(shè)為定值24。

第3階段：多粒度預(yù)測階段。針對每個模態(tài)建立不同時間窗大小的KELM預(yù)測模型，再對各個預(yù)測模型進行累加求和，最終反標(biāo)準(zhǔn)化得出預(yù)測負(fù)荷數(shù)據(jù)。多粒度預(yù)測階段的目的是針對不同頻率的模態(tài)分量，建立不同時間窗大小的KELM預(yù)測模型，基于KELM的單一模態(tài)分量預(yù)測模型，如圖4所示。

Step1:構(gòu)建多粒度數(shù)據(jù)。根據(jù)上一階段時間窗求解方法，分別計算主要特征分量XL、細(xì)節(jié)特征分量XM、隨機特征分量XH和溫度數(shù)據(jù)的時間窗大小kXL、kXM、kXH和kZ。因此，多粒度訓(xùn)練數(shù)據(jù)的結(jié)構(gòu)為

yt+m=[xt,…,xt-kx,zt+h,…,zt+h-kz] 。

(16)

Step2:多粒度訓(xùn)練。根據(jù)Step1中的多粒度訓(xùn)練數(shù)據(jù)，建立各個模態(tài)分量的KELM訓(xùn)練模型。由于ELM只需設(shè)定隱藏層節(jié)點個數(shù)和激活函數(shù)類型，參照文獻[17]的方法進行設(shè)置。

Step3:多粒度預(yù)測。累加各個模態(tài)分量的KELM模型的輸出值，通過反標(biāo)準(zhǔn)化得出最終預(yù)測結(jié)果。

圖4 基于KELM的單一模態(tài)分量的預(yù)測模型Fig. 4 Prediction model of single-mode function based on KELM

3 案例分析

著重考慮負(fù)荷自相關(guān)性和非平穩(wěn)性對于預(yù)測模型精度的影響，選取歐盟互聯(lián)電網(wǎng)(europe electricity transmission system operator，ENTSO)公布的臺區(qū)負(fù)荷數(shù)據(jù)作為案例，驗證文中模型的有效性。數(shù)據(jù)類型包括負(fù)荷數(shù)據(jù)和溫度數(shù)據(jù)，采樣時間為2015年1月1日至2017年5月1日，采樣間隔為1 h。訓(xùn)練數(shù)據(jù)的樣本規(guī)模為15 000，測試數(shù)據(jù)的樣本規(guī)模為2 000。

3.1 時間窗有效性分析

為了驗證時間窗大小對預(yù)測精度的影響，各個模態(tài)分量通過不同大小的時間窗，以MG-KELM模型進行預(yù)測實驗。表1為原始數(shù)據(jù)以及VMD分解后各個模態(tài)分量的混沌特性分析，根據(jù)最大李雅普諾夫指數(shù)判斷，都具有混沌特性。因此，以延遲時間和嵌入維度求解的時間窗進行負(fù)荷預(yù)測。

表1 數(shù)據(jù)混沌特性分析

時間窗大小與模型預(yù)測精度關(guān)系，如圖5所示，圖中藍色曲線為不同時間窗大小時模型的預(yù)測結(jié)果，紅色五角星是使預(yù)測模型預(yù)測質(zhì)量最高時的時間窗大小，黑色圓圈是根據(jù)混沌時序分析預(yù)估的時間窗大小。從圖5可知，最佳時間窗大小使得預(yù)測精度最高，在圖中表現(xiàn)為RMSE、MAE和R2的極值點，說明時間窗大小能夠影響模型的預(yù)測精度。

當(dāng)時間窗過大，模型提取時序特征存在冗余；當(dāng)時間窗較小，模型提取時序特征較不完整。此外，各個模態(tài)分量的最佳時間窗大小不同，說明數(shù)據(jù)中不同模態(tài)分量的時序特征不同，表達其時序特征所需的序列長度也不同。對比表1可知，根據(jù)混沌相時序分析求解的時間窗取值接近最佳時間窗,說明文中方法能夠有效預(yù)估時間窗的大小。

圖5 時間窗大小與模型預(yù)測精度關(guān)系Fig. 5 Relationship between the size of the time window and model prediction accuracy

3.2 預(yù)測模型對比

為了驗證文中模型的有效性，采用長短期神經(jīng)網(wǎng)絡(luò)(LSTM)作為對比實驗。根據(jù)原始負(fù)荷是否通過VMD分解，設(shè)立如表2所示的4種對比試驗。其中，與ELM相關(guān)的預(yù)測模型的隱藏層數(shù)量設(shè)為100，激活函數(shù)設(shè)置為徑向基函數(shù)(RBF)類型；與LSTM相關(guān)的預(yù)測模型的隱藏層單元數(shù)量設(shè)置為100，梯度閾值設(shè)置為1，迭代次數(shù)設(shè)置為150，激活函數(shù)設(shè)置為S型函數(shù)(Sigmoid)類型。為了消除隨機因素的影響，所有預(yù)測模型進行20次仿真實驗，去除各自實驗結(jié)果中最壞和最好的情況后，以平均值作為最終的預(yù)測結(jié)果。

表2 實驗對照組

當(dāng)預(yù)測步長為1時，各個模型預(yù)測結(jié)果的評價指標(biāo)如表3所示，滑動預(yù)測24 h的結(jié)果如圖6所示。由表3可知，MG-ELM在所有預(yù)測模型中的RMSE指標(biāo)值和MAE指標(biāo)值最小，說明文中模型的單點預(yù)測值與實際值最為接近；MG-ELM在所有預(yù)測模型中的R2系數(shù)最大，說明文中模型的整體擬合度最高。觀察圖6中各個模型預(yù)測數(shù)據(jù)形成的曲線形態(tài)，所有模型在進行單步預(yù)測時均能較好地擬合出原始負(fù)荷數(shù)據(jù)的曲線形態(tài)，但在9:00、16:00、24:00等時刻ELM和LSTM的預(yù)測值與原始值存在較大差異。

圖6 預(yù)測步長為1時各個模型的預(yù)測結(jié)果Fig. 6 Prediction results of each model when the prediction step is 1

表3 預(yù)測步長為1時的預(yù)測評價指標(biāo)對比

當(dāng)預(yù)測步長為7時，各個模型預(yù)測結(jié)果的評價指標(biāo)如表4所示，滑動預(yù)測24 h的結(jié)果如圖7所示。由表4可知，隨著預(yù)測步長的增大，各個模型的預(yù)測精度均有下滑，但是MG-LELM和MG-LSTM均保持較好的預(yù)測質(zhì)量。觀察圖7中各個模型預(yù)測數(shù)據(jù)形成的曲線形態(tài)，ELM與原始負(fù)荷數(shù)據(jù)形態(tài)差異最大；LSTM與原始負(fù)荷數(shù)據(jù)雖然形態(tài)相似，但是各個時刻的負(fù)荷值相差較大；MG-ELM和MG-LSTM不僅與原始負(fù)荷形態(tài)相似，所預(yù)測的負(fù)荷大小也與原始負(fù)荷大小相近。表明通過變分模態(tài)分解算法和混沌時序分析方法，針對負(fù)荷數(shù)據(jù)進行多粒度的時序特征處理，能夠提升原有模型的多步長預(yù)測精度。

表4 預(yù)測步長為7時的預(yù)測評價指標(biāo)對比

圖7 預(yù)測步長為7時各個模型的預(yù)測結(jié)果Fig. 7 Prediction results of each model when the prediction step is 7

4 結(jié)束語

文中MG-KELM模型通過變分模態(tài)分解建立時間多粒度的極限學(xué)習(xí)機進行短期負(fù)荷預(yù)測，考慮負(fù)荷數(shù)據(jù)存在時序數(shù)列的自相關(guān)性，通過混沌時序分析方法計算時間窗的大小。不同模態(tài)分量的中心頻率不同，不同模態(tài)的自相關(guān)性強弱也不同，針對每一種模態(tài)分量進行混沌相空間時序分析，建立各自的預(yù)測模型。這種多粒度的負(fù)荷預(yù)測模型，可以提高所有模態(tài)的擬合程度，最終提升對原始負(fù)荷數(shù)據(jù)的預(yù)測精度。結(jié)果表明，通過變分模態(tài)分解的方法進行多粒度時序預(yù)測可以提升原始預(yù)測模型的精度，通過混沌時序分析方法可以估算最佳時間窗，提高各個模態(tài)的預(yù)測精度。