注意力機(jī)制下的EMD-GRU短期電力負(fù)荷預(yù)測(cè)

方娜，余俊杰，李俊曉，陳浩

(1.湖北工業(yè)大學(xué) 太陽(yáng)能高效利用及儲(chǔ)能運(yùn)行控制湖北省重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430068；2.湖北工業(yè)大學(xué) 湖北省電網(wǎng)智能控制與裝備工程技術(shù)研究中心，湖北 武漢 430068)

電力負(fù)荷預(yù)測(cè)在電力系統(tǒng)的調(diào)度運(yùn)行中起著重要作用，根據(jù)預(yù)測(cè)時(shí)間可分為長(zhǎng)期、中期和短期預(yù)測(cè).準(zhǔn)確的短期負(fù)荷預(yù)測(cè)不僅能幫助系統(tǒng)安全可靠地運(yùn)行，還能減少資源浪費(fèi)，提高經(jīng)濟(jì)效益[1].

目前，短期電力負(fù)荷預(yù)測(cè)模型主要有統(tǒng)計(jì)模型和基于人工智能模型兩大類.統(tǒng)計(jì)模型中，指數(shù)平滑法[2]難以鑒別出數(shù)據(jù)之間的轉(zhuǎn)折點(diǎn)，在預(yù)測(cè)帶有季節(jié)性的數(shù)據(jù)時(shí)，效果不好.自回歸移動(dòng)平均值(auto regressive moving average，ARMA)[3-4]在本質(zhì)上只能捕捉線性關(guān)系，不能捕捉非線性關(guān)系.這些統(tǒng)計(jì)方法雖簡(jiǎn)單且速度快，但均無(wú)法很好地?cái)M合非線性時(shí)序數(shù)據(jù)，存在局限性.在人工智能的模型中，人工神經(jīng)網(wǎng)絡(luò)(artificial neural network，ANN)[5-6]可逼近任意非線性函數(shù)，但不能挖掘出數(shù)據(jù)間的相關(guān)性，也需人為選擇時(shí)間特征.長(zhǎng)短期記憶網(wǎng)絡(luò)(long short-term memory，LSTM)[7-11]能更精確地學(xué)習(xí)時(shí)間序列間的長(zhǎng)期依賴性關(guān)系，解決需要人工提取時(shí)序特征和梯度消失的問題，但其收斂速度較慢.門控循環(huán)單元(gated recurrent unit，GRU)[12-13]減少運(yùn)算單元，改進(jìn)LSTM，具有更快的收斂速度，并保持與LSTM接近的準(zhǔn)確率.GRU能同時(shí)兼顧負(fù)荷序列的非線性和時(shí)序性，但預(yù)測(cè)效果會(huì)因負(fù)荷序列中非平穩(wěn)部分明顯下降.經(jīng)驗(yàn)?zāi)B(tài)分解(empirical modal decomposition，EMD)[14-16]降低原始電力負(fù)荷序列的非平穩(wěn)性，將非平穩(wěn)的負(fù)荷序列重構(gòu)成一定數(shù)量、不同尺度和相對(duì)平穩(wěn)的信號(hào)，當(dāng)輸入的時(shí)間序列較長(zhǎng)時(shí)，GRU在處理數(shù)據(jù)間結(jié)構(gòu)的信息時(shí)不易建模，同時(shí)，也會(huì)出現(xiàn)丟失序列信息的問題，影響模型預(yù)測(cè)的準(zhǔn)確率.注意力(Attention)機(jī)制[17-19]是一種資源分配機(jī)制，對(duì)輸入負(fù)荷序列給予不同的權(quán)重，放大負(fù)荷序列中的重要特征，突出更加關(guān)鍵的特征，使其不受序列長(zhǎng)短的影響，當(dāng)模型輸入負(fù)荷序列較長(zhǎng)時(shí)，序列間相互依賴的關(guān)系也能更好地被學(xué)習(xí)分析.

為了提高負(fù)荷預(yù)測(cè)精度，本文構(gòu)建一種基于注意力機(jī)制的EMD-GRU混合預(yù)測(cè)模型，簡(jiǎn)稱EMD-GRU-Attention混合預(yù)測(cè)模型.

1 模型原理

1.1 EMD數(shù)據(jù)重構(gòu)

經(jīng)驗(yàn)?zāi)B(tài)分解不用事先設(shè)立任何基函數(shù)，可直接根據(jù)數(shù)據(jù)自身的時(shí)間尺度分解信號(hào).理論上，這種方法可分解任何類型的信號(hào)，且在分析非線性及非平穩(wěn)數(shù)據(jù)時(shí)有顯著的優(yōu)勢(shì)，十分適合處理非線性、非平穩(wěn)信號(hào).當(dāng)原始信號(hào)被EMD之后，得到內(nèi)涵模態(tài)分量(Ci)和殘余分量(Rn)，這些分量可表征數(shù)據(jù)各時(shí)間尺度的特征，即

(1)

式(1)中：X(t)為原始時(shí)間負(fù)荷序列.

過(guò)零率(ρ)是分量在時(shí)間尺度內(nèi)的過(guò)零次數(shù)(n0)與負(fù)荷序列長(zhǎng)度(l)的比值，計(jì)算公式為

(2)

因數(shù)據(jù)量大，為較好地區(qū)分高、低頻分量，定義ρ超過(guò)0.1為高頻分量，ρ低于0.1為低頻分量.

1.2 GRU網(wǎng)絡(luò)模型

GRU網(wǎng)絡(luò)模型是一種改進(jìn)的循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)，能捕獲時(shí)間序列長(zhǎng)短期之間的依賴關(guān)系，且成功解決RNN存在的梯度消失問題，內(nèi)部結(jié)構(gòu)簡(jiǎn)單，減少訓(xùn)練參數(shù)的同時(shí)，保證預(yù)測(cè)精度.GRU基本單元，如圖1所示.

圖1 GRU基本單元

GRU單元更新門的輸出結(jié)果為

zt=σ(wz×[ht-1，xt])，

(3)

rt=σ(wr×[ht-1，xt])，

(4)

(5)

(6)

1.3 Attention機(jī)制

Attention機(jī)制對(duì)特征向量分配不同的權(quán)重，對(duì)重要特征給予足夠的關(guān)注，忽略無(wú)關(guān)信息，從而來(lái)突出關(guān)鍵特征.在GRU對(duì)輸入數(shù)據(jù)分別進(jìn)行特征提取和時(shí)序分析后，與之進(jìn)行結(jié)合.Attention機(jī)制示意圖，如圖2所示.

計(jì)算公式為

C=Tanh(ht)，

(7)

?=Softmax(wT·C)，

(8)

α=ht·?T.

(9)

式(7)～(9)中:wT為權(quán)重矩陣；α為注意力層的輸出.

最后，結(jié)果由全連接層映射，得到預(yù)測(cè)結(jié)果.

2 EMD-GRU-Attention混合預(yù)測(cè)模型

EMD-GRU-Attention混合預(yù)測(cè)模型結(jié)構(gòu)，如圖3所示.圖3中：Dense為全連接層.

圖3 EMD-GRU-Attention混合預(yù)測(cè)模型結(jié)構(gòu)

負(fù)荷序列中異常值與缺失值均以均值替代及補(bǔ)充，歸一化處理后，利用EMD將數(shù)據(jù)重構(gòu)成多個(gè)分量，并將盡量多的低頻內(nèi)涵模態(tài)分量和殘余分量疊加組合，以降低模型的時(shí)間復(fù)雜度.對(duì)各高、低頻內(nèi)涵模態(tài)分量及殘余分量組合分量以同樣方式選取訓(xùn)練集和測(cè)試集，再分別將各分量的訓(xùn)練集輸入GRU神經(jīng)網(wǎng)絡(luò)中.同時(shí)，引入Attention機(jī)制，經(jīng)全連接層線性擬合后，輸出各分量及組合分量的預(yù)測(cè)值.采用的損失函數(shù)為均方誤差函數(shù)，用Adam優(yōu)化算法對(duì)模型參數(shù)進(jìn)行優(yōu)化，批次為512，訓(xùn)練輪數(shù)為220，進(jìn)而對(duì)模型整體進(jìn)行訓(xùn)練確定.

運(yùn)用測(cè)試集通過(guò)確定后的模型得到各分量及組合分量的預(yù)測(cè)值，將各時(shí)刻對(duì)應(yīng)分量預(yù)測(cè)值疊加，得出最終各時(shí)刻的預(yù)測(cè)值，最后，用誤差指標(biāo)評(píng)估模型.基于TensorFlow-GPU框架下設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)，調(diào)用Keras中的函數(shù)式模型，根據(jù)上述具體參數(shù)編寫代碼，進(jìn)行仿真.

3 算例分析與驗(yàn)證

3.1 數(shù)據(jù)集及數(shù)據(jù)預(yù)處理

數(shù)據(jù)集為丹麥西部2016年(2016年1月1日至2016年12月31日)的負(fù)荷數(shù)據(jù)，來(lái)自著名開源代碼庫(kù)GitHub中Gmomo的開源項(xiàng)目，采樣頻率為1點(diǎn)·h-1，共8 784條.對(duì)負(fù)荷序列進(jìn)行EMD，選取各分量前90%的數(shù)據(jù)進(jìn)行訓(xùn)練，各分量后10%的數(shù)據(jù)進(jìn)行測(cè)試，在訓(xùn)練集中取前n個(gè)點(diǎn)對(duì)應(yīng)n+1的點(diǎn)，即[x1，x2，x3，…，xn]對(duì)應(yīng)xn+1，[x2，x3，x4，…，xn+1]對(duì)應(yīng)xn+2，依次對(duì)訓(xùn)練集進(jìn)行分割，測(cè)試集也做同樣處理.

為便于模型訓(xùn)練，對(duì)所選負(fù)荷數(shù)據(jù)進(jìn)行歸一化處理，即

(10)

式(10)中：x′為原始值；xmax為極大值；xmin為極小值.

3.2 誤差評(píng)估指標(biāo)

預(yù)測(cè)結(jié)果誤差評(píng)估指標(biāo)采用平均絕對(duì)百分誤差(EMAP)和均方根誤差(ERMS)，即

(11)

(12)

式(11)，(12)中：yp為預(yù)測(cè)值；yr為實(shí)際值；n為樣本數(shù)量.

3.3 EMD重構(gòu)

EMD分解結(jié)果，如圖4所示.由圖4可知：內(nèi)涵模態(tài)分量反映負(fù)荷數(shù)據(jù)在不同影響因素和不同尺度下的分布規(guī)律，且逐漸由非平穩(wěn)到平穩(wěn)；殘差分量(R)反映負(fù)荷序列長(zhǎng)期的變化規(guī)律，且整體變化趨勢(shì)較為一致.

圖4 EMD分解結(jié)果

如果對(duì)各分量進(jìn)行預(yù)測(cè)，可以較大降低預(yù)測(cè)模型的擬合難度，但同時(shí)模型時(shí)間復(fù)雜度也極大增加.因此，為降低模型的時(shí)間復(fù)雜度，將部分低頻內(nèi)涵模態(tài)分量與殘余分量疊加組合，對(duì)確定后的模型進(jìn)行預(yù)測(cè).分量C1，C2的過(guò)零率分別為45.6%，16.9%，是高頻內(nèi)涵模態(tài)分量；分量C3～C10的過(guò)零率分別為45.6%，16.9%，8.37%，3.33%，1.53%，0.71%，0.39%，0.20%，0.02%，0，均為低頻內(nèi)涵模態(tài)分量.

將低頻內(nèi)涵模態(tài)分量根據(jù)ρ從小到大依次進(jìn)行疊加，再與殘余分量組合后進(jìn)行預(yù)測(cè)，對(duì)沒有用到的內(nèi)涵模態(tài)分量分別單獨(dú)進(jìn)行預(yù)測(cè)，將預(yù)測(cè)結(jié)果疊加.不同組合分量的EMAP和訓(xùn)練時(shí)間(t)，如表1所示.

表1 不同組合分量的EMAP和訓(xùn)練時(shí)間

表1中：n為低頻內(nèi)涵模態(tài)分量個(gè)數(shù).由表1可知：8個(gè)低頻內(nèi)涵模態(tài)分量與殘余分量疊加得到的組合分量與剩余內(nèi)涵模態(tài)分量用EMD-GRU-Attention混合預(yù)測(cè)模型進(jìn)行預(yù)測(cè)時(shí)，得到的EMAP，ERMS和訓(xùn)練時(shí)間分別為1.41%，46.6 MW·h和1 017 s，在很短的時(shí)間內(nèi)得到了較高的預(yù)測(cè)精度.因此，將7個(gè)低頻內(nèi)涵模態(tài)分量和殘余分量設(shè)定為組合分量，對(duì)其余2個(gè)高頻內(nèi)涵模態(tài)分量與1個(gè)低頻內(nèi)涵模態(tài)分量分別進(jìn)行預(yù)測(cè).

3.4 GRU網(wǎng)絡(luò)模型參數(shù)

通過(guò)原始負(fù)荷數(shù)據(jù)對(duì)引入Attention機(jī)制的GRU結(jié)構(gòu)進(jìn)行調(diào)優(yōu)，固定神經(jīng)元數(shù)量、訓(xùn)練輪數(shù)和批次，調(diào)整GRU層數(shù)，根據(jù)EMAP，ERMS的大小判斷預(yù)測(cè)精度.GRU層數(shù)調(diào)整結(jié)果，如表2所示.由表2可知：當(dāng)GRU層數(shù)為2時(shí)，能在短的時(shí)間內(nèi)取得更好的預(yù)測(cè)精度；當(dāng)GRU層數(shù)為1層時(shí)，由于不能很好分析負(fù)荷序列及提取特征，效果較差；當(dāng)GRU層數(shù)為3時(shí)，雖精度相差不大，但訓(xùn)練時(shí)間過(guò)長(zhǎng)；當(dāng)GRU層數(shù)為4時(shí)，則出現(xiàn)了過(guò)擬合，訓(xùn)練時(shí)間也太長(zhǎng).因此，GRU層數(shù)設(shè)定為2，GRU神經(jīng)元數(shù)量設(shè)置為2n.上述模型將第1層神經(jīng)元數(shù)設(shè)為64，返回全部時(shí)間步的隱藏狀態(tài)；為減少數(shù)據(jù)流，降低冗余特征的干擾，第2層設(shè)置為32，返回全部時(shí)間步的隱藏狀態(tài)，輸入Attention機(jī)制中，通過(guò)計(jì)算，分配不同權(quán)重，經(jīng)Dense擬合后，得到更高的精度.

表2 GRU層數(shù)調(diào)整結(jié)果

3.5 仿真結(jié)果對(duì)比

分別利用BP網(wǎng)絡(luò)模型，支持向量機(jī)(SVR)模型，GRU網(wǎng)絡(luò)模型，EMD-GRU模型和EMD-GRU-Attention混合預(yù)測(cè)模型進(jìn)行仿真實(shí)驗(yàn)，對(duì)各模型參數(shù)進(jìn)行調(diào)優(yōu)，以相同訓(xùn)練集訓(xùn)練.確定各個(gè)模型參數(shù)后，以相同測(cè)試集預(yù)測(cè)2016年中1 d(12月31日)及31 d(12月1日至12月31日)的電力負(fù)荷，計(jì)算EMAP，ERMS.不同模型仿真結(jié)果對(duì)比，如表3所示.由表3可知:EMD-GRU-Attention混合預(yù)測(cè)模型在1和31 d的EMAP，ERMS均低于其他4種模型；在31 d里EMD-GRU模型的EMAP，ERMS分別為1.75%和60.1 MW·h，而EMD-GRU-Attention混合預(yù)測(cè)模型的EMAP，ERMS分別為1.41%和46.6 MW·h，這表明EMD-GRU-Attention混合預(yù)測(cè)模型具有更高的預(yù)測(cè)精度.

表3 不同模型仿真結(jié)果對(duì)比

為了驗(yàn)證EMD，GRU和Attention之間的組合性能，將GRU網(wǎng)絡(luò)，EMD和Attention遞進(jìn)組合，得出不同組合模型在某一天(2016年11月27日)的預(yù)測(cè)值及評(píng)估指標(biāo)(EMAP和ERMS)，如表4所示.表4中：Pr為實(shí)測(cè)功率；Pp為預(yù)測(cè)功率.由表4可知：GRU網(wǎng)絡(luò)模型，EMD-GRU模型和EMD-GRU-Attention混合預(yù)測(cè)模型24 h內(nèi)的EMAP分別為0.15%～7.94%，0.12%～6.75%，0.28%～3.32%，ERMS分別為3.5～157.6 MW·h，3.0～146.8 MW·h，3.3～80.4 MW·h，隨著網(wǎng)絡(luò)模型的遞進(jìn)組合，其誤差范圍逐漸縮小，整體準(zhǔn)確率穩(wěn)步上升；3種模型在1 d內(nèi)的平均EMAP分別為2.13%，1.89%和1.34%，平均ERMS分別為50.4，43.6，31.7 MW·h，這進(jìn)一步表明EMD-GRU-Attention混合預(yù)測(cè)模型具有更高的預(yù)測(cè)性能.

表4 不同模型負(fù)荷預(yù)測(cè)結(jié)果

BP網(wǎng)絡(luò)模型，SVR模型，GRU網(wǎng)絡(luò)模型，EMD-GRU模型和EMD-GRU-Attention混合預(yù)測(cè)模型在2016年11月28日和29日的負(fù)荷預(yù)測(cè)結(jié)果對(duì)比，如圖5(a)所示.圖5(a)中：P為功率.由圖5(a)可知：BP網(wǎng)絡(luò)模型，SVR模型在波峰和波谷區(qū)域出現(xiàn)很大幅度的偏差，而GRU網(wǎng)絡(luò)模型，EMD-GRU模型和EMD-GRU-Attention混合預(yù)測(cè)模型相對(duì)于這兩種模型都能較好地?cái)M合真實(shí)曲線.

(a)不同模型預(yù)測(cè)

GRU網(wǎng)絡(luò)模型和EMD-GRU模型的負(fù)荷預(yù)測(cè)結(jié)果對(duì)比，如圖5(b)所示.由圖5(b)可知:從整體上看，基于EMD-GRU模型的預(yù)測(cè)曲線不僅在波峰波谷區(qū)域與實(shí)際變化曲線更貼近，在其他區(qū)域也與實(shí)際的變化趨勢(shì)更吻合，其原因是序列的非平穩(wěn)性導(dǎo)致GRU網(wǎng)絡(luò)模型不能很好地預(yù)測(cè)出序列的變化趨勢(shì)，而EMD重構(gòu)序列改善了這一問題，使得預(yù)測(cè)精度更好.

EMD-GRU模型與EMD-GRU-Attention混合預(yù)測(cè)模型的負(fù)荷預(yù)測(cè)結(jié)果對(duì)比，如圖5(c)所示.由圖5(c)可知：在大多數(shù)波峰和波谷區(qū)域，EMD-GRU-Attention混合預(yù)測(cè)模型的預(yù)測(cè)精度更高，這體現(xiàn)了Attention機(jī)制突出關(guān)鍵特征的能力，使得在預(yù)測(cè)轉(zhuǎn)折點(diǎn)時(shí)更能擬合真實(shí)曲線.

4 結(jié)論

提出一種基于Attention機(jī)制的EMD-GRU混合預(yù)測(cè)模型用于短期電力負(fù)荷預(yù)測(cè).先通過(guò)EMD將負(fù)荷數(shù)據(jù)重構(gòu)；再利用GRU抽取各分量及組合分量中潛藏特征；引入Attention機(jī)制突出關(guān)鍵特征，對(duì)各分量及組合分量預(yù)測(cè)；最后，疊加各分量預(yù)測(cè)值得到最終預(yù)測(cè)結(jié)果.通過(guò)算例仿真及對(duì)比，得到以下5個(gè)結(jié)論.

1)負(fù)荷序列作為輸入，經(jīng)EMD降低序列的非平穩(wěn)性及復(fù)雜度，便于模型預(yù)測(cè).

2)將EMD處理后的向量作為GRU網(wǎng)絡(luò)模型的輸入，通過(guò)GRU網(wǎng)絡(luò)模型，能較好地分析負(fù)荷數(shù)據(jù)的時(shí)序性和復(fù)雜非線性關(guān)系.

3)結(jié)合Attention機(jī)制，計(jì)算GRU處理后的特征向量，給予不同權(quán)值，突出關(guān)鍵特征，進(jìn)一步提高負(fù)荷預(yù)測(cè)精度.

4)EMD-GRU-Attention混合模型結(jié)合了EMD，GRU網(wǎng)絡(luò)和Attention機(jī)制的特點(diǎn)，實(shí)驗(yàn)結(jié)果表明：該模型可明顯提升短期電力負(fù)荷預(yù)測(cè)精度.

5)EMD-GRU-Attention混合預(yù)測(cè)模型提高了預(yù)測(cè)精度，但模型訓(xùn)練時(shí)，時(shí)間復(fù)雜度也隨之提高，后續(xù)可對(duì)這部分進(jìn)行改進(jìn).