基于雙重注意力機(jī)制和GRU 網(wǎng)絡(luò)的短期負(fù)荷預(yù)測(cè)模型

李 曉，盧先領(lǐng)

（1.江南大學(xué) 輕工過程先進(jìn)控制教育部重點(diǎn)實(shí)驗(yàn)室，江蘇 無錫 214122；2.江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無錫 214122）

0 概述

隨著國家大力推進(jìn)泛在電力物聯(lián)網(wǎng)的建設(shè)，電力系統(tǒng)已向高智能、信息化方向發(fā)展。電力負(fù)荷預(yù)測(cè)是其中重要的一環(huán)，其結(jié)果將對(duì)電力系統(tǒng)的部署、規(guī)劃和運(yùn)行產(chǎn)生很大的影響。此外，準(zhǔn)確預(yù)測(cè)電力負(fù)荷不僅可以保證電力系統(tǒng)的安全，而且也能保證供電企業(yè)對(duì)供電項(xiàng)目進(jìn)行實(shí)時(shí)調(diào)度［1］。

短期電力負(fù)荷預(yù)測(cè)主要對(duì)電力系統(tǒng)未來幾小時(shí)到一天的用電量進(jìn)行預(yù)測(cè)，電力負(fù)荷的隨機(jī)性和非線性，使得預(yù)測(cè)難度提升。同時(shí)，受實(shí)時(shí)變化的環(huán)境因素如溫度、降雨、濕度、光照等以及用戶主觀的影響，短期負(fù)荷預(yù)測(cè)的復(fù)雜程度進(jìn)一步增加，精確的短期負(fù)荷預(yù)測(cè)成為一項(xiàng)極具挑戰(zhàn)的任務(wù)［2］。

短期負(fù)荷預(yù)測(cè)有較多方法，其中傳統(tǒng)的預(yù)測(cè)方法有時(shí)間序列法［3-4］、回歸分析法［5］等。這些方法的實(shí)現(xiàn)原理簡單、運(yùn)算速度快，適合處理結(jié)構(gòu)簡單、規(guī)模小的數(shù)據(jù)集。但隨著基礎(chǔ)設(shè)施不斷完善，用戶規(guī)模不斷擴(kuò)大，電力數(shù)據(jù)呈現(xiàn)爆發(fā)式增長。同時(shí)，由于其電力數(shù)據(jù)非線性、適應(yīng)性差的特點(diǎn)，傳統(tǒng)方法逐漸被淘汰，而機(jī)器學(xué)習(xí)方法因其強(qiáng)大的適應(yīng)性和非線性處理能力得到應(yīng)用。支持向量回歸（Support Vector Regression，SVR）［6-8］、神經(jīng)網(wǎng)絡(luò)模型［9］展現(xiàn)出不錯(cuò)的效果。文獻(xiàn)［10］引入灰色關(guān)聯(lián)分析改善樣本篩選，提高數(shù)據(jù)利用率，并利用混沌粒子群算法優(yōu)化完善最小二乘支持向量機(jī)的參數(shù)選擇，從而能更好地進(jìn)行負(fù)荷預(yù)測(cè)。文獻(xiàn)［11］根據(jù)負(fù)荷參考指標(biāo)的非線性提出核主成分分析來改進(jìn)極限學(xué)習(xí)機(jī)（ELM）神經(jīng)網(wǎng)絡(luò)，降低了輸入維數(shù)，有效地提高了預(yù)測(cè)精度。文獻(xiàn)［12］提出一種基于最大偏差相似性準(zhǔn)則的BP 神經(jīng)網(wǎng)絡(luò)短期電力負(fù)荷預(yù)測(cè)算法，通過改進(jìn)最大偏差相似性準(zhǔn)則，在最大偏差相似性準(zhǔn)則算法聚類后的類中心負(fù)荷特征的距離基礎(chǔ)上，使用預(yù)測(cè)日的負(fù)荷特征向量來確定預(yù)測(cè)日的相似日類別。上述方法將影響居民用電情況參量的相關(guān)性納入考慮范圍，突出了重要特征。但由于所采用的關(guān)聯(lián)規(guī)則方法依賴專家經(jīng)驗(yàn)，導(dǎo)致特征選取具有一定的主觀性，且無法根據(jù)實(shí)際情況做出自適應(yīng)的調(diào)整，預(yù)測(cè)時(shí)精度呈現(xiàn)不穩(wěn)定性。

深度學(xué)習(xí)算法在處理大數(shù)據(jù)量問題時(shí)具有良好的特征提取能力，而短期負(fù)荷預(yù)測(cè)需要從復(fù)雜多變的歷史負(fù)荷數(shù)據(jù)中提取典型特征，才能做出準(zhǔn)確的負(fù)荷預(yù)測(cè)，所以深度學(xué)習(xí)方法被廣泛應(yīng)用到短期負(fù)荷預(yù)測(cè)中。文獻(xiàn)［13］將深度殘差網(wǎng)絡(luò)應(yīng)用到負(fù)荷預(yù)測(cè)中，具有很好的泛化能力，但同樣忽視了時(shí)序性的研究。通過研究歷史負(fù)荷數(shù)據(jù)得知，負(fù)荷有明顯的周期性規(guī)律，因此在研究短期負(fù)荷問題時(shí)要考慮其時(shí)序性。深度學(xué)習(xí)模型中的LSTM 網(wǎng)絡(luò)、GRU 網(wǎng)絡(luò)能記憶相關(guān)歷史信息，從而學(xué)習(xí)負(fù)荷的變化情況。文獻(xiàn)［14］提出一種Seq2seq 模型，通過LSTM 網(wǎng)絡(luò)構(gòu)建的編解碼器分析用戶負(fù)荷數(shù)據(jù)的周期性波動(dòng)特征，建立負(fù)荷數(shù)據(jù)的相關(guān)性并進(jìn)行預(yù)測(cè)。文獻(xiàn)［15］通過隔離森林算法挖掘清理異常歷史負(fù)荷數(shù)據(jù)，利用LSTM 網(wǎng)絡(luò)學(xué)習(xí)負(fù)荷的時(shí)序特性并進(jìn)行預(yù)測(cè)。文獻(xiàn)［16］通過卷積神經(jīng)網(wǎng)絡(luò)CNN 提取負(fù)荷特征，并利用LSTM 網(wǎng)絡(luò)學(xué)習(xí)負(fù)荷的長短期依賴關(guān)系。相較于手動(dòng)提取特征，該方法的提取結(jié)果更全面且誤差更小。文獻(xiàn)［17］引入循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）以捕獲在時(shí)間上距離很遠(yuǎn)數(shù)據(jù)間的相關(guān)性，并利用Zoneout 技術(shù)解決梯度消失問題，大幅減少待訓(xùn)練的網(wǎng)絡(luò)參數(shù)。文獻(xiàn)［18］提出一種雙向GRU 網(wǎng)絡(luò)預(yù)測(cè)模型，通過分析過去和未來的負(fù)荷信息學(xué)習(xí)其周期性和非線性。上述方法雖然能很好地處理負(fù)荷在時(shí)序上的相關(guān)性問題，但忽視了實(shí)際運(yùn)行中各輸入特征的關(guān)聯(lián)關(guān)系，存在片面性。

深度學(xué)習(xí)中的注意力機(jī)制［19］是根據(jù)人們?cè)谔幚砣謭D像時(shí)，自主增強(qiáng)焦點(diǎn)區(qū)域信息通過抑制其他冗余區(qū)域表達(dá)的選擇性來反映全局信息，而衍生出的以從眾多信息中自主選擇對(duì)當(dāng)前任務(wù)更關(guān)鍵信息的一種信息處理方式［20］?；谏鲜鲈?，針對(duì)短期負(fù)荷預(yù)測(cè)深受實(shí)時(shí)變化的環(huán)境因素與居民自身主觀因素影響的問題，設(shè)計(jì)出特征注意力機(jī)制和時(shí)序注意力機(jī)制，利用特征注意力機(jī)制來分析不同輸入?yún)⒘繉?duì)負(fù)荷的重要程度，挖掘出關(guān)聯(lián)關(guān)系。同時(shí)，利用時(shí)序注意力機(jī)制分析各歷史時(shí)刻的負(fù)荷對(duì)待預(yù)測(cè)時(shí)刻負(fù)荷的重要程度，來選擇關(guān)鍵時(shí)間點(diǎn)數(shù)據(jù)，從而提高預(yù)測(cè)精度。

本文提出一種基于GRU 網(wǎng)絡(luò)的雙重注意力機(jī)制，利用特征信息的關(guān)聯(lián)性和時(shí)序信息依賴性提升負(fù)荷預(yù)測(cè)的準(zhǔn)確率。使各時(shí)刻的原始輸入信息結(jié)合前一時(shí)刻GRU 網(wǎng)絡(luò)隱藏的狀態(tài)信息，并將其輸入到特征注意力機(jī)制中，分析得到各輸入特征的影響力權(quán)重，加權(quán)后得到優(yōu)化后的輸入數(shù)據(jù)。在此基礎(chǔ)上，使用GRU 網(wǎng)絡(luò)學(xué)習(xí)特征，將當(dāng)前時(shí)刻網(wǎng)絡(luò)的隱藏狀態(tài)輸出結(jié)合各歷史時(shí)刻的隱藏狀態(tài)輸出，并通過時(shí)序注意力機(jī)制，分析得到各歷史時(shí)刻隱藏狀態(tài)的影響力權(quán)重，加權(quán)后得到當(dāng)前時(shí)刻最終隱藏狀態(tài)的輸出，最終通過全連接輸出層得到預(yù)測(cè)結(jié)果。

1 深度學(xué)習(xí)模型原理

1.1 GRU 網(wǎng)絡(luò)

通過研究歷史負(fù)荷數(shù)據(jù)得知，負(fù)荷有明顯的周期性規(guī)律，因此在研究負(fù)荷問題時(shí)要考慮其時(shí)序性。深度學(xué)習(xí)模型中LSTM 網(wǎng)絡(luò)及GRU 網(wǎng)絡(luò)能記憶相關(guān)歷史信息，從而學(xué)習(xí)負(fù)荷變化情況。LSTM 網(wǎng)絡(luò)被廣泛使用，能夠分析時(shí)間序列數(shù)據(jù)及捕獲長期依賴關(guān)系。而GRU 網(wǎng)絡(luò)由LSTM 網(wǎng)絡(luò)改進(jìn)而來，其通過減少及合并門結(jié)構(gòu)單元優(yōu)化LSTM 復(fù)雜的內(nèi)部結(jié)構(gòu)，從而在保證精度的前提下提高網(wǎng)絡(luò)的訓(xùn)練速度［21］。LSTM 包含輸入門、遺忘門和輸出門，而GRU則只包含更新門和重置門，后者減少了參數(shù)的訓(xùn)練。更新門控制前一時(shí)刻狀態(tài)信息保留到當(dāng)前狀態(tài)中的程度，值越大表示前一時(shí)刻的狀態(tài)信息保留越多。重置門控制當(dāng)前信息與先前信息結(jié)合的程度，值越小說明忽略的信息越多。GRU 網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 GRU 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of GRU network

GFEU 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)單據(jù)關(guān)系如式（1）～式（4）所示：

其中：zt為更新門；rt為重置門；Xt為當(dāng)前輸入為輸入和過去隱層狀態(tài)的匯總；ht為隱藏層輸出；Wz、Wr、Wh～均為可訓(xùn)練參數(shù)矩陣。

1.2 注意力機(jī)制

注意力機(jī)制是一種模擬人腦注意力的模型，借鑒了人腦在某個(gè)特定時(shí)刻對(duì)事物的注意力會(huì)集中到特定的地方，而減少甚至忽略對(duì)其他部分注意力的特點(diǎn)。注意力通過對(duì)模型的輸入特征賦予不同的權(quán)重，突出更關(guān)鍵的影響因素，幫助模型做出更加準(zhǔn)確的判斷。

在特征關(guān)聯(lián)分析方面，利用GRU 網(wǎng)絡(luò)分析前一時(shí)刻隱藏狀態(tài)輸出和當(dāng)前時(shí)刻輸入特征，通過多層感知機(jī)構(gòu)建的注意力機(jī)制分析得出注意力權(quán)重，來反映當(dāng)前各輸入特征對(duì)待預(yù)測(cè)信息的重要程度，提高預(yù)測(cè)模型的學(xué)習(xí)效果。

目前國際形勢(shì)復(fù)雜多變，中美貿(mào)易糾紛不斷升級(jí)，新形勢(shì)下，國內(nèi)地板行業(yè)面臨木材原料供應(yīng)緊張，出口市場(chǎng)受阻，國內(nèi)競(jìng)爭(zhēng)日益激烈的局面;但總體來看，木地板行業(yè)發(fā)展平穩(wěn)，優(yōu)質(zhì)環(huán)保地板需求增長，品牌企業(yè)業(yè)績?cè)鲩L顯著，消費(fèi)集中向大品牌、個(gè)性化品牌傾斜。

在時(shí)序分析方面，注意力機(jī)制通過概率分配方式對(duì)GRU 網(wǎng)絡(luò)各歷史時(shí)刻進(jìn)行重要性分析，突出關(guān)鍵時(shí)刻輸出的比重，幫助模型做出更準(zhǔn)確的預(yù)測(cè)。

基于上述理論，利用特征注意力機(jī)制來分析不同輸入?yún)⒘繉?duì)負(fù)荷的重要程度，挖掘出其關(guān)聯(lián)關(guān)系。同時(shí)，利用時(shí)序注意力機(jī)制分析各歷史時(shí)刻的負(fù)荷對(duì)預(yù)測(cè)時(shí)刻負(fù)荷的重要程度，來選擇關(guān)鍵時(shí)間點(diǎn)數(shù)據(jù)，從而提高預(yù)測(cè)精度。

2 基于雙重注意力機(jī)制和GRU 的負(fù)荷預(yù)測(cè)模型

2.1 特征注意力機(jī)制

影響大眾電力消費(fèi)行為的因素有很多，如溫度、降雨、濕度、光照、節(jié)假日等。為探索相關(guān)因素對(duì)人們電力消耗的關(guān)聯(lián)性高低程度，引入如圖2 所示的特征注意力機(jī)制，并采用多層感知機(jī)的方法量化各特征影響力的權(quán)重。

圖2 特征注意力機(jī)制Fig.2 Feature attention mechanism

將特征時(shí)間序列前一時(shí)刻GRU 網(wǎng)絡(luò)的隱藏狀態(tài)ht-1和當(dāng)前時(shí)刻輸入特征作為特征注意力機(jī)制的輸入，通過式（5）對(duì)當(dāng)前時(shí)刻各特征進(jìn)行注意權(quán)重的計(jì)算后進(jìn)行式（6）的歸一化處理，并根據(jù)注意力權(quán)重增強(qiáng)或削弱相關(guān)輸入信息的表達(dá)，將當(dāng)前時(shí)刻得到的權(quán)重與對(duì)應(yīng)特征相乘，輸出Xt，從而自適應(yīng)優(yōu)化相關(guān)特征的影響力。

其中：Ve∈?T、We∈?T×q、Ue∈?T×T均為多層感知機(jī)需要學(xué)習(xí)的神經(jīng)元權(quán)重；be∈?T為偏置參數(shù)；q為編碼器GRU 網(wǎng)絡(luò)最后一層隱藏層神經(jīng)元數(shù)量。特征權(quán)重和優(yōu)化的輸入信息的計(jì)算公式如式（6）和式（7）所示：

通過特征注意力機(jī)制學(xué)習(xí)當(dāng)前時(shí)刻各輸入特征與待預(yù)測(cè)負(fù)荷信息的相關(guān)性，并自適應(yīng)處理原始輸入的特征，以強(qiáng)化相關(guān)特征影響力及弱化不相關(guān)特征。

2.2 時(shí)序注意力機(jī)制

居民當(dāng)前用電負(fù)荷情況受歷史狀態(tài)影響較大，且不同時(shí)刻的負(fù)荷情況影響力不同。為研究每一歷史時(shí)刻狀態(tài)信息對(duì)當(dāng)前預(yù)測(cè)結(jié)果的影響程度，引入如圖3 所示的時(shí)序注意力機(jī)制至GRU 網(wǎng)絡(luò)，以自適應(yīng)處理歷史狀態(tài)信息，并強(qiáng)化相關(guān)時(shí)刻狀態(tài)信息的影響力。

圖3 時(shí)序注意力機(jī)制Fig.3 Temporal attention mechanism

以包含各歷史時(shí)刻信息的最后一層隱層狀態(tài)作為時(shí)序注意力機(jī)制的輸入，分析歷史狀態(tài)與當(dāng)前狀態(tài)的關(guān)聯(lián)性，并賦予影響權(quán)重，計(jì)算公式如式（8）～式（11）所示：

2.3 基于雙重注意力機(jī)制的GRU 模型

雙重注意力機(jī)制的GRU 模型包括輸入向量、特征注意力層、3 層GRU 網(wǎng)絡(luò)、時(shí)序注意力層、全連接層輸出。輸入向量結(jié)合前一時(shí)刻GRU 網(wǎng)絡(luò)的隱藏狀態(tài)，經(jīng)過特征注意力層計(jì)算得到各特征量對(duì)當(dāng)前預(yù)測(cè)情況的影響權(quán)重，并得到修正后的輸入特征。經(jīng)過兩層GRU 網(wǎng)絡(luò)學(xué)習(xí)特征，再通過時(shí)序注意力層計(jì)算出各歷史時(shí)刻輸出信息的影響權(quán)重，得到改進(jìn)后的當(dāng)前時(shí)刻隱層狀態(tài)輸出，最后輸入到全連接層得到最終預(yù)測(cè)結(jié)果，結(jié)果如圖4 所示。

圖4 基于雙重注意力機(jī)制的GRU 網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.4 Structure of GRU network model based on dualstage attention mechanism

將原始輸入信息和前一時(shí)刻GRU 網(wǎng)絡(luò)的輸出通過注意力機(jī)制進(jìn)行計(jì)算，并得出當(dāng)前時(shí)刻輸入的特征對(duì)本次預(yù)測(cè)的權(quán)重，賦予原始輸入信息對(duì)應(yīng)權(quán)重，得到新的輸入信息。此外，GRU 網(wǎng)絡(luò)隨著層數(shù)的增加，非線性擬合能力也不斷提高，學(xué)習(xí)效果越好。但考慮到訓(xùn)練時(shí)間的問題，層數(shù)的選擇也要適中。實(shí)驗(yàn)設(shè)置3 層GRU 網(wǎng)絡(luò)：第1 層設(shè)置128 個(gè)神經(jīng)元，以學(xué)習(xí)特征；第2 層設(shè)置64 個(gè)神經(jīng)元，以減少冗余數(shù)據(jù)的干擾；第3 層設(shè)置29 個(gè)神經(jīng)元。時(shí)間步長為24，學(xué)習(xí)率為0.001，訓(xùn)練周期為1 000 次。另外，結(jié)合當(dāng)前時(shí)刻網(wǎng)絡(luò)輸出與歷史輸出，并通過注意力機(jī)制分析所輸入特征對(duì)預(yù)測(cè)的影響權(quán)重，突出關(guān)鍵時(shí)刻的影響因素，得到新的輸出向量。最后通過全連接層得到預(yù)測(cè)結(jié)果。

3 算例分析

3.1 數(shù)據(jù)集

本文采用3 個(gè)真實(shí)的電力負(fù)荷數(shù)據(jù)集驗(yàn)證模型性能，分別為美國紐約電力市場(chǎng)（2018—2020 年）數(shù)據(jù)、印度旁遮普省電力消耗（2019—2020 年）數(shù)據(jù)、美國德克薩斯州電力可靠性委員會(huì)（2006—2012 年）數(shù)據(jù)。包括：24 點(diǎn)負(fù)荷數(shù)據(jù)，溫度，濕度，光強(qiáng)，降雨量，節(jié)假日情況（工作日為1，休息日為0），并間隔1 h 采集1 次數(shù)據(jù)。為分析本文模型的效果，與SVR、KPCA-ELM、DBN、GRU、Attention-GRU、CNNLSTM、Attention-CNN-GRU 模型進(jìn)行對(duì)比。SVR 模型采用徑向基核函數(shù)（RBF），懲罰因子為1 000；KPCA-ELM模型設(shè)置了5 個(gè)主成分，ELM 模型為單隱藏層結(jié)果；DBN 模型采用了神經(jīng)元個(gè)數(shù)均為25 的3 層隱藏層結(jié)構(gòu)；GRU 模型采用了神經(jīng)元個(gè)數(shù)均為29 的3 層隱藏層結(jié)構(gòu)，時(shí)間步長為24，學(xué)習(xí)率為0.001，訓(xùn)練周期1 000 次。單注意力機(jī)制模型的GRU 網(wǎng)絡(luò)采用了神經(jīng)元個(gè)數(shù)均為24 的3層隱藏結(jié)構(gòu)，時(shí)間步長為24，訓(xùn)練迭代次數(shù)為1 000次，學(xué)習(xí)率為0.001；Attention-CNN-GRU模型由2個(gè)卷積層、2個(gè)池化層和全連接層組成CNN框架。為保證實(shí)驗(yàn)的有效性和可靠性，所有方法的實(shí)驗(yàn)條件均相同。

3.2 評(píng)價(jià)指標(biāo)

誤差指標(biāo)采用平均絕對(duì)百分比誤差（Mean Absolute Percentage Error，MAPE）和均方根誤差（Root Mean Square Error，RMSE），計(jì)算公式如下：

其中：n為預(yù)測(cè)點(diǎn)個(gè)數(shù)；li表示第i點(diǎn)的真實(shí)值表示第i點(diǎn)的預(yù)測(cè)值。

3.3 實(shí)驗(yàn)結(jié)果與分析

3.3.1 Mendeley 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果對(duì)比

本文將2018—2019 年的美國紐約電力市場(chǎng)電力數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，將2020 年的數(shù)據(jù)作為測(cè)試數(shù)據(jù)。各模型預(yù)測(cè)誤差如表1 所示。

表1 不同模型在Mendeley 數(shù)據(jù)集上的預(yù)測(cè)精度比較Table 1 Comparison of prediction accuracy among different models on Mendeley data sets

實(shí)驗(yàn)結(jié)果表明，本文模型的誤差為3.82%，與SVR、KPCA-ELM、DBN、GRU、Attention-GRU、CNN-LSTM、Attention-CNN-GRU 模型相比，分別降低了2.65、1.32、2.25、1.66、1.29、1.05、0.65 個(gè)百分點(diǎn)。RMSE 模型的誤差也小于其他模型，可見本文模型比傳統(tǒng)機(jī)器學(xué)習(xí)、深度學(xué)習(xí)方法有更好的預(yù)測(cè)效果。此外，相比于傳統(tǒng)關(guān)聯(lián)分析與神經(jīng)網(wǎng)絡(luò)相結(jié)合的模型，本文模型取得的預(yù)測(cè)效果更好。

3.3.2 Kaggle 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果對(duì)比

本文將印度旁遮普省電力消耗（2019—2020 年）數(shù)據(jù)集前18 個(gè)月作為訓(xùn)練數(shù)據(jù)，后6 個(gè)月作為測(cè)試數(shù)據(jù)。各模型預(yù)測(cè)誤差如表2 所示。

表2 不同模型在Kaggle 數(shù)據(jù)集上的預(yù)測(cè)精度比較Table 2 Comparison of prediction accuracy among different models on Kaggle data sets

實(shí)驗(yàn)結(jié)果顯示，本文模型的誤差為3.17%，與SVR、KPCA-ELM、DBN、GRU、Attention-GRU、CNN-LSTM、Attention-CNN-GRU 模型相比，分別降低了2.67、1.44、2.04、1.51、0.99、0.69、0.36 個(gè)百分點(diǎn)，充分證明了本文模型的準(zhǔn)確性。

為更直觀地描述本文模型的預(yù)測(cè)效果，圖5 給出了各模型針對(duì)印度旁遮普省某日上午電力負(fù)荷數(shù)據(jù)的預(yù)測(cè)曲線。由圖5 可知，各模型均能預(yù)測(cè)曲線的走勢(shì)，總體上誤差相差不大，但隨著時(shí)間的推移，到負(fù)荷最低點(diǎn)時(shí)，各模型間的差異開始凸顯。傳統(tǒng)模型SVR、GRU、DBN 的誤差都較大，Attention-GRU、CNN-LSTM、KPCA-ELM 模型的誤差略優(yōu)。雖然Attention-CNNGRU 模型的效果很好，但本文模型的誤差更小，準(zhǔn)確率更高。綜合分析，本文模型的性能最優(yōu)。

圖5 負(fù)荷曲線1Fig.5 Curve of load 1

3.3.3 ERCOT 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果對(duì)比

本文將2006—2009 年美國德克薩斯州電力可靠性委員會(huì)電力數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，2010—2012 年的數(shù)據(jù)作為測(cè)試數(shù)據(jù)。各模型的預(yù)測(cè)誤差如表3 所示。

表3 不同模型在ERCOT 數(shù)據(jù)集上的預(yù)測(cè)精度比較Table 3 Comparison of prediction accuracy among different models on ERCOT data sets

實(shí)驗(yàn)結(jié)果表明，本文模型的預(yù)測(cè)精度達(dá)到97.33%，均方根誤差僅為107.754 kW，與SVR、KPCA-ELM、DBN、GRU、Attention-GRU、CNN-LSTM、Attention-CNN-GRU 模型相比，平均絕對(duì)百分比誤差分別減少了2.1、0.65、1.51、0.95、0.85、0.48、0.22 個(gè)百分點(diǎn)，均方根誤差分別降低了143.377 kW、120.677 kW、137.093 kW、129.71 kW、122.717 kW、81.683 kW、35.424 kW。綜合分析，本文模型在MAPE 和RMSE 指標(biāo)上均有顯著減少，表明該模型的預(yù)測(cè)性能優(yōu)于其他方法。

為驗(yàn)證特征注意力機(jī)制自適應(yīng)挖掘各特征參量的關(guān)聯(lián)性，對(duì)訓(xùn)練完成的模型進(jìn)行實(shí)驗(yàn)，提取某日24 h 的特征分析情況。關(guān)系熱力圖如圖6 所示，其中每個(gè)方塊的顏色表征該特征與待預(yù)測(cè)負(fù)荷的相關(guān)性分?jǐn)?shù)，每行所有方塊表征的相關(guān)性分?jǐn)?shù)和為1，方塊的顏色代表相關(guān)性分?jǐn)?shù)的高低，顏色越淺，對(duì)應(yīng)的特征與待測(cè)數(shù)據(jù)越相關(guān)，對(duì)待測(cè)數(shù)據(jù)影響力越大。

圖6 負(fù)荷關(guān)聯(lián)特征熱力圖Fig.6 Association heat map of load

由圖6 可知，節(jié)假日所對(duì)應(yīng)的熱力圖顏色很淡，表明節(jié)假日對(duì)用戶負(fù)荷情況影響很大。在溫度所對(duì)應(yīng)的熱度圖中，在午間時(shí)分顏色越來越淡，可知午間溫度高時(shí)對(duì)負(fù)荷的影響也很大。而濕度對(duì)負(fù)荷的影響不大，只在早晨和夜晚時(shí)分略有影響。光強(qiáng)對(duì)負(fù)荷的影響主要在正午光照最強(qiáng)時(shí)，天氣晴朗時(shí)降雨減少，對(duì)負(fù)荷的影響也變小?？傮w關(guān)聯(lián)關(guān)系較符合居民用電規(guī)律。

為更直觀地表征本文模型的準(zhǔn)確性，使用各模型對(duì)美國德克薩斯州電力可靠性委員會(huì)某日的數(shù)據(jù)集進(jìn)行預(yù)測(cè)，結(jié)果如圖7 所示。由圖7 可知，各模型均能預(yù)測(cè)曲線的走勢(shì)，誤差相差不大，但到負(fù)荷最低點(diǎn)時(shí)，誤差開始增大。傳統(tǒng)模型SVR、GRU、DBN 誤差均較大，Attention-GRU、CNN-LSTM、KPCA-ELM 模型略優(yōu)，雖然Attention-CNN-GRU 模型的效果也很好，但本文所提模型誤差更小，準(zhǔn)確率更高。在最高負(fù)荷點(diǎn)時(shí)，各模型的誤差也有所增加，但本文模型預(yù)測(cè)精度相對(duì)更高。

圖7 負(fù)荷曲線2Fig.7 Curve of load 2

4 結(jié)束語

針對(duì)電網(wǎng)負(fù)荷影響因素不穩(wěn)定以及遞歸神經(jīng)網(wǎng)絡(luò)捕獲負(fù)荷數(shù)據(jù)的長期記憶能力差導(dǎo)致的預(yù)測(cè)精度下降問題，本文提出一種基于雙重注意力機(jī)制和GRU 網(wǎng)絡(luò)的短期負(fù)荷預(yù)測(cè)模型。針對(duì)多變的輸入特征，通過特征注意力機(jī)制分析相關(guān)特征的重要性，從而優(yōu)化輸入特征。同時(shí)，使用時(shí)序注意力機(jī)制，并結(jié)合歷史信息，分析負(fù)荷的時(shí)序特性，挖掘關(guān)鍵歷史信息，以優(yōu)化模型的輸出，提高模型預(yù)測(cè)準(zhǔn)確度。實(shí)驗(yàn)結(jié)果表明，本文模型與SVR、KPCA-ELM、DBN、GRU、Attention-GRU、CNN-LSTM、Attention-CNN-GRU 模型相比，預(yù)測(cè)精度分別提高了2.47、1.14、1.93、1.37、1.04、0.74、0.41 個(gè)百分點(diǎn)。下一步將引入特征選擇算法以尋找更優(yōu)的參考特征，并通過加深GRU 網(wǎng)絡(luò)隱藏層的深度，優(yōu)化注意力模型，提高關(guān)聯(lián)分析能力與短期負(fù)荷預(yù)測(cè)精度。