電量預(yù)測(cè)中的多分辨時(shí)序神經(jīng)網(wǎng)絡(luò)模型研究

石少青，鄭楷洪，周尚禮，楊勁鋒，張英楠，陳敏娜，張 健

(1．中國(guó)南方電網(wǎng)有限責(zé)任公司，廣東 廣州 510663; 2．南方電網(wǎng)數(shù)字電網(wǎng)研究院有限公司，廣東 廣州 510663；3.中國(guó)礦業(yè)大學(xué)，江蘇 徐州 221116)

電能穩(wěn)定供給是社會(huì)經(jīng)濟(jì)發(fā)展和人民正常生活的必要保障，精確的電量預(yù)測(cè)可以為電能生產(chǎn)和供電調(diào)度提供可靠的指導(dǎo)，提升電力系統(tǒng)的供電質(zhì)量。區(qū)域用電量數(shù)據(jù)的來源不同且不同來源的數(shù)據(jù)具有不同的統(tǒng)計(jì)特性，導(dǎo)致用電量數(shù)據(jù)在總體上呈現(xiàn)出一定周期性和波動(dòng)性，為用電量預(yù)測(cè)帶來了挑戰(zhàn)。圖1為南方電網(wǎng)某區(qū)域6、7月份的總電量和部分行業(yè)用電量。

圖1 南方電網(wǎng)某區(qū)域用電量變化曲線

從圖1可以看出，區(qū)域用電量在時(shí)間尺度上呈明顯的周期性，其中工作日以工業(yè)用電和商業(yè)辦公用電為主，用電量除了部分波動(dòng)外相對(duì)平穩(wěn)；周末或節(jié)假日由于部分行業(yè)的用電量下降導(dǎo)致該時(shí)段用電量下降。這說明時(shí)間是電量預(yù)測(cè)中重要的影響因素，區(qū)域用電量和行業(yè)用電量在呈現(xiàn)出部分波動(dòng)性的同時(shí)具有近似周期性，但是不同行業(yè)之間又表現(xiàn)出不同的統(tǒng)計(jì)特性。為了進(jìn)行自動(dòng)、精確的用電量預(yù)測(cè)，多種預(yù)測(cè)模型被應(yīng)用到該領(lǐng)域中，傳統(tǒng)的電量預(yù)測(cè)模型包括回歸分析[1]、馬爾可夫模型[2]、支持向量回歸機(jī)[3]、時(shí)間序列分析模型[4-5]等。隨著人工智能技術(shù)的發(fā)展，孿生(多生)支持向量回歸機(jī)[6]、神經(jīng)網(wǎng)絡(luò)[7-9]等機(jī)器學(xué)習(xí)模型被應(yīng)用于電量數(shù)據(jù)的處理中，其中長(zhǎng)短時(shí)記憶(long short-term memory，LSTM)網(wǎng)絡(luò)應(yīng)用尤為廣泛[10-13]。文獻(xiàn)[11-12]將LSTM應(yīng)用到短期電量、負(fù)荷預(yù)測(cè)中。文獻(xiàn)[14]設(shè)計(jì)了多尺度LSTM，從時(shí)域出發(fā)，利用不同的時(shí)間步長(zhǎng)提取數(shù)據(jù)中時(shí)序特征。文獻(xiàn)[15]從時(shí)頻分析的角度出發(fā)，將小波分析理論引入到時(shí)序數(shù)據(jù)的處理中，提取時(shí)頻特征預(yù)測(cè)用電量，但是小波函數(shù)的構(gòu)建比較復(fù)雜且使用同類小波擬合不同統(tǒng)計(jì)特性的數(shù)據(jù)時(shí)需要做更深尺度的分解，這會(huì)帶來額外的計(jì)算負(fù)擔(dān)并影響預(yù)測(cè)的準(zhǔn)確性。文獻(xiàn)[16]從信號(hào)分解的角度對(duì)用電量序列數(shù)據(jù)進(jìn)行分解后從不同時(shí)間尺度進(jìn)行預(yù)測(cè)。然而，由于用電量存在一定的波動(dòng)性，且不同行業(yè)自身周期性的時(shí)間尺度不同，使得行業(yè)用電量的近似周期性體現(xiàn)在不同的時(shí)間尺度上，因此傳統(tǒng)的用電量預(yù)測(cè)模型難以在擬合此類用電量數(shù)據(jù)周期性的同時(shí)捕捉數(shù)據(jù)的波動(dòng)性。

為緩解此問題，本研究提出組合了集成經(jīng)驗(yàn)?zāi)B(tài)分解(ensemble empirical mode decomposition，EEMD)方法、傅里葉變換和小波分析方法的多分辨時(shí)序神經(jīng)網(wǎng)絡(luò)(multiresolution time-sequence neural net，MTNN)模型，使用EEMD從不同的時(shí)間分辨率上建模用電量數(shù)據(jù)的周期性特征，根據(jù)傅里葉變換和小波分析從頻域和不同的時(shí)域分辨率上建模低階IMF分量的周期性特征和波動(dòng)性特征，然后組合IMF分量預(yù)測(cè)值得到預(yù)測(cè)結(jié)果。首先，使用EEMD方法從不同周期時(shí)長(zhǎng)的角度對(duì)用電量序列數(shù)據(jù)進(jìn)行分解，得到不同時(shí)間尺度下的本征模態(tài)函數(shù)(intrinsic mode function，IMF)分量。然后，對(duì)于高階IMF分量和殘差項(xiàng)，由于周期的時(shí)間尺度較大，比較容易預(yù)測(cè)其變化趨勢(shì)，故使用LSTM模型來預(yù)測(cè)高階IMF分量和殘差項(xiàng)。其次，對(duì)于低階IMF分量，考慮到其周期的時(shí)間尺度小，波動(dòng)性更顯著，故設(shè)計(jì)一種多階時(shí)頻注意力神經(jīng)網(wǎng)絡(luò)(multi-order time-frequency attention neural net，MTFANN)作為MTNN預(yù)測(cè)低階IMF分量的子模型，該網(wǎng)絡(luò)包含一種融合了小波分析和傅里葉變換的時(shí)頻神經(jīng)注意力神經(jīng)網(wǎng)絡(luò)和一種多階特征提取方法，根據(jù)IMF低頻分量及其時(shí)頻變換特征來建模低階IMF分量的周期性和波動(dòng)性。最后，為了驗(yàn)證MTNN模型的有效性，本研究在人造的數(shù)據(jù)集上驗(yàn)證了MTNN能夠在擬合數(shù)據(jù)周期性的同時(shí)捕捉數(shù)據(jù)的波動(dòng)變化，然后在南方電網(wǎng)某區(qū)域7個(gè)地區(qū)的用電量數(shù)據(jù)集上驗(yàn)證了MTNN在用電量預(yù)測(cè)任務(wù)中的有效性。

1 小波分析、傅里葉變換和EEMD分解

1.1 小波分析

小波分析是一種多分辨分析方法，通過對(duì)信號(hào)進(jìn)行多尺度分解，從不同分辨率上對(duì)信號(hào)進(jìn)行分析，通過對(duì)信號(hào)進(jìn)行小波分解可以在更細(xì)的分辨率上獲取信號(hào)的變化特征，從而有效地建模信號(hào)的波動(dòng)特性[15]。常用的小波分析分為連續(xù)小波變換和離散小波變換(discrete wavelet transform，DWT)。直觀上看信號(hào)空間有不同正交小波構(gòu)成的基底值的和組成：

(1)

式中，Wj是由正交小波2j/2ψ(2jt)及其平移變換組構(gòu)成的基底。此時(shí)，DWT可以表示為：

(2)

{ψj,k(t)=2j/2ψ(2jt-k),(j,k)∈Z2}。

(3)

從多分辨分析的角度出發(fā)，信號(hào)空間還可以寫為如下形式：

(4)

式中，Vj可以看作是尺度函數(shù)空間，尺度基函數(shù)和小波基函數(shù)共同張成了信號(hào)空間。實(shí)際上，對(duì)于任何的尺度j0，都可以在信號(hào)空間找到一組標(biāo)準(zhǔn)正交基，該基底通過組合尺度j0上的尺度函數(shù)及所有在尺度j(j>j0)上的小波得到。基于該標(biāo)準(zhǔn)正交基，所有信號(hào)空間中的信號(hào)都可以寫成基底中函數(shù)的線性組合：

(5)

將數(shù)據(jù)序列進(jìn)行小波分解的過程可以看作：每一層分解的結(jié)果是上次分解得到的低頻信號(hào)再分解成低頻和高頻兩個(gè)部分，如此經(jīng)過N層分解后源信號(hào)f被分解為f=D1+D2+…+DN+AN，其中D1，D2，…，DN分別為第1層，第2層，…，第N層分解得到的高頻信號(hào)，AN為第N層分解得到的低頻信號(hào)。由于小波變換的多尺度特性，顯然適合隨時(shí)間波動(dòng)信號(hào)的建模。

1.2 傅里葉變換

傅里葉變換是常用的信號(hào)時(shí)頻分析手段，當(dāng)信號(hào)表現(xiàn)出一定周期性時(shí)，其傅里葉變換在頻域上具有顯著的能量分布曲線，能夠?qū)⑿盘?hào)有效映射到頻域，實(shí)現(xiàn)濾波處理，是提取信號(hào)周期性頻域特征的重要方法。離散傅里葉變換可以表示為：

(6)

1.3 經(jīng)驗(yàn)?zāi)B(tài)分解與集成經(jīng)驗(yàn)?zāi)B(tài)分解

經(jīng)驗(yàn)?zāi)B(tài)分解(empirical mode decomposition，EMD)是依據(jù)數(shù)據(jù)自身的時(shí)間尺度特征進(jìn)行信號(hào)分解，可將復(fù)雜信號(hào)分解為有限個(gè)本征模態(tài)函數(shù)IMF，分解出來的各IMF分量包含了原信號(hào)在不同時(shí)間尺度的局部特征信號(hào)。分解過程為：

1) 找到信號(hào)x(t)所有的極值點(diǎn)；

2) 用3次樣條曲線擬合出上下極值點(diǎn)的包絡(luò)線emax(t)和emin(t)，并求出上下包絡(luò)線的平均值m(t)，求差值h(t)=x(t)-m(t)；

3) 根據(jù)預(yù)設(shè)判據(jù)判斷h(t)是否為IMF分量，如果不是，則以h(t)代替x(t)，重復(fù)以上步驟直到h(t)滿足判據(jù)，則h(t)就是需要提取的IMF分量Cj(t)；

4) 每得到一階IMF，即將其從原信號(hào)中扣除，重復(fù)以上步驟直到信號(hào)最后剩余部分rn是單調(diào)序列或者常值序列。

這樣，經(jīng)過EMD方法分解就將原始信號(hào)x(t)分解成一系列IMF以及剩余部分的線性疊加

(7)

但是該方法存在兩方面問題，一是用EMD分解得到的IMF存在模態(tài)混疊現(xiàn)象，二是末端效應(yīng)影響分解效果。為了抑制EMD的模態(tài)混疊現(xiàn)象，基于噪聲輔助分析的改進(jìn)EMD方法即集成經(jīng)驗(yàn)?zāi)B(tài)分解EEMD方法被提出[17]，其本質(zhì)上是一種疊加高斯白噪聲的多次經(jīng)驗(yàn)?zāi)Ｊ椒纸夥椒ā?/p>

2 多分辨時(shí)序神經(jīng)網(wǎng)絡(luò)模型

2.1 多分辨時(shí)序神經(jīng)網(wǎng)絡(luò)模型架構(gòu)

MTNN首先用EEMD方法對(duì)用電量數(shù)據(jù)進(jìn)行分解和特征提取得到IMF分量，旨在使用不同階的IMF分量從不同的時(shí)間分辨率上建模用電量數(shù)據(jù)的近似周期性特征，從而在不同時(shí)間尺度上捕捉用電量數(shù)據(jù)的近似周期性。然后針對(duì)不同階的IMF分量設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)下一時(shí)間段的IMF分量，其中LSTM用于預(yù)測(cè)高階IMF分量和殘差項(xiàng)，多階時(shí)頻注意力神經(jīng)網(wǎng)絡(luò)用于預(yù)測(cè)低階IMF分量。MTNN模型架構(gòu)如圖2所示。

圖2 MTNN模型架構(gòu)圖

如圖2所示，首先將用電量數(shù)據(jù)EEMD分解的過程表示為：

(8)

式中:J是IMF分量的殘差項(xiàng)索引，rJ(t)表示殘差項(xiàng)，Cj(t)表示IMF的第j階分量。然后綜合附加的天氣信息和節(jié)假日信息，將高階IMF分量和殘差項(xiàng)作為L(zhǎng)STM模型的輸入，計(jì)算高階分量和殘差項(xiàng)的預(yù)測(cè)值：

yIMFj=LSTMj([Cj(t),add(t)]),yrJ=LSTMJ([rJ(t),add(t)])。

(9)

其中:add(t)表示在t時(shí)間點(diǎn)的天氣信息和節(jié)假日信息的編碼；yIMFj表示IMF的第j階分量的預(yù)測(cè)值，滿足j>1。對(duì)于低階的IMF分量，使用傅里葉變換和小波分析方法計(jì)算IMF分量的時(shí)頻特征，綜合附加的天氣信息和節(jié)假日信息作為多階時(shí)頻注意力神經(jīng)網(wǎng)絡(luò)(MTFANN)的輸入，計(jì)算低階IMF分量的預(yù)測(cè)值

yIMF1=MTFANN([C1(t),FFT(C1(t)),DWT(C1(t)),add(t)]),

(10)

式中：C1(t)表示1階IMF分量，F(xiàn)FT表示快速傅里葉變換，DWT表示離散小波變換。本研究采用Coiflets母小波，小波變換層數(shù)為3。最終，綜合IMF分量和殘差的預(yù)測(cè)結(jié)果，得到用電量數(shù)據(jù)的預(yù)測(cè)值

(11)

2.2 多階時(shí)頻注意力神經(jīng)網(wǎng)絡(luò)

在低階IMF分量的預(yù)測(cè)過程中，為了建立低階IMF分量的波動(dòng)特性和周期性模型，構(gòu)建多階時(shí)頻注意力神經(jīng)網(wǎng)絡(luò)。首先對(duì)低階IMF分量使用小波變換提取不同尺度的時(shí)頻表達(dá)TIMF，使用傅里葉變換提取不同的頻域表達(dá)FIMF；再組合IMF分量、TIMF、FIMF和附加的天氣、節(jié)假日信息編碼輸入CIMF；最后，使用多階時(shí)頻注意力神經(jīng)網(wǎng)絡(luò)提取CIMF的時(shí)頻特征。多階時(shí)頻注意力神經(jīng)網(wǎng)絡(luò)包括多階特征提取方法[18]和時(shí)頻神經(jīng)注意力神經(jīng)網(wǎng)絡(luò)的構(gòu)建，其中時(shí)頻神經(jīng)注意力神經(jīng)網(wǎng)絡(luò)包括時(shí)頻神經(jīng)相似函數(shù)、注意系數(shù)和注意特征的構(gòu)建。

把多階特征提取思想從自然語言處理引入到時(shí)序數(shù)據(jù)分析中。首先逐個(gè)遍歷節(jié)點(diǎn)，提取輸入數(shù)據(jù)本身的特征(1階特征提取)，然后對(duì)節(jié)點(diǎn)進(jìn)行成對(duì)遍歷，提取成對(duì)輸入數(shù)據(jù)的組合特征(2階特征提取)。以此類推，至N階遍歷提取N階特征。由此，多階特征提取方法在考慮單個(gè)時(shí)間節(jié)點(diǎn)特征的基礎(chǔ)上，以多個(gè)時(shí)間節(jié)點(diǎn)的數(shù)據(jù)為一個(gè)整體，考慮各個(gè)整體之間的關(guān)聯(lián)關(guān)系，N階特征提取可以用大小為N的卷積核實(shí)現(xiàn)。最后，對(duì)每階特征構(gòu)建時(shí)頻注意力神經(jīng)網(wǎng)絡(luò)提取其時(shí)頻特征來預(yù)測(cè)低階IMF分量。

為了表達(dá)輸入之間由于相似性不同產(chǎn)生的不同影響，定義了時(shí)頻神經(jīng)相似函數(shù)。時(shí)頻神經(jīng)相似函數(shù)通過測(cè)量?jī)蓚€(gè)包含有時(shí)頻特征的輸入向量之間基于神經(jīng)網(wǎng)絡(luò)的距離測(cè)度，來度量?jī)烧叩南嗨菩?。以CIMF的特征提取過程為例，其相似度為：

Similarityij=Neural(Dot(CIMFi,Cosine(W×CIMFi,W×CIMFj)))。

(12)

式中：W為可學(xué)習(xí)權(quán)值，CIMFi為第i個(gè)組合輸入向量，CIMFj為第j個(gè)組合輸入向量，Dot為點(diǎn)乘函數(shù)，Neural()為單層神經(jīng)網(wǎng)絡(luò)。時(shí)頻神經(jīng)相似函數(shù)計(jì)算其他向量與當(dāng)前向量的夾角，利用該夾角點(diǎn)乘當(dāng)前向量，計(jì)算這些向量對(duì)當(dāng)前向量產(chǎn)生的影響。

由時(shí)頻神經(jīng)相似函數(shù)，定義組合輸入向量i和j之間的注意力系數(shù)為：

(13)

當(dāng)前節(jié)點(diǎn)i的注意力特征hi可以表示為：

(14)

式中V為可學(xué)習(xí)權(quán)值。

由此構(gòu)建一個(gè)由時(shí)頻神經(jīng)相似函數(shù)構(gòu)成的時(shí)頻神經(jīng)注意力層，多個(gè)時(shí)頻神經(jīng)注意力層堆疊得到時(shí)頻神經(jīng)注意力神經(jīng)網(wǎng)絡(luò)，綜合多階特征提取方法，可以構(gòu)建多階時(shí)頻注意力神經(jīng)網(wǎng)絡(luò)。以階數(shù)N=2為例，一個(gè)二階時(shí)頻注意力神經(jīng)網(wǎng)絡(luò)的模型結(jié)構(gòu)如圖3所示。

由圖3所示的二階時(shí)頻注意力神經(jīng)網(wǎng)絡(luò)可以預(yù)測(cè)一階IMF分量值，而高階IMF分量和殘差可以通過LSTM預(yù)測(cè)，組合IMF各分量的預(yù)測(cè)值可以得到用電量的預(yù)測(cè)結(jié)果。

3 實(shí)驗(yàn)分析

實(shí)驗(yàn)分為3部分，第1部分是數(shù)據(jù)集和基準(zhǔn)模型介紹；第2部分通過人造的包含多個(gè)時(shí)間尺度的周期信號(hào)序列和噪聲的疊加信號(hào)序列數(shù)據(jù)，驗(yàn)證MTNN能夠提取周期特征和波動(dòng)特征，并驗(yàn)證MTNN在南方電網(wǎng)某區(qū)域用電量預(yù)測(cè)的有效性；第3部分通過消融實(shí)驗(yàn)驗(yàn)證本研究所提出的時(shí)頻處理方法、時(shí)頻神經(jīng)相似函數(shù)、多階時(shí)頻注意力神經(jīng)網(wǎng)絡(luò)的有效性。

圖3 二階時(shí)頻注意力神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

3.1 數(shù)據(jù)集和基準(zhǔn)模型

3.1.1 數(shù)據(jù)集

為了驗(yàn)證提出的MTNN模型能夠擬合數(shù)據(jù)不同尺度的周期性和波動(dòng)性，構(gòu)建包含多個(gè)時(shí)間尺度的周期信號(hào)序列和噪聲的疊加信號(hào)序列數(shù)據(jù)的人造數(shù)據(jù)集，該信號(hào)序列在不同周期長(zhǎng)度的正弦函數(shù)上增加了服從高斯分布的隨機(jī)噪聲：

S(n)=3×sin(4×T)+3×cos(9×T)+sin(8.12×T+1.2)+1.5×(i～Gaussian(0,1))。

式中：i表示隨機(jī)變量，n表示樣本。本實(shí)驗(yàn)n=2 000，使用窗口尺寸為50的滑動(dòng)窗口遍歷序列長(zhǎng)度為n的人造數(shù)據(jù)，得到1 951條序列數(shù)據(jù)，每條序列數(shù)據(jù)的長(zhǎng)度為50，根據(jù)本窗口內(nèi)的序列數(shù)據(jù)來預(yù)測(cè)下一個(gè)樣本點(diǎn)的數(shù)據(jù)值。

第二個(gè)數(shù)據(jù)集為南方電網(wǎng)某區(qū)域7個(gè)地區(qū)2020年1月1日到2021年11月1日的用電量數(shù)據(jù)，每24 h記錄一次總用電量A，第一產(chǎn)業(yè)A1、第二產(chǎn)業(yè)A2、第三產(chǎn)業(yè)A3的地區(qū)用電總量以及9個(gè)不同行業(yè)的用電總量，得到670天的區(qū)域總用電量數(shù)據(jù)，總計(jì)56 280條初始數(shù)據(jù)。

為了剔除無效數(shù)據(jù)，首先進(jìn)行數(shù)據(jù)清洗，即對(duì)數(shù)據(jù)中包含的離群值(主要是異常值)進(jìn)行識(shí)別和修正，去除離群點(diǎn)并使用鄰接點(diǎn)的平均值取代，然后進(jìn)行數(shù)據(jù)歸一化處理。使用過去14天的電量值、天氣和節(jié)假日信息預(yù)測(cè)下一天的用電量，對(duì)數(shù)據(jù)集做窗口滑動(dòng)處理得到長(zhǎng)度為14的序列數(shù)據(jù)(作為輸入)，對(duì)應(yīng)的預(yù)測(cè)值為下一天的用電量(作為標(biāo)簽)。在MTNN中，將1階IMF分量擴(kuò)展，其中每天的數(shù)據(jù)包括當(dāng)天用電量的1階IMF分量、1階IMF分量的快速傅里葉變換值、小波變換值、對(duì)應(yīng)的天氣數(shù)據(jù)和節(jié)假日信息，以向量的形式拼接為14×5的向量。實(shí)驗(yàn)采用十折交叉驗(yàn)證測(cè)試模型效果，采用最小均方誤差(MSE)衡量預(yù)測(cè)效果，MSE值越小表明模型預(yù)測(cè)值越接近真實(shí)值。

3.1.2 基準(zhǔn)模型

采用三類基準(zhǔn)模型與本研究模型進(jìn)行對(duì)比。第一類為普通時(shí)序預(yù)測(cè)模型：LSTM[8]、SVR[3]；第二類為基于時(shí)頻分析的時(shí)序預(yù)測(cè)模型：基于小波變換和用電量序列數(shù)據(jù)的DWT-LSTM[13]、基于傅里葉變換和用電量序列數(shù)據(jù)的FTT-LSTM[12]、多尺度LSTM模型MSD-LSTM[14]；第三類為基于信號(hào)分解的時(shí)序預(yù)測(cè)模型：基于EMD分解和優(yōu)化SVR的模型EMD-SVRCKH[16]、基于EEMD分解和LSTM的EEMD-LSTM模型[19]。

3.2 MTNN預(yù)測(cè)有效性驗(yàn)證

用人造數(shù)據(jù)集驗(yàn)證MTNN模型捕捉數(shù)據(jù)近似周期性和波動(dòng)性特性的能動(dòng)，數(shù)據(jù)集歸一化的采樣序列和EEMD分量如圖4所示。

圖4中Original sequence表示規(guī)則化后的數(shù)據(jù)，圖4(a)橫坐標(biāo)為[0，2π]范圍內(nèi)50個(gè)數(shù)據(jù)采樣點(diǎn)，縱坐標(biāo)為橫坐標(biāo)對(duì)應(yīng)的函數(shù)值；圖4(b)橫坐標(biāo)表示天數(shù)，共記錄了100天的數(shù)據(jù)，縱坐標(biāo)表示當(dāng)天規(guī)則化后的用電量?？梢姡还苁侨嗽鞌?shù)據(jù)集還是真實(shí)的用電量數(shù)據(jù)集，隨著IMF階數(shù)的增加，IMF分量趨于平滑，對(duì)于1階IMF分量，其波動(dòng)性比較明顯。MTNN在2階及以上IMF分量上使用LSTM，在1階IMF上使用多階時(shí)頻注意力神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)。

首先，在人造數(shù)據(jù)集上驗(yàn)證MTNN的預(yù)測(cè)能力。取LSTM層數(shù)為3，隱層節(jié)點(diǎn)數(shù)為100，注意力層數(shù)為3，階數(shù)為2；離散小波變換級(jí)數(shù)為3，每層節(jié)點(diǎn)數(shù)為100，batch_size為16，梯度更新方法選擇Adam，初始學(xué)習(xí)率為10-3，采用dropout方法防止過擬合，dropout rate選為0.2。在對(duì)比實(shí)驗(yàn)中，MSD-LSTM每層的跳躍尺度分別設(shè)為2、4、6[14]，MTNN在人造數(shù)據(jù)集上的預(yù)測(cè)結(jié)果的測(cè)試MSE如表1所示。由表1可見，基于信號(hào)分解的預(yù)測(cè)模型的測(cè)試MSE優(yōu)于基于時(shí)頻分析的LSTM模型，而MTNN取得了最優(yōu)的測(cè)試MSE，表明針對(duì)包含多個(gè)時(shí)間尺度的周期信號(hào)序列和噪聲的疊加信號(hào)序列，MTNN能夠更有效地捕捉周期性特征和波動(dòng)性特征，并完成預(yù)測(cè)。

圖4 實(shí)驗(yàn)所采用的數(shù)據(jù)采樣序列及其IMF分量

表1 人造數(shù)據(jù)上的測(cè)試MSE

然后，驗(yàn)證MTNN模型在用電量預(yù)測(cè)上的有效性。取MTNN的LSTM層數(shù)為3，隱層節(jié)點(diǎn)數(shù)為64，注意力層數(shù)為2，階數(shù)為2；離散小波變換級(jí)數(shù)為3，每層節(jié)點(diǎn)數(shù)為64，batch_size為16，梯度更新方法選擇Adam，初始學(xué)習(xí)率為10-4，采用dropout方法防止過擬合，dropout rate選為0.2。在對(duì)比實(shí)驗(yàn)中，MSD-LSTM每層的跳躍尺度分別設(shè)為1、2、3[14]。測(cè)試MTNN模型在7個(gè)不同地區(qū)用電量的預(yù)測(cè)效果，驗(yàn)證模型對(duì)不同地區(qū)用電量的適用性，實(shí)驗(yàn)結(jié)果如表2所示。由表2可以看出，模型取得的預(yù)測(cè)MSE與人造數(shù)據(jù)集的結(jié)果基本一致，且MTNN取得的結(jié)果最優(yōu)，表明MTNN能夠?qū)Σ煌叨戎芷谛院筒▌?dòng)性的序列數(shù)據(jù)建立模型并有效預(yù)測(cè)用電量。一方面說明從不同時(shí)間尺度的周期性和波動(dòng)性的角度，分析用電量數(shù)據(jù)的特征并進(jìn)行用電量預(yù)測(cè)的思路框架是有效的，另一方面說明MTNN模型預(yù)測(cè)用電量是有效的。盡管預(yù)測(cè)的MSE不同，但是在這7個(gè)不同的區(qū)域上，本研究提出的MTNN模型取得了最優(yōu)的測(cè)試MSE，相對(duì)于基于LSTM的模型和基于EMD、EEMD分解的預(yù)測(cè)模型有一定的提升。

表2 各地區(qū)電量測(cè)試MSE

為了進(jìn)一步測(cè)試模型對(duì)具有不同周期性和分布特性的不同行業(yè)用電量的適應(yīng)性，本研究對(duì)地區(qū)1的三大產(chǎn)業(yè)和工業(yè)、制造業(yè)、城鎮(zhèn)居民用電量分別進(jìn)行了預(yù)測(cè)，測(cè)試結(jié)果如表3所示。

表3 地區(qū)1用電量數(shù)據(jù)測(cè)試MSE

不同行業(yè)的用電量數(shù)據(jù)具有不同的分布特性。從表3可知，在不同行業(yè)用電量數(shù)據(jù)的預(yù)測(cè)上，MTNN的表現(xiàn)比較穩(wěn)定，可以有效地預(yù)測(cè)近似周期、周期性不明顯的用電量數(shù)據(jù)以及數(shù)據(jù)中的瞬時(shí)變化特性，并且MTNN在大部分子數(shù)據(jù)集上取得的效果要優(yōu)于其他的對(duì)比算法。

3.2 MTNN消融實(shí)驗(yàn)

設(shè)計(jì)消融實(shí)驗(yàn)，來驗(yàn)證MTNN中時(shí)頻處理方法、時(shí)頻神經(jīng)相似函數(shù)、多階時(shí)頻注意力神經(jīng)網(wǎng)絡(luò)在用電量預(yù)測(cè)任務(wù)上的有效性。

1) 時(shí)頻處理方法的有效性驗(yàn)證

在MTNN中去掉EEMD后的主體模型記為多階時(shí)頻注意力神經(jīng)網(wǎng)絡(luò)MTFANN模型，在MTNN中使用LSTM替換MTFANN后得到的模型記為EEMD-LSTM，在MTNN中的MTFANN中僅使用傅里葉變換而不使用小波變換的模型記為EEMD-MFANN，在MTNN中的MTFANN中僅使用小波變換而不使用傅里葉變換的模型記為EEMD-MTANN，模型在7個(gè)地區(qū)用電量的測(cè)試MSE如表4所示。

表4 各地區(qū)用電量測(cè)試MSE

如表4所示，綜合EEMD、小波分析、傅里葉變換的MTNN模型在4個(gè)地區(qū)的用電量預(yù)測(cè)上取得最優(yōu)的測(cè)試MSE，說明本研究使用的時(shí)頻處理方法對(duì)用電量預(yù)測(cè)任務(wù)是有幫助的。

2) 時(shí)頻神經(jīng)相似性函數(shù)的有效性驗(yàn)證

將時(shí)頻神經(jīng)相似性函數(shù)分別替換為Conise相似性函數(shù)得到MTNN-Conise模型、Dot相似性函數(shù)得到MTNN-Dot模型、神經(jīng)相似性函數(shù)(使用神經(jīng)網(wǎng)絡(luò)計(jì)算相似性)得到MTNN-Neural模型、使用連接函數(shù)得到MTNN-Concat模型，各模型在7個(gè)地區(qū)用電量的測(cè)試MSE如表5所示。

表5 各地區(qū)用電量測(cè)試MSE

由表5可見，相比于常用的幾種相似性度量函數(shù)，本研究提出的基于時(shí)頻神經(jīng)相似函數(shù)的MTNN模型在5個(gè)地區(qū)的用電量預(yù)測(cè)上取得了最優(yōu)的測(cè)試MSE，說明時(shí)頻神經(jīng)相似函數(shù)能夠更好地度量IMF低階分量的變化特性。

3) 多階特征提取方法中階數(shù)N的影響

N=1時(shí)，相當(dāng)于只考慮單個(gè)時(shí)間點(diǎn)的數(shù)據(jù)特征，使用注意力機(jī)制建模時(shí)間點(diǎn)之間的關(guān)聯(lián)性；N=2時(shí)，相當(dāng)于將兩個(gè)相鄰節(jié)點(diǎn)的特征作為一個(gè)整體特征來考慮。N取不同值時(shí)，模型在7個(gè)地區(qū)用電量的測(cè)試MSE如表6所示。

表6 各地區(qū)用電量的測(cè)試MSE

如表6所示，N=3時(shí)，MTNN的預(yù)測(cè)效果開始停止增長(zhǎng)，當(dāng)N>3時(shí)，預(yù)測(cè)的MSE出現(xiàn)下降，可能是因?yàn)橛?xùn)練數(shù)據(jù)的數(shù)量上相對(duì)不足導(dǎo)致模型出現(xiàn)了過擬合，也可能是實(shí)現(xiàn)多階機(jī)制的卷積操作使得多個(gè)節(jié)點(diǎn)的特征出現(xiàn)了平均效應(yīng)，降低了預(yù)測(cè)的效果。

4 總結(jié)與展望

本研究提出一種多分辨時(shí)序神經(jīng)網(wǎng)絡(luò)模型MTNN，根據(jù)用電量數(shù)據(jù)特性將用電量數(shù)據(jù)看作近似的周期性數(shù)據(jù)分量和波動(dòng)分量的組合，使用EEMD方法從時(shí)域的角度對(duì)用電量序列數(shù)據(jù)進(jìn)行分解，然后從時(shí)頻多分辨率的角度對(duì)低階IMF分量進(jìn)行多尺度分解，構(gòu)建多階時(shí)頻注意力神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)低階IMF分量，使用LSTM預(yù)測(cè)高階IMF分量和殘差，組合預(yù)測(cè)結(jié)果預(yù)測(cè)用電量。通過人造數(shù)據(jù)集、南方電網(wǎng)某區(qū)域7個(gè)地區(qū)的用電量數(shù)據(jù)以及消融實(shí)驗(yàn)驗(yàn)證了MTNN的有效性。

后續(xù)將利用更加豐富的數(shù)據(jù)信息完善MTNN模型，一方面利用更細(xì)粒度的模型預(yù)測(cè)實(shí)時(shí)用電量，另一方面將實(shí)時(shí)的附加信息以先驗(yàn)形式引入到模型中，進(jìn)一步提高模型的預(yù)測(cè)效果。