基于BPNN-EMD-LSTM組合模型的城市短期燃?xì)庳?fù)荷預(yù)測

陳 川，陳冬林，何李凱

(武漢理工大學(xué)電子商務(wù)與智能服務(wù)研究中心，湖北 武漢 430070)

隨著我國清潔能源政策的大力推行，天然氣在一次能源消費(fèi)結(jié)構(gòu)中的占比不斷增長，安全、穩(wěn)定的天然氣供應(yīng)極為重要[1-2]。對應(yīng)于快速增長的天然氣需求，天然氣產(chǎn)能的嚴(yán)重不足已連續(xù)多年造成我國區(qū)域性“氣荒”。在此背景下，為增強(qiáng)天然氣保障能力，管道天然氣線上競價交易于2017年9月在上海石油天然氣交易中心正式開啟。管道氣競價交易機(jī)制的出現(xiàn)為燃?xì)夤窘鉀Q區(qū)域性“氣荒”提供契機(jī)的同時，也向其提出了新的挑戰(zhàn)：在原有燃?xì)獠少徍贤幕A(chǔ)上，短期內(nèi)購氣過量將造成額外的存儲成本；短期內(nèi)購氣不足則難以解決“氣荒”，保障供氣。因此，尋求一種準(zhǔn)確、可行的城市短期燃?xì)庳?fù)荷預(yù)測模型和方法具有重要的理論價值與現(xiàn)實意義。

在城市燃?xì)庳?fù)荷預(yù)測方面，現(xiàn)有的研究可分為兩個方向：①研究城市燃?xì)庳?fù)荷的成因，從影響因素著手提高預(yù)測模型的解釋能力；②研究城市燃?xì)庳?fù)荷多元化預(yù)測方法，從不同角度分析和利用已知信息，提高預(yù)測模型的性能。在研究城市燃?xì)庳?fù)荷的成因方面，常見的影響因素包括氣象因素、經(jīng)濟(jì)因素、社會因素等[3-4]。如顧婷婷等[5]從氣象因素出發(fā)，深入研究了城市燃?xì)庳?fù)荷與日平均氣溫、日平均氣壓、相對濕度等主要?dú)庀笠蜃拥年P(guān)系；周偉國等[6]通過計算判斷得出城市燃?xì)庳?fù)荷具有與氣象參數(shù)、經(jīng)濟(jì)指標(biāo)等類似的混沌性質(zhì)；李謙益等[7]認(rèn)為氣溫累計效應(yīng)對城市燃?xì)庳?fù)荷具有較大的影響，并提出氣溫修正公式進(jìn)行驗證。在研究城市燃?xì)庳?fù)荷多元化預(yù)測方法方面，常見的改進(jìn)預(yù)測方法為預(yù)處理數(shù)據(jù)、優(yōu)化單一模型和建立組合模型等[8-9]。如張超等[10]從數(shù)據(jù)預(yù)處理方法和不同時段的用氣特點兩個方面，分析了提高城市燃?xì)馊肇?fù)荷預(yù)測準(zhǔn)確性的方法，并建立了支持向量機(jī)(SVM)模型進(jìn)行驗證；龔承柱等[11]拋卻外界因素的影響，通過對原始數(shù)據(jù)進(jìn)行分解(EMD)、重構(gòu)(PSR)，建立了基于最小二乘支持向量機(jī)(LSSVM)的組合預(yù)測模型，對城市燃?xì)夤芫W(wǎng)短期負(fù)荷進(jìn)行了時序預(yù)測；Yu等[12]利用遺傳算法對城市短期燃?xì)庳?fù)荷的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，加快了網(wǎng)絡(luò)收斂速度；Rodger等[13]建立了模糊最近鄰神經(jīng)網(wǎng)絡(luò)統(tǒng)計模型，能夠很好地擬合城市燃?xì)馊肇?fù)荷曲線。然而從預(yù)測目標(biāo)的角度來看，以上研究的差異可歸結(jié)為預(yù)測步長與預(yù)測精度的不同，現(xiàn)有文獻(xiàn)關(guān)于“氣荒”環(huán)境下半月步長的高精度城市燃?xì)庳?fù)荷預(yù)測的研究較為稀少?？紤]城市燃?xì)庳?fù)荷的混沌性，其歷史數(shù)據(jù)具有非線性和高隨機(jī)性的特點，單一模型無法較好地解釋除主要影響因素以外其他因素的影響，針對此類問題，考慮借鑒EMD算法處理非線性、非平穩(wěn)數(shù)據(jù)的優(yōu)勢[14-15]，運(yùn)用EMD方法對主要影響因素以外的其他因素影響下的數(shù)據(jù)進(jìn)行分解。

本文通過對燃?xì)馊肇?fù)荷歷史特征的分析，剝離開燃?xì)庳?fù)荷的主要影響因素與其他影響因素。先以溫度、日期屬性作為主要影響因素，利用BPNN模型捕捉燃?xì)馊肇?fù)荷的主要特征，其他因素的影響則體現(xiàn)在BPNN模型預(yù)測產(chǎn)生的非線性殘差中；然后運(yùn)用EMD-LSTM模型進(jìn)行擬合，將BPNN模型與EMD-LSTM模型相結(jié)合得到組合預(yù)測模型，并以某城市民用類燃?xì)馊肇?fù)荷為研究對象進(jìn)行了實證分析，結(jié)果表明：BPNN-EMD-LSTM組合預(yù)測模型具有較好的預(yù)測效果，能夠為燃?xì)夤径唐谫彋鉀Q策提供科學(xué)依據(jù)。

1 數(shù)據(jù)來源與特征分析

本文以我國某城市民用燃?xì)馊肇?fù)荷為研究對象，根據(jù)2015年1月1日至2017年4月30日之間851天的城市燃?xì)馊肇?fù)荷數(shù)據(jù)，對2017年5月1日起未來15天的城市燃?xì)馊肇?fù)荷進(jìn)行了預(yù)測。該城市原始燃?xì)馊肇?fù)荷數(shù)據(jù)，見圖1。

圖1 某城市燃?xì)馊肇?fù)荷的變化曲線Fig.1 Change curve of the daily natural gas load of a city 注：圖中實線反映了燃?xì)馊肇?fù)荷的變化；“▲”代表該天為我國法定節(jié)假日；節(jié)假日及歷史天氣數(shù)據(jù)從“中國天氣網(wǎng)”獲取。

由圖1可見，該市一年內(nèi)4月中旬至10月底燃?xì)馊肇?fù)荷波動幅度較小，其余時段燃?xì)馊肇?fù)荷存在劇烈波動，燃?xì)馊肇?fù)荷整體偏高，初步判斷燃?xì)馊肇?fù)荷與溫度有較強(qiáng)的相關(guān)性；另外，該市燃?xì)馊肇?fù)荷在節(jié)假日期間顯著降低，判斷節(jié)假日的出現(xiàn)會在一定程度上影響燃?xì)獾娜肇?fù)荷。

2 基于BPNN-EMD-LSTM的組合預(yù)測模型建立

組合預(yù)測模型的基本思路是將燃?xì)庳?fù)荷的影響因素拆分為主要影響因素和其他影響因素兩類，并由BPNN模型計算主要影響因素與燃?xì)庳?fù)荷的映射關(guān)系，由EMD-LSTM模型預(yù)測受其他因素影響的時序殘差，并將兩部分預(yù)測結(jié)果結(jié)合以完成對燃?xì)庳?fù)荷的組合預(yù)測。下面對BPNN-EMD-LSTM組合預(yù)測模型中的具體方法進(jìn)行分析。

2.1 BP神經(jīng)網(wǎng)絡(luò)(BPNN)

BP神經(jīng)網(wǎng)絡(luò)(Back Propagation Neural Network,BPNN)是一種按誤差逆向傳播算法訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)。作為一種全連接神經(jīng)網(wǎng)絡(luò)，BPNN模型具有很強(qiáng)的計算能力和復(fù)雜的映射能力，能夠?qū)Υ罅糠墙Y(jié)構(gòu)性、非精確性規(guī)律進(jìn)行自適應(yīng)訓(xùn)練，主要應(yīng)用于模式識別、函數(shù)逼近等[16]。其原理和方法如下：

對一個三層BP神經(jīng)網(wǎng)絡(luò)，假定網(wǎng)絡(luò)有n個輸入xi(i=1,2,…,n)，m個輸出yi(i=1,2,…,m)，該神經(jīng)網(wǎng)絡(luò)計算可分為工作信號的正向傳遞、誤差信號的反向傳遞兩個過程。

工作信號的正向傳遞：設(shè)節(jié)點i和節(jié)點j間的權(quán)值為ωij，節(jié)點j的閾值為bj，節(jié)點的輸入為xi，節(jié)點的輸出為xj，則:

(1)

xj=f(Sj)

(2)

式中：Sj為節(jié)點j的所有輸入信號在權(quán)值、閾值作用下產(chǎn)生的待激活信號;f(Sj)為激活函數(shù)，一般根據(jù)數(shù)據(jù)內(nèi)在規(guī)律的不同按需選擇。

誤差信號的反向傳遞：假定每一個樣本所對應(yīng)的二次型誤差函數(shù)為

(3)

其中，dk為網(wǎng)絡(luò)第k個節(jié)點的期望輸出;yk為網(wǎng)絡(luò)的實際輸出。

BPNN模型訓(xùn)練的目的在于反復(fù)修正權(quán)值和閾值使總的誤差函數(shù)值E最小，根據(jù)梯度下降法計算，則:

(4)

(5)

式中：η1、η2分別為權(quán)值與閾值的學(xué)習(xí)速率，取值在0～1之間。

對于訓(xùn)練完成的BPNN，權(quán)值和閾值固定，進(jìn)行預(yù)測時只需將數(shù)據(jù)按規(guī)范形式輸入網(wǎng)絡(luò)，即可自動計算得到相應(yīng)的預(yù)測結(jié)果。

2.2 經(jīng)驗?zāi)B(tài)分解(EMD)

經(jīng)驗?zāi)B(tài)分解(Empirical Mode Decomposition,EMD)是一種處理非線性、非平穩(wěn)時變序列的方法，該方法根據(jù)數(shù)據(jù)自身的時間尺度特征自適應(yīng)分解信號，被認(rèn)為是對以平穩(wěn)和線性假設(shè)為基礎(chǔ)的傅里葉分析和小波分析的突破[17]。EMD算法的篩選過程是將復(fù)雜時序數(shù)據(jù)分解為有限個本征模函數(shù)(Intrinsic Mode Function,IMF)，分解得到的IMF分量包含了原數(shù)據(jù)在不同時間尺度的波動信息。

對一給定原始時序樣本數(shù)據(jù)x(t)，首先計算x(t)上的局部最大值、最小值，分別對局部最大值、最小值進(jìn)行插值擬合得到原始數(shù)據(jù)x(t)的上下包絡(luò)xmax(t)和xmin(t)序列，然后計算上下包絡(luò)序列的均值，得到均值序列m1(t)：

(6)

(7)

(8)

這里SD為篩分門限，一般取值在0.2～0.3之間較為合適。從x(t)中減去c1(t)，得到移除最高頻成分的殘差序列r1(t)=x(t)-c1(t)。重復(fù)上述篩選過程，得到后續(xù)IMF分量，直至cn(t)小于預(yù)定誤差或rn(t)是單調(diào)函數(shù)，終止模態(tài)分解過程。至此，原始序列x(t)可由n階IMF分量和殘差rn(t)表示：

(9)

2.3 長短期記憶(LSTM)神經(jīng)網(wǎng)絡(luò)

長短期記憶(Long Short-Term Memory,LSTM)神經(jīng)網(wǎng)絡(luò)最早由Hochreiter和Schmidhuber于1997年提出[18]，是一種特定形式的循環(huán)神經(jīng)網(wǎng)絡(luò)。LSTM神經(jīng)網(wǎng)絡(luò)的計算過程同樣可分為前向傳播計算和誤差反向傳播更新兩步，不同的是LSTM神經(jīng)網(wǎng)絡(luò)由眾多記憶單元組成，記憶單元中應(yīng)用多種控制器的形式對上一單元輸出、當(dāng)前單元輸入、上一單元狀態(tài)進(jìn)行判斷，控制丟棄或增加信息，從而實現(xiàn)遺忘或記憶功能。以一個記憶單元為例，LSTM神經(jīng)網(wǎng)絡(luò)的前向傳播計算過程見圖2。

圖2 LSTM神經(jīng)網(wǎng)絡(luò)記憶單元的前向傳播計算過程Fig.2 Forward propagation computation process of the memory unit of the LSTM neural network

在LSTM神經(jīng)網(wǎng)絡(luò)的記憶單元中，“遺忘門”是以本單元的輸入xt與上一單元的輸出ht-1為輸入的“sigmoid”激活函數(shù)，“遺忘門”輸出ft的值域為[0,1]，LSTM神經(jīng)網(wǎng)絡(luò)記憶單元通過ft來控制上一單元狀態(tài)Ct-1被遺忘的程度。ft表示如下：

ft=σ(Wf·[ht-1xt]+bf)

(10)

式中：Wf、bf為“遺忘門”線性關(guān)系的系數(shù)和偏置；σ為“sigmoid”激活函數(shù)。

(11)

it=σ(Wi·[ht-1,xt]+bi)

(12)

(13)

式中：Wc、bc，Wi、bi為“輸入門”線性關(guān)系的系數(shù)和偏置；“*”表示按元素乘。

在LSTM神經(jīng)網(wǎng)絡(luò)的記憶單元中，“輸出門”用于控制當(dāng)前的單元狀態(tài)Ct有多少被過濾掉。將單元狀態(tài)Ct通過“tanh”函數(shù)激活后，通過“輸出門”輸出結(jié)果ot來控制單元狀態(tài)被過濾的程度。用數(shù)學(xué)表達(dá)式可表示如下：

ot=σ(Wa·[ht-1,xt]+ba)

(14)

ht=ot*tanh(Ct)

(15)

式中：Wo、bo為“輸出門”線性關(guān)系的系數(shù)和偏置。

LSTM神經(jīng)網(wǎng)絡(luò)的反向傳播過程與RNN相同，使用BPTT算法(Back Propagation Through Time)對單元狀態(tài)和“遺忘門”等部分進(jìn)行更新。

3 基于BPNN-EMD-LSTM組合模型的城市短期燃?xì)庳?fù)荷預(yù)測流程

城市燃?xì)夤芫W(wǎng)負(fù)荷變化受多種因素，例如氣溫突變、節(jié)假日以及經(jīng)濟(jì)發(fā)展等因素的影響，若預(yù)測時全部考慮在內(nèi)，不僅增加模型的復(fù)雜度，也會降低模型的性能，因此需將影響因素加以區(qū)分，并通過模型分別加以解釋?；贐PNN-EMD-LSTM組合模型對城市短期燃?xì)庳?fù)荷進(jìn)行預(yù)測的流程，詳見圖3。

圖3 基于BPNN-EMD-LSTM組合模型的城市短期燃?xì)庳?fù)荷預(yù)測流程Fig.3 Diagram of the short-term forecast process of urban natural gas load based on the BPNN-EMD-LSTM combined model

基于BPNN-EMD-LSTM組合模型的城市短期燃?xì)庳?fù)荷預(yù)測步驟如下：

(1) BPNN訓(xùn)練與預(yù)測。選擇與城市燃?xì)馊肇?fù)荷有較強(qiáng)相關(guān)性的外界因素為輸入，劃分訓(xùn)練集、預(yù)測集，依據(jù)經(jīng)驗設(shè)定隱層層數(shù)h、隱層節(jié)點數(shù)l以及激活函數(shù)f，按梯度下降算法對模型進(jìn)行有監(jiān)督訓(xùn)練，分別計算訓(xùn)練集預(yù)測值與實際值的殘差Ye以及預(yù)測集的預(yù)測值Yb。

(2) 殘差序列分解。采用EMD分解流程，將BPNN訓(xùn)練集預(yù)測殘差Ye分解為n組不同頻率的本征模態(tài)分量{IMF1,IMF2,…,IMFn}和殘差項rn。

(16)

4 實證分析

4. 1 輸入變量的確定

根據(jù)對圖1的分析，考慮計算日期屬性Dt、日平均氣溫Tt與燃?xì)馊肇?fù)荷Yt間的相關(guān)性，引入虛擬變量Dt表示日期屬性，考慮節(jié)假日和周末休息日對人活動習(xí)慣的影響不同，日期屬性Dt可表示為

通過計算得到日平均氣溫Tt與燃?xì)馊肇?fù)荷Yt的Pearson相關(guān)系數(shù)為-0.864 84，兩者有極強(qiáng)的負(fù)相關(guān)性，日平均氣溫Tt可作為主要影響因素由BPNN加以解釋；日期屬性Dt與燃?xì)馊肇?fù)荷Yt的Pearson相關(guān)系數(shù)僅為-0.119 8，兩者相關(guān)性似乎不明顯，但結(jié)合對圖1的分析可知，節(jié)假日時段內(nèi)燃?xì)馊肇?fù)荷Yt同樣會急劇下降，因此決定采用日期屬性Dt作為主要影響因素中的一項進(jìn)行燃?xì)馊肇?fù)荷預(yù)測。

4.2 BPNN的練訓(xùn)與預(yù)測

由上述分析可知，BPNN有日期屬性Dt和日平均氣溫Tt兩個輸入，據(jù)此建立兩輸入單輸出的BPNN模型，隱層層數(shù)h、隱層神經(jīng)元個數(shù)l采用試錯法在網(wǎng)絡(luò)學(xué)習(xí)中優(yōu)選，這里選取h=2、l1=12、l2=3，并采用“tanh”函數(shù)作為神經(jīng)元的激活函數(shù)。BPNN訓(xùn)練時將2015年1月1日至2017年4月30日共851天的數(shù)據(jù)作為訓(xùn)練集，以均方誤差(MSE)作為損失函數(shù)，設(shè)定學(xué)習(xí)步長η=0.1，最大循環(huán)次數(shù)n=30 000，以梯度下降法對隱層權(quán)重ωl1、ωl2進(jìn)行訓(xùn)練。

分別將訓(xùn)練集與預(yù)測集輸入訓(xùn)練完成后的網(wǎng)絡(luò)，計算得到訓(xùn)練集的預(yù)測值Ybtrain與預(yù)測集的預(yù)測值Yb，并計算訓(xùn)練集預(yù)測的殘差：Ye=Y-Ybtrain。BPNN模型的預(yù)測結(jié)果與殘差序列見圖4。

圖4 BPNN模型的預(yù)測結(jié)果與殘差序列圖Fig.4 Diagram of BPNN forecast results and the residual sequences

4.3 殘差的EMD-LSTM時序預(yù)測

將BPNN模型預(yù)測所得的殘差按EMD流程分解，獲得具有原始?xì)埐钚蛄胁煌▌映叨刃畔⒌谋菊髂B(tài)分量IMF1～I(xiàn)MF13，考慮到對IMF分量的重構(gòu)一般根據(jù)經(jīng)驗主觀確定重構(gòu)方法，不適用于對殘差項分解后重構(gòu)，這里選擇保留所有分量信號，并針對不同IMF分量分別建立LSTM時序預(yù)測模型進(jìn)行預(yù)測。

對于13個本征模態(tài)分量IMF1～I(xiàn)MF13，根據(jù)預(yù)測需要，建立LSTM時序預(yù)測模型時統(tǒng)一設(shè)定LSTM神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方式為：通過歷史30 d的數(shù)據(jù)學(xué)習(xí)未來15 d的數(shù)據(jù)規(guī)律，因此將長度為851的殘差序列整合為長度為45的807條數(shù)據(jù)，歸一化后組合成一個807×45的矩陣，即：

4. 4 預(yù)測結(jié)果分析

圖5 3種預(yù)測模型的燃?xì)馊肇?fù)荷預(yù)測值與誤差率Fig.5 Forecast values and error rates of the three models for forcast of natural gas daily load

由圖5可見，BPNN-EMD-LSTM組合預(yù)測模型具有很好的預(yù)測效果，即使在“五一”節(jié)假日期間也能準(zhǔn)確地捕捉燃?xì)庳?fù)荷的變化；BPNN-LSTM預(yù)測模型能較準(zhǔn)確地預(yù)測出“五一”節(jié)假日期間燃?xì)馊肇?fù)荷；而LSTM預(yù)測模型的預(yù)測效果相比而言較差。3種預(yù)測模型的預(yù)測效果比較見表1。

表1 3種預(yù)測模型的預(yù)測效果比較

由表1可知，BPNN-EMD-LSTM組合預(yù)測模型的相關(guān)系數(shù)(R)更接近1，從側(cè)面反映出該組合預(yù)測模型能夠很好地預(yù)測出燃?xì)馊肇?fù)荷的整體變化趨勢，且另外3個預(yù)測評價指標(biāo)即平均絕對誤差(MAPE)、最大百分比誤差(MaxPE)和均方根誤差(RMSE)都比LSTM模型和BPNN-LSTM模型小很多，說明該組合模型的預(yù)測效果比單個LSTM模型和BPNN-LSTM模型更好；然而這并不代表每天的預(yù)測結(jié)果都是組合模型最好，如1日、7日、15日BPNN-LSTM模型的預(yù)測誤差反而最小，而LSTM模型在8日和11日具有最好的預(yù)測精度。但總體上看，本文所建立的BPNN-EMD-LSTM組合模型具有更好、更穩(wěn)健的預(yù)測效果。

5 結(jié) 論

天然氣是我國推進(jìn)能源生產(chǎn)和消費(fèi)革命，實現(xiàn)主體能源綠色低碳更替的重要基礎(chǔ)，“氣荒”環(huán)境下精準(zhǔn)預(yù)測半月步長的城市燃?xì)庳?fù)荷，對燃?xì)夤芾聿块T通過天然氣競價交易機(jī)制補(bǔ)充購氣，完成“保供”任務(wù)尤為重要。本文探討了當(dāng)前國內(nèi)外燃?xì)庳?fù)荷預(yù)測的方法，并以某城市民用類燃?xì)馊肇?fù)荷為研究對象，通過對該市燃?xì)馊肇?fù)荷歷史特征進(jìn)行分析，剝離出燃?xì)庳?fù)荷的主要影響因素與其他影響因素，在此基礎(chǔ)上建立了BPNN-EMD-LSTM組合預(yù)測模型對該市燃?xì)馊肇?fù)荷的變化加以解釋。實證結(jié)果表明：該組合預(yù)測模型能很好地擬合并預(yù)測城市燃?xì)馊肇?fù)荷，比單一的LSTM模型和BPNN-LSTM模型具有更有效、更穩(wěn)健的預(yù)測效果。當(dāng)然，本文也存在殘差序列與其他影響因素間關(guān)系不明確的問題，因此在今后的研究中需要做更深入的探討?？傮w上來看，通過本文實證研究和預(yù)測模型的對比分析表明，類似BPNN-EMD-LSTM的組合模型比較適合城市短期燃?xì)馊肇?fù)荷需求預(yù)測，為相關(guān)研究提供了一種新的視角，在現(xiàn)實中具有良好的應(yīng)用前景。