基于小波變換和LSTM模型的城市天然氣負(fù)荷預(yù)測(cè)

那幸儀 賈俊鋮 趙曉筠 張 莉 李凡長(zhǎng)

1(蘇州大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 江蘇 蘇州 215000)2(蘇州大學(xué)計(jì)算機(jī)信息處理技術(shù)省級(jí)重點(diǎn)實(shí)驗(yàn)室 江蘇 蘇州 215000)3(蘇州燃?xì)饧瘓F(tuán)有限責(zé)任公司 江蘇 蘇州 215000)

0 引 言

近年來(lái)，我國(guó)從政策上加強(qiáng)了對(duì)清潔能源的支持，在一次能源消費(fèi)結(jié)構(gòu)中天然氣的比重也有所增加，天然氣供應(yīng)變得尤其重要[1-2]。由于天然氣需求迅速增多，問(wèn)題也隨之而來(lái)，天然氣供應(yīng)的巨大缺乏已經(jīng)導(dǎo)致國(guó)家連續(xù)多年的區(qū)域性“氣荒”。為加強(qiáng)天然氣的供氣能力，2017年9月于上海市石油天然氣交易中心啟動(dòng)了管道天然氣線上競(jìng)價(jià)交易機(jī)制。這個(gè)機(jī)制的建立為燃?xì)夤窘鉀Q區(qū)域性“氣荒”帶來(lái)了一定的機(jī)會(huì)，同時(shí)也給基于原有天然氣采購(gòu)合同的短期采購(gòu)帶來(lái)了新的挑戰(zhàn)，如果中長(zhǎng)期內(nèi)購(gòu)買過(guò)量的天然氣會(huì)使存儲(chǔ)成本增加。因此，找到一種可行、準(zhǔn)確的城市中長(zhǎng)期天然氣負(fù)荷預(yù)測(cè)模型和方法具有很好的應(yīng)用價(jià)值，對(duì)于城市燃?xì)夤径?，可以更有效地?guī)劃天然氣采購(gòu)，降低存儲(chǔ)成本，并降低客戶成本，提高企業(yè)利潤(rùn)。

燃?xì)庥脷庳?fù)荷預(yù)測(cè)按預(yù)測(cè)時(shí)間段可從大類上區(qū)分為中長(zhǎng)期預(yù)測(cè)與短期預(yù)測(cè)。中長(zhǎng)期預(yù)測(cè)時(shí)間段為1年、5～15年或15年以上；短期預(yù)測(cè)時(shí)間段可為24小時(shí)，7～30天?，F(xiàn)有研究主要集中在短期負(fù)荷預(yù)測(cè)上，且通常為1天，至多7～30天。預(yù)測(cè)的天數(shù)越多，預(yù)測(cè)的難度越大，預(yù)測(cè)的準(zhǔn)確度則會(huì)越低，而本文工作的一個(gè)關(guān)鍵目標(biāo)是為城市燃?xì)夤旧商烊粴饽曦?fù)荷量預(yù)測(cè)模型，以進(jìn)行準(zhǔn)確和適用的中長(zhǎng)期預(yù)測(cè)。本文選擇了中長(zhǎng)期內(nèi)1年的預(yù)測(cè)范圍，并以每日天然氣需求總量為單位進(jìn)行預(yù)測(cè)，即對(duì)未來(lái)1年(即時(shí)間步長(zhǎng)為364天)的數(shù)據(jù)進(jìn)行預(yù)測(cè)。

天然氣年負(fù)荷量預(yù)測(cè)屬于時(shí)間序列預(yù)測(cè)，這是一個(gè)一般統(tǒng)計(jì)預(yù)測(cè)很難解決好的問(wèn)題，一般基于回歸分析模型的預(yù)測(cè)或分類，未考慮時(shí)間序列中存在的觀測(cè)項(xiàng)之間的時(shí)間依賴性。循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)主要用于分析和預(yù)測(cè)時(shí)間序列數(shù)據(jù)，存儲(chǔ)先前數(shù)據(jù)并將其應(yīng)用于當(dāng)前的輸出，即隱藏層不但有與當(dāng)前時(shí)刻t輸入層的連接，同時(shí)有與上一時(shí)刻t-1隱層的連接。但是RNN保留的歷史數(shù)據(jù)會(huì)隨著時(shí)間有所衰減，即反傳過(guò)程當(dāng)中的歷史梯度有所消散。由于這個(gè)缺點(diǎn)，RNN不能應(yīng)用于較長(zhǎng)時(shí)間序列而往往用于短時(shí)間序列的數(shù)據(jù)建模，例如語(yǔ)言模型等。而RNN的一種特殊情況為長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)[3-4]，其具有一種特殊的神經(jīng)元結(jié)構(gòu)，被稱作“記憶單元”，能夠更好地調(diào)節(jié)如何從不同的輸入源學(xué)習(xí)或遺忘，解決RNN長(zhǎng)期記憶的問(wèn)題，因此LSTM具有更好的時(shí)間序列學(xué)習(xí)的能力。

在序列數(shù)據(jù)經(jīng)過(guò)小波變換處理之后，分解序列將具有比原始序列更穩(wěn)定的方差，因此它可以使處理后的數(shù)據(jù)在智能計(jì)算方法或統(tǒng)計(jì)方法預(yù)測(cè)上得到更好的結(jié)果[5]，且現(xiàn)有研究并沒(méi)有將小波變換與LSTM網(wǎng)絡(luò)組合應(yīng)用于天然氣負(fù)荷量預(yù)測(cè)。綜合考慮以上因素，本文研究并提出了一種基于小波變換和LSTM的城市天然氣年負(fù)荷量預(yù)測(cè)模型。

1 相關(guān)工作

1.1 城市燃?xì)庳?fù)荷預(yù)測(cè)

現(xiàn)有的關(guān)于城市燃?xì)庳?fù)荷預(yù)測(cè)研究主要集中在兩個(gè)方面：① 通過(guò)研究影響因素從而提高預(yù)測(cè)模型的解釋能力，常見(jiàn)的影響因素有氣象、經(jīng)濟(jì)因素和社會(huì)因素等[6-7]；② 從方法入手，使用相關(guān)方法對(duì)城市燃?xì)庳?fù)荷進(jìn)行多元化預(yù)測(cè)以提升預(yù)測(cè)模型的性能，預(yù)測(cè)方法的改進(jìn)通常集中在數(shù)據(jù)的預(yù)處理、單一模型的優(yōu)化及建立組合模型三方面。對(duì)于后者的研究較多，例如：Wei等[8]首次提出的PCCA是一種改進(jìn)的主成分分析(PCA)，可以對(duì)輸入數(shù)據(jù)進(jìn)行降維預(yù)處理，并結(jié)合LSTM，與LSTM、PCA-LSTM、反向傳播神經(jīng)網(wǎng)絡(luò)(BPNN)和支持向量回歸(SVR)相比，組合模型PCCA-LSTM表現(xiàn)出更好的性能，預(yù)測(cè)的時(shí)間步長(zhǎng)為1；孫相博等[9]提出三種改進(jìn)的灰色預(yù)測(cè)模型，相比于傳統(tǒng)的灰色模型，預(yù)測(cè)精度大幅提高，預(yù)測(cè)的時(shí)間步長(zhǎng)為1；陳川等[10]使用某市兩年多的民用類燃?xì)馊肇?fù)荷數(shù)據(jù)集，設(shè)計(jì)基于BP神經(jīng)網(wǎng)絡(luò)、經(jīng)驗(yàn)?zāi)B(tài)分解(EMD)和長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)的組合預(yù)測(cè)模型，預(yù)測(cè)的時(shí)間步長(zhǎng)為15；徐玚等[11]提出了基于回聲狀態(tài)網(wǎng)絡(luò)(ESN)和改進(jìn)徑向基函數(shù)(RBF)神經(jīng)網(wǎng)絡(luò)的組合預(yù)測(cè)模型，預(yù)測(cè)的時(shí)間步長(zhǎng)為2?，F(xiàn)有的研究主要集中在城市燃?xì)舛唐谪?fù)荷預(yù)測(cè)上，而對(duì)于中長(zhǎng)期內(nèi)的城市燃?xì)庳?fù)荷預(yù)測(cè)的相關(guān)研究較少，因此本文提出一個(gè)年步長(zhǎng)的中長(zhǎng)期城市燃?xì)庳?fù)荷預(yù)測(cè)模型。

1.2 LSTM模型

近來(lái)，人們?cè)絹?lái)越關(guān)注將深度學(xué)習(xí)架構(gòu)應(yīng)用于時(shí)間序列預(yù)測(cè)，特別是能源生產(chǎn)[12]、需求[13-14]和價(jià)格[15]預(yù)測(cè)。神經(jīng)網(wǎng)絡(luò)已成功用于機(jī)器學(xué)習(xí)問(wèn)題中，而循環(huán)神經(jīng)網(wǎng)絡(luò)已提出用來(lái)解決與時(shí)間有關(guān)的學(xué)習(xí)問(wèn)題[15]。

LSTM作為循環(huán)神經(jīng)網(wǎng)絡(luò)的一種，克服了RNN梯度消失的問(wèn)題，從而具備了處理長(zhǎng)期序列依賴的能力，這主要是由于LSTM精心設(shè)計(jì)的“門(mén)”結(jié)構(gòu)能夠刪除或向記憶單元添加信息，使得LSTM能夠記住長(zhǎng)期的信息，它們分別是輸入門(mén)、遺忘門(mén)和輸出門(mén)。

LSTM可以存儲(chǔ)長(zhǎng)期信息，總體預(yù)測(cè)效果較好，但預(yù)測(cè)結(jié)果的準(zhǔn)確性還有待提升，所以本文提出了基于小波變換和LSTM的組合模型。

2 模型設(shè)計(jì)

2.1 組合模型框架

基于小波變換和LSTM的組合模型(wavelet_LSTM)由穩(wěn)定小波變換和基準(zhǔn)LSTM模型組成，其模型框架見(jiàn)圖1。

圖1 wavelet_LSTM模型框架

首先對(duì)天然氣用氣量進(jìn)行穩(wěn)定小波變換，再分別對(duì)小波變換后得到的各成分進(jìn)行歸一化，即將數(shù)據(jù)按比例縮小至0～1之間。

(1)

式中：Xmin是數(shù)據(jù)集X的最小值；Xmax是數(shù)據(jù)集X的最大值；x是數(shù)據(jù)集的樣本；xscaled即為x歸一化后對(duì)應(yīng)的值。使用按比例縮小的數(shù)據(jù)進(jìn)行訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型可獲取更好的性能。

然后將歸一化后的數(shù)據(jù)放到基準(zhǔn)LSTM模型中進(jìn)行訓(xùn)練。本文的基準(zhǔn)LSTM模型是由具有32個(gè)LSTM神經(jīng)元的單隱藏層及頂部的完全連接層組成的神經(jīng)網(wǎng)絡(luò)，以將LSTM輸出映射到期望的目標(biāo)特征。網(wǎng)絡(luò)提供364個(gè)時(shí)間步長(zhǎng)的歷史數(shù)據(jù)點(diǎn)，并經(jīng)過(guò)訓(xùn)練以預(yù)測(cè)接下來(lái)364個(gè)時(shí)間步長(zhǎng)中的天然氣用氣量。最后，對(duì)預(yù)測(cè)結(jié)果進(jìn)行重構(gòu)，即逆穩(wěn)定小波變換，并利用評(píng)價(jià)指標(biāo)進(jìn)行驗(yàn)證。

2.2 穩(wěn)定小波變換

小波變換可以大致分為連續(xù)型小波變換(CWT)和離散型小波變換(DWT)兩類。由于實(shí)驗(yàn)中所用的天然氣用氣量數(shù)據(jù)是按天記錄的，因此對(duì)于有限的用氣量數(shù)據(jù)，本文采用離散小波變換。離散型小波變換定義為：

(2)

式中：α為尺度參數(shù)；τ為平移參數(shù)；ψ*(x)為復(fù)共軛函數(shù)；m為縮放常數(shù)(表示分解的級(jí)別數(shù))；n為平移常數(shù)；m、n均為整數(shù)。

本文采用的是離散小波變換的變形：穩(wěn)定小波變換(SWT)。穩(wěn)定小波變換可以彌補(bǔ)離散小波變換因?yàn)榭s減取樣而失去的平移不變性，因?yàn)楸疚牡幕鶞?zhǔn)LSTM模型期望輸入的各個(gè)特征維度要相同。穩(wěn)定小波變換不同于離散小波變換的部分，主要在于經(jīng)過(guò)每一階的高通濾波器和低通濾波器之后，是將濾波器提升取樣，取代離散小波變換在經(jīng)過(guò)濾波器之后的縮減取樣。

在時(shí)間序列數(shù)據(jù)分析應(yīng)用中，Daubechies小波取得廣泛應(yīng)用并表現(xiàn)出良好的性能[16-17]。在權(quán)衡了數(shù)據(jù)的維度和平滑度之后，本文采用了分解系數(shù)為2的Daubechies小波變換，變換后得到兩個(gè)低頻近似部分和兩個(gè)高頻細(xì)節(jié)部分，分別對(duì)應(yīng)圖1中的cA1、cA2和cD1、cD2。分解系數(shù)為2的穩(wěn)定小波變換的數(shù)位實(shí)現(xiàn)模型如圖2所示。

圖2 穩(wěn)定小波變換的數(shù)位實(shí)現(xiàn)模型

圖2中x[n]是原始信號(hào)，gi[n]為第i階的低通濾波器，hj[n]為第j階的高通濾波器。穩(wěn)定小波變換算法步驟如下：

(1) 原始信號(hào)與高通濾波器做旋積分之后會(huì)得到此信號(hào)中高頻的成分xi,H[n]。此高頻的成分為第i個(gè)高頻的輸出。(2) 原始信號(hào)與低通濾波器做旋積分后會(huì)得到信號(hào)中低頻的成分xj,L[n]，此低頻的成分再作為下一階j+1階濾波器的輸入。

重復(fù)上述兩個(gè)步驟，即可將信號(hào)作多階(此處為二階)的穩(wěn)定小波變換。

2.3 LSTM網(wǎng)絡(luò)

LSTM提供長(zhǎng)期記憶的能力，因此可以對(duì)天然氣日負(fù)荷進(jìn)行長(zhǎng)達(dá)364天的預(yù)測(cè)。LSTM神經(jīng)元通過(guò)輸入門(mén)、遺忘門(mén)和輸出門(mén)的狀態(tài)組合來(lái)實(shí)現(xiàn)這一點(diǎn)。

在信息傳遞過(guò)程中，LSTM通過(guò)當(dāng)前時(shí)刻輸入、上一時(shí)刻隱藏層狀態(tài)、上一時(shí)刻記憶單元狀態(tài)和門(mén)結(jié)構(gòu)來(lái)增加或刪除記憶單元狀態(tài)中的信息。門(mén)結(jié)構(gòu)用來(lái)控制增加或刪除信息的程度：利用輸入門(mén)，記憶單元可以決定是否更新單元狀態(tài)；利用遺忘門(mén)，記憶單元可以刪除其記憶；通過(guò)輸出門(mén)，記憶單元可以決定輸出信息是否可用。更新后的記憶單元狀態(tài)由以下兩部分構(gòu)成：① 來(lái)自上一時(shí)刻舊的記憶單元狀態(tài)信息；② 當(dāng)前輸入新生成的信息。最后，基于更新的記憶單元狀態(tài)輸出隱藏狀態(tài)[18]。因此，LSTM網(wǎng)絡(luò)的關(guān)鍵就是通過(guò)記憶單元的狀態(tài)長(zhǎng)期存儲(chǔ)數(shù)據(jù)的信息[19]。

本文實(shí)現(xiàn)的為對(duì)未來(lái)364天的天然氣日負(fù)荷量預(yù)測(cè)，建立的預(yù)測(cè)模型為：

y=f(x1,x2,…,x364)

(3)

式中：y為未來(lái)364天的天然氣日負(fù)荷量；x1，x2，…，x364為當(dāng)前時(shí)刻之前的364天的天然氣日負(fù)荷量。

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)來(lái)源及預(yù)處理

城市燃?xì)夤緸榇斯ぷ魈峁┝艘粋€(gè)多變量數(shù)據(jù)集，包含2008年—2017年共10年的每日數(shù)據(jù)。數(shù)據(jù)集記錄包括天然氣每日總用氣量(單位：立方米)、日平均氣溫、節(jié)假日、天然氣用戶數(shù)量、seasonal和日期等字段，如表1所示。其中，seasonal是通過(guò)STL(Seasonal and Trend decomposition using Loess)分解獲取的季節(jié)項(xiàng)。該數(shù)據(jù)集共3 653條記錄，包括2008年1月1日至2017年12月31日的每日數(shù)據(jù)，將2008年—2016年這9年的數(shù)據(jù)作為訓(xùn)練集，將2017年的數(shù)據(jù)作為測(cè)試集。

表1 數(shù)據(jù)集特征

城市天然氣負(fù)荷數(shù)據(jù)表明，節(jié)日假期(例如春節(jié))的天然氣負(fù)荷量顯著增加，因此數(shù)據(jù)集中包含“holiday”字段特征。

分解作為一種抽象化工具，主要用于時(shí)間序列分析，可以為模型的數(shù)據(jù)預(yù)測(cè)提供幫助。STL分解是一種把時(shí)間序列分解為趨勢(shì)項(xiàng)、季節(jié)項(xiàng)和余項(xiàng)的過(guò)濾過(guò)程。本文使用STL分解的乘法模型對(duì)所有天然氣實(shí)際使用量的對(duì)數(shù)值進(jìn)行自動(dòng)分解，頻率為364。將分解獲取的三種成分加入到訓(xùn)練數(shù)據(jù)中，經(jīng)模型訓(xùn)練實(shí)驗(yàn)表明，加入季節(jié)項(xiàng)后的模型預(yù)測(cè)效果會(huì)有所提升，而趨勢(shì)項(xiàng)和余項(xiàng)成分影響不大。

對(duì)天然氣用氣量“gas”特征進(jìn)行穩(wěn)定小波變換，使用的小波對(duì)象為Daubechies 2，變換后得到兩個(gè)低頻近似部分cA1、cA2和兩個(gè)高頻細(xì)節(jié)部分cD1、cD2。以一年的數(shù)據(jù)為例，注意此處為364天，因?yàn)榉€(wěn)定小波變換方法要求原始信號(hào)的維度是偶數(shù)，如圖3所示。

(a)

(b)圖3 小波變換結(jié)果

對(duì)原始數(shù)據(jù)進(jìn)行對(duì)數(shù)轉(zhuǎn)換可以減輕指數(shù)效應(yīng)[20]，因此本項(xiàng)目模型的目標(biāo)變量是燃?xì)鈱?shí)際使用量的對(duì)數(shù)值，經(jīng)模型訓(xùn)練實(shí)驗(yàn)表明，將實(shí)際值取對(duì)數(shù)進(jìn)行訓(xùn)練確實(shí)可以改善模型的性能：

y′=log(y)

(4)

在對(duì)低頻成分cA1、cA2訓(xùn)練時(shí)，分別將其對(duì)數(shù)值加入數(shù)據(jù)集，以進(jìn)行更好的訓(xùn)練和預(yù)測(cè)。

3.2 組合模型實(shí)現(xiàn)

將數(shù)據(jù)集進(jìn)行劃分，其中2 923天作為訓(xùn)練集，364天作為測(cè)試集，并使用滑動(dòng)窗口創(chuàng)建訓(xùn)練和測(cè)試數(shù)據(jù)。要?jiǎng)?chuàng)建364天的預(yù)測(cè)，輸入數(shù)據(jù)X是多變量數(shù)據(jù)的364個(gè)時(shí)間步長(zhǎng)，目標(biāo)輸出Y是接下來(lái)364個(gè)時(shí)間步長(zhǎng)的用氣量，即輸入歷史天然氣用氣量，來(lái)預(yù)測(cè)未來(lái)一年的天然氣用氣量，圖4展示了用于創(chuàng)建一個(gè)訓(xùn)練示例的方法。

圖4 窗口滑動(dòng)

接下來(lái)對(duì)天然氣用氣量進(jìn)行穩(wěn)定小波變換，將獲取的四個(gè)成分分別加入訓(xùn)練集和測(cè)試集；對(duì)數(shù)據(jù)進(jìn)行歸一化處理后分別放到LSTM模型中進(jìn)行訓(xùn)練；本文的LSTM模型是由具有32個(gè)LSTM神經(jīng)元的單隱藏層及頂部的SELU全連接層組成的神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)的搭建基于深度學(xué)習(xí)框架Keras。得到訓(xùn)練好的模型后，分別在驗(yàn)證集的小波分解后的四個(gè)成分上進(jìn)行預(yù)測(cè)，最后使用逆穩(wěn)定小波變換對(duì)預(yù)測(cè)出的驗(yàn)證集的四個(gè)成分進(jìn)行信號(hào)重構(gòu)，與驗(yàn)證集的原始信號(hào)進(jìn)行實(shí)驗(yàn)比對(duì)。

編譯Keras模型時(shí)通常需要很多參數(shù)，其中有兩個(gè)重要參數(shù)分別是損失函數(shù)(或稱目標(biāo)函數(shù)、優(yōu)化評(píng)分函數(shù))和優(yōu)化器。在基準(zhǔn)LSTM中使用均方誤差函數(shù)作為損失函數(shù)，并使用RMSprop優(yōu)化器。優(yōu)化器的初始學(xué)習(xí)速率設(shè)定值為0.005，隨著梯度到達(dá)穩(wěn)定的水平，學(xué)習(xí)率會(huì)以0.1的衰減因子逐漸減小，將最小學(xué)習(xí)率設(shè)置為0.000 1，將patience設(shè)置為0。雖然Adam和RMSprop優(yōu)化器都確實(shí)收斂到低損失值，但是RMSprop能夠?qū)崿F(xiàn)更低的損失，并且通常會(huì)在較少的訓(xùn)練迭代次數(shù)內(nèi)收斂。將訓(xùn)練網(wǎng)絡(luò)預(yù)設(shè)為迭代20次，使用EarlyStopping以防止過(guò)擬合，patience值的迭代次數(shù)設(shè)置為5，即在出現(xiàn)5個(gè)epoch的驗(yàn)證集損失沒(méi)有減小的情形時(shí)提前終止訓(xùn)練。此外，在基準(zhǔn)LSTM模型的全連接層使用預(yù)定義激活函數(shù)中的SELU激活函數(shù)。

3.3 模型比較

使用SVR、ARIMA等方法進(jìn)行的初步嘗試并未得到令人滿意的結(jié)果。在更長(zhǎng)的時(shí)間間隔內(nèi)，這些模型似乎無(wú)法捕捉到有意義的長(zhǎng)期趨勢(shì)。

本節(jié)給出了本文方法的實(shí)證結(jié)果，并與基準(zhǔn)LSTM、支持向量回歸機(jī)(SVR)和差分整合移動(dòng)平均自回歸(ARIMA)進(jìn)行了對(duì)比。實(shí)驗(yàn)采用平均絕對(duì)誤差(MAE)、平均絕對(duì)百分誤差(MAPE)和平均絕對(duì)范圍標(biāo)準(zhǔn)化誤差(MARNE)分別對(duì)ARIMA、SVR、基準(zhǔn)LSTM和wavelet_LSTM進(jìn)行了評(píng)比。MAE、MAPE和MARNE三個(gè)指標(biāo)的定義分別如下：

(5)

(6)

(7)

表2 各模型預(yù)測(cè)結(jié)果

可以看出傳統(tǒng)時(shí)間序列預(yù)測(cè)方法預(yù)測(cè)準(zhǔn)確性較差，無(wú)法捕捉長(zhǎng)期復(fù)雜趨勢(shì)，機(jī)器學(xué)習(xí)方法的預(yù)測(cè)準(zhǔn)確性一般，深度學(xué)習(xí)方法在預(yù)測(cè)準(zhǔn)確性上有很大程度的提升，而本文提出的wavelet_LSTM平均絕對(duì)誤差和平均絕對(duì)百分誤差均下降，預(yù)測(cè)偏差浮動(dòng)范圍也有所減小，在天然氣年負(fù)荷預(yù)測(cè)上有較高的準(zhǔn)確性。

LSTM模型為輸入數(shù)據(jù)的每一個(gè)時(shí)間步長(zhǎng)生成單個(gè)時(shí)間步長(zhǎng)的輸出，當(dāng)模型僅運(yùn)行幾個(gè)時(shí)間步時(shí)，它從輸入信號(hào)中學(xué)習(xí)到的歷史信息很少，還不能做出精確的預(yù)測(cè)，因此LSTM模型的預(yù)測(cè)對(duì)前幾個(gè)時(shí)間步長(zhǎng)來(lái)講并不是非常精確。該模型需要通過(guò)處理大約20～30個(gè)時(shí)間步長(zhǎng)來(lái)“預(yù)熱”，然后才能展現(xiàn)較好的預(yù)測(cè)結(jié)果。以364個(gè)時(shí)間步長(zhǎng)為例進(jìn)行測(cè)試集的展示，基準(zhǔn)LSTM模型預(yù)測(cè)效果如圖5所示。

圖5 基準(zhǔn)LSTM預(yù)測(cè)效果

本文嘗試從數(shù)據(jù)和模型兩個(gè)方面入手：在數(shù)據(jù)方面，嘗試將天然氣數(shù)據(jù)去趨勢(shì)化，即將天然氣數(shù)據(jù)按年做差分，使用基準(zhǔn)LSTM模型對(duì)364個(gè)步長(zhǎng)的差值進(jìn)行訓(xùn)練及預(yù)測(cè)，最終加上預(yù)測(cè)年前一年的數(shù)據(jù)即為預(yù)測(cè)年的數(shù)據(jù)；在模型方面，為基準(zhǔn)LSTM網(wǎng)絡(luò)另加一層隱藏層，使之變?yōu)閷盈BLSTM網(wǎng)絡(luò)(Stacked LSTM)，即有2個(gè)隱藏LSTM層的網(wǎng)絡(luò)模型。但這兩種實(shí)驗(yàn)結(jié)果較之前相比并無(wú)明顯提升。

將小波變換與基準(zhǔn)LSTM模型相結(jié)合，即將驗(yàn)證集穩(wěn)定小波變換后獲取的四個(gè)成分分別放入到訓(xùn)練好的LSTM模型進(jìn)行預(yù)測(cè)，最后進(jìn)行信號(hào)重構(gòu)并與原始信號(hào)進(jìn)行對(duì)比。以364個(gè)時(shí)間步長(zhǎng)為例進(jìn)行測(cè)試集的展示，預(yù)測(cè)效果如圖6所示。預(yù)測(cè)的天數(shù)越多，預(yù)測(cè)的難度越大，預(yù)測(cè)的準(zhǔn)確度會(huì)越低。而本文的wavelet_LSTM相比于基準(zhǔn)LSTM模型，有較高的準(zhǔn)確性，在天然氣年負(fù)荷預(yù)測(cè)上有較好的表現(xiàn)，可以較好地滿足城市燃?xì)夤镜臉I(yè)務(wù)需求。

圖6 wavelet_LSTM預(yù)測(cè)效果

4 結(jié) 語(yǔ)

本文探索了傳統(tǒng)時(shí)間序列預(yù)測(cè)方法、機(jī)器學(xué)習(xí)模型和深度學(xué)習(xí)時(shí)間序列預(yù)測(cè)模型在天然氣需求預(yù)測(cè)方面的應(yīng)用，提出了基于小波變換和LSTM的組合模型，相比于基準(zhǔn)LSTM模型，其預(yù)測(cè)準(zhǔn)確性有所提高，是一種可行、準(zhǔn)確的城市中長(zhǎng)期天然氣負(fù)荷預(yù)測(cè)模型。

從預(yù)測(cè)效果來(lái)看，一些過(guò)高或過(guò)低的峰值并沒(méi)有擬合到，由于該燃?xì)夤静](méi)有對(duì)異常數(shù)據(jù)做相關(guān)判斷和記錄，且沒(méi)有異常值數(shù)據(jù)可以提供，本文并沒(méi)有相關(guān)依據(jù)判斷其是否為異常值，所以不能做進(jìn)一步處理。未來(lái)工作將對(duì)wavelet_LSTM進(jìn)行一般適用性的探索。