基于長(zhǎng)短期記憶網(wǎng)絡(luò)的售電量預(yù)測(cè)模型研究

方志強(qiáng)， 王曉輝， 夏 通

( 國(guó)網(wǎng)浙江省電力有限公司麗水供電公司，浙江 麗水 323050)

0 引言

隨著國(guó)家經(jīng)濟(jì)的高速發(fā)展，電力事業(yè)也處在大力發(fā)展的階段，準(zhǔn)確地對(duì)售電量進(jìn)行預(yù)測(cè)具有重要意義，一方面供電企業(yè)可以據(jù)此調(diào)整未來供電量，優(yōu)化供電結(jié)構(gòu)，提高電力系統(tǒng)運(yùn)行的安全性；另一方面，售電量作為經(jīng)濟(jì)發(fā)展的晴雨表，能幫助政府和供電公司了解本地區(qū)的經(jīng)濟(jì)發(fā)展情況，進(jìn)而為管理者對(duì)售電定價(jià)、用電策略等決策[1]提供數(shù)據(jù)支撐，并有助于統(tǒng)籌所有行業(yè)的發(fā)展規(guī)劃。

根據(jù)售電量歷史數(shù)據(jù)對(duì)未來售電量進(jìn)行預(yù)測(cè)，在本質(zhì)上可以歸納為時(shí)間序列預(yù)測(cè)問題。時(shí)間序列是指將某種統(tǒng)計(jì)指標(biāo)在不同時(shí)刻所表示的數(shù)值按照其發(fā)生的先后順序排列而成的序列，而時(shí)間序列數(shù)據(jù)則是時(shí)間序列所反應(yīng)的實(shí)際數(shù)據(jù)。影響售電量的因素是多樣的，不僅僅在時(shí)間軸上與售電量自身因素有關(guān)，還與季節(jié)、氣溫、氣候、經(jīng)濟(jì)發(fā)展、周末情況、節(jié)假日情況等因素有關(guān)，因此該預(yù)測(cè)問題是多條件的時(shí)間序列預(yù)測(cè)問題。

基于歷史時(shí)間序列數(shù)據(jù)對(duì)未來數(shù)據(jù)進(jìn)行預(yù)測(cè)的問題已經(jīng)得到了國(guó)內(nèi)外廣泛的研究。較早的方法是英國(guó)統(tǒng)計(jì)學(xué)家YULE U提出的自回歸模型(AR)，在該模型基礎(chǔ)上，WALKER G T提出了滑動(dòng)平均模型(MA)以及自回歸滑動(dòng)模型(ARMA)。由于ARMA模型無法很好地在非平穩(wěn)數(shù)據(jù)上進(jìn)行擬合，BOX和JENKINS提出了自回歸積分滑動(dòng)模型(ARIMA)[2]。文獻(xiàn)[3—5]給出了基于ARIMA模型的售電量預(yù)測(cè)方法，通過將售電量序列看成一個(gè)隨機(jī)序列，運(yùn)用一個(gè)數(shù)學(xué)模型來描述，并基于該模型預(yù)測(cè)未來的售電量數(shù)據(jù)。

除了經(jīng)典的自回歸模型，THISSEN U和GUI B提出了支持向量機(jī)的時(shí)間序列數(shù)據(jù)預(yù)測(cè)方法[6-7]，程海濤等[8]提出一種支持向量機(jī)結(jié)合X11季節(jié)調(diào)整方法用于短期電力負(fù)荷預(yù)測(cè)。宋曉華等[9]提出一種基于改進(jìn)GM(1,1)和支持向量機(jī)的優(yōu)化組合預(yù)測(cè)模型，該模型在對(duì)比較復(fù)雜的序列數(shù)據(jù)進(jìn)行預(yù)測(cè)時(shí)，在性能上要高于ARIMA模型。張魁等[10]利用大數(shù)據(jù)技術(shù)通過比對(duì)GDP和電量負(fù)荷的增長(zhǎng)趨勢(shì)，并且引用政策因素對(duì)電量負(fù)荷進(jìn)行預(yù)測(cè)。此外，由于售電量數(shù)據(jù)產(chǎn)生通常都是非線性的，受多種因素影響，線性模型通常無法得到較高的預(yù)測(cè)精度，而基于人工神經(jīng)網(wǎng)絡(luò)(ANNs)的售電量預(yù)測(cè)方法[11-13]能夠執(zhí)行非線性模型，進(jìn)一步提高了預(yù)測(cè)的準(zhǔn)確性。

深度學(xué)習(xí)是近幾年提出的一種非常有效的自動(dòng)提取數(shù)據(jù)特征的有效方法[14]，例如循環(huán)神經(jīng)網(wǎng)絡(luò)(RNNs)模型[15]是一種適合于處理序列數(shù)據(jù)的模型，它基于循環(huán)的網(wǎng)絡(luò)結(jié)構(gòu)能夠利用序列數(shù)據(jù)本身的序列信息，發(fā)現(xiàn)序列的內(nèi)在規(guī)律和特征，如將RNNs模型應(yīng)用于股票預(yù)測(cè)[16]、軌跡位置預(yù)測(cè)[17]、語音識(shí)別[18]、自然語言處理[19-20]等領(lǐng)域。

長(zhǎng)短期記憶網(wǎng)絡(luò)(long-short term memory，LSTM)是一種改進(jìn)的RNNs模型，它通過修改RNNs 結(jié)構(gòu)中的隱藏層神經(jīng)元，解決了RNNs無法有效地利用長(zhǎng)間隔序列的問題。為了提高售電量數(shù)據(jù)的預(yù)測(cè)準(zhǔn)確性，本文提出一種基于長(zhǎng)短期記憶網(wǎng)絡(luò)的售電量預(yù)測(cè)模型，該模型通過自動(dòng)學(xué)習(xí)售電量歷史數(shù)據(jù)以及影響因素?cái)?shù)據(jù)特征，能夠得到更好地預(yù)測(cè)準(zhǔn)確度。

1 深度學(xué)習(xí)基本模型

循環(huán)神經(jīng)網(wǎng)絡(luò) (RNNs)在20世紀(jì)80年代被提出，與傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)相比，其循環(huán)的網(wǎng)絡(luò)結(jié)構(gòu)使其可以充分利用序列數(shù)據(jù)本身的序列信息。

傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)中各個(gè)神經(jīng)元的輸入與輸出都是相互獨(dú)立的，不直接作用于彼此，且保持層間全連接，層內(nèi)無連接。而在 RNNs 中，神經(jīng)元在當(dāng)前時(shí)刻的輸出可以在下一時(shí)刻作用于其自身，這就使得循環(huán)神經(jīng)網(wǎng)絡(luò)可以利用歷史輸入信息，而不僅僅只是根據(jù)當(dāng)前時(shí)刻的輸入數(shù)據(jù)來更新權(quán)重，如圖1所示，橫向上 RNNs 按時(shí)間步長(zhǎng)展開，其各時(shí)間步共享權(quán)重。

圖1 RNNs網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of RNNs network

(1)

(2)

式中：i表示輸入特征向量的維度；k表示輸出特征向量維度；h表示隱層；h′表示前一時(shí)間步的隱層；H表示總隱層單元數(shù)；φ表示激活函數(shù)；W1表示輸入層到隱藏層的權(quán)重；W2表示自循環(huán)層權(quán)重；W3表示隱藏層到輸出層的權(quán)重。

RNNs使用基于時(shí)間的反向傳播學(xué)習(xí)算法 (BPTT)[21]進(jìn)行訓(xùn)練，反向傳播時(shí)將網(wǎng)絡(luò)按時(shí)間展開，誤差將按時(shí)間順序從最后一個(gè)時(shí)刻往前進(jìn)行傳播， 最后進(jìn)行權(quán)重更新。

因?yàn)镽NNs特殊的網(wǎng)絡(luò)結(jié)構(gòu)，使得其可以充分學(xué)習(xí)到序列數(shù)據(jù)中前后數(shù)據(jù)的關(guān)聯(lián)關(guān)系，所以 RNNs被廣泛地應(yīng)用于時(shí)間序列類問題。

2 長(zhǎng)短期記憶網(wǎng)絡(luò)

由于RNNs在訓(xùn)練時(shí)采用BPTT反向傳播算法，當(dāng)遇到長(zhǎng)間隔的序列在反向傳播通過鏈?zhǔn)椒▌t求梯度時(shí)會(huì)出現(xiàn)梯度消失的現(xiàn)象[22]，且梯度消失現(xiàn)象隨著時(shí)間跨度越長(zhǎng)越嚴(yán)重，這使得 RNNs 在針對(duì)長(zhǎng)范圍的序列時(shí)難以有效地進(jìn)行訓(xùn)練。

為了解決 RNNs 無法有效地利用長(zhǎng)間隔序列問題，HOCHREITER S和SCHMIDHUBER J修改了RNNs 結(jié)構(gòu)中的隱藏層神經(jīng)元，將其設(shè)計(jì)成了一種被稱為長(zhǎng)短期記憶網(wǎng)絡(luò)(long-short term memory，LSTM)的記憶單元結(jié)構(gòu)[23-24]，通過3種門結(jié)構(gòu): 遺忘門,輸入門和輸出門來控制神經(jīng)元對(duì)歷史信息的記憶，如圖2所示,t時(shí)刻的計(jì)算過程如下。

圖2 LSTM記憶單元Fig.2 LSTM memory cell

(3)

ft=sigmoid(Wxfxt+Whfht-1+Wcfct+bf)

(4)

ct=ftct-1+ittanh(Wxcxt+Whcht-1+bc)

(5)

ot=sigmoid(Wxoxt+Whoht-1+Wcoct+bo)

(6)

ht=ottanh(ct)

(7)

式中 ：i,f,o分別表示輸入門，遺忘門，輸出門；c表示記憶單元；h表示隱層輸出，其下標(biāo)表示時(shí)刻t；W表示連接權(quán)重，其下標(biāo)表示權(quán)重關(guān)聯(lián)項(xiàng)，例如Wxi表示從輸入層到輸入門的連接權(quán)重，b為偏置項(xiàng)。根據(jù)i,f,o在[0, 1]范圍的取值，來控制歷史信息通過門結(jié)構(gòu)的比例。tanh、sigmoid則為激活函數(shù)。

3 基于LSTM的售電量預(yù)測(cè)模型

3.1 售電量與影響因素相關(guān)性

由于售電量數(shù)據(jù)涉及多個(gè)產(chǎn)業(yè)，每個(gè)產(chǎn)業(yè)又包括多個(gè)行業(yè)，每個(gè)行業(yè)在售電量方面都有各自的影響因素，故需要對(duì)各個(gè)行業(yè)進(jìn)行分類處理。

使用Pearson相關(guān)系數(shù)[25]作為每個(gè)行業(yè)的售電量數(shù)據(jù)與其他影響因素?cái)?shù)據(jù)特征的相關(guān)性的評(píng)價(jià)依據(jù)，其計(jì)算方法如下：

(8)

式中：r表示Pearson相關(guān)系數(shù),取值范圍為[-1,1]，其中0表示不相關(guān)，其值越接近1則正相關(guān)性越大，越接近-1則是負(fù)相關(guān)性越大；x和y為兩個(gè)數(shù)據(jù)特征變量；Cov(x,y)表示協(xié)方差；σx，σy表示標(biāo)準(zhǔn)差。

通過以上計(jì)算結(jié)果可以知道兩個(gè)數(shù)據(jù)特征變量之間是否相關(guān)，如售電量數(shù)據(jù)與氣溫?cái)?shù)據(jù)的相關(guān)性，售電量數(shù)據(jù)與GDP數(shù)據(jù)的相關(guān)性,售電量數(shù)據(jù)與投資數(shù)據(jù)的相關(guān)性，售電量數(shù)據(jù)與日期數(shù)據(jù)的相關(guān)性等。對(duì)于不相關(guān)的影響因素或相關(guān)性弱的影響因素則予以排除。

3.2 行業(yè)售電量聚類

由于每個(gè)行業(yè)的售電量情況不同，根據(jù)每個(gè)行業(yè)售電量單獨(dú)訓(xùn)練模型，將使訓(xùn)練過程過于復(fù)雜且訓(xùn)練模型數(shù)量眾多。故本文提出先根據(jù)Pearson相關(guān)系數(shù)使用K-means算法對(duì)行業(yè)進(jìn)行聚類，將售電量特征相似的行業(yè)聚為一類，這將大幅減少模型的數(shù)量。聚類之后得到若干個(gè)簇，每個(gè)簇包含了若干行業(yè)，同一簇中行業(yè)的售電量數(shù)據(jù)對(duì)某些數(shù)據(jù)特征具有一定的相似性，聚類算法如下：

輸入：售電量序列數(shù)據(jù)，Pearson相關(guān)系數(shù)集合D={x1,x2,…,xm}，xi表示第i個(gè)行業(yè)的相關(guān)系數(shù)向量，其中的每一維表示與售電量相關(guān)的影響因素，m表示行業(yè)個(gè)數(shù)，聚類簇?cái)?shù)是k；

輸出：簇劃分R；

步驟：從相關(guān)系數(shù)集合D中隨機(jī)選取k個(gè)行業(yè)的相關(guān)系數(shù)向量作為初始均值向量μ={μ1,μ2,…μk}，其中μi是第i個(gè)行業(yè)的相關(guān)系數(shù)向量。

(1) do

(2)R=Φ

(3) forj= 1,2,…,mdo

(4) 計(jì)算xj與μi的距離，根據(jù)距離最近的均值向量確定xj的簇劃分

(5) end for

(6) fori=1,2,3,…,kdo

(7) 計(jì)算新均值向量μi′

(8) 如果μi′!=μi則更新μi否則保持不變

(9) while(μ不再更新)

3.3 數(shù)據(jù)歸一化處理

由于售電量數(shù)值與影響因素的數(shù)值相差較大，故必須對(duì)這些數(shù)據(jù)進(jìn)行歸一化處理，將各類數(shù)值縮放到同一尺度，縮放公式如下：

(9)

式中：x為每一類數(shù)據(jù)的原始數(shù)值；xmin為每一類數(shù)據(jù)的最小值；xmax為每一類數(shù)據(jù)的最大值，x*為該類數(shù)據(jù)計(jì)算得到的數(shù)值。

3.4 多條件售電量預(yù)測(cè)模型

設(shè)售電量時(shí)間序列數(shù)據(jù)為：

X=(x1,x2,…,xt-1,xt)

(10)

式中：xt是t時(shí)刻的售電量，則售電量預(yù)測(cè)問題即是根據(jù)已知時(shí)間序列數(shù)據(jù)X，求得xt+1時(shí)刻的最大似然估計(jì)P(x):

(11)

由于售電量不僅僅受自身歷史數(shù)據(jù)的影響，也受其他各種相關(guān)因素的影響，即是多條件時(shí)間序列問題。由此，公式(8)變成如下形式：

(12)

式中：xt表示t時(shí)刻的售電量;ht表示t時(shí)刻額外的影響因素。

公式(11)與公式(12)是售電量預(yù)測(cè)的目標(biāo)，通過在已知?dú)v史售電量和外部影響因素?cái)?shù)據(jù)求得下一日的售電量的條件概率P(xy)，該條件概率通過LSTM模型進(jìn)行擬合，如上公式(1—7)給出t時(shí)刻的計(jì)算過程，其中公式(6)為模型輸出，即售電量預(yù)測(cè)數(shù)值。由于LSTM存在門結(jié)構(gòu)和記憶單元可以控制歷史信息在神經(jīng)網(wǎng)絡(luò)中的傳遞，從而使得本文模型可以充分的利用歷史售電量數(shù)據(jù)，此外施加的外部影響因素?cái)?shù)據(jù)也會(huì)對(duì)售電量預(yù)測(cè)模型產(chǎn)生影響。

3.5 售電量預(yù)測(cè)過程

圖3給出了基于長(zhǎng)短期記憶網(wǎng)絡(luò)的售電量預(yù)測(cè)的過程圖。該過程以售電量數(shù)據(jù)和外部影響因素?cái)?shù)據(jù)作為輸入。首先分別計(jì)算各個(gè)影響因素與各個(gè)行業(yè)售電量的相關(guān)系數(shù)，并且以行業(yè)數(shù)作為行數(shù)，以影響因素?cái)?shù)作為列數(shù)，構(gòu)建該行業(yè)聚類特征矩陣：

(13)

圖3 售電量預(yù)測(cè)過程Fig.3 Sales forecasting process

其次，根據(jù)聚類結(jié)果劃分原始售電量數(shù)據(jù)集，將相似的行業(yè)的售電量數(shù)據(jù)劃分為同一個(gè)子集，同時(shí)對(duì)同一子集中的所有售電量數(shù)據(jù)按日期進(jìn)行累加得到該子集的日總售電量數(shù)據(jù)。

最后，根據(jù)以上子集劃分情況，分別訓(xùn)練與劃分?jǐn)?shù)量對(duì)應(yīng)數(shù)量的模型。在預(yù)測(cè)階段，對(duì)每個(gè)簇的行業(yè)總售電量進(jìn)行獨(dú)立預(yù)測(cè)，每個(gè)模型將輸出相應(yīng)簇的售電量預(yù)測(cè)數(shù)值，最終將多個(gè)模型的預(yù)測(cè)結(jié)果進(jìn)行累加得到總的日售電量預(yù)測(cè)結(jié)果。

4 實(shí)驗(yàn)與分析

本文結(jié)合實(shí)際售電量數(shù)據(jù)對(duì)所提出的預(yù)測(cè)方法進(jìn)行了驗(yàn)證。數(shù)據(jù)來自某市總計(jì)10個(gè)電力部門共106個(gè)行業(yè)的日售電量數(shù)據(jù)，總數(shù)據(jù)集大小為178 793條，106個(gè)行業(yè)的總售電量如圖4所示，時(shí)間跨度為2015年1月至2017年5月。將2015年1月1日至2016年12月31日的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集，將2017年1月1日至2017年5月31日的數(shù)據(jù)作為測(cè)試數(shù)據(jù)集。以15 d為預(yù)測(cè)單位，即根據(jù)歷史售電量信息每次預(yù)測(cè)未來15 d的售電量的值。

圖4 某市106個(gè)行業(yè)總售電量Fig.4 A city 106 total sales of electricity industry

同時(shí)考慮到不同行業(yè)所受影響因素不同，初步選取的影響因素包括：日最高氣溫，日最低氣溫，節(jié)假日情況，周末情況，季度，每月中的第幾天，每年中的第幾天，周數(shù)，每周中的第幾天，GDP，地區(qū)投資數(shù)據(jù)。

將以上影響因素分別與售電量數(shù)據(jù)計(jì)算Pearson相關(guān)系數(shù)，并執(zhí)行K-means算法進(jìn)行聚類，圖5給出通過t-SNE算法將聚類結(jié)果進(jìn)行可視化的聚類結(jié)果圖，t-SNE算法將數(shù)據(jù)從高維空間映射至二維空間中，通過橫軸和縱軸指示數(shù)據(jù)點(diǎn)在二維空間中的位置并展示數(shù)據(jù)點(diǎn)與數(shù)據(jù)點(diǎn)間的距離。

圖5 聚類結(jié)果可視化Fig.5 Visualization of clustering results

實(shí)驗(yàn)環(huán)境為一臺(tái)GPU服務(wù)器，CPU為Intel Xeon E5—2680 v4，內(nèi)存為64 GB，GPU為Nvidia TiTan XP，軟件平臺(tái)為Google Tensorflow。選擇BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型[26]與本文提出的預(yù)測(cè)模型進(jìn)行比較，該模型具有較好預(yù)測(cè)準(zhǔn)確性，以突出本文方法的優(yōu)勢(shì)。

為了評(píng)估預(yù)測(cè)值與真實(shí)值的誤差，本文選用均方誤差(mean squared error，MSE)作為評(píng)價(jià)指標(biāo)，同時(shí)MSE也作為L(zhǎng)STM售電量預(yù)測(cè)模型的目標(biāo)函數(shù)，目標(biāo)函數(shù)如下：

(14)

本文使用3層LSTM網(wǎng)絡(luò)對(duì)售電量數(shù)據(jù)進(jìn)行預(yù)測(cè)，在每層LSTM間使用dropout抑制模型過擬合現(xiàn)象。使用如上所示的訓(xùn)練集，在本實(shí)驗(yàn)環(huán)境中對(duì)模型進(jìn)行訓(xùn)練，如圖6所示，經(jīng)過200次迭代模型即可收斂，訓(xùn)練總計(jì)用時(shí)8 min左右。

圖6 模型收斂曲線Fig.6 Convergence curves for LSTM model

通過行業(yè)聚類將數(shù)據(jù)集按行業(yè)進(jìn)行劃分，預(yù)測(cè)階段也將按照聚類結(jié)果分別進(jìn)行預(yù)測(cè)，圖7給出了LSTM模型與BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果，其中LSTM模型的預(yù)測(cè)結(jié)果為根據(jù)子集劃分情況分別預(yù)測(cè)后累加而成的總售電量預(yù)測(cè)。從圖7中可以看到LSTM網(wǎng)絡(luò)預(yù)測(cè)模型相比于BP神經(jīng)網(wǎng)絡(luò)更貼近真實(shí)值，預(yù)測(cè)誤差較小，即使數(shù)據(jù)出現(xiàn)突降也能很好地進(jìn)行預(yù)測(cè)。LSTM網(wǎng)絡(luò)與BP神經(jīng)網(wǎng)絡(luò)的MSE值分別為0.009 2與0.028 51，平均誤差分別為2.1%與15.8%，由此可發(fā)現(xiàn)基于LSTM的售電量預(yù)測(cè)模型相比BP神經(jīng)網(wǎng)絡(luò)模型在預(yù)測(cè)精度上具有較大的提升。

圖7 售電量預(yù)測(cè)結(jié)果對(duì)比Fig.7 Comparison figure of the result of electricity sale forecast

5 結(jié)語

為了提高售電量預(yù)測(cè)的準(zhǔn)確性，本文提出了一種基于長(zhǎng)短期記憶網(wǎng)絡(luò)的售電量預(yù)測(cè)方法，通過分析售電量數(shù)據(jù)及其影響因素的相關(guān)性，根據(jù)各個(gè)行業(yè)的數(shù)據(jù)特征將相似的行業(yè)進(jìn)行聚類，并根據(jù)聚類結(jié)果訓(xùn)練長(zhǎng)短期記憶網(wǎng)絡(luò)，自動(dòng)學(xué)習(xí)售電量數(shù)據(jù)以及相關(guān)影響因素的數(shù)據(jù)特征，通過所設(shè)計(jì)的多條件時(shí)間序列預(yù)測(cè)模型得到更好的售電量預(yù)測(cè)結(jié)果。

參考文獻(xiàn)：

[1] 吳 橋, 盧樹峰, 楊世海,等. 需求側(cè)響應(yīng)條件下的家庭用電管理研究[J]. 電力工程技術(shù), 2016, 35(5):28-31.

WU Qiao, LU Shufeng, YANG Shihai, et al. Research on home energy management under the condition of demand-side response[J]. Electric Power Engineering Technology, 2016,35(5):28-31.

[2] BOX G E P, JENKINS G M. Time series analysis: forecasting and control[J]. Journal of the American Statistical Association, 1970, 68(342):199-201.

[3] 顏 偉,程 超,薛 斌,等. 結(jié)合X12乘法模型和ARIMA模型的月售電量預(yù)測(cè)方法[J]. 電力系統(tǒng)及其自動(dòng)化學(xué)報(bào),2016,28(5):74-80.

YAN Wei, CHENG Chao, XUE Bin, et al. Forecasting for monthly electricity consumption using X12 multiplication method and ARIMA model[J]. Proceedings of the CSU-EPSA,2016,28(5):74-80.

[4] 樊 嬌,馮 昊,牛東曉,等. 基于小波分析和GM-ARIMA模型的月度售電量預(yù)測(cè)[J]. 華北電力大學(xué)學(xué)報(bào)(自然科學(xué)版),2015,42(4):101-105.

FAN Jiao, FENG Hao, NIU Dongxiao,et al. Monthly electricity sales forecast based on wavelet analysis[J]. Journal of North China Electric Power University(Natural Science Edition),2015,42(4):101-105.

[5] 崔和瑞,王 娣. 基于季節(jié)ARIMA模型的華北電網(wǎng)售電量預(yù)測(cè)研究[J]. 華東電力,2009,37(1):70-72.

CUI Herui, WANG Di. Study of electricity sales forecasting for North China Power Grid based on seasonal ARIMA model[J]. East China Electric Power, 2009,37(1):70-72.

[6] THISSEN U, VAN B R, DE W A, et al. Using support vector machines for time series prediction[J]. Chemometrics and Intelligent Laboratory Systems, 2003, 69(1):35-49.

[7] GUI B, WEI X, SHEN Q, et al. Financial time series forecasting using support vector machine[C]∥Tenth International Conference on Computational Intelligence and Security. 2015: 39-43.

[8] 程海濤. 支持向量機(jī)結(jié)合X11季節(jié)調(diào)整方法用于短期電力負(fù)荷預(yù)測(cè)[D]. 甘肅：蘭州大學(xué),2011.

CHENG Haitao. X11 seasonal adjustment combined with SVM for short-term electric load forecasting[D]. Gansu: Lanzhou University,2011.

[9] 宋曉華, 祖丕娥, 伊 靜,等. 基于改進(jìn)GM(1,1)和SVM的長(zhǎng)期電量?jī)?yōu)化組合預(yù)測(cè)模型[J]. 中南大學(xué)學(xué)報(bào)(自然科學(xué)版), 2012, 43(5):1803-1807.

SONG Xiaohua, ZU Pi’e, YI Jing, et al. An optimally combined forecast model for long-term power demand based on improved grey and SVM model[J]. Journal of Central South University(Science and Technology), 2012, 43(5):1803-1807.

[10] 張 魁, 王亞明, 劉 明,等. 基于大數(shù)據(jù)及智能算法的連云港電量負(fù)荷預(yù)測(cè)研究[J]. 電力工程技術(shù), 2016, 35(3):49-52.

ZHANG Kui, WANG Yaming, LIU Ming, et al. Research on electricity consumption and load prediction of Lianyungang based on big data and intelligent algorithm[J]. Electric Power Engineering Technology, 2016,35(3):49-52.

[11] 張 喆, 吳知非, 禹建麗. 電力電量預(yù)測(cè)的神經(jīng)網(wǎng)絡(luò)方法[J]. 統(tǒng)計(jì)與決策, 2008(4):156-157.

ZHANG Zhe, WU Zhifei, YU Jianli. Neural network method for power forecasting[J]. Statistics and Decision, 2008(4):156-157.

[12] 衣 智. 人工神經(jīng)網(wǎng)絡(luò)在電力預(yù)測(cè)中的應(yīng)用[D]. 天津： 天津大學(xué), 2002.

YI Zhi. Application of artificial neural network in power forecasting[D]. Tianjin :Tianjin University,2002.

[13] 馮冬青, 李衛(wèi)帥. 基于GA-BP神經(jīng)網(wǎng)絡(luò)的電池剩余電量的預(yù)測(cè)[J]. 計(jì)算機(jī)仿真, 2011, 28(12):323-326.

FENG Dongqing, LI Weishuai.Prediction of residual capacity for battery based on GA-BP neural network[J]. Computer Simulation, 2011, 28(12):323-326.

[14] LECUN Y, BENGIO Y, HINTON G. Deep learning[J]. Nature, 2015, 521(7553):436-444.

[15] CONNOR J T, MARTIN R D, ATLAS L E. Recurrent neural networks and robust time series prediction[J]. IEEE Transactions on Neural Networks, 1994, 5(2):240-54.

[16] 俞福福. 基于神經(jīng)網(wǎng)絡(luò)的股票預(yù)測(cè)[D]. 哈爾濱：哈爾濱工業(yè)大學(xué), 2016.

YU Fufu. Stock prediction based on neural netwok[D]. Harbin：Harbin Institute of Technology,2016.

[17] 李幸超. 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的軌跡位置預(yù)測(cè)技術(shù)研究[D]. 杭州：浙江大學(xué), 2016.

LI Xinchao. The research of location prediction based on recurrent neural network[D]. Hangzhou: Zhejiang University,2016.

[18] 滕 云, 賀春林, 岳 淼. 基于神經(jīng)網(wǎng)絡(luò)的語音識(shí)別研究[J]. 重慶師范大學(xué)學(xué)報(bào)(自然科學(xué)版), 2010, 27(4):73-76.

TENG Yun, HE Chunlin, YUE Miao. Research on speech recognition based on neural networks[J]. Journal of Chongqing Normal University(Natural Science), 2010, 27(4):73-76.

[19] GRAVES A, MOHAMED A, HINTON G. Speech recognition with deep recurrent neural networks[C]∥Acoustics, Speech and Signal Processing (ICASSP), 2013 IEEE International Conference on. IEEE, 2013: 6645-6649.

[20] MIAO Y, GOWAYYED M, METZE F. EESEN: End-to-end speech recognition using deep RNN models and WFST-based decoding[C]∥Automatic Speech Recognition and Understanding. IEEE, 2016:167-174.

[21] RUMELHART D E, HINTON G E, WILLIAMS R J. Learning representations by back-propagating errors[J]. Nature, 1986, 323(6088): 533.

[22] BENGIO Y, SIMARD P, FRASCONI P. Learning long-term dependencies with gradient descent is difficult[J]. IEEE Tran-sactions on Neural Networks, 1994, 5(2): 157-166.

[23] HOCHREITER S, SCHMIDHUBER J. Long short-term memory[J]. Neural computation. 1997, 9(8):1735-1780.

[24] GERS F A, SCHRAUDOLPH N N, SCHMIDHUBER J. Learning precise timing with LSTM recurrent networks[J]. Journal of Machine Learning Research, 2002, 3(8): 115-143.

[25] 陳功平,王 紅. 改進(jìn)Pearson相關(guān)系數(shù)的個(gè)性化推薦算法[J]. 山東農(nóng)業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版), 2016, 47(6):940-944.

CHEN Gongping, WANG Hong. A personalized recommendation algorithm on improving pearson correlation coefficient[J]. Journal of Shandong Agricultural Univers, 2016, 47(6):940-944.

[26] 吳 微, 陳維強(qiáng), 劉 波. 用BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)股票市場(chǎng)漲跌[J]. 大連理工大學(xué)學(xué)報(bào), 2001, 41(1):9-15.

WU Wei, CHEN Weiqiang, LIU Bo. Prediction of ups and downs of stock market by BP neural networks[J]. Journal of Dalian University of Technology, 2001, 41(1):9-15.