融合級聯(lián)LSTM的短期電力負荷預(yù)測

婁奇鶴，劉 虎，謝祥穎，馬曉光

1.華北電力大學(xué)，北京102206

2.國家電網(wǎng)有限公司，北京100031

3.國網(wǎng)電子商務(wù)有限公司，北京100053

近年來，隨著我國清潔能源的大力推廣，光伏發(fā)電也有著突飛猛進的發(fā)展。分布式光伏電站以其污染小，組網(wǎng)簡單等優(yōu)勢，能夠直接接入配電網(wǎng)，實現(xiàn)發(fā)電用電并存，可以緩解局部地區(qū)用電緊張情況。在分布式光伏電力系統(tǒng)中，優(yōu)化配置和智能運維受到了越來越廣泛的關(guān)注。整個電力系統(tǒng)包括三個核心部分：發(fā)電、傳輸、負荷，并在此基礎(chǔ)上衍生儲能、消納等其他智能運維環(huán)節(jié)。其中電力負荷預(yù)測是極其重要的部分，準確的預(yù)測結(jié)果[1]可以降低光伏電力系統(tǒng)的運營成本，減少棄光、儲能等損耗，也可以減少因產(chǎn)能不足而造成的供電不足、負荷下降等現(xiàn)象，降低對經(jīng)濟發(fā)展的不良影響。

智能電網(wǎng)[2]的出現(xiàn)促進了傳統(tǒng)電網(wǎng)與先進信息技術(shù)的融合，并且針對電力系統(tǒng)中供需不平衡的問題提供優(yōu)化方案。目前光伏發(fā)電在我國的發(fā)電占比也越來越大，但其發(fā)電量對天氣因素具有很強的依賴性；另一方面，隨著電動汽車普及應(yīng)用，對于電力能源的需求進一步增長，這就對電力系統(tǒng)中供需協(xié)調(diào)提出了更高的要求。因此精確預(yù)測電力負荷[3]的意義重大，對于智能電網(wǎng)的優(yōu)化配置以及智慧運維至關(guān)重要。

電力負荷數(shù)據(jù)呈現(xiàn)出明顯的規(guī)律性。一方面大多數(shù)工廠企業(yè)的用電行為具有很強的周期性，這種周期性使得每天各個時段的用電負荷有著相似變化趨勢，日出而作日落而息的生活習(xí)慣導(dǎo)致了白天的電力負荷明顯高于夜間；另一方面電力負荷具有很強的波動性，當前時刻的電力負荷會受到前一時段內(nèi)的負荷情況所影響而產(chǎn)生波動，同時與其保持較強的相關(guān)性。針對這兩種特性，本文提出了一種級聯(lián)的長短期記憶模型（Long Short Term Memory，LSTM），將電力負荷預(yù)測過程分為兩個階段：

（1）第一個階段提取電力負荷的周期性特征，學(xué)習(xí)電力負荷的長期變化趨勢，得到電力負荷每天各個時段的變化規(guī)律。

（2）第二個階段提取電力負荷的波動性特征，學(xué)習(xí)前后時段負荷的相關(guān)性特點，對總體趨勢進行修正，進一步提升預(yù)測的準確度。

1 相關(guān)工作

電力負荷預(yù)測模型大致可分為線性方法、非線性方法和混合方法三大類。線性方法包括多元線性回歸[4]、卡爾曼濾波[5]、自回歸差分移動平均（ARIMA）[6]等，其中ARIMA模型具有強大的基礎(chǔ)數(shù)學(xué)和統(tǒng)計屬性，可以支持生成預(yù)測間隔，應(yīng)用較為廣泛。He等人[7]提出了一個基于ARIMA的高頻預(yù)測模型，用于預(yù)測未來幾天每小時的電力需求，并在估計用戶需求與各種變量之間的關(guān)系方面取得良好效果。然而ARIMA的缺點也較為明顯，首先要求時序數(shù)據(jù)有著穩(wěn)定的變化趨勢；其次ARIMA模型只能捕捉線性關(guān)系，而對非線性關(guān)系的預(yù)測效果較差。

非線性方法包含模糊邏輯[8]、決策樹[9]、人工神經(jīng)網(wǎng)絡(luò)（ANN）[10]、支持向量回歸（Support Vector Regression，SVR）[11]等，其中SVR因為具有良好的擬合能力、通用性和計算速度快的優(yōu)點，成為傳統(tǒng)機器學(xué)習(xí)模型中較為出色的代表。Fattaheian-Dehkordi等人[12]在德黑蘭配電公司使用SVR模型預(yù)測每小時數(shù)據(jù)，并通過電網(wǎng)優(yōu)化過程和對不同核函數(shù)的對比來選擇參數(shù)，獲得了更好的結(jié)果。Taylor等人[13]提出了尺度預(yù)測的方法（Prophet），通過性能分析來比較和評估預(yù)測過程。非線性模型通常適合于處理特征維度較少的數(shù)據(jù)預(yù)測。維度增加會導(dǎo)致非線性模型性能的急劇下降。近年來隨著深度學(xué)習(xí)[14]的興起，針對于時間序列的分析和預(yù)測問題，研究者們提出了循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）[15]、長短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM）[16]等模型。相比于傳統(tǒng)的機器學(xué)習(xí)模型，深度學(xué)習(xí)模型擁有更強大的泛化能力和更高的預(yù)測效果。然而深度模型則需要更多的訓(xùn)練數(shù)據(jù)，更長的訓(xùn)練時間。如何優(yōu)化深度模型的性能也是未來發(fā)展的主要趨勢。

混合模型[17]通常對復(fù)雜問題具有更強的魯棒性。Yang等人[18]提出了一個基于季節(jié)性ARIMA模型和ANN的混合模型。采用季節(jié)性ARIMA模型預(yù)測未來一天的電力負荷需求，然后由ANN預(yù)測后續(xù)殘差序列，最后對兩個模型預(yù)測負荷值進行相加。結(jié)果表明，該模型可以提高短期負荷預(yù)測的精度。Karthika等人[19]提出了ARIMASVM混合模型預(yù)測每小時的電力負荷。實驗表明使用SVM糾正預(yù)測偏差，可以使MAPE誤差降低，提高收斂速度。Muralitharan等人[20]將ARIMA和LSTM結(jié)合起來，也可以明顯提升預(yù)測的效果?；旌夏Ｐ团c單一模型相比能夠在一定程度上增加模型預(yù)測大的準確性，但是同時也增加了模型的設(shè)計難度和計算的復(fù)雜度。

電力負荷數(shù)據(jù)呈現(xiàn)出明顯的周期性和波動性的特點，這也導(dǎo)致了現(xiàn)有預(yù)測模型在預(yù)測細節(jié)上的準確度不高的問題。針對這一特點，本文提出了一種基于級聯(lián)LSTM的短期電力負荷預(yù)測模型，該方法對預(yù)測細節(jié)有突出的表現(xiàn)力。

2 基于級聯(lián)LSTM電力負荷預(yù)測模型

針對實際電力負荷預(yù)測需求，結(jié)合深度學(xué)習(xí)模型與混合模型的優(yōu)勢，本文提出了一種基于級聯(lián)LSTM的短期電力負荷預(yù)測模型。將預(yù)測過程分為兩個階段，分別使用LSTM模型提取電力負荷的周期性特征和波動性特征，然后再得到最終的預(yù)測結(jié)果。

2.1 LSTM模型網(wǎng)絡(luò)結(jié)構(gòu)

在深度學(xué)習(xí)方法中，RNN模型常用來處理時間序列數(shù)據(jù)。傳統(tǒng)的RNN網(wǎng)絡(luò)結(jié)構(gòu)單元如圖1所示，Xt為輸入，經(jīng)過A結(jié)構(gòu)的運算，輸出結(jié)果ht，并將ht輸入到下一個A結(jié)構(gòu)中。這樣就可以建立時間序列數(shù)據(jù)之間的聯(lián)系，前一刻輸入的數(shù)據(jù)會影響到其后輸入的計算結(jié)果。RNN的循環(huán)結(jié)構(gòu)能夠?qū)⒅暗妮斎肱c當前的輸入通過不斷地迭代聯(lián)系起來。但是，隨著相關(guān)信息和預(yù)測信息的前后距離不斷增加，RNN會更容易受到近期輸入數(shù)據(jù)的影響，因而“遺忘”較早輸入的信息。

圖1 RNN網(wǎng)絡(luò)結(jié)構(gòu)單元Fig.1 RNN network structure unit

為了解決RNN無法保存長時段數(shù)據(jù)信息的問題，研究者們提出了LSTM模型。LSTM模型是RNN模型結(jié)構(gòu)的一種改良，與傳統(tǒng)的RNN結(jié)構(gòu)相比，LSTM新增了特殊的“門”結(jié)構(gòu)，存儲當前的狀態(tài)信息，因此更適合學(xué)習(xí)長時間序列的數(shù)據(jù)。LSTM的單元結(jié)構(gòu)如圖2所示。

圖2 LSTM網(wǎng)絡(luò)結(jié)構(gòu)單元Fig.2 LSTM network structure unit

LSTM網(wǎng)絡(luò)結(jié)構(gòu)的主要特點是在RNN原有的A結(jié)構(gòu)中加入的三個“門”結(jié)構(gòu)，分別是遺忘門、傳入門和輸出門。三個“門”結(jié)構(gòu)的更新方式如公式（1）~（3）所示。

ft為遺忘門的輸出，σ為遺忘因子，Ct-1表示上一個LSTM層的輸出，xt表示本層的輸入，ht-1表示上層輸入到本層的信息，ht為本層輸出到下一層的信息。

遺忘門決定了上一層A結(jié)構(gòu)的輸出中有哪些信息可以進入當前結(jié)構(gòu)，控制內(nèi)部狀態(tài)信息；傳入門是決定有多少新的信息加入到該層中來，控制輸入信息；輸出門用來決定多少本層的信息有多少輸出到下一層去，控制輸出信息。LSTM模型因為其三個門結(jié)構(gòu)的設(shè)計，提升了傳統(tǒng)RNN神經(jīng)網(wǎng)絡(luò)對長時間序列的學(xué)習(xí)能力。

在短期電力負荷預(yù)測中，電力負荷時間序列每天都會呈現(xiàn)出周期性變化的特點，既能體現(xiàn)出長序列的變化趨勢，又存在短期的不確定性影響。因此本文將預(yù)測過程分為兩個部分，分別采用LSTM模型來提取特征，從而實現(xiàn)對電力負荷數(shù)據(jù)更加準確的預(yù)測。

2.2 級聯(lián)LSTM模型

級聯(lián)LSTM模型的主要實現(xiàn)方式如圖3所示。模型的訓(xùn)練過程分為5個階段，分別是數(shù)據(jù)預(yù)處理階段、周期性模型訓(xùn)練階段、數(shù)據(jù)處理階段、波動性模型訓(xùn)練階段和測試階段。

圖3 級聯(lián)LSTM模型流程圖Fig.3 Flow chart of cascaded LSTM model

（1）在預(yù)處理階段，首先使用均值法對存在缺失的原始電力負荷數(shù)據(jù)進行補全，然后按照一定的比例將原始數(shù)據(jù)劃分為訓(xùn)練集和測試集，分別進行歸一化操作。最后，將電力數(shù)據(jù)序列進行特征和目標的劃分。

（2）在周期性模型訓(xùn)練階段，建立長時段的LSTM模型，采用長達一周以上的訓(xùn)練數(shù)據(jù)來建立周期性模型特征，然后使用訓(xùn)練后的模型預(yù)測訓(xùn)練樣本，將預(yù)測值與原負荷序列的差值作為下一階段的訓(xùn)練樣本。

（3）在數(shù)據(jù)處理階段，將差值序列再一次劃分為短期特征和目標序列。

（4）在波動性模型訓(xùn)練階段，建立短時段的LSTM模型，采用較短時段的訓(xùn)練數(shù)據(jù)來建立波動性模型特征，學(xué)習(xí)和預(yù)測差值序列。

（5）在測試階段，需要按順序使用不同的訓(xùn)練模型對測試集序列進行預(yù)測，將周期性預(yù)測結(jié)果與波動性預(yù)測的反向歸一化結(jié)果相加之后得到最終的預(yù)測歸一化結(jié)果，最后再使用反向歸一化即可得到真實的電力負荷預(yù)測數(shù)據(jù)。

級聯(lián)LSTM模型結(jié)構(gòu)可以分階段學(xué)習(xí)電力負荷時間序列數(shù)據(jù)特征，從而進一步提升模型的預(yù)測效果。

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集

本文實驗部分使用了某地區(qū)連續(xù)五年（60個月）每半個小時的電力負荷數(shù)據(jù)。數(shù)據(jù)集包含日期、時刻、溫度、濕度、電價和電力負荷的數(shù)據(jù)。由于本文主要關(guān)注于電力負荷預(yù)測，僅選擇日期、時刻和電力負荷數(shù)據(jù)的時間序列作為訓(xùn)練數(shù)據(jù)。

3.2 數(shù)據(jù)預(yù)處理

在本數(shù)據(jù)集中，電力負荷的數(shù)值范圍在6 000~12 000，數(shù)值跨度較大，不利于模型的訓(xùn)練。為了提升訓(xùn)練的效果本文對原始的電力負荷數(shù)據(jù)進行歸一化處理，歸一化算法如公式（4）所示：

其中，x為歸一化之前的數(shù)據(jù)，Xmax和Xmin分別是電力負荷數(shù)據(jù)的最大值和最小值，x′為歸一化之后的數(shù)據(jù)。歸一化操作可以將原始跨度較大的電力負荷數(shù)據(jù)范圍壓縮到0~1，但是不會改變數(shù)據(jù)的大小排序。

電力負荷數(shù)據(jù)歸一化之后，在1月1日至15日的變化情況如圖4所示，橫坐標為日期，縱坐標為歸一化后的電力負荷?？梢钥闯鰯?shù)據(jù)序列之間存在著明顯的周期性波動，而每天的波動幅度有較大差異。

圖4 電力負荷變化曲線Fig.4 Electric load change curve in January

在本實驗中，數(shù)據(jù)被劃分為訓(xùn)練集和測試集，本文使用的數(shù)據(jù)集包含5年的電力負荷數(shù)據(jù)，每天產(chǎn)生數(shù)據(jù)48組。在模型訓(xùn)練過程中，本文將數(shù)據(jù)按照7∶3的比例劃分為訓(xùn)練集和測試集，即通過對前3.5年的電力負荷數(shù)據(jù)進行訓(xùn)練，使用后1.5年的電力負荷數(shù)據(jù)驗證預(yù)測結(jié)果。

3.3 評價指標

本文分別使用平均絕對誤差（Mean Absolute Error，MAE）、均方誤差（Mean Squared Error，MSE）和決定系數(shù)（Coefficient of determination，R2）來分別衡量預(yù)測模型的性能。三種不同的評價指標的計算方法如公式（5）~（7）所示：

其中，m為待預(yù)測數(shù)據(jù)的長度，ytest為測試數(shù)據(jù)的真實值，yprediction為預(yù)測結(jié)果數(shù)據(jù)，而y?test表示測試數(shù)據(jù)真實值的均值。

三種評價指標均可以衡量模型預(yù)測電力負荷性能的優(yōu)劣，但三者又有不同的側(cè)重點。MAE反映的是不同時刻誤差的均值，誤差的權(quán)重相同。與MAE相比，MSE對誤差進行平方，放大了較大誤差的影響。R2忽略了不同誤差上數(shù)值上的差距，反映了回歸模型擬合數(shù)據(jù)的優(yōu)良程度。

3.4 級聯(lián)LSTM電力負荷預(yù)測

級聯(lián)LSTM模型的預(yù)測過程分為兩個階段。在第一階段，將電力負荷歷史數(shù)據(jù)處理為較長的時間序列，采用LSTM模型學(xué)習(xí)周期性特征。訓(xùn)練過程中損失值（Loss）隨訓(xùn)練周期（Epoch）的變化曲線如圖5所示。

圖5 一階段LSTM訓(xùn)練過程Fig.5 Training process of LSTM model in stage one

從圖5中在訓(xùn)練過程中，在前20個周期左右Loss的波動變化較大，然后Loss在20~100時趨于平穩(wěn)下降的趨勢，當訓(xùn)練周期達到200時，LSTM模型已經(jīng)收斂。說明LSTM模型很適合作為電力負荷預(yù)測。

圖6展示了一階段LSTM模型在測試集上的預(yù)測效果，其中橫坐標表示了2月1日至15日的日期，縱坐標表示的是歸一化后的電力負荷值。圖6（a）展示了實際的電力負荷數(shù)據(jù)和一階段LSTM的預(yù)測結(jié)果。從圖中可以看出，一階段LSTM模型能夠?qū)﹄娏ω摵尚枨笥兄^好的趨勢預(yù)測結(jié)果，但是在一些細節(jié)的地方，如每天的峰值，LSTM沒有很好地表現(xiàn)出來，所以需要第二個階段的LSTM模型來彌補這一階段的缺陷。選取第一階段中實際值與預(yù)測值的差值作為第二個階段的訓(xùn)練數(shù)據(jù)。歸一化之后的差值結(jié)果如圖6（b）圖所示。

綜合圖5和圖6（a）的結(jié)果可以看出，第一階段LSTM模型的訓(xùn)練已經(jīng)收斂，但預(yù)測值與實際值之間仍然存在一定偏差。因此本模型進一步考慮其偏差影響，通過對圖6（b）的偏差歸一化結(jié)果可以看出，差值曲線也近似存在一定的變化規(guī)律。

圖6 電力負荷的真實值、預(yù)測值與兩者差值Fig.6 Actual value of power load,predicted value and difference between two lines

由于一階段的LSTM提取特征能力有限，難以實現(xiàn)精準的預(yù)測，而差值時間序列也存在明顯的相關(guān)性特征。因此本文利用這種特點，對差值序列再次進行迭代訓(xùn)練和預(yù)測。

在第二階段，將實際電力負荷數(shù)據(jù)與第一階段模型預(yù)測結(jié)果相減得到差值序列，將差值序列再次進行歸一化，并將序列長度縮短，得到第二階段的數(shù)據(jù)集。使用類似方法再次訓(xùn)練第二階段的LSTM模型，學(xué)習(xí)差值的隨機性特征。在預(yù)測階段，將第二階段的預(yù)測后的結(jié)果進行反向歸一化，與第一階段的預(yù)測結(jié)果相加即為級聯(lián)LSTM模型預(yù)測的最終結(jié)果。

圖7展示了兩階段測試集上的電力負荷預(yù)測結(jié)果，橫坐標展示了0時至24時的時間變化，縱坐標表示歸一化后的電力負荷數(shù)值。從圖7中可以看出，使用級聯(lián)LSTM的預(yù)測結(jié)果比一階段LSTM有較為明顯的性能提升。對與白天用電高峰時段的預(yù)測效果來看，級聯(lián)LSTM模型有著更好的預(yù)測效果。這是因為級聯(lián)LSTM可以從多個層次多個階段對電力負荷時間序列數(shù)據(jù)的變化進行學(xué)習(xí)，逐步逼近最終的實際數(shù)據(jù)，從而得到更加精確的預(yù)測效果。

圖7 級聯(lián)LSTM模型電力負荷預(yù)測結(jié)果Fig.7 Power load forecast results of cascaded LSTM

3.5 電力負荷預(yù)測模型對比

為了驗證本文提出的級聯(lián)LSTM網(wǎng)絡(luò)模型的性能，實驗對比了目前廣泛使用的預(yù)測模型，例如SVR[12]、Prophet[13]、LSTM[16]。各模型在測試數(shù)據(jù)集上的結(jié)果如表1所示。

表1 不同模型在多種評價指標上的結(jié)果Table 1 Results of different models on multiple indicators

從表1可以看出，級聯(lián)的LSTM在MAE和MSE上均小于其他的模型，說明級聯(lián)的LSTM模型在精度方面擬合的最好。級聯(lián)LSTM模型和LSTM模型在測試數(shù)據(jù)上的MSE和MAE明顯小于SVR和Prophet模型，R2更接近1。說明與其他模型相比，深度學(xué)習(xí)模型有強大的特征提取能力，能夠更精準地預(yù)測真實電力負荷。另一方面，級聯(lián)LSTM模型可以學(xué)習(xí)時間序列短期的波動性特征，從而進一步提升LSTM的預(yù)測效果。

圖8展示了7月1日0時至7月3日0時4種電力負荷預(yù)測方法的結(jié)果，同樣用橫坐標表示日期，縱坐標表示歸一化后的電力負荷數(shù)值。從圖8中可以看出一方面LSTM模型和級聯(lián)LSTM模型比其他的預(yù)測模型有著更加豐富的細節(jié)表現(xiàn)，在預(yù)測結(jié)果上更加接近于真實的負荷曲線。尤其在每天的用電波峰和波谷的總體趨勢上，深度學(xué)習(xí)模型有著明顯的優(yōu)勢。另一方面，級聯(lián)LSTM模型比單階段模型更加貼近真實曲線，對電力負荷局部變化的預(yù)測表現(xiàn)更加突出，能夠?qū)W習(xí)到其波動性的變化特點。這說明多階段模型在彌補預(yù)測細節(jié)方面有著更加出色的表現(xiàn)。

圖8 不同模型的電力負荷預(yù)測結(jié)果Fig.8 Power load forecasting results of different models

4 結(jié)束語

電力負荷預(yù)測對于分布式光伏電力系統(tǒng)的智能運維有至關(guān)重要的意義。本文建立了一種基于級聯(lián)LSTM的短期電力負荷預(yù)測模型，將預(yù)測過程分為兩個階段。第一階段提取電力負荷數(shù)據(jù)的周期性特征，預(yù)測總體變化趨勢；第二階段提取電力負荷數(shù)據(jù)的波動性特征，預(yù)測其受到的隨機性影響。通過某地區(qū)的電力負荷數(shù)據(jù)實驗表明，級聯(lián)LSTM能夠較好地學(xué)習(xí)到電力負荷長期變化趨勢以及短期的波動影響，進一步提升了電力負荷預(yù)測的準確度。該模型可以廣泛應(yīng)用在配電網(wǎng)系統(tǒng)中，協(xié)助分布式光伏電站的并網(wǎng)接入設(shè)計及智能運維管理。