面向城市用電負(fù)荷預(yù)測(cè)的混合機(jī)器學(xué)習(xí)模型

胡乙丹，張俊芳

（南京理工大學(xué) 自動(dòng)化學(xué)院，江蘇 南京 210018）

0 引言

智能電網(wǎng)的理想場(chǎng)景是供應(yīng)給目標(biāo)區(qū)域的電量等于客戶的消費(fèi)量，不僅能對(duì)電力資源進(jìn)行合理分配從而產(chǎn)生巨大的經(jīng)濟(jì)效益，而且能抵御引起大規(guī)模停電的諸多不確定因素，例如自然災(zāi)害、季節(jié)性高峰、恐怖襲擊、城市動(dòng)亂、戰(zhàn)爭(zhēng)等，因而也具有很高的社會(huì)價(jià)值［1］。

城市用電負(fù)荷的精準(zhǔn)預(yù)測(cè)是實(shí)現(xiàn)智能電網(wǎng)的前提條件，其中中長(zhǎng)期用電負(fù)荷預(yù)測(cè)對(duì)電力系統(tǒng)的運(yùn)行和規(guī)劃非常重要［2］。城市中長(zhǎng)期用電負(fù)荷預(yù)測(cè)是一個(gè)非線性時(shí)間序列趨勢(shì)預(yù)測(cè)問題，與諸多因素有關(guān)，例如一個(gè)國(guó)家的整體經(jīng)濟(jì)發(fā)展速度、季節(jié)性氣象周期因素、節(jié)假日規(guī)劃以及各種不確定因素等。因此，如何準(zhǔn)確刻畫影響城市中長(zhǎng)期用電負(fù)荷的諸多因素是實(shí)現(xiàn)精準(zhǔn)預(yù)測(cè)的關(guān)鍵。

現(xiàn)有城市中長(zhǎng)期用電負(fù)荷預(yù)測(cè)方法主要分為兩大類，即經(jīng)典的時(shí)間序列方法和新興的機(jī)器學(xué)習(xí)（Machine Learning，ML）方法［3］。時(shí)間序列方法的代表模型有自回歸積分移動(dòng)平均（Autoregressive Integrated Moving Average，ARIMA）、指數(shù)平滑（Exponential Smoothing，ETS）和線性回歸，其優(yōu)勢(shì)在于模型相對(duì)簡(jiǎn)單、穩(wěn)健、高效，且能很好地處理季節(jié)性時(shí)間序列［4］。ML 方法是當(dāng)前的新興技術(shù)，具備強(qiáng)大的非線性表征學(xué)習(xí)能力和復(fù)雜數(shù)據(jù)挖掘能力，現(xiàn)已得到了廣泛應(yīng)用［5-7］。

在所有ML 方法中，對(duì)于神經(jīng)網(wǎng)絡(luò)（Neural Network，NN）的探索與應(yīng)用最為廣泛，一些代表工作有：文獻(xiàn)［8］結(jié)合歷史需求和天氣因素學(xué)習(xí)負(fù)荷需求的變化規(guī)律；文獻(xiàn)［9-14］利用Kohonen NN、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）以及其它基于NN 的變體實(shí)現(xiàn)準(zhǔn)確的電力負(fù)荷預(yù)測(cè)。

最近，隨著深度學(xué)習(xí)（Deep Learning，DL）的快速發(fā)展，基于DL 的城市用電負(fù)荷預(yù)測(cè)得到了廣泛關(guān)注［15］。例如，節(jié)點(diǎn)之間的連接沿著時(shí)間序列形成一個(gè)有向圖的RNN，能夠利用其內(nèi)部狀態(tài)（記憶）來處理輸入序列，從而表示時(shí)間動(dòng)態(tài)行為。另外，最近研究表明，長(zhǎng)短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)預(yù)測(cè)結(jié)果優(yōu)于大多數(shù)經(jīng)典時(shí)間序列方法和ML 方法［16］，現(xiàn)已有諸多將LSTM等DL 方法應(yīng)用于負(fù)荷預(yù)測(cè)的成功案例［17-19］。例如，文獻(xiàn)［20］提出一種新穎的卷積網(wǎng)絡(luò)結(jié)合雙向LSTM 來實(shí)現(xiàn)短期負(fù)荷預(yù)測(cè)；文獻(xiàn)［21］提出一種用于學(xué)習(xí)深度序列預(yù)測(cè)的殘差循環(huán)高速網(wǎng)絡(luò)；文獻(xiàn)［22］提出N-BEATS 模型，具有可解釋性，且訓(xùn)練速度快，無需修改即可應(yīng)用于廣泛的目標(biāo)領(lǐng)域；文獻(xiàn)［23］提出的DeepAR 模型基于對(duì)大量相關(guān)時(shí)間序列的自回歸RNN 訓(xùn)練，實(shí)現(xiàn)準(zhǔn)確的概率預(yù)測(cè)；文獻(xiàn)［24］提出將深度學(xué)習(xí)與狀態(tài)空間模型相結(jié)合，可保留狀態(tài)空間模型的所需屬性，如數(shù)據(jù)效率和可解釋性，同時(shí)具備從原始數(shù)據(jù)中學(xué)習(xí)復(fù)雜模式的能力。

此外，為了提高預(yù)測(cè)性能，ML 方法還與ETS 等其它方法混合使用［25-26］。例如由文獻(xiàn)［27］開發(fā)的模型是一種結(jié)合統(tǒng)計(jì)學(xué)和ML 的混合方法，將ETS 與LSTM 相結(jié)合，使得LSTM 模塊具備了諸如擴(kuò)張、殘差連接和注意力機(jī)制等可提高其學(xué)習(xí)與泛化能力的機(jī)制［28-30］，實(shí)現(xiàn)了精確的負(fù)荷預(yù)測(cè)。但是，由于城市中長(zhǎng)期用電需求不僅受長(zhǎng)期經(jīng)濟(jì)趨勢(shì)和季節(jié)循環(huán)因素的影響，而且存在諸多不確定性和非線性問題，因而文獻(xiàn)［31］提出利用集成學(xué)習(xí)融合LSTM 和ETS，使預(yù)測(cè)模型具備較好的綜合性能。

然而，影響城市用電負(fù)荷需求的因素眾多，各因素對(duì)趨勢(shì)特性、季節(jié)特性等方面的影響各不相同。例如歷史用電負(fù)荷數(shù)據(jù)和經(jīng)濟(jì)狀況可較好地反映趨勢(shì)特性，氣候和節(jié)假日等因素可很好地反映季節(jié)特性。因此，在開展城市用電負(fù)荷需求預(yù)測(cè)時(shí)，需要對(duì)各因素進(jìn)行重要性分析，并對(duì)各方面特性進(jìn)行針對(duì)性建模，才能準(zhǔn)確刻畫諸多因素，實(shí)現(xiàn)精準(zhǔn)預(yù)測(cè)。但是，現(xiàn)有方法并未針對(duì)上述問題進(jìn)行建模解決。為此，本文參照文獻(xiàn)［31］，通過引入特征選擇篩選出影響城市用電負(fù)荷趨勢(shì)特性和季節(jié)特性的重要特征，提出一種面向城市用電負(fù)荷預(yù)測(cè)的混合機(jī)器學(xué)習(xí)（Hybrid Machine Learning，HML）模型。該模型針對(duì)負(fù)荷的趨勢(shì)和季節(jié)特性篩選出重要特征，利用ETS 捕捉負(fù)荷時(shí)間序列的季節(jié)和趨勢(shì)分量，然后利用LSTM 和所篩選的特征對(duì)趨勢(shì)和季節(jié)分量進(jìn)行非線性預(yù)測(cè)，最后利用集成學(xué)習(xí)實(shí)現(xiàn)各學(xué)習(xí)模塊性能的有效聚合。在實(shí)驗(yàn)中，本文選擇中國(guó)兩個(gè)城市的月度用電量作為標(biāo)準(zhǔn)數(shù)據(jù)集，通過特征選擇篩選出節(jié)假日、天氣、濕度、風(fēng)力、降雨、氣壓、云量、最高溫度、最低溫度等12 個(gè)重要特征進(jìn)行建模。實(shí)驗(yàn)結(jié)果表明，本文提出的HML 模型在月度用電量預(yù)測(cè)精度方面優(yōu)于現(xiàn)有最新的相關(guān)模型。

本文主要貢獻(xiàn)包括以下兩點(diǎn)：

（1）提出一種面向城市用電負(fù)荷預(yù)測(cè)的混合機(jī)器學(xué)習(xí)HML 模型，該模型同時(shí)具有經(jīng)典時(shí)間序列方法的穩(wěn)健性和機(jī)器學(xué)習(xí)方法的強(qiáng)非線性學(xué)習(xí)能力兩個(gè)優(yōu)點(diǎn)，在城市月度用電量預(yù)測(cè)精度上優(yōu)于現(xiàn)有的最新模型。

（2）對(duì)所提出的HML 模型進(jìn)行了詳細(xì)闡述和分析，并在真實(shí)數(shù)據(jù)集上進(jìn)行了實(shí)證分析，證明了其有效性。

1 預(yù)測(cè)模型

本文所提出的HML 模型是一個(gè)混合機(jī)器學(xué)習(xí)模型，可以有效結(jié)合特征選擇、ETS、LSTM 和集成學(xué)習(xí)的優(yōu)點(diǎn)。在特征選擇中，不僅會(huì)篩選與用電負(fù)荷預(yù)測(cè)相關(guān)的特征，而且將分別針對(duì)趨勢(shì)特性和季節(jié)周期特性進(jìn)行針對(duì)性的特征選擇；在ETS 方法中，目的是為了將用電負(fù)荷時(shí)間序列拆解為趨勢(shì)分量和季節(jié)分量，在后續(xù)預(yù)測(cè)建模中將單獨(dú)針對(duì)單個(gè)分量進(jìn)行預(yù)測(cè)；在LSTM 模型中，將分別針對(duì)趨勢(shì)特性和季節(jié)周期特性篩選的特征進(jìn)行單獨(dú)預(yù)測(cè)，可分別提升單個(gè)分量的預(yù)測(cè)精度；最后基于集成學(xué)習(xí)的多樣性原則構(gòu)造多個(gè)預(yù)測(cè)子模型，利用多個(gè)子模型的綜合預(yù)測(cè)能力減少隨機(jī)特性對(duì)預(yù)測(cè)結(jié)果的影響，提升模型預(yù)測(cè)的穩(wěn)定性。下文詳細(xì)闡述HML 模型。

1.1 模型框架與功能

本文所提出的預(yù)測(cè)模型結(jié)構(gòu)如圖1所示。

Fig.1 Structure of HML model圖1 HML模型結(jié)構(gòu)

HML 模型由以下部分組成：

（1）特征選擇。輸入與用電負(fù)荷相關(guān)的各種因素特征，通過特征選擇方法篩選出與季節(jié)因素和趨勢(shì)因素最相關(guān)的特征用于后續(xù)模型建模。

（2）ETS。一種乘法季節(jié)性分解模型，其可從時(shí)間序列中提取兩個(gè)分量趨勢(shì)和季節(jié)分量。ETS 加載一組時(shí)間序列（Y），分別計(jì)算每個(gè)序列的趨勢(shì)和季節(jié)分量，并返回趨勢(shì)分量集（L）和季節(jié)分量集（S）。

（3）預(yù)處理。趨勢(shì)和季節(jié)分量用于時(shí)間序列的去季節(jié)化和適應(yīng)性規(guī)范化。預(yù)處理模塊的輸入包括時(shí)間序列集Y、趨勢(shì)分量集L和季節(jié)分量集S。預(yù)處理后的數(shù)據(jù)被劃分為輸入和輸出訓(xùn)練數(shù)據(jù)，并最終返回訓(xùn)練集ψ。

（4）LSTM。由4 層組成的殘差擴(kuò)張LSTM 具有的重復(fù)特性使其能夠?qū)W習(xí)連續(xù)數(shù)據(jù)中的長(zhǎng)期依賴關(guān)系。LSTM 在訓(xùn)練集ψ 上進(jìn)行交叉學(xué)習(xí)，其產(chǎn)生的全部時(shí)間序列預(yù)測(cè)將返回集合。

（5）后處理。對(duì)去季節(jié)化和歸一化的時(shí)間序列預(yù)測(cè)進(jìn)行重新季節(jié)化和重新歸一化。后處理模塊的輸入包括預(yù)測(cè)集、趨勢(shì)分量集L和季節(jié)分量集S，輸出則為包含每個(gè)時(shí)間序列預(yù)測(cè)的集合。

（6）集成學(xué)習(xí)。對(duì)單個(gè)模型產(chǎn)生的預(yù)測(cè)進(jìn)行平均，以進(jìn)一步增強(qiáng)方法的魯棒性，減輕模型和參數(shù)的不確定性。集成學(xué)習(xí)模塊接收由單個(gè)模型生成的預(yù)測(cè)集（k和r與集合成員有關(guān)），對(duì)其進(jìn)行聚合并返回所有時(shí)間序列的預(yù)測(cè)集Yavg。集成學(xué)習(xí)結(jié)合了訓(xùn)練階段、數(shù)據(jù)子集和模型3 個(gè)層面的單個(gè)預(yù)測(cè)，以減少與隨機(jī)梯度下降的隨機(jī)性、數(shù)據(jù)和參數(shù)的不確定性相關(guān)的方差。

（7）隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）。ETS 和LSTM 通過相同的整體優(yōu)化程序——SGD 算法來更新參數(shù)，其首要目標(biāo)是使預(yù)測(cè)誤差最小化。

1.2 特征選擇

特征選擇也稱為特征子集選擇或?qū)傩赃x擇，是從輸入的用電負(fù)荷眾多特征中篩選出最相關(guān)的有效特征，降低數(shù)據(jù)集維度，去掉不相關(guān)特征和冗余特征，提高學(xué)習(xí)算法的性能，是本文HML 模型的關(guān)鍵步驟。本文輸入眾多相關(guān)特征，如節(jié)假日、天氣、濕度、風(fēng)力、降雨、氣壓、云量、最高溫度、最低溫度等，并采用相關(guān)性分析和冗余分析篩選出重要特征［32］，具體流程如圖2所示。

首先，計(jì)算每個(gè)輸入特征x（i）與負(fù)荷時(shí)間序列y 之間的皮爾遜相關(guān)系數(shù)（Pearson Correlation Coefficient，PCC），假設(shè)總共有N個(gè)時(shí)間序列，PCC計(jì)算公式如下：

如果x（i）的PCC大于設(shè)定的閾值2，則為強(qiáng)相關(guān)特征，直接保留輸出；如果PCC小于設(shè)定的閾值1，則為不相關(guān)特征，將其拋棄；如果閾值1≤PCC≤閾值2，則為弱相關(guān)特征，進(jìn)入冗余性分析。采用馬爾可夫毯分析方法分析x（i）是否為冗余特征，如果x（i）是冗余特征，則x（i）應(yīng)滿足如下條件：

其中，MB（y）代表y 的一個(gè)馬爾可夫毯，ζ代表一個(gè)任意集合。對(duì)于冗余特征，則應(yīng)該拋棄。

1.3 ETS

時(shí)間序列擁有復(fù)雜的性質(zhì)，可利用各種分解方法分解出其中的重要分量［33］。本文所提出的HML 模型使用ETS作為預(yù)處理工具，從時(shí)間序列中提取趨勢(shì)分量和季節(jié)分量，然后使用這些分量對(duì)原始時(shí)間序列進(jìn)行規(guī)范化和去季節(jié)化處理，預(yù)處理后的時(shí)間序列由LSTM 進(jìn)行預(yù)測(cè)。季節(jié)性周期為12（適用于月度電力負(fù)荷數(shù)據(jù)）的ETS 模型更新公式具體如下：

其中，yt是時(shí)間點(diǎn)t的時(shí)間序列值，lt、st分別是趨勢(shì)分量和季節(jié)分量，α，β∈[0，1]是平滑系數(shù)。

趨勢(shì)分量方程顯示了經(jīng)季節(jié)調(diào)整的觀測(cè)值與時(shí)間點(diǎn)t-1 趨勢(shì)分量之間的加權(quán)平均值。季節(jié)分量方程將時(shí)間點(diǎn)t+12 的季節(jié)分量表示為季節(jié)分量新估計(jì)值（yt/lt）和過去估計(jì)值（st）之間的加權(quán)平均值。通過SGD 調(diào)整ETS 模型參數(shù)、12 個(gè)初始季節(jié)分量、每個(gè)時(shí)間序列的兩個(gè)平滑系數(shù)以及LSTM 權(quán)重，獲得這些參數(shù)后，可以計(jì)算趨勢(shì)分量和季節(jié)分量，參與后續(xù)負(fù)荷時(shí)間序列預(yù)處理的去季節(jié)化和歸一化，以及最終負(fù)荷預(yù)測(cè)結(jié)果的計(jì)算。

1.4 預(yù)處理與后處理

計(jì)算每個(gè)時(shí)間序列所有點(diǎn)的趨勢(shì)分量和季節(jié)分量，然后在動(dòng)態(tài)預(yù)處理期間將其用于去季節(jié)化和自適應(yīng)歸一化。這是預(yù)測(cè)過程中最關(guān)鍵的因素，決定了預(yù)測(cè)模型性能。在每個(gè)訓(xùn)練時(shí)段中，使用趨勢(shì)分量和季節(jié)分量的更新值對(duì)時(shí)間序列進(jìn)行預(yù)處理。這些更新值由公式（3）計(jì)算得出，其中ETS參數(shù)在每個(gè)訓(xùn)練輪次中由SGD 逐漸進(jìn)行微調(diào)。

時(shí)間序列使用滾動(dòng)窗口進(jìn)行預(yù)處理，包括輸入和輸出窗口。兩個(gè)窗口的長(zhǎng)度均為12，等于季節(jié)周期和預(yù)測(cè)范圍的長(zhǎng)度。輸入窗口Δin包含12 個(gè)連續(xù)的時(shí)間序列元素，經(jīng)過預(yù)處理后作為L(zhǎng)STM 的輸入（即輸入向量）。對(duì)應(yīng)的輸出窗口Δout也包含12 個(gè)連續(xù)元素，經(jīng)過預(yù)處理后作為L(zhǎng)STM 的輸出（即輸出向量）。通過將兩個(gè)窗口內(nèi)的時(shí)間序列片段除以輸入窗口中趨勢(shì)分量的最后一個(gè)值，對(duì)其進(jìn)行歸一化，然后除以相關(guān)的季節(jié)分量，通過此操作獲得接近1 的正輸入和輸出值。最后，使用一個(gè)壓縮函數(shù)log(.)限制異常值對(duì)預(yù)測(cè)的破壞性影響。預(yù)處理結(jié)果可表示如下：

其中，xt是第t個(gè)預(yù)處理的時(shí)間序列元素是輸入窗口Δin中趨勢(shì)分量的最后一個(gè)值，st是第t個(gè)季節(jié)分量。注意歸一化是自適應(yīng)和局部的，“歸一化器”遵循系列值，即允許將輸入和輸出變量中序列（和st）的當(dāng)前特征包括進(jìn)來。

包含在連續(xù)輸入和輸出窗口中時(shí)間序列的預(yù)處理元素可由如下向量表示：

第一對(duì)輸入和輸出窗口：

第二對(duì)輸入和輸出窗口：

第N對(duì)輸入和輸出窗口：

這些表示輸入和輸出窗口中時(shí)間序列預(yù)處理元素的向量包含在第i個(gè)時(shí)間序列的訓(xùn)練子集中：Φi=。所有M個(gè)時(shí)間序列的訓(xùn)練子集被組合起來并形成訓(xùn)練集Ψ={Φ1，Φ2，...，ΦM}，用于LSTM的交叉學(xué)習(xí)。注意訓(xùn)練集的動(dòng)態(tài)特性，由于公式（4）中的趨勢(shì)和季節(jié)分量已更新，因此其在每個(gè)訓(xùn)練輪次中都會(huì)更新。

LSTM 對(duì)預(yù)處理的時(shí)間序列值xt進(jìn)行操作。在后處理步驟中，LSTM 生成的預(yù)測(cè)需按以下方式展開：

注意，公式（5）中的趨勢(shì)分量值和季節(jié)分量st是已知的，這是通過計(jì)算所必需的，其由公式（1）根據(jù)負(fù)荷時(shí)間序列的歷史值計(jì)算得到。

1.5 LSTM

LSTM 是一種特殊的RNN，能夠?qū)W習(xí)序列數(shù)據(jù)中的長(zhǎng)期相關(guān)性［34］。一個(gè)普通的LSTM 塊由一個(gè)能夠隨時(shí)間步更新而更新狀態(tài)的存儲(chǔ)單元和3 個(gè)稱為門的非線性調(diào)節(jié)器組成，其能控制塊內(nèi)的信息流。一個(gè)典型的LSTM 塊如圖3 所示。在本文中，經(jīng)過預(yù)處理后的LSTM 輸入并非標(biāo)量，而是長(zhǎng)度為12（即季節(jié)周期）的時(shí)間序列向量，其允許LSTM 直接暴露于即時(shí)的歷史序列。LSTM 輸出是一組長(zhǎng)度為12 的完整預(yù)測(cè)序列的向量。同時(shí)，在輸入過程中，還將一起輸入對(duì)應(yīng)時(shí)間序列長(zhǎng)度的特征，例如將對(duì)應(yīng)時(shí)間序列的氣溫或節(jié)假日天數(shù)作為特征一起輸入。確定x的輸出模式后，根據(jù)公式（3）計(jì)算月需求的預(yù)測(cè)值。

1.6 集成學(xué)習(xí)

集成學(xué)習(xí)是一種應(yīng)用廣泛的可提高單個(gè)弱學(xué)習(xí)器性能的方法。與單個(gè)學(xué)習(xí)器相比，集成學(xué)習(xí)方法以某種方式將多個(gè)學(xué)習(xí)算法結(jié)合起來產(chǎn)生一種共同的響應(yīng)，以提高預(yù)測(cè)結(jié)果的準(zhǔn)確性和穩(wěn)定性。集成學(xué)習(xí)的關(guān)鍵問題是確保學(xué)習(xí)器的差異性［35］，對(duì)單學(xué)習(xí)器性能與差異性之間的正確權(quán)衡決定了集成學(xué)習(xí)的有效性。HML 預(yù)測(cè)模塊有以下3種差異性來源：一是使用SGD 的隨機(jī)訓(xùn)練過程；二是類似于采樣數(shù)據(jù)集，即使用隨機(jī)抽取的訓(xùn)練集子集來訓(xùn)練每個(gè)學(xué)習(xí)器；三是使用不同的參數(shù)初始值訓(xùn)練基學(xué)習(xí)器。因此，相對(duì)應(yīng)地，由LSTM 模型生成的分量預(yù)測(cè)結(jié)果在以下3個(gè)級(jí)別上進(jìn)行集成學(xué)習(xí)：

（1）訓(xùn)練階段級(jí)。對(duì)L個(gè)最近訓(xùn)練輪次產(chǎn)生的預(yù)測(cè)結(jié)果進(jìn)行平均。

（2）數(shù)據(jù)子集級(jí)。對(duì)在訓(xùn)練集子集上學(xué)習(xí)的K個(gè)預(yù)測(cè)模型所產(chǎn)生的預(yù)測(cè)結(jié)果進(jìn)行平均。

（3）模型級(jí)。對(duì)數(shù)據(jù)子集級(jí)預(yù)測(cè)的R次獨(dú)立運(yùn)行所產(chǎn)生的預(yù)測(cè)結(jié)果進(jìn)行平均。

在第一層級(jí)別上進(jìn)行平均計(jì)算具有平息噪聲SGD 優(yōu)化過程的效果。SGD 使用小批量的訓(xùn)練樣本來估計(jì)實(shí)際梯度，梯度搜索計(jì)算所得的近似梯度在收斂曲線上表現(xiàn)為噪聲。當(dāng)算法在局部最小值附近收斂時(shí)，對(duì)最近訓(xùn)練輪次獲得的預(yù)測(cè)結(jié)果進(jìn)行平均，可以減少隨機(jī)搜索的影響，形成更準(zhǔn)確的預(yù)測(cè)。

在第二層級(jí)別上，在訓(xùn)練集子集Ψ1，Ψ2，...，ΨK上學(xué)習(xí)的K個(gè)模型產(chǎn)生的預(yù)測(cè)將被平均。訓(xùn)練集Ψ={Φ1，Φ2，...，ΦM}是由包含第i個(gè)時(shí)間序列訓(xùn)練樣本的子集Φi構(gòu)成的。要?jiǎng)?chuàng)建訓(xùn)練Ψ 子集，首先需將一組M個(gè)時(shí)間序列隨機(jī)分成大小相似的K個(gè)子集：Θ1，Θ2，...，ΘK。第K個(gè)Ψ 子集包含所有時(shí)間序列的Φ 子集，但Θk中的Φ 子集除外，即Ψk=Ψ{Φi}i∈Θk。在K個(gè)模型中，每一個(gè)模型都在其訓(xùn)練子集Ψk上學(xué)習(xí)，并為Ψk中包含的時(shí)間序列生成預(yù)測(cè)。然后，對(duì)K個(gè)模型池生成的預(yù)測(cè)結(jié)果進(jìn)行平均。

在最后一層級(jí)別上，簡(jiǎn)單地對(duì)K個(gè)模型R次獨(dú)立運(yùn)行中產(chǎn)生的每個(gè)時(shí)間序列的預(yù)測(cè)進(jìn)行平均，每次運(yùn)行中訓(xùn)練子集Ψk都會(huì)被重建。

注意學(xué)習(xí)器的差異性是決定集成學(xué)習(xí)性能［35］的一個(gè)關(guān)鍵屬性，在本文提出的方法中有各種方式實(shí)現(xiàn)學(xué)習(xí)器的差異性，包括：①數(shù)據(jù)不確定性：在小批量和訓(xùn)練集的不同子集上學(xué)習(xí)；②參數(shù)不確定性：在每次運(yùn)行中使用不同的模型參數(shù)初始值進(jìn)行學(xué)習(xí)。

在最后兩個(gè)集成學(xué)習(xí)級(jí)別中，創(chuàng)建了K個(gè)訓(xùn)練Ψ 子集。第k次運(yùn)行中包含的第k個(gè)子集中的時(shí)間序列集合用表示，本例中模型生成的預(yù)測(cè)集合用表示。對(duì)于每個(gè)時(shí)間序列，R(K-1)預(yù)測(cè)取平均值。這兩種集成學(xué)習(xí)級(jí)別的聯(lián)合操作可表示為：

其中，K是模型池大小，R是運(yùn)行次數(shù)，而表示第k次運(yùn)行生成的預(yù)測(cè)y向量。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 基本設(shè)置

（1）數(shù)據(jù)集。本文選擇中國(guó)兩個(gè)城市的月度用電量作為基準(zhǔn)數(shù)據(jù)集，分別命名為D1、D2。這兩個(gè)數(shù)據(jù)集還包括節(jié)假日、天氣、濕度、風(fēng)力、降雨、氣壓、云量、最高溫度、最低溫度等12 個(gè)對(duì)應(yīng)時(shí)間序列的特征。表1 總結(jié)了數(shù)據(jù)集的統(tǒng)計(jì)信息，其中本文使用過去12 個(gè)月的數(shù)據(jù)，即將從2021 年1—12 月的月度用電量作為測(cè)試集，其余數(shù)據(jù)作為訓(xùn)練集。

Table 1 Statistics of the dataset表1 數(shù)據(jù)集統(tǒng)計(jì)數(shù)據(jù)

（2）評(píng)價(jià)指標(biāo)。對(duì)于用電負(fù)荷預(yù)測(cè)，主要關(guān)注估計(jì)值與實(shí)際值的接近程度，因此通常選擇平均絕對(duì)百分比誤差（Mean Absolute Percentage Error，MAPE）和平均絕對(duì)誤差（Mean Absolute Error，MAE）作為評(píng)價(jià)指標(biāo)。MAPE 和MAE 分別反映了預(yù)測(cè)誤差率與絕對(duì)預(yù)測(cè)誤差，由式（7）計(jì)算：

其中，Ri代表第i個(gè)月份的真實(shí)值，表示第i個(gè)月份的預(yù)測(cè)值，N代表預(yù)測(cè)的總共月數(shù)。

（3）標(biāo)準(zhǔn)對(duì)比模型。本文將所提出的HML 模型與7 個(gè)相關(guān)的最新模型進(jìn)行對(duì)比實(shí)驗(yàn)。這些對(duì)比模型具有不同特點(diǎn)，分為兩種類型，包括5 個(gè)ML 模型（GRNN［36］、MLP［37］、XGBoost［38］、SVR［39］和LSTM［40］），以及2 個(gè)混合模型（NBEATS［41］和APLF［42］）。表2 簡(jiǎn)要介紹了這些模型，其中所有模型的超參數(shù)都是在驗(yàn)證集（部分訓(xùn)練集）上調(diào)參所得。

Table 2 Descriptions of comparison models表2 對(duì)比模型描述

2.2 預(yù)測(cè)準(zhǔn)確性比較

2.2.1 MAE比較結(jié)果

圖4 展示了所提出的HML 模型和兩類對(duì)比模型在兩個(gè)數(shù)據(jù)集上的MAE 比較結(jié)果。

Fig.4 MAE comparison results of HML and other methods圖4 HML與其他方法MAE比較結(jié)果

觀察圖4可以得到：

（1）總體上第3-6 月的誤差相對(duì)于第7-8 月的誤差要小；APLF 的預(yù)測(cè)誤差最大；MLP 和XGBoost 的波動(dòng)很大，且準(zhǔn)確率時(shí)而高，時(shí)而低。

（2）在所有的對(duì)比模型中，HML 表現(xiàn)最好，不僅取得了最低的MAE，而且在大多數(shù)情況下取得了最穩(wěn)定的預(yù)測(cè)結(jié)果。

（3）HML 比其它基于ML 的模型表現(xiàn)都好，驗(yàn)證了融入傳統(tǒng)時(shí)間序列預(yù)測(cè)ETS 和集成學(xué)習(xí)可提升單一ML 方法的性能。

2.2.2 MAPE比較結(jié)果

MAPE 在D1 和D2 上的比較結(jié)果分別記錄在表3、表4中。

Table 4 Comparison results of MAPE on D2表4 MAPE在D2上的比較結(jié)果

為了更好地理解這些結(jié)果，對(duì)其進(jìn)行了一些統(tǒng)計(jì)分析。首先，12 個(gè)月的平均MAPE 被記錄在倒數(shù)第四行；其次，每個(gè)模型在12 個(gè)月中預(yù)測(cè)輸/贏的比分在倒數(shù)第三行進(jìn)行了總結(jié)，其中對(duì)某個(gè)月份預(yù)測(cè)精度比HML 高的預(yù)測(cè)結(jié)果追加以黑點(diǎn)“●”標(biāo)記；再次，采用Friedman 檢驗(yàn)來檢查多個(gè)模型在多個(gè)數(shù)據(jù)集上的表現(xiàn)，F(xiàn)-rank 值越小表示準(zhǔn)確率越高，結(jié)果記錄在倒數(shù)第二行；最后，采用Wilcoxonsigned 檢驗(yàn)HML 是否比每個(gè)對(duì)比模型的MAPE 明顯更低，其中顯著性差異水平小于0.05 的結(jié)果被加粗顯示，相關(guān)結(jié)果記錄在最后一行。

Table 3 Comparison results of MAPE on D1表3 MAPE在D1上的比較結(jié)果

從表3、表4可得出以下結(jié)論：

（1）在大多數(shù)情況下，HML 取得了比其他模型更低的MAPE，在D1、D2 上的平均MAPE 分別為0.92%±1.42%、0.94%±1.22%。在兩數(shù)據(jù)集的比較實(shí)驗(yàn)中，HML 均只輸了12 個(gè)案例，贏了72 個(gè)案例，證明HML 比其他模型誤差更低，且更穩(wěn)定。

（2）與其他所有模型相比，RD-ETS+LSTM 在兩個(gè)數(shù)據(jù)集上取得了最低的F-rank 值，表明其在所有數(shù)據(jù)集上取得了最高的預(yù)測(cè)精度。

（3）除1 個(gè)案例外，其他的p值都小于0.05，表明HML在兩個(gè)數(shù)據(jù)集上比其他模型的預(yù)測(cè)精度明顯更高。注意，雖然只有一種情況的假設(shè)不被接受，但HML 仍然比其它對(duì)比模型的MAPE 低得多。

綜上所述，MAE 和MAPE 的比較結(jié)果驗(yàn)證了本文所提出的HML 模型在月度用電負(fù)荷預(yù)測(cè)的準(zhǔn)確性和穩(wěn)定性方面顯著優(yōu)于其他同類模型。

3 結(jié)語(yǔ)

本文提出一種面向城市用電負(fù)荷預(yù)測(cè)的混合機(jī)器學(xué)習(xí)（HML）模型。該模型首先對(duì)影響城市用電負(fù)荷的各因素進(jìn)行特征選擇，篩選出重要特征；其次利用指數(shù)平滑（ETS）捕捉用電負(fù)荷時(shí)間序列的季節(jié)分量和趨勢(shì)分量；然后利用長(zhǎng)短期記憶（LSTM）網(wǎng)絡(luò)發(fā)掘用電負(fù)荷時(shí)間序列的非線性趨勢(shì)；最后利用集成學(xué)習(xí)實(shí)現(xiàn)各學(xué)習(xí)模塊性能的有效聚合。為了驗(yàn)證HML 模型的有效性，選擇中國(guó)兩個(gè)城市的月度用電量作為標(biāo)準(zhǔn)數(shù)據(jù)集，并與最新的5 個(gè)機(jī)器學(xué)習(xí)（ML）模型和2 個(gè)混合模型進(jìn)行了對(duì)比分析。實(shí)驗(yàn)結(jié)果表明，HML 模型在預(yù)測(cè)精度方面顯著優(yōu)于對(duì)比模型。在未來研究中，計(jì)劃引入智能優(yōu)化算法如差分進(jìn)化來優(yōu)化HML模型的特征選擇，進(jìn)一步提升模型性能。