基于聯(lián)邦學(xué)習(xí)的短期負(fù)荷預(yù)測模型協(xié)同訓(xùn)練方法

車亮 徐茂盛 崔秋實(shí)

摘要：針對機(jī)器學(xué)習(xí)方法在電力系統(tǒng)短期負(fù)荷預(yù)測領(lǐng)域的應(yīng)用過程中，存在數(shù)據(jù)樣本不足、模型泛化能力差以及數(shù)據(jù)隱私保護(hù)要求較高等問題，以氣象、日期以及歷史負(fù)荷數(shù)據(jù)為輸入特征，構(gòu)建基于長短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)的短期負(fù)荷預(yù)測模型，提出基于聯(lián)邦學(xué)習(xí)（Federated Learning，F(xiàn)L）的短期負(fù)荷預(yù)測模型協(xié)同訓(xùn)練方法.通過分散訓(xùn)練、中心聚合的方式對模型參數(shù)進(jìn)行迭代更新，實(shí)現(xiàn)各負(fù)荷運(yùn)營商在保證數(shù)據(jù)隱私的情況下協(xié)同構(gòu)建預(yù)測模型.在GEFCom2012比賽的多個(gè)地區(qū)負(fù)荷數(shù)據(jù)集上進(jìn)行仿真驗(yàn)證，結(jié)果表明，所提方法在保證各運(yùn)營商數(shù)據(jù)隱私的同時(shí)，有效提升了短期負(fù)荷預(yù)測準(zhǔn)確率，所訓(xùn)練出的模型在多場景下具有優(yōu)秀的泛化能力.

關(guān)鍵詞：數(shù)據(jù)隱私；機(jī)器學(xué)習(xí)；負(fù)荷預(yù)測；聯(lián)邦學(xué)習(xí)

中圖分類號：TM715文獻(xiàn)標(biāo)志碼：A

Federated Learning Based Coordinated Training Method of a Short-term Load Forecasting Model

CHE Liang1，XU Maosheng1，CUI Qiushi2

（1. College of Electrical and Information Engineering，Hunan University，Changsha 410082，China；2. School of Electrical Engineering，Chongqing University，Chongqing 400044，China）

Abstract：Machine learning methods have been widely used in the field of short-term load forecasting of power systems. However，it is difficult for load operators to obtain high-performance forecasting models due to insufficient data samples，poor model generalization ability，and high data privacy protection requirements in the application process. In this paper，meteorological，date，and historical load are used as input features to construct a short-term load forecasting model based on Long Short-Term Memory（LSTM）. A federated learning（FL）based coordinated training method of a short-term load forecasting model is proposed. The proposed method mainly iteratively updates model parameters through decentralized training and aggregation of centers，so as to realize cooperative construction of the prediction model by all load operators under the condition of data privacy. The simulation results based on the GEFCom2012 dataset show that the proposed method not only ensures the data privacy of operators but also effectively improves the forecasting accuracy of the load forecasting model，and the trained model has satisfied generalization ability in multiple scenarios.

Key words：data privacy；machine learning；load forecasting；federated learning

電力系統(tǒng)短期負(fù)荷預(yù)測是指根據(jù)過去一段時(shí)間的負(fù)荷以及日期、氣象等數(shù)據(jù)，對未來短時(shí)間的負(fù)荷變化進(jìn)行預(yù)測[1].精準(zhǔn)的負(fù)荷預(yù)測是電網(wǎng)實(shí)施精確調(diào)度、制訂發(fā)電計(jì)劃以及設(shè)置合理備用的基礎(chǔ)，是保證電力系統(tǒng)可靠運(yùn)行與增加經(jīng)濟(jì)效益的必要條件[2].隨著電網(wǎng)數(shù)字化程度不斷加深，電力公司陸續(xù)安裝了多種智能儀表，獲得了更多精細(xì)的負(fù)荷與氣象等數(shù)據(jù)，這使得采用人工智能方法進(jìn)行精準(zhǔn)負(fù)荷預(yù)測變得可行[3].

近年來，機(jī)器學(xué)習(xí)算法被廣泛應(yīng)用在短期負(fù)荷預(yù)測領(lǐng)域，研究者們對各種算法進(jìn)行改進(jìn)，提出了許多解決短期負(fù)荷預(yù)測領(lǐng)域相關(guān)問題的方法[4].研究者將支持向量機(jī)、BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)（Neural Network，NN）、LSTM網(wǎng)絡(luò)等多種機(jī)器學(xué)習(xí)算法應(yīng)用于負(fù)荷預(yù)測，并對其進(jìn)行改造以提升預(yù)測精度.文獻(xiàn)［5］提出基于深度信念網(wǎng)絡(luò)的短期負(fù)荷預(yù)測方法，將無監(jiān)督與有監(jiān)督訓(xùn)練結(jié)合，進(jìn)而提升預(yù)測準(zhǔn)確度；文獻(xiàn)［6］將Attention機(jī)制加入LSTM網(wǎng)絡(luò)構(gòu)建預(yù)測模型，從輸入數(shù)據(jù)中提取對負(fù)荷預(yù)測起到關(guān)鍵作用的特征；文獻(xiàn)［7］基于Hadoop架構(gòu)中的MapReduce框架構(gòu)建BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型；文獻(xiàn)［8］構(gòu)建基于雙向長短期網(wǎng)絡(luò)的預(yù)測模型，并融入特征選擇方法，選擇出最佳輸入特征.一般來說，單一類型的神經(jīng)網(wǎng)絡(luò)只擅長挖掘數(shù)據(jù)的某一類特征，而負(fù)荷預(yù)測數(shù)據(jù)包括負(fù)荷、氣象和日期等多類特征，利用不同的神經(jīng)網(wǎng)絡(luò)能更有效提取不同數(shù)據(jù)類型的特征［9］；文獻(xiàn)［10］先運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）提取特征與負(fù)荷的聯(lián)系，最后將結(jié)果輸入到GRU網(wǎng)絡(luò)中進(jìn)行負(fù)荷預(yù)測，提升預(yù)測準(zhǔn)確率；文獻(xiàn)［11］將卷積神經(jīng)網(wǎng)絡(luò)（CNN）和長短期記憶（LSTM）網(wǎng)絡(luò)相結(jié)合以構(gòu)建短期負(fù)荷預(yù)測模型；文獻(xiàn)［12］綜合集合經(jīng)驗(yàn)?zāi)B(tài)分解（Ensemble Empirical Mode Decomposition，EEMD）、門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)（Gated Recurrent Unit，GRU）和多元線性回歸（Multiple Linear Regression，MLR）方法構(gòu)建預(yù)測模型；文獻(xiàn)［13］提出了一種基于GRU-NN模型的短期電力負(fù)荷預(yù)測方法；文獻(xiàn)［14］提出了基于LSTM和XGBoost的組合預(yù)測模型.

由上可見，目前機(jī)器學(xué)習(xí)方法在短期負(fù)荷預(yù)測領(lǐng)域的應(yīng)用已取得了一定的成果，但在實(shí)際應(yīng)用中，現(xiàn)有方法還存在以下問題：

1）未解決實(shí)際情況下負(fù)荷數(shù)據(jù)樣本數(shù)量與特征不足的問題.現(xiàn)有基于機(jī)器學(xué)習(xí)的負(fù)荷預(yù)測方法依賴于預(yù)測者擁有樣本數(shù)足夠多、特征種類足夠豐富的訓(xùn)練數(shù)據(jù)集，但在實(shí)際負(fù)荷預(yù)測工作中，部分預(yù)測者往往難以滿足該條件（例如小規(guī)模電力公司、新接入電網(wǎng)的用戶和負(fù)荷聚合商等通常難以建立滿足負(fù)荷預(yù)測需求的數(shù)據(jù)量和特征足夠的訓(xùn)練數(shù)據(jù)集［15-16］）.

2）預(yù)測模型泛化能力問題.僅使用單個(gè)地區(qū)數(shù)據(jù)訓(xùn)練出的模型，難以直接移植到新的地區(qū)進(jìn)行預(yù)測，預(yù)測模型的泛化能力亟待增強(qiáng).

3）數(shù)據(jù)隱私問題.若能實(shí)現(xiàn)不同地區(qū)間共享數(shù)據(jù)訓(xùn)練模型，就可以有效提升模型預(yù)測能力［17］.但目前各電力公司均具有較高的數(shù)據(jù)保密要求，歷史負(fù)荷等數(shù)據(jù)是嚴(yán)格保密的，這限制了數(shù)據(jù)共享訓(xùn)練，因此相關(guān)數(shù)據(jù)隱私保密問題亟待解決.

因此，目前亟需一個(gè)在保護(hù)負(fù)荷等數(shù)據(jù)隱私的前提下實(shí)現(xiàn)協(xié)同構(gòu)建負(fù)荷預(yù)測模型的方法.針對這一需求，本文引入聯(lián)邦學(xué)習(xí)（Federated Learning，F(xiàn)L）方法.聯(lián)邦學(xué)習(xí)可以實(shí)現(xiàn)多個(gè)數(shù)據(jù)持有者在不共享其數(shù)據(jù)情況下協(xié)同訓(xùn)練機(jī)器學(xué)習(xí)模型，在保護(hù)數(shù)據(jù)隱私的同時(shí)降低數(shù)據(jù)通信量，提高通信效率［18］.目前，聯(lián)邦學(xué)習(xí)已被研究者們應(yīng)用在一些需要考慮數(shù)據(jù)隱私及降低通信開銷的場景［19］.文獻(xiàn)［20］將深度強(qiáng)化學(xué)習(xí)模型進(jìn)行聯(lián)邦，實(shí)現(xiàn)高準(zhǔn)確率、低時(shí)延的設(shè)備節(jié)點(diǎn)選擇；文獻(xiàn)［21］將聯(lián)邦學(xué)習(xí)應(yīng)用于物聯(lián)網(wǎng)框架下的邊緣計(jì)算過程；文獻(xiàn)［22］將聯(lián)邦學(xué)習(xí)應(yīng)用于霧計(jì)算過程；文獻(xiàn)［23］將聯(lián)邦學(xué)習(xí)應(yīng)用在電力計(jì)量系統(tǒng)中，分別應(yīng)用于計(jì)量裝置故障診斷、無線接入安全檢測以及電費(fèi)風(fēng)險(xiǎn)識別場景，均取得了較好的效果，證明了將聯(lián)邦學(xué)習(xí)方法應(yīng)用在電力系統(tǒng)領(lǐng)域具有實(shí)用性和可行性.

針對上述負(fù)荷預(yù)測模型構(gòu)建所需數(shù)據(jù)樣本數(shù)量與特征不足、模型泛化能力差以及負(fù)荷相關(guān)數(shù)據(jù)高度保密無法共享訓(xùn)練的問題，本文引入聯(lián)邦學(xué)習(xí)方法，以LSTM網(wǎng)絡(luò)的短期負(fù)荷預(yù)測模型為基礎(chǔ)，提出基于聯(lián)邦學(xué)習(xí)的短期負(fù)荷預(yù)測模型協(xié)同訓(xùn)練方法，結(jié)合短期負(fù)荷預(yù)測場景的特點(diǎn)，對數(shù)據(jù)傳輸過程與模型聚合過程進(jìn)行優(yōu)化改進(jìn).該方法實(shí)現(xiàn)了各負(fù)荷運(yùn)營商在保護(hù)數(shù)據(jù)隱私的前提下對模型進(jìn)行協(xié)同訓(xùn)練，并且有效提升了短期負(fù)荷預(yù)測模型的預(yù)測準(zhǔn)確率和泛化能力.

1基于LSTM的短期負(fù)荷預(yù)測模型

1.1長短期記憶（LSTM）網(wǎng)絡(luò)

LSTM網(wǎng)絡(luò)是由循環(huán)神經(jīng)網(wǎng)絡(luò)改進(jìn)而來的，解決了循環(huán)神經(jīng)網(wǎng)絡(luò)存在的長期依賴問題.相比常規(guī)循環(huán)神經(jīng)網(wǎng)絡(luò)，LSTM添加了輸入門、遺忘門和輸出門[24].LSTM網(wǎng)絡(luò)基本單元如圖1所示.

f_t=σ（W_fh_t-1+W_fx_t+b_f）（1）

式中：W_f、W_i、W_o分別為遺忘門、輸入門、輸出門的權(quán)重矩陣；b_f、b_i、b_o分別為遺忘門、輸入門、輸出門的輸出偏置項(xiàng)；*表示矩陣的Hadamard積.

1.2基于LSTM網(wǎng)絡(luò)的短期負(fù)荷預(yù)測模型構(gòu)建

由于負(fù)荷數(shù)據(jù)數(shù)量級較高，與溫度、日期等特征數(shù)量級差距較大，不利于模型訓(xùn)練.為了消除各類特征之間量綱不同的影響，使模型快速收斂，并且考慮到各負(fù)荷運(yùn)營商之間負(fù)荷數(shù)據(jù)數(shù)量級存在較大差異，故利用本文方法對輸入數(shù)據(jù)進(jìn)行歸一化處理，將所有輸入數(shù)據(jù)歸一化在［0，1］內(nèi)，如下式所示：

式中：x^*_t為歸一化后的數(shù)據(jù)；x_t為歸一化前的數(shù)據(jù)；x_max和x_min分別表示該特征數(shù)據(jù)的最大值和最小值.LSTM網(wǎng)絡(luò)模型結(jié)構(gòu)如圖2所示.

負(fù)荷預(yù)測效果評價(jià)指標(biāo)采用均方根誤差（Root Mean Square Error，RMSE）和平均絕對百分比誤差（Mean Absolute Percentage Error，MAPE），指標(biāo)值越小，表示預(yù)測值與真實(shí)值之間的誤差越小，模型的預(yù)測效果越好.指標(biāo)計(jì)算公式分別如式（8）和式（9）所示.

2基于FL的短期負(fù)荷預(yù)測模型協(xié)同訓(xùn)練方法

2.1方法概述

基于聯(lián)邦學(xué)習(xí)的短期負(fù)荷預(yù)測模型協(xié)同訓(xùn)練方法能在保護(hù)各負(fù)荷運(yùn)營商數(shù)據(jù)隱私的同時(shí)，利用各個(gè)運(yùn)營商所擁有的負(fù)荷數(shù)據(jù)資源協(xié)同訓(xùn)練短期負(fù)荷預(yù)測模型，有效提高模型的預(yù)測準(zhǔn)確率及多場景泛化能力.

本文方法整體系統(tǒng)架構(gòu)如圖3所示.其中，本文第1節(jié)所構(gòu)建的負(fù)荷預(yù)測模型部署在服務(wù)器端與各個(gè)負(fù)荷運(yùn)營商端，負(fù)荷運(yùn)營商可以是某地區(qū)電力公司或某些電力用戶的集合.

在結(jié)構(gòu)上，本文方法整體組成包括服務(wù)器端、通信網(wǎng)絡(luò)、本地負(fù)荷運(yùn)營商及其對應(yīng)的負(fù)荷、氣象和日期數(shù)據(jù).令L={l₁，l₂，…，l_n}表示所有參與協(xié)同訓(xùn)練的負(fù)荷運(yùn)營商的集合，每一個(gè)l_k（k=1，2，…，n）具有對應(yīng)的訓(xùn)練數(shù)據(jù)以及進(jìn)行本地模型訓(xùn)練、模型推理的能力.圖3中，令V表示訓(xùn)練數(shù)據(jù)（包括負(fù)荷數(shù)據(jù)、氣象數(shù)據(jù)、日期數(shù)據(jù)）集合，則第k個(gè)負(fù)荷運(yùn)營商l_k所擁有的訓(xùn)練數(shù)據(jù)表示為V_l，k；W表示服務(wù)器下發(fā)到本地的模型權(quán)重參數(shù)；令W_k（k=1，2，…，n）表示第k個(gè)本地端l_k從本地服務(wù)端上傳至服務(wù)器端的模型權(quán)重參數(shù).

整體流程主要包括預(yù)測模型下發(fā)、負(fù)荷運(yùn)營商本地訓(xùn)練、各運(yùn)營商模型上傳以及模型聚合4個(gè)步驟.具體步驟如算法1所示.

1）以LSTM網(wǎng)絡(luò)的短期負(fù)荷預(yù)測模型為基礎(chǔ)，服務(wù)器端初始化各參數(shù)，并下發(fā)模型到本地端.

2）本地端接收下發(fā)的模型，用該模型參數(shù)更新自身模型參數(shù)，并以自身數(shù)據(jù)訓(xùn)練模型.

3）將已訓(xùn)練完成的模型上傳至服務(wù)器端，采用不傳輸梯度而是直接傳輸完整權(quán)重參數(shù)的方法降低數(shù)據(jù)泄露風(fēng)險(xiǎn)，避免被針對模型參數(shù)進(jìn)行攻擊的算法竊取數(shù)據(jù).

4）服務(wù)器端執(zhí)行模型聚合，考慮電力負(fù)荷預(yù)測場景的特點(diǎn)，在模型聚合階段，根據(jù)各參與方數(shù)據(jù)集質(zhì)量形成適用于負(fù)荷預(yù)測場景的模型聚合策略.最終，形成完整的基于聯(lián)邦學(xué)習(xí)的短期負(fù)荷預(yù)測模型協(xié)同訓(xùn)練方法.

選取算法1步驟中較為主要的10）～12）在2.2節(jié)詳細(xì)介紹；步驟13）和14）在2.3節(jié)詳細(xì)介紹；步驟16）和17）在2.4節(jié)詳細(xì)介紹.

2.2模型下發(fā)與本地訓(xùn)練更新

在服務(wù)器端進(jìn)行模型預(yù)訓(xùn)練，得到服務(wù)器端模型權(quán)重參數(shù)W.通過通信網(wǎng)絡(luò)將W下發(fā)至各個(gè)參與

訓(xùn)練的聯(lián)邦參與本地端l_k.各l_k接收服務(wù)器下發(fā)的W，更新本地模型參數(shù)W_k.隨后以其所擁有的數(shù)據(jù)集V_l，k作為本地訓(xùn)練樣本集，進(jìn)行本地訓(xùn)練并更新W_k.

模型訓(xùn)練過程采用Adam（Adaptive Moment Estimation）優(yōu)化算法.該算法在RMSprop算法的基礎(chǔ)上添加了動量項(xiàng)，根據(jù)t時(shí)刻梯度g_t的一階矩估計(jì)和二階矩估計(jì)來動態(tài)調(diào)整每個(gè)參數(shù)的學(xué)習(xí)率.該算法的

主要優(yōu)點(diǎn)為：經(jīng)過偏置校正后，每一次迭代學(xué)習(xí)率都存在于一個(gè)確定的范圍，使得參數(shù)較為穩(wěn)定.

基于Adam的模型訓(xùn)練過程描述如下：

1）根據(jù)t時(shí)刻的梯度g_t分別計(jì)算梯度和梯度平方的指數(shù)移動平均數(shù)m_t和v_t，β₁與β₂分別取0.9、0.999，m₀與v₀均設(shè)為0：

4）模型權(quán)重參數(shù)更新如式（13）所示，式中W_k表示參數(shù)更新后的第k個(gè)本地模型權(quán)重，ΣΔW_k，t表示第k個(gè)本地模型總的權(quán)重變化量：

W_k=W+ΣΔW_k，t（13）

采用平均絕對誤差（Mean Absolute Error，MAE）作為模型的目標(biāo)損失函數(shù)y_MAE.

2.3模型上傳

本地模型訓(xùn)練完成后，每個(gè)負(fù)荷運(yùn)營商l_k經(jīng)過通信網(wǎng)絡(luò)上傳模型權(quán)重參數(shù)W_k至服務(wù)器端，但在參數(shù)傳輸過程中存在多種不同的傳輸方式.

經(jīng)典的聯(lián)邦學(xué)習(xí)方法在訓(xùn)練迭代時(shí)傳輸梯度數(shù)據(jù)g_t，每位本地參與者首先將當(dāng)前訓(xùn)練的模型梯度相關(guān)系數(shù)上傳至服務(wù)器，服務(wù)器通過求取每位參與者最新的梯度相關(guān)系數(shù)的平均值來更新全局模型；在下一次迭代中，參與者再下載最新的全局模型參數(shù)繼續(xù)訓(xùn)練-但是，此種方法已被指出存在隱私泄露風(fēng)險(xiǎn)-有學(xué)者發(fā)現(xiàn)在聯(lián)邦過程中，如果發(fā)生梯度參數(shù)泄露，則可用算法通過梯度反推出該次迭代對應(yīng)的訓(xùn)練數(shù)據(jù)-例如較為典型的Deep Leakage from Gradients（DLG）算法[25]：首先假設(shè)虛擬的輸入和對應(yīng)的標(biāo)簽；隨后，計(jì)算虛擬的梯度，在此基礎(chǔ)上優(yōu)化虛擬梯度與真實(shí)梯度之間的距離，通過梯度的匹配使得假設(shè)的虛擬數(shù)據(jù)不斷靠近原始數(shù)據(jù)；最終，獲取參與方的真實(shí)訓(xùn)練數(shù)據(jù).

為了避免由于梯度參數(shù)泄露導(dǎo)致反推出對應(yīng)數(shù)據(jù)樣本的風(fēng)險(xiǎn)，本文采用不傳輸梯度而是直接傳輸完整權(quán)重參數(shù)的方法，在參與方本地模型訓(xùn)練完成后，上傳整體模型權(quán)重參數(shù)W_k，而非單個(gè)數(shù)據(jù)樣本訓(xùn)練時(shí)產(chǎn)生的梯度-權(quán)重參數(shù)經(jīng)過該參與方使用自身全部數(shù)據(jù)通過Adam算法進(jìn)行多次迭代訓(xùn)練，根據(jù)上述Adam訓(xùn)練過程及DLG算法原理，此時(shí)已無法推導(dǎo)出每一條數(shù)據(jù)樣本訓(xùn)練時(shí)所對應(yīng)的梯度計(jì)算值，從而無法推導(dǎo)出對應(yīng)的原始數(shù)據(jù)樣本-因此，在權(quán)重參數(shù)上傳過程中，即使遇到模型參數(shù)竊取行為，竊取者也無法推導(dǎo)出該參與方對應(yīng)的所有訓(xùn)練數(shù)據(jù)集樣本.

同時(shí)，為了服務(wù)于模型聚合階段的權(quán)值計(jì)算過程，在此階段還需上傳各本地負(fù)荷運(yùn)營商l_k所擁有數(shù)據(jù)V_l，k的時(shí)間跨度信息U_k.

2.4模型聚合

當(dāng)所有本地負(fù)荷運(yùn)營商l_k完成模型上傳流程后，服務(wù)器端對接收到的全部模型執(zhí)行聚合.以下介紹本文執(zhí)行模型聚合步驟時(shí)權(quán)值w_B，k的計(jì)算方法.

現(xiàn)有的聯(lián)邦學(xué)習(xí)模型聚合方法并不適應(yīng)負(fù)荷預(yù)測場景.例如，在經(jīng)典聯(lián)邦學(xué)習(xí)方法中，某聯(lián)邦參與方l_k模型聚合的權(quán)值w_B，k僅與其參與訓(xùn)練的樣本數(shù)量大小有關(guān).這種方法沒有結(jié)合實(shí)際的應(yīng)用場景，未充分考慮各個(gè)聯(lián)邦參與方數(shù)據(jù)樣本的質(zhì)量.這會導(dǎo)致在聚合時(shí)使用了不合理的聚合權(quán)重參數(shù)，影響最終模型的預(yù)測準(zhǔn)確率和泛化能力.而在本文方法所針對的短期負(fù)荷預(yù)測場景中，擁有越多樣化、越全面的數(shù)據(jù)的負(fù)荷運(yùn)營商所訓(xùn)練出的本地負(fù)荷預(yù)測模型往往有著更優(yōu)秀的預(yù)測準(zhǔn)確率與泛化能力，在模型聚合時(shí)應(yīng)該給予更高的聚合權(quán)重.

本文結(jié)合負(fù)荷預(yù)測場景的特點(diǎn)，定義各個(gè)負(fù)荷運(yùn)營商的貢獻(xiàn)度G，進(jìn)而更新聚合權(quán)值w_B，k.貢獻(xiàn)度G_k與運(yùn)營商l_k所擁有的數(shù)據(jù)樣本數(shù)量大小以及對應(yīng)的數(shù)據(jù)日期跨度U_k均有關(guān)；當(dāng)一個(gè)負(fù)荷運(yùn)營商自身數(shù)據(jù)樣本數(shù)量越大或其所擁有的相對其他運(yùn)營商數(shù)據(jù)的新時(shí)刻數(shù)據(jù)越多，其貢獻(xiàn)度G應(yīng)該越大；該模型對服務(wù)器模型的聚合過程也應(yīng)該有更大的影響，參數(shù)聚合時(shí)擁有較高的權(quán)重.

對每一個(gè)存在數(shù)據(jù)的時(shí)刻賦予總量為1的貢獻(xiàn)量，對于i時(shí)刻，若在該時(shí)刻共有Q_i個(gè)負(fù)荷運(yùn)營商存在數(shù)據(jù)樣本，則共同平分該時(shí)刻的貢獻(xiàn)量，每個(gè)運(yùn)營商得到的貢獻(xiàn)分量為B_k，i；若負(fù)荷運(yùn)營商l_k在該時(shí)刻i沒有數(shù)據(jù)樣本，則其貢獻(xiàn)分量B_k，i=0.

貢獻(xiàn)度確定后，按照各參與方對聯(lián)邦模型的貢獻(xiàn)度G_k更新w_B，k，執(zhí)行模型聚合，更新模型參數(shù).更新方法如式（17）（18）所示.

式中：W為已更新后模型權(quán)重參數(shù)；W_k為參與方l_k在經(jīng)過本地訓(xùn)練后所上傳的模型權(quán)重參數(shù).

3仿真驗(yàn)證

3.1試驗(yàn)環(huán)境

本文采用多個(gè)相互獨(dú)立的計(jì)算機(jī)模擬參與聯(lián)邦的各個(gè)負(fù)荷運(yùn)營商，進(jìn)而驗(yàn)證本文所提出方法對預(yù)測準(zhǔn)確率與泛化能力的提升.采用5臺計(jì)算機(jī)模擬5個(gè)本地負(fù)荷運(yùn)營商（地區(qū)），各計(jì)算機(jī)配置均為英特爾至強(qiáng)6248R CPU，RTX 3080 GPU，512 GB內(nèi)存；同時(shí)采用一臺個(gè)人計(jì)算機(jī)作為服務(wù)器端，配置為Intel i7 CPU，16 GB 內(nèi)存，Intel UHD Graphics 630集成顯卡.上述設(shè)備之間可點(diǎn)對點(diǎn)通信.

本文采用在負(fù)荷預(yù)測中具有代表性的GEF- Com2012比賽數(shù)據(jù)[26]，作為試驗(yàn)樣本數(shù)據(jù)集.該數(shù)據(jù)集包含20個(gè)地區(qū)每1h記錄1次的電力負(fù)荷數(shù)據(jù)、對應(yīng)溫度數(shù)據(jù)以及日期信息，將其整理成可用于本文LSTM模型輸入的數(shù)據(jù)集.深度學(xué)習(xí)算法采用Python 3.6編程語言編程，負(fù)荷預(yù)測模型的深度學(xué)習(xí)框架采用TensorFlow2.

3.2仿真結(jié)果

1）為了驗(yàn)證本文方法對模型預(yù)測能力的提升，同時(shí)排除日期等因素對預(yù)測精度的影響，在3.2.1節(jié)中將參與協(xié)同訓(xùn)練的各地區(qū)所擁有數(shù)據(jù)的時(shí)間跨度均設(shè)置為同一時(shí)間段，樣本設(shè)為相同數(shù)量.

2）為了驗(yàn)證本文方法對模型泛化能力的提升，在3.2.2節(jié)中將各參與方的數(shù)據(jù)時(shí)間跨度設(shè)置為不同時(shí)間段，樣本設(shè)為不同數(shù)量.設(shè)置3個(gè)算例驗(yàn)證其在3種場景下對模型預(yù)測精度和泛化能力的提升.

3.2.1相同時(shí)間跨度與數(shù)據(jù)量的參與方進(jìn)行聯(lián)邦

為了體現(xiàn)本文方法對模型預(yù)測準(zhǔn)確率的提升，選取5個(gè)地區(qū)作為相互獨(dú)立的負(fù)荷運(yùn)營商參與聯(lián)邦過程，分別記為l₁、l₂、l₃、l₄、l₅.數(shù)據(jù)集選擇該5個(gè)地區(qū)2004年量測數(shù)據(jù)V_l，1～V_l，5，每1h有1次記錄，全年每個(gè)V_l，k有8 784個(gè)數(shù)據(jù)樣本.

需要說明的是，本算例主要目的是驗(yàn)證本文方法對預(yù)測精度的提升，所以應(yīng)排除各地區(qū)數(shù)據(jù)量及選取日期差異的干擾.因此，本算例采用1月1日至7月27日的數(shù)據(jù)樣本作為模型訓(xùn)練樣本集，以7月28日的24個(gè)數(shù)據(jù)樣本作為測試集.

依次將5個(gè)地區(qū)作為目標(biāo)對象，每一個(gè)地區(qū)均進(jìn)行以下工作：首先以地區(qū)l_k（k=1、2、3、4、5）自身所擁有的數(shù)據(jù)集進(jìn)行模型訓(xùn)練，并將該訓(xùn)練好的模型作為服務(wù)器模型，記錄此時(shí)模型對該日負(fù)荷的預(yù)測結(jié)果；隨后，將該服務(wù)器模型下發(fā)至除l_k外其余4個(gè)本地端，各l_k根據(jù)自身所擁有的數(shù)據(jù)集進(jìn)行本地模型訓(xùn)練；依次進(jìn)行本地模型更新、本地模型上傳、服務(wù)器接收模型、服務(wù)器模型聚合更新流程；地區(qū)l_k得到更新后的服務(wù)器模型，并在測試集進(jìn)行測試.最終，記錄5個(gè)地區(qū)單獨(dú)模型負(fù)荷預(yù)測及聯(lián)邦后預(yù)測的結(jié)果，并對比實(shí)際負(fù)荷、單一模型及本文方法的預(yù)測結(jié)果.各地區(qū)負(fù)荷預(yù)測結(jié)果對比分別如圖4～圖8所示，RMSE和MAPE結(jié)果對比分別如表1和表2所示.

從圖4～圖8可以看出，使用單一負(fù)荷預(yù)測模型預(yù)測的負(fù)荷曲線與實(shí)際負(fù)荷曲線存在著明顯差距，但經(jīng)過本文方法訓(xùn)練的模型所預(yù)測的負(fù)荷曲線與真實(shí)曲線之間的差距明顯縮小.由表1和表2可知，在5次測試中，各地區(qū)單一模型的預(yù)測結(jié)果相對該地區(qū)實(shí)際負(fù)荷的誤差均較大，地區(qū)4的MAPE甚至超過了5%，這表明單獨(dú)使用單一負(fù)荷預(yù)測模型并不具備良好的誤差控制效果.使用本文所提方法，模型的誤差指標(biāo)RMSE與MAPE都有了明顯下降.地區(qū)1的誤差下降最為明顯，相比單一模型，RMSE與MAPE分別減少了32%和43%.由此可見，本文所提方法在保護(hù)數(shù)據(jù)隱私的情況下，豐富了參與到模型訓(xùn)練的數(shù)據(jù)特征，彌補(bǔ)了單一地區(qū)數(shù)據(jù)集特征不夠全面的缺陷，最終驗(yàn)證了經(jīng)過本文所提方法訓(xùn)練的負(fù)荷預(yù)測模型具有比單一數(shù)據(jù)集訓(xùn)練的模型更加優(yōu)秀的預(yù)測準(zhǔn)確度和更好的誤差控制能力.

3.2.2多場景測試

本文所提方法也適合更多復(fù)雜的場景.為了驗(yàn)證經(jīng)過本文方法訓(xùn)練后的模型在多場景下具有良好的預(yù)測準(zhǔn)確率和泛化能力，設(shè)置如下3個(gè)算例：算例1和算例2模擬利用本文方法實(shí)現(xiàn)擴(kuò)充數(shù)據(jù)集時(shí)間跨度的場景；算例3模擬將模型移植到新的地區(qū)進(jìn)行預(yù)測的場景.

對仿真所用到的數(shù)據(jù)集進(jìn)行預(yù)處理，地區(qū)1～地區(qū)5的數(shù)據(jù)量及日期特征均不相同.其中地區(qū)4由于為新設(shè)立的區(qū)域，并無歷史數(shù)據(jù)，但具有負(fù)荷、氣象等數(shù)據(jù)量測能力.詳細(xì)設(shè)置如表3所示.

算例1以地區(qū)2的數(shù)據(jù)進(jìn)行訓(xùn)練，得到地區(qū)2 負(fù)荷預(yù)測模型，并用該模型預(yù)測地區(qū)2的負(fù)荷，記錄預(yù)測結(jié)果；再以地區(qū)1聯(lián)合地區(qū)2進(jìn)行協(xié)同訓(xùn)練，用訓(xùn)練出的模型預(yù)測地區(qū)2的負(fù)荷，記錄此時(shí)預(yù)測結(jié)果.算例1負(fù)荷預(yù)測結(jié)果對比如圖9所示，預(yù)測誤差對比如表4所示.

由圖9和表4可知，采用本文所提方法后，在保證地區(qū)1數(shù)據(jù)隱私的同時(shí)，訓(xùn)練出的模型降低了地區(qū)2因7月數(shù)據(jù)缺失造成7月份負(fù)荷預(yù)測準(zhǔn)確度下降的影響，預(yù)測出的負(fù)荷曲線更接近實(shí)際數(shù)據(jù)，其誤差也大幅降低，RMSE與MAPE分別降低了21%和28%.這體現(xiàn)出本文方法有效地豐富了地區(qū)5模型訓(xùn)練可利用的樣本特征，驗(yàn)證了本文方法在數(shù)據(jù)量不足情況下對模型預(yù)測準(zhǔn)確率的提升效果.

算例2以地區(qū)5的數(shù)據(jù)進(jìn)行訓(xùn)練，得到地區(qū)5負(fù)荷預(yù)測模型，并用該模型預(yù)測地區(qū)5的負(fù)荷，記錄預(yù)測結(jié)果；再以地區(qū)3聯(lián)合地區(qū)5進(jìn)行協(xié)同訓(xùn)練，用訓(xùn)練出的模型預(yù)測地區(qū)5的負(fù)荷，記錄此時(shí)預(yù)測結(jié)果.結(jié)果如表5所示，預(yù)測負(fù)荷曲線圖如圖10所示.

從表5和圖10可以看出，相較地區(qū)5僅用自身數(shù)據(jù)訓(xùn)練的模型，采用本文方法訓(xùn)練后的模型預(yù)測曲線與真實(shí)曲線之間的差距大幅縮小，對應(yīng)的誤差RMSE和MAPE分別下降了74%和80%.在本算例中，地區(qū)5自身所擁有的數(shù)據(jù)極少，僅用該數(shù)據(jù)訓(xùn)練出的模型預(yù)測能力和泛化能力非常弱.由于本文方法對數(shù)據(jù)量進(jìn)行了大幅擴(kuò)充，且補(bǔ)充了更多不同日期的特征，對預(yù)測準(zhǔn)確率的提升十分顯著，使得誤差大幅降低.這也符合深度學(xué)習(xí)在樣本不夠全面的情況下，當(dāng)訓(xùn)練樣本增加時(shí)模型性能也提升的特點(diǎn).與此同時(shí)，在協(xié)同訓(xùn)練過程中有效地保證了地區(qū)3、5 各自的數(shù)據(jù)隱私.綜上所述，本算例說明本文方法能有效提升模型的預(yù)測能力.

算例3利用地區(qū)1、2、3、5的數(shù)據(jù)協(xié)同訓(xùn)練負(fù)荷預(yù)測模型，將該模型應(yīng)用于新加入聯(lián)邦的地區(qū)4的負(fù)荷預(yù)測；先量測地區(qū)4預(yù)測時(shí)刻前24 h時(shí)刻的歷史負(fù)荷數(shù)據(jù)以及預(yù)測時(shí)刻的氣象、日期數(shù)據(jù)，作為聯(lián)合預(yù)測模型的輸入，進(jìn)而預(yù)測下一時(shí)刻的負(fù)荷變化，記錄下一日預(yù)測結(jié)果.預(yù)測負(fù)荷曲線圖如圖11所示，預(yù)測誤差對比如表6所示.從圖11和表6中可以看出，模型在新地區(qū)具有良好的預(yù)測準(zhǔn)確率，相比單一模型，本文方法預(yù)測曲線與真實(shí)負(fù)荷曲線差距較小，RMSE和MAPE分別降低了19%和23%.這是因?yàn)楸疚姆椒ㄓ?xùn)練出的短期負(fù)荷預(yù)測模型學(xué)習(xí)了多個(gè)地區(qū)數(shù)據(jù)的特征，適應(yīng)能力更強(qiáng)，具有良好的泛化能力.

4結(jié)論

本文針對構(gòu)建負(fù)荷預(yù)測模型所需數(shù)據(jù)樣本數(shù)量與特征不足、模型泛化能力差以及負(fù)荷相關(guān)數(shù)據(jù)高度保密無法共享訓(xùn)練的問題，引入聯(lián)邦學(xué)習(xí)方法，提出基于聯(lián)邦學(xué)習(xí)的短期負(fù)荷預(yù)測模型協(xié)同訓(xùn)練方法，實(shí)現(xiàn)各負(fù)荷運(yùn)營商在滿足保證數(shù)據(jù)隱私的前提下協(xié)同訓(xùn)練短期負(fù)荷預(yù)測模型.在GEFCom2012比賽的多個(gè)地區(qū)負(fù)荷數(shù)據(jù)集上進(jìn)行了仿真測試，驗(yàn)證了所提方法對模型預(yù)測準(zhǔn)確率的提升，證明了通過本文方法訓(xùn)練出的短期負(fù)荷預(yù)測模型在多場景下具有優(yōu)秀的泛化能力.在本文基礎(chǔ)上，未來可進(jìn)一步研究配電網(wǎng)多主體協(xié)同的去中心化分布式訓(xùn)練機(jī)制.

參考文獻(xiàn)

[1]梁智，孫國強(qiáng)，李虎成，等.基于VMD與PSO優(yōu)化深度信念網(wǎng)絡(luò)的短期負(fù)荷預(yù)測[J].電網(wǎng)技術(shù)，2018，42（2）：598-606.

LIAN G Z，SUN G Q，LI H C，et al. Short-term load forecasting based on VMD and PSO optimized deep belief network [J]. Power System Technology，2018，42（2）：598-606. （In Chinese）

[2]陳宏義，李存斌，施立剛.基于聚類分析的短期負(fù)荷智能預(yù)測方法研究[J].湖南大學(xué)學(xué)報(bào)（自然科學(xué)版），2014，41（5）：94-98.

CHEN H Y，LI C B，SHI L G. A new forecasting approach for short-term load intelligence based on cluster method[J]. Journal of Hunan University （Natural Sciences），2014，41（5）：94-98. （In Chinese）

[3]孔祥玉，李闖，鄭鋒，等.基于經(jīng)驗(yàn)?zāi)B(tài)分解與特征相關(guān)分析的短期負(fù)荷預(yù)測方法[J].電力系統(tǒng)自動化，2019，43（5）：46-52.

KONG X Y，LI C，ZHENG F，et al. Short-term load forecasting method based on empirical mode decomposition and feature correlation analysis[J]. Automation of Electric Power Systems，2019，43（5）：46-52.（In Chinese）

[4]彭顯剛，鄭偉欽，林利祥，等.考慮負(fù)荷自適應(yīng)檢測和修復(fù)的魯棒極限學(xué)習(xí)機(jī)短期負(fù)荷預(yù)測方法[J].中國電機(jī)工程學(xué)報(bào)，2016，36（23）：6409-6417.

PENG X G，ZHENG W Q，LIN L X，et al. Short-term load forecasting method based on outlier robust extreme learning machine considering adaptive load detection and repair[J].Proceedings of the CSEE，2016，36（23）：6409-6417.（In Chinese）

[5]孔祥玉，鄭鋒，鄂志君，等.基于深度信念網(wǎng)絡(luò)的短期負(fù)荷預(yù)測方法[J].電力系統(tǒng)自動化，2018，42（5）：133-139.

KONG X Y，ZHENG F，E Z J，et al. Short-term load forecasting based on deep belief network[J]. Automation of Electric Power Systems，2018，42（5）：133-139.（In Chinese）

[6]彭文，王金睿，尹山青.電力市場中基于Attention-LSTM的短期負(fù)荷預(yù)測模型[J].電網(wǎng)技術(shù)，2019，43（5）：1745-1751.

PENG W，WANG J R，YIN S Q. Short-term load forecasting model based on Attention-LSTM in electricity market[J]. Power System Technology，2019，43（5）：1745-1751.（In Chinese）

[7]蘇學(xué)能，劉天琪，曹鴻謙，等.基于Hadoop架構(gòu)的多重分布式BP神經(jīng)網(wǎng)絡(luò)的短期負(fù)荷預(yù)測方法[J].中國電機(jī)工程學(xué)報(bào)，2017，37（17）：4966-4973.

SU X N，LIU T Q，CAO H Q，et al.A multiple distributed BP neural networks approach for short-term load forecasting based on Hadoop framework[J]. Proceedings of the CSEE，2017，37（17）：4966-4973.（In Chinese）

[8]楊龍，吳紅斌，丁明，等.新能源電網(wǎng)中考慮特征選擇的Bi-LSTM網(wǎng)絡(luò)短期負(fù)荷預(yù)測[J].電力系統(tǒng)自動化，2021，45 （3）：166-173.

YANG L，WU H B，DING M，et al. Short-term load forecasting in renewable energy grid based on Bi-directional long short-term memory network considering feature selection[J]. Automation of Electric Power Systems，2021，45（3）：166-173.（In Chinese）

[9]龐昊，高金峰，杜耀恒.基于多神經(jīng)網(wǎng)絡(luò)融合的短期負(fù)荷預(yù)測方法[J].電力自動化設(shè)備，2020，40力）：37-43.

PANG H，GAO J F，DU Y H.Short-term load forecasting method based on fusion of multiple neural networks[J]. Electric Power Automation Equipment，2020，40（6）：37-43. （In Chinese）

[10]姚程文，楊蘋，劉澤健.基于CNN-GRU混合神經(jīng)網(wǎng)絡(luò)的負(fù)荷預(yù)測方法[J].電網(wǎng)技術(shù)，2020，44（9）：3416-3424.

YAO C W，YANG P，LIU Z J.Load forecasting method based on CNN-GRU hybrid neural network[J]. Power System Technology，2020，44（9）：3416-3424.（In Chinese）

[11]陸繼翔，張琪培，楊志宏，等.基于CNN-LSTM混合神經(jīng)網(wǎng)絡(luò)模型的短期負(fù)荷預(yù)測方法[J].電力系統(tǒng)自動化，2019，43（8）：131-137.

LU J X，ZHANG Q P，YANG Z H，et al.Short-term load forecasting method based on CNN-LSTM hybrid neural network model[J]. Automation of Electric Power Systems，2019，43（8）：131-137.（In Chinese）

[12]鄧帶雨，李堅(jiān)，張真源，等.基于EEMD-GRU-MLR的短期電力負(fù)荷預(yù)測[J].電網(wǎng)技術(shù)，2020，44（2）：593-602.

DENG D Y，LI J，ZHANG Z Y，et al. Short-term electric load forecasting based on EEMD-GRU-MLR[J].Power System Technology，2020，44（2）：593-602.（In Chinese）

[13]王增平，趙兵，紀(jì)維佳，等.基于GRU-NN模型的短期負(fù)荷預(yù)測方法[J].電力系統(tǒng)自動化，2019，43（5）：53-58.

WANG Z P，ZHAO B，JI W J，et al. Short-term load forecasting method based on GRU-NN model [J]. Automation of Electric Power Systems，2019，43（5）：53-58. （In Chinese）

[14]陳振宇，劉金波，李晨，等.基于LSTM與XGBoost組合模型的超短期電力負(fù)荷預(yù)測[J].電網(wǎng)技術(shù)，2020，44（2）：614-620.

CHEN Z Y，LIU J B，LI C，et al. Ultra short-term power load forecasting based on combined LSTM-XGBoost model [J]. Power System Technology，2020，44（2）：614-620. （In Chinese）

[15]孫曉燕，李家釗，曾博，等.基于特征遷移學(xué)習(xí)的綜合能源系統(tǒng)小樣本日前電力負(fù)荷預(yù)測[J].控制理論與應(yīng)用，2021，38（1）：63-72.

SUN X Y，LI J Z，ZENG B，et al Small-sample day-ahead power load forecasting of integrated energy system based on feature transfer learning [J]. Control Theory & Applications，2021，38（1）：63-72 （In Chinese）

[16]張勇，陶一凡，鞏敦衛(wèi).遷移學(xué)習(xí)引導(dǎo)的變源域長短時(shí)記憶網(wǎng)絡(luò)建筑負(fù)荷預(yù)測[J].控制與決策，2021，36（10）：2328-2338.

ZHANG Y，TAO Y F，GONG D W. Load forecasting of buildings using LSTM based on transfer learning with variable source domain[J] Control and Decision，2021，36（10）：2328-2338 （In Chinese）

[17] GONQALVES C，BESSA R J，PINSON P. Privacy-preserving distributed learning for renewable energy forecasting[J]. IEEE Transactions on Sustainable Energy，2021，12（3）：1777-1787

[18] KONECNY J，MCMAHAN H B，YUF X，et al. Federated learning：strategies for improving communication efficiency [EB/OL]. https：//arxiv.org/pdf/1610.05492.pdf.

[19] YANG Q，LIU Y，CHEN T J，et al. Federated machine learning[J]. ACM Transactions on Intelligent Systems and Technology，2019，10（2）：1-19

[20]賀文晨，郭少勇，邱雪松，等.基于DRL的聯(lián)邦學(xué)習(xí)節(jié)點(diǎn)選擇方法[J].通信學(xué)報(bào)，2021，42（6）：62-71.

HE W C，GUO S Y，QIU X S，et al. Node selection method in federated learning based on deep reinforcement learning[J]. Journal on Communications，2021，42（6）：62-71 （In Chinese）

[21] MILLS J，HU J，MIN G Y Communication-efficient federated learning for wireless edge intelligence in IoT[J]. IEEE Internet of Things Journal，2020，7（7）：5986-5994

[22] ZHOU C Y，F(xiàn)U A M，YU S，et al Privacy-preserving federated learning in fog computing[J] IEEE Internet of Things Journal，2020，7（11）：10782-10793

[23]鄭楷洪，肖勇，王鑫，等.一個(gè)面向電力計(jì)量系統(tǒng)的聯(lián)邦學(xué)習(xí)框架[J].中國電機(jī)工程學(xué)報(bào)，2020，40（S1）：122-133.

ZHENG K H，XIAO Y，WANG X，et al A federated learning framework for power grid metering system [J]. Proceedings of the CSEE，2020，40（S1）：122-133 （In Chinese）

[24] HOCHREITER S，SCHMIDHUBER J. Long short-term memory[J]. Neural Computation，1997，9（8）：1735-1780

[25] ZHU L G，LIU Z J，HAN S. Deep leakage from gradients[EB/OL]. https：//arxiv.org/pdf/1906.08935.pdf.

[26] HONG T，PINSON P，F(xiàn)AN S Global energy forecasting competition 2012[J]. International Journal of Forecasting，2014，30（2）：357-363