基于生成對(duì)抗網(wǎng)絡(luò)和聯(lián)邦學(xué)習(xí)的非侵入式負(fù)荷分解方法

吳釘捷，李曉露，陸一鳴

(1.上海電力大學(xué) 電氣工程學(xué)院，上海 200090； 2.國(guó)網(wǎng)上海能源互聯(lián)網(wǎng)研究院有限公司，上海 201203)

0 引 言

在泛在電力物聯(lián)網(wǎng)的背景下，非侵入式用電負(fù)荷感知是新一代智能電表應(yīng)具有的重要功能，通過(guò)對(duì)用戶(hù)的用電總量進(jìn)行精細(xì)化分解，可得到負(fù)荷成分和能耗占比，不僅能夠?yàn)橛脩?hù)提供電器級(jí)別的用電詳情和建議，而且是電力公司開(kāi)展?fàn)I銷(xiāo)業(yè)務(wù)和電網(wǎng)運(yùn)維的重要依托。利用面向邊緣終端設(shè)備的人工智能技術(shù)和云邊協(xié)同計(jì)算來(lái)實(shí)現(xiàn)本地化的數(shù)據(jù)分析和挖掘，可降低對(duì)集中式數(shù)據(jù)中心的依賴(lài)。

基于智能電能表的高頻和低頻采樣數(shù)據(jù)，可形成相應(yīng)的負(fù)荷分解方法。高頻采樣能夠提供負(fù)荷投切的暫態(tài)特征，并以此辨識(shí)出電器的啟停次數(shù)[1]。文獻(xiàn)[2]將負(fù)荷的相似特征轉(zhuǎn)換為離散模糊數(shù)矩陣，根據(jù)矩陣質(zhì)心評(píng)價(jià)值來(lái)辨識(shí)出最有可能的負(fù)荷投切。文獻(xiàn)[3]將負(fù)荷投切轉(zhuǎn)換為二分圖尋優(yōu)匹配問(wèn)題，提出基于改進(jìn)匈牙利算法的多重匹配策略。高頻采樣對(duì)電能表的硬件要求較高，可用于對(duì)特定設(shè)備的監(jiān)測(cè)，但不適用于居民負(fù)荷。

由于低頻穩(wěn)態(tài)特征不具有明顯的辨識(shí)性，多數(shù)文獻(xiàn)會(huì)對(duì)電器運(yùn)行狀態(tài)和時(shí)間的先驗(yàn)信息進(jìn)行聚類(lèi)[4-5]和建立概率統(tǒng)計(jì)模型。文獻(xiàn)[6]對(duì)樣本電器的功率分布按工/休日進(jìn)行聚類(lèi)得到負(fù)荷特征，并利用遺傳算法來(lái)擬合采樣功率，得到最優(yōu)的設(shè)備工作狀態(tài)序列和對(duì)應(yīng)功率。文獻(xiàn)[7]根據(jù)歷史用電數(shù)據(jù)來(lái)提取電器運(yùn)行的時(shí)間概率分布和電器組合超狀態(tài)，利用時(shí)間概率最大似然估計(jì)得到負(fù)荷分解結(jié)果。文獻(xiàn)[8]構(gòu)建了負(fù)荷狀態(tài)和行為模板，并引入分時(shí)段狀態(tài)概率因子作為負(fù)荷新特征，通過(guò)多特征遺傳優(yōu)化迭代實(shí)現(xiàn)負(fù)荷分解。然而，不同用戶(hù)的非同源數(shù)據(jù)可能具有不同的概率分布，使用K-means等非監(jiān)督聚類(lèi)算法可能效果不好[9]。

目前，有學(xué)者將深度學(xué)習(xí)應(yīng)用于負(fù)荷分解中，并充分發(fā)揮其自動(dòng)特征提取的優(yōu)勢(shì)。文獻(xiàn)[10]利用降噪自編碼器進(jìn)行負(fù)荷分解，取得了較好效果。文獻(xiàn)[11]將電器狀態(tài)進(jìn)行組合編碼，利用自然語(yǔ)言處理領(lǐng)域的seq2seq模型將待分解的能量信號(hào)與狀態(tài)碼進(jìn)行映射訓(xùn)練，實(shí)現(xiàn)負(fù)荷分解。文獻(xiàn)[12]對(duì)不同電器分別構(gòu)建seq2seq模型，將分解功率的值回歸問(wèn)題轉(zhuǎn)換為求取分解功率值在各個(gè)離散整數(shù)功率值下概率的多分類(lèi)問(wèn)題。文獻(xiàn)[13]利用雙向門(mén)控循環(huán)網(wǎng)絡(luò)來(lái)挖掘負(fù)荷分解時(shí)間點(diǎn)與前多序列之間的時(shí)間關(guān)聯(lián)特征以及電器運(yùn)行狀態(tài)與時(shí)間的潛在關(guān)系。

傳統(tǒng)集中式的模型訓(xùn)練方法會(huì)增加數(shù)據(jù)中心的計(jì)算和通信壓力，并且無(wú)法保護(hù)用戶(hù)的數(shù)據(jù)隱私。為此，首先提出一種基于生成對(duì)抗網(wǎng)絡(luò)的負(fù)荷分解模型，通過(guò)輕量化生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)，使其能應(yīng)用于邊緣終端設(shè)備。其次，提出了一種基于聯(lián)邦學(xué)習(xí)的網(wǎng)絡(luò)模型實(shí)施方案，以云邊協(xié)同的方式對(duì)模型進(jìn)行訓(xùn)練，并利用公開(kāi)數(shù)據(jù)集進(jìn)行了測(cè)試和驗(yàn)證。

1 非侵入式負(fù)荷分解模型

對(duì)于居民用戶(hù)，由智能電能表采集得到的總功率信號(hào)P(t)是n個(gè)不同類(lèi)型家用電器功率信號(hào)的線(xiàn)性疊加，負(fù)荷分解可被視為一個(gè)“去噪”任務(wù)，即試圖從其他電器產(chǎn)生的背景噪聲中恢復(fù)某個(gè)特定電器的功率信號(hào)Pi(t)，如式(1)所示：

(1)

式中Pj(t)為非指定電器功率信號(hào)之和；e(t)為電能表的測(cè)量誤差。

在圖像去噪領(lǐng)域，應(yīng)用較廣的是卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)構(gòu)建自編碼器[14]對(duì)原始圖像進(jìn)行噪聲特征提取，進(jìn)而生成干凈圖像。對(duì)于時(shí)間序列數(shù)據(jù)的處理，同樣可以使用一維卷積神經(jīng)網(wǎng)絡(luò)[15]，由于其具有平移不變性，在某個(gè)時(shí)段內(nèi)學(xué)習(xí)到的特征可在其他時(shí)段中被識(shí)別。但卷積自編碼器屬于無(wú)監(jiān)督學(xué)習(xí)，所生成的時(shí)間序列無(wú)法評(píng)判優(yōu)劣，因此構(gòu)建了基于生成對(duì)抗網(wǎng)絡(luò)[16]的負(fù)荷分解模型，如圖1所示。

圖1 基于生成對(duì)抗網(wǎng)絡(luò)的負(fù)荷分解模型

生成對(duì)抗網(wǎng)絡(luò)由生成網(wǎng)絡(luò)G和判別網(wǎng)絡(luò)D兩部分組成。生成網(wǎng)絡(luò)通過(guò)學(xué)習(xí)電器的功率分布特征，生成對(duì)應(yīng)的分解序列。判別網(wǎng)絡(luò)對(duì)輸入樣本進(jìn)行真假判別，區(qū)分真實(shí)數(shù)據(jù)和生成的數(shù)據(jù)。通過(guò)迭代訓(xùn)練兩個(gè)網(wǎng)絡(luò)，使生成網(wǎng)絡(luò)生成的分解序列更加真實(shí)，而判別網(wǎng)絡(luò)的辨識(shí)能力相應(yīng)增強(qiáng)，兩個(gè)網(wǎng)絡(luò)相互對(duì)抗，最終達(dá)到一個(gè)動(dòng)態(tài)均衡，即生成的數(shù)據(jù)已足夠真實(shí)，判別網(wǎng)絡(luò)無(wú)法辨別真?zhèn)巍?/p>

1.1 生成網(wǎng)絡(luò)

文中僅利用電表采集的有功功率數(shù)據(jù)，因此生成網(wǎng)絡(luò)的輸入為一個(gè)1×H1維的總負(fù)荷有功功率序列z，為了得到某個(gè)指定電器的功率分解序列，需要將該電器類(lèi)別標(biāo)簽作為額外的條件輸入，以指導(dǎo)數(shù)據(jù)生成過(guò)程。為了使標(biāo)簽信息不被長(zhǎng)序列數(shù)據(jù)掩蓋，通過(guò)詞嵌入層(Embeding)[17]將電器類(lèi)別標(biāo)簽轉(zhuǎn)換為稠密向量，并與總功率序列相乘，得到融合序列。如圖2所示，通過(guò)構(gòu)建編碼器-解碼器結(jié)構(gòu)來(lái)實(shí)現(xiàn)端到端的序列映射。

圖2 生成網(wǎng)絡(luò)的結(jié)構(gòu)

編碼器網(wǎng)絡(luò)由多個(gè)一維卷積層(Conv)組成，對(duì)于每個(gè)卷積層l，有Kl個(gè)1×F×Kl-1的卷積核以步長(zhǎng)Sl在輸入特征矩陣Xl-1上分別進(jìn)行滑動(dòng)卷積來(lái)學(xué)習(xí)不同的單一特征，例如一個(gè)1 kW的功率躍變，從而得到輸出特征矩陣Xl，并可計(jì)算該卷積層所需訓(xùn)練的參數(shù)數(shù)量Mltrad和計(jì)算代價(jià)Cltrad，如式(2)所示:

(2)

Mltrad=F×Kl-1×Kl

(3)

(4)

目前智能電能表的低頻采樣頻率最高可達(dá)1 Hz，每天可采集上萬(wàn)個(gè)點(diǎn)的總有功功率序列。對(duì)于長(zhǎng)序列數(shù)據(jù)的處理，如果將其直接作為模型的輸入，則網(wǎng)絡(luò)結(jié)構(gòu)會(huì)變得更為復(fù)雜，同時(shí)參數(shù)量劇增容易導(dǎo)致模型過(guò)擬合，故需要對(duì)輸入數(shù)據(jù)進(jìn)行分段訓(xùn)練。為了進(jìn)一步減少網(wǎng)絡(luò)參數(shù)量，使模型能在嵌入式設(shè)備中應(yīng)用，采用深度可分離卷積[18]替代部分傳統(tǒng)卷積。

深度可分離卷積層(Conv-dw)由深度卷積和點(diǎn)卷積組成，利用Kl-1個(gè)1×F×1的卷積核分別對(duì)輸入特征矩陣Xl-1的不同通道進(jìn)行深度卷積，并在此基礎(chǔ)上利用Kl個(gè)1×1×Kl-1的卷積核進(jìn)行點(diǎn)卷積，所得到的輸出特征矩陣Xl與傳統(tǒng)卷積的大小一致，但網(wǎng)絡(luò)參數(shù)Mldw和計(jì)算代價(jià)Cldw減少為傳統(tǒng)卷積的1/Kl-1/F倍，如下所示:

(5)

(6)

Mldw=F×Kl-1+Kl-1×Kl

(7)

Cldw=(F×Kl-1+Kl-1×Kl)×[(Hl-F)/Sl+1]

(8)

解碼器網(wǎng)絡(luò)同樣利用多個(gè)一維卷積層將提取的特征轉(zhuǎn)換為功率分解序列，為了使多維的特征矩陣逐步還原為初始序列的大小，需要在每個(gè)卷積層dl中增加上采樣(Up-Sampling)。例如，在將1×Hdl-1×Kdl-1的輸入矩陣變換為1×Hdl×Kdl的輸出矩陣時(shí)，需要先在輸入矩陣元素之間填充Pdl個(gè)0元素，并將其作為新的特征輸入，然后再通過(guò)Kl個(gè)1×F×Kdl-1的卷積核以步長(zhǎng)Sl進(jìn)行卷積操作。Pdl的計(jì)算公式如式(9)所示:

Pdl=[Sdl×(Hdl-1-1)+F-Hdl]/2

(9)

在生成網(wǎng)絡(luò)中的每個(gè)卷積層之后都會(huì)設(shè)置一個(gè)批標(biāo)準(zhǔn)化層(BN)和ReLU激活層。BN層通過(guò)對(duì)卷積層的輸出進(jìn)行標(biāo)準(zhǔn)化來(lái)避免梯度消失問(wèn)題，從而加快模型收斂，提高訓(xùn)練速度。如式(10)所示，ReLU激活函數(shù)會(huì)使一部分輸出變?yōu)?，從而形成較好的網(wǎng)絡(luò)稀疏性，有助于緩解過(guò)擬合，并且可以防止有功功率分解時(shí)負(fù)值的產(chǎn)生。

ReLU(x)=max(0,x)

(10)

1.2 判別網(wǎng)絡(luò)

判別網(wǎng)絡(luò)的一個(gè)作用是對(duì)輸入的電器功率分解序列進(jìn)行真假判斷，與生成網(wǎng)絡(luò)不同，電器標(biāo)簽信息并不作為條件輸入，而是需要判別網(wǎng)絡(luò)額外輸出所屬的電器類(lèi)型。增加輔助分類(lèi)器Q可以檢驗(yàn)判別網(wǎng)絡(luò)是否正確識(shí)別出電器類(lèi)型，從而保證了辨別真?zhèn)蔚挠行?。此外，?xùn)練深度學(xué)習(xí)模型通常需要大量的帶標(biāo)簽數(shù)據(jù)，而實(shí)際的用戶(hù)數(shù)據(jù)中往往缺乏可用的標(biāo)簽信息，經(jīng)過(guò)預(yù)訓(xùn)練的生成對(duì)抗網(wǎng)絡(luò)可根據(jù)輔助分類(lèi)器結(jié)果自己為數(shù)據(jù)添加標(biāo)簽，進(jìn)而生成本地?cái)?shù)據(jù)集，提升本地模型的訓(xùn)練效果。

從表1可以看出，判別網(wǎng)絡(luò)的結(jié)構(gòu)與生成網(wǎng)絡(luò)中的編碼器相似，首先通過(guò)多個(gè)卷積層進(jìn)行特征提取，然后通過(guò)全局平均池化(Global-AvgPooling)進(jìn)一步對(duì)序列特征壓縮，最后利用兩個(gè)全連接層(Full Connect)分別構(gòu)建二分類(lèi)器和多類(lèi)別分類(lèi)器。二分類(lèi)器用于輸出樣本的真?zhèn)?，使用sigmoid函數(shù)進(jìn)行激活。而多類(lèi)別分類(lèi)器采用softmax函數(shù)來(lái)輸出電器的標(biāo)簽預(yù)測(cè)結(jié)果。

表1 生成對(duì)抗網(wǎng)絡(luò)的構(gòu)建

1.3 損失函數(shù)

生成網(wǎng)絡(luò)G和判別網(wǎng)絡(luò)D采用交替訓(xùn)練的方式，首先保持生成網(wǎng)絡(luò)的參數(shù)固定，利用生成的不同類(lèi)別電器的分解序列G(z)與真實(shí)分解序列x來(lái)訓(xùn)練判別網(wǎng)絡(luò)的辨別真?zhèn)文芰?，同時(shí)對(duì)輔助分類(lèi)器P(C=c|·)進(jìn)行訓(xùn)練，以識(shí)別電器類(lèi)型。通過(guò)更新判別網(wǎng)絡(luò)的參數(shù)來(lái)最小化損失函數(shù)LD，如下式所示:

Lsrc=-Ex～Pdata[logD(x)]-Ez～Pz[log(1-D(G(z,c)))]

(11)

Lcls=Ex～Pdata[logP(C=c|x))]+Ez～Pz[logP(C=c|G(z,c))]

(12)

LD=Lsrc+Lcls

(13)

式中Pdata為真實(shí)序列樣本；Pz為生成序列樣本；c為電器類(lèi)別標(biāo)簽；Lsrc為辨別樣本真?zhèn)蔚膿p失函數(shù)；Lcls為輔助分類(lèi)器的損失函數(shù)；E(·)為數(shù)學(xué)期望，例如Ex～Pdata[logD(x)]表示真實(shí)樣本判斷為真的期望。

然后保持判別網(wǎng)絡(luò)的參數(shù)不變，通過(guò)最小化生成的功率分解序列G(z,c)與真實(shí)分解序列x之間的L2距離來(lái)訓(xùn)練生成網(wǎng)絡(luò)。由于判別網(wǎng)絡(luò)已具備一定的辨別真?zhèn)文芰?，可加入損失函數(shù)Lgan來(lái)指導(dǎo)生成更接近真實(shí)的序列樣本，如下式所示。

(14)

Lgan=Ez～Pz[log(D(G(z,c)))]+Ez～Pz[logP(C=c|G(z,c))]

(15)

LG=Ldis+λLgan

(16)

式中Ldis為基于L2范數(shù)的損失函數(shù)；LG為生成網(wǎng)絡(luò)的總損失函數(shù)；λ為判別網(wǎng)絡(luò)損失函數(shù)的權(quán)重，用于控制對(duì)生成網(wǎng)絡(luò)的監(jiān)督反饋強(qiáng)度。

識(shí)別真假樣本通常比生成真實(shí)樣本更容易，因此可能會(huì)出現(xiàn)判別網(wǎng)絡(luò)的辨別能力太強(qiáng)而導(dǎo)致生成網(wǎng)絡(luò)無(wú)法繼續(xù)訓(xùn)練。另一方面，如果判別網(wǎng)絡(luò)能力太差，不能分辨真假，會(huì)使生成網(wǎng)絡(luò)生成的樣本不穩(wěn)定。因此，在每一輪的訓(xùn)練過(guò)程中，辨別網(wǎng)絡(luò)和生成網(wǎng)絡(luò)的迭代次數(shù)之比通常為nd:1(nd≥3)。

2 基于聯(lián)邦學(xué)習(xí)的模型實(shí)施方案

傳統(tǒng)集中式的模型訓(xùn)練方法需要將全部數(shù)據(jù)上傳到數(shù)據(jù)中心，這會(huì)造成巨大的計(jì)算壓力和傳輸開(kāi)銷(xiāo)，并且由于不同用戶(hù)的數(shù)據(jù)通常是非獨(dú)立同分布的，使得統(tǒng)一模型不能深入挖掘某一特定用戶(hù)的數(shù)據(jù)特征。本節(jié)提出一種基于聯(lián)邦學(xué)習(xí)[19]的非侵入式負(fù)荷分解實(shí)施方案，通過(guò)將深度學(xué)習(xí)模型嵌入到智能電能表等邊緣節(jié)點(diǎn)，并與云計(jì)算中心協(xié)同完成模型的訓(xùn)練，可實(shí)現(xiàn)本地化的數(shù)據(jù)采集、存儲(chǔ)和負(fù)荷分解，保證用戶(hù)信息安全和數(shù)據(jù)隱私。

聯(lián)邦學(xué)習(xí)算法的工作原理如圖3所示。假設(shè)有1個(gè)云計(jì)算中心和K個(gè)邊緣節(jié)點(diǎn)，云計(jì)算中心對(duì)一個(gè)全局的負(fù)荷分解模型L(w)進(jìn)行預(yù)訓(xùn)練，并將其參數(shù)w下發(fā)給邊緣節(jié)點(diǎn)，邊緣節(jié)點(diǎn)k(k∈K)利用本地?cái)?shù)據(jù)和接收的參數(shù)來(lái)訓(xùn)練本地模型，經(jīng)過(guò)uk次迭代更新參數(shù)，并上傳給云計(jì)算中心，如式(17)所示。

圖3 基于聯(lián)邦學(xué)習(xí)的模型實(shí)施方案

(17)

(18)

式中nk為第k個(gè)邊緣節(jié)點(diǎn)的訓(xùn)練樣本總量。

通過(guò)對(duì)全局模型的準(zhǔn)確性進(jìn)行評(píng)估來(lái)優(yōu)化訓(xùn)練過(guò)程，并將更新后的全局參數(shù)保存和下發(fā)，進(jìn)行下一輪的協(xié)同訓(xùn)練。當(dāng)各邊緣節(jié)點(diǎn)的模型準(zhǔn)確率達(dá)到要求標(biāo)準(zhǔn)后，即可停止訓(xùn)練，并進(jìn)行本地的負(fù)荷分解計(jì)算。

由上述訓(xùn)練過(guò)程可以看出，云計(jì)算中心和邊緣節(jié)點(diǎn)之間只需進(jìn)行模型參數(shù)交換，避免了數(shù)據(jù)丟失和泄露，但需要以犧牲計(jì)算量為代價(jià)來(lái)?yè)Q取雙方較少的通信次數(shù)，故對(duì)邊緣節(jié)點(diǎn)設(shè)計(jì)了以下三個(gè)控制計(jì)算量的超參數(shù)。

(1)參加訓(xùn)練的邊緣節(jié)點(diǎn)比例c：其取值范圍為c∈(0,1]，通過(guò)隨機(jī)抽取c·K個(gè)邊緣節(jié)點(diǎn)參與新一輪訓(xùn)練，可增加樣本多樣性，提高模型的收斂速度，并排除通信中斷的邊緣節(jié)點(diǎn)；

(2)樣本批處理量b：每次學(xué)習(xí)的樣本數(shù)量越多，則訓(xùn)練速度越快；

(3)訓(xùn)練次數(shù)e：每一輪本地模型的訓(xùn)練次數(shù)越多，受全局模型的影響越小，更能反映本地特征。

其中，樣本批處理量b與訓(xùn)練次數(shù)e的關(guān)系如式(19)所示：

b=e×nk/uk

(19)

式中uk為每輪訓(xùn)練的迭代次數(shù)。

3 仿真分析

3.1 數(shù)據(jù)集構(gòu)建

文中選取REDD數(shù)據(jù)集[20]進(jìn)行模型訓(xùn)練與測(cè)試，其中包含6戶(hù)美國(guó)家庭的用電數(shù)據(jù)，單個(gè)電器的有功功率采樣間隔為3 s。對(duì)于缺失數(shù)據(jù)的處理，可參照文獻(xiàn)[10]，當(dāng)出現(xiàn)大于2 min的間斷時(shí)，可視為電器關(guān)閉，對(duì)其中缺失數(shù)據(jù)進(jìn)行補(bǔ)零，而小于2 min的間斷主要是由無(wú)線(xiàn)傳輸故障造成的，可使用線(xiàn)性插值法補(bǔ)全。

表2反映了各個(gè)家庭的數(shù)據(jù)采集情況，其電器類(lèi)型和數(shù)據(jù)量差異較大，故選取常見(jiàn)的洗碗機(jī)、冰箱、電燈、洗衣烘干機(jī)和微波爐作為研究對(duì)象。為了構(gòu)建各家庭的本地?cái)?shù)據(jù)集，可提取某類(lèi)電器每天的有功功率序列，并將剩余電器的功率序列作為噪聲數(shù)據(jù)，均以50%概率進(jìn)行疊加，得到總功率序列。而全局模型的數(shù)據(jù)集由所有家庭的數(shù)據(jù)組合而成，兩者均以6:2:2的比例分為訓(xùn)練、驗(yàn)證和測(cè)試集?？紤]到實(shí)際應(yīng)用中歷史數(shù)據(jù)較少，因此將本地訓(xùn)練集中60%的數(shù)據(jù)替換為由預(yù)訓(xùn)練模型生成的樣本，并且隨著本地模型訓(xùn)練準(zhǔn)確度的提高，對(duì)生成的數(shù)據(jù)集進(jìn)行更新。

表2 各家庭的數(shù)據(jù)采集情況

3.2 模型訓(xùn)練

由于電表采樣間隔為3 s，設(shè)置模型的輸入序列長(zhǎng)度為4 800，可跟蹤長(zhǎng)達(dá)4 h的負(fù)荷變化。根據(jù)表1可計(jì)算出生成網(wǎng)絡(luò)的訓(xùn)練參數(shù)為18 736個(gè)，辨別網(wǎng)絡(luò)的訓(xùn)練參數(shù)為52 128個(gè)，而利用傳統(tǒng)卷積層構(gòu)建的模型擁有454 064個(gè)參數(shù)，由此可見(jiàn)，經(jīng)過(guò)輕量化的GAN模型更適用于邊緣嵌入式設(shè)備。

使用Tensorflow搭建生成對(duì)抗網(wǎng)絡(luò)模型進(jìn)行預(yù)訓(xùn)練，并引入早停機(jī)制，即當(dāng)在驗(yàn)證集上的誤差開(kāi)始增加后停止訓(xùn)練，可避免繼續(xù)訓(xùn)練導(dǎo)致過(guò)擬合。

圖4展示了生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)在預(yù)訓(xùn)練過(guò)程中損失函數(shù)值的變化，所呈現(xiàn)的大幅震蕩為兩者對(duì)抗訓(xùn)練的結(jié)果。判別網(wǎng)絡(luò)在初期的辨別能力較弱，隨著訓(xùn)練次數(shù)的增加，損失函數(shù)的值逐漸減小。由于判別網(wǎng)絡(luò)的參數(shù)更新次數(shù)相對(duì)較多，在與生成網(wǎng)絡(luò)的對(duì)抗過(guò)程中保持了一定優(yōu)勢(shì)，對(duì)生成樣本的質(zhì)量要求更高，使得生成網(wǎng)絡(luò)的損失函數(shù)值有所上升。

圖4 生成對(duì)抗網(wǎng)絡(luò)的損失函數(shù)值變化

將全局模型的預(yù)訓(xùn)練參數(shù)下發(fā)給各家庭的本地模型，并基于Tensorflow-Federated框架進(jìn)行聯(lián)邦學(xué)習(xí)，設(shè)置協(xié)同訓(xùn)練50次，每輪的訓(xùn)練參數(shù)為c=1，b=6和e=5，并且計(jì)算各本地模型在每輪協(xié)同訓(xùn)練后對(duì)本地測(cè)試集的準(zhǔn)確率Acc，如式(20)所示:

(20)

式中TP和TN分別表示電器實(shí)際處于工作狀態(tài)，模型分解結(jié)果為工作和非工作狀態(tài)的序列點(diǎn)總數(shù)；FP和FN分別表示電器實(shí)際處于非工作狀態(tài)，模型分解結(jié)果為工作和非工作狀態(tài)的序列點(diǎn)總數(shù)。

圖5中曲線(xiàn)最左端的初始值代表了預(yù)訓(xùn)練模型對(duì)于各家庭的負(fù)荷分解效果，且并沒(méi)有達(dá)到全局模型的基準(zhǔn)準(zhǔn)確率，而在經(jīng)過(guò)10輪聯(lián)邦學(xué)習(xí)后，部分本地模型的準(zhǔn)確率超過(guò)了全局模型，這說(shuō)明本地模型能夠在全局模型的基礎(chǔ)上更好地挖掘單個(gè)家庭的用電特征。此外，由于在第3輪訓(xùn)練后，各本地模型的準(zhǔn)確率都有一定的提升，利用模型的自監(jiān)督標(biāo)記能力對(duì)訓(xùn)練集進(jìn)行更新，使得之后的準(zhǔn)確率有所降低，但隨著對(duì)新數(shù)據(jù)的深入學(xué)習(xí)，最終模型的準(zhǔn)確率超過(guò)了以往水平。

圖5 聯(lián)邦學(xué)習(xí)的測(cè)試準(zhǔn)確率

3.3 負(fù)荷分解結(jié)果

以家庭1的電器為例，將基于組合優(yōu)化算法(CO)[6]、因子隱馬爾科夫模型(FHMM)[20]和文中提出的生成對(duì)抗網(wǎng)絡(luò)模型(GAN)的負(fù)荷分解結(jié)果進(jìn)行對(duì)比。圖6和圖7分別展示了洗碗機(jī)和洗衣烘干機(jī)的負(fù)荷分解結(jié)果，其都屬于多狀態(tài)電器，并且工作時(shí)間較長(zhǎng)。由于CO和FHMM通過(guò)負(fù)荷特征聚類(lèi)，所能表示的功率特征有限，從而形成了矩形線(xiàn)形，而GAN生成的分解序列具有較好的趨勢(shì)跟蹤效果，能夠反映電器功率波動(dòng)，且曲線(xiàn)相似度較高。

圖6 洗碗機(jī)的負(fù)荷分解結(jié)果

圖7 洗衣烘干機(jī)的負(fù)荷分解結(jié)果

如圖8和圖9所示，冰箱和電燈都屬于長(zhǎng)時(shí)間跨度的電器，但不同的是冰箱為間隔性啟動(dòng)，而電燈多在晚間連續(xù)運(yùn)行。對(duì)于冰箱，CO識(shí)別啟動(dòng)間隔的能力較差，F(xiàn)HMM會(huì)忽略出現(xiàn)最高功率值的時(shí)刻，而這些反復(fù)出現(xiàn)的負(fù)荷特征是GAN最容易學(xué)習(xí)到的，因此生成的分解序列較為真實(shí)。由于電燈的功耗較低，容易被其他大功率電器掩蓋，對(duì)于其辨識(shí)和定位較為困難，CO與FHMM均出現(xiàn)了較大偏差。

圖8 冰箱的負(fù)荷分解結(jié)果

圖9 電燈的負(fù)荷分解結(jié)果

從圖10可以看出，微波爐的使用多集中在三餐時(shí)間，并且運(yùn)行時(shí)間較短，使用頻率較高。由于其功率值較大，具有良好的辨識(shí)性，三種方法均能成功識(shí)別，但對(duì)于功率值的估計(jì)，GAN最接近真實(shí)值。

圖10 微波爐的負(fù)荷分解結(jié)果

為了全面評(píng)價(jià)模型的負(fù)荷分解效果，將輕量化的GAN與基于傳統(tǒng)卷積層構(gòu)建的Trad-GAN以及CO和FHMM進(jìn)行比較，分別對(duì)每戶(hù)家庭7天的負(fù)荷數(shù)據(jù)進(jìn)行測(cè)試，選取功率分解準(zhǔn)確率AP作為評(píng)價(jià)指標(biāo)，如式(21)所示:

(21)

表3展示了各模型的負(fù)荷分解準(zhǔn)確率，CO與FHMM在不同家庭的分解結(jié)果中各有優(yōu)劣，并且對(duì)家庭4和家庭6的負(fù)荷分解效果較好。GAN和Trad-GAN的功率分解準(zhǔn)確率都超過(guò)了前兩種模型，雖然Trad-GAN的準(zhǔn)確率保持領(lǐng)先，但考慮到訓(xùn)練成本和模型部署難度，輕量化的GAN犧牲了較少的準(zhǔn)確率而大幅減少運(yùn)算量，使之完全可以取代Trad-GAN，具有更大的應(yīng)用前景。

表3 各模型的負(fù)荷分解準(zhǔn)確率

4 結(jié)束語(yǔ)

文中提出了一種基于生成對(duì)抗網(wǎng)絡(luò)的負(fù)荷分解模型，利用生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)之間的相互對(duì)抗，使生成的功率分解序列更為真實(shí)，并且提出了一種基于聯(lián)邦學(xué)習(xí)的網(wǎng)絡(luò)模型實(shí)施方案。基于REDD數(shù)據(jù)集的測(cè)試結(jié)果表明，以云邊協(xié)同方式訓(xùn)練的本地模型能夠更好地挖掘家庭用電特征，取得了較高的負(fù)荷分解準(zhǔn)確率。將GAN模型與不同方法進(jìn)行比較，所得到的電器功率分解序列具有較好的趨勢(shì)跟蹤效果，并且能更好辨識(shí)和定位小功率電器。

下一步的工作是研究將聯(lián)邦學(xué)習(xí)應(yīng)用于多層通信網(wǎng)絡(luò)，以實(shí)現(xiàn)更大范圍的智能電能表等終端設(shè)備的協(xié)同訓(xùn)練，進(jìn)而滿(mǎn)足大規(guī)模的家庭非侵入式負(fù)荷分解需求。