基于聯(lián)邦學(xué)習(xí)的電力施工場景分類?

公凡奎 張俊嶺 尹 朋 高 明 劉 猛 牛愛梅 王志鵬

（1.山東魯軟數(shù)字科技有限公司 濟(jì)南 250001）（2.中國石油大學(xué)（華東） 青島 266555）

1 引言

電力在日常生活中發(fā)揮著越來越重要的作用，電力系統(tǒng)的作業(yè)安全同時(shí)也受到了更多的關(guān)注。電力的安全生產(chǎn)［1］不僅是電力工業(yè)發(fā)展的前提和基礎(chǔ)，也是電力企業(yè)發(fā)會社會效益和提高經(jīng)濟(jì)效益的保證。近年來，隨著人工智能突飛猛進(jìn)的發(fā)展，作為電力行業(yè)關(guān)鍵一環(huán)的變電站的安全生產(chǎn)也在追尋著智能化的監(jiān)管［2］，其不僅可以節(jié)省大量的人力物力，同時(shí)也可以減少因?yàn)楸O(jiān)管不力導(dǎo)致的不安全事件的發(fā)生。

變電站存在著諸多場景，場景識別是進(jìn)行智能監(jiān)管的前提，所以對于電力施工場景的識別就尤為關(guān)鍵。由于變電站的特殊性，數(shù)據(jù)量往往達(dá)不到建立深度學(xué)習(xí)模型的需求，并且考慮到數(shù)據(jù)安全的因素，無法將數(shù)據(jù)進(jìn)行長距離的運(yùn)輸，限制了模型的性能。為了在保證數(shù)據(jù)隱私的前提下得到具有高準(zhǔn)確率的模型，現(xiàn)將聯(lián)邦學(xué)習(xí)［3］與圖像分類算法結(jié)合，提出了一種基于聯(lián)邦學(xué)習(xí)的電力施工場景分類方法，利用聯(lián)邦學(xué)習(xí)保護(hù)數(shù)據(jù)隱私的特點(diǎn)以及深度學(xué)習(xí)模型的高準(zhǔn)確率的特點(diǎn)，充分利用來自各方的數(shù)據(jù)訓(xùn)練出一個可靠可信的場景分類模型，實(shí)現(xiàn)電力施工場景的智能化監(jiān)管。

2 相關(guān)工作

2.1 圖像分類

圖像分類是計(jì)算機(jī)視覺三大任務(wù)之一，它的任務(wù)就是給定一張圖像可以識別出它的類別。近年來，深度學(xué)習(xí)在圖像分類任務(wù)上占據(jù)著統(tǒng)治的地位。2012 年，Alex Krizhevsky 提出了AlexNet［4］在ImageNet的比賽中以絕對優(yōu)勢獲得冠軍，使得卷積神經(jīng)網(wǎng)絡(luò)再度進(jìn)入人們的視野。此后，各種網(wǎng)絡(luò)模型如雨后春筍般不斷涌入，2014年提出的VggNet［5］，將卷積網(wǎng)絡(luò)的深度提高到了16 層和19 層，并使用了3×3 的卷積核，顯著提升了模型的準(zhǔn)確率。其模型結(jié)構(gòu)如圖1所示。

圖1 Vgg16 網(wǎng)絡(luò)結(jié)構(gòu)

谷歌也在2014 年提出GoogleNet［6］，引入了Inception模塊，使得網(wǎng)絡(luò)在更深層具有更強(qiáng)的表達(dá)能力，目前Google 已經(jīng)從V1 版本更新到了V4 版本，也廣泛的與其他網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合。為了解決隨著網(wǎng)絡(luò)深度加深模型退化的問題，何凱明等人在2015年提出了ResNet［7］，將提高了模型效果的情況下，將網(wǎng)絡(luò)的深度加深到了150 層。ResNet 的創(chuàng)新在于其提出了殘差模塊，其在網(wǎng)絡(luò)之間添加了捷徑（shortcuts），使得網(wǎng)絡(luò)可以學(xué)習(xí)一個恒等函數(shù)，其兩種殘差模塊的結(jié)構(gòu)如圖2。

圖2 ResNet兩種殘差結(jié)構(gòu)

ResNet是圖像分類史上最經(jīng)典的網(wǎng)絡(luò)之一，后來許多學(xué)者在ResNet 的基礎(chǔ)上進(jìn)行改進(jìn)提升，包括Res2net［8］ResNext［9］等，何凱明團(tuán)隊(duì)還在2019 年通過調(diào)整網(wǎng)絡(luò)深度、寬度、圖像分辨率提出了Efficientnet［10］，促進(jìn)了圖像分類的發(fā)展。

2.2 聯(lián)邦學(xué)習(xí)

聯(lián)邦學(xué)習(xí)最早是在2016 年由谷歌提出［11］，可以讓手機(jī)終端用戶在本地更新輸入法推薦模型。它本質(zhì)上一種分布式的機(jī)器學(xué)習(xí)技術(shù)，但是它只收集模型而并不集中數(shù)據(jù)，這樣就可以在保證數(shù)據(jù)隱私安全的基礎(chǔ)上，實(shí)現(xiàn)利用各方的數(shù)據(jù)共同建模，提升模型的性能。聯(lián)邦學(xué)習(xí)的多個節(jié)點(diǎn)通過Server-Client 模式建立通信，中心節(jié)點(diǎn)作為Server 端負(fù)責(zé)融合模型以及分發(fā)模型，Client 端負(fù)責(zé)利用本地?cái)?shù)據(jù)訓(xùn)練模型并上傳模型。聯(lián)邦學(xué)習(xí)根據(jù)數(shù)據(jù)以及用戶的重疊程度分為橫向聯(lián)邦學(xué)習(xí)、縱向聯(lián)邦學(xué)習(xí)以及聯(lián)邦遷移學(xué)習(xí)［12～13］。當(dāng)用戶重疊部分較少而數(shù)據(jù)特征重疊較多時(shí)成為橫向聯(lián)邦學(xué)習(xí)，當(dāng)用戶重疊較多而數(shù)據(jù)集特征重疊較少時(shí)成為縱向聯(lián)邦學(xué)習(xí)［14］，而當(dāng)用戶和數(shù)據(jù)特征都重復(fù)較少時(shí)成為聯(lián)邦遷移學(xué)習(xí)［15］。其中橫向聯(lián)邦學(xué)習(xí)的示意圖如圖3所示。

圖3 橫向聯(lián)邦示意圖

3 動態(tài)權(quán)重算法

聯(lián)邦學(xué)習(xí)需要收集各個客戶節(jié)點(diǎn)的本地模型進(jìn)行融合，通常所用的融合策略為平均融合，即將所有模型的參數(shù)求得平均值作為中心節(jié)點(diǎn)模型的參數(shù)值。很顯然，聯(lián)邦學(xué)習(xí)各個客戶節(jié)點(diǎn)的數(shù)據(jù)量存在一定的差異，大數(shù)據(jù)集訓(xùn)練出來的模型與小數(shù)據(jù)集得到的模型進(jìn)行平均融合很有可能使大模型的效率下降，為了解決這一問題，本文提出了一種基于節(jié)點(diǎn)數(shù)據(jù)量的動態(tài)權(quán)重算法。

首先在訓(xùn)練開始時(shí)，各個客戶節(jié)點(diǎn)需要向中心節(jié)點(diǎn)上傳數(shù)據(jù)量，中心節(jié)點(diǎn)根據(jù)數(shù)據(jù)量依據(jù)式（1）為每個客戶節(jié)點(diǎn)計(jì)算權(quán)重。如果該權(quán)重大于平均融合的權(quán)重，該節(jié)點(diǎn)的權(quán)重就會在未來的訓(xùn)練過程中線性減小至平均融合的權(quán)重大??；如果該計(jì)算得到的權(quán)重小于平均融合的權(quán)重，則該節(jié)點(diǎn)的權(quán)重會線性增大最終達(dá)到平均融合時(shí)的權(quán)重。該算法可以在聯(lián)邦學(xué)習(xí)初期利用加權(quán)融合的方法充分利用大數(shù)據(jù)集收斂快的特點(diǎn)，同時(shí)在聯(lián)邦學(xué)習(xí)的后期，各個客戶節(jié)點(diǎn)的融合權(quán)重變?yōu)槠骄诤蠒r(shí)的權(quán)重即客戶節(jié)點(diǎn)總數(shù)分之一，所以可以發(fā)揮聯(lián)邦學(xué)習(xí)充分利用各客戶節(jié)點(diǎn)數(shù)據(jù)的特性，得到具有高準(zhǔn)確率的模型。

其中，Ni為客戶節(jié)點(diǎn)i的數(shù)據(jù)量，Wi為節(jié)點(diǎn)i模型融合時(shí)候的初始權(quán)值，n為此次聯(lián)邦學(xué)習(xí)的客戶節(jié)點(diǎn)數(shù)量。

4 實(shí)驗(yàn)及結(jié)果分析

4.1 實(shí)驗(yàn)配置

本實(shí)驗(yàn)共收集變電站不同場景數(shù)據(jù)2142 張，然后將數(shù)據(jù)分為訓(xùn)練集1809 張以及測試集333張。其中變電站的場景有五個，分別為敞開式設(shè)備，高空輸電，開關(guān)柜設(shè)備，主變壓器以及組合電器，其數(shù)據(jù)分布如表1所示。

表1 數(shù)據(jù)分布

本實(shí)驗(yàn)選用GFL聯(lián)邦學(xué)習(xí)框架進(jìn)行，使用了三個客戶節(jié)點(diǎn)以及一個中心節(jié)點(diǎn)，各個節(jié)點(diǎn)的實(shí)驗(yàn)配置如表2所示。

本次實(shí)驗(yàn)的batch_size統(tǒng)一設(shè)定為32，epoch設(shè)定為30，學(xué)習(xí)率為0.001，并且每10 個epoch 進(jìn)行一次0.1 倍的衰減，聯(lián)邦學(xué)習(xí)一共進(jìn)行上傳融合30次，每個子節(jié)點(diǎn)訓(xùn)練1個epoch后上傳模型。

4.2 聯(lián)邦學(xué)習(xí)有效性

本實(shí)驗(yàn)將收集的所有訓(xùn)練集平均分成三份分配到三個客戶節(jié)點(diǎn)用作訓(xùn)練集，然后將測試集分配到所有節(jié)點(diǎn)包括中心節(jié)點(diǎn)。實(shí)驗(yàn)選用準(zhǔn)確率作為評價(jià)指標(biāo)。實(shí)驗(yàn)數(shù)據(jù)的分布情況如表3所示。

表3 聯(lián)邦學(xué)習(xí)實(shí)驗(yàn)各客戶節(jié)點(diǎn)數(shù)據(jù)分布

首先，三個客戶幾點(diǎn)利用本地節(jié)點(diǎn)的數(shù)據(jù)獨(dú)立訓(xùn)練出一個模型并測試其準(zhǔn)確率，然后每個客戶節(jié)點(diǎn)利用本地?cái)?shù)據(jù)參與到聯(lián)邦學(xué)習(xí)中，并在中心節(jié)點(diǎn)測試平均融合后的準(zhǔn)確率。實(shí)驗(yàn)選用了兩個比較常用的分類網(wǎng)絡(luò)，分別是Vgg16 網(wǎng)絡(luò)和ResNet101網(wǎng)絡(luò)，實(shí)驗(yàn)結(jié)果如圖4所示。

圖4 聯(lián)邦學(xué)習(xí)實(shí)驗(yàn)結(jié)果

從實(shí)驗(yàn)結(jié)果可以看出，無論是ResNet101 或者Vgg16 網(wǎng)絡(luò)，聯(lián)邦學(xué)習(xí)都可以有效地提升模型的準(zhǔn)確率。對于ResNet101 網(wǎng)絡(luò)來說，客戶節(jié)點(diǎn)得到的模型準(zhǔn)確率最高為62.18%，而聯(lián)邦學(xué)習(xí)中心節(jié)點(diǎn)模型的準(zhǔn)確率最高為82.88%；而Vgg16網(wǎng)絡(luò)的兩項(xiàng)數(shù)據(jù)分別為82.28%和89.58%。由于聯(lián)邦學(xué)習(xí)可以在不中心化數(shù)據(jù)的情況下有效的擴(kuò)充數(shù)據(jù)量，所以準(zhǔn)確率的提升是符合預(yù)期的。實(shí)驗(yàn)中我們也發(fā)現(xiàn)，無論是中心節(jié)點(diǎn)或者本地節(jié)點(diǎn)，Vgg16 網(wǎng)絡(luò)的表現(xiàn)都要優(yōu)于ResNet101 網(wǎng)絡(luò)，這也證明了模型的效果并不直接相關(guān)于網(wǎng)絡(luò)的深度。

為了進(jìn)一步驗(yàn)證聯(lián)邦學(xué)習(xí)在電力場景分類數(shù)據(jù)上的有效性，我們考慮了另外一種比較極端的數(shù)據(jù)分布情況，即每個客戶節(jié)點(diǎn)只存在其中某幾種種類的數(shù)據(jù)，這種數(shù)據(jù)分布成為非獨(dú)立同分布，具體的數(shù)據(jù)分配如表4所示。

表4 非獨(dú)立同分布數(shù)據(jù)分布

同樣，我們首先在在各個客戶節(jié)點(diǎn)訓(xùn)練本地?cái)?shù)據(jù)得到本地模型，然后進(jìn)行聯(lián)邦學(xué)習(xí)的實(shí)驗(yàn)，得到的結(jié)果如圖5所示。

圖5 非獨(dú)立同分布實(shí)驗(yàn)結(jié)果

從實(shí)驗(yàn)結(jié)果可以看出，聯(lián)邦學(xué)習(xí)可以很好地適應(yīng)非獨(dú)立同分布的數(shù)據(jù)分布，并且可以有效的提升模型的準(zhǔn)確率。當(dāng)某一節(jié)點(diǎn)只存在某幾種類型的數(shù)據(jù)的時(shí)候，得到的模型在整體測試集上的表現(xiàn)較差，經(jīng)過聯(lián)邦學(xué)習(xí)將模型平均融合之后，兩種實(shí)驗(yàn)網(wǎng)絡(luò)都可以將準(zhǔn)確率從32%提升至80%以上。

以上兩組實(shí)驗(yàn)有效地驗(yàn)證了聯(lián)邦學(xué)習(xí)在電力場景分類問題上的有效性。由于聯(lián)邦學(xué)習(xí)中心節(jié)點(diǎn)的模型最終要下發(fā)到客戶節(jié)點(diǎn)供客戶節(jié)點(diǎn)來使用，所以有效地提升了客戶節(jié)點(diǎn)的模型效果，同時(shí)保護(hù)了數(shù)據(jù)隱私。

4.3 動態(tài)權(quán)重實(shí)驗(yàn)

本部分將通過實(shí)驗(yàn)驗(yàn)證提出的動態(tài)權(quán)重算法的有效性。上述四個實(shí)驗(yàn)均采用了平均融合算法，本實(shí)驗(yàn)將平均融合算法替換成動態(tài)權(quán)重算法，將實(shí)驗(yàn)結(jié)果與平均融合聯(lián)邦學(xué)習(xí)的結(jié)果進(jìn)行對比，實(shí)驗(yàn)結(jié)果如圖6所示。

圖6 動態(tài)權(quán)重實(shí)驗(yàn)結(jié)果

從實(shí)驗(yàn)結(jié)果可以看出來，本文提出的動態(tài)權(quán)重融合算法相較于平均融合算法可以提升準(zhǔn)確率0.5～1.5%。除此之外，該算法可以大幅度加快模型的擬合速度。采用平均融合的普通聯(lián)邦學(xué)習(xí)過程達(dá)到最高的準(zhǔn)確率時(shí)的epoch 值在18～25 之間，而采用動態(tài)權(quán)重融合算法之后，可以將該值提前至8～15之間。

5 結(jié)語

本文使用深度學(xué)習(xí)的方法對電力施工場景進(jìn)行分類，為智能化安全管控提供了寶貴的支撐。為了在保護(hù)施工現(xiàn)場場景不外露的前提下增加數(shù)據(jù)量和提升模型的準(zhǔn)確率，使用了聯(lián)邦學(xué)習(xí)，在不收集數(shù)據(jù)的情況下綜合使用來自各方的數(shù)據(jù)。同時(shí)，我們結(jié)合客戶節(jié)點(diǎn)的數(shù)據(jù)量，改進(jìn)了平均融合算法提出了動態(tài)權(quán)重算法。實(shí)驗(yàn)證明，聯(lián)邦學(xué)習(xí)在不中心化數(shù)據(jù)的情況下，可以有效地提升各個節(jié)點(diǎn)模型的準(zhǔn)確率，提出的動態(tài)權(quán)重算法可以加快模型的擬合速度，并提升模型的準(zhǔn)確率。

本文使用了獨(dú)立同分布和非獨(dú)立同分布兩種數(shù)據(jù)分布，但現(xiàn)實(shí)中數(shù)據(jù)的分布多種多樣，下一步將驗(yàn)證各種不同的數(shù)據(jù)分布，并進(jìn)一步對融合算法進(jìn)行研究。