面向抽水蓄能電站智能巡檢系統(tǒng)的聯(lián)邦學(xué)習(xí)隱私保護(hù)方法

黃建德,何 秋,宗 悅,王 斌,羅遠(yuǎn)林,吳鵬浩,于 堯,郭 磊

(1.華東桐柏抽水蓄能發(fā)電有限責(zé)任公司,浙江 臺(tái)州 317200;2.中國(guó)電建集團(tuán)華東勘測(cè)設(shè)計(jì)研究院有限公司,杭州 311122;3.東北大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院,沈陽(yáng) 110819;4.重慶郵電大學(xué) 通信與信息工程學(xué)院,重慶 400065)

0 引 言

隨著物聯(lián)網(wǎng)通信技術(shù)的快速發(fā)展,智能異構(gòu)傳感器被廣泛部署于抽水蓄能電站巡檢系統(tǒng)中,以輔助人工對(duì)發(fā)電機(jī)組設(shè)備進(jìn)行多方位、全天候的巡視監(jiān)控與數(shù)據(jù)采集[1]。在對(duì)巡檢數(shù)據(jù)進(jìn)行處理的過(guò)程中,由于人工介入通常伴有不確定性,基于人眼和經(jīng)驗(yàn)識(shí)別異常情況的準(zhǔn)確率有限,很難發(fā)現(xiàn)數(shù)據(jù)細(xì)微變化,面對(duì)海量行為數(shù)據(jù)不能及時(shí)地進(jìn)行分析并對(duì)設(shè)備異常做出快速響應(yīng)與調(diào)整,可能導(dǎo)致延誤設(shè)備維護(hù)最佳時(shí)機(jī),對(duì)電站運(yùn)營(yíng)安全造成嚴(yán)重威脅。

利用機(jī)器學(xué)習(xí)處理和分析抽水蓄能電站中的海量巡檢數(shù)據(jù)是一種極具前景的思路。在機(jī)器學(xué)習(xí)范疇內(nèi),聯(lián)邦學(xué)習(xí)作為一種多設(shè)備與中央服務(wù)器協(xié)同組成的分布式學(xué)習(xí)技術(shù),更適合抽水蓄能電站智能巡檢系統(tǒng)的實(shí)際部署[2]。然而,在面向抽水蓄能電站智能巡檢系統(tǒng)的聯(lián)邦學(xué)習(xí)架構(gòu)中,針對(duì)設(shè)備本地模型參數(shù)的攻擊仍會(huì)造成設(shè)備個(gè)體與群體隱私泄露,嚴(yán)重威脅電站運(yùn)行安全。一方面,惡意服務(wù)器可以將指定的巡檢設(shè)備與其上傳的模型參數(shù)進(jìn)行匹配,發(fā)起成員推理攻擊,推斷出各巡檢設(shè)備身份、分工與工作狀態(tài)等隱私信息;另一方面,外部攻擊者可以通過(guò)竊聽(tīng)各巡檢設(shè)備上傳的模型參數(shù),發(fā)起重構(gòu)攻擊,推理出設(shè)備本地訓(xùn)練數(shù)據(jù),進(jìn)而獲知設(shè)備部署位置及其所監(jiān)測(cè)的環(huán)境、電機(jī)機(jī)組運(yùn)行狀態(tài)等信息,通過(guò)發(fā)起有針對(duì)性的網(wǎng)絡(luò)或物理攻擊破壞電站安全[3-5]。針對(duì)以上問(wèn)題,本文提出了一種面向抽水蓄能電站智能巡檢系統(tǒng)的聯(lián)邦學(xué)習(xí)隱私保護(hù)方法,在服務(wù)器端和傳輸過(guò)程中增強(qiáng)對(duì)設(shè)備本地模型參數(shù)的隱私保護(hù)。本文主要貢獻(xiàn)總結(jié)如下。

1)針對(duì)惡意服務(wù)器匹配巡檢設(shè)備及其上傳參數(shù)所造成的隱私泄露問(wèn)題,本文提出了一種基于隨機(jī)響應(yīng)的巡檢設(shè)備選擇機(jī)制,各巡檢設(shè)備通過(guò)隨機(jī)響應(yīng)參與聯(lián)邦學(xué)習(xí)訓(xùn)練,使服務(wù)器無(wú)法掌握具體某個(gè)設(shè)備參與訓(xùn)練的情況,避免服務(wù)器推理獲得與設(shè)備身份相關(guān)的隱私信息。

2)針對(duì)設(shè)備本地模型參數(shù)在上傳過(guò)程中的隱私安全問(wèn)題,本文提出了一種自適應(yīng)差分隱私方法,在給上傳參數(shù)提供差分隱私保護(hù)的同時(shí),根據(jù)參數(shù)梯度各元素特征為其自適應(yīng)添加噪聲,以提高差分隱私保護(hù)下的聯(lián)邦學(xué)習(xí)模型準(zhǔn)確率,并減少參數(shù)上傳過(guò)程中的通信開(kāi)銷。

3)安全性分析與仿真結(jié)果表明,本文所提出的方法可以在服務(wù)器端和傳輸過(guò)程中增強(qiáng)對(duì)巡檢設(shè)備本地模型參數(shù)隱私保護(hù)的能力,有效抵御來(lái)自服務(wù)器端的成員推理攻擊和來(lái)自外部攻擊者的重構(gòu)攻擊。與現(xiàn)有方法相比,本文方法可以有效提升差分隱私保護(hù)下的聯(lián)邦學(xué)習(xí)全局模型準(zhǔn)確率,并且能夠減少訓(xùn)練過(guò)程中參數(shù)上傳產(chǎn)生的通信開(kāi)銷。

1 相關(guān)工作

目前,國(guó)內(nèi)外針對(duì)聯(lián)邦學(xué)習(xí)隱私保護(hù)方法的研究已經(jīng)取得了一定的進(jìn)展,尤其是在利用差分技術(shù)賦能聯(lián)邦學(xué)習(xí)隱私保護(hù)方面。

為防止攻擊者通過(guò)分析客戶端上傳參數(shù)泄露隱私信息,文獻(xiàn)[6]提出了一種基于差分隱私概念的聯(lián)邦學(xué)習(xí)新框架,通過(guò)聚合前在客戶端側(cè)給本地模型參數(shù)加入人工噪聲的方式,為本地模型參數(shù)在上傳過(guò)程中提供差分隱私保護(hù)。文獻(xiàn)[7]指出,在對(duì)聯(lián)邦學(xué)習(xí)的差分攻擊中,攻擊者可以通過(guò)分析分布式模型來(lái)揭示客戶端在訓(xùn)練期間的貢獻(xiàn)以及與其數(shù)據(jù)集相關(guān)的信息。文獻(xiàn)[8]提出將聯(lián)邦學(xué)習(xí)和本地差分隱私相結(jié)合,以增強(qiáng)車聯(lián)網(wǎng)眾包應(yīng)用中機(jī)器學(xué)習(xí)模型的隱私保護(hù)能力并降低通信成本。文獻(xiàn)[9]研究了在本地差分隱私約束下,針對(duì)高斯多址信道為模型的無(wú)線信道上的聯(lián)邦學(xué)習(xí)問(wèn)題,提出了一種隱私無(wú)線梯度聚合方案,并對(duì)無(wú)線資源、收斂和隱私之間的權(quán)衡進(jìn)行了研究。文獻(xiàn)[10]考慮到參與者的異構(gòu)性,提出了一種具有差分隱私的個(gè)性化聯(lián)邦學(xué)習(xí)算法,在為每個(gè)參與者提供高效的個(gè)性化機(jī)器學(xué)習(xí)模型的同時(shí)保證其本地?cái)?shù)據(jù)的差分隱私安全,并探討了該方法在準(zhǔn)確性和隱私間的權(quán)衡。

2 系統(tǒng)模型

為確保巡檢設(shè)備本地?cái)?shù)據(jù)的隱私性,本文提出了一個(gè)基于隱私保護(hù)聯(lián)邦學(xué)習(xí)的智能巡檢系統(tǒng)架構(gòu),如圖1所示。整個(gè)智能巡檢系統(tǒng)由多個(gè)巡檢設(shè)備和一個(gè)聯(lián)邦學(xué)習(xí)中央服務(wù)器組成。為保護(hù)本地模型參數(shù)在上傳過(guò)程中的差分隱私安全,巡檢設(shè)備在上傳本地模型參數(shù)之前按照差分隱私保護(hù)要求為其添加噪聲,并將加噪后的本地模型參數(shù)上傳至聯(lián)邦學(xué)習(xí)中央服務(wù)器。服務(wù)器使用參數(shù)平均算法對(duì)收集到的參數(shù)進(jìn)行聚合并更新全局模型參數(shù),并返回給參與聯(lián)邦學(xué)習(xí)的巡檢設(shè)備,至此完成一輪聯(lián)邦學(xué)習(xí)訓(xùn)練。經(jīng)多輪訓(xùn)練直至聯(lián)邦學(xué)習(xí)全局模型收斂后,對(duì)其進(jìn)行測(cè)試,并在確認(rèn)各指標(biāo)符合電站實(shí)際應(yīng)用需求后將其部署于智能巡檢系統(tǒng)中。

圖1 基于隱私保護(hù)聯(lián)邦學(xué)習(xí)的智能巡檢系統(tǒng)架構(gòu)Fig.1 Intelligent inspection system architecture based on privacy-preserving federal learning

考慮到電站巡檢任務(wù)多樣化、巡檢設(shè)備密集部署以及算力有限的問(wèn)題,在一次針對(duì)特定巡檢任務(wù)的聯(lián)邦學(xué)習(xí)過(guò)程中,只需要部分巡檢設(shè)備參與即可。因此,在執(zhí)行上述聯(lián)邦學(xué)習(xí)過(guò)程之前,服務(wù)器需要選擇參與聯(lián)邦學(xué)習(xí)的巡檢設(shè)備。為避免惡意服務(wù)器發(fā)起成員推理攻擊獲取設(shè)備隱私,各巡檢設(shè)備先執(zhí)行隨機(jī)響應(yīng)策略,服務(wù)器選擇的設(shè)備與實(shí)際參與聯(lián)邦學(xué)習(xí)的設(shè)備存在差異,故服務(wù)器無(wú)法根據(jù)自己的選擇匹配其實(shí)際收集到的設(shè)備本地模型參數(shù)。

3 聯(lián)邦學(xué)習(xí)隱私保護(hù)方法

3.1 基于隨機(jī)響應(yīng)的巡檢設(shè)備選擇機(jī)制

在大多數(shù)聯(lián)邦學(xué)習(xí)應(yīng)用中,客戶端身份對(duì)服務(wù)器來(lái)說(shuō)是默認(rèn)已知的,因此,惡意服務(wù)器可以將指定客戶端的身份與其上傳的模型參數(shù)信息進(jìn)行匹配,從而對(duì)指定客戶端發(fā)起成員推理攻擊或重構(gòu)攻擊,泄露其個(gè)體隱私。為阻止惡意服務(wù)的匹配行為,本文提出了一種基于隨機(jī)響應(yīng)的巡檢設(shè)備選擇機(jī)制。在聯(lián)邦學(xué)習(xí)進(jìn)程開(kāi)始前,各巡檢設(shè)備在本地執(zhí)行隨機(jī)響應(yīng)判斷自己是否被選中,而非由服務(wù)器直接指定,使服務(wù)器無(wú)法知曉實(shí)際參與聯(lián)邦學(xué)習(xí)的設(shè)備身份。具體過(guò)程如下。

第1步:初始化各巡檢設(shè)備設(shè)置狀態(tài)參數(shù)θ=0。注意,θ=1和θ=0分別表示該巡檢設(shè)備參與和不參與接下來(lái)的聯(lián)邦學(xué)習(xí)訓(xùn)練,初始化時(shí)各巡檢設(shè)備的θ均為0。

第2步:服務(wù)器根據(jù)本次巡檢任務(wù)的執(zhí)行要求和對(duì)聯(lián)邦學(xué)習(xí)參與設(shè)備數(shù)量的要求,選擇參與聯(lián)邦學(xué)習(xí)訓(xùn)練的巡檢設(shè)備,并將選中的巡檢設(shè)備狀態(tài)參數(shù)θ設(shè)置為1,沒(méi)有選中的巡檢設(shè)備狀態(tài)參數(shù)θ仍保持為0。

第3步:所有滿足本次巡檢任務(wù)執(zhí)行要求的巡檢設(shè)備進(jìn)行隨機(jī)響應(yīng),即以概率p保持當(dāng)前狀態(tài)參數(shù)不變,以概率1-p改變當(dāng)前狀態(tài)參數(shù)。經(jīng)過(guò)隨機(jī)響應(yīng)后,狀態(tài)參數(shù)θ=1的巡檢設(shè)備被選中參與接下來(lái)的聯(lián)邦學(xué)習(xí)訓(xùn)練過(guò)程。

第4步:如果隨機(jī)響應(yīng)后巡檢設(shè)備數(shù)量不滿足聯(lián)邦學(xué)習(xí)訓(xùn)練數(shù)量要求,則重新進(jìn)行隨機(jī)響應(yīng)。

3.2 自適應(yīng)差分隱私技術(shù)

傳統(tǒng)差分隱私技術(shù)為訓(xùn)練中的機(jī)器學(xué)習(xí)模型參數(shù)(即梯度向量)添加固定強(qiáng)度噪聲以為其提供差分隱私保護(hù)。噪聲的添加會(huì)影響模型準(zhǔn)確率,而要提升模型準(zhǔn)確率通常是以削弱差分隱私保護(hù)能力為代價(jià)的。

研究發(fā)現(xiàn),梯度向量的不同維度之間取值存在差異,不同維度對(duì)添加的噪聲表現(xiàn)出不同的敏感性。如果將強(qiáng)度較高的噪聲添加到取值較小的梯度向量維度中,過(guò)量的噪聲會(huì)顯著影響梯度下降速度甚至是方向,造成模型參數(shù)精度損失,模型準(zhǔn)確率下降;如果將強(qiáng)度較低的噪聲添加到取值較大的梯度向量維度中,則會(huì)降低整個(gè)梯度的差分隱私保護(hù)級(jí)別。本文提出一種自適應(yīng)差分技術(shù),即根據(jù)巡檢設(shè)備本地模型梯度向量中各維度的取值大小自適應(yīng)地為各維度添加強(qiáng)度不同的噪聲,在不降低隱私保護(hù)級(jí)別的前提下避免過(guò)量噪聲所造成的模型參數(shù)精度損失,提高模型準(zhǔn)確率。自適應(yīng)差分隱私技術(shù)的執(zhí)行過(guò)程如下。

第1步:計(jì)算梯度向量每個(gè)維度敏感度Si為

(1)

第2步:計(jì)算梯度向量每個(gè)維度所需添加的噪聲標(biāo)準(zhǔn)差σi為

(2)

(2)式中:σ*為噪聲標(biāo)準(zhǔn)差;m為梯度向量維數(shù)。

(3)

根據(jù)文獻(xiàn)[11]中的差分隱私定理可知,若某種技術(shù)滿足(4)式,則該技術(shù)一定是差分隱私技術(shù)。

Pr[lM,D,D′≥ε]-Pr[lM,D′,D≤-ε]≤δ

(4)

(4)式中:lM,D,D′表示隱私損失變量;D和D′表示只差一條數(shù)據(jù)的相鄰數(shù)據(jù)集;ε表示隱私預(yù)算。隱私預(yù)算可以用來(lái)衡量差分隱私技術(shù),可以為巡檢設(shè)備本地模型參數(shù)提供隱私保護(hù)級(jí)別,一般來(lái)說(shuō),隱私預(yù)算值越小,隱私保護(hù)級(jí)別越高。ε滿足的條件為

(5)

(5)式中:C1和C2為常量;q為采樣概率;T為本地模型迭代次數(shù);δ為差分隱私失敗的概率。

下面證明本文所提出的自適應(yīng)差分隱私技術(shù)滿足差分隱私定理,即證明對(duì)梯度向量各維度分別添加噪聲后的隱私損失變量滿足(4)式。

證明隱私損失變量表示為

(6)

令S=(s1,s2,…,sm)=‖f(D)-f(D′)‖2,(r1,r2,…,rm)=y-f(D),其中m表示維度,可得

(7)

(8)

故有

(9)

(9)式中,lM,D,D′服從N(η,2η)高斯分布,且

(10)

故有

(11)

同理可得

Pr[lM,D′,D≤-ε]=Pr[N(η,2η)≤-ε]=

(12)

故有

Pr[lM,D,D′≥ε]-eε·Pr[lM,D′,D≤-ε]=

(13)

(13)式對(duì)η求導(dǎo)可得

(14)

綜上所述,可將基于隨機(jī)響應(yīng)的巡檢設(shè)備選擇機(jī)制與自適應(yīng)差分隱私技術(shù)整合到智能巡檢系統(tǒng)聯(lián)邦學(xué)習(xí)架構(gòu)中。本文提出的面向抽水蓄能電站智能巡檢系統(tǒng)的聯(lián)邦學(xué)習(xí)隱私保護(hù)算法流程如算法1所示。

算法1面向抽水蓄能電站智能巡檢系統(tǒng)的聯(lián)邦學(xué)習(xí)隱私保護(hù)算法

1.服務(wù)器初始化全局模型參數(shù)WGlobal,并將其分發(fā)給所有巡檢設(shè)備;

2.巡檢設(shè)備隨機(jī)響應(yīng)階段:

3.服務(wù)器指定參與聯(lián)邦學(xué)習(xí)的巡檢設(shè)備;

4.全部巡檢設(shè)備執(zhí)行隨機(jī)響應(yīng)機(jī)制,以概率1-p改變其狀態(tài)參數(shù);

5.狀態(tài)參數(shù)θ=1的巡檢設(shè)備參與聯(lián)邦學(xué)習(xí)訓(xùn)練,數(shù)量表示為N;

6.巡檢設(shè)備自適應(yīng)噪聲添加階段:

7.for聯(lián)邦學(xué)習(xí)訓(xùn)練輪t=1,2,…,Tdo

8.各巡檢設(shè)備本地執(zhí)行:

9.for batchb∈Bdo

11.end for

12.為梯度向量各維度添加噪聲:

13.fori-th梯度向量維度 do

17.else

19.end if

22.end for

23.服務(wù)器參數(shù)聚合與分發(fā)階段:

服務(wù)器收集各參與設(shè)備上傳的梯度并將這些梯度進(jìn)行聚合,其中Mn代表第n個(gè)設(shè)備數(shù)據(jù)集的大小,M代表所有設(shè)備數(shù)據(jù)集總和的大小;

28.end for

4 仿真與結(jié)果分析

4.1 參數(shù)設(shè)置

為使本文提出的聯(lián)邦學(xué)習(xí)隱私保護(hù)算法具有良好的穩(wěn)定性和快速收斂能力,仿真中使用的參數(shù)設(shè)置如表1所示?？紤]到國(guó)家電力系統(tǒng)相關(guān)數(shù)據(jù)安全規(guī)定,針對(duì)抽水蓄能電站巡檢數(shù)據(jù)的敏感性,根據(jù)生產(chǎn)單位建議,本文使用公開(kāi)數(shù)據(jù)集MNIST來(lái)驗(yàn)證算法的有效性。每個(gè)設(shè)備的本地模型采用多層感知機(jī)實(shí)現(xiàn),輸入層、兩個(gè)隱藏層和輸出層的神經(jīng)元數(shù)量分別為784、15、15和10,隱藏層激活函數(shù)為ReLU。本文采用最先進(jìn)的FedAdam算法訓(xùn)練模型。

表1 仿真參數(shù)設(shè)置Tab.1 Simulation parameter settings

在差分隱私算法設(shè)計(jì)中,利用上一時(shí)刻累計(jì)梯度平方值近似估計(jì)當(dāng)前梯度值的方式存在一定誤差,故使用裁剪因素β來(lái)對(duì)當(dāng)前誤差進(jìn)行矯正。本文將傳統(tǒng)差分隱私技術(shù)中的梯度向量全局敏感度計(jì)算優(yōu)化為梯度向量各維度局部敏感度計(jì)算,而在局部敏感度計(jì)算中,β的取值不同會(huì)影響聯(lián)邦學(xué)習(xí)全局模型準(zhǔn)確度。為此,本文進(jìn)行了多輪實(shí)驗(yàn)測(cè)試不同β值下的模型準(zhǔn)確率,實(shí)驗(yàn)結(jié)果如圖2所示。

圖2 不同β取值對(duì)聯(lián)邦學(xué)習(xí)模型準(zhǔn)確率的影響Fig.2 Federated learning model accuracy under different values of β

從圖2可以看出,當(dāng)β=11時(shí),聯(lián)邦學(xué)習(xí)模型準(zhǔn)確率達(dá)到峰值93.48%。為保證模型具有較高的準(zhǔn)確率,本文后續(xù)仿真實(shí)驗(yàn)中β值取11。

為驗(yàn)證提出模型的性能優(yōu)勢(shì),本文選擇傳統(tǒng)差分隱私技術(shù)作用下的聯(lián)邦學(xué)習(xí)(簡(jiǎn)稱傳統(tǒng)差分隱私方法)和無(wú)隱私保護(hù)技術(shù)作用下的聯(lián)邦學(xué)習(xí)(簡(jiǎn)稱無(wú)隱私保護(hù)方法)作為對(duì)比方案,其中,傳統(tǒng)差分隱私技術(shù)給巡檢設(shè)備本地模型參數(shù)梯度各維度添加相同強(qiáng)度的噪聲。

4.2 模型準(zhǔn)確率對(duì)比分析

為驗(yàn)證本文方法在聯(lián)邦學(xué)習(xí)模型準(zhǔn)確率方面的性能優(yōu)勢(shì),本節(jié)對(duì)比了3種方法在不同隱私預(yù)算下的準(zhǔn)確率,如圖3所示。從圖3可以看出,在不同隱私預(yù)算下,本文方法準(zhǔn)確率高于傳統(tǒng)差分隱私方法,但與無(wú)隱私保護(hù)方法的準(zhǔn)確率相比略有損失。這是因?yàn)樵诒疚姆椒ㄖ?自適應(yīng)差分隱私技術(shù)根據(jù)梯度向量各維度取值大小自適應(yīng)地為各維度添加不同分布的噪聲,從而避免噪聲添加過(guò)量而導(dǎo)致的模型參數(shù)精度損失,提高了準(zhǔn)確率。而傳統(tǒng)差分隱私技術(shù)忽略了巡檢設(shè)備本地模型梯度各維度之間的差異,為各維度添加同分布高強(qiáng)度噪聲,導(dǎo)致模型參數(shù)精度損失嚴(yán)重,模型準(zhǔn)確率下降。此外,為確保模型參數(shù)隱私性,添加適量噪聲將模型準(zhǔn)確率降幅控制在可以接受的范圍內(nèi)是值得的。對(duì)于抽水蓄能電站巡檢系統(tǒng)來(lái)說(shuō),本文方法可以為巡檢設(shè)備本地?cái)?shù)據(jù)提供差分隱私保護(hù),同時(shí)提供更高準(zhǔn)確率的數(shù)據(jù)分析全局模型。

圖3 不同隱私預(yù)算下3種方法聯(lián)邦學(xué)習(xí)模型 準(zhǔn)確率對(duì)比Fig.3 Federated learning model accuracy of the tree methods under different privacy budgets

4.3 通信開(kāi)銷對(duì)比分析

為驗(yàn)證本文方法在聯(lián)邦學(xué)習(xí)通信開(kāi)銷方面的性能優(yōu)勢(shì),本節(jié)將本文方法作用下與傳統(tǒng)差分隱私方法作用下的聯(lián)邦學(xué)習(xí)通信輪數(shù)進(jìn)行了比較,結(jié)果如圖4所示。由于每個(gè)參與訓(xùn)練的設(shè)備數(shù)據(jù)量、批次大小、迭代次數(shù)均相同,所以每個(gè)參與訓(xùn)練的設(shè)備上傳的數(shù)據(jù)總量也相同,本文通信開(kāi)銷只與通信輪次有關(guān)。在不同隱私預(yù)算下,本文方法作用下的聯(lián)邦學(xué)習(xí)通信輪數(shù)明顯小于使用傳統(tǒng)差分隱私方法作用下的通信輪數(shù)。以隱私預(yù)算ε=45、δ=10-5為例,本文方法相較于對(duì)比方法減少了通信輪數(shù)。原因在于,本文方法減少了梯度參數(shù)精度損失,提升了聯(lián)邦學(xué)習(xí)全局模型收斂速度,從而節(jié)省了服務(wù)器與巡檢設(shè)備間的通信開(kāi)銷。

圖4 不同隱私預(yù)算下通信輪數(shù)對(duì)比Fig.4 Federated learning communication rounds under different privacy budgets

4.4 多用戶場(chǎng)景性能對(duì)比分析

考慮到聯(lián)邦學(xué)習(xí)是一種多用戶參與的分布式機(jī)器學(xué)習(xí)技術(shù),因此,本節(jié)重點(diǎn)討論了聯(lián)邦學(xué)習(xí)參與設(shè)備數(shù)量對(duì)本文方法作用下模型性能的影響,并與傳統(tǒng)差分隱私方法作用下聯(lián)邦學(xué)習(xí)模型性能進(jìn)行了對(duì)比分析。為滿足抽水蓄能電站智能巡檢系統(tǒng)整體對(duì)高水平隱私保護(hù)的需求,本節(jié)為兩種聯(lián)邦學(xué)習(xí)隱私保護(hù)方法設(shè)置了一個(gè)固定且取值較小的隱私預(yù)算。不同參與設(shè)備數(shù)量下模型性能對(duì)比如圖5所示。在隱私預(yù)算固定的情況下,隨著聯(lián)邦學(xué)習(xí)參與設(shè)備數(shù)量的增加,本文方法中的聯(lián)邦學(xué)習(xí)模型準(zhǔn)確率有所下降,通信輪數(shù)有所上升,但仍優(yōu)于傳統(tǒng)差分隱私方法。原因在于,當(dāng)聯(lián)邦學(xué)習(xí)系統(tǒng)隱私預(yù)算固定不變時(shí),隨著參與設(shè)備數(shù)量的增多,分配給每個(gè)參與設(shè)備的隱私預(yù)算減少,需要給各參與設(shè)備本地模型參數(shù)添加更多的噪聲以使系統(tǒng)整體保持高水平的隱私保護(hù),導(dǎo)致聯(lián)邦學(xué)習(xí)模型參數(shù)精度損失加劇,收斂所需的通信輪數(shù)增加,通信開(kāi)銷增加。盡管如此,本文自適應(yīng)添加噪聲的方式仍可以減少不必要的噪聲添加,在與傳統(tǒng)差分隱私技術(shù)提供相同級(jí)別隱私保護(hù)水平的前提下,本文方法可以實(shí)現(xiàn)更高準(zhǔn)確率、更低通信開(kāi)銷。

圖5 不同參與設(shè)備數(shù)量下模型性能對(duì)比Fig.5 Federated learning model performances of the two methods under different numbers of participating devices

4.5 安全性分析

根據(jù)隨機(jī)響應(yīng)與自適應(yīng)差分隱私技術(shù)分析,本文方法具有以下安全特征。

1)惡意服務(wù)器無(wú)法成功實(shí)施對(duì)特定設(shè)備的成員推理攻擊以泄露其隱私。在基于隨機(jī)響應(yīng)的巡檢設(shè)備選擇機(jī)制作用下,服務(wù)器無(wú)法獲知或推理出實(shí)際參與聯(lián)邦學(xué)習(xí)的設(shè)備身份,無(wú)法將設(shè)備身份與其上傳的本地模型參數(shù)進(jìn)行匹配。惡意服務(wù)器不能通過(guò)指定聯(lián)邦學(xué)習(xí)參與設(shè)備并根據(jù)模型參數(shù)差異推理出與特定設(shè)備身份相關(guān)隱私信息,導(dǎo)致成員推理攻擊失敗。

2)惡意服務(wù)器或外部攻擊者無(wú)法成功實(shí)施對(duì)聯(lián)邦學(xué)習(xí)參與設(shè)備的重構(gòu)攻擊導(dǎo)致泄露其隱私。在自適應(yīng)差分隱私技術(shù)作用下,對(duì)于任一設(shè)備的本地?cái)?shù)據(jù)庫(kù),添加或刪除一條或幾條本地?cái)?shù)據(jù)不可通過(guò)其本地模型參數(shù)直觀地反映出數(shù)據(jù)庫(kù)的差異。惡意服務(wù)器或者外部攻擊者不能根據(jù)已獲取的模型參數(shù)通過(guò)模型重構(gòu)逆向推理出具體的設(shè)備本地?cái)?shù)據(jù),導(dǎo)致重構(gòu)攻擊失敗。

5 結(jié)束語(yǔ)

本文受國(guó)網(wǎng)新源公司科技項(xiàng)目支持,提出了一種聯(lián)邦學(xué)習(xí)隱私保護(hù)方法以解決抽水蓄能電站智能巡檢系統(tǒng)聯(lián)邦學(xué)習(xí)過(guò)程中的隱私泄露問(wèn)題。具體來(lái)說(shuō),基于隨機(jī)響應(yīng)的巡檢設(shè)備選擇機(jī)制,各巡檢設(shè)備通過(guò)隨機(jī)響應(yīng)參與聯(lián)邦學(xué)習(xí)訓(xùn)練過(guò)程,使服務(wù)器無(wú)法通過(guò)匹配設(shè)備身份及其上傳模型參數(shù)推理出設(shè)備隱私信息,確保模型參數(shù)在服務(wù)器端的隱私安全;自適應(yīng)差分隱私技術(shù),在傳輸過(guò)程中為設(shè)備本地模型參數(shù)提供高級(jí)別的差分隱私保護(hù)。安全性分析和仿真結(jié)果表明,本文方法可以有效防止惡意設(shè)備和外部攻擊者通過(guò)發(fā)起成員推理攻擊與重構(gòu)攻擊泄露設(shè)備隱私,與現(xiàn)有經(jīng)典方法相比,本文方法在保證模型參數(shù)差分隱私安全的同時(shí)可以使聯(lián)邦學(xué)習(xí)模型具有更高的準(zhǔn)確率和更低的通信開(kāi)銷。