動態(tài)聚合權重的隱私保護聯(lián)邦學習框架

應作斌，方一晨，張怡文

動態(tài)聚合權重的隱私保護聯(lián)邦學習框架

應作斌1，方一晨1，張怡文2

（1. 澳門城市大學，中國 澳門 999078；2. 安徽新華學院，安徽 合肥 230000）

在非可信中心服務器下的隱私保護聯(lián)邦學習框架中，存在以下兩個問題。①在中心服務器上聚合分布式學習模型時使用固定的權重，通常是每個參與方的數(shù)據(jù)集大小。然而，不同參與方具有非獨立同分布的數(shù)據(jù)，設置固定聚合權重會使全局模型的效用無法達到最優(yōu)。②現(xiàn)有框架建立在中心服務器是誠實的假定下，沒有考慮中央服務器不可信導致的參與方的數(shù)據(jù)隱私泄露問題。為了解決上述問題，基于比較流行的DP-FedAvg算法，提出了一種非可信中心服務器下的動態(tài)聚合權重的隱私保護聯(lián)邦學習DP-DFL框架，其設定了一種動態(tài)的模型聚合權重，該方法從不同參與方的數(shù)據(jù)中直接學習聯(lián)邦學習中的模型聚合權重，從而適用于非獨立同分布的數(shù)據(jù)環(huán)境。此外，在本地模型隱私保護階段注入噪聲進行模型參數(shù)的隱私保護，滿足不可信中心服務器的設定，從而降低本地參與方模型參數(shù)上傳中的隱私泄露風險。在數(shù)據(jù)集CIFAR-10上的實驗證明，DP-DFL框架不僅提供本地隱私保證，同時可以實現(xiàn)更高的準確率，相較DP-FedAvg算法模型的平均準確率提高了2.09%。

聯(lián)邦學習；差分隱私；動態(tài)聚合權重；非獨立同分布數(shù)據(jù)

0 引言

隨著大數(shù)據(jù)的興起與發(fā)展，機器學習在計算機視覺、醫(yī)療、金融、電信、無人駕駛等領域廣泛應用[1]。傳統(tǒng)的機器學習是由一個服務商從各個參與用戶處收集數(shù)據(jù)進行統(tǒng)一的模型訓練，因此會直接將原始數(shù)據(jù)泄露給第三方服務商。而這類數(shù)據(jù)中可能包含敏感類信息，如醫(yī)療健康信息（個人生理特征、既往病史、基因序列等）、文本郵件、交易記錄、資產數(shù)據(jù)、行蹤軌跡等[2-3]。

在滿足數(shù)據(jù)融合需求的條件下，解決數(shù)據(jù)孤島難題，同時保障包含敏感信息的數(shù)據(jù)共享中的隱私安全，聯(lián)邦學習技術應運而生。聯(lián)邦學習最早在2016年由Google公司提出，是一種分布式的機器學習框架，其核心機制是多個數(shù)據(jù)持有方（個人、企業(yè)、機構）在參與協(xié)同訓練時，僅在中間過程中交換模型參數(shù)，無須直接共享原始數(shù)據(jù)，從而避免原始敏感信息的泄露[4-6]。聯(lián)邦學習在一定程度上有效保護了原始數(shù)據(jù)直接泄露給第三方[7-9]，但隨著對聯(lián)邦學習的深入研究，其自身框架存在的安全問題被挖掘出來[10-12]。首先，聯(lián)邦學習存在一個中心服務器，中心服務器接收來自所有本地參與方客戶端的模型參數(shù)，Nicolas等[13]發(fā)現(xiàn)，一個不可信的中心服務器可以通過共享的參數(shù)（如梯度）還原原始的數(shù)據(jù)集。其次，參與聯(lián)邦學習的不可靠參與方客戶端可以輕松并且合法得到中間參數(shù)從而推斷出其他參與方的模型參數(shù)，進而通過模型參數(shù)獲取用戶數(shù)據(jù)[14]。參與方客戶端也可以通過構建惡意的數(shù)據(jù)集誘導其他參與方暴露更多含有敏感信息的原始數(shù)據(jù)。此外，其他的第三方攻擊者可以通過發(fā)布的模型進行模型重構演練從而還原原始數(shù)據(jù)集收集敏感信息[15]。

對于聯(lián)邦學習算法的隱私保護問題，需要一個嚴格的、有原則的框架來加強數(shù)據(jù)隱私。以差分隱私為代表的數(shù)據(jù)擾動方法作為成熟的隱私保護技術已廣泛運用于聯(lián)邦學習[16-23]。已有在聯(lián)邦學習的框架上引入差分隱私從而保護用戶數(shù)據(jù)的研究，McMahan等[24]提出了DP-FedAvg（differentially private-federated averaging）算法。DP-FedAvg在聯(lián)邦學習模型參數(shù)共享算法FedAvg[4]的基礎上，引入了差分隱私，是第一個通過應用高斯機制來保證聯(lián)邦學習中用戶級差分隱私的算法。DP-FedAvg算法主要有兩個階段：①參與方使用本地數(shù)據(jù)集訓練模型；②中心服務器收集并聚合模型，通過加權平均獲得全局模型并注入高斯噪聲。然而，DP-FedAvg算法存在以下兩個問題。

1) 在中心服務器中全局模型的聚合權重通常由用戶端的數(shù)據(jù)樣本量決定，這種設計假定數(shù)據(jù)在不同客戶端之間是同分布的，但在現(xiàn)實世界中，無法知道不同參與方的數(shù)據(jù)分布類型，即不同參與方之間很可能是非獨立同分布的數(shù)據(jù)（non-iid，non-independent and identically distributed data）。采用此種聚合方法導致模型的效用和適用能力不足。

2) DP-FedAvg算法建立在中心服務器是誠實的假定下，然而中心可以接收到來自所有本地參與方的模型參數(shù)信息，一旦中心服務器不可信，它能利用本地參與方的模型參數(shù)倒推數(shù)據(jù)的分布特征，甚至倒推出具體的訓練集數(shù)據(jù)，導致本地參與方的數(shù)據(jù)隱私泄露，甚至出于利益相關將本地參與方的數(shù)據(jù)售賣給其他第三方，進一步導致本地參與方的數(shù)據(jù)隱私大規(guī)模泄露。

針對以上問題，本文提出了一種基于非可信中心服務器設定下的動態(tài)聚合權重的隱私保護聯(lián)邦學習（DP-DFL，differentially private- dynamic federated learning）框架，主要貢獻總結如下。

1) 構建了一種動態(tài)的模型聚合權重的方法，該方法可以從數(shù)據(jù)中直接學習聯(lián)邦學習中的模型聚合權重，進一步實現(xiàn)更好的性能和不同數(shù)據(jù)分布類型的通用。

2) 假定中心服務器不可信，設計了一種新的協(xié)議，參與方客戶端在本地模型隱私保護階段使用噪聲進行模型參數(shù)的隱私保護，從而降低本地參與方模型參數(shù)上傳中的隱私泄露風險。

3) 驗證了所提算法的效率，在數(shù)據(jù)集CIFAR-10上采用兩種卷積神經網絡模型進行實驗，結果顯示，DP-DFL在有效保證本地隱私的條件下，平均準確率相比DP-FedAvg算法提高了2.09%。

1 相關工作

越來越多的工作研究聯(lián)邦學習背景下的隱私保護，將DP約束引入聯(lián)邦學習模型共享是其中一種主要的研究。Geyer[25]等提出了一種算法，中心服務器將高斯機制注入每一輪迭代后的權重矩陣中，將單個客戶的貢獻隱藏在聚合中。

McMahan[24]等也提出了類似的想法，DP-FedAvg算法和DP-FedSGD算法擴展了FedAvg和FedSGD。FedAvg[4]算法和FedSGD[4]算法是聯(lián)邦學習中的經典算法，中心服務器聚合每一輪迭代本地參與方客戶端的最優(yōu)梯度更新，F(xiàn)edAvg算法與FedSGD算法相比，前者在本地參與方客戶端進行多輪迭代。DP-FedAvg算法和DP-FedSGD算法則是在每一輪的模型更新中加入擾動。以上算法在共享模型參數(shù)時通常假定不同參與方的數(shù)據(jù)具有相同分布，在異質環(huán)境下，DP-FedAvg算法和DP-FedSGD算法存在不穩(wěn)定性和收斂的問題。

除此之外，非獨立同分布數(shù)據(jù)上的聯(lián)邦學習問題引起了人們的關注。在非DP環(huán)境下，Wang[26]提出了一種歸一化的平均方法，在保持異質數(shù)據(jù)用戶端快速收斂的同時，消除了目標的不一致性。Zheng[27]等在共享參數(shù)平均化階段引入了基于注意力的加權平均法，以針對異質數(shù)據(jù)。在DP環(huán)境下，Hu[28]等針對數(shù)據(jù)異質性問題，提出了一種個性化的FL-DP方法，但此方法只針對線性模型?，F(xiàn)有工作通常是在非DP環(huán)境下，考慮模型的統(tǒng)計數(shù)據(jù)或基本分布進行聚合，對客戶數(shù)據(jù)進行基于梯度的優(yōu)化，直接學習聚集權重的研究較少。聯(lián)邦學習中DP約束條件下數(shù)據(jù)異質環(huán)境問題的研究尚且不足，尤其是針對神經網絡模型及數(shù)據(jù)類型為圖片的原始數(shù)據(jù)。為了解決數(shù)據(jù)異質性這一問題，在DP約束條件下的聯(lián)邦學習中，本文引入了一種為聯(lián)邦學習尋找最佳聚合權重的自動化方法。通過使用Dirichlet分布[29-30]對權重進行建模，將聚合權重由原來的依據(jù)客戶端數(shù)據(jù)集大小優(yōu)化為依據(jù)不同參與方的數(shù)據(jù)分布和模型的訓練進度。

上述研究通常假定中心服務器是誠實的，然而實際中，中心服務器可能是“誠實但好奇”或是“惡意”的。Zhao[31]等考慮了DP-FedSGD算法在“誠實但好奇”的中心服務器條件下的聯(lián)邦學習隱私保護。Li[32]等認為服務器是“誠實而好奇”的，但沒有確保用戶的端到端隱私。本文基于DP-FedAvg算法，并且假設中心服務器狀態(tài)為非可信，設定中心服務器處于兩種狀態(tài)中的“誠實但好奇”這一狀態(tài)，本地參與方客戶端在將參數(shù)發(fā)送給中心服務器前需要進行擾動保護。相關工作比較如表1所示。

表1 相關工作比較

2 基本定義

2.1 聯(lián)邦學習

2.2 差分隱私

定義1 嚴格差分隱私

傳統(tǒng)的DP基于最嚴格的假設，即攻擊者擁有除了某一條信息以外的所有其他信息，但在現(xiàn)實中這類攻擊者是十分少見的。嚴格差分隱私在隱私性的保護方面十分嚴格，影響了數(shù)據(jù)在使用過程中的可用性，在實際應用中主要使用含有松弛機制的差分隱私定義。帶有松弛機制的差分隱私與傳統(tǒng)差分隱私相比，引入了一個松弛項。

定義2 松弛差分隱私

2.3 高斯機制

差分隱私通常通過添加噪聲的方式來擾動數(shù)據(jù)，具體實現(xiàn)機制有高斯機制、指數(shù)機制、拉普拉斯機制。其中，拉普拉斯機制僅針對傳統(tǒng)的差分隱私，而高斯機制可以滿足松弛的本地差分隱私。

定義3 全局敏感度

定義4 高斯噪聲機制

2.4 差分隱私隨機梯度下降法

得到梯度后對梯度進行裁剪，即

3 方案實現(xiàn)

3.1 方案概述

本文提出了一種基于非可信中心服務器設定下的動態(tài)聚合權重的隱私保護聯(lián)邦學習框架，流程如圖1所示。

圖1 DP-DFL流程

Figure 1 The illustration of DP-DFL

DP-DFL框架的完整流程為：①部分本地參與方客戶端從中心服務下載全局模型參數(shù)和聚合權重參數(shù)；②本地參與方客戶端在本地訓練模型和更新權重，并將DP隱私保護，即采用DPSGD方法添加噪聲后的模型更新和動態(tài)權重算法更新后的聚合權重上傳給中心服務器；③中心服務器接受本地參與方客戶端的模型更新和聚合權重更新，生成新的全局模型并進行DP隱私保護添加噪聲；④重復上述每一輪迭代，直至達到設定的迭代輪數(shù)或期望的模型精確度。

3.2 動態(tài)聚合權重算法

算法1給出了動態(tài)聚合權重算法的描述。

算法1 動態(tài)聚合權重算法

9) end for

3.3 DP-DFL框架

表2列出了DP-DFL框架相關符號和定義。

表2 符號和定義

算法2給出了DP-DFL的描述。DP-DFL框架分為中心服務器端和參與方客戶端。在參與方客戶端，主要使用DP-SGD進行模型的訓練和參數(shù)的隱私保護，具體步驟如下。

步驟4 （第4行）：裁剪梯度，限制單個數(shù)據(jù)對整體的影響。

算法2 DP-DFL

中心服務器

11) end

6) end for

4 實驗與結果

4.1 實驗環(huán)境設置

實驗環(huán)境：操作系統(tǒng)為Windows 10，CPU為InterCore i5-5250U，基于框架為TensorFlow2.0，開發(fā)環(huán)境為Anaconda3、Python3.8.0、Pycharm、CUDA Toolkit 10.0。

數(shù)據(jù)集：CIFAR-10數(shù)據(jù)集共用60 000幅圖片，每幅照片均為32×32的彩色照片，每個像素點包含R、G、B這3個數(shù)值，數(shù)值范圍為0～255，照片可以劃分為10種不同的類別。其中，50 000幅圖片劃為訓練集，10 000幅圖片劃為測試集。

4.2 結果分析

（1）non-iid結果分析

本文實驗使用兩個常用的圖像分類問題CNN模型Resnet18和VGG16。Resnet18網絡分為4層，每層有兩個模塊組成，第一層由兩個普通的殘差塊組成，其他3層由一個普通的殘差塊和下采樣的卷積塊組成。VGG16網絡中，主要有13層卷積層以及3層全連接層，其中卷積層和全連接層使用ReLU函數(shù)作為激活函數(shù)。為了模擬異質數(shù)據(jù)的環(huán)境，對數(shù)據(jù)進行non-iid操作，本文實驗使用Zheng等[27]的方法對數(shù)據(jù)集進行劃分。

圖2是模型設定為Resnet18時的實驗結果，其中，圖2(a)挑選每輪參與訓練的本輪訓練的參與方的概率為0.2，圖2(b)概率為0.5。根據(jù)迭代10次后的模型最終準確率，DP-DFL優(yōu)于DP-FedAvg，圖2(a)中DP-DFL準確率為68.81%，高于DP-FedAvg的2.19%，圖2(b)中DP-DFL準確率為78.56%，高于DP-FedAvg的2.42%。圖3是模型設定為VGG16時的實驗結果，其中圖3(a)挑選每輪參與訓練的本輪訓練參與方的概率為0.2，圖3(b)概率為0.5。根據(jù)迭代10次后的模型最終準確率，DP-DFL優(yōu)于DP-FedAvg，圖3(a)中DP-DFL準確率為81.37%，高于DP-FedAvg的2.36%，圖3(b)中DP-DFL準確率為88.21%，高于DP-FedAvg的1.39%。

圖2 Resnet18實驗結果

Figure2 The experimental result of Resnet18

根據(jù)結果顯示，無論訓練模型選擇Resnet18或VGG16，無論每輪迭代選取的本地參與方客戶端數(shù)量為2或5，DP-DFL在保障本地隱私的條件下，不僅模型精度沒有受損，相較DP-FedAvg算法的模型準確率平均提高了2.09%。

差分隱私以損失部分準確率來達到隱私保護的效果。將DP-DFL框架與其他兩個非DP環(huán)境下的聯(lián)邦學習方法相比，模型準確率也未受到很大的影響。

（2）iid結果分析

圖3 VGG16實驗結果

Figure 3 The experimental result of VGG16

圖4是iid環(huán)境下的實驗結果，其中圖4(a)挑選每輪參與訓練的本輪訓練的參與方的概率為0.2，圖4(b)概率為0.5。結果表明，在同分布情況下，DP-DFL收斂速度雖然慢于DP-FedAvg，但在第10次全局迭代左右，兩者準確率已經達到相似水平。DP-DFL在同分布數(shù)據(jù)情況下仍可以保持良好的性能表現(xiàn)。

表3 實驗結果

圖4 iid環(huán)境下的實驗結果

Figure 4 The experimental result of iid

5 結束語

針對現(xiàn)有聯(lián)邦學習全局模型聚合時，不同參與方客戶端擁有非獨立同分布的數(shù)據(jù)類型造成模型全局模型效用和適用性效果不高，以及中心服務器不可信的問題，本文提出了一種DP-DFL框架。該框架在本地參與方模型訓練階段引入了DP-SGD以保證本地模型參數(shù)的隱私不會被不可信第三方竊取，同時，在本地模型參數(shù)聚合階段設計了一種新的動態(tài)模型聚合權重的方法。實驗驗證，DP-DFL不僅進一步保證了用戶隱私，而且模型精度優(yōu)于DP-FedAvg算法。未來的工作將研究更復雜的聚合操作，同時可以模擬現(xiàn)實真實攻擊，尋找效用和隱私保護均衡更優(yōu)的方法。

[1] LI T, SAHU A K, TALWALKAR A, et al. Federated learning: challenges, methods, and future directions[J]. IEEE Signal Processing Magazine, 2020, 37(3): 50-60.

[2] XU X H, PENG H, SUN L C, et al. Fedmood: federated learning on mobile health data for mood detection[J]. arXiv preprint arXiv:2102.09342, 2021.

[3] CHE SICONG, PENG H, SUN L C, et al. Federated multiview learning for private medical data integration and analysis[J]. arXiv preprint arXiv:2105.01603, 2021.

[4] MC-MAHAN B, MOORE E, RAMAGE D, et al. Communication-efficient learning of deep networks from decentralized data[C]//Artificial Intelligence and Statistics. 2017: 1273-1282.

[5] LIU Z, GUO J, YANG W, et al. Privacy-preserving aggregation in federated learning: a survey[J]. arXiv preprint arXiv: 2203.17005, 2022.

[6] RAMASWAMY S, THAKKAR O, MATHEWS R, et al. Training production language models without memorizing user data[J]. arXiv preprint arXiv:2009.10031, 2020.

[7] LI Z, SHARMA V, MOHANTY S P. Preserving data privacy via federated learning: challenges and solutions[J]. IEEE Consumer Electronics Magazine, 2020, 9(3): 8-16.

[8] LI T, SAHU A K, ZAHEER M, et al. Federated optimization in heterogeneous networks[J]. Proceedings of Machine Learning and Systems, 2020, 2: 429-450.

[9] 陳前昕, 畢仁萬, 林劼, 等. 支持多數(shù)不規(guī)則用戶的隱私保護聯(lián)邦學習框架[J]. 網絡與信息安全學報, 2022, 8(1): 139-150.

CHEN Q X, BI R W, LIN J, et al. Privacy-preserving federated learning framework with irregular-majority users[J]. Chinese Journal of Network and Information Security, 2022, 8(1): 139-150.

[10] 劉藝璇, 陳紅, 劉宇涵, 等. 聯(lián)邦學習中的隱私保護技術[J]. 軟件學報, 2021, 33(3): 1057-1092.

LIU Y X, CHEN H, LIU Y H, et al. Privacy-preserving techniques in Federated Learning[J]. Journal of Software, 2022, 33(3): 1057?1092.

[11] 王騰, 霍崢, 黃亞鑫, 等. 聯(lián)邦學習中的隱私保護技術研究綜述[J].計算機應用, 2022.

WANG T, HUO Z, HUANG Y X, et al. Survey of privacy-preserving technologies in federated learning [J]. Journal of Computer Applications,2022.

[12] FIGURNOV M, MOHAMED S, MNIH A. Implicit repara-meterization gradients[C]//Advances in Neural Information Processing Systems. 2018: 441-452.

[13] PAPERNOT N, ABADI M, ERLINGSSON U F, et al. Semi-supervised knowledge transfer for deep learning from private training data[C]//ICLR. 2017.

[14] SONG C, RISTENPART T, SHMATIKOV V. Machine learning models that remember too much[C]//2017 ACM SIGSAC Conf. on Computer and Communications Security. 2017: 587-601.

[15] SHOKRI R, STRONATI M, SONG C, et al. Membership inference attacks against machine learning models[C]//2017 IEEE Symposium on Security and Privacy (SP). 2017: 3-18.

[16] KIM M, GüNLü O, SCHAEFER R F. Federated learning with local differential privacy: Trade-offs between privacy, utility, and communication[C]//ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). 2021: 2650-2654.

[17] SUN L, QIAN J, CHEN X. LDP-FL: practical private aggregation in federated learning with local differential privacy[J]. arXiv preprint arXiv:2007.15789, 2020.

[18] ABADI M, CHU A, GOODFELLOW I, et al. Deep learning with differential privacy[C]//Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security. 2016: 308-318.

[19] MIRONOV I, TALWAR K, ZHANG L. R'enyi differential privacy of the sampled gaussian mechanism[J]. arXiv preprint arXiv:1908.10530, 2019.

[20] SUN L, LYU L. Federated model distillation with noise-free differential privacy[J]. arXiv preprint arXiv:2009.05537, 2020.

[21] NAGAR A, TRAN C, FIORETTO F. Privacy-preserving and accountable multi-agent learning[C]//AAMAS Conference proceedings. 2021.

[22] DAI Z, LOW B K H, JAILLET P. Differentially private federated Bayesian optimization with distributed exploration[J]. Advances in Neural Information Processing Systems, 2021, 34.

[23] ANDREW G, THAKKAR O, MCMAHAN B, et al. Differentially private learning with adaptive clipping[J]. Advances in Neural Information Processing Systems, 2021, 34.

[24] MC-MAHAN H B, RAMAGE D, TALWAR K, et al. Learning differentially private recurrent language models[C]//arXiv preprint arXiv:1710.06963, 2017.

[25] GEYER R C, KLEIN T, NABI M. Differentially private federated learning: a client level perspective[J]. arXiv preprint arXiv:1712.07557, 2017.

[26] WANG J Y, LIU Q H, LIANG H, et al. Tackling the objective inconsistency problem in heterogeneous federated optimization[C]// NeurIPS. 2020.

[27] ZHENG Q, CHEN S, LONG Q, et al. Federated f-differential privacy[C]//International Conference on Artificial Intelligence and Statistics. 2021: 2251-2259.

[28] HU R, GUO Y X, LI H N, et al. Personalized federated learning with differential privacy[J]. IEEE Internet of Things Journal, 7(10):9530–9539, 2020.

[29] CHEN X N, WANG R C, CHENG M H, et al. Drnas: dirichlet neural architecture search[J]. arXiv preprint arXiv:2006.10355, 2020.

[30] XIA Y, YANG D, LI W, et al. Auto-FedAvg: learnable federated averaging for multi-institutional medical image segmentation[J]. arXiv preprint arXiv:2104.10195, 2021.

[31] ZHAO Y, ZHAO J, YANG M, et al. Local differential privacy-based federated learning for internet of things[J].IEEE Internet of Things Journal,2022,8(11):8836-8853.

[32] LI Y W, CHANG T H, CHI C Y. Secure federated averaging algorithm with differential privacy[C]//2020 IEEE 30th International Workshopon Machine Learning for Signal Processing (MLSP), 2020: 1-6.

Privacy-preserving federated learning framework with dynamic weight aggregation

YING Zuobin1, FANG Yichen1, ZHANG Yiwen2

1. City University of Macau, Macau 999078, China 2. Anhui Xinhua University, Hefei 230000, China

There are two problems with the privacy-preserving federal learning framework under an unreliable central server.① A fixed weight, typically the size of each participant’s dataset, is used when aggregating distributed learning models on the central server. However, different participants have non-independent and homogeneously distributed data, then setting fixed aggregation weights would prevent the global model from achieving optimal utility. ② Existing frameworks are built on the assumption that the central server is honest, and do not consider the problem of data privacy leakage of participants due to the untrustworthiness of the central server. To address the above issues, based on the popular DP-FedAvg algorithm, a privacy-preserving federated learning DP-DFL algorithm for dynamic weight aggregation under a non-trusted central server was proposed which set a dynamic model aggregation weight. The proposed algorithm learned the model aggregation weight in federated learning directly from the data of different participants, and thus it is applicable to non-independent homogeneously distributed data environment. In addition, the privacy of model parameters was protected using noise in the local model privacy protection phase, which satisfied the untrustworthy central server setting and thus reduced the risk of privacy leakage in the upload of model parameters from local participants. Experiments on dataset CIFAR-10 demonstrate that the DP-DFL algorithm not only provides local privacy guarantees, but also achieves higher accuracy rates with an average accuracy improvement of 2.09% compared to the DP-FedAvg algorithm models.

federated learning, differential privacy, dynamic aggregationweight, non-independent and identically distributeddata

TP393

A

10.11959/j.issn.2096?109x.2022069

2022?04?09；

2022?09?06

方一晨，fyc980601@163.com

澳門科學技術發(fā)展基金（0038/2022/A）

General R&D Subsidy Program Fund Macau (0038/2022/A)

應作斌, 方一晨, 張怡文. 動態(tài)聚合權重的隱私保護聯(lián)邦學習框架[J]. 網絡與信息安全學報, 2022, 8(5): 56-65.

Format: YING Z B, FANG Y C, ZHANG Y W. Privacy-preserving federated learning framework with dynamic weight aggregation [J]. Chinese Journal of Network and Information Security, 2022, 8(5): 56-65.

應作斌（1982?），男，安徽蕪湖人，澳門城市大學助理教授，主要研究方向為區(qū)塊鏈、聯(lián)邦學習。

方一晨（1998?），女，浙江湖州人，澳門城市大學碩士生，主要研究方向為差分隱私、聯(lián)邦學習。

張怡文（1980?），女，安徽阜陽人，安徽新華學院教授，主要研究方向為數(shù)據(jù)挖掘、聯(lián)邦學習。