基于自適應(yīng)噪聲和動態(tài)加權(quán)的聯(lián)邦學(xué)習(xí)算法

摘 要：將差分隱私應(yīng)用于聯(lián)邦學(xué)習(xí)是保護(hù)訓(xùn)練數(shù)據(jù)隱私的有效方法之一，但在現(xiàn)有的算法中，添加固定噪聲進(jìn)行模型訓(xùn)練會導(dǎo)致模型精度不高、數(shù)據(jù)隱私泄露的問題。為此，提出了一種基于自適應(yīng)噪聲和動態(tài)加權(quán)的聯(lián)邦學(xué)習(xí)算法（DP-FedANAW）。首先，考慮到梯度的異質(zhì)性，該算法為每個客戶端預(yù)測當(dāng)前輪次梯度范數(shù)，獲得裁剪閾值，為其進(jìn)行不同輪次自適應(yīng)裁剪梯度，從而實(shí)現(xiàn)自適應(yīng)調(diào)整噪聲；其次，為了進(jìn)一步提高模型的訓(xùn)練效率，該算法還提出了一種將客戶端貢獻(xiàn)度與數(shù)據(jù)量相結(jié)合的動態(tài)加權(quán)模型聚合方法。實(shí)驗(yàn)結(jié)果表明，該算法在滿足差分隱私的前提下，與DP-FL和其他兩個自適應(yīng)噪聲的算法相比，不僅準(zhǔn)確率提高了5.03、2.94和2.85百分點(diǎn)，而且訓(xùn)練輪次整體提高了5～40輪。

關(guān)鍵詞：聯(lián)邦學(xué)習(xí)；差分隱私；自適應(yīng)噪聲；自適應(yīng)裁剪；動態(tài)加權(quán)

中圖分類號：TP309"" 文獻(xiàn)標(biāo)志碼：A"" 文章編號：1001-3695（2025）03-014-0749-06

doi：10.19734/j.issn.1001-3695.2024.08.0299

Federated learning scheme based on adaptive noise and dynamic weighting

Wang Honglin1a，Xue Shan1b，Zhu Cheng2

（1.a.School of Artificial Intelligence（College of Future Technology），b.School of Computer science，Nanjing University of Information Science amp; Technology，Nanjing 210044，China;2.College of Electrical amp; Computer Engineering，University of Illinois at Urbana Champaign，Urbana IL 61801，USA）

Abstract：Applying differential privacy to federated learning is one of the effective methods to protect the privacy of training data，but adding fixed noise to model training in existing algorithms will lead to the problem of low model accuracy and data privacy leakage.Therefore，this paper proposed a federation learning algorithm based on adaptive noise and dynamic weighting.Firstly，considering the heterogeneity of the gradient，the algorithm predicted the current round gradient norm for each client，obtains the clipping threshold，and performed adaptive clipping gradients for different rounds to achieve adaptive noise adjustment.Secondly，in order to further improve the efficiency of model training，the algorithm also proposed a dynamic weighted model aggregation method combining client contribution and data volume.The experimental results show that this algorithm not only improves the accuracy by 5.03，2.94 and 2.85 percent points，but also improves the training rounds by about 5～40 rounds compared with DP-FL and the other two adaptive noise algorithms under the premise of differential privacy.

Key words：federation learning;differential privacy;adaptive noise;adaptive cutting;dynamic weighting

0 引言

在傳統(tǒng)的機(jī)器學(xué)習(xí)訓(xùn)練模型中，主要采用集中式的訓(xùn)練，即所有參與訓(xùn)練的數(shù)據(jù)都會集中在服務(wù)器進(jìn)行訓(xùn)練，以開發(fā)出一個更高性能的機(jī)器學(xué)習(xí)模型。但在訓(xùn)練過程中，模型的性能和效率將嚴(yán)重依賴于服務(wù)器的計算能力和數(shù)據(jù)量的大小，并且在數(shù)據(jù)上傳過程中，無異于將數(shù)據(jù)的安全性和隱私性暴露在被攻擊竊取的風(fēng)險中。另外，服務(wù)器是否可信也嚴(yán)重影響用戶數(shù)據(jù)的安全性。針對上述問題，聯(lián)邦學(xué)習(xí)［1］應(yīng)運(yùn)而生。聯(lián)邦學(xué)習(xí)是由Google在2017年提出的安全解決方案，在其實(shí)現(xiàn)過程中，客戶端的數(shù)據(jù)無須上傳至服務(wù)器，而是在本地進(jìn)行訓(xùn)練后將更新的本地模型參數(shù)上傳至服務(wù)器，再由服務(wù)器進(jìn)行聚合。在此期間，不會發(fā)生原始數(shù)據(jù)的傳遞和交換，緩解了各客戶端數(shù)據(jù)隱私泄露的風(fēng)險。聯(lián)邦學(xué)習(xí)依靠其優(yōu)勢成為大規(guī)模機(jī)器學(xué)習(xí)進(jìn)行模型訓(xùn)練的主流選擇，并廣泛應(yīng)用于人工智能［2］、智慧醫(yī)療［3］、金融［4］等領(lǐng)域。

然而，僅將訓(xùn)練數(shù)據(jù)保留在本地并不足以保護(hù)數(shù)據(jù)隱私。當(dāng)前研究表明，在用戶上傳本地模型參數(shù)、服務(wù)器進(jìn)行模型聚合以及全局模型共享的過程中，惡意攻擊者可以通過對模型發(fā)起屬性推斷攻擊或成員推理攻擊等，仍然會存在數(shù)據(jù)安全問題。例如，Wang等人［5］基于GAN的重建攻擊，使用共享模型作為判別器訓(xùn)練GAN模型，生成訓(xùn)練模型數(shù)據(jù)的原始樣本。Hayes等人［6］通過竊取訓(xùn)練好的模型進(jìn)行數(shù)據(jù)集基礎(chǔ)分布估計，進(jìn)而反演分析以獲取參與方的隱私信息。為解決上述問題，差分隱私［7］、同態(tài)加密［8］和多方安全計算［9］被廣泛應(yīng)用于聯(lián)邦學(xué)習(xí)的隱私保護(hù)中。相比于同態(tài)加密和多方安全計算的計算復(fù)雜度高、通信消耗大，差分隱私只需要在真實(shí)數(shù)據(jù)中加入噪聲進(jìn)行擾動，使得其實(shí)現(xiàn)過程簡單，系統(tǒng)開銷較小。

在現(xiàn)有的基于差分隱私的聯(lián)邦學(xué)習(xí)方法中，每個客戶端在每輪訓(xùn)練過程中加入的噪聲大多數(shù)都是均勻的。但在聯(lián)邦學(xué)習(xí)場景中，每個客戶端的數(shù)據(jù)分布以及標(biāo)簽特征是存在差異的，以至于更新的參數(shù)大小、速度和方向會有所不同［10］，另外，隨著訓(xùn)練輪次的增加，模型逐漸趨于收斂，噪聲也應(yīng)逐漸減少。因此，每個客戶端在每輪所需的噪聲尺度是不盡相同的，未考慮梯度的異質(zhì)性和模型訓(xùn)練的隱私需求而均勻地添加噪聲，最終會影響模型的性能。此外，由于訓(xùn)練數(shù)據(jù)來源于不同的數(shù)據(jù)源，數(shù)據(jù)質(zhì)量無法保證，并且不能完全滿足獨(dú)立同分布和數(shù)據(jù)量一致這兩個影響最終模型的條件［11，12］，所以，訓(xùn)練過程中的模型聚合方式也是影響最終模型的重要因素。目前，大多數(shù)聯(lián)邦學(xué)習(xí)的模型聚合方式是采用加權(quán)平均［13］（FedAvg）的方式，即每個模型參數(shù)的權(quán)重是按照本地數(shù)據(jù)量大小進(jìn)行賦值的，這種方式未考慮到擁有大數(shù)據(jù)量的客戶端中可能會有數(shù)據(jù)質(zhì)量較差的情況，最終會導(dǎo)致其相應(yīng)得到的本地模型會偏離正常客戶端訓(xùn)練的本地模型，從而在模型聚合過程中可能會導(dǎo)致全局模型質(zhì)量下降。

基于此，本文提出了一種具有自適應(yīng)噪聲以及動態(tài)加權(quán)的聯(lián)邦學(xué)習(xí)方案。在訓(xùn)練過程中，為不同客戶端不同輪次進(jìn)行自適應(yīng)梯度裁剪，進(jìn)而引起噪聲的自適應(yīng)調(diào)整。并且，在每輪模型聚合之前，基于各客戶端本地模型距離的相關(guān)計算動態(tài)分配權(quán)重因子，使模型達(dá)到更好的效果。其主要工作如下：

a）提出了一種自適應(yīng)噪聲的差分隱私聯(lián)邦學(xué)習(xí)方案。該方案根據(jù)梯度L2范數(shù)和裁剪閾值的關(guān)系，為不同客戶端不同輪次分配不同的裁剪閾值，從而調(diào)整所需要添加的噪聲大小。

b）提出了一種動態(tài)加權(quán)的模型聚合方法。該方法通過計算各客戶端模型之間的L2范數(shù)距離，獲得相應(yīng)的得分，后經(jīng)過兩次歸一化操作，得到相應(yīng)的權(quán)重因子，最后進(jìn)行全局聚合。

c）通過在MNIST和CIFAR10數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，驗(yàn)證本文方案的模型準(zhǔn)確率相較于傳統(tǒng)方法有明顯的提升。

1 研究基礎(chǔ)

為了解決聯(lián)邦學(xué)習(xí)中的隱私安全問題，許多基于差分隱私的聯(lián)邦學(xué)習(xí)方案被研究者提出。Sara等人［14］首次將差分隱私應(yīng)用于聯(lián)邦學(xué)習(xí)，實(shí)現(xiàn)了在分布式環(huán)境中進(jìn)行模型訓(xùn)練的同時保護(hù)了個體數(shù)據(jù)的隱私。Wei等人［15］提出了一種將差分隱私應(yīng)用于聯(lián)邦學(xué)習(xí)的新框架（NbAFL），通過在客戶端本地模型參數(shù)聚合之前加入人工噪聲，還提出了一種K-客戶端隨機(jī)調(diào)度策略，在所有的客戶端中隨機(jī)選取K個參加模型聚合。Xu等人［16］提出了一種具有可證明隱私預(yù)算的自適應(yīng)快速收斂學(xué)習(xí)算法（ADADP），訓(xùn)練的模型可以在固定的隱私水平下表現(xiàn)出良好的訓(xùn)練性能。吳若嵐等人［17］提出了一種可以識別潛在的中毒攻擊者的方法，通過引入本地差分隱私，以加強(qiáng)對推理攻擊的防御。張少波等人［18］通過在高斯噪聲中引入固定的衰減系數(shù)實(shí)現(xiàn)動態(tài)調(diào)整每輪差分隱私噪聲的大小，以實(shí)現(xiàn)對數(shù)據(jù)的隱私保護(hù)。然而上述方法都采用的是添加均勻噪聲的方式，沒有考慮到梯度的異質(zhì)性，不同客戶端不同輪次所需的噪聲可能不同。

隨著將差分隱私與聯(lián)邦學(xué)習(xí)相結(jié)合的不斷研究，越來越多的自適應(yīng)噪聲方式被提出。Veen等人［19］提出了一種基于梯度感知的自適應(yīng)裁剪方案，該方案利用前一輪梯度的L2范數(shù)進(jìn)行加噪，并進(jìn)行相關(guān)計算得到當(dāng)前輪的裁剪閾值，進(jìn)而為每輪加入不同的噪聲。Zheng等人［20］提出了PriFedSync框架，針對每個樣本的梯度裁剪計算用戶敏感度，并向本地參數(shù)添加相應(yīng)的高斯噪聲，以保護(hù)用戶的隱私。Li等人［21］提出了一種多階段自適應(yīng)私有異步聯(lián)邦學(xué)習(xí)算法，使用一個衰減的裁剪閾值，以減少模型收斂時所需的噪聲。Jiao等人［22］提出了一種基于自適應(yīng)高斯噪聲的差分隱私聯(lián)合學(xué)習(xí)方案（DPFL-AGN），利用Adam優(yōu)化器自適應(yīng)調(diào)整學(xué)習(xí)率來更新參數(shù)，隨著模型的收斂，在聯(lián)邦學(xué)習(xí)訓(xùn)練過程的后期階段對噪聲進(jìn)行自適應(yīng)降噪。吳俊儀等人［23］根據(jù)客戶端的隱私需求為高隱私需求用戶動態(tài)裁剪梯度，而低隱私需求用戶采用比例裁剪，進(jìn)而自適應(yīng)地添加噪聲尺度。徐超等人［24］提出了一種結(jié)合客戶端選擇的自適應(yīng)差分隱私聯(lián)邦學(xué)習(xí)方法（CSamp;AGC DP_FL），使用二階指數(shù)平滑機(jī)制預(yù)測梯度，同步調(diào)整裁剪閾值和噪聲水平自適應(yīng)調(diào)整。Yang等人［25］提出一種差分隱私優(yōu)化器（DP-GSGLD），通過貝葉斯采樣在參數(shù)更新中實(shí)現(xiàn)梯度估計，引入?yún)?shù)裁剪技術(shù)進(jìn)一步推導(dǎo)出隱私預(yù)算。

對于聯(lián)邦學(xué)習(xí)中的模型聚合方式，越來越多的研究者提出相應(yīng)的分配權(quán)重算法。目前使用最為廣泛的便是由McMahan等人［13］提出的聯(lián)邦平均算法。羅長銀等人［11］從數(shù)據(jù)質(zhì)量的角度對原有的FedAvg算法進(jìn)行改進(jìn)，將訓(xùn)練樣本劃分為預(yù)訓(xùn)練樣本與預(yù)測試樣本，將初始全局模型在預(yù)訓(xùn)練樣本上訓(xùn)練，所建立的模型在預(yù)測試樣本上進(jìn)行預(yù)測，所得到的分?jǐn)?shù)作為其數(shù)據(jù)質(zhì)量，并計算出相應(yīng)的權(quán)重進(jìn)行模型聚合。Abdullah等人［26］提出了一種通過基于概率的排名算法（FedWAPR）進(jìn)行加權(quán)聚合的方法。其優(yōu)先考慮具有更高準(zhǔn)確性的客戶端，并根據(jù)指數(shù)分布等概率分布函數(shù)為客戶端分配權(quán)重。Bhatti等人［27］提出了FedCLS算法，通過考慮設(shè)備標(biāo)簽中類別的數(shù)量和數(shù)據(jù)樣本的數(shù)量來計算設(shè)備的聚合權(quán)重。但上述算法都未考慮加入噪聲后對算法的影響。基于上述研究，在自適應(yīng)噪聲方面，本文提出一種基于預(yù)測客戶端梯度L2范數(shù)變化的自適應(yīng)裁剪機(jī)制，從而實(shí)現(xiàn)噪聲的自適應(yīng)添加；在服務(wù)器端模型參數(shù)聚合方面，本文提出一種動態(tài)加權(quán)的模型聚合方法，基于各局部模型之間L2距離的評分方式，通過兩次歸一化，賦予每個客戶端相應(yīng)的權(quán)重因子參與每輪的模型聚合。

2 算法描述

基于差分隱私機(jī)制的聯(lián)邦學(xué)習(xí)是通過對客戶端的參數(shù)添加滿足差分隱私的噪聲，從而在參數(shù)傳輸過程中達(dá)到良好的隱私保護(hù)效果。因此，本章概述了聯(lián)邦學(xué)習(xí)和差分隱私的相關(guān)定義，并在此前提下對模型進(jìn)行訓(xùn)練。

定義3 高斯機(jī)制。高斯機(jī)制是一種通過給參數(shù)添加高斯噪聲的隱私保護(hù)機(jī)制。為了保證給定的噪聲分布n～N（0，σ2）保持（ε，δ）-差分隱私，噪聲尺度σ≥cΔf/ε且常數(shù)c≥2ln（1.25/δ），其中N代表高斯分布。

3 DP-FedANAW算法

根據(jù)前文所述，本文提出了一個基于自適應(yīng)噪聲和動態(tài)加權(quán)的聯(lián)邦學(xué)習(xí)算法DP-FedANAW。在訓(xùn)練過程中，該算法的梯度根據(jù)自適應(yīng)裁剪進(jìn)行自適應(yīng)加噪處理，從而降低噪聲對模型準(zhǔn)確率的影響。此外，為了進(jìn)一步提高模型的性能，該算法還引了一種動態(tài)加權(quán)的模型聚合方法。

3.1 DP-FedANAW模型框架

針對聯(lián)邦學(xué)習(xí)中的隱私安全和訓(xùn)練效率問題，本文提出的DP-FedANAW模型框架如圖1所示。該模型與聯(lián)邦學(xué)習(xí)模型相似，不同的是，DP-FedANAW添加自適應(yīng)的噪聲來保護(hù)用戶隱私，同時采用動態(tài)加權(quán)的方式來聚合模型參數(shù)，主要訓(xùn)練過程如下：

a）客戶端在本地進(jìn)行模型訓(xùn)練，并通過梯度的L2范數(shù)來自適應(yīng)調(diào)整每輪的裁剪閾值，相應(yīng)地調(diào)整噪聲，然后在模型參數(shù)中加入噪聲進(jìn)行擾動，再將其上傳至服務(wù)器。

b）服務(wù)器接收所有客戶端的模型參數(shù)，通過各客戶端模型之間的L2距離來計算權(quán)重因子，為不同的客戶端分配不同的權(quán)重因子，然后再進(jìn)行模型聚合得到全局模型，并下發(fā)給所有的客戶端。

c）客戶端接收全局模型進(jìn)行本地更新，然后重復(fù)上述步驟直至模型收斂。

3.2 算法設(shè)計

3.2.1 自適應(yīng)噪聲

在基于差分隱私的聯(lián)邦學(xué)習(xí)中，梯度裁剪閾值的設(shè)定直接影響了隱私保護(hù)的強(qiáng)度和模型的收斂性能。在差分隱私梯度下降算法中，通常采用裁剪技術(shù)確?！琯i‖2≤C，其中‖gi‖2表示第i個客戶端梯度的L2范數(shù)，C表示裁剪閾值。因此，確定一個合理的裁剪閾值是實(shí)現(xiàn)有效差分隱私聯(lián)邦學(xué)習(xí)的關(guān)鍵。若裁剪閾值C過小，可能會導(dǎo)致梯度被過度裁剪，使得梯度的方向和大小受到過度限制，影響模型的收斂；反之，若裁剪閾值C過大，由于高斯噪聲的方差與裁剪閾值成正比，則需要為梯度參數(shù)添加更多噪聲。一般來說，在聯(lián)邦學(xué)習(xí)的訓(xùn)練過程中，客戶端梯度的L2范數(shù)會隨著輪次的增加而逐漸減小，并最終收斂到一個較小的值［28］。

基于上述內(nèi)容，本文提出了一種基于梯度變化的自適應(yīng)裁剪方案，從而自適應(yīng)添加噪聲。該方案使用每個客戶端梯度的L2范數(shù)來調(diào)整裁剪閾值，進(jìn)而實(shí)現(xiàn)噪聲的自適應(yīng)調(diào)整。具體調(diào)整公式如下：

Cit=Cit-1×（1+（‖git-1‖2-‖git-2‖2）/‖git-2‖2）

（4）

其中：Cit為第i個客戶端第t輪的裁剪閾值；‖git-1‖2為第i個客戶端第t-1輪梯度的L2范數(shù)。

在自適應(yīng)裁剪方案中，通過前兩輪的梯度L2范數(shù)來預(yù)測當(dāng)前輪次的梯度L2范數(shù)的變化趨勢，若上升則提高裁剪閾值，若下降則降低裁剪閾值，從而給出合理的限制。由于該方案需要預(yù)測當(dāng)前輪次梯度L2范數(shù)的變化趨勢，所以本文選取梯度裁剪之前的實(shí)際梯度進(jìn)行計算。

3.2.2 動態(tài)加權(quán)

在聯(lián)邦學(xué)習(xí)訓(xùn)練過程中，服務(wù)器進(jìn)行模型聚合是極其重要的一步，加權(quán)聚合算法對提高模型訓(xùn)練效率至關(guān)重要。最典型的聚合算法便是聯(lián)邦平均算法（FedAvg），其核心思想是根據(jù)客戶端本地訓(xùn)練數(shù)據(jù)集的大小來分配權(quán)重，本地數(shù)據(jù)集越大的客戶端在模型聚合中會獲得更大的權(quán)重，所以對全局模型的影響也更大。然而在上述自適應(yīng)梯度裁剪方案中，在不同輪次為不同客戶端添加不同的噪聲，被加入更多噪聲的模型參數(shù)可能會影響最終模型的準(zhǔn)確率。因此，本文在FedAvg算法的基礎(chǔ)上進(jìn)行了改進(jìn)，提出了一種基于各客戶端模型L2距離和訓(xùn)練數(shù)據(jù)集大小相結(jié)合的動態(tài)加權(quán)算法。

該算法的關(guān)鍵是計算各客戶端模型之間的L2距離，然后與訓(xùn)練數(shù)據(jù)集大小相結(jié)合。設(shè)計思路是，首先計算某客戶端模型與其他客戶端模型之間的L2距離的平方和，然后取其倒數(shù)作為一個得分。為了讓良性貢獻(xiàn)獲得更高的權(quán)重因子，一般貢獻(xiàn)獲得更低的權(quán)重因子，對該初次得分進(jìn)行歸一化，然后結(jié)合訓(xùn)練數(shù)據(jù)量進(jìn)行第二次歸一化操作，得到最終權(quán)重因子。最后，由服務(wù)器進(jìn)行聚合。一般來說，一般貢獻(xiàn)之間以及一般貢獻(xiàn)與良性貢獻(xiàn)之間的L2距離應(yīng)該會更大［29］?；诖耍话阖暙I(xiàn)的客戶端將會被分配更低權(quán)重。具體計算步驟如下：

3.4.2 復(fù)雜度分析

根據(jù)DP-FedANAW算法流程可知，算法的時間復(fù)雜度由客戶端和服務(wù)器端兩部分組成。設(shè)算法全局迭代次數(shù)為T，客戶端數(shù)量為N，每次迭代訓(xùn)練時，客戶端進(jìn)行本地訓(xùn)練，計算裁剪閾值、對梯度進(jìn)行裁剪并加入相應(yīng)的噪聲，最終將模型參數(shù)上傳至服務(wù)器；服務(wù)器進(jìn)行模型聚合，計算各客戶端權(quán)重因子，更新全局模型參數(shù)，其時間復(fù)雜度都為O（N）。因此DP-FedANAW算法的時間復(fù)雜度為O（TN）。

4 實(shí)驗(yàn)及結(jié)果分析

為驗(yàn)證DP-FedANAW算法的有效性，本章主要通過實(shí)驗(yàn)驗(yàn)證在相關(guān)參數(shù)變化時對模型準(zhǔn)確率的影響，并將DP-FedANAW算法與FedAvg［13］、DP-FedAvg［15］和SP-FL［23］、CSamp;AGC DP_FL［24］算法進(jìn)行實(shí)驗(yàn)對比。

4.1 數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)所采用的數(shù)據(jù)集為MNIST和CIFAR10兩個標(biāo)準(zhǔn)數(shù)據(jù)集。MNIST數(shù)據(jù)集是一個手寫數(shù)字的圖像數(shù)據(jù)集，包括60 000張訓(xùn)練圖像和10 000張測試圖像，每張圖像是大小為28像素×28像素的灰度圖像，標(biāo)簽為0～9的數(shù)字。CIFAR10數(shù)據(jù)集是一個彩色圖像數(shù)據(jù)集，包含50 000個訓(xùn)練樣本和10 000個測試樣本，每張圖片的大小為32×32，共包含10個類別，有汽車、鳥類等。實(shí)驗(yàn)所使用的平臺操作系統(tǒng)為Windows 10（64位），開發(fā)工具為PyCharm，開發(fā)環(huán)境為Anaconda，CPU的型號為Intel CoreTM i7-8565U CPU @ 1.80 GHz，內(nèi)存為16 GB。實(shí)驗(yàn)采用Python 3.11對代碼進(jìn)行編寫，搭建聯(lián)邦學(xué)習(xí)框架所使用的PyTorch版本為PyTorch 1.12.1。

實(shí)驗(yàn)使用卷積神經(jīng)網(wǎng)絡(luò)作為訓(xùn)練模型，如圖2所示。在模型訓(xùn)練過程中，參與訓(xùn)練的客戶端N為20，本地迭代次數(shù)為1，全局迭代次數(shù)T為100，失敗概率δ為1E-5，MNIST和CIFAR10數(shù)據(jù)集的學(xué)習(xí)率η分別為0.005和0.008。

4.2 相關(guān)參數(shù)對模型的影響

4.2.1 初始裁剪閾值C

本文通過研究不同的C，在不添加隱私噪聲的情況下，對比本文的自適應(yīng)裁剪閾值與傳統(tǒng)固定裁剪閾值方法對模型準(zhǔn)確率的影響。在實(shí)驗(yàn)過程中，將初始裁剪閾值分別設(shè)置為10，20，…，100。如圖3（a）和（b）所示，對于MNIST數(shù)據(jù)集，當(dāng)初始裁剪閾值為70時，自適應(yīng)梯度裁剪方法下的模型準(zhǔn)確率達(dá)到最優(yōu)的97.58%，當(dāng)裁剪閾值為30時，固定裁剪方法下的模型準(zhǔn)確率達(dá)到最優(yōu)的97.48%，比自適應(yīng)梯度裁剪方法降低了0.1百分點(diǎn)；對于CIFAR10數(shù)據(jù)集，在初始裁剪閾值為60時，自適應(yīng)梯度裁剪方法下的模型準(zhǔn)確率達(dá)到最優(yōu)的72.86%，在裁剪閾值為30時，固定裁剪方法的模型準(zhǔn)確率達(dá)到最優(yōu)的72.69%，比自適應(yīng)梯度裁剪方法降低了0.17百分點(diǎn)。綜合分析，當(dāng)初始裁剪閾值設(shè)定較低時，固定裁剪方法要優(yōu)于自適應(yīng)梯度裁剪方法，這是由于自適應(yīng)梯度裁剪在訓(xùn)練后期，將裁剪閾值減小到一個較低的值，擾動了真實(shí)的梯度變化，使得模型準(zhǔn)確率降低；當(dāng)初始裁剪閾值設(shè)定較高時，自適應(yīng)梯度裁剪方法略優(yōu)于固定裁剪方法，且并不會對模型性能產(chǎn)生負(fù)面影響。

4.2.2 隱私預(yù)算ε

當(dāng)使用差分隱私時，必須考慮隱私預(yù)算與模型準(zhǔn)確率之間的均衡性。在給定初始裁剪閾值的情況下，探究不同隱私預(yù)算對模型性能的影響。對于MNIST數(shù)據(jù)集，設(shè)置初始裁剪閾值C為60，隱私預(yù)算分別設(shè)置為2、2.5、3以進(jìn)行實(shí)驗(yàn)。對于CIFAR10數(shù)據(jù)集，設(shè)置初始裁剪閾值C為40，隱私預(yù)算分別設(shè)置為10、15、20。實(shí)驗(yàn)結(jié)果如圖4（a）和（b）所示，隨著隱私預(yù)算ε的增大，模型準(zhǔn)確率也相應(yīng)地變高。這符合差分隱私中隱私預(yù)算和模型準(zhǔn)確率成反比的性質(zhì)，隱私預(yù)算越小，隱私保密性越高；隱私預(yù)算越大，數(shù)據(jù)可用性越高。

4.3 實(shí)驗(yàn)對比

4.3.1 不同模型聚合加權(quán)方式

為了探究不同的加權(quán)聚合方式對模型準(zhǔn)確率的影響，在不加入差分隱私的情況下，將本文提出的動態(tài)加權(quán)（FedAW）與簡單平均加權(quán)（SimAvg）和聯(lián)邦平均加權(quán)（FedAvg）分別在MNIST和CIFAR10數(shù)據(jù)集上進(jìn)行比較。從圖5（a）和（b）中可以看出，使用本文提出的動態(tài)加權(quán)方式時，模型收斂速度略快于FedAvg，明顯快于SimAvg。對于MNIST數(shù)據(jù)集，模型準(zhǔn)確率達(dá)到95%時，F(xiàn)edAW的訓(xùn)練輪次為41，較SimAvg與FedAvg提前了8輪和2輪；而對于CIFAR10數(shù)據(jù)集，模型準(zhǔn)確率達(dá)到71%時，F(xiàn)edAW的訓(xùn)練輪次為36，較SimAvg與FedAvg提前了37和7輪。因此，在不添加噪聲的前提下，本文所提出的加權(quán)方式也能夠有效地提高模型的收斂速度。

4.3.2 不同加噪方式

為了驗(yàn)證自適應(yīng)噪聲和動態(tài)加權(quán)對聯(lián)邦學(xué)習(xí)的有效性，接下來將本文提出的DP-FedANAW算法與不加噪聲的FedAvg、傳統(tǒng)固定噪聲的DP-FedAvg和其他自適應(yīng)噪聲的CSamp;AGC DP_FL、SP-FL算法在不同隱私預(yù)算、相同其他相關(guān)參數(shù)的情況下進(jìn)行比較。由圖6（a）可知，在MNIST數(shù)據(jù)集下，F(xiàn)edAvg的模型準(zhǔn)確率達(dá)到了96.97%。當(dāng)ε=3時，DP-FedAvg、CSamp;AGC DP_FL和SP-FL的模型準(zhǔn)確率分別達(dá)到了89.69%、92.02%和92.55%，而DP-FedANAW的模型準(zhǔn)確率達(dá)到94.37%，相比于DP-FedAvg、CSamp;AGC DP_FL和SP-FL，其準(zhǔn)確率分別提高了4.68、2.35和1.82百分點(diǎn)；此外，從圖中明顯可見，在訓(xùn)練進(jìn)行至約第20輪后，DP-FedANAW方法的準(zhǔn)確率曲線的變化趨勢呈現(xiàn)出一種接近水平的狀態(tài)，而DP-FedAvg、CSamp;AGC DP_FL和SP-FL方法在訓(xùn)練輪次分別達(dá)到60輪、30輪和40輪時才近乎收斂。由圖6（b）可知，在CIFAR10數(shù)據(jù)集下，F(xiàn)edAvg的模型準(zhǔn)確率達(dá)到了72.29%。當(dāng)ε=15時，DP-FedAvg、CSamp;AGC DP_FL和SP-FL的模型準(zhǔn)確率分別達(dá)到了66.29%、67.74%和67.01%，而DP-FedANAW的模型準(zhǔn)確率達(dá)到69.37%，相比于DP-FedAvg、CSamp;AGC DP_FL和SP-FL，其準(zhǔn)確率分別提高了3.08、1.63和2.36百分點(diǎn)此外，在訓(xùn)練進(jìn)行至約20輪時，DP-FedANAW方法的準(zhǔn)確率曲線的變化趨勢呈現(xiàn)出一種接近水平的狀態(tài)，而DP-FedAvg、CSamp;AGC DP_FL和SP-FL方法在訓(xùn)練輪次達(dá)到30輪左右時才近乎收斂。具體相關(guān)對比數(shù)據(jù)如表1所示。

由此可見，DP-FedANAW方法在采用高斯機(jī)制實(shí)現(xiàn)差分隱私對本地模型進(jìn)行保護(hù)的前提下，能夠有效提高模型的準(zhǔn)確率和收斂速度。

5 結(jié)束語

針對聯(lián)邦學(xué)習(xí)中的隱私安全問題，本文提出了一種基于自適應(yīng)噪聲和動態(tài)加權(quán)的聯(lián)邦學(xué)習(xí)方案。該方法利用客戶端模型梯度的L2范數(shù)來預(yù)測當(dāng)前輪次梯度的變化趨勢，基于此來調(diào)整裁剪閾值與隱私噪聲；同時基于聯(lián)邦平均算法，結(jié)合各客戶端模型之間的L2距離來衡量其貢獻(xiàn)程度，為每個客戶端每輪分配不同的權(quán)重因子進(jìn)行模型聚合。通過在MNIST數(shù)據(jù)集和CIFAR10數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，在相同隱私約束下，DP-FedANAW方法與其他方法相比提高了模型的準(zhǔn)確率及收斂速度。然而本文中的隱私預(yù)算采用平均分配的策略，這可能會造成不必要的隱私預(yù)算浪費(fèi)，下一步將考慮結(jié)合通過度量隱私損失進(jìn)行預(yù)算分配。同時，進(jìn)一步考慮存在惡意客戶端不上傳本地模型的情況下，如何通過調(diào)整模型聚合方式以保證聯(lián)邦學(xué)習(xí)全局模型的性能。

參考文獻(xiàn)：

［1］McMahan B，Moore E，Ramage D，et al.Communication-efficient learning of deep networks from decentralized data［C］//Proc of Artificial Intelligence and Statistics.2017：1273-1282.

［2］Govardanan S C，Kandati R D，Bhulakshmi D，et al.The amalgamation of federated learning and explainable artificial intelligence for the internet of medical things：a review［J］.Recent Advances in Computer Science and Communications，2024，17（4）：article ID：e121223224367.

［3］Jin Tong，Pan Shujia，Li Xue，et al.Metadata and image features co-aware personalized federated learning for smart healthcare［J］.IEEE Journal of Biomedical and Health Informatics，2023，27（8）：4110-4119.

［4］Li Yan，Wen Guihua.Research and practice of financial credit risk management based on federated learning［J］.Engineering Letters，2023，31（1）：271-278.

［5］Wang Zhibo，Song Mengkai，Zhang Zhifei，et al.Beyond inferring class representatives：user-level privacy leakage from federated learning［C］//Proc of IEEE Conference on Computer Communications.Pisca-taway，NJ：IEEE Press，2019：2512-2520.

［6］Hayes J，Melis L，Danezis G，et al.LOGAN：membership inference attacks against generative models［J］.Proceedings on Privacy Enhancing Technologies，2019，2019（1）：133-152.

［7］Cai Jianping，Liu Ximeng，Ye Qingqing，et al.A federated learning framework based on differentially private continuous data release［J］.IEEE Trans on Dependable and Secure Computing，2024，21（5）：4879-4894.

［8］Cai Yuxuan，Ding Wenxin，Xiao Yuxuan，et al.SecFed：a secure and efficient federated learning based on multi-key homomorphic encryption［J］.IEEE Trans on Dependable and Secure Computing，2024，21（4）：3817-3833.

［9］Li Yong，Zhou Yipeng，Alireza J，et al.Privacy-preserving federated learning framework based on chained secure multiparty computing［J］.IEEE Internet of Things Journal，2021，8（8）：6178-6186.

［10］Adnan A，Wei L，Antonio R.Robust federated learning under statistical heterogeneity via Hessian spectral decomposition［J］.Pattern Recognition，2023，141：109635.

［11］羅長銀，王君宇，陳學(xué)斌，等.改進(jìn)的聯(lián)邦加權(quán)平均算法［J］.計算機(jī)應(yīng)用，2022，42（4）：1131-1136.（Luo Changyin，Wang Junyu，Chen Xuebin，et al.Improved federated weighted average algorithm［J］.Journal of Computer Application，2022，42（4）：1131-1136.）

［12］Bang J，Woo S，Lee J.DRL-empowered joint batch size and weighted aggregation adjustment mechanism for federated learning on non-IID data［J］.ICT Express，2024，10（4）：863-870.

［13］McMahan B H，Moore E，Ramage D，et al.Federated learning of deep networks using model averaging［EB/OL］.（2016-02-07）.https：//arxiv.org/abs/1602.05629v1.

［14］Sara H，Mohammad A，Marianne W.Differential privacy for increasing learning in distributed environments［C］//Proc of Clinical Orthopaedics and Related Research.2016.

［15］Wei Kang，Li Jun，Ding Ming，et al.Federated learning with differential privacy：algorithms and performance analysis［J］.IEEE Trans on Information Forensics and Security，2020，15：3454-3469.

［16］Xu Zhiying，Shi Shuyu，Liu A X，et al.An adaptive and fast convergent approach to differentially private deep learning［C］//Proc of IEEE International Conference on Computer Communications.Pisca-taway，NJ：IEEE Press，2022.

［17］吳若嵐，陳玉玲，豆慧，等.抗攻擊的聯(lián)邦學(xué)習(xí)隱私保護(hù)算法［J/OL］.計算機(jī)工程.［2024-08-05］.https：//doi.org/10.19678/j.issn.1000-3428.0068705.（Wu Ruolan，Chen Yuling，Dou Hui，et al.Attack resistant federated learning privacy protection algorithm［J/OL］.Computer Engineering.［2024-08-05］.https：//doi.org/10.19678/j.issn.1000-3428.0068705.）

［18］張少波，張激勇，朱更明，等.基于Bregman散度和差分隱私的個性化聯(lián)邦學(xué)習(xí)方法［J/OL］.軟件學(xué)報.［2024-08-05］.https：//doi.org/10.13328/j.cnki.jos.007032.（Zhang Shaobo，Zhang Jingyong，Zhu Gengming，et al.Personalized federated learning method based on Bregman divergence and differential privacy［J/OL］.Journal of Software.［2024-08-05］.https：//doi.org/10.13328/j.cnki.jos.007032.）

［19］Veen K L，Seggers R，Bloem P，et al.Three tools for practical differential privacy［C］//Proc of Privacy Preserving Machine Learning Workshop.2018.

［20］Zheng Qinqing，Chen Shuxiao，Long Qi，et al.Federated f-differential privacy［J］.Proceedings of Machine Learning Research，2021，130：225 1-2259.

［21］Li Yanan，Yang Shusen，Ren Xuebin，et al.Multi-stage asynchronous federated learning with adaptive differential privacy［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2023，46（2）：1243-1256.

［22］Jiao Sanxiu，Cai Lecai，Wang Xinjie，et al.A differential privacy fede-rated learning scheme based on adaptive gaussian noise［J］.Compu-ter Modeling in Engineering amp; Sciences，2023，138（2）：1679-1694.

［23］吳俊儀，李曉會.基于差分隱私的分段裁剪聯(lián)邦學(xué)習(xí)算法［J］.計算機(jī)應(yīng)用研究，2024，41（5）：1532-1537.（Wu Junyi，Li Xiaohui.Segmentation clipping federated learning algorithm based on differential privacy［J］.Application Research of Computers，2024，41（5）：1532-1537.）

［24］徐超，張淑芬，陳海田，等.基于自適應(yīng)差分隱私與客戶選擇優(yōu)化的聯(lián)邦學(xué)習(xí)方法［J/OL］.計算機(jī)應(yīng)用.［2024-08-05］.http：//kns.cnki.net/kcms/detail/51.1307.TP.20240411.1120.002.html.（Xu Chao，Zhang Shufen，Chen Haitian，et al.Federated learning method based on adaptive differential privacy and customer choice optimization［J/OL］.Journal of Computer Application.［2024-08-05］.http：//kns.cnki.net/kcms/detail/51.1307.TP.20240411.1120.002.html.）

［25］Yang Chengyi，Jia Kun，Kong Deli，et al.DP-GSGLD：a Bayesian optimizer inspired by differential privacy defending against privacy leakage in federated learning［J］.Computers amp; Security，2024，142：103839.［26］Abdullah S S A，Bhargavi M S，Pavan C K.Weighted aggregation through probability based ranking：an optimized federated learning architecture to classify respiratory diseases［J］.Computer Methods and Programs in Biomedicine，2023，242：107821-107821.

［27］Bhatti D M S，Nam H.FedCLS：class-aware federated learning in a heterogeneous environment［J］.IEEE Trans on Network and Ser-vice Management，2023，20（2）：1517-1528.

［28］Fu Jie，Chen Zhili，Han Xiao.Adap DP-FL：differentially private fe-derated learning with adaptive noise［C］//Proc of IEEE International Conference on Trust，Security and Privacy in Computing and Communications.Piscataway，NJ：IEEE Press，2022：656-663.

［29］張連福，譚作文.一種基于自適應(yīng)加權(quán)的魯棒聯(lián)邦學(xué)習(xí)算法［J］.計算機(jī)科學(xué)，2023，50（S1）：809-817.（Zhang Lianfu，Tan Zuowen.A robust federated learning algorithm based on adaptive weighting［J］.Computer Science，2023，50（S1）：809-817.）