聯(lián)邦學(xué)習(xí)中的信息安全問題研究綜述

段昕汝，陳桂茸，陳愛網(wǎng)，陳 晨，姬偉峰

空軍工程大學(xué) 信息與導(dǎo)航學(xué)院，西安 710077

隨著云計算、大數(shù)據(jù)、人工智能技術(shù)的快速發(fā)展和智能設(shè)備的普及，大量智能應(yīng)用落地，人類社會邁向智能化時代。當(dāng)前主流的人工智能算法，其主要思路都是將海量數(shù)據(jù)集中起來進行模型訓(xùn)練，這就導(dǎo)致用戶隱私數(shù)據(jù)在傳輸過程中面臨較大的安全風(fēng)險。這也成為制約人工智能應(yīng)用在數(shù)據(jù)敏感型企業(yè)或機構(gòu)落地的最大障礙，導(dǎo)致在很多行業(yè)形成了大量數(shù)據(jù)孤島。如何在數(shù)據(jù)孤島和數(shù)據(jù)共享之間取得平衡，如何在保護用戶隱私的情況下，充分挖掘海量用戶數(shù)據(jù)中潛藏的巨大價值，成為人工智能應(yīng)用面臨的新挑戰(zhàn)。

聯(lián)邦學(xué)習(xí)（federated learning，F(xiàn)L）的出現(xiàn)為解決這一挑戰(zhàn)帶來了新的思路。聯(lián)邦學(xué)習(xí)的概念最早是由Google 公司2017 年提出的，用于分布式語言模型的訓(xùn)練，利用網(wǎng)絡(luò)邊緣的廉價計算能力擴大學(xué)習(xí)規(guī)模，在不需要將用戶數(shù)據(jù)傳輸?shù)椒?wù)器并集中存儲的情況下，通過移動設(shè)備中的大量個人數(shù)據(jù)支持神經(jīng)網(wǎng)絡(luò)訓(xùn)練，既提高了預(yù)測模型的準(zhǔn)確性，保護了用戶的數(shù)據(jù)安全，同時降低了網(wǎng)絡(luò)的通信和計算成本，較好解決了大規(guī)模分布式網(wǎng)絡(luò)中的通信需求和用戶隱私保護的問題[1-3]。近年來，聯(lián)邦學(xué)習(xí)引起企業(yè)界和學(xué)術(shù)界廣泛關(guān)注，相關(guān)研究成果和應(yīng)用案例頻現(xiàn)，許多企業(yè)已成功將聯(lián)邦學(xué)習(xí)技術(shù)應(yīng)用于各種數(shù)據(jù)敏感型領(lǐng)域，包括疾病診斷[4-6]、單詞預(yù)測[7]、入侵檢測[8-10]等，在保護各方數(shù)據(jù)隱私的情況下聯(lián)合群體私有數(shù)據(jù)構(gòu)建全局智能模型[11]，推動相關(guān)產(chǎn)業(yè)之間的有機深度協(xié)作。

然而，在聯(lián)邦學(xué)習(xí)的應(yīng)用推廣的過程中，其對數(shù)據(jù)和模型的保護能力也受到諸多質(zhì)疑。聯(lián)邦學(xué)習(xí)本質(zhì)上是一種分布式機器學(xué)習(xí)，各局部代理需要在本地模型訓(xùn)練結(jié)束后向聚合服務(wù)器上傳本地模型參數(shù)，聚合服務(wù)器根據(jù)各方提交的局部模型參數(shù)經(jīng)過迭代運算生成全局模型并與所有局部代理共享全局模型參數(shù)，而局部和全局模型參數(shù)中可能包含數(shù)據(jù)敏感信息，這就導(dǎo)致聯(lián)邦學(xué)習(xí)算法在模型訓(xùn)練過程中可能面臨間接信息泄露的風(fēng)險。同時，基于通信網(wǎng)絡(luò)的多方參與分布式架構(gòu)也必將導(dǎo)致聯(lián)邦學(xué)習(xí)面臨各種新型網(wǎng)絡(luò)攻擊的威脅。

本文主要研究聯(lián)邦學(xué)習(xí)領(lǐng)域中面臨的信息安全問題及挑戰(zhàn)，以聯(lián)邦學(xué)習(xí)模型訓(xùn)練過程為線索，分析聯(lián)邦學(xué)習(xí)面臨的安全風(fēng)險，剖析不同安全威脅的機理和特點，梳理先進的防御策略，旨在推動聯(lián)邦學(xué)習(xí)應(yīng)用安全落地和推廣。文章的組織如下：首先概述聯(lián)邦學(xué)習(xí)的背景和基礎(chǔ)知識；針對聯(lián)邦學(xué)習(xí)系統(tǒng)中的關(guān)鍵節(jié)點，從模型訓(xùn)練的全過程開展研究，分析總結(jié)系統(tǒng)中面臨的各類安全威脅，剖析各種安全威脅背后的機理和特點，并按照威脅度對各種安全威脅進行分類；然后歸納總結(jié)可能對聯(lián)邦學(xué)習(xí)系統(tǒng)安全性造成破壞的各種攻擊方法，分析不同攻擊方法的原理和特點；接著全面梳理近五年能有效提升聯(lián)邦學(xué)習(xí)系統(tǒng)安全性的研究成果，并對多種典型的安全策略進行分析對比；最后，總結(jié)全文并對未來聯(lián)邦學(xué)習(xí)面臨的主要挑戰(zhàn)和發(fā)展方向進行展望。

1 聯(lián)邦學(xué)習(xí)相關(guān)理論

1.1 聯(lián)邦學(xué)習(xí)分類

當(dāng)前，聯(lián)邦學(xué)習(xí)已經(jīng)成為大規(guī)模深度神經(jīng)網(wǎng)絡(luò)分布式學(xué)習(xí)最受矚目的方法之一，通過聯(lián)合多個局部代理協(xié)同構(gòu)建聯(lián)邦系統(tǒng)以進行共享模型的訓(xùn)練，并制定一個分布在多個局部代理之間的神經(jīng)網(wǎng)絡(luò)模型多輪訓(xùn)練策略實現(xiàn)共享模型訓(xùn)練[12]。在聯(lián)邦系統(tǒng)中的局部代理可以對應(yīng)具體的邊緣服務(wù)器或移動終端設(shè)備，本文不做具體區(qū)分。根據(jù)不同局部代理樣本分布和系統(tǒng)架構(gòu)的差異性可對聯(lián)邦學(xué)習(xí)進行以下分類：

其一，根據(jù)局部代理之間數(shù)據(jù)分布的差異可以把聯(lián)邦學(xué)習(xí)分為橫向聯(lián)邦學(xué)習(xí)、縱向聯(lián)邦學(xué)習(xí)和聯(lián)邦遷移學(xué)習(xí)[13]，如圖1 所示。橫向聯(lián)邦學(xué)習(xí)中不同局部代理之間擁有統(tǒng)一特征的不同樣本；縱向聯(lián)邦學(xué)習(xí)中不同局部代理間擁有同一樣本的不同特征；而聯(lián)邦遷移學(xué)習(xí)則對應(yīng)兩個數(shù)據(jù)集樣本和特征都重疊較小的情況。

圖1 根據(jù)局部代理間數(shù)據(jù)分布差異進行分類Fig.1 Classification based on difference of data distribution between local agents

其二，根據(jù)系統(tǒng)架構(gòu)的差異性可以分為集中式架構(gòu)和P2P架構(gòu)，如圖2所示。在集中式架構(gòu)中，利用中央服務(wù)器來進行多方調(diào)停并聚合全局模型，局部代理間通常不進行直接交互；而P2P 架構(gòu)的特點則在于去中心化，由局部代理直接進行信息交互和模型聚合，這種結(jié)構(gòu)避免了惡意服務(wù)器可能帶來的系統(tǒng)性危害，但其網(wǎng)絡(luò)結(jié)構(gòu)和計算量也相對復(fù)雜。

圖2 根據(jù)系統(tǒng)架構(gòu)進行分類Fig.2 Classification according to system architecture

區(qū)別于傳統(tǒng)的機器學(xué)習(xí)方法，聯(lián)邦學(xué)習(xí)的實際優(yōu)勢主要體現(xiàn)在兩個方面：一方面，在訓(xùn)練中始終將局部代理的私有數(shù)據(jù)保存在本地存儲器，不對原始數(shù)據(jù)進行直接遷移，限制了暴露的信息量，保證數(shù)據(jù)的安全性，滿足了公眾和法律對于數(shù)據(jù)安全的要求；另一方面，可以有效利用分散的私有數(shù)據(jù)和局部代理空閑的計算資源，降低計算和通信成本。

1.2 聯(lián)邦優(yōu)化算法

聯(lián)邦學(xué)習(xí)的核心是其中隱式的優(yōu)化問題，涉及數(shù)據(jù)的分布異構(gòu)、體量不均、動態(tài)變化，以及實際應(yīng)用中通信帶寬的限制等因素，優(yōu)化算法的科學(xué)性、有效性和穩(wěn)定性直接影響共享模型的性能。目前，基于隨機梯度下降（stochastic gradient descent，SGD）算法的優(yōu)化已經(jīng)在大量深度學(xué)習(xí)案例中取得成功，同樣該算法也可以簡單地應(yīng)用于聯(lián)邦優(yōu)化問題。

在FedSGD[1]中，通過增加局部代理工作的并行性，將模型訓(xùn)練的復(fù)雜計算置于本地數(shù)據(jù)端，解決了集中式學(xué)習(xí)中的大規(guī)模通信問題。由每個局部代理在本地數(shù)據(jù)上計算當(dāng)前模型的平均梯度，并發(fā)送至中央服務(wù)器進行全局模型聚合。在此基礎(chǔ)上，F(xiàn)edAvg[1]算法進一步優(yōu)化了局部代理之間的數(shù)據(jù)不平衡和通信約束等問題，通過最小化全局目標(biāo)函數(shù)優(yōu)化參數(shù)化模型ω，具體如公式（1）所示：

其中，F(xiàn)k(ω) 為第k個局部代理的損失函數(shù)，nk和n為本地樣本數(shù)和總樣本數(shù)。

聯(lián)邦學(xué)習(xí)早期算法理論相對易于理解，但在實際應(yīng)用環(huán)境中缺乏理論保證，對于不同的樣本集需要針對不同的環(huán)境設(shè)置和應(yīng)用場景開展大量實驗驗證，Li等人[14]在非獨立同分布數(shù)據(jù)上分析了FedAvg 的收斂性，研究了抽樣和平均方案對算法收斂性的影響，為算法提供了理論保證。

此后，針對不同的環(huán)境設(shè)置，研究人員在FedAvg的基礎(chǔ)上對算法性能進行不斷優(yōu)化。針對聯(lián)邦優(yōu)化中的數(shù)據(jù)異構(gòu)和漂移現(xiàn)象，SCAFFOLD[15]算法利用控制變量弱化了不同局部代理之間的漂移現(xiàn)象（如公式（2）），同時利用數(shù)據(jù)間的相似性減小通信輪數(shù)，獲得更好的收斂性能。

其中，ck為局部控制變量，c為服務(wù)器控制變量，且c=。

針對系統(tǒng)異質(zhì)性和數(shù)據(jù)統(tǒng)計異質(zhì)性，Li 等人[16]對FedAvg 算法加以泛化和重參數(shù)化，在目標(biāo)函數(shù)上增加近端項以提高算法的穩(wěn)定性。允許局部代理執(zhí)行可變量工作，并在局部子問題上添加一個近端項來實現(xiàn)對更新的有效限制（如公式（3））。

對于不同局部代理之間的統(tǒng)計多樣性，pFedMe[17]算法使用莫羅包絡(luò)作為客戶的正則化損失函數(shù)（如公式（4）），將個性化模型優(yōu)化與全局模型學(xué)習(xí)解耦，允許局部代理以不同的方向來擬合模型。

此外，聯(lián)邦優(yōu)化還要考慮實際生產(chǎn)環(huán)境中的可行性。文獻[18-19]概述了Google的聯(lián)邦學(xué)習(xí)可擴展生產(chǎn)系統(tǒng)的設(shè)計，研究人員基于安全聚合策略訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，并在云中構(gòu)建全局模型。針對復(fù)雜的數(shù)據(jù)分布、設(shè)備可用性、通信中斷、跨設(shè)備協(xié)調(diào)等問題制定通信協(xié)議，并設(shè)計了一個相對成熟的、可以在生產(chǎn)中部署的系統(tǒng)。圖3對聯(lián)邦通信協(xié)議進行描述，該協(xié)議能夠應(yīng)對信息交互中的網(wǎng)絡(luò)或設(shè)備異常。

圖3 聯(lián)邦學(xué)習(xí)通信協(xié)議Fig.3 Federated learning communication protocols

1.3 發(fā)展現(xiàn)狀及分析

聯(lián)邦學(xué)習(xí)的出現(xiàn)為解決數(shù)據(jù)中心化問題提供了新思路，通過構(gòu)建聯(lián)邦系統(tǒng)整合廣泛分布的數(shù)據(jù)資源，有效利用多源數(shù)據(jù)訓(xùn)練模型，在不交互數(shù)據(jù)的情況下實現(xiàn)信息流通、數(shù)據(jù)融合和價值挖掘，充分利用分散的私有數(shù)據(jù)，限制暴露信息量，從而打破基于安全性和商業(yè)性等考慮而形成的信息壁壘，為有效地解決智能化進程中的小樣本和數(shù)據(jù)安全等關(guān)鍵問題提供了思路。該技術(shù)一經(jīng)提出便被人工智能與數(shù)據(jù)安全領(lǐng)域所重視并在各界引起廣泛關(guān)注。2022年，聯(lián)邦學(xué)習(xí)相關(guān)論文數(shù)量出現(xiàn)大幅躍升，頻繁出現(xiàn)在頂會上，與此同時，應(yīng)用研究不斷推進，眾多產(chǎn)品邁向大規(guī)模商用落地，擁有聯(lián)邦學(xué)習(xí)平臺和產(chǎn)品的企業(yè)已經(jīng)超過60多家。

雖然聯(lián)邦學(xué)習(xí)技術(shù)研究已經(jīng)取得相當(dāng)規(guī)模的成果，但在其動態(tài)發(fā)展過程中，仍需要持續(xù)關(guān)注算法對數(shù)據(jù)的保護能力以及對于模型訓(xùn)練效率的影響。2022年，楊強教授團隊再次提出了可信聯(lián)邦學(xué)習(xí)，在聯(lián)邦學(xué)習(xí)分布式聯(lián)合建模的基礎(chǔ)上，加入安全可信機制，通過增大攻擊方成本，側(cè)面保障模型安全，同時保證整個模型的高效可用[20]。事實上，在聯(lián)邦學(xué)習(xí)的發(fā)展的過程中始終伴隨著安全性和效率的取舍，借助密碼學(xué)方法保護系統(tǒng)安全會帶來額外計算和通信載荷，因此，在具體的應(yīng)用場景中需要考慮對抗環(huán)境下的安全問題，根據(jù)實際需求選擇最佳的數(shù)據(jù)安全與效率折中，實現(xiàn)安全和效率的合理平衡。

2 聯(lián)邦系統(tǒng)威脅分析

聯(lián)邦學(xué)習(xí)通過限制數(shù)據(jù)共享來保護私有數(shù)據(jù)安全，但在模型訓(xùn)練的全過程中依然面臨著諸多內(nèi)源或外在的安全威脅。由于聯(lián)邦系統(tǒng)中局部代理參與聯(lián)合模型訓(xùn)練的動機難以量化評估，中央服務(wù)器的可信度、安全性難以驗證，使得模型在實際訓(xùn)練中可能受到節(jié)點異常行為的影響，該異常由不可靠的計算設(shè)備、外部攻擊、通信堵塞或本地訓(xùn)練數(shù)據(jù)集中存在的缺陷造成，此外，在交互的過程中也可能會由參數(shù)或模型間接導(dǎo)致關(guān)鍵信息泄露[21-22]。

本章從聯(lián)邦模型訓(xùn)練的全周期著手，包括全局模型參數(shù)分發(fā)、本地數(shù)據(jù)收集與預(yù)處理、局部模型訓(xùn)練、參數(shù)回傳、模型聚合和模型部署，分析這一過程中可能存的在來自系統(tǒng)內(nèi)或外部惡意攻擊者帶來的數(shù)據(jù)安全威脅，及存在于不同位置的攻擊者會對模型的安全性、可用性造成的破壞。

2.1 系統(tǒng)內(nèi)部威脅分析

聯(lián)邦學(xué)習(xí)是一種多方參與的模型訓(xùn)練方式，需要多方參與共同構(gòu)建聯(lián)合模型，通過在計算設(shè)備中部署聯(lián)邦通信協(xié)議，實現(xiàn)資源的調(diào)度。本節(jié)將來自協(xié)議部署中關(guān)鍵節(jié)點的威脅統(tǒng)稱為內(nèi)部威脅，包括參與協(xié)議的多方局部代理和集中式架構(gòu)中聚合服務(wù)器。系統(tǒng)內(nèi)部威脅分析主要針對關(guān)鍵節(jié)點分析，意圖為聯(lián)邦通信協(xié)議的優(yōu)化和擴展提供支撐，以提高系統(tǒng)的安全性和效率，從而更好地應(yīng)用于實際場景中。

2.1.1 不可信局部代理

在進行聯(lián)邦系統(tǒng)內(nèi)部的安全性分析時，首先要考慮來自多源局部代理的風(fēng)險，不論是針對集中式架構(gòu)或是P2P架構(gòu)，局部代理都是聯(lián)邦系統(tǒng)的關(guān)鍵節(jié)點。構(gòu)建聯(lián)邦系統(tǒng)首先要在多源局部代理進行部署，并基于各代理的本地數(shù)據(jù)進行局部模型的訓(xùn)練和傳參的處理。由于各代理之間參與訓(xùn)練的意圖難以驗證，一旦存在惡意的或誠實且好奇的局部代理利用自身權(quán)限操控模型訓(xùn)練，可能對全局模型及數(shù)據(jù)安全造成破壞性打擊（如圖4）。來自架構(gòu)內(nèi)的惡意局部代理可能通過操控私有數(shù)據(jù)對聯(lián)邦系統(tǒng)造成破壞，如對數(shù)據(jù)進行篡改影響聚合模型的收斂性，破壞模型的可用性；或?qū)δＰ瓦M行靶向攻擊，在模型中植入后門使得用戶給出特定輸入后就會觸發(fā)后門給出錯誤分類。研究表明由于局部代理在整個訓(xùn)練過程中可以自由地加入和退出，這就導(dǎo)致系統(tǒng)中可能出現(xiàn)不可靠因素，威脅全局模型安全[23]。因此，在進行相應(yīng)的框架設(shè)計和方法部署時，要充分考慮到這一隱患并做出相應(yīng)預(yù)案。

圖4 不可信局部代理Fig.4 Untrusted local agent

2.1.2 惡意聚合服務(wù)器

針對集中式聯(lián)邦學(xué)習(xí)架構(gòu)，需要有專用的聚合服務(wù)器對來自局部代理的模型參數(shù)進行聚合，惡意服務(wù)器可以很容易地檢查來自客戶端的更新，并改變?nèi)帜Ｐ蛠順?gòu)建惡意任務(wù)或篡改模型（如圖5）。

圖5 惡意聚合服務(wù)器Fig.5 Malicious aggregation server

當(dāng)聚合服務(wù)器不可信時，可以通過獲取局部代理更新進行推理攻擊，進而重構(gòu)局部代理的私有數(shù)據(jù)，獲取代理訓(xùn)練數(shù)據(jù)中的重要信息，或是在聚合時隔離部分局部代理訓(xùn)練的共享模型操控模型收斂方向，損害全局模型性能[24]?？紤]到惡意聚合服務(wù)器對系統(tǒng)造成的危害性，在系統(tǒng)設(shè)計之初就需要對其權(quán)限做出一定程度的限制，同時設(shè)置相應(yīng)防御機制保護服務(wù)器自身的安全性，防范外部攻擊。

2.2 系統(tǒng)外部威脅分析

針對聯(lián)邦系統(tǒng)外部威脅分析，主要考慮可能存在敵手通過控制系統(tǒng)內(nèi)的少數(shù)設(shè)備對聯(lián)邦系統(tǒng)造成破壞，通過對服務(wù)器或局部代理發(fā)起攻擊獲取系統(tǒng)權(quán)限，進而獲取部分模型及更新信息以推斷原始數(shù)據(jù)信息[25]，使原始數(shù)據(jù)存在被反向推演破解的風(fēng)險；或利用網(wǎng)絡(luò)中不安全通信訪問設(shè)備正在發(fā)送和接收的數(shù)據(jù)進而發(fā)起攻擊，通過竊聽手段來竊取計算機或其他智能設(shè)備在網(wǎng)絡(luò)中的傳輸信息，對數(shù)據(jù)的安全性造成嚴(yán)重威脅（如圖6）。

圖6 外部敵手Fig.6 Outsider adversary

研究表明，在聯(lián)邦學(xué)習(xí)模型訓(xùn)練及更新的過程中，可能會泄露有關(guān)局部代理本地訓(xùn)練樣本的信息[26-29]，當(dāng)多個代理節(jié)點基于模型梯度進行交互時，可能從梯度還原出敏感的私人信息。惡意攻擊者還可以基于客戶端上傳梯度信息發(fā)起推理，間接從中確定出原始數(shù)據(jù)集的標(biāo)簽屬性和成員信息。Carlini 等人[30]通過從遞歸神經(jīng)網(wǎng)絡(luò)（recursive neural network，RNN）中提取用戶敏感數(shù)據(jù)，證明攻擊者可能由梯度信息間接確定原始樣本和標(biāo)簽信息，破壞數(shù)據(jù)的隱私性。Geiping 等人[31]利用余弦相似度和梯度反演的方法恢復(fù)出了原始圖像數(shù)據(jù)。

綜上，防范系統(tǒng)外部風(fēng)險主要可以從以下兩個角度加以設(shè)計：其一，對服務(wù)器或局部代理設(shè)置相應(yīng)防護機制（如域內(nèi)可信環(huán)境）進行局部模型計算；其二，應(yīng)對通信中造成的風(fēng)險或故障，防范敵手竊取信息或通信故障。

2.3 小結(jié)

聯(lián)邦系統(tǒng)是由多個相互獨立的子系統(tǒng)組成的分布式網(wǎng)絡(luò)系統(tǒng)，每個子系統(tǒng)都獨立運行，相互協(xié)作共同訓(xùn)練共享模型。這一特殊架構(gòu)使得聯(lián)邦系統(tǒng)面臨著各種各樣的威脅和風(fēng)險。因此，進行威脅分析對于聯(lián)邦系統(tǒng)的安全至關(guān)重要。

本章對聯(lián)邦系統(tǒng)內(nèi)的關(guān)鍵節(jié)點以及外部敵手可能造成的威脅進行分析，旨在更好地了解和評估實際應(yīng)用中面臨的風(fēng)險，優(yōu)化聯(lián)邦學(xué)習(xí)框架和通信協(xié)議，識別敏感信息和節(jié)點，采取適當(dāng)?shù)?、安全措施來保護其機密信息和基礎(chǔ)設(shè)施，減少安全漏洞和數(shù)據(jù)泄露的風(fēng)險。針對可能對聯(lián)邦學(xué)習(xí)系統(tǒng)安全性造成破壞的各種攻擊方法，本文將在下一章中進一步闡述。

3 針對聯(lián)邦學(xué)習(xí)的攻擊方法

聯(lián)邦學(xué)習(xí)能夠有效地將多方數(shù)據(jù)進行整合，解決了由于數(shù)據(jù)分散和安全考量導(dǎo)致的數(shù)據(jù)孤島問題。然而，分布式訓(xùn)練、局部數(shù)據(jù)不可見和基于通信的參數(shù)交互也給系統(tǒng)帶來了諸多安全隱患。要想將聯(lián)邦學(xué)習(xí)方法推廣到諸多對于數(shù)據(jù)安全性要求較高的關(guān)鍵性領(lǐng)域，首先需要關(guān)注系統(tǒng)的脆弱性。在沒有額外保護機制的情況下，惡意客戶端、服務(wù)器和外部敵手都有可能對聯(lián)邦學(xué)習(xí)系統(tǒng)的安全造成破壞。在傳統(tǒng)的機器學(xué)習(xí)和信息安全領(lǐng)域，投毒攻擊、拜占庭攻擊和推理攻擊就是被廣泛研究和討論的問題，在聯(lián)邦學(xué)習(xí)中此類方法同樣被證明是有效的。因此在聯(lián)邦學(xué)習(xí)的研究和實踐中，防止此類攻擊也成為了一個非常重要的問題。為加強聯(lián)邦學(xué)習(xí)系統(tǒng)的安全性和可靠性，本章分析綜述了聯(lián)邦學(xué)習(xí)中各類攻擊方法的具體研究進展，表1中對比了不同的攻擊方法的特點及攻擊能力，分析該方法對聯(lián)邦模型可用性以及系統(tǒng)內(nèi)其他正常節(jié)點原始數(shù)據(jù)安全的威脅，并在后續(xù)內(nèi)容中對表中涉及的方法進一步分析論述。

表1 聯(lián)邦學(xué)習(xí)中的攻擊方法對比Table 1 Comparison of attack methods in federated learning

3.1 投毒攻擊

在傳統(tǒng)機器學(xué)習(xí)場景中，投毒攻擊已經(jīng)成為了一種比較成熟的攻擊手段，攻擊者可以通過篡改數(shù)據(jù)、模型或者特征等方式影響模型的訓(xùn)練和預(yù)測結(jié)果[32-34]。繼聯(lián)邦學(xué)習(xí)方法提出后，投毒攻擊也引起了廣泛的研究，針對聯(lián)邦系統(tǒng)的攻擊方案被陸續(xù)提出[33-42]，形式上可分為數(shù)據(jù)投毒、模型投毒以及后門攻擊，本節(jié)基于以上分類對相應(yīng)攻擊方法展開研究。

3.1.1 數(shù)據(jù)投毒攻擊

數(shù)據(jù)投毒攻擊利用了聯(lián)邦學(xué)習(xí)系統(tǒng)中局部代理數(shù)據(jù)的匿名性特點，通過污染用于局部模型訓(xùn)練的本地樣本，使學(xué)習(xí)到的模型對具有某些特征測試集的分析結(jié)果出現(xiàn)偏移，或做出完全錯誤的判斷。

在聯(lián)邦學(xué)習(xí)設(shè)定中，由于其他用戶無法直接訪問局部模型的原始訓(xùn)練數(shù)據(jù)，使得系統(tǒng)無法直接對局部代理的數(shù)據(jù)質(zhì)量進行判定，一旦存在惡意節(jié)點對所持有的數(shù)據(jù)進行篡改或注入有毒樣本，就會間接對全局樣本數(shù)據(jù)的可靠性與完整性造成破壞，降低局部模型性能，進而間接地影響目標(biāo)節(jié)點模型精度[35]。如圖7 所示，惡意節(jié)點通過向訓(xùn)練集之中加入異常數(shù)據(jù)干擾局部模型訓(xùn)練，服務(wù)器將來自惡意節(jié)點的更新用于聚合全局模型，影響了其他正常節(jié)點局部模型的訓(xùn)練。

圖7 數(shù)據(jù)投毒攻擊Fig.7 Data poisoning attack

Tolpegin等人[36]研究發(fā)現(xiàn)，在復(fù)雜深度神經(jīng)網(wǎng)絡(luò)中，非專家惡意局部代理僅通過操縱本地設(shè)備數(shù)據(jù)就可以實現(xiàn)數(shù)據(jù)投毒，使局部模型和全局模型的分類準(zhǔn)確性和召回率的大幅下降。同時研究發(fā)現(xiàn)，此類攻擊可以實現(xiàn)有針對性攻擊，攻擊者有針對性地加入異常數(shù)據(jù)，使機器學(xué)習(xí)模型僅對目標(biāo)類產(chǎn)生誤判或錯誤的輸出結(jié)果。此外，Doku 等人[37]研究了聯(lián)邦邊緣計算中數(shù)據(jù)投毒攻擊的危害性，利用不同節(jié)點之間的通信協(xié)議對一個聯(lián)邦多任務(wù)學(xué)習(xí)框架發(fā)起數(shù)據(jù)投毒攻擊。結(jié)果表明，聯(lián)邦學(xué)習(xí)中的通信協(xié)議可以實現(xiàn)有效的攻擊，特別是在兩個節(jié)點具有較強的相關(guān)性時，向訓(xùn)練數(shù)據(jù)集引入少量的異常樣本就會在深度學(xué)習(xí)中產(chǎn)生較高的錯誤分類效果。

3.1.2 模型投毒攻擊

模型投毒攻擊是指通過對局部模型進行毒害處理，使學(xué)習(xí)到的模型滿足某些對抗性目標(biāo)，進而破壞全局模型，例如局部代理通過改變局部模型的參數(shù)來發(fā)動攻擊（如圖8所示）從而實現(xiàn)比數(shù)據(jù)投毒更強的攻擊效果。

圖8 模型投毒攻擊Fig.8 Model poisoning attack

研究表明[38-39]，在聯(lián)邦學(xué)習(xí)框架中邊緣設(shè)備可以通過操縱局部模型參數(shù)更新波動實施模型投毒攻擊，進而達到污染全局模型的目的。如在分類器訓(xùn)練任務(wù)中，使全局模型在滿足對抗性目標(biāo)的輔助數(shù)據(jù)集中產(chǎn)生錯誤分類。惡意代理通過訪問訓(xùn)練數(shù)據(jù)Dk以及與訓(xùn)練和測試數(shù)據(jù)相同分布的輔助數(shù)據(jù)Daux，使學(xué)習(xí)到的分類器對輔助數(shù)據(jù)的標(biāo)簽錯誤分類為期望的目標(biāo)類，其目標(biāo)函數(shù)如公式（5）所示，其中為輔助數(shù)據(jù)中的樣本，為對應(yīng)標(biāo)簽。

利用聯(lián)邦學(xué)習(xí)局部更新不透明的設(shè)定，僅需控制少量的惡意代理就可能導(dǎo)致全局模型對一組具有對抗性目標(biāo)的輸入進行錯誤分類，此外文獻[38]中還使用了交替最小化策略優(yōu)化隱身和對抗目標(biāo)，實現(xiàn)有效的、隱蔽的模型中毒攻擊。

3.1.3 后門攻擊

后門攻擊相較于普通的投毒攻擊，攻擊方式更為隱蔽，攻擊目的更具有針對性，能夠保持模型在主任務(wù)上的良好性能，同時降低模型在目標(biāo)任務(wù)上的性能。后門攻擊可以由一個或多個敵手發(fā)起，通過向目標(biāo)模型中注入后門模式，在保留全局模型準(zhǔn)確性的同時錯誤地標(biāo)記某些任務(wù)，使模型一旦遇到此類輸入就會觸發(fā)后門從而錯誤地歸類為目標(biāo)標(biāo)簽，輸出攻擊者預(yù)先設(shè)定好的目標(biāo)結(jié)果。

在聯(lián)邦學(xué)習(xí)場景中，攻擊者很難通過完全控制訓(xùn)練過程進行后門攻擊。假設(shè)在t輪中只存在一個敵手，攻擊者通過后門模型ω*替換局部模型用于聚合全局模型[40]，如公式（6）所示：

通過操縱本地模型使訓(xùn)練后的模型同時適合主任務(wù)和后門任務(wù)，全局模型在未受篡改的數(shù)據(jù)樣本表現(xiàn)正常，同時后門樣本具有較高的攻擊成功率，其目標(biāo)函數(shù)如下：

局部代理通過模型替換方法進行了后門攻擊，使用后門數(shù)據(jù)訓(xùn)練本地模型，并在將惡意更新發(fā)送到服務(wù)器之前擴展惡意更新，如圖9所示[41]。

圖9 后門攻擊Fig.9 Backdoor attack

此外，Xie 等人[42]充分利用聯(lián)邦學(xué)習(xí)的分布式特性開發(fā)，研究了分布式后門攻擊（distributed backdoor attack，DBA）威脅評估框架，將全局觸發(fā)模式分解為獨立的局部觸發(fā)模式嵌入后門數(shù)據(jù)集中，并在金融和圖像數(shù)據(jù)等不同的數(shù)據(jù)集證明DBA的攻擊成功率明顯高于集中式后門。Wang等人[43]研究了聯(lián)邦學(xué)習(xí)中邊緣樣本的后門攻擊，利用輸入數(shù)據(jù)分布的尾部數(shù)據(jù)設(shè)置子任務(wù)，并通過實驗證明攻擊的有效性和持久性。

3.2 拜占庭攻擊

拜占庭攻擊在傳統(tǒng)的計算機網(wǎng)絡(luò)中就是一個相當(dāng)棘手的威脅，當(dāng)各組件協(xié)同完成任務(wù)時，任意一方的故障都可能對任務(wù)造成破壞[44-45]。在聯(lián)邦學(xué)習(xí)系統(tǒng)中這一問題更為突出，任意惡意代理的存在都可能對全局模型的收斂性造成破壞，損害全局模型的性能[46]。

拜占庭攻擊相較于普通的投毒攻擊，具有較強的社會工程性和策略性。攻擊者可以偽裝成正常節(jié)點，對其他節(jié)點進行欺騙，從而達到攻擊的目的，需要攻擊者制定相應(yīng)的策略與其他節(jié)點之間進行博弈和交互，以便更好地達到攻擊的目的。根據(jù)攻擊中惡意客戶端的目標(biāo)，可以將攻擊分為兩類。

（1）基于訓(xùn)練數(shù)據(jù)的攻擊：這種攻擊通過任意操縱局部訓(xùn)練數(shù)據(jù)來誤導(dǎo)全局模型以達到攻擊目的。一般來說，主要有三種方法：標(biāo)簽翻轉(zhuǎn)、添加噪聲、后門觸發(fā)器。

（2）基于參數(shù)的攻擊：通過修改從局部數(shù)據(jù)集學(xué)習(xí)到的參數(shù)的方向和大小，或直接修改參數(shù)使中央服務(wù)器聚合成一個錯誤的全局模型。

針對聯(lián)邦系統(tǒng)中的拜占庭攻擊問題，Ghosh 等人[47]研究了對具有異構(gòu)數(shù)據(jù)分布的聯(lián)邦學(xué)習(xí)系統(tǒng)進行拜占庭攻擊。Shi 等人[48]提出了一種新的拜占庭攻擊，即重量攻擊，通過利用現(xiàn)有的權(quán)重分配策略中的缺陷，謊報其數(shù)據(jù)集的大小獲得較高的權(quán)重，達到高攻擊成功率，并通過實驗證明其威脅。

3.3 推理攻擊

現(xiàn)有的聯(lián)邦學(xué)習(xí)機制大多通過聚合局部模型梯度進行聯(lián)合訓(xùn)練以保障本地數(shù)據(jù)安全，然而任何有用的機器學(xué)習(xí)模型都會隱含大量關(guān)于訓(xùn)練數(shù)據(jù)的特征信息，如梯度、模型結(jié)構(gòu)、訓(xùn)練時間及參與訓(xùn)練的代理成員等，為推理攻擊提供了信息基礎(chǔ)。已有研究證明[49-59]，代理之間共享更新可能間接導(dǎo)致敏感信息泄漏。

3.3.1 梯度反演攻擊

梯度反演攻擊是對聯(lián)邦學(xué)習(xí)的安全和隱私保護的一個重要威脅，在傳統(tǒng)的聯(lián)邦學(xué)習(xí)機制中，通常采用模型梯度代替數(shù)據(jù)進行交互實現(xiàn)共享模型的訓(xùn)練，若外部敵手或惡意局部代理通過更新梯度進行反演恢復(fù)客戶端的私有數(shù)據(jù)，就會給私有數(shù)據(jù)安全帶來極大的損害。Lam 等人[50]就通過將梯度分解問題表示為一個約束二元矩陣分解問題，證明了反演攻擊可以精確地恢復(fù)多達數(shù)千個局部代理的代理矩陣并分解出每個用戶的更新（如圖10）。即使是在有明顯噪聲干擾的情況下，梯度分解也能從分解的更新中恢復(fù)出用戶的隱私數(shù)據(jù)。

圖10 梯度分解攻擊Fig.10 Gradient decomposition attack

此外，不可信的中央服務(wù)器也可以利用局部代理的多輪更新執(zhí)行用戶分解，結(jié)合用于監(jiān)控、調(diào)試和管理聯(lián)邦學(xué)習(xí)系統(tǒng)的設(shè)備分析信息，使服務(wù)器能夠從聚合的更新中重建局部代理更新，恢復(fù)個體代理私有訓(xùn)練數(shù)據(jù)的特征信息。在現(xiàn)有的研究中，Yin 等人[51]就通過非學(xué)習(xí)的圖像恢復(fù)方法反演深度神經(jīng)網(wǎng)絡(luò)的平均梯度，恢復(fù)了局部輸入數(shù)據(jù)的高保真圖像，對224×224像素分辨率的單個圖像實現(xiàn)高保真度和視覺細節(jié)的完全恢復(fù)。

Jin 等人[52]分析了縱向聯(lián)邦學(xué)習(xí)中的災(zāi)難性數(shù)據(jù)泄露，對數(shù)據(jù)的恢復(fù)性能進行了理論分析，并開發(fā)了一種新的攻擊方式——CAFE?；谝粋€誠實且好奇的服務(wù)器通過具體步驟：（1）恢復(fù)第一個全連接層的相對于輸出的梯度損失；（2）恢復(fù)第一個全連接層的輸入；（3）恢復(fù)原始數(shù)據(jù)，在一般的縱向聯(lián)邦學(xué)習(xí)協(xié)議中大規(guī)?；謴?fù)數(shù)據(jù)，實現(xiàn)大批量數(shù)據(jù)泄漏。Lebrun等人[53]利用了SGD算法的隱私漏洞設(shè)計了一種基于相似性屬性推理攻擊算法?Sim，根據(jù)參與者返回的梯度向量和代表每一類敏感屬性的學(xué)習(xí)模型來推斷屬性。Lyu等人[54]利用每輪迭代平均梯度通過cos 匹配，即利用余弦相似度度量來自局部代理的真實更新和虛擬更新之間的角距離，對局部代理每次共享的平均梯度發(fā)起屬性重構(gòu)攻擊。

3.3.2 成員推理攻擊

成員推理攻擊旨在識別一個特定的數(shù)據(jù)記錄是否屬于某個局部模型的訓(xùn)練數(shù)據(jù)集，具體定義通過以下函數(shù)表示：

其中，dtar=(x,y) 和M分別代表敵手的目標(biāo)記錄和目標(biāo)模型，K表示攻擊者所擁有的先驗知識，當(dāng)dtar不屬于M的訓(xùn)練數(shù)據(jù)集時判決為0，否則為1。

在聯(lián)邦學(xué)習(xí)方法中，成員推理攻擊可以分為黑盒攻擊和白盒攻擊。在黑盒設(shè)置中敵手只能向目標(biāo)模型M提交一條記錄并獲得模型輸出，即K=M(x)，利用模型預(yù)測對訓(xùn)練數(shù)據(jù)可區(qū)分的特性進行推理；而在白盒設(shè)置中敵手可以獲取模型M的完整結(jié)構(gòu)和參數(shù)，使用訓(xùn)練和測試數(shù)據(jù)之間的梯度差異，獲取了模型參數(shù)與時間變化的依賴關(guān)系以實現(xiàn)成員推理。

在具體的應(yīng)用實例中，首先需要確定目標(biāo)數(shù)據(jù)是否屬于目標(biāo)模型對應(yīng)的代理成員，再進一步進行攻擊來確定來自哪個局部代理，從而破壞參與訓(xùn)練的代理成員數(shù)據(jù)隱私。Hu 等人[55]在源推理攻擊（source inference attack，SIA）中，通過使用局部模型的預(yù)測損失來最優(yōu)地估計訓(xùn)練成員的來源，采用非侵入性手段有效獲取訓(xùn)練成員的源信息，以貝葉斯視角證明了一個惡意服務(wù)器可以在不違反聯(lián)邦學(xué)習(xí)協(xié)議的情況下實現(xiàn)有效的成員推理攻擊（如公式（9）），同時證明了SIA 的成功與局部模型的通用性和局部數(shù)據(jù)的多樣性直接相關(guān)。

式中，利用局部優(yōu)化模型θk和訓(xùn)練記錄z1源推理，旨在推斷z1屬于客戶端k的后驗概率。

Gu等人[56]利用了聯(lián)邦學(xué)習(xí)中訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)之間不同的預(yù)測置信度趨勢，設(shè)計了一種基于置信度序列的成員推理攻擊，并對聯(lián)邦系統(tǒng)中的不同角色設(shè)計了不同的推理方法。Vo等人[57]基于梯度反演技術(shù)和GAN提出了一種新的成員推理攻擊——批處理反演GAN（BI-GAN），利用梯度從局部更新中恢復(fù)用戶級的批處理圖像，結(jié)合批處理圖像梯度反演和自定義輔助分類器GAN的優(yōu)點重建和生成特定目標(biāo)的私有數(shù)據(jù)。

3.3.3 特征推理攻擊

特征推理攻擊的目的是由獲取到的已知信息推理出樣本數(shù)據(jù)的特征，如基于訓(xùn)練好的模型輸出結(jié)果推測出樣本的特征分布，一定程度上破壞了原始數(shù)據(jù)信息的安全性。

執(zhí)行特征推理攻擊通常需要基于一個與局部代理私有數(shù)據(jù)同分布輔助數(shù)據(jù)集，利用同一神經(jīng)網(wǎng)絡(luò)對相似分布數(shù)據(jù)集具有相似梯度這一特點，推斷出訓(xùn)練子集的真實屬性，具體定義如下：

其中，tar為推斷出的特征值，A 為由敵手執(zhí)行的攻擊算法，xadv為敵手樣本集特征值。為證明該方法在聯(lián)邦設(shè)置中的有效性，Luo 等人[58]基于多種特征推理攻擊展開研究，提出兩種分別用于邏輯回歸和決策樹模型的基于個體預(yù)測輸出的攻擊：等式求解和路徑限制。針對神經(jīng)網(wǎng)絡(luò)模型非線性變換的不規(guī)則性，設(shè)計了一種基于多種模型預(yù)測的通用特征推理攻擊——生成回歸網(wǎng)絡(luò)（generative regression network，GRN），其目標(biāo)函數(shù)如下：

其中，θ和θG分別為FL模型和生成器模型，fG對相應(yīng)tar目標(biāo)特征，即生成器的輸出，f表示給定生成樣本的FL模型的輸出，Ω(?)為正則化項，通過收集對生成樣本的模型預(yù)測信息，進行復(fù)雜推理攻擊。

3.4 小結(jié)

本章所提及的這些針對聯(lián)邦學(xué)習(xí)的攻擊方法對全局模型的可用性以及參與局部模型訓(xùn)練的本地數(shù)據(jù)的安全性帶來了巨大的潛在隱患，聯(lián)邦學(xué)習(xí)系統(tǒng)受到了來自不可信局部代理、惡意聚合服務(wù)器以及外部敵手的多種攻擊威脅。對于局部代理聚合服務(wù)器而言，如果不對其權(quán)限加以限制，就有很大的可能通過以上攻擊方法對聯(lián)邦學(xué)習(xí)系統(tǒng)的安全性造成破壞。例如，不可信局部代理僅需對本地訓(xùn)練數(shù)據(jù)或模型做出部分篡改就可以輕松實現(xiàn)投毒攻擊；惡意聚合服務(wù)器可以利用自身權(quán)限，查看多方代理本地模型更新結(jié)果，很容易就可以實現(xiàn)對全局模型的篡改，或依據(jù)模型更新推斷出局部模型甚至原始數(shù)據(jù)中的敏感信息。此外，外部敵手可以通過竊取通信中的更新或控制系統(tǒng)內(nèi)關(guān)鍵節(jié)點等惡意行為危害聯(lián)邦系統(tǒng)的安全性。這些潛在的威脅使得聯(lián)邦學(xué)習(xí)技術(shù)在信息敏感度高的行業(yè)領(lǐng)域的發(fā)展受到了極大的限制，為了進一步推動聯(lián)邦學(xué)習(xí)的發(fā)展，實現(xiàn)多源數(shù)據(jù)的充分利用和深度融合，需要從方法框架本身對系統(tǒng)中存在的諸多風(fēng)險加以限制。在下一章中，研究上文所提到的各類攻擊方法和潛在威脅的應(yīng)對方法，并對已有的策略進行分析比對。

4 防御策略

聯(lián)邦學(xué)習(xí)的出現(xiàn)為充分利用分散的數(shù)據(jù)資源、打破數(shù)據(jù)孤島提供了解決方案[59]。然而，在上述的一系列研究中發(fā)現(xiàn)，盡管通過本地化訓(xùn)練設(shè)置實現(xiàn)了不遷移數(shù)據(jù)情況下的聯(lián)合模型訓(xùn)練，很大程度上保證了原始數(shù)據(jù)的安全，但是在訓(xùn)練過程中仍存在諸多安全隱患，不可信代理和惡意服務(wù)器利用自有權(quán)限或可知數(shù)據(jù)損害系統(tǒng)安全性和工作效能，外部環(huán)境中的潛在敵手也給聯(lián)邦系統(tǒng)帶來了諸多挑戰(zhàn)，此前已有諸多針對聯(lián)邦學(xué)習(xí)中的攻擊方法的研究并取得一定的效果。本章將繼續(xù)討論針對聯(lián)邦學(xué)習(xí)中潛在風(fēng)險的各類防御策略研究進展，并對當(dāng)前聯(lián)邦學(xué)習(xí)系統(tǒng)中的各類安全問題的應(yīng)對策略進行匯總，如表2所示。表中總結(jié)了本章所涉及的多種技術(shù)方案，并詳細分析比較了不同方案的適應(yīng)性，這些防御策略依據(jù)數(shù)據(jù)保護的需求和技術(shù)實現(xiàn)的不同而劃分的，針對聯(lián)邦學(xué)習(xí)場景所面臨的各類威脅和攻擊方法，有效解決了系統(tǒng)和數(shù)據(jù)的安全性問題，為推動聯(lián)邦學(xué)習(xí)技術(shù)在數(shù)據(jù)安全敏感領(lǐng)域的發(fā)展，進一步發(fā)揮多源數(shù)據(jù)體系化效能提供技術(shù)支撐。

表2 聯(lián)邦學(xué)習(xí)系統(tǒng)中的安全策略對比Table 2 Comparison of security policies in a federated learning system

4.1 安全聚合

安全聚合是一種基于安全多方計算的輕量級實例，是聯(lián)邦學(xué)習(xí)系統(tǒng)部署中的關(guān)鍵隱私措施。安全多方計算（secure multi-party computation，MPC）用于限制中央服務(wù)器對局部代理更新的可見性，在一組局部代理相互不信任且沒有可信第三方的情況下協(xié)同計算。通過加密原語使服務(wù)器只能學(xué)習(xí)到多方局部代理輸入向量的總和，而不能得到局部代理每輪的更新，在弱化局部參數(shù)更新輸入對于服務(wù)器可執(zhí)行的前提下進行聚合運算，使各方代理得到正確的數(shù)據(jù)反饋，以解決模型聚合中的隱私保護問題。在聯(lián)邦學(xué)習(xí)設(shè)置中，安全聚合是減輕惡意更新影響，增強全局模型的魯棒性的常見策略。

安全聚合方法的研究通常涉及以下關(guān)鍵概念。

Bonawitz 等人[19]基于密鑰協(xié)議和安全簽名方案設(shè)計了一通信高效的、故障健壯的協(xié)議，用于高維數(shù)據(jù)的安全聚合。該協(xié)議由四輪通信組成（如圖11），在誠實但好奇敵手設(shè)置中，每輪訓(xùn)練任意選擇的用戶子集同時保持安全性能不變。該協(xié)議利用密鑰協(xié)議和安全簽名方案生成密鑰對和簽名σu，選取隨機種子bu并基于秘密共享方案生成bu,v和，yu為掩碼輸入向量，具體計算方法如下：

圖11 安全聚合協(xié)議Fig.11 Secure aggregation protocol

通過使用偽隨機發(fā)生器減少通信并使用一個閾值秘密共享方案，在代理數(shù)量大于閾值的情況下使客戶端數(shù)量具有更好的可伸縮性。

Bell 等人[60]進一步擴展了安全聚合協(xié)議的使用范圍，在誠實且好奇的活躍敵手設(shè)置中證明了協(xié)議的安全性。用一個包括線性開銷的對數(shù)k-正則圖替換完整通信圖，并基于微分隱私的洗牌模型設(shè)計了安全洗牌的構(gòu)造。Andreina 等人[61]使用魯棒的聯(lián)邦協(xié)議緩解訓(xùn)練過程中的投毒攻擊，在每一輪中加入一個基于反饋的聯(lián)邦學(xué)習(xí)的后門檢測額外的驗證階段來檢測后門。Xie 等人[62]提出了一個可認(rèn)證的魯棒聯(lián)邦學(xué)習(xí)（CRFL）框架，將訓(xùn)練過程視為一個馬爾可夫核，從而量化在每個步驟中聚合模型的緊密性，然后利用模型的緊密性和參數(shù)平滑來證明最終的預(yù)測，通過模型參數(shù)的剪切和平滑來控制全局模型的平滑度，進行有限規(guī)模的后門進行魯棒性認(rèn)證。Sun等人[63]設(shè)計了一個基于客戶端投毒攻擊的防御模型，針對攻擊已經(jīng)突破了服務(wù)器的防御并污染了全局模型的情況，提出了一種定量估計器，估計了模型中毒攻擊對全局模型參數(shù)的影響，減輕已經(jīng)污染了全局模型的模型投毒攻擊，增強FL對模型中毒攻擊的魯棒性。在最新的研究中，Lycklama等人[64]分析揭示了機器學(xué)習(xí)算法記憶尾部數(shù)據(jù)對FL完整性的影響。通過在局部代理更新上實施約束，有效地增強單服務(wù)器設(shè)置的安全聯(lián)邦學(xué)習(xí)協(xié)議對外部攻擊的魯棒性，擴展了具有隱私保護輸入驗證的安全聚合。Jahani-Nezhad 等人[65]提出了一種新的安全聚合協(xié)議，在本地數(shù)據(jù)上以一種隱私保護的方式進行訓(xùn)練，可以在不影響安全性的情況下顯著降低通信開銷，實現(xiàn)最佳的通信負(fù)載。

4.2 同態(tài)加密

同態(tài)加密（homomorphic encryption，HE）允許數(shù)據(jù)在加密狀態(tài)下對加密內(nèi)容執(zhí)行某種特定代數(shù)運算，對密文狀態(tài)下的數(shù)據(jù)集進行學(xué)習(xí)生成加密的局部模型，再將模型發(fā)送至服務(wù)器或其他局部代理進行聚合。對同態(tài)加密計算結(jié)果解密后的明文結(jié)果與直接利用明文數(shù)據(jù)進行運算的處理結(jié)果一致。在Paillier 加密系統(tǒng)[66]中就具有天然的同態(tài)特性，如公式（13）：

同態(tài)加密技術(shù)不需要將密文解密就可以進行等價計算，是目前最常用的隱私保護機制之一，可以在聚合模型時很好地保護敏感數(shù)據(jù)信息。Zhang等人[67]設(shè)計了一種基于加法同態(tài)加密的客戶端選擇方法，通過一個主動的客戶選擇系統(tǒng)——Dubhe來平衡數(shù)據(jù)分布，實現(xiàn)了數(shù)據(jù)的無偏性，改善了全局?jǐn)?shù)據(jù)不平衡的影響提高了模型測試的精度，在誠實且好奇的服務(wù)器設(shè)置下，通過應(yīng)用同態(tài)加密緩解安全威脅。

Park 等人[68]提出了一種基于同態(tài)加密隱私保護的深度學(xué)習(xí)（aprivacy-preserving deep learning，PPFL）算法，利用加性同態(tài)加密方案來保護局部和全局模型參數(shù)。局部代理用私鑰對本地模型參數(shù)進行加密，云服務(wù)器使用基于分布式加密系統(tǒng)用不同密鑰加密的本地模型參數(shù)更新全局模型參數(shù)，以實現(xiàn)隱私保護（如圖12所示）。該算法可以允許每個節(jié)點在同一基于PPFL 的系統(tǒng)中對HE方案使用不同的私鑰。

圖12 隱私保護聯(lián)合學(xué)習(xí)的系統(tǒng)模型Fig.12 System model of joint learning for privacy protection

此外，Ma等人[69]提出了一種多密鑰同態(tài)加密協(xié)議，在與服務(wù)器共享之前通過聚合公鑰對模型更新進行加密，保證了更新的機密性，有效應(yīng)對來自系統(tǒng)內(nèi)部的安全威脅。通過一種基于RLWE 的同態(tài)加密方案，如公式（14）：

其中，?[X]為具有整數(shù)系數(shù)的多項式環(huán)，R中的元素滿足Xn=-1。

4.3 梯度壓縮

梯度壓縮（gradient compression）在大規(guī)模分布式學(xué)習(xí)中就被廣泛應(yīng)用于解決通信帶寬問題，在減少梯度交換產(chǎn)生的復(fù)雜通信的同時實現(xiàn)更好的可伸縮性。研究表明，聯(lián)邦學(xué)習(xí)采用的分布式隨機梯度下降方法中99.9%的梯度交換是冗余的[70]，而在移動設(shè)備上進行聯(lián)邦學(xué)習(xí)的情況則更糟，高延遲、低吞吐量和間歇性連接中斷極大程度上影響了系統(tǒng)的穩(wěn)定性。此外，頻繁的參數(shù)交互擴大了攻擊面，給信息安全問題帶來隱患。從梯度壓縮的角度展開研究也成為緩解數(shù)據(jù)隱私泄露風(fēng)險的一個新思路。

目前，常見的梯度壓縮策略包括稀疏化、量化、低秩近似、動量修正、本地梯度截斷等。Hu 等人[71]提出的Fed-SPA 框架利用隨機稀疏化為聯(lián)邦學(xué)習(xí)方案引入了隨機性，同時降低了共享更新對原始數(shù)據(jù)的敏感性，從而減少了每一輪通信的隱私損失。同時利用收斂加速技術(shù)進一步減少端到端隱私損失，以抵消稀疏化對算法的收斂速度和通信總輪數(shù)的影響。Wainakh等人[72]在使用交叉熵?fù)p失函數(shù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)模型中研究了以噪聲梯度和梯度壓縮實施防御的有效性。在局部代理共享梯度之前應(yīng)用噪聲梯度和梯度壓縮方法，防止外部竊聽者和好奇的服務(wù)器從更新梯度中推理樣本標(biāo)簽，結(jié)果表明，梯度壓縮可以有效地防止用戶級的標(biāo)簽泄露，同時保持模型的精度。Pillutla等人[73]在執(zhí)行聚合之前使中央服務(wù)器計算局部更新的坐標(biāo)中值或坐標(biāo)修剪平均值，以加強聚合過程的魯棒性。

4.4 差分隱私

差分隱私（differential private）是一種基于擾動的隱私保護技術(shù)，通過在隱私數(shù)據(jù)中加入適當(dāng)?shù)碾S機噪聲使個體信息發(fā)生混淆，從而達到防范推理攻擊的目的，使攻擊者無法從中獲取準(zhǔn)確的用戶信息。具體定義如下：

其中，參數(shù)ε表示的隱私預(yù)算滿足ε ＞0，決定算法A的隱私級別，如果對于所有數(shù)據(jù)集D和D′區(qū)別僅相差一條記錄，則隨機算法A(D) 滿足ε-差分隱私。已有研究表明，將差分隱私應(yīng)用于聚合全局模型可以提高模型對投毒攻擊的魯棒性[74-75]。

常用的差分隱私機制包括高斯機制、指數(shù)機制、拉普拉斯機制等，其中高斯機制由于其數(shù)學(xué)推理和隱私計算分析都相對簡單被廣泛應(yīng)用差分隱私算法中，Canonne等人[76]引入并分析了差異隱私背景下的離散高斯分布，在理論和實驗上證明添加離散高斯噪聲提供了與添加連續(xù)高斯噪聲相當(dāng)?shù)碾[私和精度保證。在一個端到端系統(tǒng)中，Kairouz 等人[77]在執(zhí)行安全聚合之前適當(dāng)?shù)靥砑与x散高斯噪聲，建立了具有分布式差分隱私和安全聚合保證的高效的聯(lián)邦通信系統(tǒng)。

當(dāng)下，差分隱私技術(shù)已被廣泛應(yīng)用于隱私敏感領(lǐng)域用于提高聯(lián)邦學(xué)習(xí)方法的安全性，如在分布式醫(yī)療保健數(shù)據(jù)研究中，Choudhury 等人[78]利用了基于目標(biāo)擾動的差分隱私在模型的目標(biāo)函數(shù)中添加噪聲，以產(chǎn)生擾動目標(biāo)的最小化器，獲得一個差分近似，該方法在醫(yī)療保健數(shù)據(jù)中提供接近于集中學(xué)習(xí)的模型性能。然而實驗也反映出了另一個問題，差分隱私雖然能夠提供了很強的隱私水平，但在分布式聯(lián)邦學(xué)習(xí)訓(xùn)練過程中，添加了過量的噪聲可能導(dǎo)致全局模型的預(yù)測能力降低，弱化模型效能。因此，在后續(xù)的應(yīng)用研究中仍需針對不同場景需求進行大量的實驗驗證，進一步實現(xiàn)隱私與效能的同步優(yōu)化。Shi 等人[79]提出的DPFL 算法DP-fedsam 就結(jié)合銳度感知最小化優(yōu)化器，通過裁剪本地更新和添加隨機噪聲來保護隱私，并利用梯度擾動來減輕DP 對模型的負(fù)面影響，使生成的局部模型具有更好的穩(wěn)定性和魯棒性。Lang 等人[80]提出了聯(lián)合隱私增強和量化（JoPEQ）方法，利用了基于隨機格的矢量量化，通過專用的多元隱私保護噪聲增強模型更新來增強隱私，根據(jù)所需的速率量化數(shù)據(jù)，在保持隱私水平的同時不對模型效能產(chǎn)生顯著的負(fù)面影響。

4.5 知識蒸餾

知識蒸餾（knowledge distillation）基于一種教師-學(xué)生架構(gòu)，通過匹配教師模型與學(xué)生模型的軟目標(biāo)優(yōu)化模型（如公式（16）），在擬合預(yù)測結(jié)果的同時遷移模型泛化能力，常被用于進行模型壓縮，將性能更好的大模型作為監(jiān)督信息來輔助構(gòu)建一個輕量級的小模型。

將知識蒸餾應(yīng)用于聯(lián)邦學(xué)習(xí)設(shè)置中，利用來自局部代理的本地模型輸出的軟判決來訓(xùn)練全局模型，以聚合知識細化服務(wù)器模型代替直接聚合他們的模型參數(shù)，可以解決梯度引起的一系列安全問題，降低了隱私風(fēng)險和成本，此外利用知識蒸餾進行全局模型聚合弱化傳統(tǒng)聯(lián)邦學(xué)習(xí)中對于多方模型完全同構(gòu)的需求，能夠更好地適應(yīng)不同局部代理的系統(tǒng)性能和任務(wù)需求。

目前，這一技術(shù)已經(jīng)在醫(yī)療健康領(lǐng)域?qū)崿F(xiàn)了應(yīng)用性研究，為了在推動智慧醫(yī)療發(fā)展的同時保護患者隱私，Sui等人[81]提出了基于聯(lián)邦學(xué)習(xí)的保護隱私的醫(yī)學(xué)關(guān)系提取模型，即FedED，利用了一種基于知識蒸餾的策略，由局部代理上傳局部模型預(yù)測來訓(xùn)練全局模型，代替了傳統(tǒng)方法中的復(fù)雜參數(shù)交互，在克服聯(lián)邦學(xué)習(xí)中的通信瓶頸的同時減小了由推理攻擊帶來的隱私泄露風(fēng)險。

此外，為進一步提高方法性能，Zhu等人[82]基于知識蒸餾方法提出了FEDGEN 框架，利用生成器獲取局部代理模型預(yù)測規(guī)則并將生成器廣播給用戶，用戶通過生成器獲得從其他局部代理那里提煉出來的知識，利用給定目標(biāo)標(biāo)簽生成與預(yù)測集分布一致的樣本作為增強樣本，輔助全局模型訓(xùn)練。同時，服務(wù)器學(xué)習(xí)一個輕量級生成器，以無數(shù)據(jù)的方式集成局部代理信息，然后再對系統(tǒng)中的所有節(jié)點進行廣播，在本地使用學(xué)習(xí)到的知識作為歸納偏差來調(diào)節(jié)局部訓(xùn)練。Zhang等人[83]開發(fā)一種知識蒸餾方法，對無標(biāo)簽樣本生成訓(xùn)練標(biāo)簽，利用一種基于密度的聚類算法來進行目標(biāo)關(guān)聯(lián)，并開發(fā)了一種動態(tài)權(quán)重調(diào)整算法自適應(yīng)地融合目標(biāo)信息，并以融合模型作為聯(lián)邦知識蒸餾中的教師模型來訓(xùn)練全局模型。

4.6 區(qū)塊鏈

傳統(tǒng)聯(lián)邦學(xué)習(xí)方法可以在不直接暴露其底層數(shù)據(jù)的情況下，通過協(xié)調(diào)多方局部代理訓(xùn)練共享的人工智能模型，從形式上享有較大的數(shù)據(jù)安全增益。然而這一方法并不能完全保障信息交互過程中的安全問題，目前的系統(tǒng)中仍然存在一些問題：首先，需要完全可信的聚合服務(wù)器來協(xié)調(diào)多方資源進行模型聚合；其次，將學(xué)習(xí)參數(shù)傳輸?shù)骄酆戏?wù)器很容易受到單點故障問題影響從而導(dǎo)致整個系統(tǒng)的破壞；第三，由于聯(lián)邦學(xué)習(xí)中的局部代理節(jié)點眾多，分布廣泛，具有較高的擴展性單個服務(wù)器難以聚合所有更新。為了進一步實現(xiàn)聯(lián)邦學(xué)習(xí)系統(tǒng)的安全性和可擴展性，許多研究將聯(lián)邦學(xué)習(xí)機制與區(qū)塊鏈技術(shù)相結(jié)合，以去中心化形式保障數(shù)據(jù)和系統(tǒng)的安全性。

與區(qū)塊鏈相結(jié)合可以在不需要任何中央服務(wù)器的情況下，實現(xiàn)分布式的聯(lián)邦模型訓(xùn)練。Kang等人[84]針對區(qū)塊鏈在聯(lián)邦系統(tǒng)中實際應(yīng)用問題，提出了一個區(qū)塊鏈?zhǔn)跈?quán)的安全聯(lián)邦邊緣學(xué)習(xí)系統(tǒng)，該系統(tǒng)由主鏈和子鏈共同組成分級區(qū)塊鏈框架，通過單獨管理局部更新或模型共享記錄來實現(xiàn)可擴展的去中心化聯(lián)邦邊緣學(xué)習(xí)。Chang等人[85]提出了一種基于區(qū)塊鏈的智能醫(yī)療聯(lián)合學(xué)習(xí)方法，利用邊緣節(jié)點維護區(qū)塊鏈以抵抗單點故障，并設(shè)計了一種自適應(yīng)差分隱私算法來保護數(shù)據(jù)隱私和基于梯度驗證的共識協(xié)議來檢測中毒攻擊。Chen 等人[86]提出了一種具有高效性能的隱私保護和可跟蹤的聯(lián)邦學(xué)習(xí)框架PPTFL，利用一種分層聚合聯(lián)邦學(xué)習(xí)（HAFL），以低開銷保護隱私，適用于工業(yè)物聯(lián)網(wǎng)場景，將聯(lián)邦學(xué)習(xí)與區(qū)塊鏈和IPFS 相結(jié)合，使參數(shù)可跟蹤和防篡改。經(jīng)眾多實踐研究表明，聯(lián)邦學(xué)習(xí)技術(shù)和區(qū)塊鏈的集成可以形成一種新的范式，通過改變數(shù)據(jù)交互方式將集中式聯(lián)邦學(xué)習(xí)網(wǎng)絡(luò)轉(zhuǎn)換為分散的、安全的、強隱私的去中心化聯(lián)邦學(xué)習(xí)系統(tǒng)。利用區(qū)塊鏈技術(shù)特點，為聯(lián)邦邊緣學(xué)習(xí)系統(tǒng)提供安全、可追溯、不可篡改的數(shù)據(jù)存儲，對應(yīng)對聯(lián)邦系統(tǒng)中的安全和隱私風(fēng)險開辟了思路，在后續(xù)研究中，進一步解決區(qū)塊鏈中吞吐量、共識延遲等問題對于實現(xiàn)聯(lián)邦區(qū)塊鏈的大規(guī)模應(yīng)用具有重要意義。

4.7 其他方法

在此前的研究中，對解決聯(lián)邦學(xué)習(xí)系統(tǒng)安全問題的眾多主流方法進行了系統(tǒng)性概述。然而，除上述已經(jīng)引起關(guān)注和研究的方法外，許多專家學(xué)者針對特定的需求，從不同的角度考慮了聯(lián)邦系統(tǒng)的安全風(fēng)險并提出解決方案。本節(jié)對此類方法的思想進行了具體描述。在文獻[87-92]中，從通信輪數(shù)考慮對單輪聯(lián)邦學(xué)習(xí)展開研究。如在知識遷移的基礎(chǔ)上進一步擴展，通過知識聚合使中央服務(wù)器在一輪通信中通過聯(lián)邦設(shè)備網(wǎng)絡(luò)學(xué)習(xí)全局模型。Li 等人[90]設(shè)計了一個兩層知識轉(zhuǎn)移框架FedKT，可以應(yīng)用于任何分類模型的一次性聯(lián)邦學(xué)習(xí)算法，通過單輪聯(lián)邦學(xué)習(xí)很大程度上降低了對當(dāng)事各方穩(wěn)定性的要求。Kasturi 等人[91]通過在局部服務(wù)器計算本地數(shù)據(jù)分布參數(shù)及其模型參數(shù)，提取數(shù)據(jù)集特性并將這些分布參數(shù)傳輸?shù)骄酆戏?wù)器，聚合服務(wù)器使用接收到的分布參數(shù)生成人工數(shù)據(jù)，創(chuàng)建代理數(shù)據(jù)語料庫，并根據(jù)這個生成數(shù)據(jù)計算全局模型。以上單輪聯(lián)邦學(xué)習(xí)方法在保證模型精度的同時，通過減少模型訓(xùn)練過程中交互次數(shù)減小信息暴露面，強化了系統(tǒng)的安全性同時減少通信負(fù)載。Xiong等人[92]從多個局部代理函數(shù)構(gòu)建全局訓(xùn)練目標(biāo)，這使服務(wù)器能夠獲得更全局的損失視圖。在每個客戶端構(gòu)建綜合數(shù)據(jù)集，通過分布匹配從原始數(shù)據(jù)中局部匹配損失情況。通過傳輸更多信息和更小的合成數(shù)據(jù)，減少了通信輪數(shù)，提高了模型質(zhì)量。

此外，Lebrun等人[53]提出了一種新的隱私保護服務(wù)以對抗來自惡意服務(wù)器的推理攻擊，防止惡意服務(wù)器利用更新進行屬性推理。在將局部模型發(fā)送到聚合服務(wù)器之前對模型的各層進行混合，可以在不降低聚合模型精度的情況下防止更新中泄露的屬性。同時，這種混合策略不會影響服務(wù)器執(zhí)行的模型聚合的結(jié)果及協(xié)作學(xué)習(xí)的模型的效用。

Liu 等人[93]提出了一個卷積神經(jīng)網(wǎng)絡(luò)-長短期記憶（convolutional neural network-long short term memory，CNN-LSTM）模型來準(zhǔn)確地檢測異常，從而提高模型泛化能力。CNN-LSTM模型使用CNN單元來捕獲細粒度的特征，并保留了LSTM單元在預(yù)測時間序列數(shù)據(jù)方面的優(yōu)勢。Lee等人[94]針對隱私問題提出了一種消化神經(jīng)網(wǎng)絡(luò)，使用一個附加于聯(lián)邦系統(tǒng)的獨立神經(jīng)網(wǎng)絡(luò)實現(xiàn)安全有效的訓(xùn)練。每個局部代理基于擁有的數(shù)據(jù)通過該網(wǎng)絡(luò)訓(xùn)練聯(lián)邦模型，消化神經(jīng)網(wǎng)絡(luò)對輸入數(shù)據(jù)進行修改，從而扭曲更新，最大限度地提高模型的分類精度，同時使推理攻擊的精度最小化。與差分隱私模型相比，該方案具有較高的分類精度和攻擊成功率，其性能在FedAvg和FedSgd協(xié)議上均表現(xiàn)出高性能和可擴展性。

4.8 小結(jié)

在本章中，對上文所提到的聯(lián)邦學(xué)習(xí)中潛在威脅的保護方案進行了詳細的分析總結(jié)，并在表2中對其關(guān)鍵原理進行描述以作比對。上述方案均已在系統(tǒng)安全和敏感信息保護上取得較好的效果，具體來說，安全聚合用于限制模型聚合過程中對于模型和數(shù)據(jù)的可知度；同態(tài)加密以加密計算的思想保護通信和聚合過程中的信息安全；梯度壓縮和差分隱私通過對交互參數(shù)進行處理弱化對原始數(shù)據(jù)的敏感度；知識蒸餾以一種新信息交互方法應(yīng)對模型梯度引起的一系列安全問題，同時提高了模型的泛化能力；區(qū)塊鏈利用其不可篡改性和去中心化的特點保證了聯(lián)邦系統(tǒng)的可靠性；此外的其他研究中也從減小通信輪數(shù)、優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)等方向?qū)ΡＷC聯(lián)邦系統(tǒng)的安全性與可靠性進行了探索并取得了有效的成果?？傊陨霞夹g(shù)的都是用于優(yōu)化聯(lián)邦學(xué)習(xí)系統(tǒng)的關(guān)鍵技術(shù)，其特點各不相同，在實際應(yīng)用中需要根據(jù)真實情況和具體場景選擇更為合適的方法，來保證聯(lián)邦學(xué)習(xí)系統(tǒng)和數(shù)據(jù)的安全性。

5 挑戰(zhàn)與展望

聯(lián)邦學(xué)習(xí)為解決大規(guī)模分布模型訓(xùn)練的數(shù)據(jù)安全和隱私問題提供了新的發(fā)展方向。通過制定一個分布在多個局部代理之間的神經(jīng)網(wǎng)絡(luò)模型的多輪訓(xùn)練策略，實現(xiàn)分散數(shù)據(jù)資源整合。目前，聯(lián)邦學(xué)習(xí)技術(shù)正處于快速發(fā)展階段，針對不同的應(yīng)用場景國內(nèi)外已經(jīng)進行了大量的研究并形成了FATE、PySyft、TTF、PaddleFL等針對不同應(yīng)用場景的開源框架[95]。

聯(lián)邦學(xué)習(xí)作為機器學(xué)習(xí)和大數(shù)據(jù)使用的新范式為數(shù)據(jù)的使用提供了新思路，目前已在諸多行業(yè)實現(xiàn)大規(guī)模商業(yè)落地，然而現(xiàn)有的聯(lián)邦學(xué)習(xí)框架仍存在諸多安全風(fēng)險。針對聯(lián)邦學(xué)習(xí)技術(shù)中的安全問題，本文總結(jié)了以下幾點挑戰(zhàn)與展望。

（1）訓(xùn)練效率、可用性與安全性權(quán)衡

模型訓(xùn)練效率、可用性與安全性的權(quán)衡是聯(lián)邦學(xué)習(xí)未來發(fā)展的關(guān)鍵問題。基于加密技術(shù)的安全策略保證了通信、計算過程的安全性，同時也帶來了大量的附加計算，特別是在多方代理樣本存在較大差異，需要進行多輪迭代時，大大影響了模型訓(xùn)練效率；利用梯度壓縮、差分隱私等方法對多方代理上傳數(shù)據(jù)進行處理計算量相對較小，但從一定程度上影響了模型精度；利用生成網(wǎng)絡(luò)對數(shù)據(jù)進行增強大大提高了模型的可用性，與此同時也產(chǎn)生了大量的額外計算，增加了訓(xùn)練載荷并不適用于計算資源有限的小型移動設(shè)備；此外其他方法也大多存在效率、可用性與安全的權(quán)衡，尋找三者之間的平衡需要綜合考慮實際應(yīng)用中各方需求，如局部設(shè)備計算資源、模型性能預(yù)期，行業(yè)對數(shù)據(jù)安全的敏感度等，以尋求更優(yōu)的應(yīng)對策略。

（2）多種方法相結(jié)合的通用性框架

聯(lián)邦學(xué)習(xí)是近些年研究的一大熱點，技術(shù)框架、應(yīng)用研究層出不窮，然而現(xiàn)有研究大多基于企業(yè)自身商業(yè)化需求或行業(yè)特點開展，尚未形成一套完整的、通用的、安全的聯(lián)邦學(xué)習(xí)框架。文章對多種安全方法進行分析，其中加密方法保障數(shù)據(jù)計算過程中的機密性，然而其加密過程涉及大量計算；差分隱私機制通過添加隨機噪聲實現(xiàn)信息保護，然而擾動機制可能會對模型的精度造成影響；區(qū)塊鏈技術(shù)具有去中心化、安全可信、不可篡改等特征，能夠為識別惡意攻擊提供數(shù)據(jù)保證，但由于自身與性能限制難以支持大規(guī)模數(shù)據(jù)傳輸?shù)?。在下一步研究中，考慮將多種技術(shù)進行結(jié)合，實現(xiàn)優(yōu)勢互補，全面提高模型性能。

（3）大量中間通信的安全隱患

聯(lián)邦學(xué)習(xí)采用大規(guī)模分布式方法，在模型訓(xùn)練中涉及頻繁的數(shù)據(jù)交互，不可避免地產(chǎn)生了巨大的通信代價，同時伴隨著嚴(yán)重的安全隱患。目前聯(lián)邦學(xué)習(xí)框架大多基于FedAvg、FedProx 等算法開發(fā)，需要通過多輪迭代得到收斂模型，在大規(guī)模異構(gòu)數(shù)據(jù)的應(yīng)用場景中存在不可忽視的局限性。文章提到的研究中已有針對多輪數(shù)據(jù)交互這一問題進行改善，通過知識聚合使訓(xùn)練全局模型實現(xiàn)單輪聯(lián)邦學(xué)習(xí)，然而此類研究尚未實現(xiàn)應(yīng)用落地，在后續(xù)研究中要求研究者繼續(xù)結(jié)合實際應(yīng)用場景開展研究，盡可能減少訓(xùn)練過程中的額外交互，在保證模型可用的情況下從通信環(huán)節(jié)減小攻擊面，避免信息泄露風(fēng)險。

6 結(jié)束語

數(shù)據(jù)安全問題是大數(shù)據(jù)使用和人工智能發(fā)展中的一大痛點，聯(lián)邦學(xué)習(xí)技術(shù)的出現(xiàn)為規(guī)范數(shù)據(jù)使用、推動智能化提供了新思路，然而要真正滿足公眾和行業(yè)對數(shù)據(jù)安全的要求、應(yīng)對系統(tǒng)內(nèi)外部風(fēng)險、實現(xiàn)安全聯(lián)邦學(xué)習(xí)，還有諸多問題有待解決，需要進一步推進技術(shù)創(chuàng)新，從多維度減輕內(nèi)外部不穩(wěn)定因素對于全局模型的影響。文章對系統(tǒng)安全性風(fēng)險進行了分析，總結(jié)了現(xiàn)有的攻擊策略，針對聯(lián)邦架構(gòu)的新型解決方案進行了概括總結(jié)，并對該領(lǐng)域未來發(fā)展進行展望，為聯(lián)邦學(xué)習(xí)安全性問題的研究發(fā)展提供參考。