聯(lián)邦學(xué)習(xí)中的攻擊手段與防御機(jī)制研究綜述

張世文，陳 雙，梁 偉，李仁發(fā)

1.湖南科技大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，湖南 湘潭 411201

2.湖南大學(xué)信息科學(xué)與工程學(xué)院，長(zhǎng)沙 410082

大數(shù)據(jù)和人工智能的迅速發(fā)展促進(jìn)了傳統(tǒng)產(chǎn)業(yè)的轉(zhuǎn)型。類(lèi)似深度學(xué)習(xí)這樣以數(shù)據(jù)驅(qū)動(dòng)的人工智能模型在圖像處理、語(yǔ)音識(shí)別、自然語(yǔ)言理解等領(lǐng)域取得了巨大成功。海量數(shù)據(jù)的生成和這些數(shù)據(jù)的后續(xù)處理往往需要一個(gè)數(shù)據(jù)倉(cāng)庫(kù)并在倉(cāng)庫(kù)內(nèi)匯總數(shù)據(jù)。然而，隨著數(shù)據(jù)泄漏事件層出不窮，數(shù)據(jù)安全性得不到保障，人們開(kāi)始懷疑集中收集數(shù)據(jù)是否可靠，數(shù)據(jù)的隱私性的也得到了更多的關(guān)注。為了保證數(shù)據(jù)安全性，卻造成了各個(gè)地方的數(shù)據(jù)難以整合，形成了大量的數(shù)據(jù)孤島[1]。

在上述數(shù)據(jù)無(wú)法進(jìn)行共享的情況下，聯(lián)邦學(xué)習(xí)[2]于2016 年被首次提出。聯(lián)邦學(xué)習(xí)能有效地解決數(shù)據(jù)孤島問(wèn)題，在保證數(shù)據(jù)安全性的同時(shí)達(dá)到數(shù)據(jù)共享目的。聯(lián)邦學(xué)習(xí)利用去中心化的數(shù)據(jù)源進(jìn)行訓(xùn)練，避免因數(shù)據(jù)中心化帶來(lái)的隱私問(wèn)題，從而能夠更好地保護(hù)用戶隱私。具體來(lái)說(shuō)，聯(lián)邦學(xué)習(xí)過(guò)程是參與者在客戶端本地對(duì)其私有數(shù)據(jù)進(jìn)行訓(xùn)練，再將訓(xùn)練后得到的模型參數(shù)上傳到云服務(wù)器，最后由云服務(wù)器聚合得到整體參數(shù)。

然而，聯(lián)邦學(xué)習(xí)中仍然存在巨大的安全隱患[3]，比如：（1）服務(wù)器無(wú)法訪問(wèn)參與者的數(shù)據(jù)及其模型訓(xùn)練過(guò)程，導(dǎo)致一些惡意參與者上傳錯(cuò)誤的更新結(jié)果以達(dá)到破壞全局更新的目的[4]。例如，攻擊者通過(guò)訓(xùn)練惡意修改后的訓(xùn)練數(shù)據(jù)來(lái)更新中毒模型，以影響全局模型準(zhǔn)確性。（2）攻擊者通過(guò)推理不同的攻擊得到的模型更新的結(jié)果可以推理出特定的信息，使得用戶的個(gè)人信息被泄露[4]。（3）當(dāng)服務(wù)器本身不可信時(shí)，服務(wù)器與其他的參與者合謀會(huì)導(dǎo)致隱私信息泄露。雖然在深度學(xué)習(xí)領(lǐng)域，保證隱私安全的工作已探索多年，但針對(duì)如何構(gòu)建具有安全和隱私性的聯(lián)邦學(xué)習(xí)系統(tǒng)的研究仍處于初級(jí)階段[4-6]。本文根據(jù)聯(lián)邦學(xué)習(xí)系統(tǒng)可能遭受到攻擊的脆弱部分，按傳統(tǒng)的分類(lèi)方式將聯(lián)邦學(xué)習(xí)可能遭受到的攻擊進(jìn)行分類(lèi)。并闡述了針對(duì)這部分攻擊，聯(lián)邦學(xué)習(xí)系統(tǒng)所能夠采取防御的手段。

如圖1所示，本文首先詳細(xì)介紹了聯(lián)邦學(xué)習(xí)概念及其架構(gòu)、模型；其次，分類(lèi)地介紹了聯(lián)邦學(xué)習(xí)可能遭受到的攻擊，以及針對(duì)不同的攻擊所能夠進(jìn)行的防御；最后，根據(jù)聯(lián)邦學(xué)習(xí)的特性與現(xiàn)狀，本文對(duì)聯(lián)邦學(xué)習(xí)的發(fā)展方向進(jìn)行了總結(jié)與展望。方便研究人員全面了解聯(lián)邦學(xué)習(xí)攻防領(lǐng)域現(xiàn)有知識(shí)的基礎(chǔ)和發(fā)展動(dòng)態(tài)，發(fā)現(xiàn)已有研究的不足和未解決的問(wèn)題；為后續(xù)研究聯(lián)邦學(xué)習(xí)系統(tǒng)的安全隱患問(wèn)題提供了新的見(jiàn)解和思路。

圖1 聯(lián)邦學(xué)習(xí)攻擊手段與防御機(jī)制研究Fig.1 Research of federated learning attack means and defense mechanism

1 聯(lián)邦學(xué)習(xí)

1.1 聯(lián)邦學(xué)習(xí)概念

聯(lián)邦學(xué)習(xí)本質(zhì)上是一種分布式的機(jī)器學(xué)習(xí)技術(shù)，其工作過(guò)程如圖2所示。通常，聯(lián)邦學(xué)習(xí)的實(shí)施涉及三個(gè)步驟。

圖2 聯(lián)邦學(xué)習(xí)流程Fig.2 Process of federated learning

生成初始模型：在第一個(gè)階段，工作主要是從位于服務(wù)器的全局模型開(kāi)始。開(kāi)始訓(xùn)練后，服務(wù)器生成初始的全局模型，再將這個(gè)模型作為機(jī)器學(xué)習(xí)模型廣播給聯(lián)邦學(xué)習(xí)環(huán)境下的客戶端（0 ＜i＜N,N為客戶端的總數(shù)量）。

本地模型更新：在第二個(gè)階段，客戶端在本地借助私有的數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練，再將訓(xùn)練后的模型更新發(fā)送給服務(wù)器。

模型聚合：在第三個(gè)階段，服務(wù)器接收從客戶端發(fā)送來(lái)的更新后的訓(xùn)練模型，并進(jìn)行聚合生成全局模型。服務(wù)器再將聚合的全局模型廣播給所有參與訓(xùn)練的客戶端。自此，聯(lián)邦學(xué)習(xí)進(jìn)入迭代階段，每一次迭代，全局模型都會(huì)進(jìn)行更新。此外，服務(wù)器在任何階段都可以在訓(xùn)練過(guò)程中添加或刪除客戶端。

聯(lián)邦學(xué)習(xí)由一個(gè)服務(wù)器，N個(gè)持有私有數(shù)據(jù)集的客戶端組成。聯(lián)邦學(xué)習(xí)是一個(gè)不斷迭代的過(guò)程，它重復(fù)第二個(gè)和第三個(gè)階段直到服務(wù)器的全局模型得到一個(gè)期望的精度或者全局模型更新達(dá)到預(yù)定的迭代次數(shù)。在訓(xùn)練過(guò)程中，聯(lián)邦學(xué)習(xí)對(duì)模型進(jìn)行訓(xùn)練而無(wú)需傳輸訓(xùn)練數(shù)據(jù)或?qū)?shù)據(jù)存儲(chǔ)到中心服務(wù)器。通過(guò)這種方式，可以在客戶端和服務(wù)器之間共享信息，且在訓(xùn)練過(guò)程中有效的保護(hù)了用戶的數(shù)據(jù)隱私。

相比較于傳統(tǒng)的分布式機(jī)器學(xué)習(xí)，聯(lián)邦學(xué)習(xí)具有以下特點(diǎn)：（1）數(shù)據(jù)異構(gòu)：各個(gè)客戶端中的數(shù)據(jù)集的數(shù)據(jù)非獨(dú)立同分布，且其中的數(shù)據(jù)數(shù)量不一致；（2）設(shè)備異構(gòu)：各個(gè)客戶端硬件差異導(dǎo)致計(jì)算能力、通信、存儲(chǔ)效率等不平衡；（3）客戶端數(shù)量不定。根據(jù)這些特點(diǎn)，聯(lián)邦學(xué)習(xí)有著不同的學(xué)習(xí)類(lèi)型，被劃分為以下3 種類(lèi)型[6-8]：橫向聯(lián)邦學(xué)習(xí)、縱向聯(lián)邦學(xué)習(xí)與遷移聯(lián)邦學(xué)習(xí)，它們之間的對(duì)比如表1所示。

表1 不同類(lèi)型聯(lián)邦學(xué)習(xí)的對(duì)比Table 1 Comparison of different types of federated learning

在橫向聯(lián)邦學(xué)習(xí)中，各個(gè)參與方有著不同的數(shù)據(jù)樣本，但其中數(shù)據(jù)特征重疊較多。橫向聯(lián)邦學(xué)習(xí)核心的計(jì)算方法是聯(lián)邦平均算法，其包括梯度平均和模型平均兩種類(lèi)型[9]?？v向聯(lián)邦學(xué)習(xí)中，各個(gè)參與方的數(shù)據(jù)樣本重疊，其中數(shù)據(jù)的特征有差異。縱向聯(lián)邦學(xué)習(xí)已應(yīng)用于線性回歸、提升樹(shù)、梯度下降等多種模型上。上述兩種類(lèi)型的聯(lián)邦學(xué)習(xí)屬于較為理想的情況。在現(xiàn)實(shí)生活中，大部分參與方所持有的數(shù)據(jù)，無(wú)論是數(shù)據(jù)樣本還是特征都重疊較少，且樣本數(shù)據(jù)集分布不均衡。針對(duì)這種情形，遷移聯(lián)邦學(xué)習(xí)[10]被提出。在遷移聯(lián)邦學(xué)習(xí)中，各個(gè)參與方的數(shù)據(jù)樣本及數(shù)據(jù)的特征都重疊較少。遷移聯(lián)邦學(xué)習(xí)結(jié)合了聯(lián)邦學(xué)習(xí)與遷移學(xué)習(xí)[11]的優(yōu)點(diǎn)，使用遷移學(xué)習(xí)去克服數(shù)據(jù)樣本不重疊與數(shù)據(jù)特征不重疊的情況。

1.2 聯(lián)邦學(xué)習(xí)中的安全問(wèn)題

聯(lián)邦學(xué)習(xí)允許參與者在本地訓(xùn)練數(shù)據(jù)，而不需要將本地?cái)?shù)據(jù)傳輸，從而實(shí)現(xiàn)了數(shù)據(jù)的隔離。且用戶數(shù)據(jù)始終保存在本地，不進(jìn)行共享，滿足了用戶隱私保護(hù)和數(shù)據(jù)安全的需求。但這種安全并不是絕對(duì)的，聯(lián)邦學(xué)習(xí)仍然面對(duì)著一些安全性的風(fēng)險(xiǎn)。比如聯(lián)邦學(xué)習(xí)沒(méi)有審核參與方提供的參數(shù)模型是否真實(shí)；服務(wù)器被攻陷時(shí)，攻擊者可以隨時(shí)發(fā)布惡意模型影響參與方的本地訓(xùn)練；惡意的參與方可以從共享的參數(shù)中推理出其他參與方的敏感信息；惡意的參與方可以通過(guò)上傳惡意的模型破壞聚合后的全局模型等。聯(lián)邦學(xué)習(xí)系統(tǒng)可能遭受到的攻擊有：（1）投毒攻擊（poisoning attack ，PA）：即攻擊者通過(guò)破壞數(shù)據(jù)樣本以達(dá)到攻擊目的的一種攻擊方式，如圖3中的①所示；（2）對(duì)抗攻擊（adversarial attack，AA）：即攻擊者通過(guò)影響模型更新以達(dá)到攻擊目的的一種攻擊方式，如圖3 中的②所示；（3）推理攻擊（reasoning extraction attack，REA），即攻擊者通過(guò)對(duì)監(jiān)聽(tīng)、竊取等方式獲取的信息進(jìn)行推理以得到某些隱私信息的手段，如圖3中的③所示；（4）服務(wù)器漏洞（server vulnerabilities，SV），即服務(wù)器本身是惡意攻擊者或極易受到攻擊的情況，如圖3中的④所示。具體的攻擊方式分類(lèi)如表2所示。其中，推理攻擊針對(duì)的是隱私，分為模型提取、模型逆向，前者主要通過(guò)推理竊取模型的信息，后者主要通過(guò)推理獲得訓(xùn)練數(shù)據(jù)集的信息；投毒攻擊和對(duì)抗攻擊針對(duì)的是安全，前者主要在訓(xùn)練階段投放惡意數(shù)據(jù)或惡意篡改數(shù)據(jù)從而導(dǎo)致模型的分類(lèi)準(zhǔn)確率降低，后者主要在預(yù)測(cè)階段制造對(duì)抗樣本來(lái)使模型分類(lèi)出錯(cuò)[12]。

表2 聯(lián)邦學(xué)習(xí)中的攻擊類(lèi)型Table 2 Attack types in federated learning

圖3 聯(lián)邦學(xué)習(xí)可能遭受到的攻擊示意圖Fig.3 Schematic diagram of possible attacks on federated learning

針對(duì)這些攻擊，聯(lián)邦學(xué)習(xí)也提出相應(yīng)的防御措施。我們根據(jù)不同的攻擊目標(biāo)將防御措施分為通用性和針對(duì)性的防御措施，具體如表3所示。通用性防御措施主要包含差分隱私、同態(tài)加密、秘密共享等，而針對(duì)性防御措施主要針對(duì)聯(lián)邦學(xué)習(xí)可能遭受到的不同類(lèi)型的攻擊，包括防御投毒攻擊、防御對(duì)抗攻擊、防御推理攻擊以及防御服務(wù)器漏洞。

表3 聯(lián)邦學(xué)習(xí)中的防御措施Table 3 Defense measures in federated learning

2 聯(lián)邦學(xué)習(xí)中的攻擊手段

2.1 投毒攻擊

聯(lián)邦學(xué)習(xí)的一個(gè)關(guān)鍵特征是，它允許相互不信任的參與方（例如競(jìng)爭(zhēng)公司）之間合作訓(xùn)練模型。這使得聯(lián)邦學(xué)習(xí)極其容易受到投毒攻擊的威脅。例如，一部分聯(lián)邦學(xué)習(xí)的參與方被對(duì)手擁有或者控制之后在聯(lián)邦學(xué)習(xí)訓(xùn)練過(guò)程中進(jìn)行惡意行為，破壞聯(lián)邦訓(xùn)練的全局模型。投毒攻擊主要是指攻擊者通過(guò)在訓(xùn)練或再訓(xùn)練過(guò)程中，篡改數(shù)據(jù)或往參與者的數(shù)據(jù)集中添加惡意數(shù)據(jù)，以破壞訓(xùn)練數(shù)據(jù)集的分布來(lái)改變模型在特定輸入上的行為，達(dá)到操縱學(xué)習(xí)模型預(yù)測(cè)的攻擊目的。其通常使得全局模型難以收斂或?qū)⒘夹阅Ｐ褪諗繛殄e(cuò)誤模型。例如注入有毒的訓(xùn)練數(shù)據(jù)樣本，改變樣本的標(biāo)簽，刪除訓(xùn)練數(shù)據(jù)集中的一些原有樣本等。在聯(lián)邦學(xué)習(xí)中，每一個(gè)參與者都可以平等地訪問(wèn)訓(xùn)練數(shù)據(jù)，在這種時(shí)候，惡意數(shù)據(jù)被對(duì)手或惡意客戶端添加到全局聯(lián)邦學(xué)習(xí)模型中，具體的投毒過(guò)程如圖4 所示。每個(gè)參與者將更新的參數(shù)發(fā)送到中央服務(wù)器，然后在每一輪得到一個(gè)經(jīng)過(guò)充分訓(xùn)練的聯(lián)邦學(xué)習(xí)模型。在這個(gè)過(guò)程，有毒的數(shù)據(jù)集會(huì)影響局部模型，進(jìn)而間接地影響全局模型，最終使全局模型偏離，降低了模型的精度。一般來(lái)說(shuō)，投毒攻擊根據(jù)攻擊者的投毒目標(biāo)分為數(shù)據(jù)投毒攻擊[13-18]和模型投毒攻擊[15，19-21]。

圖4 數(shù)據(jù)中毒Fig.4 Data poisoning

2.1.1 數(shù)據(jù)投毒

數(shù)據(jù)投毒攻擊指攻擊者惡意篡改數(shù)據(jù)或者向數(shù)據(jù)訓(xùn)練集中添加有毒數(shù)據(jù)來(lái)污染訓(xùn)練數(shù)據(jù)集，影響模型的訓(xùn)練過(guò)程，最終導(dǎo)致模型被破壞，降低了模型的準(zhǔn)確性。聯(lián)邦學(xué)習(xí)中的數(shù)據(jù)投毒攻擊在客戶端處操作數(shù)據(jù)集，通常通過(guò)添加噪聲或翻轉(zhuǎn)標(biāo)簽[13]來(lái)實(shí)現(xiàn)。在添加噪聲中，攻擊者在每個(gè)類(lèi)上加上特制的噪聲，使得模型在學(xué)習(xí)樣本本身的特征時(shí)將加入的噪聲一起學(xué)進(jìn)去，而不需要訪問(wèn)其他數(shù)據(jù)集，從而達(dá)到數(shù)據(jù)投毒的目的。在標(biāo)簽翻轉(zhuǎn)攻擊中，攻擊者改變惡意客戶端的數(shù)據(jù)，使某一類(lèi)的每個(gè)標(biāo)簽都切換到目標(biāo)標(biāo)簽。

數(shù)據(jù)投毒這種攻擊通常由擁有數(shù)據(jù)的所有者實(shí)施，但任何聯(lián)邦學(xué)習(xí)的參與者都可以進(jìn)行數(shù)據(jù)投毒攻擊。根據(jù)攻擊者是否更改標(biāo)簽，數(shù)據(jù)中毒可被分為干凈標(biāo)簽[22]和臟標(biāo)簽[23]中毒。前者是一種針對(duì)性攻擊，不修改數(shù)據(jù)標(biāo)簽，只添加部分惡意數(shù)據(jù)。后者是指攻擊者通過(guò)惡意篡改標(biāo)簽來(lái)進(jìn)行攻擊，攻擊者將篡改的臟數(shù)據(jù)與干凈數(shù)據(jù)混為一體，集中訓(xùn)練即可進(jìn)行中毒攻擊。

最早研究中毒發(fā)作的是Rubinstein 等人[14]，他們研究了一系列中毒策略的影響，并詳細(xì)分析了在同時(shí)改變攻擊者可用的信息量和中毒發(fā)生的時(shí)間范圍的情況下，對(duì)手如何破壞學(xué)習(xí)過(guò)程。對(duì)于研究的三個(gè)中毒方案，還展示了攻擊者如何通過(guò)僅添加適量的中毒數(shù)據(jù)來(lái)大幅增加成功逃避檢測(cè)的機(jī)會(huì)。繼而，Muoz-Gonzalez 等人[15]將中毒攻擊的定義擴(kuò)展到多類(lèi)問(wèn)題。其基于反梯度優(yōu)化的思想對(duì)中毒樣本進(jìn)行優(yōu)化，提出了一種新的中毒算法，即通過(guò)反向傳播計(jì)算感興趣的梯度，同時(shí)反轉(zhuǎn)學(xué)習(xí)過(guò)程以大幅降低攻擊復(fù)雜性。該中毒算法僅要求學(xué)習(xí)算法在訓(xùn)練期間以平滑的方式更新其參數(shù)（例如，通過(guò)梯度下降），以正確地向后跟蹤這些變化。由此，該算法可以應(yīng)用于更廣泛的一類(lèi)學(xué)習(xí)算法，但其沒(méi)有對(duì)深度網(wǎng)絡(luò)的中毒攻擊進(jìn)行廣泛的評(píng)估來(lái)徹底評(píng)估它們對(duì)中毒的安全性。同樣使用優(yōu)化思想去分析中毒問(wèn)題的Sun 等人[16]，通過(guò)將聯(lián)邦多學(xué)習(xí)模型上的最優(yōu)投毒攻擊策略作為一個(gè)通用的雙層優(yōu)化問(wèn)題去進(jìn)行制定，即使用一個(gè)雙層優(yōu)化框架來(lái)計(jì)算聯(lián)邦學(xué)習(xí)的中毒攻擊，嘗試從數(shù)據(jù)中毒的角度探索聯(lián)邦機(jī)器學(xué)習(xí)的漏洞。相同的，Tolpegin等人[17]和Li等人[18]嘗試從數(shù)據(jù)中毒角度探究聯(lián)邦學(xué)習(xí)系統(tǒng)的脆弱性。Tolpegin等人[17]研究了針對(duì)聯(lián)邦學(xué)習(xí)系統(tǒng)有針對(duì)性的數(shù)據(jù)中毒攻擊。在這種攻擊中，參與者的一個(gè)惡意子集通過(guò)發(fā)送來(lái)自錯(cuò)誤標(biāo)記數(shù)據(jù)的模型更新來(lái)毒害全局模型。其對(duì)惡意參與者的能力做了最低限度的假設(shè)：每個(gè)參與者只能在他們的設(shè)備上操作原始的訓(xùn)練數(shù)據(jù)，這允許非專(zhuān)業(yè)的惡意參與者在不了解模型類(lèi)型、參數(shù)和聯(lián)邦學(xué)習(xí)過(guò)程的情況下實(shí)現(xiàn)中毒。實(shí)驗(yàn)結(jié)果證明這種攻擊對(duì)傳統(tǒng)的集中式機(jī)器學(xué)習(xí)模型是有效的。針對(duì)聯(lián)邦學(xué)習(xí)系統(tǒng)中數(shù)據(jù)可靠性方面的漏洞，Li等人[18]提出了一種基于強(qiáng)化學(xué)習(xí)的中毒方法，專(zhuān)門(mén)用于對(duì)未標(biāo)記數(shù)據(jù)的預(yù)測(cè)模型進(jìn)行投毒。這是第一篇考慮對(duì)未標(biāo)記預(yù)測(cè)模型的中毒攻擊的研究。通過(guò)實(shí)驗(yàn)證明，這種算法不僅可以成功地對(duì)未標(biāo)記數(shù)據(jù)的預(yù)測(cè)模型投毒，而且可以利用積累的經(jīng)驗(yàn)不斷加快投毒速度，進(jìn)而在短時(shí)間內(nèi)可以成功地對(duì)未標(biāo)記數(shù)據(jù)的全局預(yù)測(cè)模型進(jìn)行投毒。

2.1.2 模型投毒

模型投毒攻擊指攻擊者直接改變目標(biāo)模型的參數(shù)，使全局模型偏離正常模型，導(dǎo)致模型出現(xiàn)錯(cuò)誤或模型性能下降。模型投毒攻擊的目的是能夠任意操縱模型更新。由于模型的參數(shù)會(huì)在云服務(wù)器和客戶端之間重復(fù)傳輸，因此模型投毒攻擊可能由其中的任何一方進(jìn)行。

一開(kāi)始，Bhagoji等人[23]探索了聯(lián)邦學(xué)習(xí)設(shè)置如何引起一種新的威脅，即模型中毒；研究了一些深度神經(jīng)網(wǎng)絡(luò)的攻擊策略，包括有針對(duì)性的模型中毒等。研究者還提出了兩個(gè)關(guān)鍵的隱形概念來(lái)檢測(cè)惡意更新，通過(guò)將這兩個(gè)關(guān)鍵的隱形概念包含在對(duì)抗目標(biāo)中繞過(guò)它們來(lái)執(zhí)行隱形模型中毒，并使用交替最小化策略來(lái)改進(jìn)攻擊隱身性，交替優(yōu)化隱身性和對(duì)抗目標(biāo)。最后成功證明拜占庭彈性聚合策略對(duì)這些攻擊并不健壯，但這篇文章沒(méi)有考慮這類(lèi)攻擊的穩(wěn)健性。在此之后，Zhou等人[19]對(duì)聯(lián)邦學(xué)習(xí)中的模型投毒威脅進(jìn)行了系統(tǒng)的研究，并提出了一種新的基于優(yōu)化的模型投毒攻擊。通過(guò)在神經(jīng)網(wǎng)絡(luò)的冗余空間中注入對(duì)抗神經(jīng)元來(lái)提高攻擊的持久性。由于這些冗余的神經(jīng)元與聯(lián)邦學(xué)習(xí)的主要任務(wù)相關(guān)性較小，所提出的模型投毒攻擊不會(huì)降低主任務(wù)在共享全局模型上的性能，能夠避免被中央服務(wù)器檢測(cè)和拒絕異常模型，成功實(shí)現(xiàn)了在多客戶端模型中實(shí)施中毒攻擊時(shí)保持隱身性與持久性。Hossain等人[20]與Zhou等人[19]同樣關(guān)注到這類(lèi)攻擊的持久性、有效性與隱蔽性。Hossain等人[20]分析了在聯(lián)邦學(xué)習(xí)設(shè)置下的對(duì)抗學(xué)習(xí)過(guò)程，并表明可以利用差分噪聲進(jìn)行隱形且持久的模型投毒攻擊。更具體地說(shuō)，這篇文獻(xiàn)為聯(lián)邦學(xué)習(xí)模型開(kāi)發(fā)了一種利用差分隱私的隱形模型中毒攻擊。該攻擊通過(guò)將錯(cuò)誤數(shù)據(jù)隱藏在DP 噪聲中來(lái)欺騙傳統(tǒng)的異常檢測(cè)機(jī)制，實(shí)現(xiàn)攻擊的隱蔽性，降低全局聯(lián)邦模型的整體精度。作者使用兩個(gè)流行數(shù)據(jù)集的分類(lèi)和回歸任務(wù)的實(shí)證分析證明了所提出攻擊的有效性。Cao等人[21]提出了第一個(gè)基于假客戶端的模型投毒攻擊。具體來(lái)說(shuō)，攻擊者往聯(lián)邦學(xué)習(xí)系統(tǒng)添加假客戶端，假客戶端在訓(xùn)練期間向云服務(wù)器發(fā)送精心制作的假本地模型更新，并在將其發(fā)送到云服務(wù)器之前將其擴(kuò)展以擴(kuò)大其影響，從而使學(xué)習(xí)到的全局模型對(duì)于許多不加區(qū)分的測(cè)試輸入具有低準(zhǔn)確性。

表4 分別從威脅模型、結(jié)果、具體應(yīng)用等幾個(gè)方面對(duì)有關(guān)聯(lián)邦學(xué)習(xí)的投毒攻擊的相關(guān)研究進(jìn)行分類(lèi)概述。

表4 一些投毒攻擊研究的對(duì)比Table 4 Comparison of some poisoning attack studies

2.2 對(duì)抗攻擊

對(duì)抗攻擊主要是指攻擊者通過(guò)影響被攻擊客戶端的本地模型的更新繼而影響全局模型的更新，導(dǎo)致模型輸出錯(cuò)誤結(jié)果。其將對(duì)抗樣例提交到訓(xùn)練好的模型中，從而使模型預(yù)測(cè)錯(cuò)誤。對(duì)抗樣本（adversarial examples，AEs）是在原來(lái)正常的樣本上添加了輕微的擾動(dòng)，可以導(dǎo)致分類(lèi)模型分類(lèi)錯(cuò)誤。對(duì)抗樣本的另外一個(gè)特點(diǎn)是即使造成了模型分類(lèi)錯(cuò)誤，還是可以進(jìn)行正確分類(lèi)。

2.2.1 對(duì)抗攻擊

對(duì)抗攻擊利用對(duì)抗樣本使模型預(yù)測(cè)錯(cuò)誤，也稱(chēng)之為逃避攻擊（evasion attack，EA）。對(duì)抗攻擊是通過(guò)在原始樣本中添加擾動(dòng)而產(chǎn)生的。它們混淆了訓(xùn)練有素的模型，但在人類(lèi)看來(lái)它們很正常，這保證了攻擊的有效性。對(duì)抗攻擊可以應(yīng)用于許多領(lǐng)域，其中應(yīng)用最廣泛的是圖像分類(lèi)。通過(guò)添加小的擾動(dòng)，可以生成對(duì)抗的圖像，這些圖像對(duì)人類(lèi)而言很難區(qū)分，但是能造成模型的分類(lèi)錯(cuò)誤。

Szegedy 等人[24]于2014 年提出對(duì)抗攻擊。2019 年，張思思等人[25]介紹了什么是對(duì)抗樣本、對(duì)抗樣本的概念、出現(xiàn)的原因、攻擊方式以及一些關(guān)鍵技術(shù)問(wèn)題。同年，Ling等人[26]開(kāi)發(fā)了一個(gè)統(tǒng)一的評(píng)測(cè)平臺(tái)：DeepSEC。DeepSEC 結(jié)合了對(duì)抗學(xué)習(xí)中16 種攻擊方法、10 種攻擊效用指標(biāo)、13 種防御方法及5 種防御效用指標(biāo)，旨在評(píng)估各種攻擊和防御的有效性。

考慮到不同模型之間的差異，Papernot 等人[27]首次揭示了機(jī)器學(xué)習(xí)領(lǐng)域中對(duì)抗樣本可轉(zhuǎn)移的強(qiáng)烈現(xiàn)象。介紹了支持向量機(jī)和決策樹(shù)的對(duì)抗樣本制作技術(shù)；研究了機(jī)器學(xué)習(xí)領(lǐng)域的對(duì)抗性樣本可遷移性，發(fā)現(xiàn)樣本不管是在使用相同機(jī)器學(xué)習(xí)技術(shù)訓(xùn)練的模型之間，還是在使用不同技術(shù)訓(xùn)練的模型之間，抑或是在使用集體決策的集合之間都遷移得很好。

2.2.2 生成對(duì)抗網(wǎng)絡(luò)

生成式對(duì)抗網(wǎng)絡(luò)（generative adversarial network，GAN）結(jié)構(gòu)是由生成器和判別器組成的。訓(xùn)練過(guò)程中，兩者互相博弈學(xué)習(xí)產(chǎn)生一個(gè)相當(dāng)好的輸出。GAN通過(guò)將生成式深度神經(jīng)網(wǎng)絡(luò)與判別式深度神經(jīng)網(wǎng)絡(luò)相比較，生成一個(gè)似乎是來(lái)自訓(xùn)練集的樣本，當(dāng)判別模型無(wú)法確定樣本是來(lái)自GAN 還是來(lái)自訓(xùn)練集時(shí)，說(shuō)明生成式學(xué)習(xí)是成功的，兩者之間相互影響。

通過(guò)生成對(duì)抗網(wǎng)絡(luò)，Zhang 等人[28]提出一種基于GAN 的端到端攻擊算法，稱(chēng)為生成模型反演攻擊。它可以反演深度神經(jīng)網(wǎng)絡(luò)并以高保真度合成私有訓(xùn)練數(shù)據(jù)。其利用一部分可以通用的公共信息，通過(guò)生成對(duì)抗網(wǎng)絡(luò)學(xué)習(xí)分配先驗(yàn)，并使用它來(lái)指導(dǎo)反演過(guò)程。對(duì)于高度預(yù)測(cè)的模型來(lái)說(shuō)，漏洞是不可避免的，因?yàn)檫@些模型能夠在特征和標(biāo)簽之間建立強(qiáng)相關(guān)性。大量實(shí)驗(yàn)表明，所提出的攻擊將從最先進(jìn)的人臉識(shí)別分類(lèi)器重建人臉圖像的識(shí)別精度提高了約75%。Ren 等人[29]提出了同樣是一種基于GAN 的攻擊模型-生成回歸神經(jīng)網(wǎng)絡(luò)（generative regression neural network，GRNN）。作者將攻擊描述為一個(gè)回歸問(wèn)題，并通過(guò)最小化梯度之間的距離來(lái)優(yōu)化生成模型的兩個(gè)分支。僅通過(guò)提出的生成回歸神經(jīng)網(wǎng)絡(luò)就可以輕松地從共享梯度中完全恢復(fù)基于圖像的隱私數(shù)據(jù)。通過(guò)幾個(gè)圖像分類(lèi)任務(wù)評(píng)估該攻擊方法，結(jié)果表明，提出的生成回歸神經(jīng)網(wǎng)絡(luò)較目前的方法具有更好的穩(wěn)定性、更強(qiáng)的魯棒性和更高的精度?？卒J等人[30]將攻擊算法與GAN 相結(jié)合，提出一種基于GAN的對(duì)抗攻擊防御模型。其利用對(duì)抗攻擊算法生成訓(xùn)練樣本的同時(shí)在模型訓(xùn)練期間加入條件約束來(lái)穩(wěn)定模型，再利用分類(lèi)器對(duì)生成樣本分類(lèi)來(lái)指導(dǎo)GAN 的訓(xùn)練，繼而通過(guò)需要防御的攻擊算法來(lái)生成對(duì)抗樣本以完成判別器的訓(xùn)練，最終得到可以抵御多種對(duì)抗攻擊的分類(lèi)器。

如表5，分別從威脅模型、結(jié)果、具體應(yīng)用等幾個(gè)方面，對(duì)有關(guān)聯(lián)邦學(xué)習(xí)的對(duì)抗攻擊的相關(guān)研究進(jìn)行分類(lèi)概述。

2.3 推理攻擊

推理攻擊也被稱(chēng)作探索攻擊（入侵攻擊）[31]，具體如圖5所示，是指攻擊者通過(guò)某些攻擊方法得到模型的信息（如數(shù)據(jù)集、中間參數(shù)或預(yù)測(cè)結(jié)果等），然后根據(jù)這些信息來(lái)推理獲取目標(biāo)信息，如給定用戶的某條記錄和某個(gè)屬性是否屬于該模型的訓(xùn)練集。雖然在聯(lián)邦學(xué)習(xí)設(shè)置中，參與方上傳模型的梯度信息，將私有數(shù)據(jù)一直保存在用戶本地，但梯度的交換也可能導(dǎo)致隱私泄露[32]。在聯(lián)邦學(xué)習(xí)框架中，攻擊者既可以對(duì)本地模型進(jìn)行攻擊，也可以對(duì)全局模型進(jìn)行攻擊，通過(guò)推理攻擊可以在一定程度上得到有用的信息。通常情況下，推理攻擊只會(huì)影響目標(biāo)模型，使其輸出錯(cuò)誤的結(jié)果，而不會(huì)破壞模型。

圖5 推理攻擊Fig.5 Ⅰnference attack

2.3.1 成員推理

判斷具體的數(shù)據(jù)集是否已被用于訓(xùn)練，稱(chēng)之為成員推理攻擊（membership inference attack，MⅠA）。成員推理攻擊是指攻擊者通過(guò)對(duì)被攻擊模型的應(yīng)用程序編程接口（application programming interface，APⅠ）進(jìn)行訪問(wèn)，獲取大量數(shù)據(jù)從而模仿目標(biāo)模型構(gòu)建出一個(gè)新的模型。攻擊者不需要對(duì)數(shù)據(jù)、模型參數(shù)等進(jìn)行了解，只需要獲得預(yù)測(cè)分類(lèi)的置信度，就可以建立一個(gè)攻擊模型。攻擊者利用擁有的信息和權(quán)限，將數(shù)據(jù)輸入目標(biāo)模型，再將得到的結(jié)果以及數(shù)據(jù)集的標(biāo)簽輸入攻擊模型，就可以判斷該記錄是否存在于目標(biāo)模型的數(shù)據(jù)集。

成員推理攻擊最早由Shokri等人[33]提出，其目的是根據(jù)訓(xùn)練后的模型對(duì)某一樣本是否屬于對(duì)應(yīng)的訓(xùn)練集進(jìn)行判斷，這可能會(huì)導(dǎo)致用戶的隱私信息泄露。成員推理攻擊的目的是確定攻擊對(duì)象是否被用來(lái)訓(xùn)練模型[34]。Melis 等人[35]提出并評(píng)估了幾種針對(duì)協(xié)作學(xué)習(xí)的推理攻擊。這些攻擊使惡意參與者不僅可以推斷成員資格，即其他參與者的訓(xùn)練數(shù)據(jù)中是否存在確切的數(shù)據(jù)點(diǎn)，而且還可以推斷訓(xùn)練數(shù)據(jù)子集的特征屬性，而這些屬性與聯(lián)邦模型旨在捕獲的屬性無(wú)關(guān)。

Nasr 等人[36]設(shè)計(jì)了白盒推理攻擊來(lái)對(duì)深度學(xué)習(xí)模型進(jìn)行全面的隱私分析，通過(guò)充分訓(xùn)練模型的參數(shù)以及訓(xùn)練過(guò)程中模型的參數(shù)更新來(lái)衡量隱私泄漏。另外，他們利用隨機(jī)梯度下降算法（用于訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的算法）的隱私漏洞，設(shè)計(jì)了針對(duì)白盒設(shè)置的新算法，提出一種主動(dòng)攻擊方法：服務(wù)器或惡意方主動(dòng)增加模型在目標(biāo)數(shù)據(jù)的梯度。如果目標(biāo)數(shù)據(jù)為訓(xùn)練集成員，正常參與方會(huì)在后續(xù)迭代中明顯下降模型損失函數(shù)在目標(biāo)數(shù)據(jù)的梯度，成員推斷模型可以檢測(cè)到這種變化，從而提高推斷攻擊的成功率。文獻(xiàn)[37]和[38]都是利用GAN 和分類(lèi)模型實(shí)現(xiàn)成員推斷攻擊。其中，Chen等人[37]提出了一種新的聯(lián)邦學(xué)習(xí)中的用戶級(jí)推理攻擊機(jī)制。從惡意參與者的角度出發(fā)，利用白盒訪問(wèn)模型對(duì)聯(lián)邦學(xué)習(xí)中主動(dòng)和有針對(duì)性的成員推理攻擊進(jìn)行了深入分析。該機(jī)制使用生成對(duì)抗網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)增強(qiáng)，訓(xùn)練的模型以目標(biāo)數(shù)據(jù)為輸入，若輸出的標(biāo)簽與某個(gè)參與方事先聲明的標(biāo)簽一致，則認(rèn)為目標(biāo)數(shù)據(jù)為該參與方訓(xùn)練集的成員，從而實(shí)現(xiàn)針對(duì)特定參與方的成員推斷攻擊。而Zhang等人[38]通過(guò)生成對(duì)抗網(wǎng)絡(luò)從隨機(jī)噪聲中生成新的數(shù)據(jù)樣本。生成的圖像用于查詢目標(biāo)聯(lián)邦學(xué)習(xí)模型以獲取標(biāo)簽，再訓(xùn)練分類(lèi)模型學(xué)習(xí)真實(shí)標(biāo)簽周?chē)念A(yù)測(cè)值分布來(lái)區(qū)分目標(biāo)模型的成員數(shù)據(jù)和非成員數(shù)據(jù)。他們的攻擊模型是以目標(biāo)數(shù)據(jù)的預(yù)測(cè)值和標(biāo)簽為輸入的。

2.3.2 屬性推理

判斷其他參與者所用的數(shù)據(jù)中是否包含某項(xiàng)屬性，稱(chēng)為屬性推理攻擊（property inference attack，PⅠA）。屬性推斷攻擊是攻擊者推斷參與方的訓(xùn)練數(shù)據(jù)的一些敏感隱私屬性，其包括模型任務(wù)相關(guān)屬性推斷和無(wú)關(guān)屬性推斷。

（1）相關(guān)屬性推斷：模型任務(wù)相關(guān)屬性是描述訓(xùn)練數(shù)據(jù)中每類(lèi)數(shù)據(jù)的關(guān)鍵特征，通過(guò)推斷相關(guān)屬性可以重構(gòu)每類(lèi)標(biāo)簽的訓(xùn)練數(shù)據(jù)，因此這種攻擊也可稱(chēng)為數(shù)據(jù)重構(gòu)攻擊。通過(guò)重構(gòu)出來(lái)的數(shù)據(jù)并不是真正的訓(xùn)練數(shù)據(jù)。目前實(shí)現(xiàn)數(shù)據(jù)重構(gòu)攻擊的技術(shù)思路主要包括兩種：利用生成對(duì)抗網(wǎng)絡(luò)重構(gòu)數(shù)據(jù)和將攻擊轉(zhuǎn)化為最優(yōu)化問(wèn)題求解。

文獻(xiàn)[4]和[5]都是利用生成對(duì)抗網(wǎng)絡(luò)實(shí)施數(shù)據(jù)重構(gòu)攻擊。其中，Hitaj等人[5]通過(guò)在惡意方部署生成對(duì)抗網(wǎng)絡(luò)來(lái)重構(gòu)其他參與方特定標(biāo)簽的代表數(shù)據(jù)。然而，這種主動(dòng)攻擊會(huì)降低全局模型的準(zhǔn)確性，可能被檢測(cè)到異常行為并進(jìn)行排除。Wang 等人[4]則提出服務(wù)器可以利用生成對(duì)抗網(wǎng)絡(luò)重構(gòu)特定參與方的訓(xùn)練數(shù)據(jù)。他們通過(guò)在服務(wù)器側(cè)部署多任務(wù)生成對(duì)抗網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)參與方的數(shù)據(jù)分布。在客戶端不是惡意，而服務(wù)器是惡意的假設(shè)條件下，Song等人[39]在Wang等人[4]工作的基礎(chǔ)上進(jìn)一步擴(kuò)展，提出了一種預(yù)先鏈接性攻擊，通過(guò)關(guān)聯(lián)客戶端代表來(lái)重新識(shí)別匿名模型更新。

文獻(xiàn)[40]是將攻擊轉(zhuǎn)化為最優(yōu)化問(wèn)題進(jìn)行求解的。Zhu等人[40]證明了從公開(kāi)共享的梯度中獲得私人訓(xùn)練數(shù)據(jù)是可能的，其將數(shù)據(jù)重構(gòu)攻擊轉(zhuǎn)化成最優(yōu)化問(wèn)題進(jìn)行求解。他們利用模型梯度泄露訓(xùn)練數(shù)據(jù)信息的原理，推論出如果重構(gòu)數(shù)據(jù)可以使全局模型產(chǎn)生和參與方梯度相近的梯度信息，則重構(gòu)數(shù)據(jù)也和參與方的訓(xùn)練數(shù)據(jù)相似。

（2）無(wú)關(guān)屬性推斷：任務(wù)無(wú)關(guān)屬性是指訓(xùn)練數(shù)據(jù)中對(duì)模型任務(wù)不起作用的特征信息，理論上模型不應(yīng)該泄露這類(lèi)隱私，這純粹是模型訓(xùn)練過(guò)程的產(chǎn)物，因此無(wú)關(guān)屬性推斷也稱(chēng)為無(wú)意識(shí)的特征泄露。任務(wù)無(wú)關(guān)屬性不易察覺(jué)且難以檢測(cè)，且可能帶來(lái)嚴(yán)重的隱私風(fēng)險(xiǎn)，因此引起了部分學(xué)者的重視。這類(lèi)攻擊沒(méi)有明確的指向性，具體的攻擊目標(biāo)因人而異。

Melis等人[35]的攻擊目標(biāo)是推斷其他參與方的訓(xùn)練數(shù)據(jù)中是否擁有攻擊者關(guān)心的屬性。作者為參與方實(shí)施屬性推斷攻擊提出被動(dòng)和主動(dòng)兩種模式：在被動(dòng)攻擊中，他們首先計(jì)算全局模型在輔助數(shù)據(jù)集上的梯度，并根據(jù)輔助數(shù)據(jù)是否具有目標(biāo)屬性貼上相應(yīng)的標(biāo)簽，隨后用梯度和標(biāo)簽訓(xùn)練一個(gè)二分類(lèi)器，最終以參與方的模型更新為輸入進(jìn)行分類(lèi)，推斷參與方的訓(xùn)練數(shù)據(jù)是否具有目標(biāo)屬性。而在主動(dòng)攻擊中，一個(gè)主動(dòng)的對(duì)手可以使用多任務(wù)學(xué)習(xí)來(lái)欺騙聯(lián)合模型，使其學(xué)習(xí)對(duì)他感興趣的特征進(jìn)行更好的內(nèi)部分離，從而提取更多的信息。Shen等人[41]提出了一種新的屬性推斷攻擊，利用區(qū)塊鏈輔助聯(lián)邦學(xué)習(xí)中的意外屬性泄漏進(jìn)行智能邊緣計(jì)算。具體來(lái)說(shuō)，這個(gè)主動(dòng)攻擊從參與者的模型更新中學(xué)習(xí)屬性泄漏，并識(shí)別一組具有特定屬性的參與者。作者希望在保證主任務(wù)性能的前提下，推斷訓(xùn)練數(shù)據(jù)具有目標(biāo)屬性的參與方集合。由于攻擊者基于全局模型和輔助數(shù)據(jù)集生成元訓(xùn)練數(shù)據(jù)來(lái)訓(xùn)練攻擊模型，當(dāng)所需的迭代次數(shù)較大時(shí)，訓(xùn)練攻擊模型的時(shí)間成本較高。

表6 分別從威脅模型、結(jié)果、具體應(yīng)用等幾個(gè)方面對(duì)有關(guān)聯(lián)邦學(xué)習(xí)的推理攻擊的相關(guān)研究進(jìn)行分類(lèi)概述。

2.3.3 模型提取

模型提取攻擊（model extraction attack，MEA）是指持續(xù)地向目標(biāo)發(fā)送數(shù)據(jù)，并根據(jù)其響應(yīng)信息推斷出模型的參數(shù)，進(jìn)而生成相似的模型。當(dāng)攻擊者構(gòu)建的模型與原模型預(yù)測(cè)性能相近時(shí)，原模型擁有方數(shù)據(jù)泄露的可能性較大。且攻擊者可以利用生成的模型生成對(duì)抗樣本，對(duì)原模型也有較大威脅。模型提取攻擊針對(duì)已經(jīng)訓(xùn)練好的模型，其目的是竊取模型參數(shù)及非法獲取模型。

Tramer 等人[42]首次提出竊取機(jī)器學(xué)習(xí)分類(lèi)器參數(shù)的攻擊，介紹了一種通過(guò)預(yù)測(cè)APⅠ提取模型的方法。他們通過(guò)發(fā)送大量的查詢建立了模型方程，并得到了相應(yīng)的預(yù)測(cè)結(jié)果。在此之后，Wang 等人[43]為機(jī)器學(xué)習(xí)提供了第一個(gè)關(guān)于超參數(shù)竊取的攻擊，證明了各種機(jī)器學(xué)習(xí)容易受到超參數(shù)竊取攻擊。通過(guò)實(shí)證評(píng)估，這個(gè)攻擊可以準(zhǔn)確地估計(jì)我們所研究的所有機(jī)器學(xué)習(xí)算法的超參數(shù)，且結(jié)合模型參數(shù)竊取攻擊的情況下，這個(gè)攻擊在模型參數(shù)未知的情況下也能準(zhǔn)確估計(jì)超參數(shù)。文獻(xiàn)[44]進(jìn)一步開(kāi)展了超參數(shù)竊取和架構(gòu)提取等工作，在黑盒攻擊條件下成功推斷出神經(jīng)網(wǎng)絡(luò)的隱藏模型結(jié)構(gòu)及其優(yōu)化過(guò)程。

2.3.4 模型逆向

在早期的認(rèn)識(shí)中，訓(xùn)練數(shù)據(jù)集和訓(xùn)練模型之間只有一個(gè)信息流，即從數(shù)據(jù)集到模型。事實(shí)上，許多研究表明還存在一個(gè)逆向信息流，即從模型信息中恢復(fù)數(shù)據(jù)集信息，這稱(chēng)之為模型逆向攻擊（model inversion attack，MⅠA）。模型逆向攻擊是指攻擊者根據(jù)模型的輸入特征，構(gòu)造對(duì)應(yīng)的輸出特征，從而達(dá)到篡改模型參數(shù)或者篡改模型預(yù)測(cè)結(jié)果的目的。

與模型提取攻擊關(guān)注模型的隱私信息不同，模型逆向攻擊關(guān)注數(shù)據(jù)集。Fredrikson等人[45]開(kāi)發(fā)了一類(lèi)新的模型反演攻擊，可用于從機(jī)器學(xué)習(xí)服務(wù)上托管的決策樹(shù)推斷敏感特征，或從面部識(shí)別模型中提取訓(xùn)練對(duì)象的圖像。該攻擊利用了與預(yù)測(cè)一起顯示的置信度值。這個(gè)新攻擊適用于各種環(huán)境。Ateniese等人[46]證明了攻擊機(jī)器學(xué)習(xí)分類(lèi)器并從中推斷出有意義的信息是可能的。作者構(gòu)建了一個(gè)新的元分類(lèi)器，并訓(xùn)練它來(lái)攻擊其他分類(lèi)器以獲得關(guān)于它們的訓(xùn)練集的有意義的信息。元分類(lèi)器可以成功地檢測(cè)和分類(lèi)這些變化，并推斷出有價(jià)值的信息。

2.4 服務(wù)器漏洞

聯(lián)邦學(xué)習(xí)框架中，服務(wù)器的任務(wù)是將參與方上傳的更新參數(shù)進(jìn)行安全聚合，然后將更新后的參數(shù)廣播給參與訓(xùn)練的參與方，以此循環(huán)訓(xùn)練出一個(gè)全局模型[47]。在迭代過(guò)程中，每個(gè)用戶模型的更新信息都需要發(fā)送到服務(wù)器，服務(wù)器可以通過(guò)分析更新信息來(lái)推理出用戶的隱私數(shù)據(jù)信息。這表明整個(gè)系統(tǒng)的中心是服務(wù)器，當(dāng)服務(wù)器受損或者其本身是惡意的，將有可能破壞全局模型，造成巨大損失。

服務(wù)器漏洞是指服務(wù)器本身是惡意的，或者服務(wù)器缺少完整的防御措施導(dǎo)致其容易受到攻擊者攻擊。在目前的聯(lián)邦學(xué)習(xí)架構(gòu)中，參與方在每輪迭代開(kāi)始時(shí)都會(huì)使用聚合服務(wù)器下發(fā)的全局模型覆蓋本地模型，而不會(huì)檢驗(yàn)全局模型的正確性。因此惡意服務(wù)器可以跳過(guò)聚合過(guò)程直接下發(fā)惡意模型，在參與方的本地模型植入后門(mén)，帶來(lái)嚴(yán)重威脅。因?yàn)閻阂夥?wù)器的攻擊方法明顯，且服務(wù)器的安全防護(hù)措施較為完善、攻擊成本高，所以目前相關(guān)的研究較少。

2.4.1 惡意服務(wù)器攻擊

在對(duì)機(jī)器學(xué)習(xí)模型進(jìn)行訓(xùn)練的過(guò)程中，服務(wù)器能輕松地提取用戶數(shù)據(jù)或操縱全局模型，以利用共享計(jì)算能力來(lái)構(gòu)建惡意任務(wù)[47]。這給聯(lián)邦學(xué)習(xí)帶來(lái)了很大的安全隱患，它使得攻擊者能夠通過(guò)服務(wù)器直接訪問(wèn)全局模型，從而擴(kuò)大了攻擊者的攻擊范圍。在聯(lián)邦學(xué)習(xí)的訓(xùn)練過(guò)程，服務(wù)器能夠控制每一個(gè)參與方在什么時(shí)候?qū)δＰ瓦M(jìn)行訪問(wèn)與操作，因此，當(dāng)服務(wù)器是惡意的，它可以設(shè)計(jì)新的方案去度量模型的平均情形或最差情形下的攻擊敏感性[48]，從而設(shè)計(jì)出最低成本的攻擊方案。

考慮服務(wù)器有可能是惡意的，Wang等人[4]首次嘗試通過(guò)來(lái)自惡意服務(wù)器的攻擊來(lái)探索針對(duì)聯(lián)合學(xué)習(xí)的用戶級(jí)隱私漏洞，其提出了一個(gè)將生成對(duì)抗網(wǎng)絡(luò)與多任務(wù)鑒別器相結(jié)合的框架。該框架可以同時(shí)識(shí)別輸入樣本的類(lèi)別和客戶身份，對(duì)客戶端身份的區(qū)分使生成器能夠恢復(fù)用戶指定的私有數(shù)據(jù)。此外，服務(wù)器所處網(wǎng)絡(luò)環(huán)境的安全性也很重要。當(dāng)服務(wù)器工作在較為危險(xiǎn)的網(wǎng)絡(luò)環(huán)境中時(shí)，受到攻擊的概率會(huì)大大增加[49]。因此，強(qiáng)大而安全的服務(wù)器是必要的。

2.4.2 女巫攻擊

在聯(lián)邦學(xué)習(xí)中，聯(lián)邦學(xué)習(xí)的參與方與服務(wù)器是彼此相互信任的，雙方都應(yīng)該保持公平、誠(chéng)實(shí)的態(tài)度。女巫攻擊（sybil attack，SA）是指利用少數(shù)節(jié)點(diǎn)可能含有多個(gè)虛假身份，從而利用其去控制或影響大部分節(jié)點(diǎn)。女巫攻擊的攻擊手段主要分為：直接和間接通信、偽造身份、盜用身份、同時(shí)和非同時(shí)攻擊等。在聯(lián)邦學(xué)習(xí)架構(gòu)中，攻擊者可以通過(guò)控制服務(wù)器來(lái)偽造或控制大量的參與方發(fā)動(dòng)攻擊，得到其所需的信息。該攻擊對(duì)聯(lián)邦學(xué)習(xí)協(xié)議的安全造成了威脅。同時(shí)，一些聯(lián)邦學(xué)習(xí)系統(tǒng)為了保護(hù)用戶的隱私，會(huì)將用戶的信息打亂，這將使分辨誠(chéng)實(shí)用戶和惡意用戶變得更加困難，抵御女巫攻擊的難度大大上升。

由于聯(lián)邦學(xué)習(xí)只需要參與者訓(xùn)練過(guò)程的信息，對(duì)參與者本身及其數(shù)據(jù)的情況沒(méi)有任何限制，聯(lián)邦學(xué)習(xí)現(xiàn)有的防御機(jī)制難以抵御女巫攻擊。

3 聯(lián)邦學(xué)習(xí)中的防御機(jī)制

針對(duì)上述列出的攻擊手段，本文搜集了一些常用的防御措施，涵蓋了針對(duì)大部分攻擊手段可以通用的防御措施以及具體針對(duì)上述提出的各類(lèi)不同的攻擊手段可以實(shí)施的防御措施。使用通用性的防御措施可以同時(shí)防御大部分攻擊，但其針對(duì)性不強(qiáng)，對(duì)于針對(duì)某一類(lèi)攻擊方式的防御效果較差。而使用某一類(lèi)針對(duì)性的防御措施往往對(duì)針對(duì)的攻擊手段防御效果較好，卻忽略了遭受到其他攻擊時(shí)的影響。

3.1 通用性防御機(jī)制

針對(duì)第2章所提出的聯(lián)邦學(xué)習(xí)可能遭受到的攻擊，本節(jié)闡述了所采取的通用性防御措施。

3.1.1 差分隱私

差分隱私最早由Dwork等人[50]提出，用來(lái)克服不斷涌現(xiàn)的隱私攻擊以及當(dāng)前隱私保護(hù)機(jī)制存在的不足。當(dāng)參與者將信息發(fā)送給服務(wù)器時(shí)，信息極有可能會(huì)被泄露。為了防止這種情況發(fā)生，在發(fā)送更新信息之前給信息加入差分隱私，這可以有效防止攻擊者逆向推理出用戶的數(shù)據(jù)。差分隱私技術(shù)通過(guò)對(duì)數(shù)據(jù)添加噪聲來(lái)實(shí)現(xiàn)數(shù)據(jù)模糊化，從而減少了敏感數(shù)據(jù)的泄露，使得即使攻擊者通過(guò)攻擊手段得到了部分信息也無(wú)法推理原始數(shù)據(jù)。在參與方上傳更新信息之前，對(duì)更新信息進(jìn)行差分隱私，則無(wú)需考慮服務(wù)器是否可信。差分隱私是一種通過(guò)引入隨機(jī)性來(lái)確保隱私的方法，其通過(guò)犧牲一定的準(zhǔn)確度達(dá)到更高的隱私安全。差分隱私根據(jù)不同的信任假設(shè)和噪聲源，被分為三類(lèi)：本地化差分隱私[51]（local differential privacy，LDP）、分布式差分隱私（distributed differential privacy，DDP）[52-54]、中心化差分隱私（centralized differential privacy，CDP）[51]。若融合了兩種或以上的差分隱私方法則稱(chēng)為混合差分隱私（hybrid differential privacy，HDP）[55]。當(dāng)前，差分隱私技術(shù)的研究重點(diǎn)是在于如何保障隱私的同時(shí)，盡可能地保留原始數(shù)據(jù)中的有用信息，從而實(shí)現(xiàn)對(duì)隱私的有效保護(hù)。

McMahan等人[2]提出聯(lián)邦學(xué)習(xí)，在2017年向聯(lián)邦學(xué)習(xí)環(huán)境添加用戶級(jí)別的差分隱私[56]，在訓(xùn)練模型的過(guò)程中不過(guò)分犧牲模型的質(zhì)量而又保護(hù)個(gè)人的數(shù)據(jù)隱私。Choudhury 等人[57]成功地將差分隱私引入聯(lián)邦學(xué)習(xí)，保護(hù)了模型免受潛在的隱私攻擊，為聯(lián)邦學(xué)習(xí)框架提供更高級(jí)別的隱私。Geyer等人[58]提出了一種客戶端差分隱私保護(hù)聯(lián)邦優(yōu)化的算法，致力于在隱私保護(hù)和模型性能之間取得平衡。Bhowmick等人[59]設(shè)計(jì)了新的最優(yōu)局部差分私有機(jī)制，提出了大規(guī)模局部私有模型訓(xùn)練的適用方法，適用于聯(lián)邦學(xué)習(xí)系統(tǒng)。Abadi 等人[60]在聯(lián)邦學(xué)習(xí)的場(chǎng)景下，通過(guò)差分隱私來(lái)保證模型不會(huì)透露參與方是否參與了訓(xùn)練，維持了客戶級(jí)的差異隱私。

3.1.2 同態(tài)加密

同態(tài)加密（homomorphic encryption，HE）是指將原始數(shù)據(jù)經(jīng)過(guò)同態(tài)加密以后，對(duì)得到的密文進(jìn)行特定的代數(shù)運(yùn)算，然后將計(jì)算結(jié)果再進(jìn)行同態(tài)解密后得到的明文與直接在明文上進(jìn)行相同運(yùn)算得到的結(jié)果相同。根據(jù)對(duì)密文上進(jìn)行操作的種類(lèi)和次數(shù)，同態(tài)加密可以被分為三大類(lèi)：半同態(tài)加密[61]（partially homomorphic encryption，PHE）、部分同態(tài)加密[62]（somewhat homomorphic encryption，SWHE）以及全同態(tài)加密[63-65]（fully homomorphic encryption，F(xiàn)HE）。半同態(tài)加密僅支持一種同態(tài)運(yùn)算，但運(yùn)算支持執(zhí)行無(wú)限次。部分同態(tài)加密支持多種同態(tài)運(yùn)算，但是運(yùn)算的次數(shù)有限。全同態(tài)加密支持無(wú)限次運(yùn)算及所有種類(lèi)同態(tài)運(yùn)算。全同態(tài)加密理論上支持對(duì)密文進(jìn)行任意計(jì)算，但其運(yùn)算量過(guò)大，存儲(chǔ)開(kāi)銷(xiāo)大，效率較低。相較全同態(tài)加密而言，部分同態(tài)加密更加高效，因此在具體實(shí)施中部分同態(tài)加密常常被優(yōu)先使用。

隨著硬件的發(fā)展，實(shí)現(xiàn)同態(tài)加密與其他安全方法的結(jié)合成為可能。Madi 等人[66]提出了第一個(gè)聯(lián)邦學(xué)習(xí)框架，該框架在不向聚合服務(wù)器公開(kāi)最終模型的情況下，通過(guò)結(jié)合同態(tài)加密與可驗(yàn)證計(jì)算技術(shù)，可以安全地抵御來(lái)自聚合服務(wù)器的機(jī)密性和完整性威脅。Phong等人[67]提出了一個(gè)新的深度學(xué)習(xí)系統(tǒng)來(lái)保護(hù)誠(chéng)實(shí)但好奇的云服務(wù)器上的梯度，其中許多學(xué)習(xí)參與者在所有的組合數(shù)據(jù)集上執(zhí)行基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)，并結(jié)合加法同態(tài)來(lái)保證隱私安全，從而使得參與者的本地?cái)?shù)據(jù)不會(huì)透露給中央服務(wù)器。

然而在目前，同態(tài)加密還無(wú)法直接用于聯(lián)邦學(xué)習(xí)，例如，在協(xié)作式場(chǎng)景下，哪些用戶應(yīng)該擁有密鑰還沒(méi)有得到解決。對(duì)此，Reyzin等人[68]對(duì)自定義閾值加密的可能性和局限性進(jìn)行了系統(tǒng)的研究，并介紹了可擴(kuò)展多方計(jì)算的密鑰應(yīng)用。一旦公鑰被分發(fā)，除了中央服務(wù)器之外的所有各方只發(fā)送和接收短消息，其大小與參與者的數(shù)量無(wú)關(guān)。文獻(xiàn)[69]通過(guò)使用稀疏向量技術(shù)與加密技術(shù)的組合來(lái)實(shí)現(xiàn)在不可信設(shè)備間執(zhí)行求和計(jì)算。兩者通過(guò)分布式密鑰去解決上述問(wèn)題。

3.1.3 秘密共享

秘密共享（secret sharing，SS）是現(xiàn)代密碼學(xué)領(lǐng)域的一個(gè)重要分支，是保證信息安全和數(shù)據(jù)保密的重要手段，也是多方安全計(jì)算和聯(lián)邦學(xué)習(xí)等領(lǐng)域的一個(gè)基礎(chǔ)應(yīng)用技術(shù)。其主要用于保護(hù)用戶的隱私信息，包括用戶的身份、地址等，防止信息丟失、被破壞或被篡改。秘密共享的機(jī)制主要由秘密的分發(fā)者、參與者、分配算法、恢復(fù)算法等構(gòu)成。秘密共享通過(guò)使用合適的方式和將秘密進(jìn)行拆分，并將拆分后的秘密分享給不同的參與者，使得只有多于一定數(shù)量的參與者一同合作才可以計(jì)算或恢復(fù)秘密，當(dāng)少于規(guī)定的數(shù)量時(shí)無(wú)法得到秘密。目前實(shí)現(xiàn)秘密共享一共有三種技術(shù)方案：一是基于插值多項(xiàng)式的秘密共享：Shamir 方案[70]；二是基于超平面幾何的秘密共享：Blakley方案[71]；三是Asmuth等人[72]提出的基于中國(guó)剩余定理的秘密共享。

隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展，谷歌提出的聯(lián)邦學(xué)習(xí)系統(tǒng)面臨著移動(dòng)設(shè)備通常無(wú)法與其他移動(dòng)設(shè)備建立直接的通信通道，移動(dòng)設(shè)備本機(jī)也無(wú)法驗(yàn)證其他移動(dòng)設(shè)備的挑戰(zhàn)。Bonawitz 等人[73]考慮在聯(lián)邦學(xué)習(xí)模型中訓(xùn)練一個(gè)深度神經(jīng)網(wǎng)絡(luò)，在移動(dòng)設(shè)備上對(duì)用戶持有的訓(xùn)練數(shù)據(jù)使用分布式梯度下降，使用安全聚合來(lái)保護(hù)每個(gè)用戶的模型梯度的隱私。其通過(guò)在協(xié)議中添加一個(gè)含有一個(gè)秘密共享循環(huán)的初始回合，用來(lái)保證惡意服務(wù)器無(wú)法提取梯度信息。為了進(jìn)一步加強(qiáng)數(shù)據(jù)隱私和安全，秘密共享方案也在更新。Han等人[74]提出了一種支持深度神經(jīng)網(wǎng)絡(luò)隱私保護(hù)的可驗(yàn)證聯(lián)邦訓(xùn)練方案，提出了可驗(yàn)證秘密共享（verifiable secret sharing，VSS）。可驗(yàn)證秘密共享是基于以往的密碼共享升級(jí)而來(lái)，其實(shí)現(xiàn)了用戶的隱私保護(hù)，并且驗(yàn)證服務(wù)器返回結(jié)果的正確性。除了進(jìn)行更新之外，秘密共享還被嘗試與其他安全方法進(jìn)行結(jié)合。Fereidooni等人[75]在聯(lián)邦學(xué)習(xí)框架下高效地結(jié)合了可驗(yàn)證秘密共享與全同態(tài)加密，既發(fā)揮了聯(lián)邦學(xué)習(xí)分布式的優(yōu)點(diǎn)，又進(jìn)一步加強(qiáng)了整個(gè)系統(tǒng)的安全性。

表7 總結(jié)了上述相關(guān)針對(duì)聯(lián)邦學(xué)習(xí)可能遭受到的攻擊所采取的通用性防御措施的研究。

表7 通用性聯(lián)邦學(xué)習(xí)可能遭受攻擊的防御措施Table 7 Defense measures against potential attacks in universal federated learning

3.2 針對(duì)性防御機(jī)制

如圖6所示，針對(duì)前文所提出的聯(lián)邦學(xué)習(xí)可能遭受到的攻擊，本節(jié)闡述了防御的思路，為后續(xù)研究人員在建設(shè)相關(guān)系統(tǒng)，抵抗有關(guān)攻擊時(shí)提供思路。

圖6 針對(duì)性防御措施Fig.6 Targeted defense measures

3.2.1 防御投毒攻擊

投毒攻擊在聯(lián)邦學(xué)習(xí)中是一種常見(jiàn)的攻擊，通過(guò)數(shù)據(jù)投毒和模型投毒這兩種方式進(jìn)行。

首先考慮數(shù)據(jù)投毒攻擊。系統(tǒng)遭受這種攻擊的根本原因是沒(méi)有考慮到用戶的數(shù)據(jù)可能是錯(cuò)誤的，甚至可能遭遇攻擊者破壞。因此，針對(duì)這一攻擊的防御措施大部分是在模型進(jìn)行訓(xùn)練前仔細(xì)檢查數(shù)據(jù)來(lái)源，確保數(shù)據(jù)的安全性以及完整性。一種常用的防御措施是在用戶進(jìn)行訓(xùn)練之前，對(duì)數(shù)據(jù)進(jìn)行檢測(cè)，確定其是否安全。Baracaldo等人[76]使用了一種檢測(cè)和過(guò)濾有毒數(shù)據(jù)方法：使用相關(guān)訓(xùn)練集中數(shù)據(jù)點(diǎn)的起源和轉(zhuǎn)換的上下文信息來(lái)識(shí)別有毒數(shù)據(jù)，從而使在線和定期重新訓(xùn)練的機(jī)器學(xué)習(xí)應(yīng)用程序能夠在潛在的對(duì)抗環(huán)境中使用數(shù)據(jù)源。這個(gè)方法是第一個(gè)將來(lái)源信息作為過(guò)濾算法的一部分來(lái)檢測(cè)致病攻擊的方法。還提出了該方法的兩種變體：一種適用于部分可信的數(shù)據(jù)集；另一種適用于完全不可信的數(shù)據(jù)集。除上述提出的通過(guò)提前檢測(cè)數(shù)據(jù)來(lái)防御中毒攻擊外，還可以在訓(xùn)練之前轉(zhuǎn)換數(shù)據(jù)使攻擊者無(wú)法確定轉(zhuǎn)換機(jī)制來(lái)對(duì)中毒攻擊進(jìn)行防御；在模型進(jìn)行訓(xùn)練之前使用身份認(rèn)證機(jī)制確保參與者是可信地來(lái)對(duì)中毒攻擊進(jìn)行防御等。

其次考慮模型投毒攻擊。在防御模型投毒攻擊時(shí)，主要是通過(guò)對(duì)模型參數(shù)進(jìn)行檢測(cè)來(lái)達(dá)到防御的目的。可以通過(guò)限制每個(gè)用戶貢獻(xiàn)的數(shù)據(jù)量、對(duì)參與方進(jìn)行獎(jiǎng)懲機(jī)制或根據(jù)數(shù)量使用衰減權(quán)重實(shí)現(xiàn)等方式實(shí)現(xiàn)對(duì)模型攻擊的防御。比如，在每一輪更新之后，對(duì)參與者上傳的參數(shù)進(jìn)行檢測(cè)，當(dāng)某個(gè)參與方提交的參數(shù)與其他參與方的參與差異較大時(shí)，則認(rèn)為該參與方這輪上傳的參數(shù)是異常的，在后續(xù)進(jìn)行參數(shù)聚合時(shí)將不會(huì)將其考慮在內(nèi)。Andreina 等人[77]設(shè)計(jì)了一個(gè)針對(duì)模型中毒的解決方案，這個(gè)方案使用一種現(xiàn)成的方法在每個(gè)參與方本地比較更新模型的分類(lèi)性能與前一個(gè)模型的分類(lèi)性能，丟棄出現(xiàn)意外行為的更新。這個(gè)方案通過(guò)確保與安全更新聚合的完全兼容，有效地保證了客戶數(shù)據(jù)的隱私。

3.2.2 防御對(duì)抗攻擊

對(duì)抗攻擊是攻擊者通過(guò)操縱輸入數(shù)據(jù)來(lái)欺騙模型給出假陽(yáng)性結(jié)果。應(yīng)對(duì)該類(lèi)攻擊最流行的策略是進(jìn)行對(duì)抗訓(xùn)練，即將真實(shí)數(shù)據(jù)集和對(duì)抗樣本結(jié)合進(jìn)行訓(xùn)練，再對(duì)訓(xùn)練后的模型進(jìn)行分析與改進(jìn)。這種類(lèi)型的訓(xùn)練可以提高模型的魯棒性和穩(wěn)定性，適用于多種監(jiān)督問(wèn)題[78]；另一種應(yīng)對(duì)對(duì)抗性攻擊的技術(shù)是數(shù)據(jù)增強(qiáng)技術(shù)[79]。在這種情況下，原始數(shù)據(jù)被隨機(jī)改變，以提高模型的泛化能力，這可以用來(lái)對(duì)抗圖像裁剪、圖像縮放等攻擊。Liang等人[80]在不需要任何攻擊技術(shù)的先驗(yàn)知識(shí)這一基礎(chǔ)之上，提出了一種檢測(cè)對(duì)抗性圖像示例的簡(jiǎn)單方法可以直接部署到未經(jīng)修改的深度神經(jīng)網(wǎng)絡(luò)模型中，能有效地檢測(cè)對(duì)抗性樣本。Shah 等人[81]研究在聯(lián)邦學(xué)習(xí)環(huán)境中使用對(duì)抗性訓(xùn)練的可行性，提出了一種在聯(lián)邦環(huán)境中執(zhí)行對(duì)抗性訓(xùn)練的新算法用于提高聯(lián)邦對(duì)抗性訓(xùn)練的性能。

3.2.3 防御推理攻擊

通常，使用推理方式成功實(shí)現(xiàn)攻擊比實(shí)現(xiàn)其他類(lèi)型的攻擊難度更大。成功實(shí)現(xiàn)推理攻擊不僅要求攻擊者能夠成功提取到用戶級(jí)別以上的部分，還要求攻擊者具備一定的知識(shí)能對(duì)提取到的信息進(jìn)行有效地分析和推理。推理攻擊分為成員推理攻擊與屬性推理攻擊。針對(duì)推理攻擊，最常用的防御手段是進(jìn)行同態(tài)加密。當(dāng)系統(tǒng)使用了同態(tài)加密之后，即使攻擊者成功從系統(tǒng)中獲取了信息，也只會(huì)獲得密文，而沒(méi)有密鑰的攻擊者無(wú)法將其解密為明文，即攻擊也無(wú)法成功。此外，當(dāng)攻擊者想要針對(duì)全局模型進(jìn)行攻擊，由于攻擊者一般無(wú)法得知系統(tǒng)內(nèi)部的聚合規(guī)則，則使用安全聚合算法也可抵御該攻擊。除了使用上述提到的以及其他常用的如差分隱私和秘密共享等進(jìn)行防御之外，還有一些專(zhuān)門(mén)針對(duì)該攻擊的防御措施，例如模型堆疊[69]。文獻(xiàn)[82]提出了一個(gè)安全聚合框架，采用多組循環(huán)策略來(lái)實(shí)現(xiàn)高效的模型聚合，并利用附加秘密共享和新穎的編碼技術(shù)來(lái)注入聚合冗余，以便在保證用戶隱私的同時(shí)處理用戶退出，大大提高了實(shí)現(xiàn)推理攻擊的難度。

3.2.4 防御服務(wù)器漏洞

當(dāng)服務(wù)器出現(xiàn)漏洞時(shí)，極易受到攻擊者攻擊。針對(duì)此類(lèi)攻擊，可以使用可信執(zhí)行環(huán)境（trusted execution environment，TEE）來(lái)進(jìn)行防御。TEE 采用硬件隔離的手段來(lái)保護(hù)服務(wù)器，可以有效地防止病毒感染以及其他惡意攻擊。其提供更安全的網(wǎng)絡(luò)環(huán)境，有效地提高服務(wù)器的安全性。TEE實(shí)現(xiàn)了獨(dú)立執(zhí)行環(huán)境和安全存儲(chǔ)，保證了信息的機(jī)密性和完整性。通過(guò)利用TEE，Chen 等人[83]將參與方的本地模型訓(xùn)練和服務(wù)器的聚合過(guò)程都加載到TEE的飛地中執(zhí)行，且參與方和聚合服務(wù)器間的模型交互也是經(jīng)由飛地間的安全通道完成。一方面保證本地訓(xùn)練過(guò)程的完整性，避免攻擊者跳過(guò)或干擾本地訓(xùn)練，上傳偽造的模型更新；另一方面防止惡意服務(wù)器無(wú)視參與方上傳的更新，直接下發(fā)惡意模型。

表8 總結(jié)了上述相關(guān)針對(duì)聯(lián)邦學(xué)習(xí)可能遭受到的攻擊所采取針對(duì)性防御措施的研究。

表8 針對(duì)聯(lián)邦學(xué)習(xí)可能遭受攻擊的防御措施Table 8 Defense measures against potential attacks on federated learning

4 未來(lái)研究方向

通過(guò)以上研究發(fā)現(xiàn)，無(wú)論是從提高攻擊效果，還是從增強(qiáng)聯(lián)邦學(xué)習(xí)安全性，都有很大的研究空間。聯(lián)邦學(xué)習(xí)未來(lái)可能的研究方向具體可從以下幾個(gè)方面入手。

（1）通用攻擊方法：聯(lián)邦學(xué)習(xí)由于數(shù)據(jù)的樣本量和其特性分為不同的聯(lián)邦學(xué)習(xí)，而無(wú)論對(duì)于其中的哪一種聯(lián)邦學(xué)習(xí)，都應(yīng)該致力于研究一種通用的攻擊方法。而目前的攻擊方法使用條件相對(duì)苛刻，難以滿足需求。因此，如何設(shè)計(jì)一個(gè)高效且通用的攻擊方法是一個(gè)重要的研究方向。

（2）相互適應(yīng)的防御措施：聯(lián)邦學(xué)習(xí)最初被提出時(shí)，假設(shè)了攻擊者無(wú)法從不可逆的模型信息中推斷隱私信息。但最近的研究發(fā)現(xiàn)，許多的研究者通過(guò)不同的手段恢復(fù)了原始數(shù)據(jù)。雖然部分攻擊可被多方安全計(jì)算成功防御，然而會(huì)導(dǎo)致服務(wù)器只能收集到密文而無(wú)法對(duì)數(shù)據(jù)進(jìn)行分析，這樣會(huì)導(dǎo)致聯(lián)邦學(xué)習(xí)系統(tǒng)難以抵御其他類(lèi)型攻擊。因此，如何合理地結(jié)合多種防御措施是一個(gè)重要的研究方向。

（3）數(shù)據(jù)質(zhì)量問(wèn)題：由于原始數(shù)據(jù)存儲(chǔ)在各參與者處，服務(wù)器無(wú)法直接訪問(wèn)數(shù)據(jù)，因此很難確保數(shù)據(jù)的完整性、數(shù)據(jù)標(biāo)簽的正確性等。并且，聯(lián)邦學(xué)習(xí)的參與方眾多，其數(shù)據(jù)異構(gòu)性大，相互之間的異構(gòu)程度不明確。則當(dāng)數(shù)據(jù)量較小時(shí)，往往會(huì)導(dǎo)致罕見(jiàn)樣本的出現(xiàn)，這就使得模型的訓(xùn)練和驗(yàn)證變得更加困難，模型更容易受到攻擊。因此，如何實(shí)現(xiàn)對(duì)惡意用戶數(shù)據(jù)的驗(yàn)證來(lái)保證數(shù)據(jù)的質(zhì)量是一個(gè)重要研究方向。

隨著聯(lián)邦學(xué)習(xí)技術(shù)的不斷發(fā)展，針對(duì)數(shù)據(jù)隱私的攻擊手段將會(huì)越來(lái)越豐富，因此需要進(jìn)一步探索和研究如何加強(qiáng)系統(tǒng)安全性，更加有效地保護(hù)數(shù)據(jù)隱私。

5 結(jié)束語(yǔ)

在人工智能技術(shù)不斷發(fā)展和普及的過(guò)程中，人們?cè)谙硎艿郊夹g(shù)帶來(lái)便利的同時(shí)，對(duì)于隱私保護(hù)的要求也在不斷地提升。聯(lián)邦學(xué)習(xí)應(yīng)運(yùn)而生。聯(lián)邦學(xué)習(xí)可以有效解決跨設(shè)備之間的數(shù)據(jù)融合問(wèn)題。然而，聯(lián)邦學(xué)習(xí)仍存在大量的安全隱患，比如用戶設(shè)備的異構(gòu)性、數(shù)據(jù)的隱私性等。為此，聯(lián)邦學(xué)習(xí)需要在多環(huán)節(jié)從多角度考慮數(shù)據(jù)的安全問(wèn)題。本文首先從聯(lián)邦學(xué)習(xí)的工作原理、類(lèi)型及可能存在的安全問(wèn)題出發(fā)，進(jìn)行闡述；繼而對(duì)其中的幾種典型的攻擊手段和防御措施進(jìn)行了梳理總結(jié)；最后對(duì)其未來(lái)所面臨的問(wèn)題和研究方向進(jìn)行了展望。隨著隱私保護(hù)的重要性不斷提高，聯(lián)邦學(xué)習(xí)作為新的研究熱點(diǎn)逐漸受到了學(xué)術(shù)界的廣泛關(guān)注，有關(guān)聯(lián)邦學(xué)習(xí)的研究有待深入發(fā)展，本文工作為相關(guān)研究者提供了參考。