基于隱私推斷Non-IID聯(lián)邦學習模型的后門攻擊研究

梅皓琛　李高磊　楊瀟

摘? 要：聯(lián)邦學習安全與隱私在現(xiàn)實場景中受數(shù)據(jù)異構(gòu)性的影響很大，為了研究隱私推斷攻擊、后門攻擊與數(shù)據(jù)異構(gòu)性的相互作用機理，提出一種基于隱私推斷的高隱蔽后門攻擊方案。首先基于生成對抗網(wǎng)絡進行客戶端的多樣化數(shù)據(jù)重建，生成用于改善攻擊者本地數(shù)據(jù)分布的補充數(shù)據(jù)集；在此基礎上，實現(xiàn)一種源類別定向的后門攻擊策略，不僅允許使用隱蔽觸發(fā)器控制后門是否生效，還允許攻擊者任意指定后門針對的源類別數(shù)據(jù)?；贛NIST、CIFAR 10和YouTube Aligned Face三個公開數(shù)據(jù)集的仿真實驗表明，所提方案在數(shù)據(jù)非獨立同分布的聯(lián)邦學習場景下有著較高的攻擊成功率和隱蔽性。

關鍵詞：聯(lián)邦學習；非獨立同分布數(shù)據(jù)；后門攻擊；隱私推斷攻擊

中圖分類號：TP309；TP181；TP393 文獻標識碼：A 文章編號：2096-4706（2023）19-0167-05

Research on Backdoor Attack Based on Privacy Inference Non-IID Federated Learning Model

MEI Haochen， LI Gaolei， YANG Xiao

（School of Electronic Information and Electrical Engineering， Shanghai Jiao Tong University， Shanghai? 200240， China）

Abstract： Federated learning security and privacy are greatly affected by data heterogeneity in real scenarios. In order to study the interaction mechanism between privacy inference attacks， backdoor attacks， and data heterogeneity， a high covert backdoor attack scheme based on privacy inference is proposed. Firstly， based on generating adversarial networks， diverse data reconstruction is performed on the client side， generating supplementary datasets to improve the local data distribution of attackers; On this basis， a source category oriented backdoor attack strategy is implemented， which not only allows the use of hidden triggers to control whether the backdoor is effective， but also allows attackers to arbitrarily specify the source category data targeted by the backdoor. Simulation experiments based on three public datasets， MNIST， CIFAR 10， and YouTube Aligned Face， show that the proposed scheme has a high attack success rate and concealment in federated learning scenarios with non independent identically distributed data.

Keywords： federated learning; non independent identically distributed data; backdoor attack; privacy inference attack

0? 引? 言

聯(lián)邦學習為合作學習提供了一種新范式，它允許多個參與方在不共享本地私有數(shù)據(jù)的情況下共同訓練全局模型[1]。然而，在提供隱私保護的同時，聯(lián)邦學習也暴露出了比集中式學習更大的攻擊面。最典型的威脅之一來自惡意客戶端，其可以通過上傳精心設計的本地更新對全局模型發(fā)起投毒攻擊。其中，后門攻擊作為一種目標性投毒攻擊，以其隱蔽性和威脅性著稱，其目的是誘導模型在特定情況下產(chǎn)生錯誤行為，而在原始任務上性能不受影響[2]。

后門攻擊自提出以來已在傳統(tǒng)集中式機器學習中得到廣泛研究，并且出現(xiàn)了許多強力變體。盡管已有一系列的研究[3-6]證明了向聯(lián)邦學習中植入后門的可能性，但在這樣一個復雜的分布式系統(tǒng)中，保持后門的長期有效性依然具有很大的挑戰(zhàn)性。首先，來自良性客戶端的更新會削弱有毒更新的影響（特別是當惡意客戶端的占比很小時），這使全局模型快速“遺忘”后門。其次，數(shù)據(jù)異構(gòu)性會導致本地模型在分布不均衡的數(shù)據(jù)上過擬合，且本地惡意數(shù)據(jù)分布與全局數(shù)據(jù)分布之間的差異對后門有效性也有著重大影響。

為緩解在聯(lián)邦學習中數(shù)據(jù)異構(gòu)性帶來的限制，本文提出了一種基于隱私推斷的高隱蔽性后門攻擊方案。該方案首先利用生成對抗網(wǎng)絡（Generative Adversarial Networks， GAN）構(gòu)建由兼具真實性與多樣性的重建樣本組成的補充數(shù)據(jù)集，以減少本地和全局數(shù)據(jù)分布之間的差距。具體而言，本文以標簽分布偏差[7，8]這一Non-IID場景作為主要研究對象。如圖1所示，每個客戶端只能訪問所有數(shù)據(jù)類的一個子集?；诖?，本文設計了一種更靈活和隱蔽的源類別定向性后門學習策略，該策略可以使得不同的源類別數(shù)據(jù)對于后門具有不同的易感性。除此之外，本文提出的后門攻擊策略可以集成到現(xiàn)有的聯(lián)邦學習后門攻擊[3，9，10]中以提高其在數(shù)據(jù)異構(gòu)場景下的有效性和隱蔽性。

本文主要貢獻可以概括如下：

1）針對數(shù)據(jù)異構(gòu)性場景下的聯(lián)邦學習提出了一種新型的基于隱私推斷的高隱蔽性后門攻擊方案，利用基于GAN的多樣化數(shù)據(jù)重建機制來改善惡意客戶端的本地數(shù)據(jù)分布進而提高后門攻擊成功率。

2）提出了一種具有源類別定向性的后門學習策略，使得惡意客戶端可以在缺乏相關數(shù)據(jù)的情況下攻擊任何指定的類別，以此提高攻擊的靈活性和隱蔽性。

1? 基于隱私推斷的高隱蔽性后門攻擊

1.1? 威脅模型

1.1.1? 攻擊者目標

如圖2所示，在整個攻擊過程中有兩個主要且連貫的目標：隱私數(shù)據(jù)重建和源類別定向性后門學習。在第一階段，攻擊者旨在從全局模型中重建不同數(shù)據(jù)類的高質(zhì)量樣本，以改善其本地數(shù)據(jù)分布。第二階段，攻擊者的目標是在模型中注入一個只作用于指定類的后門，從而決定不同客戶端對后門觸發(fā)的易感性和免疫性。

1.1.2? 攻擊者能力

由于攻擊者位于客戶端，其擁有的知識僅包括本地部分類別的數(shù)據(jù)和每一輪收到的全局模型參數(shù)。攻擊者的能力也僅限于利用上述信息在本地策劃惡意訓練，并通過上傳有毒更新來影響全局模型。

1.2? 多樣化數(shù)據(jù)重建

為了解決數(shù)據(jù)缺失的問題，我們設計了一種基于GAN的多樣化數(shù)據(jù)重建機制來生成補充數(shù)據(jù)集，以改善攻擊者的本地數(shù)據(jù)分布。GAN由生成器和判別器組成，其中生成器通過學習分布之間的映射來訓練生成所需樣本，例如從隨機高斯噪聲z到真實分布preal的樣本x；判別器被訓練用以區(qū)分真實圖像和生成器生成的圖像。

然而，由于缺乏真實數(shù)據(jù)，攻擊者無法在本地訓練判別器以向生成器提供有效反饋。因此，本文將聯(lián)邦學習全局模型視為判別器（因為分類可以被視為一種更具體的判別任務[11]），并從真實性和多樣性兩個方面來設計生成器損失函數(shù)。

1.2.1? 面向真實性的損失函數(shù)設計

令ysm = D（x） ∈ RN為判別器（即全局模型）對于輸入x的Softmax層輸出，令yoh ∈ RN為ysm對應的獨熱向量，則可以定義獨熱損失函數(shù)為：

其中，Hce表示交叉熵損失函數(shù)。獨熱損失函數(shù)可以促使生成圖像輸入到全局模型得到的Softmax輸出接近于獨熱向量的形式，即生成的圖像以高置信度被分類到某一類別。

此外，本文還利用全局模型所提取的輸入生成樣本xi的中間特征fi，由于越顯著的fi值意味著xi越可能屬于原始訓練數(shù)據(jù)集的分布，可以定義特征顯著性損失函數(shù)為：

其中，dim（ fi ）表示向量fi的維數(shù)。

1.2.2? 面向多樣性的損失函數(shù)設計

生成樣本的多樣性包括類級別的多樣性和樣本級別的多樣性。本文首先引入信息熵作為損失函數(shù)用于平衡各個類別樣本的生成可能性。具體而言，令p為所有輸入樣本的ysm向量的平均向量，則可定義信息熵損失函數(shù)為：

其中，Hie表示信息熵函數(shù)。通過最大化p的信息熵，可以促使生成器以盡量均衡的概率生成所有類別的樣本。

此外，考慮到GAN在生成樣本時常見的“模式塌陷”問題，本文進一步設計了一個模式搜索損失函數(shù)以提升每個類別內(nèi)的樣本多樣性：

其中，z1和z2表示兩個不同的隱層向量。

最后將上述損失函數(shù)進行加權組合可得生成器總損失函數(shù)：

其中，α表示平衡兩類損失的超參數(shù)，可針對不同的數(shù)據(jù)集進行調(diào)整。

1.3? 源類別定向性后門學習

借助第一階段基于GAN的數(shù)據(jù)重建得到的補充數(shù)據(jù)集，攻擊者能夠有效緩解本地的數(shù)據(jù)缺失并縮小本地和全局數(shù)據(jù)分布之間的差距。具體而言，攻擊者首先從所有N類數(shù)據(jù)中指定若干受害者類別。令Ds={（xs，ys）}和Dns = {（xns，yns）}分別表示指定類和非指定類的數(shù)據(jù)集。攻擊者后續(xù)的后門訓練按照以下3個指標進行：

1）攻擊成功率（Attack SuccessRate， ASR）：表示來自Ds的樣本在添加觸發(fā)器后被包含后門的全局模型成功分類為目標標簽yt的比例。

2）主任務準確率（MainTaskAccuracy， MTA）：表示包含后門的全局模型對干凈樣本的分類準確率。

3）后門分數(shù)（BackdoorScore， BS）：表示后門的差異性程度，即后門觸發(fā)器只應該對指定類別生效而對非指定類別的分類性能不產(chǎn)生影響。其計算公式定義為：

其中，I表示指示函數(shù)，I（A） = 1當且僅當事件A為真。

源類別定向性后門學習損失函數(shù)為：

其中，β1和β2表示平衡權重的超參數(shù)， 表示對于添加觸發(fā)器的指定類別的樣本

，模型f對其預測值與后門目標標簽yt的交叉熵； 表示對于添加觸發(fā)器的非指定類別的樣本 ，模型f對其的預測值與原始標簽yns的交叉熵； 表示對于干凈樣本（x，y）的原始交叉熵。

2? 實驗與分析

2.1? 實驗設置

本文在MNIST、CIFAR 10和YouTube Aligned Face（YAF）三個公開數(shù)據(jù)集上進行圖像分類任務，全局模型采用AlexNet[12]網(wǎng)絡結(jié)構(gòu)，并在100個客戶端上進行500輪訓練。在訓練開始之前，對數(shù)據(jù)集進行數(shù)據(jù)增強（例如旋轉(zhuǎn)、裁剪和翻轉(zhuǎn)），以確保每個客戶端至少包含1 000個樣本。在每一輪全局訓練中，10個客戶端將被選中并接受2輪本地訓練。模型使用批處理大小為64的隨機梯度下降算法進行優(yōu)化，初始學習率為0.01，學習率每20輪的衰減系數(shù)為0.95。

2.2? 基于GAN的數(shù)據(jù)重建有效性驗證

2.2.1? 數(shù)據(jù)重建效果可視化

在圖3中，我們將數(shù)據(jù)重建的結(jié)果可視化，并將其與現(xiàn)有方法進行比較。本文提出的數(shù)據(jù)重建方法在生成具有真實性和多樣性的樣本方面表現(xiàn)更好，其多樣性不僅體現(xiàn)在能夠生成不同類別的數(shù)據(jù)上，還體現(xiàn)在每個類別內(nèi)部樣本的差異性上。

2.2.2? 后門增強效果驗證

為了更直觀地驗證數(shù)據(jù)異構(gòu)性如何限制后門攻擊的有效性，以及本文的數(shù)據(jù)重建方法對該限制的緩解作用，分別選擇了典型的模型替換后門攻擊[3]和PGD后門攻擊[5]在數(shù)據(jù)集CIFAR 10和MNIST上以不同數(shù)據(jù)異構(gòu)性程度進行實驗。惡意客戶端的數(shù)據(jù)投毒率設置為50%。實驗結(jié)果如圖4所示。

2.3? 源類別定向性后門學習攻擊效果

源類別定向性不僅要求對指定類進行概率的錯誤分類，還需要確保不影響非指定類的準確性。為體現(xiàn)此種差異性，在圖5中使用混淆矩陣來展示攻擊的有效性。對于MNIST、CIFAR 10和YAF數(shù)據(jù)集分別指定了5、3、1個受害者類，并將數(shù)據(jù)集中的第一個類別設置為后門目標。此處對目標類別的選擇沒有限制，因為在攻擊過程中不涉及來自目標類的數(shù)據(jù)。如圖5所示，本文的攻擊方法能夠大大降低模型在指定類上的性能，而對非指定類的影響要小得多（甚至對某些類無影響）。

2.4? 攻擊隱蔽性驗證

本文在下文兩種流行的后門檢測防御方法上驗證了所提出攻擊方案的隱蔽性。

2.4.1? 面對Neural Cleanse方法的隱蔽性

面對Neural Cleanse方法[13]基于梯度下降算法為每個類生成可能的觸發(fā)器，再使用中值絕對偏差作為異常檢測算法進行檢測，進而識別后門目標類。本文在MNIST和CIFAR 10數(shù)據(jù)集中使用第一個類別作為后門目標，并分別指定了3個源類別。觸發(fā)器恢復效果如圖6所示，對于本文的源類別定向性攻擊，該防御方法未能恢復觸發(fā)器或區(qū)分目標類別。此外，表1報告了Neural Cleanse在不同指定類別數(shù)下的檢測結(jié)果，當指定的類別越少，攻擊就越難被檢測到。

2.4.2? 面對Activation Clustering方法的隱蔽性

面對Activation Clustering方法[14]使用K-means聚類算法對從模型最后一個隱藏層提取的激活值進行聚類，并通過分析聚類結(jié)果的輪廓分數(shù)，識別出被投毒的類別。如表1所示，該方法在大多數(shù)情況下未檢測到本文提出的后門攻擊，但相比Neural Cleanse方法更為有效和穩(wěn)定，其原因在于無論指定源類的數(shù)量有多少，Activation Clustering都可以基于聚類來識別異常樣本群體。但該方法有一個嚴重的缺點，即防御者需要訪問大量訓練數(shù)據(jù)，包括中毒數(shù)據(jù)，這違背聯(lián)邦學習中隱私保護的原則。

3? 結(jié)? 論

本文提出了一種面向Non-IID聯(lián)邦學習的高隱蔽性后門攻擊方案，該方案使位于客戶端的攻擊者能夠在標簽分布偏差的場景下發(fā)起更有效而隱蔽的后門攻擊?；贛NIST、CIFAR 10和AlignedFace數(shù)據(jù)集開展的大量實驗驗證了所提出方法的有效性。通過多樣化的數(shù)據(jù)重構(gòu)機制，可將聯(lián)邦學習中的常規(guī)后門ASR提高20%～60%；而源類別定向性后門學習策略通過改變攻擊范圍可以成功規(guī)避目前先進的后門檢測方法?？傮w而言，本文提出的攻擊方案具有更高的可行性和靈活性，并可與現(xiàn)有其他后門攻擊兼容，以提高其有效性和隱蔽性，為未來Non-IID聯(lián)邦學習安全研究提供了有力支持。

參考文獻：

[1] MCMAHAN H B，MOORE E，RAMAGE D，et al. Communication-Efficient Learning of Deep Networks from Decentralized Data [J/OL].arXiv：1602.05629 [cs.LG].[2023-02-20].https：//arxiv.org/abs/1602.05629v3.

[2] 杜巍，劉功申.深度學習中的后門攻擊綜述 [J].信息安全學報，2022，7（3）：1-16.

[3] BAGDASARYAN E，VEIT A，HUA Y，et al. How to backdoor federated learning [J/OL].arXiv：1807.00459 [cs.CR].[2023-02-20].https：//arxiv.org/abs/1807.00459.

[4] 王坤慶，劉婧，李晨，等.聯(lián)邦學習安全威脅綜述 [J].信息安全研究，2022，8（3）：223-234.

[5] WANG H Y，SREENIVASAN K，RAJPUT S，et al. Attack of the tails： Yes， you really can backdoor federated learning [J/OL].arXiv：2007.05084 [cs.LG].[2023-02-20].https：//arxiv.org/abs/2007.05084.

[6] 陳大衛(wèi)，付安民，周純毅，等.基于生成式對抗網(wǎng)絡的聯(lián)邦學習后門攻擊方案 [J].計算機研究與發(fā)展，2021，58（11）：2364-2373.

[7] ZHAOY，LI M，LAI L Z，et al. Federated Learning with Non-IID Data [J/OL].arXiv：1806.00582 [cs.LG].[2023-02-23].https：//arxiv.org/abs/1806.00582.

[8] YU F X，RAWAT A S，MENON A K，et al. Federated Learning with Only Positive Labels [J/OL].arXiv：2004.10342 [cs.LG].[2023-02-23].https：//arxiv.org/abs/2004.10342.

[9] XIE C L，HUANG K L，CHEN P Y， et al. Dba： Distributed backdoor attacks against federated learning [EB/OL].2020：1-15[2023-02-26].https：//openreview.net/attachment？id=rkgyS0VFvr&name=original_pdf.

[10] 林智健.針對聯(lián)邦學習的組合語義后門攻擊 [J].智能計算機與應用，2022，12（7）：74-79.

[11] ODENA A. Semi-Supervised Learning with Generative Adversarial Networks [J/OL].arXiv：1606.01583 [stat.ML].[2023-02-26].https：//arxiv.org/abs/1606.01583.

[12] KRIZHEVSKY A，SUTSKEVER I，HINTON G E. ImageNet classification with deep convolutional neural networks [J].Communications of the ACM，2017，60（6）：84-90.

[13] WANG B，YAO Y S，SHAN S，et al. Neural Cleanse： Identifying and Mitigating Backdoor Attacks in Neural Networks [C]//2019 IEEE Symposium on Security and Privacy （SP）.San Francisco：IEEE，2019：707-723.

[14] CHEN B，CARVALHO W，BARACALDO N，et al. Detecting Backdoor Attacks on Deep Neural Networks by Activation Clustering [J/OL].arXiv：1811.03728 [cs.LG].[2023-02-26].https：//arxiv.org/abs/1811.03728.

作者簡介：梅皓琛（1999.02—），男，漢族，江西南昌人，碩士在讀，研究方向：聯(lián)邦學習、人工智能安全；李高磊（1992.12—），男，漢族，河南開封人，助理教授，研究方向：人工智能與系統(tǒng)安全；楊瀟（1994.01—），男，漢族，重慶人，博士在讀，研究方向：圖神經(jīng)網(wǎng)絡、人工智能安全。

收稿日期：2022-11-08

基金項目：國防基礎科研項目（JCKY2020604B004）；上海市科委“科技創(chuàng)新行動計劃”（22511101200，22511101202）