基于生成對(duì)抗網(wǎng)絡(luò)的聯(lián)邦學(xué)習(xí)中投毒攻擊檢測方案

陳謙，柴政，王子龍，陳嘉偉

基于生成對(duì)抗網(wǎng)絡(luò)的聯(lián)邦學(xué)習(xí)中投毒攻擊檢測方案

陳謙，柴政，王子龍*，陳嘉偉

（西安電子科技大學(xué) 網(wǎng)絡(luò)與信息安全學(xué)院，西安 710071）（?通信作者電子郵箱 zlwang@xidian.edu.cn）

聯(lián)邦學(xué)習(xí)（FL）是一種新興的隱私保護(hù)機(jī)器學(xué)習(xí)（ML）范式，然而它的分布式的訓(xùn)練結(jié)構(gòu)更易受到投毒攻擊的威脅：攻擊者通過向中央服務(wù)器上傳投毒模型以污染全局模型，減緩全局模型收斂并降低全局模型精確度。針對(duì)上述問題，提出一種基于生成對(duì)抗網(wǎng)絡(luò)（GAN）的投毒攻擊檢測方案。首先，將良性本地模型輸入GAN產(chǎn)生檢測樣本；其次，使用生成的檢測樣本檢測客戶端上傳的本地模型；最后，根據(jù)檢測指標(biāo)剔除投毒模型。同時(shí)，所提方案定義了F1值損失和精確度損失這兩項(xiàng)檢測指標(biāo)檢測投毒模型，將檢測范圍從單一類型的投毒攻擊擴(kuò)展至全部兩種類型的投毒攻擊；設(shè)計(jì)閾值判定方法處理誤判問題，確保誤判魯棒性。實(shí)驗(yàn)結(jié)果表明，在MNIST和Fashion-MNIST數(shù)據(jù)集上，所提方案能夠生成高質(zhì)量檢測樣本，并有效檢測與剔除投毒模型；與使用收集測試數(shù)據(jù)和使用生成測試數(shù)據(jù)但僅使用精確度作為檢測指標(biāo)的兩種檢測方案相比，所提方案的全局模型精確度提升了2.7～12.2個(gè)百分點(diǎn)。

聯(lián)邦學(xué)習(xí)；投毒攻擊；生成對(duì)抗網(wǎng)絡(luò)；F1值損失；精確度損失；閾值判定方法

0 引言

機(jī)器學(xué)習(xí)（Machine Learning， ML）［1］被廣泛應(yīng)用于從數(shù)據(jù)提取信息。大數(shù)據(jù)時(shí)代的數(shù)據(jù)量飛速增長，收集海量的數(shù)據(jù)用于機(jī)器學(xué)習(xí)變得異常困難。隨著人們隱私保護(hù)意識(shí)的增強(qiáng)，利用包含用戶敏感信息的數(shù)據(jù)進(jìn)行集中式ML的方式受到了極大的限制［2］，聯(lián)邦學(xué)習(xí)（Federated Learning， FL）［3］應(yīng)運(yùn)而生。區(qū)別于傳統(tǒng)的數(shù)據(jù)集中式ML，F(xiàn)L的分布式結(jié)構(gòu)降低了收集訓(xùn)練數(shù)據(jù)帶來的高昂通信開銷，節(jié)省了稀缺的網(wǎng)絡(luò)帶寬，提升了通信效率；此外，包含敏感信息的原始數(shù)據(jù)自始至終沒有離開客戶本地，用戶隱私得以保障。因此，F(xiàn)L因?yàn)楦咝У耐ㄐ判屎土己玫碾[私保護(hù)性能被廣泛部署在電子醫(yī)療［4］和垃圾郵件檢測［5］等場景。

投毒攻擊在傳統(tǒng)的ML場景中已經(jīng)得到廣泛研究［6］，而FL更易受到投毒攻擊的威脅［7］。敵手通過挾持客戶端、篡改訓(xùn)練數(shù)據(jù)間接篡改本地模型［8］，或者通過修改模型參數(shù)直接篡改上傳的本地模型［9］。聚合篡改后的模型會(huì)污染全局模型，降低全局模型的收斂速度和精確度。依據(jù)攻擊目標(biāo)，投毒攻擊一般可以被分為隨機(jī)攻擊（或無目標(biāo)攻擊）和有目標(biāo)攻擊［10］。在隨機(jī)攻擊時(shí)，敵手隨機(jī)篡改本地訓(xùn)練數(shù)據(jù)或模型，使得全局模型預(yù)測精確度下降；在有目標(biāo)攻擊時(shí)，敵手通過修改訓(xùn)練數(shù)據(jù)的某一特定特征或特定模型參數(shù)，使模型錯(cuò)誤預(yù)測某一特定類型樣本。

針對(duì)投毒攻擊這一重大威脅，一系列防御措施被相繼提出和研究，這些防御方案可以歸納為被動(dòng)防御和主動(dòng)防御兩類。被動(dòng)防御方案通常由中央服務(wù)器依據(jù)統(tǒng)計(jì)方法獲得本地模型分布特征，并設(shè)計(jì)相應(yīng)的聚合方法，在聚合過程中剔除投毒模型以提升全局模型性能［11-14］；但是經(jīng)過精心設(shè)計(jì)的投毒模型可以獲得與正常模型相似的統(tǒng)計(jì)特征，規(guī)避聚合方法的檢測，污染全局模型［8］。主動(dòng)防御方案通過檢測本地模型性能剔除投毒模型，可以有效地檢測投毒模型并完全消除投毒模型對(duì)全局模型的負(fù)面影響［15-17］；因此，主動(dòng)防御方案已成為設(shè)計(jì)FL中投毒攻擊檢測方案的新趨勢。例如，Jagielski等［15］提出一種由服務(wù)器收集部分本地訓(xùn)練樣本并訓(xùn)練對(duì)比模型，通過迭代估計(jì)對(duì)比模型和本地模型殘差值的檢測方法，該方法可以有效抵御針對(duì)訓(xùn)練數(shù)據(jù)的投毒攻擊；然而，當(dāng)本地訓(xùn)練集中含有較多惡意樣本時(shí)，該方法檢測效果較差；同時(shí)，該方法在構(gòu)建使用的訓(xùn)練集時(shí)需要用戶上傳隱私訓(xùn)練數(shù)據(jù)，違背了FL中訓(xùn)練數(shù)據(jù)不出本地的初衷。Zhao等［16］首次提出使用生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network， GAN）［18］產(chǎn)生檢測樣本的方法，但由于僅采用精確度作為檢測指標(biāo)，該方案無法準(zhǔn)確檢測有目標(biāo)攻擊；此外，由于現(xiàn)實(shí)的本地模型預(yù)測精確度還受到用戶數(shù)據(jù)非獨(dú)立同分布、訓(xùn)練誤差和傳輸誤差等因素的影響，該方案僅根據(jù)單次聚合結(jié)果判定惡意用戶的操作存在誤判的可能。

針對(duì)服務(wù)器無法獲得優(yōu)質(zhì)檢測數(shù)據(jù)這一問題，本文引入GAN的方法，設(shè)計(jì)并實(shí)現(xiàn)基于GAN的FL中投毒攻擊檢測方案。該方案將未受到攻擊的本地模型作為GAN的輸入，輸出一組用于檢測的檢測樣本，然后利用該檢測樣本檢測本地模型的F1值損失和精確度損失，從而剔除有目標(biāo)投毒模型和無目標(biāo)投毒模型這兩類投毒模型。同時(shí)，針對(duì)文獻(xiàn)［16］中方案的誤判問題，本文方案設(shè)計(jì)了閾值判定方法以提高誤判魯棒性。

本文的主要工作如下：

1）定義并應(yīng)用了全面的檢測指標(biāo)。針對(duì)兩種不同類型的投毒攻擊模型，定義了F1值損失和精確度損失這兩種檢測指標(biāo)，并在所提方案中使用這兩種指標(biāo)檢測和剔除有目標(biāo)投毒模型和無目標(biāo)投毒模型，將投毒攻擊的檢測范圍擴(kuò)大至全部兩種類型。

2）提出了一種廣泛適用的FL中投毒攻擊檢測方案。針對(duì)服務(wù)器缺少檢測樣本的問題，所提方案使用GAN產(chǎn)生檢測樣本（稱為生成測試集），并將它用于檢測客戶端上傳的本地模型。該方案尤其適用于由于隱私限制、有損通信信道等因素導(dǎo)致的服務(wù)器無法收集高質(zhì)量檢測數(shù)據(jù)的現(xiàn)實(shí)場景。同時(shí)，引入多次檢測的閾值判定方法處理誤判問題，確保所提方案的誤判魯棒性。所提方案能夠檢測并剔除FL系統(tǒng)中同時(shí)存在的兩種投毒模型，提升全局模型的收斂速度和最終全局模型精確度，有效消除投毒攻擊對(duì)FL的威脅。

3）設(shè)計(jì)并實(shí)現(xiàn)了仿真實(shí)驗(yàn)。為驗(yàn)證所提方案的有效性，分別在MNIST和Fashion-MNIST兩個(gè)圖像數(shù)據(jù)集進(jìn)行仿真實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，所提方案中基于GAN產(chǎn)生的生成測試集具有和理想測試集相近的投毒模型檢測效果；同時(shí)，通過比較在生成測試集上計(jì)算得到的F1值損失和精確度損失，所提方案不僅獲得更好的隨機(jī)攻擊抵御效果，而且可以更加有效地抵御有目標(biāo)攻擊。在兩種攻擊場景下，全局模型的精確度相較于有攻擊場景大幅提高至與無攻擊場景相近的水平。以Fashion-MNIST數(shù)據(jù)集為例，相較于收集測試數(shù)據(jù)的方法［15］與使用生成測試數(shù)據(jù)但只使用精確度作為檢測指標(biāo)的方法［16］，在隨機(jī)攻擊下，所提方案將全局模型的精確度分別提高了12.2個(gè)百分點(diǎn)和5.0個(gè)百分點(diǎn)；在有目標(biāo)攻擊下，將全局模型精確度分別提高了4.5個(gè)百分點(diǎn)和2.7個(gè)百分點(diǎn)。

1 FL中的投毒攻擊

一個(gè)典型的FL系統(tǒng)由中央服務(wù)器和一組客戶端組成，它的目標(biāo)是客戶端在中央服務(wù)器的協(xié)調(diào)下協(xié)作訓(xùn)練一個(gè)ML模型。客戶端將隱私的訓(xùn)練數(shù)據(jù)保存在本地，并在本地訓(xùn)練本地模型，隨后中央服務(wù)器聚合本地模型以更新全局模型；然而這樣的設(shè)置容易受到投毒攻擊的威脅，攻擊者可以通過上傳惡意篡改的本地模型污染全局模型。

1.1　FL系統(tǒng)

圖1　FL與投毒攻擊

1.2　投毒攻擊

1.2.1威脅模型

本文考慮FL中廣泛應(yīng)用的威脅模型［19］，其中敵手通過控制參與FL的客戶端完成投毒攻擊。具體威脅模型定義如下：

敵手目標(biāo) 敵手通過制造投毒模型并向中央服務(wù)器上傳投毒模型，降低全局模型的整體預(yù)測精確度或者在特定類別樣本上的預(yù)測精確度，從而達(dá)到污染全局模型的目的。

敵手知識(shí) 敵手已知全局模型和所控制客戶端的本地模型和數(shù)據(jù)，因此可以使用它控制的惡意客戶端訓(xùn)練投毒模型；但敵手無法通過任何方法獲知中央服務(wù)器抵御投毒攻擊的檢測方法以及對(duì)應(yīng)的全局模型聚合方法。

1.2.2投毒攻擊的種類

根據(jù)敵手對(duì)全局模型性能的影響程度，投毒攻擊分為隨機(jī)攻擊和有目標(biāo)攻擊兩種。本文設(shè)想的FL系統(tǒng)中同時(shí)存在隨機(jī)攻擊［20-21］和有目標(biāo)攻擊［19，22-23］。

對(duì)應(yīng)地，中央服務(wù)器聚合的全局模型如下：

有目標(biāo)攻擊 同樣地，敵手可以通過上傳經(jīng)過精心構(gòu)造的模型執(zhí)行有目標(biāo)攻擊［19］。系統(tǒng)中正在執(zhí)行有目標(biāo)攻擊的敵手首先在它控制的每個(gè)惡意客戶端本地將特定類別樣本的標(biāo)簽篡改為其他類別，從而構(gòu)造惡性數(shù)據(jù)集［22］。敵手在該數(shù)據(jù)集訓(xùn)練有目標(biāo)攻擊投毒模型如下：

此時(shí)中央服務(wù)器聚合得到的全局模型為：

2 投毒攻擊防御方法研究現(xiàn)狀

2.1　被動(dòng)防御

被動(dòng)防御中，服務(wù)器通過分析上傳的本地模型的統(tǒng)計(jì)特征設(shè)計(jì)抗投毒模型的聚合方法，從而在聚合本地模型過程中剔除投毒模型。Yin等［11］提出了Trimmed-Mean方案和Median方案。這兩個(gè)方案首先在模型的每個(gè)維度上對(duì)所有本地模型參數(shù)進(jìn)行排序，其次Trimmed-Mean方案去掉規(guī)定個(gè)數(shù)的模型參數(shù)的最大值與最小值，并計(jì)算剩余模型參數(shù)的平均值；而Median方案則將每個(gè)維度的梯度中位數(shù)組合后作為全局模型。

通常投毒模型與正常模型的差異較大，因此通過計(jì)算幾何意義上的相似度以檢測投毒模型是一種有效的方法。Blanchard等［12］提出的Krum方案通過度量歐氏距離，選擇全部本地梯度中與其他本地梯度最相似的值作為全局梯度；Multi-Krum方案作為Krum方案的變體，通過選擇多個(gè)最相似的梯度并計(jì)算它們的均值，獲得了更高的模型收斂速度和全局模型精確度。Guerraoui等［24］提出了Bulyan方案，首先迭代使用Krum方案以選擇多個(gè)梯度，其次計(jì)算選中梯度的Trimmed-mean值，它的本質(zhì)是Krum方案和Trimmed-Mean方案的結(jié)合。Mu?oz-González等［13］提出的AFA（Adaptive Federated Averaging）方案在每個(gè)FL聚合輪次中首先計(jì)算收集的梯度加權(quán)平均值，其次計(jì)算該加權(quán)平均值與每個(gè)梯度之間的余弦相似度，最終綜合考慮余弦相似度的均值、中位數(shù)和標(biāo)準(zhǔn)差，檢測并剔除離群梯度。陳宛楨等［14］提出了一種基于區(qū)塊鏈的隱私保護(hù)FL算法，首先，客戶端在本地訓(xùn)練模型參數(shù)，并以秘密共享的方式上傳模型更新至附近的邊緣節(jié)點(diǎn)；其次，邊緣節(jié)點(diǎn)計(jì)算所有更新間的歐氏距離并將計(jì)算結(jié)果與模型更新上傳至區(qū)塊鏈；最后，區(qū)塊鏈重構(gòu)模型參數(shù)之間的歐氏距離，去除投毒模型更新。

被動(dòng)防御方法實(shí)現(xiàn)簡單，并且在檢測過程中不需要評(píng)估模型，檢測效率較高；但是，本地模型特征的統(tǒng)計(jì)偏差將造成誤判，影響投毒模型的檢測精確度，因此被動(dòng)防御方法在實(shí)際中無法得到有效應(yīng)用。

2.2　主動(dòng)防御

主動(dòng)防御方法是近年來FL中投毒攻擊檢測方法的新方向。Steinhardt等［25］提出使用數(shù)據(jù)清洗的方法，即通過清洗訓(xùn)練集，篩選并剔除投毒數(shù)據(jù)，完成對(duì)投毒攻擊的抵御；但是這樣的方法無法在敵手直接篡改模型參數(shù)的本地模型投毒攻擊形式中發(fā)揮作用［19］。Feng等［17］提出了一種基于邏輯回歸分類器的數(shù)據(jù)投毒防御策略，通過檢測異常值的方式去除異常度超出閾值的樣本；然而該方法假設(shè)服務(wù)器預(yù)先知道投毒樣本在訓(xùn)練數(shù)據(jù)中的比例，這在FL中無法實(shí)現(xiàn)。Jagielski等［15］提出一種由服務(wù)器收集部分本地訓(xùn)練樣本、訓(xùn)練比對(duì)模型，并迭代估計(jì)比對(duì)模型和本地模型殘差值的檢測方法，可以有效抵御針對(duì)訓(xùn)練數(shù)據(jù)的投毒攻擊；然而，當(dāng)本地訓(xùn)練集中含有較多惡意樣本時(shí)，該方法檢測效果較差，且在構(gòu)建該方法使用的訓(xùn)練集時(shí)需要用戶上傳隱私訓(xùn)練數(shù)據(jù)，違背了FL中訓(xùn)練數(shù)據(jù)不出本地的初衷。Zhao等［16］首先提出使用GAN產(chǎn)生檢測樣本的方案，在保護(hù)用戶隱私訓(xùn)練數(shù)據(jù)的同時(shí)，進(jìn)一步緩解了投毒攻擊的影響；但當(dāng)FL系統(tǒng)受到有目標(biāo)攻擊時(shí)，由于只采用精確度作為檢測指標(biāo)，該方案無法準(zhǔn)確檢測并剔除所有的投毒模型；此外，該方案僅根據(jù)單次聚合結(jié)果判定惡意用戶，存在誤判的可能。由于現(xiàn)實(shí)的本地模型預(yù)測精確度還受到用戶數(shù)據(jù)非獨(dú)立同分布、訓(xùn)練誤差和傳輸誤差等因素的影響，使用該方案對(duì)此類場景下的本地模型進(jìn)行檢測時(shí)存在誤判的可能。

在已有研究的基礎(chǔ)上，本文定義了F1值損失和精確度損失兩種檢測指標(biāo)，擴(kuò)大了投毒攻擊的檢測范圍，增強(qiáng)了檢測方案的實(shí)用性。使用GAN產(chǎn)生的高質(zhì)量檢測樣本檢測客戶端上傳的本地模型，提高了檢測準(zhǔn)確率。引入多次檢測的閾值判定方法，解決現(xiàn)實(shí)場景中潛在的誤判問題，提升了檢測方案的誤判魯棒性。

3 GAN

4 基于GAN的投毒攻擊檢測方案

4.1　檢測指標(biāo)

定義1 F1值損失。F1值損失為先前輪次全局模型和當(dāng)前輪次本地模型對(duì)特定樣本分類情況的F1值的差，即：

此外，隨著有目標(biāo)攻擊的目標(biāo)樣本種類增加，有目標(biāo)攻擊同樣也會(huì)影響模型整體的精確度［19］；同時(shí)，隨機(jī)攻擊也會(huì)對(duì)模型精確度產(chǎn)生較大影響。精確度作為ML領(lǐng)域最常見的評(píng)價(jià)指標(biāo)，直觀反映了模型的性能［30］，因此，本文設(shè)計(jì)精確度損失衡量投毒攻擊對(duì)模型產(chǎn)生的影響。

定義2 精確度損失。精確度損失為先前輪次全局模型和當(dāng)前輪次本地模型在測試集上精確度的差，即：

4.2　方案設(shè)計(jì)

為了抵御FL中的投毒攻擊，本文提出一種基于GAN的投毒攻擊檢測方案（如圖2所示）評(píng)估客戶端本地模型，以檢測并剔除投毒模型。方案使用的檢測指標(biāo)為F1值損失和精確度損失。為了確保檢測樣本不依賴包含用戶隱私的原始數(shù)據(jù)，本文引入GAN生成高質(zhì)量的檢測樣本。

圖2　基于GAN的投毒攻擊檢測方案

最后，中央服務(wù)器下發(fā)全局模型，各客戶端繼續(xù)使用本地?cái)?shù)據(jù)訓(xùn)練全局模型。上述本地模型上傳、投毒模型檢測、本地模型聚合和檢測樣本生成過程重復(fù)執(zhí)行，直到全局模型收斂。

4.3　復(fù)雜度分析

算法1 投毒模型檢測算法。

ELSE

END IF

END IF

END FOR

5 實(shí)驗(yàn)與結(jié)果分析

5.1　實(shí)驗(yàn)數(shù)據(jù)

5.2　實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)對(duì)FL系統(tǒng)做如下規(guī)定：中央服務(wù)器持有初始測試數(shù)據(jù)集的樣本數(shù)為5 000，每種類別的樣本數(shù)大致相同；系統(tǒng)中共有30個(gè)擁有本地模型訓(xùn)練能力的客戶端，敵手控制其中14個(gè)客戶端。為了模擬現(xiàn)實(shí)場景中FL的數(shù)據(jù)非獨(dú)立同分布情況，本文實(shí)驗(yàn)將MNIST和Fashion-MNIST訓(xùn)練集中的樣本按照期望為1 000、方差為2 500的正態(tài)分布劃分為30份作為各客戶端的本地訓(xùn)練集。

MNIST數(shù)據(jù)集和Fashion-MNIST數(shù)據(jù)集中的理想測試樣本分別如圖3（a）所示，它們的清晰度較高，可以表示中央服務(wù)器有能力獲得高質(zhì)量檢測數(shù)據(jù)的理想情況；但這與現(xiàn)實(shí)場景中央服務(wù)器無法獲得高質(zhì)量測試樣本的困境不符。因此本文實(shí)驗(yàn)對(duì)它們做干擾處理，模擬在現(xiàn)實(shí)場景中采用收集檢測數(shù)據(jù)時(shí)遇到的傳感器故障、信道不理想和解碼錯(cuò)誤等客觀問題［19］。通過在測試集的各測試樣本中依次加入若干種包括高斯噪聲、泊松噪聲和椒鹽噪聲在內(nèi)的噪聲，最終形成如圖3（b）的低質(zhì)量測試集。為了便于描述，將干擾處理前后的測試集分別稱為理想測試集和原始測試集。通過觀測可以發(fā)現(xiàn)，原始測試集中樣本模糊不易辨認(rèn)，而圖3（c）所示的生成測試集中樣本具有和理想測試集中樣本相近的清晰度，質(zhì)量較高。

圖3　MNIST數(shù)據(jù)集和Fashion-MNIST數(shù)據(jù)集的3種檢測數(shù)據(jù)

針對(duì)不同的實(shí)驗(yàn)數(shù)據(jù)集，實(shí)驗(yàn)中圖像分類模型均為卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）?？蛻舳撕椭醒敕?wù)器持有的模型結(jié)構(gòu)相同，均由3個(gè)卷積層和2個(gè)全連接層組成，每個(gè)卷積層后接1個(gè)池化層，全連接層后接1個(gè)柔性最大值（Softmax）激活函數(shù)。本地模型訓(xùn)練過程設(shè)定隨機(jī)梯度下降（Stochastic Gradient Descent， SGD）為模型優(yōu)化算法，并設(shè)定模型初始學(xué)習(xí)率為0.001，衰減率為1×10-6。中央服務(wù)器用于生成測試樣本的網(wǎng)絡(luò)為GAN。其中生成器由1個(gè)上采樣層、2個(gè)卷積層、2個(gè)池化層和1個(gè)全連接層組成，全連接層后接一個(gè)雙曲正切激活函數(shù)tanh。此外，實(shí)驗(yàn)設(shè)定將當(dāng)前輪次聚合后的全局模型作為判別器模型，它的網(wǎng)絡(luò)結(jié)構(gòu)和圖像分類模型結(jié)構(gòu)相同。同時(shí)設(shè)定GAN使用Adam算法進(jìn)行模型優(yōu)化，初始學(xué)習(xí)率為0.000 2，衰減率為0.5。

5.3　實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文方案抵御投毒攻擊的有效性和廣泛性，分別將它部署在受到隨機(jī)攻擊和有目標(biāo)攻擊的FL場景中，與未受到投毒攻擊和分別受到兩種投毒攻擊的FL進(jìn)行比較。不同場景中全局模型的最終性能記錄在表1、2中。圖4分別展示了MNIST數(shù)據(jù)集和Fashion-MNIST數(shù)據(jù)集在不同實(shí)驗(yàn)設(shè)置下的全局模型訓(xùn)練過程?！盁o攻擊”表示未受到任何攻擊的全局模型；“隨機(jī)攻擊”和“有目標(biāo)攻擊”分別表示受到隨機(jī)攻擊和受到有目標(biāo)攻擊的全局模型；“檢測并剔除隨機(jī)攻擊”和“檢測并剔除有目標(biāo)攻擊”分別表示在受到兩種投毒攻擊時(shí)，采用所提方案對(duì)投毒模型進(jìn)行檢測并剔除投毒模型后的全局模型。以MNIST數(shù)據(jù)集為例分析實(shí)驗(yàn)結(jié)果。觀察圖4（a）（b）可以發(fā)現(xiàn)，在受到兩種投毒攻擊時(shí)，全局模型收斂速度變低，精確度下降，損失的最終收斂值上升。同時(shí)由表1可知，在無攻擊場景下，全局模型的最終損失值為0.058 6，最終精確度為98.2%。在隨機(jī)攻擊場景下，全局模型的最終損失值為0.654 1，最終精確度為74.3%；在有目標(biāo)攻擊場景下，全局模型的最終損失值為0.112 1，最終精確度為94.6%。在部署所提方案后，隨機(jī)攻擊場景和有目標(biāo)攻擊場景下的全局模型最終損失值分別為0.062 5和0.060 9，最終精確度分別為97.4%和98.0%，兩者都接近無攻擊場景下的全局模型收斂效果，即損失值僅增加了0.002 3，精確度僅減少了0.2個(gè)百分點(diǎn)。以上結(jié)果表明，在受到兩種類型的投毒攻擊時(shí)全局模型最終性能下降，而部署所提方案后的全局模型最終性能和未受到投毒攻擊時(shí)接近。觀察圖4（c）所示的全局模型的受試者特征（Receiver Operating Characteristic，ROC）曲線也可得到相似的結(jié)論。觀察圖4（a）（b）還可以發(fā)現(xiàn)，在FL初始階段（0～10的FL聚合輪次），部署所提方案的全局模型收斂速度低于未受到投毒攻擊的全局模型，主要原因是所提方案在FL初始階段并未生成高質(zhì)量的檢測樣本，無法準(zhǔn)確檢測全部投毒模型；但隨著FL的進(jìn)行，所提方案可以生成高質(zhì)量檢測數(shù)據(jù)，從而準(zhǔn)確高效地檢測和剔除投毒模型。

圖4　MNIST數(shù)據(jù)集和Fashion-MNIST數(shù)據(jù)集上的全局模型性能

表1不同方案對(duì)MNIST數(shù)據(jù)集的全局模型性能

Tab.1　Global model performance of different schemes on MNIST dataset

為驗(yàn)證本文方案抵御投毒攻擊的高效性，將它與文獻(xiàn)［15-16］方案分別在兩種攻擊場景進(jìn)行比較。全局模型最終性能記錄在表2，以Fashion-MNIST數(shù)據(jù)集為例，相較于收集測試數(shù)據(jù)的方法［15］與使用生成測試數(shù)據(jù)但只使用準(zhǔn)確率作為檢測指標(biāo)的方法［16］，在隨機(jī)攻擊下，本文方案將全局模型的精確度分別提高了12.2和5.0個(gè)百分點(diǎn)；在有目標(biāo)攻擊下，將全局模型精確度分別提高了4.5和2.7個(gè)百分點(diǎn)。圖5記錄了Fashion-MNIST數(shù)據(jù)集上采用不同方案檢測并剔除兩種投毒模型后的全局模型性能曲線，其中：收集檢測數(shù)據(jù)方案［15］表示在原始測試集上比較F1值損失和精確度損失的方案；精確度方案［16］表示在生成測試集上比較精確度的方案；“本文方案”表示在生成測試集上比較F1值損失和精確度損失的方案。觀察圖5（a）并結(jié)合表2可知，在受到有目標(biāo)攻擊時(shí)，全局模型損失值為0.411 0。“收集檢測數(shù)據(jù)方案”通過在原始測試集上比較F1值損失和精確度損失，將全局模型的損失值降低為0.412 0；“精確度方案”通過在生成測試集上比較精確度，將全局模型的收斂損失值降低為0.388 1，兩種方案對(duì)有目標(biāo)攻擊投毒的抵御效果都不明顯?？梢?，由于僅檢測在所有類別樣本上的全局模型精確度，而忽略了在某一特定類別上的全局模型精確度，因此文獻(xiàn)［15-16］方案都不能有效地檢測有目標(biāo)攻擊投毒模型，無法有效地抵御有目標(biāo)攻擊。本文方案在生成測試集上比較F1值損失，可以有效地檢測有目標(biāo)攻擊投毒模型，從而將全局模型的損失值降低為0.317 6，這一數(shù)值和未受到投毒攻擊時(shí)的全局模型的損失值相近?？梢姡岱桨缚梢詫?duì)有目標(biāo)攻擊的投毒模型進(jìn)行有效的檢測和剔除。觀察圖5（b）中的全局模型精確度變化曲線可以得到相同的結(jié)論。并由表2可知，在受到有目標(biāo)攻擊時(shí)，全局模型的最終精確度值為84.9%；采用文獻(xiàn)［15-16］方案時(shí)，全局模型的精確度分別為84.9%和86.7%；而在部署本文方案后，全局模型的精確度提高至89.4%，這一數(shù)值同樣和未受到投毒攻擊時(shí)相近。與文獻(xiàn)［15-16］方案相比，全局模型的精確度分別提高了4.5個(gè)百分點(diǎn)和2.7個(gè)百分點(diǎn)。觀察隨機(jī)攻擊場景下的全局模型損失值和全局模型精確度變化曲線，結(jié)合表2可知，在受到隨機(jī)攻擊時(shí)，全局模型損失值為2.029 8，并存在較大震蕩。采用文獻(xiàn)［15-16］方案時(shí)，全局模型的損失值分別降低為0.736 2和0.549 2；而在部署本文方案后，全局模型的收斂損失值降低為0.376 8，這一數(shù)值和未受到投毒攻擊時(shí)的全局模型的損失值相近?？梢?，所提方案可以對(duì)隨機(jī)攻擊的投毒模型進(jìn)行有效的檢測和剔除。觀察圖5（b）中的全局模型精確度變化曲線并結(jié)合表2可以得到相同的結(jié)論。在受到隨機(jī)攻擊時(shí)，全局模型的精確度呈下降趨勢，最終精確度值為52.1%，并存在較大震蕩；采用文獻(xiàn)［15-16］方案后，全局模型的精確度分別提高到75.5%和82.7%；而在采用本文方案后，全局模型的精確度提高到87.7%，這一數(shù)值同樣和未受到投毒攻擊時(shí)相近。與文獻(xiàn)［15-16］方案相比，全局模型的精確度分別提高了12.2個(gè)百分點(diǎn)和5.0個(gè)百分點(diǎn)。綜合以上結(jié)果，相較于僅能抵御隨機(jī)攻擊的文獻(xiàn)［15-16］方案，所提方案不僅能更好地抵御隨機(jī)攻擊，同時(shí)可以有效地抵御有目標(biāo)攻擊。

表2Fashion-MNIST數(shù)據(jù)集上不同方案的全局模型性能

Tab.2　Global model performance on Fashion-MNIST dataset of different schemes

圖5　Fashion-MNIST數(shù)據(jù)集上不同方案檢測并剔除投毒模型性能

圖6　閾值判定方法對(duì)所提方案性能的影響

圖7　檢測指標(biāo)的判定閾值對(duì)所提方案性能的影響

6 結(jié)語

FL作為一種分布式ML框架，因具有良好的隱私保護(hù)性能和通信效率得到廣泛的應(yīng)用；然而它聚合本地模型的范式易受到投毒攻擊的威脅。為了檢測并抵御投毒攻擊，本文提出一種基于GAN的投毒攻擊檢測方案。所提方案利用GAN產(chǎn)生檢測樣本，并使用F1值損失和精確度損失作為檢測指標(biāo)對(duì)模型進(jìn)行閾值檢測從而剔除投毒模型。在MNIST和Fashion-MNIST數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，通過部署所提方案，中央服務(wù)器可以獲得高質(zhì)量的檢測樣本，從而有效地檢測并剔除全部兩種類型的投毒攻擊，最終獲得性能良好的FL全局模型。

現(xiàn)階段FL系統(tǒng)的投毒攻擊與抵御措施研究都建立在無隱私保護(hù)機(jī)制FL場景。由于中央服務(wù)器可以直接獲取客戶端的本地模型，存在隱私泄漏的風(fēng)險(xiǎn)；而在使用同態(tài)加密與差分隱私等隱私保護(hù)FL場景下，現(xiàn)有的抵御措施無法有效檢測并剔除投毒模型。因此，在隱私保護(hù)FL的現(xiàn)實(shí)場景中，針對(duì)密態(tài)模型和擾動(dòng)模型的投毒攻擊抵御措施有待進(jìn)一步研究。

[1] JORDAN M I， MITCHELL T M. Machine learning： trends， perspectives， and prospects［J］. Science， 2015， 349（6245）： 255-260.

[2] VOIGT P， VON DEM BUSSCHE A. The EU General Data Protection Regulation （GDPR）［S］. Cham： Springer， 2017.

[3] MCMAHAN H B， MOORE E， RAMAGE D， et al. Communication-efficient learning of deep networks from decentralized data［C］// Proceedings of the 20th International Conference on Artificial Intelligence and Statistics. Brookline： Microtome Publishing， 2017： 1273-1282.

[4] XU J， GLICKSBERG B S， SU C， et al. Federated learning for healthcare informatics［J］. Journal of Healthcare Informatics Research， 2021， 5（1）： 1-19.

[5] CHEN Q， WANG Z L， LIN X D. PPT： a privacy-preserving global model training protocol for federated learning in P2P networks ［J］. Computers & Security， 2023， 124： 102966.

[6] TIAN Z， CUI L， LIANG J， et al. A comprehensive survey on poisoning attacks and countermeasures in machine learning［J］. ACM Computing Surveys， 2022， 55（8）： 1-35.

[7] KAIROUZ P， MCMAHAN H B， AVENT B， et al. Advances and open problems in federated learning ［J］. Foundations and Trends?in Machine Learning， 2021， 14（1/2）： 1-210.

[8] TOLPEGIN V， TRUEX S， GURSOY M E， et al. Data poisoning attacks against federated learning systems ［C］// Proceedings of the 25th European Symposium on Research in Computer Security. Cham： Springer， 2020： 480-501.

[9] FANG M H， CAO X Y， JIA J Y， et al. Local model poisoning attacks to Byzantine-robust federated learning ［C］// Proceedings of the 29th USENIX Security Symposium. Berkeley： USENIX Association， 2020： 1605-1622.

[10] TAHMASEBIAN F， XIONG L， SOTOODEH M， et al. Crowdsourcing under data poisoning attacks： a comparative study［C］// Proceedings of the 2020 IFIP Annual Conference on Data and Applications Security and Privacy. Cham： Springer， 2020： 310-332.

[11] YIN D， CHEN Y， KANNAN R， Byzantine-robust distributed learning： towards optimal statistical rates ［C］// Proceedings of the 35th International Conference on Machine Learning. San Diego： JMLR， 2018： 5650-5659.

[12] BLANCHARD P， EL MHAMDI E M， GUERRAOUI R， et al. Machine learning with adversaries： byzantine tolerant gradient descent ［C］// Proceedings of the 31st International Conference on Neural Information Proceedings Systems. La Jolla： NIPS， 2017： 118-128.

[13] MU?OZ-GONZáLEZ L， CO K T， LUPU E C. Byzantine-robust federated machine learning through adaptive model averaging ［EB/OL］. （2019-09-11）［2022-04-25］. https：//arxiv.org/pdf/1909.05125.pdf.

[14] 陳宛楨，張恩，秦磊勇，等．邊緣計(jì)算下基于區(qū)塊鏈的隱私保護(hù)聯(lián)邦學(xué)習(xí)算法［J］．計(jì)算機(jī)應(yīng)用，2023， 43（7）： 2209-2216.（CHEN W Z， ZHANG E， QIN L Y，et al. Privacy-preserving federated learning algorithm based on block chain in edge computing ［J］． Journal of Computer Applications， 2023， 43（7）： 2209-2216.）

[15] JAGIELSKI M， OPREA A， BIGGIO B， et al. Manipulating machine learning： poisoning attacks and countermeasures for regression learning ［C］// Proceedings of the 39th IEEE Symposium on Security and Privacy. Piscataway： IEEE， 2018： 19-35.

[16] ZHAO Y， CHEN J， ZHANG J， et al. Detecting and mitigating poisoning attacks in federated learning using generative adversarial networks［J］. Concurrency and Computation： Practice and Experience， 2020， 34（7）： e5906.

[17] FENG J， XU H， MANNOR S， et al. Robust logistic regression and classification［C］// Proceedings of the 27th International Conference on Neural Information Proceeding Systems. La Jolla： NIPS， 2014： 253-261.

[18] GOODFELLOW I， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets［J］ Communications of the ACM， 2020， 63（11）： 139-144.

[19] BHAGOJI A N， CHAKRABORTY S， MITTAL P， et al. Analyzing federated learning through an adversarial lens［C］// Proceedings of the 36th International Conference on Machine Learning. San Diego： JMLR， 2019： 634-643.

[20] SHEJWALKAR V， HOUMANSADR A. Manipulating the byzantine： optimizing model poisoning attacks and defenses for federated learning ［C］// Proceedings of 28th Annual Network and Distributed System Security Symposium. Reston： Internet Society， 2021： 1-19.

[21] ALKHUNAIZI N， KAMZOLOV D， TAKá? M， et al. Suppressing poisoning attacks on federated learning for medical imaging ［C］// Proceedings of the 2022 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 13438. Cham： Springer， 2022： 673-683.

[22] SUN J， LI A， DIVALENTIN L， et al. FL-WBC： enhancing robustness against model poisoning attacks in federated learning from a client perspective ［C］// Proceedings of the 2021 Advances in Neural Information Proceedings Systems 34. La Jolla： NIPS， 2021：12613-12624.

[23] NGUYEN T D， RIEGER P， MIETTINEN M， et al. Poisoning attacks on federated learning-based IoT intrusion detection system［C］// Proceedings of the 2020 Decentralized IoT Systems and Security Workshop. Washington： Internet Society， 2020： 1-7.

[24] GUERRAOUI R， ROUAULT S. The hidden vulnerability of distributed learning in Byzantium［C］// Proceedings of the 35th International Conference on Machine Learning. San Diego： JMLR， 2018： 3521-3530.

[25] STEINHARDT J， KOH P W， LIANG P. Certified defenses for data poisoning attacks［C］// Proceedings of the 31st International Conference on Neural Information Proceedings Systems. La Jolla： NIPS， 2017： 3520-3532.

[26] LEDIG C， THEIS L， HUSZáR F， et al. Photo-realistic single image super-resolution using a generative adversarial network ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 4681-4690.

[27] CHEN Z， ZHU T， XIONG P， et al. Privacy preservation for image data： a GAN‐based method ［J］. International Journal of Intelligent Systems， 2021， 36（4）： 1668-1685.

[28] WANG Z， SONG M， ZHANG Z， et al. Beyond inferring class representatives： user-level privacy leakage from federated learning［C］// Proceedings of the 2019 IEEE Conference on Computer Communications. Piscataway： IEEE， 2019： 2512-2520.

[29] TRUEX S， BARACALDO N， ANWAR A， et al. A hybrid approach to privacy-preserving federated learning［C］// Proceedings of the 12th ACM Workshop on Artificial Intelligence and Security. New York： ACM， 2019： 1-11.

[30] TOLPEGIN V， TRUEX S， GURSOY M E， et al. Data poisoning attacks against federated learning systems ［C］// Proceedings of the 2020 European Symposium on Research in Computer Security， LNCS 12308. Cham： Springer， 2022： 480-501.

[31] LeCUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition ［J］. Proceedings of the IEEE， 1998， 86（11）： 2278-2324.

[32] XIAO H， RASUL K， VOLLGRAF R. Fashion-mnist： a novel image dataset for benchmarking machine learning algorithms ［EB/OL］. ［2022-10-28］.https：//arxiv.org/pdf/1708.07747v1.pdf.

Poisoning attack detection scheme based on generative adversarial network for federated learning

CHEN Qian， CHAI Zheng， WANG Zilong*， CHEN Jiawei

（，，’710071，）

Federated Learning （FL） emerges as a novel privacy-preserving Machine Learning （ML） paradigm. However， the distributed training structure of FL is more vulnerable to poisoning attack， where adversaries contaminate the global model through uploading poisoning models， resulting in the convergence deceleration and the prediction accuracy degradation of the global model. To solve the above problem， a poisoning attack detection scheme based on Generative Adversarial Network （GAN） was proposed. Firstly， the benign local models were fed into the GAN to output testing samples. Then， the testing samples were used to detect the local models uploaded by the clients. Finally， the poisoning models were eliminated according to the testing metrics. Meanwhile， two test metrics named F1 score loss and accuracy loss were defined to detect the poisoning models and extend the detection scope from one single type of poisoning attacks to all types of poisoning attacks. Besides， a threshold determination method was designed to deal with misjudgment， so that the robust of misjudgment was confirmed. Experimental results on MNIST and Fashion-MNIST datasets show that the proposed scheme can generate high-quality testing samples， and then detect and eliminate poisoning models. Compared with the global models trained with the detection scheme based on directly gathering test data from clients and the detection scheme based on generating test data and using test accuracy as the test metric， the global model trained with the proposed scheme has significant accuracy improvement from 2.7 to 12.2 percentage points.

Federated Learning (FL); poisoning attack; Generative Adversarial Network (GAN); F1 score loss; accuracy loss; threshold determination method

This work is partially supported by the National Natural Science Foundation of China （62172319， U19B200073）.

CHEN Qian， born in 1993， Ph. D. candidate. His research interests include privacy preservation， machine learning， federated learning.

CHAI Zheng， born in 1999， M. S. candidate. His research interests include federated learning， poisoning attack.

WANG Zilong， born in 1982， Ph. D.， professor. His research interests include information theory， cryptography.

CHEN Jiawei， born in 1998， M. S. candidate. His research interests include federated learning， reinforcement learning.

TP309.2

A

1001-9081（2023）12-3790-09

10.11772/j.issn.1001-9081.2022121831

2022?12?13；

2023?05?09；

2023?05?10。

國家自然科學(xué)基金資助項(xiàng)目（62172319， U19B200073）。

陳謙（1993—），男，陜西西安人，博士研究生，主要研究方向：隱私保護(hù)、機(jī)器學(xué)習(xí)、聯(lián)邦學(xué)習(xí)；柴政（1999—），男，黑龍江大慶人，碩士研究生，主要研究方向：聯(lián)邦學(xué)習(xí)、投毒攻擊；王子龍（1982—），男，河南鄭州人，教授，博士，主要研究方向：信息論、密碼學(xué)；陳嘉偉（1998—），男，陜西西安人，碩士研究生，主要研究方向：聯(lián)邦學(xué)習(xí)、強(qiáng)化學(xué)習(xí)。