基于差分隱私的聯(lián)邦學習數(shù)據(jù)隱私安全技術*

黃精武

（中國電子科技集團公司第七研究所，廣東 廣州 510310）

0 引言

隨著大數(shù)據(jù)技術日益發(fā)展，數(shù)據(jù)泄露、數(shù)據(jù)非法訪問、數(shù)據(jù)篡改等數(shù)據(jù)安全問題越來越受到世界各國的關注，對用戶數(shù)據(jù)的隱私和安全日益嚴格的管理將是世界趨勢[1]。聯(lián)邦學習（Federated Learning，F(xiàn)L）是一種分布式機器學習策略，通過學習從多個分散的邊緣客戶端所掌握的訓練數(shù)據(jù)來生成全局模型，有效解決了“數(shù)據(jù)孤島”問題[2]。隨著聯(lián)邦學習技術的發(fā)展，聯(lián)邦學習在保護用戶訓練數(shù)據(jù)、實現(xiàn)數(shù)據(jù)“可用不可見”的基礎上，獲得了性能上較大的提高，并越發(fā)接近數(shù)據(jù)集中式學習的性能[3]。

訓練高精度的聯(lián)邦學習模型需要大規(guī)模、高質量的數(shù)據(jù)支撐，而高質量數(shù)據(jù)的數(shù)據(jù)采集、數(shù)據(jù)清洗和數(shù)據(jù)標注等預處理工作需要投入高昂的人力、物力，且由于聯(lián)邦學習中各方數(shù)據(jù)難以直接獲取，聯(lián)合建模需要多方協(xié)調配合，因此聯(lián)邦學習任務本身需要較高的商業(yè)成本。因此，隱私保護是聯(lián)邦學習系統(tǒng)尤為重要的一個話題。隱私攻擊是聯(lián)邦學習系統(tǒng)面臨的一個主要威脅[4]，惡意攻擊者竊取用戶原數(shù)據(jù)或訓練好的模型參數(shù)等隱私信息，發(fā)起隱私攻擊，將會危害聯(lián)邦學習模型的機密性（Confidentiality）。

聯(lián)邦學習一經(jīng)提出，便備受關注。國內外已有大量針對聯(lián)邦學習中隱私保護技術的性能、安全隱患及其缺點的研究。早在2018年，Rahman[5]便指出了聯(lián)邦學習中對全局更新貢獻較大的參與成員，以及近似推理了原始訓練數(shù)據(jù)。Geiping等人[6]指出了在聯(lián)邦學習更新過程中，能夠從產(chǎn)生的梯度信息近似推理并重構出客戶端的原始訓練數(shù)據(jù)。Mothukuri等人[7]在不干涉本地訓練過程的前提下，運用成員推斷攻擊，并通過篡改其在通信過程中傳輸?shù)奶荻龋瑴p弱了全局模型的效能。

本文主要針對聯(lián)邦學習可能面臨的安全和隱私威脅進行分析，著重闡述隱私安全問題，總結了一些防御措施。在這些防御措施中，本文重點對差分隱私進行介紹，分析其隱私安全性能，以期進一步減小聯(lián)邦學習系統(tǒng)中的隱私風險。此外，還利用基于拉普拉斯機制[8]的差分隱私算法設計了一個聯(lián)邦學習的隱私保護方法，并通過實驗分析了該方法對模型性能的影響。

1 聯(lián)邦學習概述

聯(lián)邦學習是一種分布式機器學習算法，但在學習過程中，各個參與方不會共享自身的訓練數(shù)據(jù)，每個聯(lián)邦學習利用多個計算節(jié)點進行聯(lián)合訓練，旨在提高性能、保護隱私信息，并使其可以擴展到更大規(guī)模的訓練數(shù)據(jù)和更大規(guī)模的模型[9]。聯(lián)邦學習打破了“數(shù)據(jù)孤島”，實現(xiàn)了數(shù)據(jù)隱私保護和共享分析的平衡，即“數(shù)據(jù)可用不可見”的數(shù)據(jù)應用模式。

1.1 聯(lián)邦學習的定義

聯(lián)邦學習中的角色主要包括客戶端（參與方）和服務器。假設有k個客戶端參與了聯(lián)邦學習，第i個客戶端為Ci，所擁有的訓練數(shù)據(jù)集為Di，本地模型為Mi，其中i=1,2,3,…,k。聯(lián)邦學習的目標是從所有訓練數(shù)據(jù)組成的數(shù)據(jù)集中訓練出一個全局模型MGlobal。目前聯(lián)邦學習系統(tǒng)中常用的聚合策略包括聯(lián)邦平均（Federated Averaging，F(xiàn)edAvg）和聯(lián)邦隨機梯度下降（Federated Stochastic Gradient Descent，F(xiàn)edSGD）等。然而，不同于直接利用數(shù)據(jù)集D本身來訓練一個中心化模型MCentral，在聯(lián)邦學習中，第i個客戶端不能訪問數(shù)據(jù)集假設模型的效果為V，則聯(lián)邦學習系統(tǒng)的優(yōu)化目標為：

式中：||·||為某種范數(shù)或距離度量。

一般地，基本的聯(lián)邦學習系統(tǒng)至少包括初始化（分發(fā)全局模型）、本地更新和全局聚合3個步驟。[10]

1.2 聯(lián)邦學習的分類

聯(lián)邦學習系統(tǒng)中，每個參與方Ci只擁有其本地的訓練數(shù)據(jù)集Di，并且這些數(shù)據(jù)集在樣本空間和特征空間上有不同程度的重合，造成了聯(lián)邦學習系統(tǒng)進行學習的依據(jù)不同。根據(jù)學習依據(jù)，聯(lián)邦學習系統(tǒng)分為橫向聯(lián)邦學習、縱向聯(lián)邦學習和聯(lián)邦遷移學習3類。

橫向聯(lián)邦學習按照樣本空間對數(shù)據(jù)集進行劃分，并取出特征相同而樣本不同的部分來進行訓練?？v向聯(lián)邦學習與橫向聯(lián)邦學習相反，是根據(jù)特征分布來進行學習的。聯(lián)邦遷移學習適用于參與方的數(shù)據(jù)集中特征空間和樣本空間重疊都很少的情況。聯(lián)邦遷移學習中，不對數(shù)據(jù)進行切分，而是利用遷移學習[11]的方法來解決數(shù)據(jù)及標簽不足的問題。

2 聯(lián)邦學習面臨的隱私威脅

盡管聯(lián)邦學習系統(tǒng)中各個參與方的訓練過程是獨立進行的，且沒有原始訓練數(shù)據(jù)的傳輸，可以保證一定的隱私安全，但這并非絕對安全的。惡意的參與方可以從更新信息中推理出較為活躍的成員信息，甚至可以重構訓練數(shù)據(jù)。

2.1 聯(lián)邦學習中的隱私威脅

聯(lián)邦學習中的參與方往往容易受到模型提取攻擊[12]和模型逆向攻擊[13]這兩大類攻擊。聯(lián)邦學習系統(tǒng)中一般假定服務器端是非惡意的，但這樣的假設不能防范“誠實但好奇”（Honest but Curious）[6]的服務器，這類服務器端雖然確實完成了應有的聚合任務，不會對模型性能發(fā)起攻擊造成破壞，也不會破壞模型的可用性，但是會嘗試竊取參與方本地數(shù)據(jù)集中的數(shù)據(jù)，破壞參與方數(shù)據(jù)的機密性，威脅數(shù)據(jù)參與方的隱私安全。

2.2 模型提取攻擊

在模型提取攻擊中，攻擊者試圖竊取模型的參數(shù)、超參數(shù)等，破壞了模型的機密性。

一般而言，模型提取攻擊中，攻擊者試圖構建一個與原模型相似的替代模型。因為攻擊者缺少對模型結構的了解，所以此類攻擊一般為黑盒攻擊。首先，攻擊者利用一組數(shù)據(jù)X={X1,X2,…,Xn}對被提取的模型發(fā)起查詢操作，并獲得查詢結果Y={Y1,Y2,…,Yn}，由此構造出一個訓練數(shù)據(jù)集D={(X1,Y1),(X2,Y2),…,(Xn,Yn)}；其次，攻擊者將利用數(shù)據(jù)集D來訓練替代模型，直到替代模型的效果達到了攻擊者的預期。模型提取攻擊的基本原理如圖1所示。

在實際應用過程中，聯(lián)邦學習模型的訓練代價與成本都是較高的，而模型提取攻擊使得攻擊者能夠以極低的訓練代價獲得一個與原始模型性能相近的替代模型，嚴重損害了聯(lián)邦學習參與方的隱私安全和商業(yè)利益。

2.1.2 模型逆向攻擊

在模型逆向攻擊中，攻擊者一般試圖通過在訓練完畢的模型中不斷地查詢，獲得一些統(tǒng)計信息，進而推理出用戶的隱私信息。根據(jù)攻擊者推理的信息，可以將模型逆向攻擊分為屬性推理攻擊（Property Inference Attack，PIA）[14]和成員推理攻擊（Member Inference Attack，MIA）[15]。在屬性推理攻擊中，攻擊者的目標在于判斷參與方的訓練數(shù)據(jù)集中是否含有某個特征。在成員推理攻擊中，攻擊者的目標在于判斷某一條數(shù)據(jù)記錄是否包含在參與方的訓練數(shù)據(jù)集中。

除上述推理攻擊，近幾年一些基于生成對抗網(wǎng)絡（Generate Adversarial Networ，GAN）的推理攻擊[16]也成為一種較常見的逆向攻擊的手段。

3 防御隱私威脅的措施

聯(lián)邦學習的隱私防護工作需要從參與方和服務器兩大主體分別進行。從原理上來看，多數(shù)聯(lián)邦學習隱私安全的方法都是基于密碼學的。

基于密碼學的聯(lián)邦學習隱私安全方法主要包括安全多方計算[17]、同態(tài)加密[18]等，主要用于模型訓練階段的隱私保護，可以防御一些模型逆向攻擊。這些方法可以用來防御惡意的或“誠實但好奇”的參與方和服務器端，且在傳輸信息被截獲的條件下，仍然能從密碼方面保障安全。這些保護措施的安全性主要體現(xiàn)在密碼學算法的安全性，同時需考慮密碼學算法的時空效率。

另外有一些不基于密碼學的隱私安全方法，例如差分隱私（Differential Privacy，DP）[19]，主要用于模型訓練完畢后的隱私保護，其可以通過加噪的方法防御一些模型提取攻擊和推理攻擊。這些保護措施的安全性的高低主要體現(xiàn)在能否使得明文信息能夠推理出盡量少的敏感信息。

4 差分隱私方法概述

4.1 差分隱私的基本定義

在介紹差分隱私的定義之前，首先介紹鄰近數(shù)據(jù)集（Adjacent Dataset）的定義。設有兩個數(shù)據(jù)集D與D'，若它們的對稱差中元素的數(shù)量滿足|DΔD'|=1，則稱D與D'互為鄰近數(shù)據(jù)集。

差分隱私在提出的初期，主要應用于數(shù)據(jù)庫安全保護。設f為一個查詢函數(shù)，即一個映射，可以是求和、求平均、求最值或其他查詢操作，則攻擊者多試圖通過比較f(D)與f(D')的差異來推理出數(shù)據(jù)庫中的敏感信息。一個推理攻擊的示例如圖2所示。

圖2 推理攻擊示例

對于鄰近數(shù)據(jù)集D與D'，設有一隨機算法M，PM為該算法所有可能的輸出，對于任意SM?PM，都有：

則稱隨機算法M滿足?-差分隱私。式中：e為自然對數(shù)的底數(shù)；?為隱私預算。當隱私預算?的值越小，隨機算法M在D和D′上獲得相同的輸出結果的概率也就越接近，所以當用戶對數(shù)據(jù)集進行查詢的時候，無法通過輸出結果區(qū)分這條數(shù)據(jù)是來自鄰近數(shù)據(jù)集中的D還是D'，即無法察覺到這個數(shù)據(jù)集中微小的變化。反之，?的值越大，隱私保護效果也就越弱。因此，可以得出，過大的隱私預算會導致無法達到預期的隱私保護效果，過小的隱私預算雖然能達到隱私效果，但加噪力度太大容易導致查詢結果完全無法使用。

若隨機算法對于D與D'滿足：

其中，δ＞0，則稱隨機算法M滿足(?,δ)-差分隱私。δ是一個松弛項，表示差分隱私可以接受一定程度的不滿足。

4.2 差分隱私的敏感度分析

為了獲知對于特定的隨機算法函數(shù)M，需要添加多少噪聲才能滿足(?,δ)-差分隱私，并且需要獲知該算法在當前數(shù)據(jù)集中刪除一條數(shù)據(jù)引起的查詢結果的最大改變量。差分隱私算法有兩種敏感度，分別是全局敏Gt感度（Global Sensitivity）和局部敏感度（Local Sensitivity）。

4.2.1 全局敏感度

設一映射f:D→Rd，其輸出為d維實向量，則全局敏感度定義如下：

全局敏感度為一個l1范數(shù)定義的表達式，由函數(shù)本身決定，而和D與D'無關。當全局敏感度較小時，只需要添加較小的噪聲，就能使函數(shù)M滿足(?,δ)-差分隱私。

4.2.2 局部敏感度

由于全局敏感度較大時，需要添加強度足夠大的噪聲才能保證隱私安全，這可能導致數(shù)據(jù)不可用，因此Nissim等人定義了局部敏感度，則f在數(shù)據(jù)集D上的局部敏感度具體為：

可以發(fā)現(xiàn)局部敏感度與全局敏感度的關系如下：

局部敏感度通常比全局敏感度要小很多，并且局部敏感度取決于映射f本身與原始數(shù)據(jù)集D，然而，局部敏感度在一定程度上體現(xiàn)了數(shù)據(jù)集的分布特征，因此只用局部敏感度來確定噪聲強度大小，仍然容易造成隱私泄露。

4.3 差分隱私的實現(xiàn)方法

在具體實現(xiàn)差分隱私時，需要根據(jù)不同的隨機算法采取不同的實現(xiàn)機制。常見的機制包括指數(shù)機制（Exponential Mechanism）和拉普拉斯機制（Laplace Mechanism）等。

4.3.1 拉普拉斯機制

拉普拉斯機制是向確定的查詢結果中加入服從拉普拉斯分布的噪聲。此分布有兩個參數(shù)，包括尺度參數(shù)λ和位置參數(shù)μ，其分布密度函數(shù)為：

將該分布記作Lap(μ,λ)。如向查詢結果中添加尺度參數(shù)的服從拉普拉斯分布的噪聲n能夠形成一個隨機算法M，即M(D)=f(D)+n，則可以證明隨機算法M提供了?-差分隱私保護[8]。其中，Δf指的是f的敏感度。

一般來說，拉普拉斯機制適合數(shù)值型結果的保護。

4.3.2 指數(shù)機制

在許多應用場合，查詢結果都是非數(shù)值的，例如一個實體對象。設r為隨機算法的輸出，q(D,r)為一個用來評估輸出優(yōu)劣性的可用性函數(shù)，Δq為q(D,r)的敏感度。可以證明[20]，如隨機算法M能夠以正比于的概率輸出r，則算法M能夠提供?-差分隱私保護。

5 利用差分隱私保護聯(lián)邦學習系統(tǒng)安全

在安全保護領域的隱私保護機器學習（Privacy-Preserving Machine Learning，PPML）技術中，主要有兩種攻擊者：一種是“誠實但好奇”的攻擊者，這種攻擊者會誠實地遵守協(xié)議，但會試圖從接收到的信息中獲取更多輸出結果以外的信息內容；另一種是惡意的攻擊者，這種攻擊者不遵守規(guī)定的協(xié)議，會試圖發(fā)起任意的攻擊行為。本文采用拉普拉斯機制來實現(xiàn)差分隱私，提出了一種差分隱私方法，并簡要分析了方法的合理性。

5.1 聯(lián)邦學習服務器對隱私安全的保障

為了滿足以上隱私保護的目的和要求，本文在協(xié)調方發(fā)送給各個參與方的全局模型上實施差分隱私保護。在本文的聯(lián)邦學習系統(tǒng)中，聚合算法采用聯(lián)邦平均算法，其表達式為：

式中：t為全局模型更新的輪次；G t和G t+1為第t輪次和第t+1輪次更新的全局模型參數(shù)；η為全局模型更新λ的學習率；n為客戶端的數(shù)量；m為當輪被選擇參與本輪全局模型更新的客戶端數(shù)量；為在第t+1迭代輪次中被選中的第i個參與方在本地數(shù)據(jù)訓練后的本地模型；為第t+1迭代輪次中被選中的第i個參與方在本地數(shù)據(jù)訓練的更新梯度。

因此，當“誠實但好奇”的參與方或是惡意的參與方對模型發(fā)起成員推理攻擊，威脅參與方隱私安全和數(shù)據(jù)安全時，所要查詢的就是協(xié)調方發(fā)送給各個參與方的全局更新模型G t+1，所以可以得知查詢函數(shù)為：

為了防止服務器發(fā)出的全局更新被攻擊者推理出敏感信息，服務器將在聚合時對模型梯度添加噪聲。這里采用的是拉普拉斯機制。服務器端的聚合方法如下：

其中，查詢函數(shù)敏感度的一個邊界為：

式中：M'為參與方集合M的用戶鄰近數(shù)據(jù)集，即集合M'與集合M相比，有且僅有一個參與方不同；||Δk||1為第k個參與方更新梯度的l1范數(shù)。

式（11）中，當||Δk||1≤C時，式子中的分母會取到1，裁剪出來的梯度Δ與裁剪前的梯度Δk相同，滿足裁剪邊界||Δk||1≤C；當||Δk||1≥C時，分母的值會取到，于是裁剪后的度的值就為，也同樣滿足裁剪邊界||Δk||1≤C，因此，該裁剪方法是合理的。

5.2 聯(lián)邦學習參與方對隱私安全的保障

對于一個非惡意的服務器而言，如4.1節(jié)所述，其隱私保護的主要目的是防御惡意的參與方或外部攻擊者實施推理攻擊。同樣地，作為一個聯(lián)邦學習參與方，也需要防范一些非善意的參與方或服務器試圖破壞隱私安全的行為。因此，參與方在上傳其梯度更新時，也將對梯度進行一些諸如梯度裁剪的處理，以保護其隱私安全。

對于參與方而言，通過對裁剪梯度，可以做到本地差分隱私（Local Differential Privacy，LDP）[19]。在這種方式之下，參與方對自己上傳至協(xié)調方的梯度進行擾動，對梯度進行裁剪再上傳至協(xié)調方可以在協(xié)調方不受到信任的時候能夠有效地對本地數(shù)據(jù)進行保護，將已混淆的數(shù)據(jù)發(fā)布至不受信任的協(xié)調方可以有效地保護參與方用戶的隱私安全和數(shù)據(jù)安全。同樣地，據(jù)3.3節(jié)所述，下列算法能夠做到(?,δ)-差分隱私。

參與方所完成的任務是訓練本地模型并上傳更新梯度，上傳更新的算法如下：

5.3 實驗分析

據(jù)5.1節(jié)與5.2節(jié)所述，算法1和算法2在理論上能夠做到差分隱私。下文將分析差分隱私對聯(lián)邦學習性能的影響度，這里采用的實驗數(shù)據(jù)集為CIFAR-10，采用的圖片分類模型為卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network,CNN）的ResNet-18網(wǎng)絡結構。

5.3.1 收斂效率與準確率分析

本節(jié)分別對比了聯(lián)邦聚合算法FedAvg和FedSGD在加入差分隱私前后的性能。將聯(lián)邦平均算法FedAvg的參數(shù)設置為：全局模型迭代輪次（epochs）E=100，參與方總數(shù)N=10，每輪選擇參與訓練的參與方數(shù)量n=3，參與訓練的用戶方本地訓練輪次e=3。聯(lián)邦梯度下降算法FedSGD參數(shù)設置為：全局模型迭代輪次E=100，參與方總人數(shù)N=10，每輪選擇參與訓練的參與用戶數(shù)量n=10，參與訓練的用戶方本地訓練輪次e=1?；诶绽乖肼暤牟罘蛛[私算法的參數(shù)設置為：拉普拉斯噪聲的標準差σ=0.001，參與方上傳的梯度的裁剪閾值c=1。

實驗結果如圖3所示。由圖3可知，圖中所示訓練方法的模型準確率都隨訓練輪次的增加而逐漸增加，最后都穩(wěn)定在75%左右，且兩種聚合算法FedAvg和FedSGD的收斂速度和準確率無明顯區(qū)別。同時發(fā)現(xiàn)，添加了差分隱私的兩種聯(lián)邦平均算法與不添加差分隱私的原始算法的收斂速度與準確率也無明顯差距。這說明，差分隱私一般不會顯著影響模型的收斂性能。

圖3 聯(lián)邦聚合算法FedAvg和FedSGD在加入差分隱私前后的性能對比

5.3.2 差分隱私參數(shù)的變化影響分析

本節(jié)分析的參數(shù)是隱私預算，這里通過調整拉普拉斯噪聲的標準差σ來控制隱私預算，所用的聚合算法是FedAvg，其參數(shù)設置為：全局模型迭代輪次E=100，參與方總數(shù)N=10，每輪選擇參與訓練的參與用戶數(shù)量n=3，參與訓練的用戶方本地訓練輪次e=3，參與方上傳的梯度的裁剪閾值c=1。對添加拉普拉斯噪聲的大小按一定間距設置，并進行對比。

實驗結果如圖4所示。從圖中可以看出，在同樣的迭代輪次中，隨著添加的拉普拉斯噪聲標準差逐漸增大，即隨著隱私預算的減小，訓練模型的準確率有明顯的降低。若要使聯(lián)邦學習訓練模型達到同樣的準確率和性能大小，需要訓練更多的輪次才可達到這樣的效果。結合圖3可以發(fā)現(xiàn)，雖然差分隱私措施對于模型的收斂性可能無顯著影響，但收斂后的最優(yōu)效果可能隨著隱私預算的減小而出現(xiàn)顯著損失。

圖4 添加的拉普拉斯噪聲的大小對聯(lián)邦學習模型準確率的影響

5.3.3 裁剪閾值的變化影響分析

本節(jié)對裁剪閾值的變化進行分析，所用的聚合算法是FedAvg，其參數(shù)設置為：全局模型迭代輪次E=100，參與方總人數(shù)N=10，每輪選擇參與訓練的參與用戶數(shù)量n=3，參與訓練的用戶方本地訓練輪次e=3，模型添加的噪聲σ=0.001。對用戶上傳梯度的裁剪閾值按一定間距設置，并進行對比。

實驗結果如圖5所示?？梢园l(fā)現(xiàn)，不同參與方上傳的梯度裁剪閾值下的曲線幾乎重合，即參與方上傳的梯度裁剪的閾值的不同對模型的性能無顯著影響，即不會顯著影響模型訓練的準確率和模型收斂性。

圖5 裁剪參與方上傳梯度的閾值對聯(lián)邦學習模型準確率的影響

綜上實驗結果分析表明，這里提出的差分隱私算法，除了在理論上能夠保證差分隱私，也不會對被保護模型的收斂性能有顯著影響。然而，拉普拉斯噪聲的添加會導致模型準確率的下降，且隨著噪聲標準差的增大，模型準確率的下降愈發(fā)劇烈。此外，梯度裁剪方法不會對模型準確率產(chǎn)生顯著的影響，這是因為梯度裁剪算法并沒有向梯度信息中添加噪聲。在簡單模型和數(shù)據(jù)集上，差分隱私算法的添加也不因聚合算法的不同而顯著影響模型的收斂性能和準確率。因此，可以得出，上述的聯(lián)邦學習差分隱私算法在不顯著影響模型準確率的前提下能實現(xiàn)隱私保護。

6 結語

本文主要研究了差分隱私在聯(lián)邦學習隱私保護中的一些應用，探討了差分隱私的不同實現(xiàn)機制及其適用條件。最后本文討論了差分隱私對聯(lián)邦學習系統(tǒng)中不同角色的應用方法，簡要分析了具體算法，并得出聯(lián)邦學習中差分隱私方法能夠在不顯著影響模型準確率的前提下實現(xiàn)隱私保護。

此外，聯(lián)邦學習本身雖然有一定的隱私保護屬性，但仍存在一定的隱私風險。在聯(lián)邦學習系統(tǒng)中，差分隱私方法中裁剪的閾值和噪聲的大小決定著對參與方本地數(shù)據(jù)隱私和用戶隱私的保護強度，裁剪閾值越小則對本地數(shù)據(jù)隱私保護的強度越強，噪聲大小越大則對用戶隱私的保護強度越強。