差分隱私GAN梯度裁剪閾值的自適應(yīng)選取方法

郭鵬，鐘尚平，陳開志，程航

（1. 福州大學(xué)數(shù)學(xué)與計算機科學(xué)學(xué)院，福建 福州 350116；2. 網(wǎng)絡(luò)系統(tǒng)信息安全福建省高校重點實驗室，福建 福州 350116）

1 引言

近年來，隨著計算機硬件和軟件技術(shù)的快速發(fā)展，大量關(guān)于個人語義豐富的數(shù)據(jù)（如圖像、文本、音頻）正在被收集。盡管分析和利用這些數(shù)據(jù)帶來了巨大的商業(yè)價值（如有針對性的廣告和個性化推薦），但是，政府、組織部門都已經(jīng)認識到在這種實踐中保護個人隱私的重要性[1]。

數(shù)據(jù)的隱私保護主要解決兩方面問題[2]：數(shù)據(jù)集不能泄露個人的隱私，以及使數(shù)據(jù)的可利用性和隱私性達到平衡。Mohassel等[3]提出數(shù)據(jù)隱私保護的雙服務(wù)器協(xié)議，數(shù)據(jù)管理員結(jié)合安全雙方計算（2PC，two-party compution）與同態(tài)加密技術(shù)利用數(shù)據(jù)集訓(xùn)練多種模型，但計算消耗較大，復(fù)雜度較高。Sweeney等[4]提出k-anonymity的目的是保證公開數(shù)據(jù)中包含的個人信息至少k-1條不能通過其他個人信息確定出來，但是目前有多種根據(jù)背景知識針對匿名保護的攻擊，并且有較高成功率；l-diversity[5]、t-closeness[6]等方法是針對背景知識攻擊以及對 k-anonymity的改進方法。盡管以上方法一定程度保護數(shù)據(jù)隱私，但是計算復(fù)雜，不容易部署實施，屬性缺失造成數(shù)據(jù)可利用性降低，或者因為背景知識容易被攻擊等問題對上述方法提出挑戰(zhàn)。

Dwork[7]提出的差分隱私具有優(yōu)雅的理論證明，自定義的“隱私預(yù)算”來調(diào)整數(shù)據(jù)的實用性和隱私性，差分隱私與機器學(xué)習(xí)的結(jié)合是隱私保護的熱點。Shokri等[1]提出分布訓(xùn)練，使用互斥數(shù)據(jù)集，對每一個分布的模型參數(shù)添加噪聲處理后，上傳到中心服務(wù)器處，其他分布者再從中心處下載平均化處理后的參數(shù)，更新自己的模型參數(shù)，但 Abadi[8]和 Papernot[9]等認為這種方法會產(chǎn)生很高的隱私損失；Papernot等[9]應(yīng)用獨立的教師模型集成器和半監(jiān)督知識遷移訓(xùn)練的學(xué)生模型對Mnist和Svhn數(shù)據(jù)集實現(xiàn)最好的分類準確率，但是實施這種方法的前提是確保對手不能接觸到教師集成器和聚合結(jié)果，并且允許學(xué)生模型對教師集成器的查詢次數(shù)盡可能少，因為查詢會增加隱私損失；Abadi等[8]提出使用差分隱私隨機梯度下降，對深度學(xué)習(xí)的優(yōu)化過程實施隱私保護，在保證較低差分隱私預(yù)算同時不要求分布式訓(xùn)練，但是這種方法只是發(fā)布固定任務(wù)的模型，第三方無法根據(jù)實際任務(wù)訓(xùn)練自己的模型。

因此，為了保護數(shù)據(jù)集的個人隱私，同時平衡數(shù)據(jù)的實用性和隱私性而滿足第三方的需求，已有研究者將差分隱私和生成模型結(jié)合，實現(xiàn)差分隱私保護的生成模型，第三方可以依靠生成模型無限制生成滿足源數(shù)據(jù)統(tǒng)計特性的“虛假”數(shù)據(jù)。Gergely等[10]提出了新穎的隱私保護生成模型，將k個生成神經(jīng)網(wǎng)絡(luò)混合一起學(xué)習(xí)訓(xùn)練數(shù)據(jù)的分布，構(gòu)建生成器模型。先使用差分隱私核k-means將數(shù)據(jù)分成k類，使用單個生成神經(jīng)網(wǎng)絡(luò)（如限制玻爾茲曼機或者變分自編碼器）學(xué)習(xí)每一類訓(xùn)練數(shù)據(jù)分布，學(xué)習(xí)過程中利用了 Abadi等[8]的差分隱私優(yōu)化過程方法實驗差分隱私保護，但是 VAE是通過直接計算生成圖像和原始圖像的均方誤差學(xué)習(xí)，使生成的圖像模糊；Beaulieu-Jones等[11]提出差分隱私輔助分類生成對抗網(wǎng)絡(luò)（DPACGAN, differential privacy auxiliary classifier generative adversarial network）生成醫(yī)療臨床數(shù)據(jù)。這是第一篇實現(xiàn)對生成對抗網(wǎng)絡(luò)差分隱私保護的文章。DPACGAN和 Gergely等[10]方法相比具有很多優(yōu)點。首先，GAN確?？蓴U展性，更適用于現(xiàn)實生活中復(fù)雜結(jié)構(gòu)的數(shù)據(jù)；其次，這種方案是比較容易實施的，即不需要在互斥數(shù)據(jù)集上分布式訓(xùn)練模型后再聚合；最后，DPACGAN借鑒了Abadi[8]的隱私保護結(jié)構(gòu)，即通過設(shè)定梯度裁剪閾值，限制每個樣例的敏感度，然后對裁剪處理后的梯度添加合適的噪聲，再來更新對應(yīng)的網(wǎng)絡(luò)參數(shù)。DPACGAN具有完整的理論證明，可以根據(jù)標簽生成需要的圖像。但是，DPACGAN直接固定梯度裁剪閾值 C，這會影響優(yōu)化器性能，原因為：1) 不同層的梯度相差很大；2) 梯度值是持續(xù)改變的。Zhang等[12]提出梯度裁剪自適應(yīng)選取方法，先將權(quán)重等參數(shù)進行歸類操作，在訓(xùn)練前和訓(xùn)練過程中監(jiān)測梯度值的變化，再對每一類設(shè)置梯度閾值。

本文借鑒Zhang等[12]思想，以DPACGAN框架為基礎(chǔ)，假設(shè)除了可以接觸到隱私數(shù)據(jù)Dpri來訓(xùn)練模型，還可以接觸到小部分的公開數(shù)據(jù)集 Dpub。在每一步訓(xùn)練中，筆者隨機從Dpub抽取一批樣例，設(shè)置訓(xùn)練模型的梯度裁剪閾值為這批數(shù)據(jù)的平均梯度范數(shù)，迭代上述操作直到網(wǎng)絡(luò)聚合。在Mnist和Cifar10數(shù)據(jù)集上對本文方法進行了實驗驗證，結(jié)果表明，合理隱私預(yù)算下，和DPACGAN相比，使用生成圖像訓(xùn)練得到的卷積神經(jīng)網(wǎng)絡(luò)（CNN）分類器準確率提高1%～4%，評估分數(shù)（Inception Scores）提升0.6～1.2。

本文的主要貢獻如下。

1) 發(fā)現(xiàn)原始 DPACGAN固定梯度閾值的弊端，提出結(jié)合C自適應(yīng)選取的方法。直觀地說，對每一個輸入，梯度值的L2范數(shù)應(yīng)該近似等于裁剪閾值，這保證了輸入對梯度的貢獻最大并且相關(guān)誤差最小。

2) 驗證了改進后的 DPACGAN在不同復(fù)雜度數(shù)據(jù)集上的實用性，在合理的隱私預(yù)算下，CNN分類器分類準確率提高，生成的圖像更清晰和多樣性更好。

2 相關(guān)技術(shù)概述

2.1 差分隱私理論基礎(chǔ)

本文方法使用的隱私模型是差分隱私[7,13,14]，差分隱私被認為是最強的隱私保護之一。

2.1.1 差分隱私定義

定義1 給定2個至多相差一條記錄的數(shù)據(jù)集 d 和d'(即)，對于一個設(shè)定的隨機算法A，其取值范圍為Range(A)，若算法A在數(shù)據(jù)集 d和d′上的任意輸出結(jié)果滿

其中，ε是隱私保護參數(shù)，表示隱私保護的程度，ε越小意味著對于真實輸出的擾動越大，隱私保護程度也越高。δ表示嚴格的差分隱私下隱私泄露的概率。

2.1.2 差分隱私實現(xiàn)方法

1) 函數(shù)的敏感度

給定函數(shù)f，通過對f輸出添加隨機噪聲實現(xiàn)差分隱私，噪聲的大小取決于 f輸出的敏感度。如果f輸出是向量值，它的敏感度大小定義為足式(1)，則稱算法A滿足(ε, δ)-差分隱私。

表示單個數(shù)據(jù)對f輸出的最大影響，量化評估最壞情況下隱藏單個數(shù)據(jù)存在要添加的不確定性。

2) 高斯機制

如果f的敏感度使用L2范式定義，高斯機制常被用來隨機化f的輸出。高斯機制（式(3)）是給f的真實輸出添加高斯噪聲[14]。

其中，高斯噪聲是均值為0、協(xié)方差為2(Δf)σI的高斯分布，I是單位矩陣。

3) 屬性

在差分隱私對抗網(wǎng)絡(luò)中利用差分隱私的以下特性。

① 后處理性。對差分隱私機制下輸出的任何計算不會增加隱私損失。

② 序列化組合原理。差分隱私機制的序列化組成依然滿足差分隱私保護。

2.1.3 差分隱私優(yōu)化算法

本文的隱私保護方法和差分隱私深度學(xué)習(xí)[8]的技術(shù)很相似，通過在優(yōu)化程序中添加噪聲實現(xiàn)。算法1說明了差分隱私深度學(xué)習(xí)中通過最小化經(jīng)驗損失函數(shù) L(θ)訓(xùn)練關(guān)于參數(shù)θ模型的基本方法。在優(yōu)化程序的每一步，計算隨機樣例的梯度g(x)，裁剪每個梯度L2范數(shù)，計算平均值，添加噪聲，如步驟 5)～步驟 7)，再使用平均梯度更新對應(yīng)參數(shù)。這里對梯度的裁剪是為了限制單個數(shù)據(jù)對整體的影響，也是方便敏感度的計算。添加噪聲是實現(xiàn)對梯度輸出的擾動，實現(xiàn)保護。

算法1 差分隱私優(yōu)化算法

輸入 訓(xùn)練樣例 X={x1,x2,…,xn}，損失函數(shù)，噪聲σ，學(xué)習(xí)率α，組大小m，梯度裁剪閾值C，訓(xùn)練輪數(shù)T

輸出 θ，并且使用隱私統(tǒng)計方法計算全局隱私損失

1) 初始化θ

2) for t∈Tdo

3) 隨機選取m個樣例

12) return θ

2.2 梯度裁剪閾值的自適應(yīng)選取

差分隱私隨機梯度下降將梯度裁剪閾值C作為輸入，沒有給出解釋如何計算該值。另外，C的選擇對優(yōu)化器的性能影響較大。如果C太小，會導(dǎo)致梯度的過度截斷，造成聚合緩慢。相反，如果C太大，較多不必要的噪聲將被添加到梯度更新，會導(dǎo)致生成圖像質(zhì)量不好。由于不同層權(quán)重，偏置、梯度相差較大，并且訓(xùn)練中梯度是持續(xù)改變的，很難找到接近最優(yōu)的固定設(shè)置C。直觀地說，對每個輸入的樣例這樣保證了輸入x對平均梯度的貢獻具有最小相關(guān)誤差的最大保護[10]。

因此，與其對整體訓(xùn)練集的C做固定輸入，不如自適應(yīng)地選取每批的 C。本文假設(shè)訓(xùn)練模型時，除了可以接觸到隱私數(shù)據(jù)Dpri還可以接觸到小部分的公開數(shù)據(jù)Dpub，在每一次訓(xùn)練時，隨機從 Dpub選取一批樣例，設(shè)置隱私數(shù)據(jù)的裁剪閾值為這一批訓(xùn)練樣例梯度范式的平均值。這種自適應(yīng)的方法確保具有較小誤差的較快聚合。

2.3 生成對抗網(wǎng)絡(luò)

如圖1所示，生成對抗網(wǎng)絡(luò)[15]同時訓(xùn)練2個模型：生成模型G是學(xué)習(xí)將潛在分布pz映射到訓(xùn)練數(shù)據(jù)的真實分布 pdata，同時判別器訓(xùn)練過程是計算輸入樣例來自真實訓(xùn)練數(shù)據(jù)的概率，生成器的訓(xùn)練過程是最大化判別器犯錯誤的概率，即判別器誤以為樣例為真實訓(xùn)練樣例而不是生成器生成的“虛假”樣例，目標函數(shù)為

Xreal表示從真實訓(xùn)練數(shù)據(jù)取樣，Xfake表示從“虛假”數(shù)據(jù)取樣。

GAN被用在各種無監(jiān)督和半監(jiān)督的學(xué)習(xí)任務(wù)。其中，一個是將訓(xùn)練好的判別器作為特征提取器，用在各種設(shè)置中；另一個工作是針對潛在變量Xfake，要么使用正則化使Xfake語義有意義，要么直接在潛在空間提取信息。盡管GAN理論簡明，但是原始GAN在訓(xùn)練中不穩(wěn)定并且效率不高。

如圖2所示，ACGAN[16]是GAN的變形。ACGAN除了輸入對應(yīng)噪聲z，還有標簽c～ pc用來生成每個樣例。G使用兩者生成圖像判別器判別輸入圖像的真假源概率分布和類別標簽的分布。目標函數(shù)有式(5)和式(6)兩部分。

圖1 生成對抗網(wǎng)絡(luò)結(jié)構(gòu)

圖2 輔助分類生成對抗網(wǎng)絡(luò)

其中，Ls表示輸入數(shù)據(jù)的真實來源，Lc表示輸入數(shù)據(jù)正確的標簽。D被訓(xùn)練最大化Ls+Lc，同時G最大化Lc+Ls。ACGAN和標準GAN相比，產(chǎn)生極好的效果并且訓(xùn)練更穩(wěn)定。早期實驗表明，增加訓(xùn)練集類別數(shù)量會降低模型輸出的質(zhì)量。ACGAN的模型結(jié)構(gòu)允許將訓(xùn)練集根據(jù)類別劃分多個子集，使用每個子集訓(xùn)練生成器和分類器。

2.4 差分隱私生成對抗網(wǎng)絡(luò)

DPACGAN是[11]在優(yōu)化程序中添加隨機噪聲實現(xiàn)對訓(xùn)練數(shù)據(jù)的隱私保護。本文嘗試僅對判別器D添加隨機擾動，合理性如下：首先，在對抗網(wǎng)絡(luò)中，只有D可直接接觸訓(xùn)練真實數(shù)據(jù)，這樣足夠控制訓(xùn)練D的隱私損失；其次，和生成器G比較，D僅需要較簡單的結(jié)構(gòu)和小部分參數(shù)，這樣比較容易估計隱私損失。但是，通過對D實施隱私保護，生成器的參數(shù)依然是差分隱私保護。這是因為差分隱私的后處理性，也就是說，對差分隱私輸出的任何計算不會增加隱私損失。這里的計算是指對生成器參數(shù)的計算，輸出指判別器輸出的差分隱私保護參數(shù)，因此訓(xùn)練后的生成器用來生成數(shù)據(jù)是安全的。

2.5 隱私分析

差分隱私生成對抗網(wǎng)絡(luò)的關(guān)鍵組成部分是計算訓(xùn)練期間的逆累積隱私損失，即隱私統(tǒng)計A，包含2個部分：時刻統(tǒng)計[8]和子集采樣[8]。

時刻統(tǒng)計：Abadi等提出了時刻統(tǒng)計——一個隱私統(tǒng)計的方法，該方法比組合原理[17]對隱私損失的評估更嚴謹。隨機變量 Z表示隱私損失（式(7)）。

其中，d, d'表示臨近數(shù)據(jù)集，M是隨機機制算法，o∈R表示輸出。隱私損失隨機變量的時刻生成函數(shù)日志為得到Mα。

為了滿足差分隱私，需要遍歷所有可能的

使用馬爾可夫不等式，可以證明任何ε＞0，對于，M滿足

子集采樣：在每次D的迭代訓(xùn)練中，從真實數(shù)據(jù)集采樣一批數(shù)據(jù)。由隱私應(yīng)用定理可知，每次采樣程序關(guān)于整個數(shù)據(jù)集實現(xiàn)表示每批的采樣概率，m表示批大小，n表示訓(xùn)練集大小，

如果噪聲σ和梯度裁剪閾值C選擇合適，使用時刻統(tǒng)計[7]可以證明算法1是t表示主循環(huán)中總的迭代輪數(shù)。

3 梯度裁剪閾值自適應(yīng)選取和 DPACGAN的結(jié)合

DPACGAN因其更適用于生活中復(fù)雜數(shù)據(jù)結(jié)構(gòu)，更簡單的實施方案，更能保證數(shù)據(jù)利用和數(shù)據(jù)隱私之間達到平衡的優(yōu)點而引起數(shù)據(jù)管理者的青睞。在差分隱私層面提供隱私保護控制的GAN可以生成和原始真實數(shù)據(jù)同分布的“虛假”數(shù)據(jù)，在允許第三方利用訓(xùn)練數(shù)據(jù)實現(xiàn)不同機器學(xué)習(xí)任務(wù)的同時，保護數(shù)據(jù)的隱私性，滿足數(shù)據(jù)分析師的需求，引導(dǎo)長遠的研究。

然而，筆者發(fā)現(xiàn)在隱私保護的方法中，直接固定裁剪閾值 C會造成生成數(shù)據(jù)的可利用性降低。因為GAN訓(xùn)練中梯度是不斷變化的，每層相差較大。而如果C太小，會導(dǎo)致梯度的過度裁剪，造成聚合緩慢。相反，如果C太大，較多不必要的噪聲將被添加到梯度更新，會導(dǎo)致生成圖像質(zhì)量不好，很難找到滿足全局需求的最優(yōu)的C作為輸入。因此，本文將DPACGAN與2.2節(jié)中方法結(jié)合，保證在每一輪迭代中自適應(yīng)地選取C。

3.1 自適應(yīng)選取梯度閾值DPACGAN

算法2列出了采用自適應(yīng)選取梯度裁剪閾值的DPACGAN的結(jié)構(gòu)。本文首先從Dpub選取一批數(shù)據(jù)，計算輸入樣例的梯度，然后使用該批的梯度平均值作為隱私訓(xùn)練的梯度裁剪閾值（步驟 4)～步驟5)），再從真實數(shù)據(jù)取樣，計算梯度（步驟 6)～步驟 7)），對梯度裁剪和添加噪聲，更新判別器參數(shù)（步驟 8)～步驟 12)）。迭代這樣的操作，直到網(wǎng)絡(luò)聚合或者隱私預(yù)算耗盡（步驟15)～步驟16)）。

算法2 自適應(yīng)選取閾值DPACGAN算法

輸入：數(shù)據(jù)集X={x1,x2,…,xn}；Dpub公共數(shù)據(jù)集，Dpri隱私數(shù)據(jù)集，m隱私數(shù)據(jù)集批大小，mpub公開數(shù)據(jù)集的批大小；D判別器，G生成器；(α,β1,β2)是 Adam 的參數(shù)；C 裁剪閾值；σ噪聲大小；(ε0,δ0)-總隱私預(yù)算。

輸出：G，差分隱私生成器

1) (w,)θ←使用Dpub訓(xùn)練ACGAN

2) While θ沒有聚合 do

3) while D do

4) //從 Dpub取樣類別標簽

5)計算梯度，求平均值得梯度裁剪閾值C

6) 從 Dpri取樣類別標簽

7)//計算梯度

8) for i=1,…,m do

9)//裁剪

10)//添加擾動噪聲，更新隱私統(tǒng)計

11) //求批次平均梯度，更新判別器參數(shù)

12) End (while)

13) //采樣噪聲，類別標簽，更新生成器參數(shù)θ

14) //計算隱私算法A關(guān)于ε0的δ

15) If結(jié)束訓(xùn)練

16) End while

17) return G

3.2 算法性能分析

在算法2每次判別器的訓(xùn)練中，本文增加了對Dpub的隨機取樣并且計算梯度值，每次選取m個數(shù)據(jù)，進行計算，時間復(fù)雜度為O(m)，然后，從Dpri選取n個數(shù)據(jù)計算梯度，則時間復(fù)雜度O(n)，故一次迭代總復(fù)雜度為O(m+n)。之后的每次迭代相同，假設(shè)為N次，則判別器層總的復(fù)雜度為NO(m+n)。

4 實驗

4.1 實驗設(shè)置

本節(jié)評估改進后DPACGAN的性能。所有實驗均是在 keras+tensorflow+gpu平臺上完成，python版本為 3.5.2。此外使用了 2塊 NVIDIA GTX 1080Ti顯卡實現(xiàn)硬件加速。

本文實驗使用2種標準數(shù)據(jù)集。

1) Mnist，由70 000張10類手寫數(shù)字圖像組成，包括60 000張訓(xùn)練數(shù)據(jù)集和標簽，10 000張測試數(shù)據(jù)集和標簽。每張圖像大小28×28。

2) Cifar10，由60 000張10類圖像組成，每類6 000張。包括50 000張訓(xùn)練數(shù)據(jù)集和標簽，10 000張測試數(shù)據(jù)集和標簽。每張圖像32×32。

本文分別將Mnist和Cifar10數(shù)據(jù)集的訓(xùn)練集按4：96比例分為公共可利用數(shù)據(jù)集Dpub和隱私數(shù)據(jù)集Dpri。針對Mnist數(shù)據(jù)集的改進后DPACGAN超參數(shù)設(shè)置如圖3所示，針對Cifar10數(shù)據(jù)集的改進后DPACGAN超參數(shù)設(shè)置如圖4所示。在判別器的優(yōu)化中，本文使用NoisyAdam()優(yōu)化器，實現(xiàn)隱私保護。

4.2 實驗結(jié)果及分析

本節(jié)對生成的圖像質(zhì)量進行評估。筆者主要設(shè)計2個實驗，回答關(guān)于改進后DPACGAN的3個關(guān)鍵問題。第一，在隱私約束條件下，改進后DPACGAN是否可以生成視覺效果較好的圖像？第二，生成的圖像是否保持足夠的能力實現(xiàn)數(shù)據(jù)分析任務(wù)？第三，生成的圖像是否具有足夠好的質(zhì)量和多樣性？

4.2.1 改進后DPACGAN生成的圖像

本節(jié)主要是展示一些使用改進后方法生成的圖像數(shù)據(jù)。圖5和圖6分別使用Mnist和Cifar10數(shù)據(jù)集訓(xùn)練的生成模型生成的圖像數(shù)據(jù)，可以看出，改進后DPACGAN可以生成視覺上清晰的圖像。

4.2.2 Mnist數(shù)據(jù)集和Cifar10數(shù)據(jù)集的分類任務(wù)

圖3 Mnist數(shù)據(jù)集生成模型超參數(shù)設(shè)置

圖4 Cifar10數(shù)據(jù)集生成模型超參數(shù)設(shè)置

圖5 Mnist生成模型生成圖像（ε=4，δ=10-5）

圖6 Cifar10生成模型生成圖像（ε=8，δ=10-5）

筆者使用 Mnist訓(xùn)練集在下訓(xùn)練 4個不同隱私預(yù)算的生成模型，再使用每一個模型生成數(shù)據(jù)，對每一類數(shù)字隨機挑選3 000張組成生成圖像訓(xùn)練集，則共得到 4組訓(xùn)練集。每一組訓(xùn)練集訓(xùn)練得到一個CNN分類器，再使用每一個訓(xùn)練好的分類器對Mnist測試集測試計算準確率。然后，重復(fù)這樣的操作50次，計算平均準確率。作為對比，使用DPACGAN設(shè)置在下訓(xùn)練生成模型，同樣操作計算平均準確率；還使用真實Mnist訓(xùn)練集訓(xùn)練分類器，應(yīng)用測試集計算分類準確率；使用無隱私保護ACGAN生成的數(shù)據(jù)訓(xùn)練分類器，應(yīng)用測試集計算準確率。實驗結(jié)果如圖 7所示，橫坐標表示隱私預(yù)算大小，縱坐標表示CNN的分類準確率，每一部分前兩列分別表示在固定隱私預(yù)算下，改進前DPACGAN生成數(shù)據(jù)分類器準確率和改進后DPACGAN生成數(shù)據(jù)分類器準確率。雖然ACGAN數(shù)據(jù)和原始數(shù)據(jù)沒有使用固定隱私預(yù)算，但是作為對比，分別放在每部分的后兩列，這樣很容易得到對比效果。

圖7 Mnist數(shù)據(jù)CNN分類準確率

筆者使用Cifar10數(shù)據(jù)集執(zhí)行和Mnist數(shù)據(jù)集相同的操作。實驗結(jié)果如圖 8所示，每一部分前兩列分別表示在固定隱私預(yù)算下，改進前DPACGAN生成數(shù)據(jù)訓(xùn)練的分類器準確率和改進后 DPACGAN生成數(shù)據(jù)訓(xùn)練的分類器準確率。雖然 ACGAN數(shù)據(jù)和原始數(shù)據(jù)沒有使用固定隱私預(yù)算，但是作為對比，分別放在每部分的后兩列，這樣很容易得到對比效果。和Mnist數(shù)據(jù)集比較，Cifar10數(shù)據(jù)集為彩色圖像，并且比較復(fù)雜，通過自適應(yīng)選取切割閾值發(fā)現(xiàn)，生成數(shù)據(jù)的準確率提升更加明顯，這是因為改進后方法在固定隱私預(yù)算下，自適應(yīng)選取梯度裁剪閾值，保證了輸入樣例對梯度的貢獻具有最小相關(guān)誤差的最大保護。圖7和圖8表明分類準確率會隨著隱私預(yù)算增大而提升，這正是因為ε越小隱私保護程度越高，訓(xùn)練中增加噪聲越多，對優(yōu)化器參數(shù)更新造成干擾。為了調(diào)節(jié)可用性和隱私性，應(yīng)該適當(dāng)增大隱私預(yù)算。并且，筆者發(fā)現(xiàn)采用自適應(yīng)選取裁剪閾值的方法后，同隱私預(yù)算下 CNN分類器分類效果有很大提升，分類準確率接近無隱私保護情況下ACGAN生成的圖像訓(xùn)練得到分類器的準確率。

圖8 Cifar10數(shù)據(jù)CNN分類準確率

4.2.3 Mnist數(shù)據(jù)集和Cifar10數(shù)據(jù)集的統(tǒng)計特性Salimans等[16]提出使用Inception Scores來評價GAN生成數(shù)據(jù)的質(zhì)量。生成器G的Inception Scores定義為

這里，x是 G生成的樣例；Pr(y|x)是提前訓(xùn)練的預(yù)測x標簽y的分類器所屬的條件分布，如果x是和真實樣例相似的，則期望Pr(y|x)的熵是小的；是y的邊緣分布，如果G能夠生成多樣性樣例，則期望Pr(y)的熵是大的。因此，通過測量2個分布KL的差異，s(G)可以評估生成數(shù)據(jù)的質(zhì)量和多樣性。

表1總結(jié)了Mnist和Cifar10數(shù)據(jù)集分別訓(xùn)練的 DPACGAN，改進后 DPACGAN的生成數(shù)據(jù)Inception Scores，并且作為對比，本文給出原始數(shù)據(jù)，ACGAN生成數(shù)據(jù)[16]的Inception Scores。不難發(fā)現(xiàn)，改進后DPACGAN生成的圖像比改進前的分數(shù)提高，更接近原始數(shù)據(jù)和ACGAN生成數(shù)據(jù)的分數(shù)。

表1 真實數(shù)據(jù)和合成數(shù)據(jù)的Inception Scores

4.2.4 分析總結(jié)

由CNN的分類準確率和Inception Scores的評分2個標準，可以發(fā)現(xiàn)改進后的DPACGAN性能提升，不僅更適用于數(shù)據(jù)分析任務(wù)，而且生成的圖像質(zhì)量和多樣性更好。這是因為改進后自適應(yīng)選取的梯度裁剪閾值更接近每個樣例輸入時引起的梯度變化，不會導(dǎo)致梯度的過小截斷，也不會導(dǎo)致梯度的過度放大。在差分隱私優(yōu)化過程中，可知梯度裁剪閾值大小即為敏感度的上界，而添加噪聲[14]，如下式。

可知噪聲大小和敏感度相關(guān)。當(dāng)自適應(yīng)選取梯度閾值時，梯度不會因為過小而導(dǎo)致訓(xùn)練緩慢，隱私損失計算較大，訓(xùn)練迭代輪數(shù)減少，生成圖像可利用性降低；也不會因為過大而導(dǎo)致敏感度過大，噪聲添加過多，以及訓(xùn)練參數(shù)的更新偏離最優(yōu)值，生成圖像可利用性降低。

5 結(jié)束語

本文結(jié)合DPACGAN和梯度裁剪閾值自適應(yīng)選取的優(yōu)點，不再將梯度裁剪閾值作為輸入。因為生成對抗網(wǎng)絡(luò)不同層的梯度相差很大，訓(xùn)練時，梯度值持續(xù)改變，通過自適應(yīng)選取閾值既可以防止閾值過小導(dǎo)致網(wǎng)絡(luò)聚合緩慢，又可以避免閾值過大導(dǎo)致敏感度增高，生成圖像質(zhì)量可利用性低。本文通過實驗評估，改進后的DPACGAN比改進前DPACGAN生成的圖像視覺上更清晰，用于數(shù)據(jù)分析任務(wù)時性能更優(yōu)，圖像質(zhì)量和多樣性更好。

關(guān)于本文工作還有很多需要長遠研究的內(nèi)容。例如，本文實驗都是聚焦于生成圖像數(shù)據(jù)，然而對其他語義豐富數(shù)據(jù)類型（如語言模型任務(wù)）是值得深入研究的。

參考文獻：

[1]SHOKRI R, SHMATIKOV V. Privacy-preserving deep learning[C]//The 53rd IEEE Annual Allerton Conference on Communication, Control, and Computing. 2015： 909-910.

[2]ZHU T, LI G, ZHOU W, et al. Differentially private data publishing and analysis： a survey[J]. IEEE Transactions on Knowledge & Data Engineering, 2017, 29(8)： 1619-1638.

[3]MOHASSEL P, ZHANG Y. SecureML： a system for scalable privacy-preserving machine learning[C]//The 38th IEEE Symposium on Security and Privacy. 2017： 19-38.

[4]SWEENEY L. K-Anonymity： a model for protecting privacy[J].International Journal of UncertainTy Fuzziness and Knowledge Based Systems, 2002, 10(5)： 557-570.

[5]MACHANAVAJJHALA A, GEHRKE J, KIFER D, et al. l-diversity：privacy beyond k-anonymity[C]//The 22nd IEEE International Conference on Data Engineering. Atlanta Georgia. 2006： 24-24.

[6]LI N, LI T, VENKATASUBRAMANIAN S, et al. T-closeness：privacy beyond k-anonymity and l-diversity[C]//The 23rd IEEE International Conference on Data Engineering. 2007： 106-115.

[7]DWORK C. Differential privacy[M]//Encyclopedia of Cryptography and Security. Springer, 2011： 338-340.

[8]ABADI M, CHU A, GOODFELLOW I, et al. Deep learning with differential privacy[C]//The ACM SIGSAC Conference on Computer and Communications Security. 2016： 308-318.

[9]PAPERNOT N, ABADI M, ERLINGSSON U, et al. Semi- supervised knowledge transfer for deep learning from private training data[C]//The 5th International Conference on Learning Representations. 2017

[10]ACS G, MELIS L, CASTELLUCCIA C, et al. Differentially private mixture of generative neural networks[C]//The 17th IEEE International Conference on Data Mining. 2017：715-720.

[11]BEAULIEU-JONES B K, WU Z S, WILLIAMS C, et al. Privacy-preserving generative deep neural networks support clinical data sharing[R]. 2017.

[12]ZHANG X, JI S, WANG T. Differentially private releasing via Deep Generative Model[EB/OL]. arXiv preprint arXiv： 1801.01594v1. 2018.

[13]DWORK C. Differential privacy： a survey of results[C]// International Conference on Theory and Applications of Models of Computation. Springer, Berlin, Heidelberg. 2008： 1-19.

[14]DWORK C, ROTH A. The algorithmic foundations of differential privacy[J]. Foundations and Trends in Theoretical Computer Science, 2014, 9(3/4)： 211-407.

[15]GOODFELLOW I, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial nets[C]//Advances in Neural Information Processing Systems. 2014： 2672-2680.

[16]ODENA A, OLAH C, SHLENS J. Conditional image synthesis with auxiliary classifier GANs[C]//International Conference on Machine Learning. 2017： 2642-2651.

[17]KAIROUZ P, OH S, VISWANATH P, et al. The composition theorem for differential privacy[J]. IEEE Transactions on Information Theory, 2013, 63(6)： 4037-4049.

[18]SALIMANS T, GOODFELLOW I, ZAREMBA W, et al. Improved techniques for training GANs[C]//Advances in Neural Information Processing Systems. 2016： 2234-2242.