面向Stacking算法的差分隱私保護(hù)研究

董燕靈,張淑芬,4,徐精誠(chéng),王豪石

(1.華北理工大學(xué)理學(xué)院,河北 唐山 063210;2.河北省數(shù)據(jù)科學(xué)與應(yīng)用重點(diǎn)實(shí)驗(yàn)室,河北 唐山 063210;3.唐山市數(shù)據(jù)科學(xué)重點(diǎn)實(shí)驗(yàn)室,河北 唐山 063210;4.唐山市大數(shù)據(jù)安全與智能計(jì)算重點(diǎn)實(shí)驗(yàn)室,河北 唐山 063210)

1 引言

隨著科技的發(fā)展,從互聯(lián)網(wǎng)到移動(dòng)設(shè)備,從社交媒體到物聯(lián)網(wǎng),產(chǎn)生了越來(lái)越多信息和數(shù)據(jù)。許多機(jī)構(gòu)和企業(yè)使用集成學(xué)習(xí)技術(shù)對(duì)收集到的信息進(jìn)行分析,以獲取有用的知識(shí)來(lái)便利人們的生活。但是,隱私泄露和隱私侵犯的問(wèn)題也隨之而來(lái),人們對(duì)隱私保護(hù)問(wèn)題越來(lái)越關(guān)注。為了保護(hù)個(gè)人隱私,越來(lái)越多的研究人員開(kāi)始研究關(guān)于隱私保護(hù)的理論和技術(shù),并且提出了一系列的解決方案。

當(dāng)前應(yīng)用于集成學(xué)習(xí)的隱私保護(hù)技術(shù)主要有加密和擾動(dòng)2種。加密常通過(guò)同態(tài)加密[1,2]、哈希技術(shù)[3,4]等來(lái)對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行加密,以阻止他人竊取敏感信息。擾動(dòng)通常使用差分隱私技術(shù)[5-7]來(lái)實(shí)現(xiàn),采用拉普拉斯機(jī)制[8]、指數(shù)機(jī)制[9]或高斯機(jī)制[10]對(duì)數(shù)據(jù)添加噪聲,防止包括攻擊者在內(nèi)的第三方從發(fā)布的數(shù)據(jù)集中提取有價(jià)值的信息。相較于傳統(tǒng)的加密技術(shù),差分隱私不需要對(duì)數(shù)據(jù)進(jìn)行額外的加密處理,且支持對(duì)多種不同類型的數(shù)據(jù)進(jìn)行隱私保護(hù),如數(shù)值型數(shù)據(jù)、文本型數(shù)據(jù)和圖像型數(shù)據(jù)等,還具有高度的可伸縮性,可以根據(jù)實(shí)際需要添加額外的隱私約束,從而更好地保護(hù)數(shù)據(jù)。

差分隱私技術(shù)已經(jīng)被擴(kuò)展應(yīng)用于許多集成學(xué)習(xí)算法,如隨機(jī)森林[11-14]、Adaboost[15-18]和提升樹(shù)[19,20]等,但單一同質(zhì)的集成學(xué)習(xí)算法可能很難滿足同時(shí)達(dá)到有效隱私保護(hù)和較好預(yù)測(cè)性能的要求。因此,本文提出將異質(zhì)Stacking算法與差分隱私技術(shù)相結(jié)合的算法。Stacking算法是一種強(qiáng)大的集成學(xué)習(xí)算法,被廣泛應(yīng)用于文本分類[21]、圖像分類[22]、生物醫(yī)學(xué)[23]等各種重要領(lǐng)域,與單一的同質(zhì)集成學(xué)習(xí)算法相比,其組合了多個(gè)不同的弱學(xué)習(xí)器預(yù)測(cè)結(jié)果來(lái)提高模型的精度。當(dāng)前將差分隱私技術(shù)與Stacking算法結(jié)合起來(lái)的相關(guān)研究較少。Salem等人[24]提出了一種基于模型泛化的Model Stacking方法來(lái)進(jìn)行隱私保護(hù)。Yao等人[25]提出了一種通過(guò)Stacking算法來(lái)增強(qiáng)隱私保護(hù)邏輯回歸PLR(Privacy-preserving Logistic Regression) 的方法。李帥等人[26]提出了一種DPC-Stacking(Differential Privacy protected Clustering of Stacking)算法來(lái)解決單一聚類算法在差分隱私保護(hù)下準(zhǔn)確性和安全性不足的問(wèn)題。在這些已有的將差分隱私技術(shù)與Stacking算法相結(jié)合的研究中,主要有2個(gè)缺陷：一是隱私預(yù)算分配方案不具有廣泛的應(yīng)用性,不能適用于由任意學(xué)習(xí)器構(gòu)成的Stacking算法;二是對(duì)訓(xùn)練集重復(fù)添加差分隱私保護(hù),使得數(shù)據(jù)的可用性降低。

基于此,本文設(shè)計(jì)了一種基于Stacking元學(xué)習(xí)器的隱私預(yù)算分配方案,將此方案與Stacking算法結(jié)合,提出一種基于差分隱私的DPStacking(Differential Privacy of Stacking)算法,只需對(duì)訓(xùn)練集添加一次差分隱私保護(hù),提高數(shù)據(jù)集的可用性,在保證算法準(zhǔn)確率的同時(shí),提高Stacking算法在模型訓(xùn)練過(guò)程中的安全性。具體來(lái)說(shuō),本文的主要工作如下所示：

(1)為有效解決單一同質(zhì)集成學(xué)習(xí)算法對(duì)噪聲敏感的問(wèn)題,提出一種基于差分隱私保護(hù)的DPStacking算法,在保護(hù)數(shù)據(jù)隱私的同時(shí),兼顧模型的可用性及分類結(jié)果的準(zhǔn)確性。

(2)對(duì)于元學(xué)習(xí)器輸入的不同構(gòu)成體,分別通過(guò)皮爾遜相關(guān)系數(shù)和差分隱私并行組合的特性設(shè)計(jì)不同的隱私預(yù)算分配方案。

(3)通過(guò)理論分析證明了DPStacking算法滿足ε-差分隱私保護(hù),并在真實(shí)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),將DPStacking算法與其他隱私保護(hù)集成學(xué)習(xí)算法進(jìn)行對(duì)比,評(píng)估DPStacking算法的有效性。

2 差分隱私保護(hù)技術(shù)

差分隱私保護(hù)技術(shù)是一種通過(guò)在數(shù)據(jù)之間添加一定數(shù)量噪聲來(lái)掩蓋數(shù)據(jù)的真實(shí)信息,使攻擊者無(wú)法通過(guò)差分攻擊來(lái)獲得有效信息,從而達(dá)到保護(hù)數(shù)據(jù)隱私效果的技術(shù)。

2.1 差分隱私的定義及相關(guān)概念

定義1(差分隱私[5-7]) 設(shè)有隨機(jī)算法W,PW為W所有可能的輸出構(gòu)成的集合。對(duì)于任意2個(gè)具有相同屬性結(jié)構(gòu),只存在一條記錄差的數(shù)據(jù)集D和D′以及PW的任何子集SW,若式(1)成立,則稱算法W提供了ε-差分隱私保護(hù)。

Pr[W(D)∈SW]≤eεPr[W(D′)∈SW]

(1)

其中,參數(shù)ε為隱私保護(hù)預(yù)算,表示數(shù)據(jù)隱私的保護(hù)程度,ε越小,隱私保護(hù)能力越強(qiáng);Pr[·]表示發(fā)生某一事件的概率。

定義2(全局敏感度[8]) 對(duì)于2個(gè)具有相同屬性結(jié)構(gòu),只存在一條記錄差的數(shù)據(jù)集D和D′,查詢函數(shù)f(·)最大的變化為全局敏感度Δf。Δf的計(jì)算如式(2)所示：

Δf=maxD,D′‖f(D)-f(D′)‖1

(2)

定義3(并行組合[8]) 給定任意n個(gè)互不相交的數(shù)據(jù)集Di,1≤i≤n,假設(shè)有n個(gè)隨機(jī)算法Ki滿足εi-差分隱私,則由{Ki(Di)}(1≤i≤n)組合后的算法滿足max(εi)-差分隱私。

2.2 實(shí)現(xiàn)機(jī)制

拉普拉斯機(jī)制是差分隱私保護(hù)技術(shù)中的一種實(shí)現(xiàn)機(jī)制,其核心思想是在釋放數(shù)據(jù)的同時(shí),向每個(gè)數(shù)據(jù)添加一個(gè)有噪聲的隨機(jī)偏移量,添加的隨機(jī)噪聲服從拉普拉斯分布。設(shè)尺度參數(shù)為λ,位置參數(shù)為0,則該拉普拉斯分布為L(zhǎng)aplace(λ),其概率密度函數(shù)如式(3)所示：

(3)

定義4(拉普拉斯機(jī)制[8]) 給定數(shù)據(jù)集D和隱私預(yù)算ε,設(shè)有查詢函數(shù)f(D),其敏感度為Δf,那么隨機(jī)算法W(D)=f(D)+Y提供ε-差分隱私保護(hù)。其中Y～Laplace(Δf/ε)為隨機(jī)噪聲,服從尺度參數(shù)為Δf/ε的拉普拉斯分布。拉普拉斯機(jī)制的整體思想是以一定的概率輸出異常值。

3 基于差分隱私的DPStacking算法

本文提出一種DPStacking算法,通過(guò)將差分隱私應(yīng)用于Stacking算法中,在保證模型精度的前提下,降低模型訓(xùn)練過(guò)程中數(shù)據(jù)泄露的風(fēng)險(xiǎn).

本文使用的主要符號(hào)如表1所示。

Table 1 Primary symbols

Table 2 Information of experimental datasets

3.1 Stacking算法

Stacking算法是一種利用K-折交叉驗(yàn)證的集成學(xué)習(xí)算法,它將多個(gè)基學(xué)習(xí)器的結(jié)果進(jìn)行組合,以期得到更好的預(yù)測(cè)性能。該算法通過(guò)將訓(xùn)練集分成K個(gè)不同的子集,每次只使用其中一個(gè)子集作為測(cè)試集,其余K-1個(gè)子集作為訓(xùn)練集,這樣可以獲得K個(gè)不同的基學(xué)習(xí)器模型。然后,將這K個(gè)基學(xué)習(xí)器模型的輸出作為新的特征,以此建立新的預(yù)測(cè)模型,實(shí)現(xiàn)最終的預(yù)測(cè)?；贙-Fold交叉驗(yàn)證的Stacking生成算法如算法1所示。圖1為2個(gè)基學(xué)習(xí)器的3-折交叉驗(yàn)證Stacking模型。

Figure 1 3-Fold verify Stacking model圖1 3-折交叉驗(yàn)證Stacking模型

3.2 DPStacking算法

在Stacking算法的實(shí)際應(yīng)用過(guò)程中,隱私泄露的風(fēng)險(xiǎn)主要來(lái)自于第1層模型的訓(xùn)練,當(dāng)?shù)?層模型中的數(shù)據(jù)包含敏感信息時(shí),如果其中單個(gè)學(xué)習(xí)器在集成過(guò)程中泄漏了個(gè)人隱私,那么第2層模型的訓(xùn)練集和測(cè)試集就可能受到影響,從而暴露個(gè)人隱私。本文提出為第2層模型的訓(xùn)練集和測(cè)試集添加差分隱私保護(hù)的方法。具體來(lái)說(shuō),針對(duì)元學(xué)習(xí)器的訓(xùn)練集和測(cè)試集,分別設(shè)計(jì)了2種不同的隱私預(yù)算分配方案,并引入拉普拉斯機(jī)制來(lái)進(jìn)行擾動(dòng)。

由于元學(xué)習(xí)器訓(xùn)練集A是由基學(xué)習(xí)器的預(yù)測(cè)結(jié)果At和訓(xùn)練集D的標(biāo)簽值yi組成,因此本文根據(jù)At與yi的相關(guān)性,提出一種基于皮爾遜相關(guān)系數(shù)的隱私預(yù)算分配方式。

定義5(皮爾遜相關(guān)系數(shù)[27,28]) 皮爾遜相關(guān)系數(shù)是一種統(tǒng)計(jì)指標(biāo),用來(lái)量化2個(gè)變量之間的線性相關(guān)性。2個(gè)變量間的皮爾遜相關(guān)系數(shù)ρx,y的計(jì)算如式(4)所示：

(4)

其中,cov(x,y)表示協(xié)方差,E(x)表示x的期望值,σx表示x的標(biāo)準(zhǔn)差。ρx,y∈[-1,1],ρx,y越接近1,表示2個(gè)變量越正相關(guān);越接近-1,表示2個(gè)變量越負(fù)相關(guān);而越接近0,表示2個(gè)變量間沒(méi)有顯著的線性關(guān)系。式(4)為2個(gè)變量間的總體相關(guān)系數(shù),那么2個(gè)樣本的皮爾遜相關(guān)系數(shù)rx,y的計(jì)算如式(5)所示：

(5)

(6)

由于At與yi互不相交,根據(jù)差分隱私并行組合的特點(diǎn),分配給yi的隱私預(yù)算即為元學(xué)習(xí)器訓(xùn)練集的隱私預(yù)算,向yi添加拉普拉斯噪聲,如式(7)所示：

(7)

基于元學(xué)習(xí)器訓(xùn)練集的隱私預(yù)算分配算法如算法2所示。

算法2 基于元學(xué)習(xí)器訓(xùn)練集的隱私預(yù)算分配算法輸入：元學(xué)習(xí)器的訓(xùn)練集A,隱私預(yù)算ε。輸出：A。 步驟1 計(jì)算At與yi間的皮爾遜相關(guān)系數(shù)rAt,yi;步驟2 對(duì)rAt,yi進(jìn)行歸一化,r′At,yi=rAt,yi∑Tt=1rAt,yi;步驟3 計(jì)算分配給At的隱私預(yù)算;步驟4 for t=1 to T：步驟5 為At添加拉普拉斯噪聲,得到At;步驟6 end for步驟7 為yi添加拉普拉斯噪聲,得到y(tǒng)i;步驟8 A={ai1,ai2,…,aiT,yi}ni=1。

對(duì)于元學(xué)習(xí)器測(cè)試集B={B1,B2,…,BT},它是由互不相交的子集Bt組成。假設(shè)元學(xué)習(xí)測(cè)試集的總隱私預(yù)算為ε,則分配給Bt的隱私預(yù)算無(wú)需再平均分配,而是直接同等于測(cè)試集B的隱私預(yù)算,因此向Bt添加拉普拉斯噪聲,如式(8)所示：

(8)

基于元學(xué)習(xí)器測(cè)試集的隱私預(yù)算分配算法和DPStacking生成算法分別如算法3和算法4所示。

算法3 基于元學(xué)習(xí)器測(cè)試集的隱私預(yù)算分配算法輸入：元學(xué)習(xí)器的測(cè)試集B={B1,B2,…,BT},隱私預(yù)算ε。輸出：B。 步驟1 for t=1 to T：步驟2 為Bt添加拉普拉斯噪聲,得到Bt;步驟3 end for步驟4 B={B1,B2,…,BT}。

3.3 算法分析

3.3.1 時(shí)間復(fù)雜度分析

假設(shè)訓(xùn)練集樣本個(gè)數(shù)n,特征數(shù)量為d,折疊數(shù)為K,基學(xué)習(xí)器個(gè)數(shù)為T(mén),算法2和算法3的時(shí)間復(fù)雜度為：O(Tdn),算法4的時(shí)間復(fù)雜度為：O(TKdn)。

3.3.2 隱私性分析

定理1算法2和算法3滿足ε-差分隱私。

max(εr′A1,yi,εr′A2,yi,…,εr′AT,yi)≤

max(εr′At,yi,ε)≤ε

(9)

設(shè)算法3中總的隱私預(yù)算為ε,分配給Bt的隱私預(yù)算為ε。由于元學(xué)習(xí)器測(cè)試集B={B1,B2,…,BT}是由互不相交的子集Bt組成,于是根據(jù)差分隱私并行組合的特點(diǎn),式(10)可滿足：

max(ε)=ε

(10)

因此,算法2和算法3滿足ε-差分隱私。

□

定理2算法4滿足ε-差分隱私。

證明設(shè)算法4中總的隱私預(yù)算為ε,有相鄰數(shù)據(jù)集D和D′,W(D)和W(D′)表示數(shù)據(jù)集D和D′執(zhí)行算法1的輸出結(jié)果,f(D)和f(D′)表示數(shù)據(jù)集D和D′執(zhí)行算法4的輸出結(jié)果,f(D)=W(D)+Y,f(D′)=W(D′)+Y,其中Y～Laplace(Δf/ε)服從尺度參數(shù)為Δf/ε的拉普拉斯分布,則式(11)滿足：

(11)

因此,算法4滿足ε-差分隱私。

□

4 實(shí)驗(yàn)及結(jié)果分析

4.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)所選數(shù)據(jù)集來(lái)源于公開(kāi)的 UCI(University of California Irvine)機(jī)器學(xué)習(xí)數(shù)據(jù)庫(kù)中的Adult數(shù)據(jù)集和Bank Marketing數(shù)據(jù)集,具體信息如表 2 所示。

通過(guò)對(duì)Adult數(shù)據(jù)集進(jìn)行分析發(fā)現(xiàn),屬性native-country為非美國(guó)籍的樣本數(shù)僅占總樣本數(shù)的 16%,因此剔除非美國(guó)籍的樣本,僅選取美國(guó)籍的樣本記錄進(jìn)行訓(xùn)練和測(cè)試。此外,屬性fnlwgt的值是通過(guò)對(duì)和當(dāng)前樣本具有相似人口特征的人進(jìn)行加權(quán)統(tǒng)計(jì)而得出的人口總數(shù),該屬性對(duì)本文的分析價(jià)值較低,也將該屬性刪除。本文選取數(shù)據(jù)集的 70%作為訓(xùn)練集,30%作為測(cè)試集,在2個(gè)數(shù)據(jù)集上分別進(jìn)行實(shí)驗(yàn)。

4.2 實(shí)驗(yàn)結(jié)果與分析

在相同參數(shù)下,每組實(shí)驗(yàn)重復(fù)運(yùn)行50次后取平均值作為算法的平均分類準(zhǔn)確率。其中基學(xué)習(xí)器選擇RF(Random Forest)算法、Adaboost算法和XGBoost算法。由于Stacking算法在采用K-Fold交叉驗(yàn)證的方式將基學(xué)習(xí)器的輸出用于元學(xué)習(xí)器的訓(xùn)練時(shí),已經(jīng)使用了復(fù)雜的非線性變換,Stacking為了防止過(guò)擬合,通常選取簡(jiǎn)單的學(xué)習(xí)器作為它的元學(xué)習(xí)器。本文的元學(xué)習(xí)器選擇邏輯回歸算法,折疊數(shù)K=5,ε=0.1,0.3,0.5,0.7,1,3,5。

從表3可以發(fā)現(xiàn),在不添加差分隱私保護(hù)時(shí),異質(zhì)集成Stacking算法的分類準(zhǔn)確率比RF算法、Adaboost算法和XGBoost算法的高,這說(shuō)明Stacking算法可以改善模型的泛化能力,使其具有更好的預(yù)測(cè)能力和較高的可用性。

Table 3 Classification accuracies of Stacking and other integrated learning algorithms

本文將DPStacking算法與DiffRFs(Random Forest under Differential privacy)算法[13]、DP-AdaBoost(Differential Privacy of AdaBoost)算法[17]、DPXGB(Differential Privacy XGBoost)算法[19]進(jìn)行對(duì)比,實(shí)驗(yàn)結(jié)果如圖2所示。從圖2可以看出,DPStacking算法和DP-AdaBoost算法在ε≤0.5時(shí)分類準(zhǔn)確率較其他算法的偏低。這是因?yàn)镈iffRFs算法和DPXGB算法采用往基決策樹(shù)內(nèi)部加噪的方式,而DPStacking算法和DP- AdaBoost算法采用對(duì)數(shù)據(jù)集加噪聲的方式。具體來(lái)說(shuō),DPStacking算法通過(guò)對(duì)元學(xué)習(xí)器的訓(xùn)練集和測(cè)試集加噪聲,DP-AdaBoost算法通過(guò)對(duì)基學(xué)習(xí)器的預(yù)測(cè)結(jié)果類標(biāo)簽加噪聲,當(dāng)ε較小時(shí),添加的噪聲對(duì)數(shù)據(jù)集的破壞較大,數(shù)據(jù)可用性較差,因此DPStacking算法和DP-AdaBoost算法的分類準(zhǔn)確率較低;而當(dāng)ε變大時(shí),噪聲對(duì)數(shù)據(jù)集的影響逐漸減小,數(shù)據(jù)集的可用性提高,因此DPStacking算法和DP-AdaBoost算法在ε≤0.5時(shí),隨著ε的變大,分類準(zhǔn)確率上升幅度較大。此外,當(dāng)ε>0.5時(shí),DPStacking算法的分類準(zhǔn)確率比其他差分隱私集成學(xué)習(xí)算法的高,這符合Stacking算法異質(zhì)集成的預(yù)測(cè)能力優(yōu)于同質(zhì)集成算法的特點(diǎn)。

Figure 2 Classification accuracies comparison of DPStacking algorithm and other differential privacy integrated learning algorithms圖2 DPStacking算法與其他差分隱私集成學(xué)習(xí)算法的分類準(zhǔn)確率比較

計(jì)算當(dāng)ε=1時(shí)DPStacking與其他差分隱私集成學(xué)習(xí)算法的精確度PR(Precision Rate)、召回率RR(Recall Rate)和F1-score,結(jié)果如圖3所示。其中,精確度指模型預(yù)測(cè)為正的樣本中實(shí)際為正的樣本所占的比例;召回率為實(shí)際為正的樣本中被模型預(yù)測(cè)為正的比例;F1-score表示精確率和召回率的調(diào)和平均,可以綜合表現(xiàn)模型的性能。從圖3可知,DPStacking算法的平均精確度、平均召回率、平均F1-score均高于其他差分隱私集成算法的,這說(shuō)明DPStacking算法在保護(hù)隱私的前提下具有更優(yōu)的性能。

Figure 3 Results comparison of each index圖3 各指標(biāo)比較結(jié)果

本文還對(duì)ε=1時(shí)DPStacking算法每次分類結(jié)果的準(zhǔn)確率進(jìn)行了記錄,結(jié)果如圖4所示。對(duì)于Adult數(shù)據(jù)集而言,平均分類準(zhǔn)確率為83.37%;第21次的運(yùn)行結(jié)果最低,對(duì)應(yīng)的分類準(zhǔn)確率為83.1%;第19次的運(yùn)行最高,對(duì)應(yīng)的分類準(zhǔn)確率為83.92%。Bank數(shù)據(jù)集上的平均分類準(zhǔn)確率為90.18%;第3次的運(yùn)行結(jié)果最低,對(duì)應(yīng)的分類準(zhǔn)確率為89.98%;第40次的運(yùn)行最高,對(duì)應(yīng)的分類準(zhǔn)確率為90.38%;并且不難發(fā)現(xiàn)50次運(yùn)行的結(jié)果都不相同,這是由于拉普拉斯噪聲是隨機(jī)的,它以一定的概率輸出異常值來(lái)擾亂數(shù)據(jù)。

Figure 4 Classification accuracies of DPStacking algorithm when ε=1圖4 ε=1時(shí)DPStacking算法分類準(zhǔn)確率

綜上,DPStacking算法與其他差分隱私集成學(xué)習(xí)算法相比,DPStacking算法具有顯著的優(yōu)勢(shì),尤其是在隱私預(yù)算較高的情況下,它的各項(xiàng)指標(biāo)均高于其他差分隱私集成算法的,在保證模型可用性的基礎(chǔ)上對(duì)數(shù)據(jù)信息進(jìn)行了隱私保護(hù),模型預(yù)測(cè)精度也明顯提高。

5 結(jié)束語(yǔ)

本文提出了一種基于差分隱私的DPStacking算法,與現(xiàn)有的差分隱私集成學(xué)習(xí)相比,本文所提算法具有以下優(yōu)勢(shì)：

(1)針對(duì)Stacking算法中基學(xué)習(xí)器的輸出用于元學(xué)習(xí)器訓(xùn)練的特點(diǎn),對(duì)元學(xué)習(xí)器輸入構(gòu)成體設(shè)計(jì)了不同的隱私預(yù)算分配方案。通過(guò)計(jì)算元學(xué)習(xí)器訓(xùn)練集內(nèi)不同子集間的皮爾遜相關(guān)系數(shù),為元學(xué)習(xí)器訓(xùn)練集內(nèi)的不同子集分配不同的隱私預(yù)算,根據(jù)差分隱私并行組合的特性為元學(xué)習(xí)器測(cè)試集內(nèi)的子集分配隱私預(yù)算。

(2)提出的隱私預(yù)算分配方案具有較強(qiáng)的應(yīng)用性和靈活性,能夠應(yīng)用于多種不同的基學(xué)習(xí)器和元學(xué)習(xí)器構(gòu)成的Stacking算法。

(3)用理論證明了DPStacking算法符合ε-差分隱私保護(hù),用實(shí)驗(yàn)驗(yàn)證了該算法相較于同質(zhì)差分隱私集成學(xué)習(xí)算法,在擁有更好的預(yù)測(cè)性能的同時(shí),仍能有效保護(hù)用戶隱私,并較好地解決了單一同質(zhì)集成學(xué)習(xí)算法對(duì)噪聲較敏感的問(wèn)題,具有較高的實(shí)用價(jià)值。

下一步,將考慮如何在隱私保護(hù)和數(shù)據(jù)可用性之間找到最佳平衡。