面向隱私保護的非聚合式數(shù)據(jù)共享綜述

李尤慧子，殷昱煜，高洪皓，金一，王新珩

（1.杭州電子科技大學(xué)計算機學(xué)院，浙江 杭州 310018；2.上海大學(xué)計算機工程與科學(xué)學(xué)院，上海 200444；3.韓國嘉泉大學(xué)計算機工程系，城南市 461701；4.北京交通大學(xué)計算機與信息技術(shù)學(xué)院，北京 100044；5.西交利物浦大學(xué)電氣與電子工程系，江蘇 蘇州 215123）

1 引言

當(dāng)今世界處在信息時代，并正快速進入全面的數(shù)字世界。隨著5G 的廣泛應(yīng)用，物聯(lián)網(wǎng)爆發(fā)出了蓬勃的生命力，移動與物聯(lián)網(wǎng)終端發(fā)展情況如圖1 所示[1]。海量數(shù)據(jù)隱藏著重要的價值，這也是近年來人工智能、深度學(xué)習(xí)等領(lǐng)域飛速發(fā)展的主要因素之一，然而，數(shù)據(jù)一旦非法泄露，會造成巨大的損失。2020 年中國網(wǎng)絡(luò)安全報告[2]顯示，病毒樣本總量為1.48 億個，較2019 年同期上漲43.71%；超兩億條用戶信息被出售，造成數(shù)千萬經(jīng)濟損失。國外數(shù)據(jù)隱私問題也十分嚴(yán)峻，2019 年英國航空公司因違反用戶隱私條例被信息監(jiān)管局罰款近2 億英鎊（約合15.8 億元人民幣）。各國為了推動數(shù)據(jù)隱私保護，頒布了一系列法律條文，如歐盟的GDPR（General Data Protection Regulation）[3]、美國的CCPA（California Consumer Privacy Act）以及我國的《中華人民共和國網(wǎng)絡(luò)安全法》。由此可見，數(shù)據(jù)隱私保護十分重要。

圖1 移動與物聯(lián)網(wǎng)終端發(fā)展情況

加密是保護數(shù)據(jù)隱私的主要手段。在聚合式數(shù)據(jù)共享方法中，各數(shù)據(jù)生產(chǎn)者使用加密算法編碼源數(shù)據(jù)，然后傳輸至數(shù)據(jù)處理中心；數(shù)據(jù)處理中心通過解密算法獲取數(shù)據(jù)信息，聚合所有源數(shù)據(jù)進行數(shù)據(jù)挖掘等復(fù)雜的操作。加密保證了數(shù)據(jù)傳輸時的隱私安全，但無法確保數(shù)據(jù)處理中心的安全，如果數(shù)據(jù)處理中心被攻破，則會造成全部數(shù)據(jù)的泄露。相對地，非聚合式數(shù)據(jù)共享方法旨在不匯集所有源數(shù)據(jù)的情況下，同樣達(dá)到數(shù)據(jù)共享要完成的最終目標(biāo)。非聚合式數(shù)據(jù)共享主要包含兩層意思：首先，數(shù)據(jù)不匯聚，避免了單點故障（中心點被攻破）造成的潛在隱私泄露危險；其次，數(shù)據(jù)共享不是指狹義的源數(shù)據(jù)分享，而是從廣義角度來看，期望達(dá)到數(shù)據(jù)共享的最終目標(biāo)，例如數(shù)據(jù)處理和數(shù)據(jù)挖掘。最優(yōu)場景是在不分享源數(shù)據(jù)的情況下完成處理和挖掘操作，進一步避免數(shù)據(jù)隱私泄露的可能。

從非聚合式架構(gòu)來看，1982 年提出的安全多方計算（SMC,secure multi-party computation）[4]是早期主要的非聚合式數(shù)據(jù)共享方法。安全多方計算繼承了分布式的特點，計算參與方地位平等且互不信任，無中心節(jié)點。利用加密算法，如同態(tài)加密等，數(shù)據(jù)接收方只能處理加密后的數(shù)據(jù)，無法獲知源數(shù)據(jù)信息。處理后的數(shù)據(jù)再傳送回數(shù)據(jù)發(fā)送方，發(fā)送方經(jīng)過解密后獲得計算結(jié)果。安全多方計算利用密碼學(xué)和底層數(shù)據(jù)交互協(xié)議，保證計算參與方在不獲取源數(shù)據(jù)的情況下，完成數(shù)據(jù)處理操作，增強了數(shù)據(jù)的隱私性。早期，由于安全多方計算復(fù)雜度高，通常采用哈希映射[5]等方法進行傳輸，但其安全性不足。其他參與方可以通過枚舉操作來確定對方數(shù)據(jù)集中存在的元素，從而獲取對方的隱私信息。隨著邊緣計算[6]等新型計算架構(gòu)的發(fā)展以及設(shè)備計算能力的增強，安全多方計算的實際需求和部署能力也相應(yīng)提升，相關(guān)技術(shù)（如不經(jīng)意傳輸拓展協(xié)議、秘密分享、隱私求交等）為數(shù)據(jù)隱私保護提供了可靠的指導(dǎo)方案和技術(shù)基礎(chǔ)。

近年來，云計算、物聯(lián)網(wǎng)和機器學(xué)習(xí)高速發(fā)展，廣泛應(yīng)用于智慧城市、智慧安防等領(lǐng)域。海量異構(gòu)數(shù)據(jù)聚合在云平臺上，通過各類機器學(xué)習(xí)和深度學(xué)習(xí)算法對數(shù)據(jù)進行分析，挖掘數(shù)據(jù)隱藏的知識信息。然而，隨著數(shù)據(jù)和用戶隱私的關(guān)聯(lián)度越發(fā)密切，把全部源數(shù)據(jù)聚合到中心節(jié)點再進行模型訓(xùn)練的方法隱私泄露風(fēng)險就越大。因此，谷歌于2017 年提出聯(lián)邦學(xué)習(xí)，旨在不需要通過中心化的數(shù)據(jù)訓(xùn)練就能獲得機器學(xué)習(xí)模型。各數(shù)據(jù)提供方在本地進行數(shù)據(jù)訓(xùn)練，把參數(shù)等隱私無關(guān)信息發(fā)給參數(shù)服務(wù)器進行全局調(diào)優(yōu)，再把優(yōu)化后的模型應(yīng)用到本地，以實現(xiàn)在不提供原始數(shù)據(jù)的情況下，獲取全局的數(shù)據(jù)“知識”。聯(lián)邦學(xué)習(xí)是典型的非聚合式數(shù)據(jù)共享方法，源數(shù)據(jù)不出本地，降低了隱私泄露的風(fēng)險，同時完成了數(shù)據(jù)共享的目標(biāo)，即獲得優(yōu)化訓(xùn)練模型。

數(shù)據(jù)的重要性日益增加，為了更好地保護數(shù)據(jù)隱私安全，本文針對非聚合式數(shù)據(jù)共享方法進行介紹和分析，主要綜述了安全多方計算和聯(lián)邦學(xué)習(xí)的相關(guān)研究。安全多方計算側(cè)重于數(shù)據(jù)傳輸和計算外包，本文從原理、算法復(fù)雜度、適用場景等情況比較分析各類交互協(xié)議，增強數(shù)據(jù)交互的安全性。聯(lián)邦學(xué)習(xí)側(cè)重于數(shù)據(jù)挖掘，旨在從多個數(shù)據(jù)孤島上全局分析數(shù)據(jù)潛在價值，其框架主要包括本地數(shù)據(jù)訓(xùn)練、參數(shù)信息傳輸交互、參數(shù)服務(wù)器全局調(diào)優(yōu)。本文從與數(shù)據(jù)隱私關(guān)聯(lián)性較強的數(shù)據(jù)源（本地數(shù)據(jù)）和通信傳輸兩方面討論對比現(xiàn)有的聯(lián)邦學(xué)習(xí)優(yōu)化方法。此外，本文總結(jié)整理了現(xiàn)有面向隱私保護的非聚合式數(shù)據(jù)共享框架，同時從復(fù)雜多參與方場景、優(yōu)化開銷平衡等方面提出了非聚合式數(shù)據(jù)共享隱私保護潛在的4 個研究方向及建議。

2 安全多方計算

安全多方計算是密碼學(xué)領(lǐng)域用于多個數(shù)據(jù)方在無可信第三方的情況下，安全且保護隱私地協(xié)同計算某個或某些約定函數(shù)的方法。SMC 由Yao[4]于1982 年提出，用來解決著名的百萬富翁問題，即2 個百萬富翁比較誰更加富有，而不能泄露具體的財富值。

安全多方計算廣泛應(yīng)用于敏感數(shù)據(jù)協(xié)同計算的場景。例如，根據(jù)個人的信用記錄、購買記錄、社交喜好等協(xié)同挖掘個性化推薦服務(wù)；廣告轉(zhuǎn)化率[7]收益計算，即利用屬于第三方平臺的廣告點擊數(shù)據(jù)和商品平臺的購買數(shù)據(jù)分析觀看特定廣告的用戶中有多大比例購買了該商品等。

安全多方計算利用數(shù)據(jù)交互協(xié)議，保證計算參與方在不知道源數(shù)據(jù)的情況下，完成數(shù)據(jù)處理操作，增強了數(shù)據(jù)的隱私性。不同的數(shù)據(jù)交互協(xié)議特點各異，適用場景也不同，主要的MPC 數(shù)據(jù)交互協(xié)議如下。

2.1 同態(tài)加密

在基于加密的數(shù)據(jù)交互協(xié)議中，最常用的是同態(tài)加密技術(shù)，由Rivest、Adleman 和Dertouzos 提出[8]。該技術(shù)不僅支持加密數(shù)據(jù)傳統(tǒng)的傳輸、存儲操作，還支持用戶直接對加密數(shù)據(jù)進行計算，其結(jié)果等價于原始數(shù)據(jù)計算后再加密。

同態(tài)性質(zhì)是針對加密函數(shù)來說的，一般分為加（減）法同態(tài)、乘（除）法同態(tài)（也稱單同態(tài)）和全同態(tài)。其簡單定義如下。設(shè)存在映射g:G1→G2，則有

全同態(tài)：同時滿足上述2 個性質(zhì)

若一個加密函數(shù)滿足加法或乘法同態(tài)，則其支持在加密數(shù)據(jù)上做加法或乘法計算而不損害數(shù)據(jù)，若同時滿足加法、乘法同態(tài)，即全同態(tài)，則幾乎可以支持任何計算操作。廣泛使用的RSA 算法[9]滿足乘法同態(tài)，Paillier 算法[10]滿足加法同態(tài)。

同態(tài)加密常常應(yīng)用在云計算環(huán)境中，保證數(shù)據(jù)傳輸過程和云中心節(jié)點計算時的數(shù)據(jù)隱私安全。例如，在云外包的場景中，Abadi 等[11]實現(xiàn)了2 個協(xié)議，通過加法同態(tài)加密等操作實現(xiàn)安全對抗半誠實對手，其中EO-PSI（efficient outsourced private set intersection）具有較好的大數(shù)據(jù)集拓展性。而文獻(xiàn)[12-13]采用加法同態(tài)加密技術(shù)實現(xiàn)隱私集合交集（PSI,private set intersection）協(xié)議和PSI-CA（private set intersection cardinality）協(xié)議。

針對兩方數(shù)據(jù)集大小差異大的情況，Resende等[14]使用同態(tài)加密和布谷鳥過濾器優(yōu)化[15]中提出的協(xié)議，在半誠實對手模型中實現(xiàn)了單向隱私求交協(xié)議；文獻(xiàn)[16-18]則利用全同態(tài)加密解決數(shù)據(jù)集差異大的問題。

同態(tài)加密的優(yōu)點是可以在不泄露源數(shù)據(jù)的情況下，得到同樣加密的計算結(jié)果，但是，合適的加密函數(shù)定義難，而且其最大的局限性在于復(fù)雜度過高，普遍應(yīng)用還需要進一步的研究和發(fā)展。

2.2 邏輯電路和不經(jīng)意傳輸

安全多方計算主要包括計算和數(shù)據(jù)傳輸2 個方面?；谶壿嬰娐贩桨副徽J(rèn)為是通用的計算設(shè)計方法，因為任何函數(shù)都可以轉(zhuǎn)化成對應(yīng)的邏輯電路，借助對電路真值表的替換、加密和打亂，形成Garbled Table。參與方間的數(shù)據(jù)傳輸可以通過不經(jīng)意傳輸技術(shù)交換必要的消息，最后某一方計算出最終的結(jié)果。圖2 展示了以兩方為例的情景。首先，由Alice 根據(jù)需求構(gòu)造電路，確定真值表內(nèi)容。為門中的每條線秘密地生成2 個密鑰，，分別對應(yīng)輸入0、1，替換該門對應(yīng)真值表中的值。用前兩項加密第三項，然后隨機打亂得到Garbled Table。Bob 通過不經(jīng)意傳輸從Alice 那里獲得其輸入對應(yīng)的密鑰、Garble Table 和自己輸入對應(yīng)的密鑰等必要信息，最后計算該門對應(yīng)的輸出C。在這一過程中，Bob 不用泄露自己的輸入，也不知道Alice的任何信息。

圖2 混淆電路示意

基于邏輯電路的計算方法有一定可行性，文獻(xiàn)[19]在智能手機上成功配置了基于電路的協(xié)議，并使用了Wi-Fi 通信。但該方法需要的邏輯門較多，實現(xiàn)復(fù)雜度較高。例如，計算編輯距離需要30 000 個門電路。為了降低復(fù)雜度，Pinkas 等[20]于2019 年提出了具有線性漸進通信復(fù)雜度的基于電路的協(xié)議，在集合大小為220時，該協(xié)議的通信復(fù)雜度不到文獻(xiàn)[21]協(xié)議的十一分之一，但后者可以拓展到多方環(huán)境。

不經(jīng)意傳輸技術(shù)保證接收者只能從發(fā)送者的多個數(shù)據(jù)中獲取自己想要的數(shù)據(jù)，而發(fā)送者卻不知道這個具體的數(shù)據(jù)。不經(jīng)意傳輸?shù)臉?gòu)造方法有許多，如基于RSA（Rivest,Shamir,Adleman）構(gòu)造[22]、基于橢圓曲線[23]等。近年來，高效的SMC 數(shù)據(jù)交互協(xié)議大部分是基于不經(jīng)意傳輸拓展的[24-25]，其性能較好，能夠僅通過少數(shù)公鑰操作和位操作完成大量的數(shù)據(jù)傳輸。例如，文獻(xiàn)[26]實現(xiàn)了在普通帶寬環(huán)境中（30～100Mbit/s）最快的SMC 協(xié)議，在半誠實對手環(huán)境和惡意對手環(huán)境中都能保證一定的安全性。它的底層協(xié)議是基于不經(jīng)意拓展的輕量級多點不經(jīng)意偽隨機函數(shù)。由于在某些環(huán)境下，協(xié)議計算的結(jié)果可能只是一個中間結(jié)果，因此，Ciampi等[27]基于不經(jīng)意傳輸拓展實現(xiàn)能夠輸出“加密”的協(xié)議，類似的工作還有文獻(xiàn)[28-35]等。此外，文獻(xiàn)[36]利用差分隱私技術(shù)，選擇性地泄露部分不重要的信息，相比于文獻(xiàn)[32]提出的對抗惡意對手的協(xié)議，性能提升近63%。

2.3 秘密共享

秘密共享（secret-sharing）也是SMC 領(lǐng)域經(jīng)常使用的技術(shù)，由Shamir[37]提出。秘密共享的關(guān)鍵是保證數(shù)據(jù)共享過程使用的信道是安全的。傳統(tǒng)方法采用的是加密技術(shù)，然而，密鑰的分享也面臨同樣的問題，即如何保證密鑰分享信道安全。非對稱加密技術(shù)的發(fā)展在很大程度上解決了該問題，但它的安全性也依賴于信道的誠實性，存在被中間人攻擊的可能。為了解決這一問題，秘密共享技術(shù)將秘密分成多份，由不同的信道傳輸，就算有惡意信道存在，也不能輕易還原完整的秘密。其形式化定義為

其中，s表示需要分享的秘密，t表示需要還原秘密的閾值，n表示將秘密拆分的數(shù)目。在一組參與者中，秘密由大家共同保管，只有當(dāng)超過閾值的參與者相互合作時才能恢復(fù)完整的秘密數(shù)據(jù)。

秘密共享技術(shù)在安全多方計算場景中應(yīng)用廣泛[38-39]，數(shù)據(jù)方將數(shù)據(jù)和模型用秘密共享的方法加密拆分，發(fā)送至各參與方。在解決分布式集群一致性問題的拜占庭協(xié)議[40]中，也采用秘密共享協(xié)議將秘密分成多份傳送給各個假設(shè)的將軍，并在需要的時候恢復(fù)秘密。

2.4 隱私集合交集協(xié)議

隱私集合交集協(xié)議是MPC 領(lǐng)域使用較為廣泛的應(yīng)用層協(xié)議，旨在多個數(shù)據(jù)方間計算數(shù)據(jù)交集。其具體定義如下。

發(fā)送方S和接收方R分別持有一個私有數(shù)據(jù)集X和Y，協(xié)議的目標(biāo)是計算它們各自隱私集合的交集，即以X和Y為輸入，計算f(X,Y)=X∩Y，而不能泄露除交集之外的數(shù)據(jù)信息。

PSI 作為具體的應(yīng)用層協(xié)議，它底層的數(shù)據(jù)傳輸和計算功能可以由同態(tài)加密、不經(jīng)意傳輸、秘密分享等技術(shù)實現(xiàn)。此外，PSI 還可以根據(jù)具體的應(yīng)用要求拓展出各種各樣的變體，例如，文獻(xiàn)[41]受可交換加密技術(shù)啟發(fā)，采用布隆過濾器優(yōu)化，接收者可以更輕松地計算輸出，確保只有一方得知交集內(nèi)容；只公布交集大小的應(yīng)用場景[42-44]，其中文獻(xiàn)[42]借助不經(jīng)意評估方法實現(xiàn)惡意環(huán)境安全，結(jié)果表明其在云環(huán)境時的開銷比半誠實協(xié)議高25 倍，而且允許動態(tài)調(diào)節(jié)通信和計算之間的開銷比；隱藏一方輸入大小的應(yīng)用場景[45-46]，文獻(xiàn)[12]提出了一種適用于云計算環(huán)境的新的集合表示方法，基于加法同態(tài)公鑰密碼（PKC，private key cryptography）實現(xiàn)了2 個實用的協(xié)議，即PSI 和PSI-CA。

主要的SMC 數(shù)據(jù)交互協(xié)議比較如表1 所示。

表1 主要的SMC 數(shù)據(jù)交互協(xié)議比較

3 聯(lián)邦學(xué)習(xí)

隨著云計算、人工智能、大數(shù)據(jù)等技術(shù)的發(fā)展，智能手機、可穿戴設(shè)備等產(chǎn)生了超大規(guī)模的數(shù)據(jù)，深度學(xué)習(xí)也隨著數(shù)據(jù)量的增長而得到更好的發(fā)展。由于設(shè)備的計算能力不斷增強，端設(shè)備數(shù)據(jù)與用戶隱私關(guān)聯(lián)度較高，非聚合式數(shù)據(jù)共享方法更受青睞，訓(xùn)練數(shù)據(jù)保留在本地的聯(lián)邦學(xué)習(xí)算法得到廣泛研究。

聯(lián)邦學(xué)習(xí)是一種關(guān)注隱私保護的機器學(xué)習(xí)技術(shù)[47]，源數(shù)據(jù)不離開本地設(shè)備，在多參與方或多計算節(jié)點之間開展高效的機器學(xué)習(xí)。聯(lián)邦學(xué)習(xí)是一個統(tǒng)稱，各數(shù)據(jù)提供方構(gòu)成聯(lián)邦，共同訓(xùn)練模型，其可使用的機器學(xué)習(xí)算法不局限于神經(jīng)網(wǎng)絡(luò)，還包括隨機森林等。其框架主要由3 個部分構(gòu)成：提供數(shù)據(jù)的多個本地節(jié)點、負(fù)責(zé)參數(shù)調(diào)優(yōu)的中心參數(shù)服務(wù)器、參數(shù)傳輸鏈路（傳輸本地數(shù)據(jù)訓(xùn)練后的模型參數(shù)至服務(wù)器，傳輸全局調(diào)優(yōu)后的參數(shù)至各本地節(jié)點）。根據(jù)具體實現(xiàn)的深度學(xué)習(xí)模型和算法的不同，聯(lián)邦學(xué)習(xí)框架可以適用于各類數(shù)據(jù)分散的學(xué)習(xí)場景中。

本文側(cè)重于從源數(shù)據(jù)節(jié)點和通信傳輸2 個方面分析聯(lián)邦學(xué)習(xí)的優(yōu)化方法及其相關(guān)的數(shù)據(jù)隱私保護技術(shù)。

3.1 源數(shù)據(jù)節(jié)點

聯(lián)邦學(xué)習(xí)中各源數(shù)據(jù)節(jié)點在本地進行訓(xùn)練，僅上傳參數(shù)信息，避免數(shù)據(jù)隱私信息泄露。針對源數(shù)據(jù)節(jié)點的工作主要可以分為數(shù)據(jù)獲取和非平衡數(shù)據(jù)優(yōu)化2 個方面。

3.1.1 數(shù)據(jù)獲取

聯(lián)邦學(xué)習(xí)擁有一定規(guī)模的本地數(shù)據(jù)節(jié)點提供源數(shù)據(jù)，但本地節(jié)點的管理較為松散，是自主構(gòu)建聯(lián)邦模式，可以任意加入和離開。此外，本地節(jié)點的狀態(tài)是不可控的，如在線情況、誠實度、參與度、貢獻(xiàn)程度等。如何選擇適合的本地數(shù)據(jù)節(jié)點、如何激勵優(yōu)質(zhì)的節(jié)點參與并提供高質(zhì)量的數(shù)據(jù)都是數(shù)據(jù)獲取階段需要考慮的問題。

1) 參加者選擇

本地數(shù)據(jù)節(jié)點的質(zhì)量會影響總體的訓(xùn)練過程，聯(lián)邦學(xué)習(xí)可通過選擇部分高質(zhì)量參與者，提升算法效率。例如，F(xiàn)edAvg[48]從符合要求的本地節(jié)點（如在線且空閑的設(shè)備）中選取一定量的客戶端進行聚合；Goetz 等[49]提出主動聯(lián)合學(xué)習(xí)框架AFL（active federated learning），每個通信回合不是隨機均勻地選擇客戶，而是以模型和客戶數(shù)據(jù)為條件進行概率選擇；FedCS[50]根據(jù)資源的狀況主動管理本地節(jié)點，使其產(chǎn)生更多的聚合更新。

2) 激勵機制

通常的研究工作都假設(shè)設(shè)備無條件貢獻(xiàn)資源，但實際上設(shè)備是自私的，很難組建聯(lián)邦。因此，部分學(xué)者研究如何使本地數(shù)據(jù)節(jié)點積極參與到聯(lián)邦系統(tǒng)中，并制定高效的激勵機制[51-53]。首先，參與的節(jié)點之間可能會存在敵對競爭關(guān)系，雙方正面積極參與并均獲利十分關(guān)鍵。其次，參與者的貢獻(xiàn)程度不同，產(chǎn)生的效益也不一致，如何合理公平地分配收益也是值得研究的問題。此外，部分工作將激勵機制與防御惡意參與者結(jié)合，例如，F(xiàn)more[54]是移動邊緣場景的激勵機制框架，實驗證明提出的激勵機制能提高學(xué)習(xí)算法的性能。

3.1.2 非獨立同分布及不平衡數(shù)據(jù)的優(yōu)化

數(shù)據(jù)分布及其質(zhì)量對模型訓(xùn)練有重要影響，尤其是在非聚合數(shù)據(jù)共享方法中。2017 年谷歌在FedSGD 算法的基礎(chǔ)上提出了FedAvg 算法[48]，該算法對非獨立和不平衡數(shù)據(jù)都具有穩(wěn)健性，為后續(xù)聯(lián)邦學(xué)習(xí)優(yōu)化奠定了基礎(chǔ)。

1) 數(shù)據(jù)及模型架構(gòu)優(yōu)化

首先，從數(shù)據(jù)入手，部分解決方案利用共享數(shù)據(jù)子集[55-56]方法，在保護用戶隱私的前提下，提高模型準(zhǔn)確率。其次，從模型本身架構(gòu)入手，使之更加適應(yīng)聯(lián)邦學(xué)習(xí)，例如，基于隨機梯度下降（SGD,stochastic gradient descent）的優(yōu)化算法。從本地數(shù)據(jù)節(jié)點角度考慮，優(yōu)化方法包括：對數(shù)據(jù)節(jié)點的要素進行插值更新[57]、對節(jié)點的目標(biāo)函數(shù)添加一個近端項（proximal term）[58]、局部梯度添加可控的噪聲干擾并控制變量[59]、矯正本地數(shù)據(jù)的用戶漂移[60]等。

2) 模型個性化

模型個性化的聯(lián)邦學(xué)習(xí)也解決了數(shù)據(jù)非獨立同分布影響模型精度的問題。傳統(tǒng)聯(lián)邦學(xué)習(xí)下，中心參數(shù)服務(wù)器提供統(tǒng)一的本地模型，但在某些聯(lián)合學(xué)習(xí)場景下，參與方希望訓(xùn)練的模型對自身利益最大化，而不是為了達(dá)成全局模型的共識而進行妥協(xié)。此外，多方數(shù)據(jù)的非獨立同分布特性可能會降低全局模型的精度，導(dǎo)致用戶參與聯(lián)邦學(xué)習(xí)所得的模型精度不理想[61]。模型個性化指參與方可自定義所訓(xùn)練的本地聯(lián)邦學(xué)習(xí)模型，在利用本地數(shù)據(jù)集訓(xùn)練本地私有模型的基礎(chǔ)上，參與全局公共模型的訓(xùn)練，優(yōu)化私有模型。

現(xiàn)有的模型個性化算法大多基于知識蒸餾實現(xiàn)，以完成不同模型間交換知識達(dá)成共識。表2 展示了支持模型個性化的聯(lián)邦學(xué)習(xí)框架對比分析，梳理了框架的異同點。

表2 模型個性化下的聯(lián)邦學(xué)習(xí)框架對比

Liu 等[62]提出了一種允許客戶獨立定制模型和設(shè)計訓(xùn)練的聯(lián)邦學(xué)習(xí)框架——聯(lián)邦相互學(xué)習(xí)（FML,federated meta learning），其實現(xiàn)方式如圖3 所示。首先，訓(xùn)練3 個本地模型（私有模型和中間模型）；其次，通過深度相互學(xué)習(xí)與中間模型交換知識（不同于師生模型，模型間不存在強弱關(guān)系，交換的方向也是雙向的）；隨后，通過合并中間模型獲取全局模型；最后，借助中間模型向私有模型傳達(dá)聯(lián)邦學(xué)習(xí)的知識。該方法可以讓本地數(shù)據(jù)節(jié)點完全獨立的設(shè)計不同于全局模型的私有模型，但同時會導(dǎo)致全局模型不再能開箱即用。

圖3 FML 實現(xiàn)方式

Ramanan 等[63]使用遷移學(xué)習(xí)和知識蒸餾開發(fā)一個通用的支持本地節(jié)點自主設(shè)計模型的聯(lián)邦學(xué)習(xí)框架。其假定參與方擁有較少的標(biāo)準(zhǔn)數(shù)據(jù)以及足量的公共數(shù)據(jù)集，借此聯(lián)合學(xué)習(xí)一個分類任務(wù)，并提出FedMD 算法：每個模型首先在公共數(shù)據(jù)方面進行充分的訓(xùn)練；然后，借助遷移學(xué)習(xí)，對自己少量的私有數(shù)據(jù)進行訓(xùn)練；隨后，借助知識蒸餾將私有模型的知識轉(zhuǎn)化為一個統(tǒng)一形式；最后，中央?yún)?shù)服務(wù)器收集這些轉(zhuǎn)化后的知識，計算出共識。相比于傳統(tǒng)聯(lián)邦學(xué)習(xí)，不存在所謂的全局模型，只存在一個知識蒸餾結(jié)果的共識，也不支持新的參與方，因為新的參與方可能會破壞現(xiàn)有的模型。

Roy 等[64]論證了FedAvg 也是一種元學(xué)習(xí)，并提出一種平均后悔上限分析框架，使聯(lián)邦學(xué)習(xí)與元學(xué)習(xí)構(gòu)建聯(lián)系，讓模型個性化成為可能。

表3 對現(xiàn)有的聯(lián)邦學(xué)習(xí)數(shù)據(jù)源優(yōu)化策略進行了對比總結(jié)。

表3 聯(lián)邦學(xué)習(xí)數(shù)據(jù)源優(yōu)化策略

3.2 通信傳輸優(yōu)化

聯(lián)邦學(xué)習(xí)中有2 個必要的通信傳輸過程：數(shù)據(jù)節(jié)點傳輸本地數(shù)據(jù)訓(xùn)練后的模型參數(shù)至服務(wù)器，中心參數(shù)服務(wù)器傳輸全局調(diào)優(yōu)后的參數(shù)/模型至各本地節(jié)點。在雙向通信過程中，本地數(shù)據(jù)節(jié)點潛在的不可控網(wǎng)絡(luò)狀態(tài)（網(wǎng)絡(luò)時延、通信費用等）容易導(dǎo)致通信成為聯(lián)邦學(xué)習(xí)的瓶頸。

3.2.1 模型壓縮與降低通信頻次

針對通信這一任務(wù)本身，可以從降低通信頻次[48-49,65-68]和通信量方面進行優(yōu)化。例如，AdaComm 自適應(yīng)通信策略[69]從低通信頻率求平均值開始，以節(jié)省通信時延并提高收斂速度；增加通信頻率以實現(xiàn)較低的錯誤率，實驗證明其總體花費時間可減少到1/4。

從降低通信量考慮，可以進行通信數(shù)據(jù)壓縮，包括上行壓縮和下行壓縮。因為上行的速率總是低于下行的速率，所以更多的研究關(guān)注上行壓縮[70-73]，部分研究同時壓縮上行和下行[74-75]。壓縮可分為有損壓縮和無損壓縮，相較于無損壓縮，有損壓縮能大大提升壓縮率，達(dá)到很好的壓縮效果，但是有一定損耗。在保證收斂率和準(zhǔn)確率的前提下，更多的研究偏向于有損壓縮。在表4 中，本文對各個壓縮算法是否為有損壓縮、是否有下行壓縮、對非獨立同分布（Non-IID,non independent and identically distributed）數(shù)據(jù)是否有穩(wěn)健性以及壓縮倍率等進行了分析和比較。

表4 不同聯(lián)邦學(xué)習(xí)壓縮算法對比分析

3.2.2 改變分布式體系結(jié)構(gòu)

改變分布式體系結(jié)構(gòu)也是優(yōu)化計算節(jié)點間通信的有效方式之一。分布式體系結(jié)構(gòu)包括對等、循環(huán)、服務(wù)器?客戶端等。單中央服務(wù)器?多客戶端的結(jié)構(gòu)存在單點故障、主干網(wǎng)絡(luò)開銷過大等問題，可以利用對等架構(gòu)解決。例如，對等網(wǎng)絡(luò)結(jié)構(gòu)下的聯(lián)邦學(xué)習(xí)，其計算節(jié)點在有限通信的條件下，可以通過與相鄰節(jié)點聯(lián)合學(xué)習(xí)的方式解決通信瓶頸問題。相關(guān)研究主要集中在達(dá)成共識、協(xié)調(diào)構(gòu)造全局模型、無中心模型聚合等方面。本節(jié)將去中心化的聯(lián)邦學(xué)習(xí)框架根據(jù)其訓(xùn)練網(wǎng)絡(luò)的結(jié)構(gòu)劃分為網(wǎng)型拓?fù)?、樹型拓?fù)洹⒊橄罂偩€拓?fù)?，并總結(jié)討論其模型聚合的方式及特點。

Savazzi 等[76]為降低主干網(wǎng)絡(luò)和中央服務(wù)器的通信開銷，避免邊緣設(shè)備長距離通信而導(dǎo)致訓(xùn)練時延，提出基于云邊協(xié)同的聯(lián)邦學(xué)習(xí)框架，其網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)由傳統(tǒng)的星形拓?fù)浣Y(jié)構(gòu)轉(zhuǎn)化為樹形結(jié)構(gòu)，子樹節(jié)點的層層聚合減少了主干網(wǎng)絡(luò)的數(shù)據(jù)傳輸量。邊緣云輔助的聯(lián)邦學(xué)習(xí)架構(gòu)如圖4 所示。邊緣云聚合邊緣網(wǎng)絡(luò)下的本地節(jié)點的模型權(quán)重，中央云聚合邊緣云的權(quán)重，其聚合函數(shù)是專門設(shè)置的HierFAVG函數(shù)。此方案仍存在中央服務(wù)器，所有邊緣云聚合后才能進行云聚合，無法異步更新，降低了每輪聚合收斂的速度。

圖4 邊緣云輔助的聯(lián)邦學(xué)習(xí)架構(gòu)

Sattler 等[77]提出與區(qū)塊鏈結(jié)合的去中心化聯(lián)邦學(xué)習(xí)框架。利用抽象總線拓?fù)浣Y(jié)構(gòu)，各參與方構(gòu)建一個區(qū)塊鏈，基于區(qū)塊鏈存取全局模型。區(qū)塊鏈智能合約幫助訓(xùn)練網(wǎng)絡(luò)的計算節(jié)點達(dá)成共識不借助中央服務(wù)器就完成全局模型聚合，具體包括：將全局模型權(quán)重向量劃分為數(shù)個塊數(shù)據(jù)，基于智能合約達(dá)成全局模型副本的共識，每個參與者投標(biāo)訓(xùn)練區(qū)塊上的塊。該框架還有一個顯著優(yōu)勢，就是借助區(qū)塊鏈的記賬特性，在區(qū)塊鏈上推動計算，用戶可以獨立評估自己的成本效益比，并決定他們希望更新的塊數(shù)，量化多方參與計算的績效。但是，區(qū)塊鏈塊的數(shù)據(jù)大小限制會影響全局模型的劃分，從而影響該方案性能。

Yoshida 等[51]提出了對等網(wǎng)絡(luò)的去中心化聯(lián)邦學(xué)習(xí)框架，解決參與方分擔(dān)中央服務(wù)器聚合模型工作的問題。首先，隨機選擇一個節(jié)點開始廣播，獲取其他節(jié)點的權(quán)重、樣本數(shù)和版本號，僅記錄版本號大于自己的權(quán)重；其次，對權(quán)重進行加權(quán)平均，更新權(quán)重并增加版本號。此方案利用參與方充當(dāng)某一輪的中央服務(wù)器角色，適合相互信任但又無法找出共識可靠第三方的場景。但是，該方案對節(jié)點的可靠性要求高，因為節(jié)點不僅承擔(dān)一個輪次的權(quán)重更新工作，還會廣播獲取其他節(jié)點的樣本數(shù)量和權(quán)重值，若存在惡意參與方，或者沒有可靠的安全協(xié)議支撐，就會造成數(shù)據(jù)不可用甚至出現(xiàn)模型安全問題。

Kang 等[78]提出了基于支持設(shè)備到設(shè)備（D2D，device-to-device）通信的5G 網(wǎng)絡(luò)進行去中心化聯(lián)邦學(xué)習(xí)的框架及去中心化的模型聚合算法CFA-GE（consensus based federated averaging with gradients exchange）。利用5G 網(wǎng)絡(luò)環(huán)境，該方法更適合大規(guī)模密集和完全分散的網(wǎng)絡(luò)，與以Mcmanhan 等[79]所提方法為代表的集中式深度學(xué)習(xí)方法形成鮮明對比。

表5 從算法的特點、隱私保護情況、適用場景等方面對部分聯(lián)邦學(xué)習(xí)優(yōu)化算法進行了對比分析。

表5 聯(lián)邦學(xué)習(xí)的優(yōu)化算法對比分析

4 面向隱私保護的非聚合式數(shù)據(jù)共享框架

本節(jié)主要介紹支持隱私保護的非聚合式數(shù)據(jù)共享框架，包括安全多方計算平臺JUGO 及編譯器Tasty、百度共享數(shù)據(jù)框架PaddleFL、微眾銀行FATE（federated AI technology enabler）、谷歌的 TFF（TensorFlow federated）以及英偉達(dá)Clara。表6 對這些框架進行了總結(jié)對比，分析了其各自特性及適用的場景。

表6 面向隱私保護的非聚合式數(shù)據(jù)共享框架

4.1 安全多方計算平臺

2018 年計算架構(gòu)服務(wù)提供商矩陣元發(fā)布了通用的安全多方計算平臺JUGO，幫助用戶快速開發(fā)通用半誠實的兩方安全計算算法。JUGO 架構(gòu)如圖5所示，算法模塊主要集成了混淆電路、同態(tài)加密等底層協(xié)議，供MPC-SDK 模塊調(diào)用。當(dāng)參與方間協(xié)同商定計算邏輯后，借助矩陣元開發(fā)的Frutta 高級編程語言在MPC-IDE 集成開發(fā)環(huán)境上編寫實現(xiàn)，為上層的應(yīng)用提供安全多方計算服務(wù)。最后，電路編譯器把電路邏輯編譯成電路文件。這些操作都可在GPU、FPGA 等硬件加速下實現(xiàn)，使協(xié)同計算過程更快地完成。

圖5 矩陣元JUGO 架構(gòu)

此外，編譯器Tasty[80]能自動生成高效的基于同態(tài)加密和混淆電路技術(shù)的組合協(xié)議，用戶可以使用高級語言方便快速地描述該協(xié)議。Tasty 用于許多隱私保護協(xié)議，如PSI 相關(guān)應(yīng)用、人臉識別等。圖6 展示了其主要工作流程，包括：1) 分析階段，運行時環(huán)境首先檢查協(xié)議描述是否存在語法錯誤，協(xié)議兩方是否在執(zhí)行同一個協(xié)議，通過分析該協(xié)議自動確定哪方可以進行預(yù)計算；2) 設(shè)置階段，可預(yù)計算的參與方提前計算協(xié)議中獨立于它們輸入的部分，如混淆電路的生成和發(fā)送等；3) 在線/執(zhí)行階段，各參與方提供自己的輸入，協(xié)議的在線部分（加密、解密、電路評估等）開始執(zhí)行，直到計算出各參與方相應(yīng)的輸出為止。

圖6 Tasty 工作流程

4.2 百度數(shù)據(jù)共享框架

PaddleFL 是百度于2019 年開源的聯(lián)邦學(xué)習(xí)框架，主要提供2 種聯(lián)邦學(xué)習(xí)解決方案：Data Parallel和PFM（parallel federated learning with MPC）[81]。

4.2.1 數(shù)據(jù)并行化

各數(shù)據(jù)方通過Data Parallel 可以基于經(jīng)典的橫向聯(lián)邦學(xué)習(xí)算法FedAvg[81-82]、DPSGD[83-84]等完成模型訓(xùn)練。其服務(wù)架構(gòu)如圖7 所示，分為編譯階段和運行階段。

圖7 數(shù)據(jù)并行化下的橫向聯(lián)邦學(xué)習(xí)服務(wù)架構(gòu)

編譯階段包含以下4 個主要部分。1) FL-Strategy。用戶可以使用FL-Strategy 定義聯(lián)邦學(xué)習(xí)策略，如Fed-Avg。2) UDP（user-defined-program），為PaddleFL 程序，定義機器學(xué)習(xí)模型結(jié)構(gòu)和訓(xùn)練策略，如多任務(wù)學(xué)習(xí)。3) Distributed-Config。聯(lián)邦學(xué)習(xí)系統(tǒng)會部署在分布式環(huán)境中，需要對分布式訓(xùn)練進行配置并定義分布式節(jié)點信息。4)FL-Job-Generator。給定 FL-Strategy、UDP 和Distributed Training Config，生成聯(lián)邦參數(shù)的服務(wù)器端和客戶端的FL-Job。

運行階段包含以下3 個組件。1) FL-Server，在云或第三方集群中運行的聯(lián)邦參數(shù)服務(wù)器。2)FL-Trainer，參與聯(lián)邦學(xué)習(xí)的每個組織都將有一個或多個與參數(shù)服務(wù)器通信的客戶端。3) FL-Scheduler，訓(xùn)練過程中調(diào)度客戶端，在每個更新周期前，決定哪些客戶端可以參與訓(xùn)練。

4.2.2 基于安全多方計算的聯(lián)邦學(xué)習(xí)

作為PaddleFL 的一個重要組成部分，PFM 是基于多方安全計算實現(xiàn)的聯(lián)邦學(xué)習(xí)方案。PFM 可以很好地支持橫向、縱向及聯(lián)邦遷移學(xué)習(xí)等多個場景，既可提供可靠的安全性，也具有可觀的性能。

PFM 中的安全訓(xùn)練和推理任務(wù)是基于高效的多方計算協(xié)議，如三方安全計算協(xié)議 ABY3（three-party arithmetic-binary-Yao）[38]。在ABY3 中，參與方可分為輸入方、計算方和結(jié)果方。輸入方為訓(xùn)練數(shù)據(jù)及模型的持有方，負(fù)責(zé)加密數(shù)據(jù)和模型，并將其發(fā)送到計算方。計算方為訓(xùn)練的執(zhí)行方，基于特定的多方安全計算協(xié)議完成訓(xùn)練任務(wù)，只能得到加密后的數(shù)據(jù)及模型。計算結(jié)束后，結(jié)果方會拿到計算結(jié)果并恢復(fù)出明文數(shù)據(jù)。每個參與方可充當(dāng)多個角色，如一個數(shù)據(jù)擁有方也可以作為計算方參與訓(xùn)練。PFM 的整個訓(xùn)練及推理過程如圖8 所示。其主要由3 個階段組成：數(shù)據(jù)準(zhǔn)備、安全訓(xùn)練/推理、結(jié)果解析。數(shù)據(jù)準(zhǔn)備階段包括私有數(shù)據(jù)對齊和數(shù)據(jù)加密及分發(fā)。首先，PFM 通過PSI 協(xié)議允許數(shù)據(jù)擁有方在不泄露自己數(shù)據(jù)的情況下，找出多方共有的樣本集合。此功能主要支持縱向聯(lián)邦學(xué)習(xí)，因為其要求多個數(shù)據(jù)方在訓(xùn)練前進行數(shù)據(jù)對齊，同時保護用戶的數(shù)據(jù)隱私。其次，數(shù)據(jù)方將數(shù)據(jù)和模型用秘密共享的方法加密，然后用直接傳輸或者數(shù)據(jù)庫存儲的方式傳到計算方。每個計算方只會拿到數(shù)據(jù)的一部分，因此計算方無法還原真實數(shù)據(jù)。

圖8 PFM 訓(xùn)練及推理過程（IP_i、CP_i 以及RP_i 分別表示數(shù)據(jù)或模型的擁有方、計算方以及結(jié)果獲取方）

安全訓(xùn)練/推理階段。PFM 擁有與PaddleFL 相同的運行模式。在訓(xùn)練前，用戶需要定義SMC 協(xié)議、訓(xùn)練模型以及訓(xùn)練策略。PaddleFL 的多方安全計算模塊提供了可以操作加密數(shù)據(jù)的算子，在運行時算子的實例會被創(chuàng)建并被執(zhí)行器依次運行。

結(jié)果解析階段。安全訓(xùn)練和推理工作完成后，模型（或預(yù)測結(jié)果）將由計算方以加密形式輸出。結(jié)果方可以收集加密的結(jié)果，使用PFM 中的工具對其進行解密，并將明文結(jié)果傳遞給用戶。

4.3 微眾銀行數(shù)據(jù)共享框架

4.3.1 概述

FATE 是由微眾銀行開源的一款工業(yè)級的聯(lián)邦學(xué)習(xí)框架，為用戶提供保護隱私的分布式機器學(xué)習(xí)服務(wù)[85]。FATE 涵蓋聯(lián)邦特征工程、聯(lián)邦機器學(xué)習(xí)模型訓(xùn)練（FATE FederatedML）、聯(lián)邦模型評估、聯(lián)邦在線推理等。其中，F(xiàn)ATE FederatedML 是聯(lián)邦學(xué)習(xí)算法功能組件，提供許多常見機器學(xué)習(xí)算法聯(lián)邦化實現(xiàn)。其主要功能如圖9 所示，具體如下：聯(lián)邦樣本對齊，包括縱向樣本ID 對齊、基于RSA+哈希等對齊方式；聯(lián)邦特征工程，包括聯(lián)邦采樣、聯(lián)邦特征分箱、聯(lián)邦特征選擇、聯(lián)邦相關(guān)性、聯(lián)邦統(tǒng)計等；聯(lián)邦機器學(xué)習(xí)，包括聯(lián)邦邏輯回歸、線性回歸、泊松回歸、聯(lián)邦SecureBost、聯(lián)邦DN、聯(lián)邦遷移學(xué)習(xí)等[86]；多方安全計算協(xié)議，包括同態(tài)加密、秘密分享、RSA、Diffie-Hellman 交換算法等。

圖9 FATE FederatedML 主要功能

4.3.2 無損隱私保護系統(tǒng)

FATE 在實現(xiàn)縱向聯(lián)邦學(xué)習(xí)時，為聯(lián)邦學(xué)習(xí)環(huán)境下的模型訓(xùn)練提供一種稱為SecureBoost 的無損隱私保護 tree-boosting 系統(tǒng)。如圖 10 所示，SecureBoost 在隱私約束下對數(shù)據(jù)進行對齊，協(xié)同學(xué)習(xí)共享gradient-tree boosting 模型[87]，同時對多個私有方的所有訓(xùn)練數(shù)據(jù)保密。FATE 利用基于隱私保護的樣本ID 匹配進行數(shù)據(jù)對齊。當(dāng)數(shù)據(jù)垂直劃分在多個參與方上時，不同的參與方持有不同但部分重疊的用戶，這些用戶可以通過其唯一的用戶ID來識別。為了在沒有仲裁的情況下兼顧隱私并找到各方的共享用戶或數(shù)據(jù)樣本用戶集的非共享部分，F(xiàn)ATE 使用文獻(xiàn)[88-89]所提的隱私保護協(xié)議，在加密方案下尋找數(shù)據(jù)樣本的用戶交集。

圖10 SecureBoost 框架

圖11 描述了在縱向聯(lián)邦學(xué)習(xí)時，隱私保護約束下的數(shù)據(jù)對齊流程，具體如下。

圖11 FATE 縱向聯(lián)邦學(xué)習(xí)的數(shù)據(jù)對齊實現(xiàn)流程

1) B 將公鑰（n,encry）加密后傳給A，建立加密通道。其中，n是公有密鑰，encry 是加密算法。

2) A 通過哈希函數(shù)H 逐個映射ui，并乘以加密后的隨機噪聲，然后將結(jié)果YA回傳給B。

3) B 解密后得到ZA，計算ZB，并將ZA和ZB回傳給A。

4) A 消除ZA中的隨機噪聲，然后進行一次哈希運算生成AD，再求ZA與DA的交集，最后A 回傳交集結(jié)果給B。

在多方安全訓(xùn)練階段，F(xiàn)ATE 利用SecureBoost的模型，實質(zhì)上是將梯度提升樹學(xué)習(xí)算法XGBoost[90]進行轉(zhuǎn)換，使其適應(yīng)聯(lián)邦學(xué)習(xí)環(huán)境。分裂節(jié)點的選擇和葉的最優(yōu)權(quán)重計算僅取決于葉的g和h。其中，g和h分別是XGBoost 損失函數(shù)的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)。而g、h與分類標(biāo)簽存在關(guān)聯(lián)，攻擊方在一定條件下可以通過g和h恢復(fù)分類標(biāo)簽。由XGBoost特點可知，每個被動方（無標(biāo)簽數(shù)據(jù)的參與方）一旦獲得g和h，僅用其本地數(shù)據(jù)就能夠獨立地確定局部最優(yōu)分裂。因此，非聯(lián)邦學(xué)習(xí)下活動方將g和h發(fā)送到每個被動方是可行的。但由于g和h可以用來獲取分類標(biāo)簽信息，為了確保安全，聯(lián)邦學(xué)習(xí)要求各被動方無法直接訪問g和h，主動方（有標(biāo)簽數(shù)據(jù)的參與方）在將g和h發(fā)送給被動方之前要進行加密。隨后，每個被動方使用加密的g和h確定局部最優(yōu)分裂。被動方A 使用由主動方B 加密的g和h進行計算。其中，g和h在主動方B 側(cè)本地計算，B 側(cè)沒有泄露樣本分類標(biāo)簽；被動方A 本地計算經(jīng)加法同態(tài)加密后的梯度直方圖，B 解密梯度直方圖，但是不知道具體對應(yīng)的ID 集合，保護了A側(cè)ID 集合隱私信息。

4.4 谷歌數(shù)據(jù)共享框架

4.4.1 概述

TFE 是由谷歌開源的聯(lián)邦學(xué)習(xí)框架，可用于對分散式數(shù)據(jù)進行機器學(xué)習(xí)和計算[91]。開發(fā)者可基于其模型和數(shù)據(jù)來模擬聯(lián)邦學(xué)習(xí)算法并實驗新算法。TFF 提供的構(gòu)建塊也可用于實現(xiàn)非學(xué)習(xí)計算，例如對分散式數(shù)據(jù)進行聚合分析。TFF 的接口可以分成兩層：1) FL API，提供了一組高階接口，開發(fā)者能夠利用其聯(lián)合訓(xùn)練和評估實現(xiàn)TensorFlow 模型。2)FC（federated core）API，可以通過在強類型函數(shù)式編程環(huán)境中結(jié)合使用TensorFlow 與分布式通信運算符，簡潔地表達(dá)新的聯(lián)合算法。這一層也是構(gòu)建聯(lián)合學(xué)習(xí)的基礎(chǔ)。

TFF 可用于模擬對聯(lián)合學(xué)習(xí)系統(tǒng)的目標(biāo)攻擊和基于隱私的差異防御[92]，使用潛在的惡意客戶端構(gòu)建一個迭代進程。同時，TFF 還支持自定義的攻擊方式，通過編寫一個客戶端更新函數(shù)來實現(xiàn)新的攻擊算法。此外，新的防御方案可以通過定制狀態(tài)聚合函數(shù)及聚合客戶端輸出以獲得自定義安全全局更新策略。

4.4.2 隱私保護庫

谷歌開源的TensorFlow Privacy 是將差分隱私技術(shù)集成到諸如隨機梯度下降的迭代訓(xùn)練過程中，提供了隱私保護Python 庫，以訓(xùn)練具有差異隱私的機器學(xué)習(xí)模型[93]。引入模塊化方法最大限度地減少對訓(xùn)練算法的更改，為隱私機制提供各種配置策略；隔離和簡化關(guān)鍵邏輯解決了在隱私敏感數(shù)據(jù)集上訓(xùn)練機器學(xué)習(xí)模型的實際挑戰(zhàn)[94]。而TFF 與TensorFlow Privacy 隱私庫是互操作的，可以支撐聯(lián)邦訓(xùn)練算法的不同隱私模型，例如，支持基礎(chǔ)的DP-FedAvg 算法進行差分隱私訓(xùn)練。此外，TFF 還提供可擴展的隱私保護接口，可以實現(xiàn)自定義差分隱私算法并將其應(yīng)用于聯(lián)邦平均的參數(shù)更新。

TFF 實現(xiàn)本地數(shù)據(jù)隱私保護的另一個重要方式是與生成式對抗網(wǎng)絡(luò)（GAN,generative adversarial network）結(jié)合，如DP-FedAvg-GAN 算法。Rangan等[95]展示了DP-FedAvg-GAN 算法下聯(lián)邦學(xué)習(xí)、生成模型和差分隱私相結(jié)合的有效性。

4.5 英偉達(dá)醫(yī)療數(shù)據(jù)共享框架

NVIDIA Clara 是一個醫(yī)療保健應(yīng)用框架，用于人工智能成像、基因組學(xué)以及智能傳感器的開發(fā)和部署[47]。以服務(wù)器?客戶端結(jié)構(gòu)的聯(lián)邦學(xué)習(xí)為特色，各數(shù)據(jù)持有方和中央服務(wù)器通過邊緣AI 計算平臺NVIDIA EGX 構(gòu)建訓(xùn)練網(wǎng)絡(luò)，實現(xiàn)支持隱私保護的智能計算。NVIDIA Clara 作為一個商業(yè)應(yīng)用產(chǎn)品，需基于英偉達(dá)的GPU 硬件來獲取服務(wù)。

聯(lián)邦學(xué)習(xí)的中央服務(wù)器雖然通過適當(dāng)?shù)鼐酆峡蛻舳吮镜啬Ｐ透驴梢垣@得一個高精度的全局模型，但是共享的模型可能間接地泄露本地的訓(xùn)練示例。NVIDIA Clara 云邊協(xié)同的架構(gòu)，可以通過控制站點的全局模型只共享部分模型權(quán)重，從而保護隱私，并且數(shù)據(jù)較少暴露在模型反轉(zhuǎn)中。Paillier 等[10]探討了在聯(lián)邦學(xué)習(xí)系統(tǒng)中應(yīng)用差分隱私技術(shù)來保護病人資料的可行性。其實驗結(jié)果表明，模型性能與隱私保護代價之間存在折中關(guān)系。

此外，為確保在客戶機?服務(wù)器通信時數(shù)據(jù)和模型的安全性，Clara 使用聯(lián)合學(xué)習(xí)令牌來建立客戶端和服務(wù)器之間的信任[22]。聯(lián)邦學(xué)習(xí)令牌會在整個聯(lián)邦訓(xùn)練會話生命周期中使用?？蛻舳诵枰炞C服務(wù)器標(biāo)識，服務(wù)器也需要驗證客戶端?？蛻舳?服務(wù)器數(shù)據(jù)交換基于HTTPS 協(xié)議進行安全通信。

5 挑戰(zhàn)與展望

隨著海量異構(gòu)數(shù)據(jù)的日益增長，數(shù)據(jù)隱私保護問題迫在眉睫。非聚合式數(shù)據(jù)共享方法在數(shù)據(jù)分享模式基礎(chǔ)上增強了隱私保護，降低數(shù)據(jù)泄露的風(fēng)險。通過總結(jié)分析安全多方計算、聯(lián)邦學(xué)習(xí)及非聚合式數(shù)據(jù)共享框架的發(fā)展，本文進一步提出了非聚合式數(shù)據(jù)共享領(lǐng)域在未來更為復(fù)雜的信息世界中面臨的挑戰(zhàn)和機遇。

5.1 復(fù)雜的多參與方場景

隨著物聯(lián)網(wǎng)和邊緣計算的發(fā)展，智能設(shè)備能力不斷提升，數(shù)據(jù)往往分布在多個節(jié)點上。而且，節(jié)點動態(tài)性強，可以自由加入和離開，導(dǎo)致多參與方情況更加復(fù)雜和不穩(wěn)定。

由于安全多方計算協(xié)議復(fù)雜度高，傳統(tǒng)的方法側(cè)重研究兩方參與場景，無法很好地拓展到多方環(huán)境。不能簡單地將兩方協(xié)議執(zhí)行多次來達(dá)到多方計算，因為在簡單重復(fù)兩方協(xié)議的過程中，參與方會得到一些中間結(jié)果，而它本身是不能獲知這些中間結(jié)果的。雖然有部分研究者針對這一問題展開研究，但還未能完全解決。例如，Wang 等[96]提出讓某參與方充當(dāng)領(lǐng)導(dǎo)者，組織協(xié)議在多方之間執(zhí)行，但無法很好地應(yīng)對領(lǐng)導(dǎo)者是惡意節(jié)點的情況，而且領(lǐng)導(dǎo)者的選擇也影響協(xié)議效率；Kolesnikov 等[97]借助不經(jīng)意可編程的偽隨機函數(shù)（OPPRF,oblivious evaluation of a programmable pseudorandom function）的特性來完成多方計算，5 個各有 220個元素的參與者執(zhí)行協(xié)議僅需72 s，但其實驗選取的是較小數(shù)字或較短字符串等簡單元素，不能很好地應(yīng)對復(fù)雜場景。云計算給多參與方場景的安全計算帶來了機遇[98]，其強大的計算和存儲能力可以用于支撐復(fù)雜的協(xié)議，但也存在一定挑戰(zhàn)。首先，傳統(tǒng)方法是針對數(shù)據(jù)存儲在本地、計算執(zhí)行在本地的特點而設(shè)計的，不能照搬到云環(huán)境中。其次，云中心節(jié)點一般被認(rèn)為是半誠實的，需要對傳輸數(shù)據(jù)進行加密，而這個操作會導(dǎo)致數(shù)據(jù)擁有方難以在協(xié)議執(zhí)行過程中對外包的數(shù)據(jù)集進行訪問控制。因此，需要研究適應(yīng)動態(tài)多參與方的安全計算協(xié)議，可以利用現(xiàn)有的一些高級密碼學(xué)成果和邊緣計算環(huán)境中的智能節(jié)點等，達(dá)到高效合理計算的目標(biāo)。

參與方的增多也會影響聯(lián)邦學(xué)習(xí)算法的準(zhǔn)確性和性能。首先，管理和篩選合格的參與方需要額外的開銷；其次，本地數(shù)據(jù)節(jié)點增多，其不同的數(shù)據(jù)分布會影響全局優(yōu)化模型的效果。在最壞的情況下生成的聯(lián)合模型并不比在單個節(jié)點上訓(xùn)練生成的模型好[99]，在非獨立同分布的數(shù)據(jù)情況下，F(xiàn)edAvg 訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率會顯著下降[79]。改進的潛在方法包括增加并行性、增加本地節(jié)點的計算量、參與方聚類擇優(yōu)、模型自適應(yīng)調(diào)整等。針對參與方的動態(tài)變化及應(yīng)對短時間內(nèi)參與方數(shù)量彈性增加/降低等情況，如何設(shè)計一個快速收斂且保證準(zhǔn)確率的算法模型還需要進一步的研究。

5.2 性能優(yōu)化與開銷代價的平衡

為了增強數(shù)據(jù)隱私保護，需要復(fù)雜的協(xié)議和算法保證最低程度的數(shù)據(jù)泄露，但在實現(xiàn)過程中，則會造成系統(tǒng)開銷增大。因此，如何平衡所需的優(yōu)化性能和執(zhí)行開銷是十分重要的問題，關(guān)系到方案的實際應(yīng)用拓展情況。

在安全多方計算領(lǐng)域，Pinkas 等[29]提出貨幣成本衡量標(biāo)準(zhǔn)，其表示PSI 協(xié)議在云計算平臺執(zhí)行所帶來的計算和通信開銷，并根據(jù)該標(biāo)準(zhǔn)設(shè)計了2 個半誠實對手安全協(xié)議，其中一個具有非常低的通信開銷，另一個則在計算開銷上表現(xiàn)出色，然而這2種特性并未出現(xiàn)在同一個協(xié)議上。如何權(quán)衡計算和通信開銷，在滿足應(yīng)用場景和用戶隱私需求的情況下達(dá)到平衡，能否借助貨幣成本標(biāo)準(zhǔn)設(shè)計出更加折中的方案等，都是亟待解決的問題。

在聯(lián)邦學(xué)習(xí)領(lǐng)域，其分布式架構(gòu)存在多節(jié)點的數(shù)據(jù)交換過程，需要較好的通信帶寬，多節(jié)點訓(xùn)練的拓展性也與其正相關(guān)。然而，在大型異構(gòu)環(huán)境分布式訓(xùn)練中，本地數(shù)據(jù)節(jié)點常常會受到可用通信帶寬和資源的限制。梯度壓縮是解決這類問題的一種潛在的有效方法，但大多壓縮算法采用近似編碼表示內(nèi)容，存在一定的信息損失，無法被廣泛采用。其次，運行速度會受到影響，而且可能造成優(yōu)化后的所有梯度聚集或無法達(dá)到相同的測試性能。因此，如何在保證算法準(zhǔn)確度的前提下減少通信成本仍然需要進一步研究。

5.3 潛在安全問題

非聚合式數(shù)據(jù)共享雖然能保證源數(shù)據(jù)不在單點聚合，但仍面臨一些潛在的安全問題。

虛假數(shù)據(jù)。攻擊者可以冒充虛假參與方，提交模擬的數(shù)據(jù)，造成數(shù)據(jù)中毒的情況。在安全多方計算場景中，此方案可以用來攻擊外包計算節(jié)點，消耗其資源，使真正參與方得不到公平的資源使用機會。在聯(lián)邦學(xué)習(xí)場景中，虛假數(shù)據(jù)會嚴(yán)重影響全局優(yōu)化模型的準(zhǔn)確性，造成嚴(yán)重后果。針對這一問題，可以嘗試從參與方認(rèn)證、可靠性激勵等方面提出解決方案。

架構(gòu)安全性。安全多方計算中，由于加密后的數(shù)據(jù)需要傳輸交互，若一個參與方被攻破，則信息可能被泄露。如果攻擊者獲悉加密方法及部分真實數(shù)據(jù)信息，就能在一定程度上破解密文。安全多方計算的數(shù)據(jù)安全性取決于使用的加密方法和數(shù)據(jù)傳輸通道的安全性。聯(lián)邦學(xué)習(xí)中參數(shù)服務(wù)器對本地數(shù)據(jù)及其訓(xùn)練過程是不可見的，攻擊者可利用缺乏透明性對系統(tǒng)進行攻擊。通過有目的或無目的的模型攻擊，使訓(xùn)練過程中數(shù)據(jù)樣本偏差不可察覺，影響全局模型的性能或操控模型偏向。如何確保本地數(shù)據(jù)節(jié)點提供誠實可信的訓(xùn)練，保證整個聯(lián)邦學(xué)習(xí)流程的安全性仍然是一個難點。

5.4 隱私保護技術(shù)結(jié)合

隨著學(xué)術(shù)界和工業(yè)界對數(shù)據(jù)隱私保護問題的重視，研究者致力于開發(fā)各種增強數(shù)據(jù)隱私保護的技術(shù)，如何結(jié)合現(xiàn)有的技術(shù)，針對不同的應(yīng)用場景，提升整體系統(tǒng)的數(shù)據(jù)隱私保護能力，也是未來值得研究的方向。

生成對抗網(wǎng)絡(luò)是一種深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，由Goodfellow 等[100]在2014 年提出，它可以學(xué)習(xí)數(shù)據(jù)集分布，生成與數(shù)據(jù)集相似的逼真數(shù)據(jù)。利用GAN可以把同等特征的模擬數(shù)據(jù)發(fā)送給對方，而不泄露真實數(shù)據(jù)內(nèi)容，保護源數(shù)據(jù)隱私。非聚合式數(shù)據(jù)共享方法主要強調(diào)數(shù)據(jù)共享的作用及其目標(biāo)，若數(shù)據(jù)特征保留，則同樣可以訓(xùn)練準(zhǔn)確的模型。但現(xiàn)有的GAN 相關(guān)研究缺乏對GAN 模型的性能、可用性、生成樣本的質(zhì)量等方面的客觀評價，導(dǎo)致模型的判定受一定主觀因素的影響。其次，仍然存在訓(xùn)練過程不穩(wěn)定、訓(xùn)練結(jié)果難以收斂、模式崩潰等問題，PPGAN[101]、DPGAN[102]雖在一定程度上有所改善，但仍有很大的優(yōu)化空間。

本地差分隱私（LDP,local differential privacy）[103]技術(shù)讓數(shù)據(jù)所有者在發(fā)布數(shù)據(jù)之前對數(shù)據(jù)進行擾動，避免需要信任的第三方進行數(shù)據(jù)收集和處理，保護源數(shù)據(jù)隱私。該技術(shù)能夠消除所增加的正、負(fù)噪聲，并且基于預(yù)定義的查詢來設(shè)計擾動機制，對指定的查詢能得到準(zhǔn)確的估計。但目前的查詢類型比較單一，包括離散型數(shù)據(jù)的計數(shù)查詢和連續(xù)型數(shù)據(jù)的均值查詢，不支持其他類型的查詢，如范圍查詢、最值查詢等。其次，本地差分隱私對復(fù)雜數(shù)據(jù)類型研究的工作還不足，目前僅有文獻(xiàn)[104-105]等對圖等復(fù)雜數(shù)據(jù)進行了研究，不能很好地處理具有邊權(quán)或邊屬性的圖，以及特定圖的挖掘任務(wù)研究，如三角形計數(shù)和頻繁的子圖結(jié)構(gòu)挖掘等。

聯(lián)邦學(xué)習(xí)框架需要上傳本地訓(xùn)練模型的參數(shù)至中央?yún)?shù)服務(wù)器，中央服務(wù)器結(jié)合全局信息進行調(diào)優(yōu)操作后，再把優(yōu)化后的參數(shù)信息返回給各本地節(jié)點。參數(shù)數(shù)據(jù)傳輸鏈路及中央?yún)?shù)調(diào)優(yōu)計算可結(jié)合安全多方計算技術(shù)，保證參數(shù)信息交互過程中的隱私安全性。具體的技術(shù)選型、計算操作實現(xiàn)還需要結(jié)合聯(lián)邦學(xué)習(xí)實際應(yīng)用場景進行進一步的分析和優(yōu)化。

6 結(jié)束語

隨著數(shù)據(jù)量的迅速增多以及用戶隱私保護需求的提高，傳統(tǒng)的集中式獲取全部數(shù)據(jù)的方式已不能很好地應(yīng)對多方數(shù)據(jù)共享的場景，非聚合式數(shù)據(jù)共享有望成為主流。非聚合式數(shù)據(jù)共享在有效降低源數(shù)據(jù)隱私泄露風(fēng)險的情況下，完成數(shù)據(jù)處理和挖掘的目標(biāo)。本文簡要介紹了主要的非聚合式數(shù)據(jù)共享方法的研究現(xiàn)狀，首先，闡述早期非聚合式數(shù)據(jù)共享方法安全多方計算的相關(guān)技術(shù)，包括同態(tài)加密、不經(jīng)意傳輸、秘密共享、隱私集合交集協(xié)議等。其次，從源數(shù)據(jù)節(jié)點和通信傳輸優(yōu)化2 個方面介紹近期的非聚合式數(shù)據(jù)共享研究熱點聯(lián)邦學(xué)習(xí)技術(shù)。此外，本文還對比分析了非聚合式數(shù)據(jù)共享框架，如百度PaddleFL、微眾銀行FATE、谷歌TFF 等，給未來研究方案的實際構(gòu)建和運行提供支撐。最后，本文提出了4 個非聚合式數(shù)據(jù)共享領(lǐng)域面臨的挑戰(zhàn)和潛在研究方向。期望本文可以為研究人員快速全面地了解和掌握非聚合式數(shù)據(jù)共享領(lǐng)域的基本現(xiàn)狀和研究發(fā)展提供參考和幫助。