面向數(shù)據(jù)共享交換的聯(lián)邦學(xué)習(xí)技術(shù)發(fā)展綜述

王亞珅

（中國電子科技集團(tuán)公司電子科學(xué)研究院，社會安全風(fēng)險(xiǎn)感知與防控大數(shù)據(jù)應(yīng)用國家工程實(shí)驗(yàn)室，北京100041）

1 引 言

從2017年首次提出概念、2018年嶄露頭角，到2019年被學(xué)術(shù)界和產(chǎn)業(yè)界重點(diǎn)關(guān)注，聯(lián)邦學(xué)習(xí)（Federated Learning）已經(jīng)成為當(dāng)前人工智能研究與應(yīng)用領(lǐng)域的熱門技術(shù)，展現(xiàn)出強(qiáng)大的打破“數(shù)據(jù)孤島”能力和用戶隱私保護(hù)能力。2019年被業(yè)界稱為“聯(lián)邦學(xué)習(xí)元年”。在當(dāng)前強(qiáng)調(diào)數(shù)據(jù)安全和隱私保護(hù)的大環(huán)境中，聯(lián)邦學(xué)習(xí)技術(shù)作為一種新的人工智能技術(shù)范式，有望成為下一代人工智能協(xié)作網(wǎng)絡(luò)架構(gòu)的基礎(chǔ)，建立跨域異構(gòu)參與者之間的數(shù)據(jù)信任，并促進(jìn)科學(xué)技術(shù)的發(fā)展與演進(jìn)。

2 聯(lián)邦學(xué)習(xí)興起背景

在當(dāng)前人工智能和深度學(xué)習(xí)浪潮中，存在兩個(gè)突出而尖銳的難題——“數(shù)據(jù)孤島”難題和隱私安全難題[1-2]。更嚴(yán)重的是兩者之前存在一定程度的制衡。

（1）“數(shù)據(jù)孤島”難題

大多數(shù)實(shí)際應(yīng)用領(lǐng)域均存在數(shù)據(jù)量有限、質(zhì)量較差的問題，在某些專業(yè)性很強(qiáng)的細(xì)分領(lǐng)域更是難以獲得足以支撐人工智能和機(jī)器學(xué)習(xí)模型進(jìn)行訓(xùn)練的標(biāo)注數(shù)據(jù)；同時(shí)在不同數(shù)據(jù)源之間存在著難以打破的壁壘，難以跨域共享交換，導(dǎo)致當(dāng)前大數(shù)據(jù)在某種意義上越來越多地成為“數(shù)據(jù)孤島”的總稱。

（2）隱私保護(hù)難題

重視數(shù)據(jù)隱私和安全已經(jīng)成為一種世界性共識和趨勢，以2018年5月歐盟出臺的《通用數(shù)據(jù)保護(hù)條例》（General Data Protection Regulation，GDPR）為代表的一系列對于數(shù)據(jù)收集、傳輸、保留或者處理過程進(jìn)行約束的條例規(guī)定更是加大了數(shù)據(jù)獲取和共享交換的難度，給眾多人工智能技術(shù)與應(yīng)用的落地帶來了前所未有的挑戰(zhàn)。

面對上述挑戰(zhàn)，聯(lián)邦學(xué)習(xí)技術(shù)應(yīng)運(yùn)而生，成為解決傳統(tǒng)機(jī)器學(xué)習(xí)和人工智能方法在獲取標(biāo)注數(shù)據(jù)以落地過程中所面臨的“數(shù)據(jù)孤島”和隱私安全難題而進(jìn)行的全新嘗試。聯(lián)邦學(xué)習(xí)是人工智能領(lǐng)域的一項(xiàng)新的基礎(chǔ)性技術(shù)，其基礎(chǔ)便是保護(hù)數(shù)據(jù)隱私并滿足法律法規(guī)要求，在此基礎(chǔ)上它可以在多個(gè)參與者或計(jì)算節(jié)點(diǎn)之間執(zhí)行高效的機(jī)器學(xué)習(xí)。此外，聯(lián)邦學(xué)習(xí)提供“閉環(huán)”學(xué)習(xí)機(jī)制，其有效性取決于數(shù)據(jù)提供者對自己和他人的貢獻(xiàn)，這有助于激勵(lì)更多參與者加入整個(gè)數(shù)據(jù)“聯(lián)邦”生態(tài)。聯(lián)邦學(xué)習(xí)具有以下優(yōu)勢與特點(diǎn)[1，4]：

（1）數(shù)據(jù)保存在終端設(shè)備本地以避免數(shù)據(jù)泄露，滿足用戶隱私保護(hù)和數(shù)據(jù)安全的需求。

（2）所有參與者都有平等的地位，可以實(shí)現(xiàn)公平的合作；確保參與者可以在保持獨(dú)立性的同時(shí)以加密方式交換信息和模型參數(shù)，并且可以同時(shí)成長。

（3）模型建模效果類似于傳統(tǒng)的深度學(xué)習(xí)算法，尤其是在聯(lián)邦遷移學(xué)習(xí)過程中，可以做到最大限度無損訓(xùn)練，避免遷移學(xué)習(xí)存在性能損失的負(fù)面遷移。

3 聯(lián)邦學(xué)習(xí)機(jī)理概述

聯(lián)邦學(xué)習(xí)是機(jī)器學(xué)習(xí)和人工智能面對更加嚴(yán)格的數(shù)據(jù)管理規(guī)定的解決方案。在聯(lián)邦學(xué)習(xí)框架中，中央服務(wù)器保存可以初始共享的全局?jǐn)?shù)據(jù)；每個(gè)客戶端（參與者或者邊緣設(shè)備）都保存本地?cái)?shù)據(jù)，并根據(jù)本地?cái)?shù)據(jù)訓(xùn)練本地機(jī)器學(xué)習(xí)和人工智能模型。然后，根據(jù)某種通信機(jī)制，客戶端將模型參數(shù)和其他數(shù)據(jù)傳輸?shù)街醒敕?wù)器（在該過程中，客戶端的完整原始數(shù)據(jù)將不會傳輸）。中央服務(wù)器收集每個(gè)客戶端上傳的數(shù)據(jù)并進(jìn)行訓(xùn)練以構(gòu)建全局模型，每個(gè)客戶在整個(gè)聯(lián)邦學(xué)習(xí)機(jī)制中都具有相同的角色和地位[3]。聯(lián)邦學(xué)習(xí)有效解決了客戶端作為使用實(shí)體在兩個(gè)或多個(gè)數(shù)據(jù)之間共享數(shù)據(jù)而又不貢獻(xiàn)數(shù)據(jù)的問題，因此在很大程度上解決了“數(shù)據(jù)孤島”的問題。更重要的是，聯(lián)邦學(xué)習(xí)的全局模型可以在每個(gè)客戶端數(shù)據(jù)特征對齊的前提下，實(shí)現(xiàn)與集中式數(shù)據(jù)存儲相同的建模效果。

圖1是聯(lián)邦學(xué)習(xí)概念示意圖。為了保護(hù)文本數(shù)據(jù)的私密性并減輕通信網(wǎng)絡(luò)的壓力，聯(lián)邦學(xué)習(xí)以分布式策略訓(xùn)練預(yù)測變量，而不是將原始數(shù)據(jù)（即參與者的本地?cái)?shù)據(jù)）發(fā)送到中央服務(wù)器進(jìn)行集中訓(xùn)練。在這種情況下，遠(yuǎn)程客戶端設(shè)備與中央服務(wù)器定期通信以建立全局模型，在每個(gè)通信回合中，所選定參與者客戶端的子集對其非獨(dú)立同分布的參與者數(shù)據(jù)執(zhí)行本地訓(xùn)練，并將這些局部參數(shù)更新發(fā)送到中央服務(wù)器。中央服務(wù)器在融合和更新后將最新的全局模型發(fā)送回選定參與者客戶端。該迭代訓(xùn)練過程將在整個(gè)聯(lián)邦學(xué)習(xí)網(wǎng)絡(luò)中不斷進(jìn)行，直到滿足收斂或某些終止條件為止[5]。上述過程中，聯(lián)邦學(xué)習(xí)的數(shù)據(jù)匯總與合并并不只是簡單地合并各參與者的數(shù)據(jù)，而是各參與者數(shù)據(jù)不出本地、采用加密機(jī)制完成數(shù)據(jù)傳輸，從而在各參與者的客戶端均建立高質(zhì)量的模型。

圖1 聯(lián)邦學(xué)習(xí)概念示意圖Fig.1 The concept sketch of Federated Learning

總體而言，聯(lián)邦學(xué)習(xí)可以分為以下三步：第一步，聯(lián)系和學(xué)習(xí)通過加密而不是用戶數(shù)據(jù)本身來交換所有參與者的用戶標(biāo)識符；第二步，參與聯(lián)邦學(xué)習(xí)的雙方可以根據(jù)用戶標(biāo)識符找到同類參與者，并以這些參與者的不同特征作為輸入，迭代訓(xùn)練模型和交換參數(shù)，在此過程中，任何一方無法破解對方具有但己方?jīng)]有的特征，因此可以保護(hù)數(shù)據(jù)隱私[4]；第三步，聯(lián)邦學(xué)習(xí)的參與者可以在不共享己方數(shù)據(jù)的前提下，利用多方數(shù)據(jù)優(yōu)勢來實(shí)現(xiàn)自己的模型賦能[1]。根據(jù)數(shù)據(jù)樣本的不同類型，聯(lián)邦學(xué)習(xí)通常被分為橫向聯(lián)邦學(xué)習(xí)、縱向聯(lián)邦學(xué)習(xí)、聯(lián)邦遷移學(xué)習(xí)三類[2]。其中，橫向聯(lián)邦學(xué)習(xí)針對具有相同業(yè)務(wù)類型和不同區(qū)域的場景，參與者之間無需交換信息，對深度學(xué)習(xí)有很好的支持；縱向聯(lián)邦學(xué)習(xí)針對具有相同區(qū)域和不同業(yè)務(wù)類型的場景，參與者之間需要交換中間結(jié)果；聯(lián)邦遷移學(xué)習(xí)針對不同區(qū)域和不同業(yè)務(wù)類型的場景，解決單側(cè)數(shù)據(jù)規(guī)模和標(biāo)注樣本數(shù)據(jù)不足的問題，參與者之間需要交換中間結(jié)果[6]。相對而言，大規(guī)?？v向聯(lián)邦學(xué)習(xí)和大規(guī)模聯(lián)邦遷移學(xué)習(xí)的系統(tǒng)復(fù)雜度更高。

4 技術(shù)革新與標(biāo)準(zhǔn)化工作同步推進(jìn)

聯(lián)邦學(xué)習(xí)的概念最早由谷歌公司在2017年提出。聯(lián)邦學(xué)習(xí)最初的形態(tài)是為了解決安卓移動用戶個(gè)人終端設(shè)備上訓(xùn)練模型（例如輸入法預(yù)選的推薦模型等）產(chǎn)生的數(shù)據(jù)安全和大量數(shù)據(jù)傳輸問題。為此，谷歌公司在2017年提出了聯(lián)邦學(xué)習(xí)的原始方案，使參與者（安卓手機(jī)用戶）在使用安卓手機(jī)時(shí)可以在本地更新模型參數(shù)（如梯度信息等），并將模型參數(shù)上傳到云，從而使具有相同特征維度的參與者可以聯(lián)手訓(xùn)練和建立全局模型，并從全局模型中獲益。

2019年8月，在第二十八屆國際聯(lián)合人工智能大會（IJCAI 2019）上舉辦的首屆聯(lián)邦學(xué)習(xí)國際研討會是聯(lián)邦學(xué)習(xí)的一個(gè)重要里程碑和時(shí)間節(jié)點(diǎn)，標(biāo)志著聯(lián)邦學(xué)習(xí)國際社區(qū)的正式成立，聯(lián)邦學(xué)習(xí)進(jìn)入了一個(gè)新階段。2019年12月舉辦的深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)國際會議（NeurIPS 2019）同樣舉辦了聯(lián)邦學(xué)習(xí)研討會。2019年2月，谷歌公司提出不可知聯(lián)邦學(xué)習(xí)架構(gòu)，全局模型針對由各參與者客戶端分布聚合而成的任意目標(biāo)分布進(jìn)行優(yōu)化，以克服經(jīng)典聯(lián)邦學(xué)習(xí)的全局模型訓(xùn)練結(jié)果可能會傾向于某些參與者客戶端上載的更新參數(shù)的問題。2019年5月，日本京都大學(xué)團(tuán)隊(duì)提出一種全新聯(lián)邦學(xué)習(xí)架構(gòu)，能夠根據(jù)聯(lián)邦學(xué)習(xí)參與者客戶端資源條件實(shí)現(xiàn)動態(tài)管理客戶端設(shè)備，從而突破具有資源約束的客戶端選擇問題，允許中心服務(wù)器聚合盡可能多的參與者更新信息，并加速改進(jìn)聯(lián)邦學(xué)習(xí)全局模型的性能。2019年6月，美國IBM 公司提出了針對貝葉斯非參數(shù)神經(jīng)網(wǎng)絡(luò)訓(xùn)練的聯(lián)邦學(xué)習(xí)架構(gòu)，每個(gè)參與者客戶端基于本地?cái)?shù)據(jù)計(jì)算神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)而構(gòu)建本地模型，利用聯(lián)合概率神經(jīng)匹配策略完成全局神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建，實(shí)現(xiàn)了在沒有額外監(jiān)控、數(shù)據(jù)池等信息且只執(zhí)行一輪通信的情況下，生成效果更優(yōu)的全局神經(jīng)網(wǎng)絡(luò)模型。2019年6月，美國蘋果公司提出面向聯(lián)邦學(xué)習(xí)的“本地隱私”機(jī)制，實(shí)現(xiàn)了在中心服務(wù)器或其他參與者的模型能夠觀察到數(shù)據(jù)之前，對這些數(shù)據(jù)進(jìn)行差異化處理和模糊化處理，從而無法在一定的誤差范圍內(nèi)重建數(shù)據(jù)，進(jìn)而提升對個(gè)人數(shù)據(jù)的保護(hù)。2019年6月，微眾銀行開源全球首個(gè)工業(yè)級聯(lián)邦學(xué)習(xí)技術(shù)框架（Federated AI Technology Enabler，F(xiàn)ATE），提供了一系列聯(lián)邦學(xué)習(xí)算法以及實(shí)現(xiàn)聯(lián)邦學(xué)習(xí)算法和系統(tǒng)的范本，致力解決計(jì)算架構(gòu)可并行、信息交互可審計(jì)、接口清晰可擴(kuò)展等工業(yè)應(yīng)用常見數(shù)據(jù)治理與隱私保護(hù)問題。

為了提供聯(lián)邦學(xué)習(xí)落地應(yīng)用的技術(shù)規(guī)范，為學(xué)術(shù)界和產(chǎn)業(yè)界共建聯(lián)邦生態(tài)提供合作依據(jù)，IEEE聯(lián)邦學(xué)習(xí)國際標(biāo)準(zhǔn)項(xiàng)目應(yīng)運(yùn)而生。2018年12月，IEEE 標(biāo)準(zhǔn)協(xié)會審批通過關(guān)于建立聯(lián)邦學(xué)習(xí)標(biāo)準(zhǔn)的提案《聯(lián)邦學(xué)習(xí)基礎(chǔ)架構(gòu)與應(yīng)用標(biāo)準(zhǔn)》（《Guide for Architectural Framework and Application of Federated Machine Learning》）；IEEE P3652.1（《聯(lián)邦學(xué)習(xí)基礎(chǔ)架構(gòu)與應(yīng)用》）標(biāo)準(zhǔn)工作組已于2019年2月、6月、8月和11月分別召開了第一次、第二次、第三次和第四次會議；中國作為聯(lián)邦學(xué)習(xí)的先行者，已在標(biāo)準(zhǔn)化領(lǐng)域產(chǎn)生諸多重要舉措，例如2019年6月，中國人工智能開源軟件發(fā)展聯(lián)盟發(fā)布國內(nèi)首個(gè)關(guān)于聯(lián)邦學(xué)習(xí)的團(tuán)體規(guī)范標(biāo)準(zhǔn)《信息技術(shù)服務(wù)聯(lián)邦學(xué)習(xí)參考架構(gòu)》；聯(lián)邦學(xué)習(xí)標(biāo)準(zhǔn)草案預(yù)計(jì)將于2020年2月推出，正式標(biāo)準(zhǔn)預(yù)計(jì)將于2020年上半年出臺。聯(lián)邦學(xué)習(xí)進(jìn)入國際標(biāo)準(zhǔn)流程，標(biāo)志著加入聯(lián)邦學(xué)習(xí)聯(lián)盟的參與者（企業(yè)或者機(jī)構(gòu)等）可以在同一框架范疇內(nèi)進(jìn)行交流，同時(shí)意味著如果新的參與者希望加入聯(lián)邦學(xué)習(xí)生態(tài)，則必須根據(jù)標(biāo)準(zhǔn)的規(guī)定應(yīng)用相同的框架。聯(lián)邦學(xué)習(xí)標(biāo)準(zhǔn)化工作的不斷推進(jìn)，是整個(gè)聯(lián)邦學(xué)習(xí)生態(tài)建設(shè)的基礎(chǔ)，可以促進(jìn)聯(lián)邦學(xué)習(xí)生態(tài)的擴(kuò)展。

5 基于聯(lián)邦學(xué)習(xí)技術(shù)的數(shù)據(jù)共享交換

以公共文化服務(wù)領(lǐng)域?yàn)槭痉厄?yàn)證場景，介紹基于聯(lián)邦學(xué)習(xí)技術(shù)的數(shù)據(jù)共享交換應(yīng)用。公共文化服務(wù)通常是指由政府主導(dǎo)、社會力量參與，以滿足公民基本文化需求為主要目的而提供的公共文化設(shè)施、文化產(chǎn)品、文化活動以及其他相關(guān)服務(wù)。現(xiàn)階段我國公共文化服務(wù)領(lǐng)域數(shù)據(jù)壁壘突出、面臨無法實(shí)現(xiàn)跨系統(tǒng)、跨地域、跨部門、跨層級、跨業(yè)務(wù)的數(shù)據(jù)共享交換。在該典型應(yīng)用案例中，建立基于聯(lián)邦學(xué)習(xí)技術(shù)的文化大數(shù)據(jù)生態(tài)系統(tǒng)，突破基于統(tǒng)一邏輯標(biāo)準(zhǔn)體系的分析、交換、應(yīng)用技術(shù)，融合文化場館、設(shè)施設(shè)備、演出活動、專家人員、教學(xué)活動、演出節(jié)目、人員（視頻）行為、群體情緒、愉悅指數(shù)等多源異構(gòu)數(shù)據(jù)資源，實(shí)現(xiàn)跨系統(tǒng)、跨地域、跨部門、跨層級、跨業(yè)務(wù)的公共文化服務(wù)領(lǐng)域數(shù)據(jù)交換共享，形成覆蓋文化原生數(shù)據(jù)、文化衍生數(shù)據(jù)的大數(shù)據(jù)采集應(yīng)與匯聚融合用體系，在公共文化服務(wù)領(lǐng)域內(nèi)實(shí)現(xiàn)“數(shù)據(jù)分布存儲、全領(lǐng)域邏輯一體”，增強(qiáng)業(yè)務(wù)協(xié)同能力、創(chuàng)新智能業(yè)務(wù)。最終開展基于跨域共享交換的公共文化服務(wù)數(shù)據(jù)采集分析與效能評估示范應(yīng)用，以聯(lián)邦學(xué)習(xí)技術(shù)為手段解決以往公共文化效能評估等業(yè)務(wù)執(zhí)行與協(xié)同過程中普遍存在的跨域數(shù)據(jù)無法充分匯聚融合進(jìn)而難以產(chǎn)生綜合研判與全要素量化結(jié)果的痛點(diǎn)。

基于公共文化服務(wù)領(lǐng)域聯(lián)邦學(xué)習(xí)技術(shù)實(shí)現(xiàn)不少于多類型公共文化服務(wù)數(shù)據(jù)共享交換任務(wù)，涵蓋跨系統(tǒng)、跨地域、跨部門、跨層級、跨業(yè)務(wù)的公共文化服務(wù)數(shù)據(jù)的共享交換任務(wù)：

（1）跨系統(tǒng)共享交換

實(shí)現(xiàn)跨圖書館圖書借閱管理相關(guān)系統(tǒng)、博物館/美術(shù)館策展相關(guān)系統(tǒng)、文化活動中心報(bào)名預(yù)約管理相關(guān)系統(tǒng)和公共文化資源信息管理相關(guān)系統(tǒng)、博物館/美術(shù)館藏品信息管理相關(guān)系統(tǒng)、劇場演出系統(tǒng)等多類型系統(tǒng)的公共文化服務(wù)數(shù)據(jù)共享交換任務(wù)。

（2）跨地域共享交換

實(shí)現(xiàn)跨某地級市某轄區(qū)華陽路街道、某地級市某轄區(qū)北新涇街道、某地級市某轄區(qū)仙霞新村街道、某地級市某轄區(qū)古北市民中心等街道社區(qū)（鎮(zhèn)）以及某地級市其他轄區(qū)等多地域的公共文化服務(wù)數(shù)據(jù)共享交換任務(wù)。

（3）跨部門共享交換

實(shí)現(xiàn)跨文化局、文化藝術(shù)中心、民俗文化中心、圖書館、街道社區(qū)文化活動中心等多部門的公共文化服務(wù)數(shù)據(jù)共享交換任務(wù)。

（4）跨層級共享交換

實(shí)現(xiàn)跨某地級市某轄區(qū)層級、某地級市某轄區(qū)區(qū)屬街道社區(qū)（鎮(zhèn)）層級、某地級市某轄區(qū)區(qū)屬街道社區(qū)（鎮(zhèn)）下轄場館/群團(tuán)層級等多層級的公共文化服務(wù)數(shù)據(jù)共享交換任務(wù)。

（5）跨業(yè)務(wù)共享交換

實(shí)現(xiàn)跨文化服務(wù)推薦、文化資源策展、藏品信息管理、資源底數(shù)管理、文化服務(wù)效能評估、文化活動報(bào)名預(yù)約、文化資源借閱、演出展映管理等多類型業(yè)務(wù)的公共文化服務(wù)數(shù)據(jù)共享交換任務(wù)。

最終，建設(shè)聯(lián)邦學(xué)習(xí)技術(shù)驅(qū)動的公共文化服務(wù)領(lǐng)域數(shù)據(jù)共享交換平臺，融合文化場館、文群團(tuán)隊(duì)、專業(yè)人才、演出節(jié)目、教學(xué)課程等多類型數(shù)據(jù)資源，實(shí)現(xiàn)跨系統(tǒng)、跨地域、跨部門、跨層級、跨業(yè)務(wù)的公共文化服務(wù)領(lǐng)域信息交換共享。在此基礎(chǔ)上，完成面向“數(shù)據(jù)抽取-信息加工-知識融合-認(rèn)知評估”全流程的異構(gòu)數(shù)據(jù)表達(dá)組織與存儲檢索方法，進(jìn)一步構(gòu)建大規(guī)模公共文化服務(wù)資源知識圖譜及推理模型，為構(gòu)建和拓展文化大數(shù)據(jù)的全新價(jià)值鏈提供基礎(chǔ)性智庫支撐和決策輔助。

6 聯(lián)邦學(xué)習(xí)面臨的困難與挑戰(zhàn)

經(jīng)典的聯(lián)邦學(xué)習(xí)問題是基于存儲在數(shù)以千萬計(jì)的遠(yuǎn)程客戶端設(shè)備中的全局?jǐn)?shù)據(jù)學(xué)習(xí)模型，在訓(xùn)練模型參數(shù)過程中，客戶端設(shè)備需要定期與中央服務(wù)器通信。當(dāng)前，聯(lián)邦學(xué)習(xí)面臨的困難與挑戰(zhàn)可以概述為以下四個(gè)方面：

（1）通信費(fèi)用高。在聯(lián)邦學(xué)習(xí)問題中，原始數(shù)據(jù)被本地存儲在遠(yuǎn)程客戶端設(shè)備中，需要與中心服務(wù)器不斷交互，才能完成全局模型的構(gòu)建（包括參數(shù)訓(xùn)練等）。一般來說，整個(gè)聯(lián)邦學(xué)習(xí)網(wǎng)絡(luò)可能包含數(shù)量龐大的終端設(shè)備（即客戶端），因此很容易造成較高的通信成本，該問題成為聯(lián)邦學(xué)習(xí)的關(guān)鍵瓶頸[3，7]。

（2）統(tǒng)計(jì)異構(gòu)性。終端設(shè)備通常以不同的分發(fā)方式在網(wǎng)絡(luò)上生成、處理和收集數(shù)據(jù)，跨終端設(shè)備的數(shù)據(jù)體量和特征可能會有很大差異。因此，聯(lián)邦學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)中的數(shù)據(jù)是非獨(dú)立同分布的[8]。然而，主流的機(jī)器學(xué)習(xí)和人工智能算法主要基于數(shù)據(jù)獨(dú)立同分布假設(shè)。因此，如何對非獨(dú)立同分布數(shù)據(jù)特征的異構(gòu)性數(shù)據(jù)進(jìn)行建模、分析和評估，是聯(lián)邦學(xué)習(xí)進(jìn)一步推廣所必須解決的關(guān)鍵問題。

（3）系統(tǒng)異構(gòu)性。由于硬件條件（CPU、內(nèi)存等）、網(wǎng)絡(luò)連接（3G、4G，5G、WIFI等）和供電（電池電源）的變化，聯(lián)邦學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)中每個(gè)終端設(shè)備的存儲、計(jì)算和通信功能可能會有所不同，聯(lián)邦學(xué)習(xí)網(wǎng)絡(luò)體系架構(gòu)和終端設(shè)備本身的局限性可能導(dǎo)致僅有部分設(shè)備在特定時(shí)間處于活動狀態(tài)[9]。此外，與邊緣計(jì)算所面臨的困難一樣，數(shù)量龐大的終端設(shè)備需要特定的空間和環(huán)境來部署電力供應(yīng)資源，因此聯(lián)邦學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)中的終端設(shè)備可能會出現(xiàn)電源故障、網(wǎng)絡(luò)訪問故障和其他緊急情況，從而導(dǎo)致瞬時(shí)無法連接。這種異構(gòu)的系統(tǒng)架構(gòu)會影響聯(lián)邦學(xué)習(xí)的整體效能。

（4）隱私問題。聯(lián)邦學(xué)習(xí)共享模型參數(shù)更新（例如梯度信息、參數(shù)特征等），而不是客戶端設(shè)備中的原始數(shù)據(jù)（終端設(shè)備中的原始數(shù)據(jù)依然存儲在終端設(shè)備中），因此在數(shù)據(jù)隱私保護(hù)方面，聯(lián)邦學(xué)習(xí)優(yōu)于其他分布式學(xué)習(xí)方法[3]。雖然擁有該優(yōu)勢，但是在訓(xùn)練過程中仍然存在將敏感信息暴露給第三方或中央服務(wù)器的風(fēng)險(xiǎn)，因此隱私保護(hù)依然是聯(lián)邦學(xué)習(xí)的主要關(guān)注點(diǎn)。

7 結(jié) 論

在當(dāng)前大數(shù)據(jù)和人工智能時(shí)代背景下，如果無法實(shí)現(xiàn)參與者之間的交換數(shù)據(jù)，除了少數(shù)擁有巨體量用戶、產(chǎn)品和服務(wù)進(jìn)而坐擁“頂端數(shù)據(jù)優(yōu)勢”的參與者之外，大多數(shù)參與者無法以合理合法且低成本、高效率的方式跨越人工智能的數(shù)據(jù)“鴻溝”——人工智能應(yīng)用中對數(shù)據(jù)的多方集成的需求達(dá)到了前所未有的水平。未來人工智能的主要挑戰(zhàn)之一仍在于數(shù)據(jù)，隨著互聯(lián)網(wǎng)的發(fā)展和5G技術(shù)的突破以及廉價(jià)傳感器帶來的邊緣計(jì)算及物聯(lián)網(wǎng)的普及和廣泛應(yīng)用，未來數(shù)據(jù)將出現(xiàn)不可阻擋的大規(guī)?！八槠钡内厔?。聯(lián)邦學(xué)習(xí)正是在現(xiàn)有機(jī)制規(guī)則無法改變的條件下，通過技術(shù)手段建立一個(gè)虛擬的全局通用模型，以達(dá)到與“每個(gè)參與者通過匯總數(shù)據(jù)而建立最優(yōu)模型”這種方式相同的效果，實(shí)現(xiàn)跨域數(shù)據(jù)共享交換。聯(lián)邦學(xué)習(xí)的優(yōu)勢和潛能對于打破“數(shù)據(jù)孤島”和促進(jìn)人工智能在更多行業(yè)中的實(shí)施具有重要意義。此外，聯(lián)邦學(xué)習(xí)對隱私保護(hù)、大規(guī)模機(jī)器學(xué)習(xí)以及人工智能方法和分布式優(yōu)化有特殊要求，由此產(chǎn)生了新的跨學(xué)科交叉研究方向，包括機(jī)器學(xué)習(xí)、系統(tǒng)架構(gòu)設(shè)計(jì)、分布式計(jì)算等，這對于推動人工智能理論和基礎(chǔ)進(jìn)一步延伸與拓展具有極為重要的意義。同時(shí)，聯(lián)邦學(xué)習(xí)國際標(biāo)準(zhǔn)的制定將進(jìn)一步為其在各行業(yè)中的應(yīng)用提供一個(gè)標(biāo)準(zhǔn)化的系統(tǒng)。未來在統(tǒng)一技術(shù)標(biāo)準(zhǔn)的基礎(chǔ)上，社會各界將建立“聯(lián)邦”生態(tài)，促進(jìn)聯(lián)邦學(xué)習(xí)發(fā)揮更大的效能，進(jìn)而為人工智能產(chǎn)業(yè)的發(fā)展開辟新的方向。