邊緣計(jì)算下的聯(lián)邦學(xué)習(xí)應(yīng)用研究

翟孟冬　陳宇　林榕健　李軍

摘要：隨著移動設(shè)備自身存儲和計(jì)算能力的提升，越來越多移動設(shè)備在本地進(jìn)行數(shù)據(jù)處理，如傳感器，智能穿戴設(shè)備和車載應(yīng)用等。當(dāng)前機(jī)器學(xué)習(xí)技術(shù)在計(jì)算機(jī)視覺，自然語言處理，模式識別等領(lǐng)域取得了巨大成功，然而當(dāng)前機(jī)器學(xué)習(xí)方法是中心化的，數(shù)據(jù)中心或者云服務(wù)器能夠?qū)?shù)據(jù)進(jìn)行訪問。聯(lián)邦學(xué)習(xí)作為新型的分布式機(jī)器學(xué)習(xí)范式，借助設(shè)備本身的存儲和計(jì)算能力，能夠在數(shù)據(jù)不出本地的情況下進(jìn)行機(jī)器學(xué)習(xí)中的模型共建，從而保護(hù)數(shù)據(jù)隱私，從而有效解決數(shù)據(jù)孤島問題。邊緣計(jì)算能夠在靠近設(shè)備端提供計(jì)算，存儲和網(wǎng)絡(luò)資源，為高帶寬低時(shí)延的應(yīng)用提供基礎(chǔ)。在聯(lián)邦學(xué)習(xí)訓(xùn)練中，設(shè)備數(shù)量增加，設(shè)備網(wǎng)絡(luò)情況復(fù)雜多變等均為聯(lián)邦學(xué)習(xí)中的聯(lián)合訓(xùn)練上帶來了巨大挑戰(zhàn)，如設(shè)備選擇，網(wǎng)絡(luò)通信開銷大等狀況。本文首先介紹了邊緣計(jì)算的基礎(chǔ)，以及聯(lián)邦學(xué)習(xí)的聯(lián)合訓(xùn)練流程，通過對聯(lián)邦學(xué)習(xí)和邊緣計(jì)算的融合應(yīng)用進(jìn)行分析研究，進(jìn)一步我們對基于邊緣計(jì)算的聯(lián)邦學(xué)習(xí)做了分析，最后我們對當(dāng)前的主要挑戰(zhàn)以及未來的研究方向做了總結(jié)。

關(guān)鍵詞：邊緣計(jì)算;聯(lián)邦學(xué)習(xí);數(shù)據(jù)隱私

中圖分類號：G424? ? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2021）07-0001-04

1背景介紹

1.1 邊緣計(jì)算概述

目前世界上有70億物聯(lián)網(wǎng)設(shè)備[1]，設(shè)備收集的數(shù)據(jù)在云數(shù)據(jù)中心之外[2]。邊緣計(jì)算在靠近數(shù)據(jù)源的一側(cè)，可以為設(shè)備的數(shù)據(jù)處理其自身的網(wǎng)絡(luò)、計(jì)算和儲資源[3]，在多個(gè)設(shè)備聯(lián)合進(jìn)行機(jī)器學(xué)習(xí)訓(xùn)練時(shí)可以將模型靠近數(shù)據(jù)端[4]，在智能家居、智能醫(yī)療和智慧城市等領(lǐng)域具有廣闊的應(yīng)用前景[5-6]。典型的邊緣計(jì)算應(yīng)用包括端設(shè)備，邊緣節(jié)點(diǎn)，云數(shù)據(jù)中心[7]。由于數(shù)據(jù)不必上傳至數(shù)據(jù)中心，對主干網(wǎng)絡(luò)依賴程度降低，邊緣計(jì)算具有高帶寬低時(shí)延的特點(diǎn)[8]。

1.2 聯(lián)邦學(xué)習(xí)概述

傳統(tǒng)的以云端為中心的機(jī)器學(xué)習(xí)方法中，從移動設(shè)備收集到的數(shù)據(jù)，比如文本、音頻、視頻等數(shù)據(jù)資源需要全部上傳到云端，由云端的數(shù)據(jù)中心對數(shù)據(jù)進(jìn)行訓(xùn)練。為了保證數(shù)據(jù)擁有方的隱私問題，聯(lián)邦學(xué)習(xí)應(yīng)運(yùn)而生[9]。聯(lián)邦學(xué)習(xí)允許移動設(shè)備在本地利用本地?cái)?shù)據(jù)對模型進(jìn)行訓(xùn)練，訓(xùn)練結(jié)束后，移動設(shè)備不需要發(fā)送給云端發(fā)送涉及設(shè)備隱私的敏感數(shù)據(jù)，而只需上傳更新后的模型，比如模型中參數(shù)，聯(lián)邦學(xué)習(xí)的中心服務(wù)器再對收集到的模型數(shù)據(jù)進(jìn)行聚合，這個(gè)過程持續(xù)直到聯(lián)合訓(xùn)練模型達(dá)到預(yù)期的準(zhǔn)確率。因此聯(lián)邦學(xué)習(xí)可以和邊緣計(jì)算充分結(jié)合。聯(lián)邦學(xué)習(xí)包括橫向聯(lián)邦學(xué)習(xí)和縱向聯(lián)邦學(xué)習(xí)，本文關(guān)注模型的聯(lián)合訓(xùn)練[10]。

總體來說，聯(lián)邦學(xué)習(xí)訓(xùn)練過程包括三步。如圖1所示：

第一步，任務(wù)初始化。中心服務(wù)器選擇訓(xùn)練任務(wù)，目標(biāo)應(yīng)用和數(shù)據(jù)要求。中心服務(wù)器指定全局模型和訓(xùn)練過程的超參數(shù)，如學(xué)習(xí)率，然后將初始全局模型[w0G]廣播給參與方。

第二步，本地模型訓(xùn)練并更新參數(shù)?；谌帜Ｐ蚚wtG]，t指當(dāng)前迭代次數(shù)，每個(gè)參與方各自使用本地?cái)?shù)據(jù)在本地進(jìn)行訓(xùn)練，并更新本地參數(shù)[wti]。第i個(gè)參與方在第t次迭代的主要目標(biāo)是找到更優(yōu)的參數(shù)[wti]來最小化損失函數(shù)[L（wti）]，即：

更新的本地模型隨后發(fā)至中心服務(wù)器。

第三步，全局模型聚合和更新。中心服務(wù)器聚合來自所有參與方的模型參數(shù)，然后將更新的全局模型參數(shù)[wt+1G]發(fā)送至數(shù)據(jù)擁有者（參與方）。

中心服務(wù)器的目標(biāo)是最小化全局損失函數(shù)，即：

重復(fù)第二步和第三步直到全局損失函數(shù)收斂或準(zhǔn)確率達(dá)到要求。聯(lián)邦學(xué)習(xí)的訓(xùn)練過程可以處理不同的機(jī)器學(xué)習(xí)任務(wù)如支持向量機(jī)[11]，神經(jīng)網(wǎng)絡(luò)，線性回歸[12]等。

1.3 研究現(xiàn)狀總結(jié)

當(dāng)前大部分關(guān)于邊緣計(jì)算和聯(lián)邦學(xué)習(xí)的研究過于獨(dú)立，如在邊緣計(jì)算中討論優(yōu)化緩存和計(jì)算卸載策略優(yōu)化時(shí)未能考慮數(shù)據(jù)隱私問題[3，13-17]。在聯(lián)邦學(xué)習(xí)的研究中，針對多個(gè)參與方數(shù)據(jù)分布差異考慮了不同的聯(lián)邦學(xué)習(xí)架構(gòu)[18]，針對無線通信和蜂窩網(wǎng)絡(luò)的架構(gòu)亦有研究[19-20]，但都未能在聯(lián)邦學(xué)習(xí)中考慮到邊緣計(jì)算網(wǎng)絡(luò)。本文針對基于邊緣計(jì)算的聯(lián)邦學(xué)習(xí)的聯(lián)合研究，并討論了聯(lián)邦學(xué)習(xí)在邊緣計(jì)算環(huán)境下協(xié)同訓(xùn)練的挑戰(zhàn)和問題，能夠進(jìn)一步利用邊緣計(jì)算的架構(gòu)對聯(lián)邦學(xué)習(xí)進(jìn)行優(yōu)化。

2 基于邊緣計(jì)算的聯(lián)邦學(xué)習(xí)研究

根據(jù)聯(lián)邦學(xué)習(xí)訓(xùn)練過程，在聯(lián)邦學(xué)習(xí)中有多個(gè)挑戰(zhàn)，如多個(gè)參與方的數(shù)據(jù)分布不同，主要是非獨(dú)立同分布的數(shù)據(jù)造成訓(xùn)練準(zhǔn)確度的降低[21]-[23]，分布式訓(xùn)練的收斂性等[21][24][25]，此外，相比于分布式機(jī)器學(xué)習(xí)，還有以下特征：1）緩慢且不穩(wěn)定的通信鏈接;2）異構(gòu)的設(shè)備（參與方）;3）隱私和安全問題，針對這三個(gè)特征，分別從三個(gè)方面展開研究：1）通信開銷;2）資源選擇;3）隱私和安全。本小節(jié)針對以上問題對相關(guān)研究進(jìn)行調(diào)研并討論解決方案。

2.1 通信成本

聯(lián)邦學(xué)習(xí)中，在系統(tǒng)達(dá)到目標(biāo)的準(zhǔn)確率之前，移動設(shè)備和聯(lián)邦學(xué)習(xí)服務(wù)器之間需要進(jìn)行許多輪的通信，也就是移動設(shè)備需要將每一輪訓(xùn)練好的模型上傳到云端。對于一些復(fù)雜的深度學(xué)習(xí)模型，比如卷積神經(jīng)網(wǎng)絡(luò)，每一個(gè)模型可能都包含幾百萬個(gè)參數(shù)[26]，如果頻繁地進(jìn)行通信，會造成較大的通信開銷并成為模型訓(xùn)練的瓶頸。因此，如何減小聯(lián)邦學(xué)習(xí)的通信成本成為一個(gè)至關(guān)重要的問題。常見的減小通信成本的方法有：（1）增加邊緣側(cè)的計(jì)算量。邊緣側(cè)頻繁地對模型進(jìn)行上傳是造成網(wǎng)絡(luò)通信成本高的主要原因，因此需要減小邊緣設(shè)備上傳模型的次數(shù)，考慮到移動設(shè)備的處理器越來越強(qiáng)大且訓(xùn)練模型的數(shù)據(jù)集相對較小，因此可以在移動設(shè)備本地對模型進(jìn)行更多的訓(xùn)練，之后再將訓(xùn)練好的模型上傳到聯(lián)邦學(xué)習(xí)服務(wù)器。由于經(jīng)過更多計(jì)算之后的模型效果更好，因此邊緣設(shè)備需要迭代的次數(shù)也就更少，通過減小上傳頻率減少了通信成本，這種方法的代價(jià)就是邊緣側(cè)的移動設(shè)備需要進(jìn)行更多的計(jì)算[27-29];（2）壓縮模型。分布式機(jī)器學(xué)習(xí)中經(jīng)常采用壓縮模型的方法來減小通信成本。通過稀疏化、量子化和二次抽樣等方法可以將模型壓縮為一個(gè)更緊湊的模型，從而減小了上傳到云端的模型的大小。由于壓縮模型可能會引入噪聲，因此使用這種方法需要注意在減小模型大小的同時(shí)保證模型訓(xùn)練的質(zhì)量[30-32];（3）基于重要性的更新。為了減少上傳模型的大小，除了壓縮模型，還可以對上傳模型的參數(shù)進(jìn)行過濾，可以有選擇性地只上傳部分較為重要的參數(shù)，這種方法可以大大減小每一輪的通信開銷。實(shí)際上進(jìn)行有選擇性的模型上傳獲得的全局模型要比上傳全部模型參數(shù)獲得的全局模型的性能更佳[28，33，34]。

2.2 資源分配

聯(lián)邦學(xué)習(xí)中，含有很多不同的設(shè)備，這些設(shè)備含有不同質(zhì)量的數(shù)據(jù)集、電量、參與計(jì)算意愿程度。對于給定的不同設(shè)備和資源約束，比如設(shè)備電量和通信帶寬，需要優(yōu)化資源分配以達(dá)到最高的訓(xùn)練效率。對于聯(lián)邦學(xué)習(xí)中的資源分配，主要考慮以下幾個(gè)問題。

選擇參與者。選擇參與者指的是選擇在一輪訓(xùn)練過程中對于參與設(shè)備的選擇。通常，在一輪聯(lián)邦學(xué)習(xí)訓(xùn)練過程中，聯(lián)邦學(xué)習(xí)服務(wù)器會隨機(jī)選擇一些參與者進(jìn)行訓(xùn)練，這些被選中的設(shè)備訓(xùn)練結(jié)束后再將各自的模型參數(shù)上傳到云端，云端的聯(lián)邦學(xué)習(xí)服務(wù)器再對模型參數(shù)進(jìn)行加權(quán)聚合[27]。這種模式下每輪訓(xùn)練的時(shí)間就受到訓(xùn)練時(shí)間最長的設(shè)備的影響[35]，因此亟需研究新的選擇參與者的協(xié)議，來解決聯(lián)邦學(xué)習(xí)訓(xùn)練時(shí)的瓶頸問題。

適應(yīng)性聚合。聯(lián)邦學(xué)習(xí)需要移動設(shè)備上傳模型參數(shù)到聯(lián)邦學(xué)習(xí)服務(wù)器進(jìn)行聚合。傳統(tǒng)的全局聚合的方法是同步的，即在一個(gè)固定的時(shí)間間隔內(nèi)所有的設(shè)備都在本地進(jìn)行一定輪數(shù)的訓(xùn)練，之后再聚合。對于給定的資源限制，需要研究如何通過調(diào)整聚合為適應(yīng)性聚合，即能夠根據(jù)資源限制和訓(xùn)練效率動態(tài)調(diào)整聚合時(shí)間來最大化訓(xùn)練效率[35]。

激勵(lì)機(jī)制。在實(shí)際的聯(lián)邦學(xué)習(xí)過程中，由于本地訓(xùn)練比較消耗計(jì)算和網(wǎng)絡(luò)資源等原因，許多的設(shè)備不愿意參與模型訓(xùn)練。因此，聯(lián)邦學(xué)習(xí)服務(wù)器和參與者之間就形成了信息不對稱，因?yàn)閰⑴c者更了解它們的計(jì)算資源和數(shù)據(jù)質(zhì)量。因此，需要研究出一套對于參與者的激勵(lì)機(jī)制來激勵(lì)參與者進(jìn)行訓(xùn)練并減小由于信息不對稱帶來的潛在不良影響，研究者試圖通過定制價(jià)格機(jī)制來促進(jìn)設(shè)備參與訓(xùn)練[36]，也有研究人員將模型擁有方和數(shù)據(jù)擁有方建模成Stackberg博弈模型[37]。

2.3 隱私和安全問題

聯(lián)邦學(xué)習(xí)的重要的出發(fā)點(diǎn)就是要保護(hù)參與方的隱私，即參與方只需要分享訓(xùn)練模型必需的參數(shù)而不是分享設(shè)備的數(shù)據(jù)。然而，有研究顯示如果聯(lián)邦學(xué)習(xí)中存在惡意的參與者或者服務(wù)器，會引起很大的隱私和安全問題[38]。甚至可能因?yàn)榇嬖趷阂獾膮⑴c者或服務(wù)器而導(dǎo)致最終獲得的全局模型被破壞[39-40]，也可能使得參與聯(lián)邦學(xué)習(xí)的設(shè)備的隱私泄漏。

對于隱私泄漏問題，盡管聯(lián)邦學(xué)習(xí)不要求參與協(xié)同訓(xùn)練的移動設(shè)備上傳除了模型參數(shù)以外的數(shù)據(jù)，一個(gè)惡意的參與者還是可以從其他參與者分享的模型中推斷出來一些敏感信息，比如性別、職業(yè)、位置等。研究者[38，41]展示了在FaceScrub數(shù)據(jù)集上訓(xùn)練一個(gè)二元的性別分類器任務(wù)時(shí)，僅僅通過分析其他參與者分享的模型就可以推斷出其他參與者的輸入數(shù)據(jù)信息，準(zhǔn)確率高達(dá)90%。

對于安全問題，在聯(lián)邦學(xué)習(xí)中，為了提高模型預(yù)測的準(zhǔn)確率，參與者在本地進(jìn)行訓(xùn)練并分享訓(xùn)練后的模型參數(shù)，然而，這個(gè)過程可能遭受多種攻擊。比如數(shù)據(jù)污染[42]和模型污染[43][44]，即一個(gè)惡意的參與者可以向云端的聯(lián)邦學(xué)習(xí)服務(wù)器故意發(fā)送錯(cuò)誤的參數(shù)來破壞模型參數(shù)的全局聚合過程。這樣得到的全局模型無法進(jìn)行正常的更新，整個(gè)學(xué)習(xí)系統(tǒng)就被破壞了。研究者通過多種方式來保護(hù)數(shù)據(jù)或模型，如基于區(qū)塊鏈的聯(lián)邦學(xué)習(xí)架構(gòu)BlockFL[45]。

3 基于邊緣計(jì)算的聯(lián)邦學(xué)習(xí)挑戰(zhàn)與趨勢

聯(lián)邦學(xué)習(xí)作為一種新技術(shù)，由于多用戶參與，聯(lián)邦學(xué)習(xí)本身的分布式和本地計(jì)算特征，在大規(guī)模部署聯(lián)邦學(xué)習(xí)方面仍存在新的研究方向挑戰(zhàn)。

3.1 用戶離線

現(xiàn)有的一些為解決訓(xùn)練瓶頸和資源異構(gòu)性提出的算法，例如合理選擇參與者[46]，資源分配算法[47]，都是建立在假設(shè)參與用戶始終在線可用。然而，在實(shí)際的訓(xùn)練過程中，參與訓(xùn)練的用戶可能會正常運(yùn)行執(zhí)行訓(xùn)練任務(wù)，也有可能因?yàn)榫W(wǎng)絡(luò)原因，電量不足等各種各樣的情況，從聯(lián)邦學(xué)習(xí)系統(tǒng)中登出。參與訓(xùn)練的用戶的離線，會顯著的降低現(xiàn)有聯(lián)邦學(xué)習(xí)系統(tǒng)的性能，例如準(zhǔn)確率和收斂速度。為了解決這潛在的用戶離線情況，未來的聯(lián)邦學(xué)習(xí)算法需要對網(wǎng)絡(luò)中參與的用戶丟失具有魯棒性，并且可以解決只有少數(shù)用戶參與訓(xùn)練的時(shí)候模型的準(zhǔn)確性。一種可能的解決方案是，聯(lián)邦學(xué)習(xí)的發(fā)起者為參與的用戶提供免費(fèi)的專用鏈接，例如可以使用蜂窩鏈接，以此來避免參與者退出。

3.2 隱私問題

盡管模型的訓(xùn)練是在本地進(jìn)行，本地設(shè)備與聯(lián)邦學(xué)習(xí)服務(wù)器進(jìn)行交換的只有模型的訓(xùn)練參數(shù)，但是一些論文中發(fā)現(xiàn)，在訓(xùn)練的過程中的模型參數(shù)仍可能向?qū)Ψ交蛘叩谌教峁┮恍┟舾行韵48-49]。針對該問題，現(xiàn)有提出一些類似差分隱私、協(xié)作訓(xùn)練的安全解決方案，但在另外保護(hù)隱私的情況下，會犧牲聯(lián)邦學(xué)習(xí)系統(tǒng)的性能，影響模型訓(xùn)練結(jié)果的準(zhǔn)確性。在聯(lián)邦學(xué)習(xí)系統(tǒng)設(shè)計(jì)時(shí)，合理的進(jìn)行隱私保證和系統(tǒng)性能保證之間的權(quán)衡是一個(gè)關(guān)鍵問題。

3.3 無標(biāo)簽數(shù)據(jù)

現(xiàn)有的一些聯(lián)邦學(xué)習(xí)訓(xùn)練的方法都是針對監(jiān)督學(xué)習(xí)任務(wù)提出的，即假設(shè)聯(lián)邦網(wǎng)絡(luò)中所有的數(shù)據(jù)都已經(jīng)被標(biāo)記。然而在實(shí)際的訓(xùn)練過程中，網(wǎng)絡(luò)中生成的數(shù)據(jù)很可能沒有標(biāo)簽或者具有錯(cuò)誤標(biāo)簽[50]。對于這些數(shù)據(jù)如果不進(jìn)行特殊處理，將對服務(wù)器尋找合適數(shù)據(jù)進(jìn)行模型訓(xùn)練帶來巨大挑戰(zhàn)。對于系統(tǒng)中未進(jìn)行標(biāo)記或標(biāo)記錯(cuò)誤的數(shù)據(jù)的情形，主要考驗(yàn)聯(lián)邦學(xué)習(xí)系統(tǒng)的可伸縮性和異構(gòu)性。一種可行的解決方案是使移動設(shè)備能夠相互學(xué)習(xí)“標(biāo)記數(shù)據(jù)”來構(gòu)造標(biāo)記數(shù)據(jù)。同時(shí)，還可以使用半監(jiān)督學(xué)習(xí)技術(shù)克服標(biāo)簽數(shù)據(jù)不足的問題。

3.4 移動設(shè)備之間干擾

現(xiàn)有的資源分配方法，是根據(jù)參與聯(lián)邦學(xué)習(xí)用戶設(shè)備的資源狀態(tài)來進(jìn)行用戶選擇[51-52]。實(shí)際訓(xùn)練過程中，這些參與訓(xùn)練的用戶設(shè)備在地理上可能是彼此靠近的，例如，可能參與訓(xùn)練的兩個(gè)用戶在同一個(gè)小區(qū)。在這種情況下，當(dāng)用戶設(shè)備進(jìn)行參數(shù)更新提供給聯(lián)邦學(xué)習(xí)服務(wù)器時(shí)，會產(chǎn)生干擾問題。對于干擾問題，可以通過將信道分配策略與資源分配方法結(jié)合在一起進(jìn)行解決。現(xiàn)有的一些研究提出了多路訪問方案和無線計(jì)算，但是對于該方法的擴(kuò)展性還需要進(jìn)一步深入研究。另外對于該方法是否能夠支持多個(gè)用戶訓(xùn)練的聯(lián)合也需要進(jìn)一步研究。

3.5 異步聯(lián)邦學(xué)習(xí)

現(xiàn)有的聯(lián)邦學(xué)習(xí)系統(tǒng)，大多是同步聯(lián)邦學(xué)習(xí)，每輪訓(xùn)練的收斂速度由運(yùn)行最慢的設(shè)備所決定。在一些論文中提出了異步聯(lián)邦學(xué)習(xí)的方法來解決訓(xùn)練速度與最慢設(shè)備的依賴[53-54]。異步聯(lián)邦學(xué)習(xí)同時(shí)還可以允許參與訓(xùn)練的用戶中途退出，或者在訓(xùn)練過程中允許新用戶加入，這更符合現(xiàn)實(shí)環(huán)境下的聯(lián)邦學(xué)習(xí)，參與聯(lián)邦學(xué)習(xí)訓(xùn)練的用戶可能會因?yàn)榫W(wǎng)絡(luò)問題或者電量問題中途退出或加入。而異步聯(lián)邦學(xué)習(xí)的提出可以更好地解決聯(lián)邦學(xué)習(xí)伸縮性問題。由于要保證收斂性，同步聯(lián)邦學(xué)習(xí)仍是現(xiàn)在最常用的方法，鑒于異步聯(lián)邦學(xué)習(xí)的眾多優(yōu)點(diǎn)，未來還應(yīng)探索和設(shè)計(jì)異步聯(lián)邦學(xué)習(xí)算法。

3.6 通信安全

由于聯(lián)邦學(xué)習(xí)參與用戶地理上的分布性，采用無線介質(zhì)進(jìn)行信息傳輸，由于無線介質(zhì)的暴露特性，聯(lián)邦學(xué)習(xí)很容易受到通信安全方面的影響，例如會存在干擾攻擊和分布式拒絕服務(wù)攻擊[55]。對于干擾攻擊，攻擊者可以發(fā)射高功率的射頻干擾信號，破壞或干擾移動設(shè)備與服務(wù)器之間的通信。這種干擾會使模型上傳或下載模型參數(shù)出錯(cuò)，從而降低聯(lián)邦學(xué)習(xí)系統(tǒng)的性能，例如準(zhǔn)確性。針對這種干擾攻擊，可以采用Anti-jamming之類的抗干擾方案，例如，在不同頻率發(fā)送一份模型更新參數(shù)的副本。

4 結(jié)束語

本文對對邊緣計(jì)算和聯(lián)邦學(xué)習(xí)進(jìn)行了簡單介紹，并且對聯(lián)邦學(xué)習(xí)在邊緣計(jì)算的環(huán)境下的研究做了綜合的探討，當(dāng)前研究存在的問題以及相應(yīng)的解決方案進(jìn)行了簡述和總結(jié)，并進(jìn)一步探討了邊緣環(huán)境下聯(lián)邦學(xué)習(xí)的挑戰(zhàn)和研究趨勢。

參考文獻(xiàn)：

[1] K. L. Lueth.State of the iot 2018： Number of iot devices now at 7b - market accelerating， IOT Analytics， 2018.

[2] Cisco.Cisco global cloud index： Forecast and methodology， 2016-2021 white paper.

[3] Mao Y Y，You C S，Zhang J，etal.A survey on mobile edge computing：the communication perspective[J].IEEE Communications Surveys & Tutorials，2017，19（4）：2322-2358.

[4] Shi W S，Cao J，Zhang Q，etal.Edge computing：vision and challenges[J].IEEE Internet of Things Journal，2016，3（5）：637-646.

[5] 趙明.邊緣計(jì)算技術(shù)及應(yīng)用綜述[J].計(jì)算機(jī)科學(xué)，2020，47（S1），47：268-272，282.

[6] 陸洋，李平，周慶華.智慧城市的基本單元：邊緣服務(wù)器的功能定位及其深度應(yīng)用[J].科技導(dǎo)報(bào)，2020，38（09），38：55-61.

[7] Wang X F，Han Y W，Leung V C M，et al.Convergence of edge computing and deep learning：a comprehensive survey[J].IEEE Communications Surveys & Tutorials，2020，22（2）：869-904.

[8] CaproluM，Di Pietro R，Lombardi F，etal.Edge computing perspectives：architectures，technologies，and open security issues[C]//2019 IEEE International Conference on Edge Computing （EDGE）.July8-13，2019，Milan，Italy.IEEE，2019：116-123.

[9] McMahan H B，Moore E，Ramage D，et al.Communication-efficient learning of deep networks from decentralized data[EB/OL].2016：arXiv：1602.05629[cs.LG].https：//arxiv.org/abs/1602.05629

[10] Yang Q，Liu Y，Chen T J，et al.Federated machine learning[J].ACM Transactions on Intelligent Systems and Technology，2019，10（2）：1-19.

[11] Burges C J C.A tutorial on support vector machines for pattern recognition[J].Data Mining and Knowledge Discovery，1998，2（2）：121-167.

[12] ZiegelER，Myers R.Classical and modern regression with applications[J].Technometrics，1991，33（2）：248.

[13] Mach P，Becvar Z.Mobile edge computing：a survey on architecture and computation offloading[J].IEEE Communications Surveys & Tutorials，2017，19（3）：1628-1656.

[14] Kumar K，Liu J B，Lu Y H，et al.A survey of computation offloading for mobile systems[J].Mobile Networks and Applications，2013，18（1）：129-140.

[15] Abbas N，Zhang Y，TaherkordiA，etal.Mobile edge computing：asurvey[J].IEEE Internet of Things Journal，2018，5（1）：450-465.

[16] Wang S，Zhang X，Zhang Y，et al.A survey on mobile edge networks：convergence of computing，caching and communications[J].IEEE Access，2017，5：6757-6779.

[17] Yao J J，Han T，Ansari N.On mobile edge caching[J].IEEE Communications Surveys & Tutorials，2019，21（3）：2525-2553.

[18] Yang Q，Liu Y，Chen T J，et al.Federated machine learning：concept and applications[EB/OL].2019：arXiv：1902.04885[cs.AI].https：//arxiv.org/abs/1902.04885

[19] Niknam S，Dhillon H S，Reed J H.Federated learning for wireless communications：motivation，opportunities，and challenges[J].IEEE Communications Magazine，2020，58（6）：46-51.

[20] Li T，Sahu A K，Talwalkar A，et al.Federated learning：challenges，methods，and future directions[J].IEEE Signal Processing Magazine，2020，37（3）：50-60.

[21] Zhao Y，Li M，Lai L Z，et al.Federated learning with non-IID data[EB/OL].2018

[22] Krizhevsky A， Hinton G. Learning multiple layers of features from tiny images[J]. 2009.

[23] Rubner Y，Tomasi C，Guibas L J.The earth mover's distance as a metric for image retrieval[J].International Journal of Computer Vision，2000，40（2）：99-121.

[24] Li X， Huang K， Yang W， et al. On the convergence of fedavg on non-iid data[J]. arXiv preprint arXiv：1907.02189， 2019.

[25] Huang L，Yin Y F，F(xiàn)u Z，et al.LoAdaBoost：loss-based AdaBoost federated machine learning on medical data[EB/OL].2018

[26] He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June27-30，2016，LasVegas，NV，USA.IEEE，2016：770-778.

[27] McMahan H B，Moore E，Ramage D，et al.Communication-efficient learning of deep networks from decentralized data[EB/OL].2016：arXiv：1602.05629[cs.LG].https：//arxiv.org/abs/1602.05629

[28] Liu Y，Kang Y，Zhang X W，et al.A communication efficient vertical federated learning framework[EB/OL].2019

[29] Yao X，Huang C F，Sun L F.Two-stream federated learning：reduce the communication costs[C]//2018 IEEE Visual Communications and Image Processing （VCIP）.December9-12，2018，Taichung，Taiwan，China.IEEE，2018：1-4.

[30] Kone?n? J，McMahan H B，Yu F X，et al.Federated learning：strategies for improving communication efficiency[EB/OL].2016

[31] Caldas S，Kone?ny J，McMahan H B，et al.Expanding the reach of federated learning by reducing client resource requirements[EB/OL].2018

[32] Hochreiter S，Schmidhuber J.Long short-term memory[J].Neural Computation，1997，9（8）：1735-1780.

[33] Tao Z， Li Q. esgd： Communication efficient distributed deep learning on the edge[C]//{USENIX} Workshop on Hot Topics in Edge Computing （HotEdge 18），2018.

[34] Strom N. Scalable distributed DNN training using commodity GPU cloud computing[C]//Sixteenth Annual Conference of the International Speech Communication Association， 2015.

[35] Sprague M R，Jalalirad A，Scavuzzo M，et al.Asynchronous federated learning for geospatial applications[M]//CommunicationsinComputer and InformationScience.Cham：Springer InternationalPublishing，2019：21-28.

[36] Feng S H，Niyato D，Wang P，et al.Joint service pricing and cooperative relay communication for federated learning[C]//2019 International Conference on Internet of Things （iThings） and IEEE Green Computing and Communications （GreenCom） and IEEE Cyber，Physical and Social Computing （CPSCom） and IEEE Smart Data （SmartData）.July14-17，2019，Atlanta，GA，USA.IEEE，2019：815-820.

[37] Osborne M J. An introduction to game theory[M]. New York： Oxford university press， 2004.

[38] Melis L，Song C Z，De Cristofaro E，et al.Exploiting unintended feature leakage in collaborative learning[C]//2019 IEEE Symposium on Security and Privacy （SP）.May19-23，2019，SanFrancisco，CA，USA.IEEE，2019：691-706.

[39] Shokri R，Stronati M，Song C Z，et al.Membership inference attacks against machine learning models[C]//2017 IEEE Symposium on Security and Privacy （SP）.May22-26，2017，SanJose，CA，USA.IEEE，2017：3-18.

[40] Papernot N，McDaniel P，Goodfellow I.Transferability in machine learning：from phenomena to black-box attacks using adversarial samples[EB/OL].2016

[41] Ng H W，Winkler S.A data-driven approach to cleaning large face datasets[C]//2014 IEEE International Conference on Image Processing （ICIP）.October27-30，2014，Paris，F(xiàn)rance.IEEE，2014：343-347.

[42] Fung C，Yoon C J M，Beschastnikh I.Mitigating sybils in federated learning poisoning[EB/OL].2018

[43] Bhagoji A N，Chakraborty S，Mittal P，et al.Analyzing federated learning through an adversarial lens[EB/OL].2018

[44] Bagdasaryan E， Veit A， Hua Y， et al. How to backdoor federated learning[C]//International Conference on Artificial Intelligence and Statistics. PMLR， 2020： 2938-2948.

[45] Kim H，Park J，Bennis M，et al.On-device federated learning via blockchain and its latency analysis[EB/OL].2018

[46] Nishio T，Yonetani R.Client selection for federated learning with heterogeneous resources in mobile edge[C]//ICC 2019 - 2019 IEEE International Conference on Communications （ICC）.May20-24，2019，Shanghai，China.IEEE，2019：1-7.

[47] Yoshida N，Nishio T，Morikura M，et al.Hybrid-FL for wireless networks：cooperative learning mechanism using non-IID data[EB/OL].2019：arXiv：1905.07210[cs.LG].https：//arxiv.org/abs/1905.07210

[48] Ateniese G，Mancini L V，Spognardi A，et al.Hacking smart machines with smarter ones：How to extract meaningful data from machine learning classifiers[J].International Journal of Security and Networks，2015，10（3）：137.

[49] Fredrikson M， Jha S， Ristenpart T. Model inversion attacks that exploit confidence information and basic countermeasures[C]//Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security. 2015： 1322-1333.

[50] Gu Z S，Jamjoom H，Su D，et al.Reaching data confidentiality and model accountability on the CalTrain[C]//2019 49th Annual IEEE/IFIP International Conference on Dependable Systems and Networks （DSN）.June24-27，2019，Portland，OR，USA.IEEE，2019：336-348.

[51] Nishio T，Yonetani R.Client selection for federated learning with heterogeneous resources in mobile edge[C]//ICC 2019 - 2019 IEEE International Conference on Communications （ICC）.May20-24，2019，Shanghai，China.IEEE，2019：1-7.

[52] Anh T T，Luong N C，Niyato D，et al.Efficient training management for mobile crowd-machine learning：a deep reinforcement learning approach[J].IEEE Wireless Communications Letters，2019，8（5）：1345-1348.

[53] Sprague M R，Jalalirad A， Scavuzzo M， et al. Asynchronous federated learning for geospatial applications[C]//Joint European Conference on Machine Learning and Knowledge Discovery in Databases. Springer， Cham， 2018： 21-28.

[54] Xie C，Koyejo S，Gupta I.Asynchronous federated optimization[EB/OL].2019

[55] Lau F，Rubin S H，Smith M H，et al.Distributed denial of service attacks[C]//Smc 2000 conference proceedings.2000 ieee international conference on systems，man and cybernetics.'cybernetics evolving to systems，humans，organizations，and their complex interactions' （cat.no.0.October8-11，2000，Nashville，TN，USA.IEEE，2000：2275-2280.

【通聯(lián)編輯：唐一東】