聯(lián)邦學(xué)習(xí)在邊緣計(jì)算場景中應(yīng)用研究進(jìn)展

張依琳，陳宇翔，田 暉，王 田

1(華僑大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，福建 廈門 361021) 2(華僑大學(xué) 廈門市數(shù)據(jù)安全與區(qū)塊鏈技術(shù)重點(diǎn)實(shí)驗(yàn)室，福建 廈門 361021) 3(北京師范大學(xué) 人工智能與未來網(wǎng)絡(luò)研究院，廣東 珠海 519000) 4(北京師范大學(xué)-香港浸會(huì)大學(xué)聯(lián)合國際學(xué)院 人工智能與多模態(tài)數(shù)據(jù)處理廣東省重點(diǎn)實(shí)驗(yàn)室，廣東 珠海 519000) E-mail：cs_tianwang@163.com

1 引 言

隨著全球物聯(lián)網(wǎng) (Internet of Things，IoT)的高速發(fā)展，全球物聯(lián)網(wǎng)設(shè)備激增，專注于IoT、Machine to Machine (M2M)和工業(yè)4.0領(lǐng)域的研究機(jī)構(gòu)IoT Analytics在2019年12月發(fā)布物聯(lián)網(wǎng)平臺(tái)報(bào)告：2020年全球活躍的物聯(lián)網(wǎng)設(shè)備數(shù)量將達(dá)到100億臺(tái)，預(yù)測2025年將達(dá)到220億臺(tái).這些物聯(lián)網(wǎng)設(shè)備收集產(chǎn)生大量數(shù)據(jù)，為智慧城市、工業(yè)物聯(lián)網(wǎng)、智能家居、車聯(lián)網(wǎng)等應(yīng)用場景的發(fā)展提供了機(jī)會(huì)[1].

在傳統(tǒng)云計(jì)算模式下，物聯(lián)網(wǎng)設(shè)備收集的數(shù)據(jù)直接傳送到云計(jì)算中心進(jìn)行數(shù)據(jù)處理，再回傳到終端物聯(lián)網(wǎng)設(shè)備[2].這樣大量的數(shù)據(jù)上傳到云計(jì)算中心不僅對網(wǎng)絡(luò)帶寬的要求高，并且高延遲會(huì)影響系統(tǒng)工作效率、用戶體驗(yàn)，同時(shí)會(huì)造成資源浪費(fèi)以及數(shù)據(jù)傳輸過程中的隱私安全等諸多問題[3].邊緣計(jì)算(Edge Computing)作為一種新的計(jì)算范式，實(shí)際上是云計(jì)算的擴(kuò)展和補(bǔ)充，并不是取代云計(jì)算[4，5].為了使移動(dòng)設(shè)備的能力也得到提升，還引入了移動(dòng)邊緣計(jì)算作為邊緣計(jì)算的一個(gè)分支[6，7].與傳統(tǒng)云計(jì)算模式相比，邊緣計(jì)算在網(wǎng)絡(luò)邊緣提供計(jì)算和存儲(chǔ)服務(wù)，更靠近終端物聯(lián)網(wǎng)設(shè)備，因此能更好地管理設(shè)備并且具有低延遲、數(shù)據(jù)管理成本低、可信度高等特點(diǎn)[8-10].同時(shí)，邊緣計(jì)算也為隱私計(jì)算和存儲(chǔ)服務(wù)提供了平臺(tái)[11].2018年，工業(yè)互聯(lián)網(wǎng)聯(lián)盟 (Industrial Internet Consortium，IIC)發(fā)布《工業(yè)物聯(lián)網(wǎng)邊緣計(jì)算介紹》白皮書(1)https：//www.iiconsortium.org/pdf/Introduction_to_Edge_Computing_in_IIoT_2018_06_18.pdf，其中總結(jié)了將邊緣計(jì)算應(yīng)用于物聯(lián)網(wǎng)，具有改善服務(wù)性能、保證數(shù)據(jù)安全和隱私等重要價(jià)值[12].

邊緣計(jì)算能夠?yàn)樵朴?jì)算模式中敏感隱私數(shù)據(jù)提供較好的隱私保護(hù)機(jī)制，一方面，在邊緣端對數(shù)據(jù)進(jìn)行預(yù)處理，以實(shí)現(xiàn)對敏感隱私數(shù)據(jù)的保護(hù)[13]；另一個(gè)方面，邊緣端和云數(shù)據(jù)中心的接口可以降低隱私泄露的風(fēng)險(xiǎn)[14，15].但是，邊緣計(jì)算并不是絕對的安全，仍有暴露用戶隱私數(shù)據(jù)的風(fēng)險(xiǎn)，特別是在人工智能和深度學(xué)習(xí)[16]領(lǐng)域結(jié)合應(yīng)用時(shí)仍存在隱私安全難題.除了隱私安全問題之外，在大部門行業(yè)中的數(shù)據(jù)通常都是“小數(shù)據(jù)”或者質(zhì)量很差的數(shù)據(jù)且數(shù)據(jù)分布較為分散，這樣就形成了一個(gè)個(gè)“數(shù)據(jù)孤島”，如何匯集這些“數(shù)據(jù)孤島”成為了尖銳難題.

隨著公眾對隱私問題的日益重視以及日益嚴(yán)格的數(shù)據(jù)隱私法規(guī)，為應(yīng)對這些挑戰(zhàn)，聯(lián)邦學(xué)習(xí)(Federated Learning)應(yīng)運(yùn)而生.聯(lián)邦學(xué)習(xí)具有解決“數(shù)據(jù)孤島”和隱私問題的強(qiáng)大能力[17]，成為目前人工智能技術(shù)領(lǐng)域的研究熱點(diǎn)之一.經(jīng)典聯(lián)邦學(xué)習(xí)模型在通信效率和模型性能之間難以權(quán)衡，而基于邊緣計(jì)算的聯(lián)邦學(xué)習(xí)模型利用邊緣計(jì)算的特點(diǎn)可先在邊緣服務(wù)器上進(jìn)行邊緣聚合和更新.學(xué)者研究發(fā)現(xiàn)，基于邊緣計(jì)算的聯(lián)邦學(xué)習(xí)三層式(端—邊—云)框架模型效率更高，并且在邊緣計(jì)算場景中利用聯(lián)邦學(xué)習(xí)進(jìn)行模型訓(xùn)練可以解決數(shù)據(jù)涉及參與方隱私的問題.例如，利用邊緣服務(wù)器先在邊緣層進(jìn)行邊緣聚合可以降低通信成本[18]；在構(gòu)建邊緣緩存和計(jì)算卸載的系統(tǒng)模型時(shí)，訓(xùn)練數(shù)據(jù)來自不同參與方，利用聯(lián)邦學(xué)習(xí)的訓(xùn)練模式可以保護(hù)各個(gè)參與方的隱私數(shù)據(jù).

傳統(tǒng)聯(lián)邦學(xué)習(xí)在高通信效率和高模型性能之間難以平衡，而邊緣計(jì)算提供了合適的解決方案.利用邊緣計(jì)算的優(yōu)勢，可以把更多的計(jì)算任務(wù)卸載到邊緣設(shè)備.在服務(wù)器全局聚合之前，在邊緣節(jié)點(diǎn)或者移動(dòng)設(shè)備上增加本地訓(xùn)練迭代次數(shù)或更多的計(jì)算，使局部模型的精度更高，以減少聯(lián)邦學(xué)習(xí)的訓(xùn)練輪數(shù).此外，在訓(xùn)練優(yōu)化中使用更合理的模型聚合方式或更快速模型收斂的方法，也可以減少通信次數(shù)[19].

首先對聯(lián)邦學(xué)習(xí)進(jìn)行概述，根據(jù)孤島數(shù)據(jù)的分布特點(diǎn)，介紹聯(lián)邦學(xué)習(xí)的3種分類.其次，根據(jù)現(xiàn)有聯(lián)邦學(xué)習(xí)的不足，總結(jié)了引入邊緣計(jì)算的聯(lián)邦學(xué)習(xí)模型優(yōu)勢.接著，介紹了目前在邊緣聚合、邊緣緩存和計(jì)算卸載領(lǐng)域應(yīng)用聯(lián)邦學(xué)習(xí)的相關(guān)工作并提出聯(lián)邦學(xué)習(xí)技術(shù)在邊緣計(jì)算場景中應(yīng)用的七大未來研究方向，為學(xué)者進(jìn)一步研究指明方向.最后，對本文的工作進(jìn)行總結(jié).

2 聯(lián)邦學(xué)習(xí)概述

大數(shù)據(jù)時(shí)代下，推進(jìn)了人工智能和深度學(xué)習(xí)等技術(shù)的發(fā)展.相關(guān)技術(shù)利用海量的數(shù)據(jù)進(jìn)行訓(xùn)練，從而達(dá)到智能化目的.然而，在大多數(shù)實(shí)際應(yīng)用中存在數(shù)據(jù)較少的情況，若使用人工智能技術(shù)來解決問題是很困難的[20].例如，在智慧城市中，每個(gè)攝像頭會(huì)收集數(shù)據(jù)，但從全局監(jiān)控系統(tǒng)看，每一個(gè)攝像頭收集的數(shù)據(jù)十分有限，實(shí)際場景需要聚合多個(gè)攝像頭的數(shù)據(jù)從而進(jìn)行數(shù)據(jù)分析.然而在多個(gè)設(shè)備來自不同公司的情況下，聚合數(shù)據(jù)會(huì)涉及到隱私數(shù)據(jù)問題.同樣的，在自動(dòng)駕駛場景下中，每一輛車的行駛數(shù)據(jù)涉及隱私問題，對于單個(gè)車輛的小數(shù)據(jù)如何匯聚成大數(shù)據(jù)從而進(jìn)行模型訓(xùn)練是一項(xiàng)挑戰(zhàn).

在模型訓(xùn)練的時(shí)候需要大量數(shù)據(jù)，而實(shí)際應(yīng)用中數(shù)據(jù)卻是小數(shù)據(jù)孤島，當(dāng)聚合數(shù)據(jù)孤島受嚴(yán)格的法律限制和社會(huì)道德規(guī)范，如何解決問題是一項(xiàng)重大挑戰(zhàn).聯(lián)邦學(xué)習(xí)具有保護(hù)數(shù)據(jù)隱私的特點(diǎn)，在符合法律法規(guī)和道德要求下成為解決上述問題的新技術(shù).聯(lián)邦學(xué)習(xí)是分布式機(jī)器學(xué)習(xí)的一種方法，它不需要共享數(shù)據(jù)就可以進(jìn)行協(xié)作訓(xùn)練.共同參與訓(xùn)練的設(shè)備通過網(wǎng)絡(luò)通信與邊緣服務(wù)器共享模型參數(shù)，共同訓(xùn)練一個(gè)全局模型.聯(lián)邦學(xué)習(xí)使邊緣計(jì)算適用于安全性要求更高的場景，而邊緣計(jì)算可以優(yōu)化聯(lián)邦學(xué)習(xí)的模型建模，通信傳輸?shù)?因此，聯(lián)邦學(xué)習(xí)可以和邊緣計(jì)算相結(jié)合發(fā)揮出更強(qiáng)大的作用.

在聯(lián)邦學(xué)習(xí)的實(shí)際應(yīng)用場景中，由于數(shù)據(jù)的特征以及不同數(shù)據(jù)孤島有各自的特點(diǎn)，學(xué)者提出將聯(lián)邦學(xué)習(xí)分為3類：橫向聯(lián)邦學(xué)習(xí)、縱向聯(lián)邦學(xué)習(xí)、聯(lián)邦遷移學(xué)習(xí).

如圖1、圖2、圖3所示，矩形的寬代表著樣本(用戶)維度，矩形的長代表著樣本(用戶)特征維度.

圖1 橫向聯(lián)邦學(xué)習(xí)Fig.1 Horizontalfederatedlearning圖2 縱向聯(lián)邦學(xué)習(xí)Fig.2 Verticalfederatedlearning圖3 聯(lián)邦遷移學(xué)習(xí)Fig.3 Federatedtransferlearning

1)橫向聯(lián)邦學(xué)習(xí)指的是在兩個(gè)數(shù)據(jù)集中，用戶的特征維度重復(fù)較多而用戶重疊較少的情況下，把數(shù)據(jù)集橫向切分，并取出兩個(gè)數(shù)據(jù)集中特征相同但不全部一樣用戶的數(shù)據(jù)進(jìn)行訓(xùn)練.適用于業(yè)務(wù)相似但是用戶群體不一樣的場景，例如兩家不同地區(qū)的醫(yī)院可以利用當(dāng)?shù)啬臣膊〉幕疾∏闆r及數(shù)據(jù)進(jìn)行聯(lián)合建模，從而對該疾病進(jìn)行更詳細(xì)的分析等；

2)縱向聯(lián)邦學(xué)習(xí)指的是在兩個(gè)數(shù)據(jù)集中，用戶重疊較多而其特征維度重復(fù)較少的情況下，把數(shù)據(jù)集縱向切分，并取出兩個(gè)數(shù)據(jù)集中用戶相同但不全部一樣特征的數(shù)據(jù)進(jìn)行訓(xùn)練.適用于用戶群體基本相似但業(yè)務(wù)不同的場景，例如銀行和電商公司可以根據(jù)用戶的銀行卡流水、評級以及購買記錄進(jìn)行聯(lián)合建模，從而實(shí)現(xiàn)為用戶更好地確定等級或推薦商品等功能；

3)聯(lián)邦遷移學(xué)習(xí)[21]指的是在兩個(gè)數(shù)據(jù)集中，用戶維度和用戶特征維度重疊都很少.在這種情況使用遷移學(xué)習(xí)技術(shù)[22]克服數(shù)據(jù)和標(biāo)簽不等問題.例如一些小微企業(yè)成立時(shí)間短，在信貸業(yè)務(wù)中存在數(shù)據(jù)樣本少和不全面等問題.因此這些小微企業(yè)的信貸風(fēng)控可以利用大型金融機(jī)構(gòu)訓(xùn)練完成并投入應(yīng)用的模型，進(jìn)行遷移學(xué)習(xí)，提升應(yīng)用效果.

3 聯(lián)邦學(xué)習(xí)模型

在本節(jié)對比分析經(jīng)典聯(lián)邦學(xué)習(xí)模型和基于邊緣計(jì)算的聯(lián)邦學(xué)習(xí)模型的異同點(diǎn)和優(yōu)缺點(diǎn).在經(jīng)典聯(lián)邦學(xué)習(xí)模型訓(xùn)練過程中，參與者與云服務(wù)器需要進(jìn)行多輪通信才能達(dá)到目標(biāo)的精度，如果在復(fù)雜的深度學(xué)習(xí)模型下，例如：卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)[23]，每個(gè)更新可能包含數(shù)百萬個(gè)參數(shù)，從而導(dǎo)致高昂的通信成本，并且可能導(dǎo)致訓(xùn)練瓶頸[24，25].通過增加參與者設(shè)備個(gè)數(shù)和其計(jì)算能力雖然可以提高通信效率，但是引入邊緣計(jì)算后，基于邊緣計(jì)算的聯(lián)邦學(xué)習(xí)模型利用邊緣服務(wù)器的臨近性可以降低通信成本，減輕云服務(wù)器的壓力.

3.1 經(jīng)典模型

在聯(lián)邦學(xué)習(xí)經(jīng)典訓(xùn)練模型中，多個(gè)參與方共同參與訓(xùn)練，最終生成服務(wù)器模型需要的參數(shù)，一般都是假設(shè)參與方的數(shù)據(jù)是真實(shí)無惡意的數(shù)據(jù)[26，27].聯(lián)邦學(xué)習(xí)具有以下特點(diǎn)：參與方并沒有向其他機(jī)構(gòu)平臺(tái)直接提供其本地?cái)?shù)據(jù)，不會(huì)泄露用戶隱私；每個(gè)參與方是小數(shù)據(jù)，通過模型訓(xùn)練可以有效地解決數(shù)據(jù)孤島問題；每個(gè)參與方的地位相同，模型隨機(jī)選取參與方進(jìn)行每一輪的訓(xùn)練，且參與方最終都能從中受益.

一輪訓(xùn)練過程如圖4所示，圖4中假設(shè)有4個(gè)參與方，其中參與方A、B、C參與本輪訓(xùn)練，參與方D此輪沒有參與訓(xùn)練.首先，由服務(wù)器向參與方分發(fā)傳送全局模型；其次，參與方先利用加密樣本對齊技術(shù)確認(rèn)參與方共有用戶，參與方基于其本地?cái)?shù)據(jù)在其本地進(jìn)行訓(xùn)練，然后將參數(shù)加密后回傳給服務(wù)器，隨后在服務(wù)器中通過第3方協(xié)作者E進(jìn)行加密訓(xùn)練，協(xié)作者E將公鑰發(fā)送給A、B、C用于訓(xùn)練過程交換的數(shù)據(jù)進(jìn)行加密，A、B、C將參數(shù)發(fā)給協(xié)作者E匯總，由E將參數(shù)解密發(fā)給A、B、C用于更新各自模型后，服務(wù)器將參與方的模型參數(shù)進(jìn)行聚合.

圖4 聯(lián)邦學(xué)習(xí)經(jīng)典模型Fig.4 Classical model of federated learning

整個(gè)聯(lián)邦學(xué)習(xí)的訓(xùn)練過程可以整理為3步：

1)任務(wù)初始化：服務(wù)器確定訓(xùn)練的目標(biāo)、參數(shù)以及參與訓(xùn)練的終端設(shè)備，并將全局模型w0G傳給參與方設(shè)備；

(1)

3)全局模型聚合和更新：服務(wù)器聚合參與方設(shè)備上傳的模型參數(shù)，更新全局模型wt+1G；

(2)

通過不斷迭代上述訓(xùn)練過程，直至滿足收斂或者終止條件訓(xùn)練結(jié)束[28].從聯(lián)邦學(xué)習(xí)的經(jīng)典訓(xùn)練模型中，我們可以發(fā)現(xiàn)，訓(xùn)練過程中本地設(shè)備通過模型參數(shù)與服務(wù)器進(jìn)行通信，從而達(dá)到保護(hù)隱私保護(hù)的目的.

3.2 基于邊緣計(jì)算的聯(lián)邦學(xué)習(xí)模型英文摘要

基于邊緣計(jì)算的聯(lián)邦學(xué)習(xí)模型能夠有效地減少通信成本并提高通信效率.在經(jīng)典聯(lián)邦學(xué)習(xí)模型的FedAvg算法[29]中無邊緣服務(wù)器，直接與云服務(wù)器進(jìn)行通信，全局聚合更新頻繁.文獻(xiàn)[30]提出在經(jīng)典訓(xùn)練模型中引入邊緣計(jì)算，基于邊緣計(jì)算的聯(lián)邦學(xué)習(xí)模型如圖5所示.

圖5 基于邊緣計(jì)算的聯(lián)邦學(xué)習(xí)模型Fig.5 Model of federated learning based on edge computing

(3)

在終端設(shè)備上進(jìn)行了k2次邊緣聚合和更新之后由云服務(wù)器進(jìn)行全局聚合和更新所有邊緣服務(wù)器模型，則云服務(wù)器的全局聚合可以表示為：

(4)

基于邊緣計(jì)算的聯(lián)邦學(xué)習(xí)模型主要特點(diǎn)是：在終端上傳參數(shù)時(shí)，不直接傳到云服務(wù)器，而是在位于網(wǎng)絡(luò)邊緣、靠近終端設(shè)備的邊緣服務(wù)器上先進(jìn)行邊緣聚合，再上傳邊緣聚合后的參數(shù)至云服務(wù)器進(jìn)行全局模型的聚合與更新.這樣可以減少不必要的更新與通信，減少通信成本，提高效率.

為了解決FedAvg算法[29]面臨對非獨(dú)立同分布(non-independent identically，non-IID)客戶端數(shù)據(jù)集進(jìn)行大量輪次收斂和通信成本的問題，文獻(xiàn)[31]在FedAvg算法上結(jié)合分布式的Adam優(yōu)化形式以及壓縮技術(shù)，利用邊緣服務(wù)器資源并提出了Communication-efficient FedAvg (CE-FedAvg).作者采用MNIST(2)http：//yann.lecun.com/exdb/mnist、CIFAR-10[32]兩個(gè)數(shù)據(jù)集并對設(shè)備設(shè)定不同的IID、non-IID數(shù)據(jù)進(jìn)行實(shí)驗(yàn).實(shí)驗(yàn)表明，CE-FedAvg在對上傳數(shù)據(jù)進(jìn)行主動(dòng)壓縮具有更好的魯棒性，使用Raspberry Pi (Rpi)測試平臺(tái)進(jìn)行的實(shí)驗(yàn)表明，CE-FedAdam的實(shí)時(shí)收斂率可達(dá)1.7倍.

3.3 小 結(jié)

傳統(tǒng)的聯(lián)邦學(xué)習(xí)模型是基于終端—云的二層式架構(gòu)，而新穎的基于邊緣計(jì)算的聯(lián)邦學(xué)習(xí)模型是基于終端—邊端—云的三層式架構(gòu).將二層式架構(gòu)拓展到三層式架構(gòu)上，模型收斂性是一個(gè)關(guān)鍵問題.與深度學(xué)習(xí)模型訓(xùn)練相似，模型的收斂性與收斂速率也是判斷聯(lián)邦學(xué)習(xí)訓(xùn)練效果的重要指標(biāo).一般來說，當(dāng)模型具有較快的收斂速率時(shí)，則在訓(xùn)練過程中不僅可以節(jié)省參與方參與訓(xùn)練的時(shí)間和資源損耗，還可以提高聯(lián)邦學(xué)習(xí)的訓(xùn)練效率.當(dāng)在邊緣層先進(jìn)行邊緣聚合，通過減少不必要的更新與通信從而減少終端設(shè)備與遠(yuǎn)程云服務(wù)器進(jìn)行全局聚合更新的通信次數(shù)、通信過程中的能量損耗以及降低延遲.目前基于邊緣計(jì)算的聯(lián)邦學(xué)習(xí)模型均通過邊緣層進(jìn)行模型的聚合和更新，未考慮到引入邊緣層所帶來的邊緣設(shè)備能耗問題，這也是一個(gè)關(guān)鍵問題.

4 聯(lián)邦學(xué)習(xí)在邊緣計(jì)算中應(yīng)用研究

在上一節(jié)介紹了基于邊緣計(jì)算的聯(lián)邦學(xué)習(xí)模型，這種三層式(端—邊—云)框架模型可以提高聯(lián)邦學(xué)習(xí)的通信效率.另一個(gè)值得關(guān)注的是，聯(lián)邦學(xué)習(xí)由于其自身的特點(diǎn)可以使其在邊緣計(jì)算場景中得到廣泛應(yīng)用.在本節(jié)介紹聯(lián)邦學(xué)習(xí)在邊緣計(jì)算中的邊緣聚合、邊緣緩存、計(jì)算卸載領(lǐng)域的應(yīng)用.

對于聯(lián)邦學(xué)習(xí)模型，通信成本是一個(gè)十分關(guān)鍵的因素.為了降低通信成本、減少通信輪次，文獻(xiàn)[29]提出兩種方法：增加參與方設(shè)備數(shù)量、增加參與方計(jì)算任務(wù)(在與云服務(wù)器進(jìn)行全局聚合之前進(jìn)行更多次數(shù)的本地更新)[33].雖然文獻(xiàn)[29]提出的FedAvg算法能夠減少30倍以上的通信輪次，但其未利用邊緣服務(wù)器，仍直接與云服務(wù)器進(jìn)行通信，其全局聚合更新還是較為頻繁.而通過利用邊緣服務(wù)器先進(jìn)行邊緣聚合，由于邊緣服務(wù)器部署位置距離參與方設(shè)備較近，可以有效地降低通信成本.

在邊緣計(jì)算中，邊緣層服務(wù)器有一定的存儲(chǔ)空間并可以提供計(jì)算服務(wù).邊緣緩存指的是在邊緣服務(wù)器上緩存某些服務(wù)，使得終端設(shè)備不需要向遠(yuǎn)程云端服務(wù)器請求服務(wù)而向靠近終端設(shè)備的邊緣服務(wù)器請求即可[34].計(jì)算卸載是針對終端設(shè)備和邊緣服務(wù)器而言，由于終端設(shè)備計(jì)算能力有限，將計(jì)算任務(wù)由邊緣服務(wù)器執(zhí)行可以提高整體服務(wù)性能和減少延遲[35，36].然而邊緣服務(wù)器的計(jì)算能力和存儲(chǔ)空間也是有限的，任務(wù)無法全部卸載至邊緣端執(zhí)行，所以將部分任務(wù)卸載至遠(yuǎn)程云端服務(wù)器進(jìn)行計(jì)算，其結(jié)果將先返回給邊緣服務(wù)器，最后再回傳給終端設(shè)備.

然而由于邊緣服務(wù)器的資源是有限的，故邊緣服務(wù)器緩存的服務(wù)以及終端設(shè)備向邊緣服務(wù)器卸載的任務(wù)也是有限的.通過結(jié)合時(shí)下成熟的人工智能技術(shù)，例如深度學(xué)習(xí)[16]、Q-learning、深度強(qiáng)化學(xué)習(xí)[37](Deep Reinforcement Learning，DRL)等，能夠有效地提高邊緣緩存和計(jì)算卸載的性能.雖然人工智能技術(shù)可以優(yōu)化邊緣計(jì)算中邊緣緩存和計(jì)算卸載方案，但是邊緣緩存和計(jì)算卸載中的隱私數(shù)據(jù)問題仍是一項(xiàng)重大挑戰(zhàn).聯(lián)邦學(xué)習(xí)的特點(diǎn)是解決數(shù)據(jù)“孤島”問題和保護(hù)參與方隱私數(shù)據(jù)，將聯(lián)邦學(xué)習(xí)運(yùn)用在邊緣計(jì)算上，可以將聯(lián)邦學(xué)習(xí)看作是邊緣計(jì)算的操作系統(tǒng)，并提供協(xié)調(diào)和安全的學(xué)習(xí)協(xié)議[38].

4.1 邊緣聚合

在邊緣計(jì)算中，引入分布式的機(jī)器學(xué)習(xí)——聯(lián)邦學(xué)習(xí)不僅可以解決邊緣計(jì)算中數(shù)據(jù)被不同參與方持有造成的數(shù)據(jù)“孤島”問題，還可以提高聯(lián)邦學(xué)習(xí)模型的通信效率、降低通信成本.

文獻(xiàn)[30]提出的分層的聯(lián)邦學(xué)習(xí)算法——HierFAVG算法，參與者需要上傳的模型參數(shù)先在邊緣服務(wù)器進(jìn)行邊緣聚合，當(dāng)邊緣服務(wù)器聚合一定數(shù)量模型后，邊緣服務(wù)器與云服務(wù)器進(jìn)行通信，進(jìn)行全局模型聚合.HierFAVG算法會(huì)減少全局聚合次數(shù)，作者的實(shí)驗(yàn)表明對于兩個(gè)全局聚合之間相同數(shù)量的本地更新，與FedAvg算法相比，在每個(gè)全局聚合之前進(jìn)行更多中間邊緣聚合可以減少通信開銷.但是當(dāng)將HierFAVG算法應(yīng)用于non-IID數(shù)據(jù)時(shí)，仿真結(jié)果表明，在某些情況下，例如，當(dāng)邊緣云服務(wù)器散度很大或邊緣服務(wù)器個(gè)數(shù)很多時(shí)，HierFAVG算法無法收斂到所需的精度水平(90%).HierFAVG算法是在邊緣網(wǎng)絡(luò)上實(shí)施聯(lián)邦學(xué)習(xí)的有效方法，它通過利用中間邊緣服務(wù)器的鄰近性來降低通信成本，并可以減輕遠(yuǎn)程云計(jì)算中心的負(fù)擔(dān).

4.2 邊緣緩存

現(xiàn)有研究中有許多關(guān)于邊緣緩存和計(jì)算卸載方現(xiàn)有研究中有許多關(guān)于邊緣緩存和計(jì)算卸載方案的算法.例如，文獻(xiàn)[39]研究了在邊緣計(jì)算中密集蜂窩網(wǎng)絡(luò)中關(guān)注較多但研究較少的動(dòng)態(tài)服務(wù)緩存問題，提出了一種高效率的在線服務(wù)緩存算法(Online seRvice caching for mobile Edge cOmputing，OREO)，該算法可以聯(lián)合優(yōu)化動(dòng)態(tài)服務(wù)緩存和任務(wù)卸載兩個(gè)問題，從而解決服務(wù)異構(gòu)性和耦合問題.而文獻(xiàn)[40]介紹了一種隱私感知邊緣緩存方案，考慮到邊緣云中的資源約束，在邊緣服務(wù)器上部署用戶首選的服務(wù).首先，根據(jù)服務(wù)請求次數(shù)等信息以及其他用戶上下文信息(例如年齡和位置)構(gòu)建用戶的偏好模型.但是，由于這可能涉及敏感的個(gè)人信息，因此作者提出了一種基于聯(lián)邦學(xué)習(xí)的方法來訓(xùn)練偏好模型，同時(shí)將用戶的數(shù)據(jù)保留在其個(gè)人設(shè)備上；然后，提出了一個(gè)優(yōu)化問題，其目標(biāo)是根據(jù)用戶的喜好，在不受邊緣服務(wù)器的存儲(chǔ)容量、計(jì)算能力以及上行鏈路、下載帶寬約束的情況下，最大限度地提高邊緣需求的服務(wù)數(shù)量.通過使用貪婪算法解決優(yōu)化問題，添加最改進(jìn)目標(biāo)函數(shù)的服務(wù)，直至滿足資源約束的條件為止.

與文獻(xiàn)[40]不同，文獻(xiàn)[41]使用基于聯(lián)邦學(xué)習(xí)的堆疊自動(dòng)編碼器(Stacked Autoencoder，SAE)學(xué)習(xí)模型——基于聯(lián)邦學(xué)習(xí)的主動(dòng)內(nèi)容緩存方案(Federated learning based Proactive Content Caching scheme，F(xiàn)PCC)用來預(yù)測內(nèi)容的流行度，從而在保護(hù)用戶隱私的同時(shí)優(yōu)化邊緣緩存服務(wù)，如圖6所示.

圖6 基于聯(lián)邦學(xué)習(xí)的堆疊自動(dòng)編碼器模型Fig.6 Edge caching and computational offloading based on Federated learning

在每一輪訓(xùn)練中，用戶首先從聯(lián)邦學(xué)習(xí)服務(wù)器下載全局模型；然后，使用模型的本地?cái)?shù)據(jù)對模型進(jìn)行訓(xùn)練和更新；隨后將更新的模型上載到聯(lián)邦學(xué)習(xí)服務(wù)器，并使用聯(lián)邦平均算法(FedAvg)進(jìn)行匯總；匯總得到最終的模型；從而進(jìn)行緩存決策.

通過堆疊自動(dòng)編碼器學(xué)習(xí)用戶的歷史請求信息等，利用相似度矩陣表示用戶和歷史請求文件的相似度.根據(jù)相似度矩陣，可以為每個(gè)用戶確定K個(gè)最近的鄰居用戶，并計(jì)算出用戶的歷史觀察列表與鄰居用戶之間的相似度，將所有用戶中相似度最高的文件緩存在邊緣服務(wù)器中.為了保護(hù)用戶的隱私，利用聯(lián)邦學(xué)習(xí)來學(xué)習(xí)堆疊自動(dòng)編碼器的參數(shù)，而用戶不必向聯(lián)邦學(xué)習(xí)服務(wù)器提供其個(gè)人信息或其內(nèi)容請求歷史記錄.

4.3 計(jì)算卸載

文獻(xiàn)[42]提出在優(yōu)化物聯(lián)網(wǎng)系統(tǒng)中的計(jì)算卸載決策時(shí)使用深度強(qiáng)化學(xué)習(xí)(Deep Reinforcement Learning，DRL)，系統(tǒng)模型由物聯(lián)網(wǎng)終端設(shè)備和邊緣服務(wù)器節(jié)點(diǎn)組成，終端設(shè)備可以維護(hù)帶有未處理和未成功處理任務(wù)的本地任務(wù)隊(duì)列.這些任務(wù)按照先進(jìn)先出(First In First Out，F(xiàn)IFO)的順序在終端設(shè)備本地處理或卸載到邊緣服務(wù)器節(jié)點(diǎn)進(jìn)行處理.DRL的智能體(agent)決定將計(jì)算任務(wù)卸載到邊緣服務(wù)器或本地執(zhí)行計(jì)算.為了保護(hù)用戶的隱私，對agent進(jìn)行訓(xùn)練，用戶不需要將本地?cái)?shù)據(jù)上傳到服務(wù)器.在每一輪訓(xùn)練中，選擇一組隨機(jī)的物聯(lián)網(wǎng)終端設(shè)備，從邊緣服務(wù)器下載DRL agent的模型參數(shù)；然后使用終端設(shè)備本地?cái)?shù)據(jù)來更新模型參數(shù)；最后，將DRL的agent更新參數(shù)發(fā)送到邊緣節(jié)點(diǎn)服務(wù)器進(jìn)行模型聚合.仿真結(jié)果表明，基于聯(lián)邦學(xué)習(xí)的分布式方法可以達(dá)到與集中式DRL方法相同的總效用水平.

Wang等人[43]針對邊緣場景中的高空氣球 (High Altitude Balloons，HABs)網(wǎng)絡(luò)計(jì)算卸載問題展開研究.HABs作為無線基站在空中飛行，其計(jì)算能力強(qiáng)于本地終端設(shè)備，用戶可以選擇將部分任務(wù)卸載至HABs進(jìn)行計(jì)算.但是由于每個(gè)用戶的計(jì)算任務(wù)的數(shù)據(jù)大小是時(shí)變的，所以HABs必須動(dòng)態(tài)調(diào)整用戶基站關(guān)聯(lián)關(guān)系、服務(wù)順序和任務(wù)卸載方案從而滿足用戶的需求.作者提出了基于支持向量機(jī)(Support Vector Machine，SVM)的聯(lián)邦學(xué)習(xí)算法，確定用戶關(guān)聯(lián)，優(yōu)化每個(gè)用戶的服務(wù)序列和任務(wù)分配.仿真實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)集中式方法相比，該算法的能耗和延遲加權(quán)降低16.1%.而文獻(xiàn)[44]使用了云—邊—端的三層結(jié)構(gòu)，與文獻(xiàn)[27]不同的是，將應(yīng)該由移動(dòng)設(shè)備獨(dú)立完成的本地模型更新過程進(jìn)行分割.訓(xùn)練過程中的每次迭代包括了邊緣服務(wù)器和相對應(yīng)的邊緣設(shè)備之間的多次分割訓(xùn)練，以及邊緣服務(wù)器和全局服務(wù)器之間的全局聚合.初始化時(shí)，全局服務(wù)器會(huì)將初始參數(shù)發(fā)送至邊緣服務(wù)器，邊緣設(shè)備從邊緣服務(wù)器下載模型參數(shù).

以CNN為例，邊緣設(shè)備只參與需要數(shù)據(jù)的第一卷積層和池化層，將結(jié)果卸載到對應(yīng)的邊緣服務(wù)器，作為模型其余層的輸入進(jìn)行訓(xùn)練，最后匯總至全局服務(wù)器進(jìn)行聚合.通過將部分計(jì)算任務(wù)卸載到邊緣服務(wù)器，相對于聯(lián)邦平均算法(FedAvg)，可以降低設(shè)備的計(jì)算成本和全局服務(wù)器的通信成本.

4.4 聯(lián)合邊緣緩存和計(jì)算卸載

在相關(guān)研究中，大部分研究將邊緣緩存和計(jì)算卸載應(yīng)用分開考慮，只單獨(dú)考慮其中一個(gè)，通過設(shè)計(jì)相關(guān)算法進(jìn)行問題求解[45，46].然而事實(shí)上邊緣緩存和計(jì)算卸載結(jié)合性能更優(yōu)，因?yàn)檫吘壏?wù)器不僅可以執(zhí)行計(jì)算任務(wù)還有存儲(chǔ)功能，可以提供緩存服務(wù)的功能.

為了解決邊緣計(jì)算中的動(dòng)態(tài)和時(shí)變環(huán)境帶來的問題，文獻(xiàn)[47]提出了使用通過聯(lián)邦學(xué)習(xí)訓(xùn)練的DRL來優(yōu)化系統(tǒng)中的邊緣緩存和計(jì)算卸載決策.基于聯(lián)邦學(xué)習(xí)的邊緣緩存和計(jì)算卸載如圖7所示，每次訓(xùn)練系統(tǒng)隨機(jī)選取一批終端設(shè)備作為參與者，采用雙深度Q-Network (Double Deep Q-Network，DDQN)方法，并基于聯(lián)邦學(xué)習(xí)的訓(xùn)練方式，利用終端用戶的歷史數(shù)據(jù)進(jìn)行訓(xùn)練，由DRL的agent決定邊緣服務(wù)器是否緩存文件，以及緩存時(shí)要替換的文件.在服務(wù)時(shí)，對于已緩存在邊緣層的服務(wù)，終端設(shè)備只需向邊緣層發(fā)起請求即可，無需向遠(yuǎn)程云請求服務(wù).針對圖7中的計(jì)算卸載功能，終端設(shè)備可以通過無線信道將計(jì)算任務(wù)卸載到邊緣服務(wù)器，也可以選擇本地執(zhí)行；若邊緣服務(wù)器無法提供相應(yīng)計(jì)算服務(wù)，可以將任務(wù)卸載至遠(yuǎn)程云服務(wù)器，具體的計(jì)算卸載策略由模型訓(xùn)練結(jié)果確定.

圖7 基于聯(lián)邦學(xué)習(xí)的邊緣緩存和計(jì)算卸載Fig.7 Edge caching and computational offloading based on Federated learning

聯(lián)邦學(xué)習(xí)在邊緣計(jì)算場景中的應(yīng)用，在表1中做了全面的總結(jié)和詳細(xì)分類.通過調(diào)研分析不難發(fā)現(xiàn)，聯(lián)邦學(xué)習(xí)在邊緣緩存和計(jì)算卸載中的應(yīng)用具有重大價(jià)值，在保護(hù)隱私方面貢獻(xiàn)巨大.研究方案在相關(guān)研究場景下通過設(shè)計(jì)算法和模型，再結(jié)合聯(lián)邦學(xué)習(xí)訓(xùn)練模型，從而發(fā)揮聯(lián)邦學(xué)習(xí)在整個(gè)系統(tǒng)框架中保護(hù)隱私數(shù)據(jù)的作用.目前邊緣緩存和計(jì)算卸載的相關(guān)研究已經(jīng)成熟，但其中方案大多假設(shè)數(shù)據(jù)可獲取且未提及用戶隱私問題.然而，在實(shí)際應(yīng)用中，用戶隱私數(shù)據(jù)受保護(hù)會(huì)導(dǎo)致現(xiàn)有方案不可行或效率低下的難題.將聯(lián)邦學(xué)習(xí)應(yīng)用在邊緣緩存和計(jì)算卸載的相關(guān)研究中成為一個(gè)熱門可行方案，研究學(xué)者們可以在這個(gè)方向上創(chuàng)新和突破.目前，這個(gè)方向的研究工作比較少但的確是值得深入研究的方向，聯(lián)合邊緣緩存和計(jì)算卸載的聯(lián)邦學(xué)習(xí)方案也比較少，但聯(lián)合考慮上述兩個(gè)問題能夠更好地提升邊緣計(jì)算的服務(wù)性能.

表1 聯(lián)邦學(xué)習(xí)在邊緣計(jì)算場景中的應(yīng)用Table 1 Application of Federated learning in edge computing scene

5 未來研究方向

在上一節(jié)介紹了聯(lián)邦學(xué)習(xí)在邊緣緩存和計(jì)算卸載中的應(yīng)用，但是在邊緣計(jì)算許多應(yīng)用方面都存在隱私數(shù)據(jù)不可獲取的難題，本章節(jié)提出了聯(lián)邦學(xué)習(xí)應(yīng)用在邊緣計(jì)算場景中7個(gè)重要方向.通過討論在應(yīng)用場景下聯(lián)邦學(xué)習(xí)的可行性，探討了聯(lián)邦學(xué)習(xí)在邊緣計(jì)算場景應(yīng)用中的未來研究方向.

5.1 基于邊緣計(jì)算的聯(lián)邦學(xué)習(xí)模型優(yōu)化

在3.2節(jié)中介紹了基于邊緣計(jì)算的聯(lián)邦學(xué)習(xí)模型的原理以及訓(xùn)練過程，這種基于端—邊—云的三層架構(gòu)模型利用分布式客戶端的數(shù)據(jù)和計(jì)算資源不僅可以提高模型性能，還能夠降低通信成本、保護(hù)用戶隱私，同時(shí)也減輕了云計(jì)算中心的負(fù)擔(dān).然而，該模型在選擇參與方進(jìn)行每一輪訓(xùn)練時(shí)采用的是隨機(jī)選擇方式，這種選擇方式可能因?yàn)閰⑴c方設(shè)備的計(jì)算資源受限、無線信道條件差等原因?qū)е履Ｐ陀?xùn)練遭遇瓶頸.為了解決隨機(jī)選擇參與方設(shè)備帶來的挑戰(zhàn)，Nishio等人[48]提出了一種新的聯(lián)邦學(xué)習(xí)協(xié)議FedCS，考慮在異構(gòu)網(wǎng)絡(luò)中的參與方設(shè)備狀態(tài)，管理異構(gòu)參與方設(shè)備的資源.這樣服務(wù)器可以在有限的時(shí)間框架內(nèi)聚合更多的參與方設(shè)備的更新，提高訓(xùn)練過程的效率.

除了對參加訓(xùn)練的參與方設(shè)備進(jìn)行選擇可以優(yōu)化模型外，模型聚合的方法也能提高模型訓(xùn)練效率.例如，Wang等人[49]提出了減少聯(lián)邦學(xué)習(xí)的通信次數(shù)的方法，通過識(shí)別出參與方的無關(guān)更新并組織這些更新上傳至服務(wù)器，從而減少網(wǎng)絡(luò)占用、避免不必要的更新操作、提高通信效率.

基于邊緣計(jì)算的聯(lián)邦學(xué)習(xí)模型在通信與訓(xùn)練過程方面仍有較大發(fā)展空間，可以通過模型壓縮、模型聚合、選擇參與方設(shè)備等方案提升模型的性能.同時(shí)，可以通過設(shè)計(jì)獎(jiǎng)勵(lì)機(jī)制激勵(lì)設(shè)備參與訓(xùn)練激勵(lì)具有高質(zhì)量的設(shè)備參與訓(xùn)練，從而提高基于邊緣計(jì)算的聯(lián)邦學(xué)習(xí)模型的精度.

5.2 智能卸載方案

盡管引入聯(lián)邦學(xué)習(xí)可以提升邊緣計(jì)算卸載的安全性，但是目前出現(xiàn)的一些研究表明聯(lián)邦學(xué)習(xí)仍然存在安全性問題.

文獻(xiàn)[51]提出可以通過攔截替換一個(gè)或多個(gè)邊緣設(shè)備訓(xùn)練的本地模型，達(dá)到破壞全局模型.文獻(xiàn)[52]從服務(wù)器的角度，提出了多分類任務(wù)的生成對抗網(wǎng)絡(luò)，通過獲取指定的設(shè)備更新數(shù)據(jù)，不僅可以推出數(shù)據(jù)類別，還可以反推出此設(shè)備的原始數(shù)據(jù).這些研究也說明了盡管數(shù)據(jù)集沒有上傳到服務(wù)器，但依然存在數(shù)據(jù)泄露問題.所以智能卸載中的隱私安全依舊是一個(gè)研究的方向.目前關(guān)于智能卸載的研究都只考慮靜態(tài)的狀態(tài).而實(shí)際情況往往復(fù)雜許多，這些邊緣設(shè)備都為移動(dòng)設(shè)備，接入的網(wǎng)絡(luò)狀態(tài)大有不同，隨時(shí)都有可能在卸載的過程中從系統(tǒng)退出，降低系統(tǒng)性能.如何選取合適的設(shè)備狀態(tài)以提高智能卸載過程中的穩(wěn)定性，這有待進(jìn)一步研究[53].

人工智能逐漸從云端向邊緣端遷移，智能邊緣計(jì)算由此應(yīng)運(yùn)而生.在邊緣計(jì)算場景中的計(jì)算卸載方案研究中應(yīng)用人工智能技術(shù)，將會(huì)面臨新的問題和挑戰(zhàn)：邊緣設(shè)備的算力日益增強(qiáng)，部分任務(wù)在本地花費(fèi)的時(shí)間比卸載到邊緣服務(wù)器所花費(fèi)總時(shí)長更短，那么在卸載過程中，如何劃分任務(wù)使得本地設(shè)備和邊緣服務(wù)器所需的運(yùn)行時(shí)長最短？由于設(shè)備的異構(gòu)性，設(shè)備所擁有的算力有較大差異，并且每個(gè)邊緣設(shè)備的空閑狀態(tài)和網(wǎng)絡(luò)情況也各不相同，能否通過人工智能技術(shù)對邊緣層進(jìn)行建模，在上一個(gè)問題的基礎(chǔ)上，動(dòng)態(tài)挑選計(jì)算節(jié)點(diǎn)分配任務(wù)?這一系列的問題都值得學(xué)者進(jìn)行研究.

5.3 網(wǎng)絡(luò)攻擊檢測

當(dāng)今，物聯(lián)網(wǎng)發(fā)展迅速，網(wǎng)絡(luò)攻擊日益復(fù)雜[54]，目前基于深度學(xué)習(xí)的網(wǎng)絡(luò)攻擊檢測技術(shù)已經(jīng)成熟，通過結(jié)合聯(lián)邦學(xué)習(xí)技術(shù)可以更好地保護(hù)用戶隱私數(shù)據(jù).文獻(xiàn)[55]指出，深度學(xué)習(xí)技術(shù)在KDDcup 1999、NSL-KDD和UNSW-NB15這3個(gè)數(shù)據(jù)集上可以精準(zhǔn)的預(yù)防攻擊，但其精準(zhǔn)度主要取決于有大量數(shù)據(jù)集進(jìn)行訓(xùn)練.若要獲取設(shè)備或用戶的數(shù)據(jù)進(jìn)行訓(xùn)練，則會(huì)涉及到隱私數(shù)據(jù)等情況，從而導(dǎo)致沒有足夠的數(shù)據(jù)進(jìn)行訓(xùn)練，使得基于深度學(xué)習(xí)技術(shù)的網(wǎng)絡(luò)攻擊檢測普及受限.通過將聯(lián)邦學(xué)習(xí)模型應(yīng)用在現(xiàn)有模型的訓(xùn)練上，參與者只需下載模型通過上傳相關(guān)模型參數(shù)而不需要提供本地?cái)?shù)據(jù)就可以參與訓(xùn)練，能夠有效地保護(hù)用戶數(shù)據(jù)隱私，并且提升預(yù)防攻擊模型的準(zhǔn)確性.

目前還沒有將聯(lián)邦學(xué)習(xí)應(yīng)用于基于深度學(xué)習(xí)的網(wǎng)絡(luò)攻擊檢測的研究工作，但是學(xué)者們可以利用聯(lián)邦學(xué)習(xí)能夠保護(hù)隱私數(shù)據(jù)進(jìn)行分布式訓(xùn)練的特點(diǎn)從而獲取多個(gè)參與方的數(shù)據(jù)用于模型訓(xùn)練，可以大大增加用于模型訓(xùn)練的數(shù)據(jù)量.

另一方面，傳統(tǒng)機(jī)器學(xué)習(xí)中會(huì)受到對抗性攻擊或數(shù)據(jù)投毒攻擊，而這些問題在聯(lián)邦學(xué)習(xí)中也同樣存在，如何檢測攻擊并避免被攻擊成為一項(xiàng)具有挑戰(zhàn)性的任務(wù).如果聯(lián)邦學(xué)習(xí)的參與方中存在惡意用戶對模型進(jìn)行攻擊，即它有針對性地毒害全局模型，則對聯(lián)邦學(xué)習(xí)模型訓(xùn)練而言又是一個(gè)新的挑戰(zhàn).Bhagoji等人[56]探索了深度神經(jīng)網(wǎng)絡(luò)的多種攻擊策略，從有針對性的模型中毒開始，使用惡意代理更新的增強(qiáng)來克服其他代理的影響，并使用隱形指標(biāo)來檢測聯(lián)邦學(xué)習(xí)訓(xùn)練回合中帶有顯示增強(qiáng)的模型投毒目標(biāo).

差分隱私是一種靈活的防御數(shù)據(jù)投毒的方法，無論對手目標(biāo)是什么其都能夠適用，但其缺點(diǎn)是在學(xué)習(xí)過程中必須注入噪聲，而增加的噪聲會(huì)影響模型的性能.如何有效地解決數(shù)據(jù)投毒也成為一個(gè)關(guān)鍵問題.

5.4 基站用戶關(guān)聯(lián)模型

在5G網(wǎng)絡(luò)中，隨著用戶的數(shù)量和需求的不斷增加，用戶向基站發(fā)射數(shù)據(jù)流會(huì)導(dǎo)致基站收到干擾信息從而影響通信質(zhì)量，而優(yōu)化基站用戶關(guān)聯(lián)可以解決上述干擾問題.傳統(tǒng)優(yōu)化基站用戶關(guān)聯(lián)的方法通常是基于用戶數(shù)據(jù)可用的情況下進(jìn)行的研究，但是事實(shí)上在實(shí)際場景中涉及隱私數(shù)據(jù)會(huì)導(dǎo)致數(shù)據(jù)不可用的問題.

借助聯(lián)邦學(xué)習(xí)技術(shù)可以有效解決隱私數(shù)據(jù)，通信帶寬和可靠性問題，建立基于聯(lián)邦學(xué)習(xí)的基站用戶關(guān)聯(lián)模型，獲取多方用戶數(shù)據(jù)進(jìn)行訓(xùn)練，求解最優(yōu)化模型的解，從而求出用戶與基站之間的最優(yōu)關(guān)聯(lián)關(guān)系.隨著異構(gòu)網(wǎng)絡(luò)的發(fā)展，通過基站與用戶關(guān)聯(lián)更好地實(shí)現(xiàn)網(wǎng)絡(luò)負(fù)載均衡.

5.5 車聯(lián)網(wǎng)場景中的隱私和安全問題

車聯(lián)網(wǎng)(The Internet of Vehicles，IoV)作為智慧城市的應(yīng)用場景之一，它由可以進(jìn)行數(shù)據(jù)收集、計(jì)算、通信功能的智能車輛構(gòu)成[57].IoV可以實(shí)現(xiàn)導(dǎo)航、自動(dòng)駕駛、交通控制、智能停車、實(shí)時(shí)預(yù)警道路情況(前方道路擁堵、道路顛簸或結(jié)冰)、協(xié)調(diào)車輛進(jìn)行變道等功能.由于車輛需要實(shí)時(shí)與服務(wù)器進(jìn)行頻繁的通信，但是遠(yuǎn)程云服務(wù)器距離較遠(yuǎn)，在這個(gè)過程中不僅會(huì)帶來高延遲的問題還會(huì)給云服務(wù)器帶來巨大的壓力.

而邊緣計(jì)算可以提供實(shí)時(shí)可靠的車輛連接、通信、安全服務(wù)，通過位于網(wǎng)絡(luò)邊緣端的邊緣節(jié)點(diǎn)提供高效、低延遲的服務(wù)質(zhì)量[58-60].Wang等人[61]針對基于邊緣計(jì)算的車聯(lián)網(wǎng)框架，設(shè)計(jì)了一種基于深度學(xué)習(xí)的隱私數(shù)據(jù)采集和預(yù)處理方案，通過采用數(shù)據(jù)增強(qiáng)和標(biāo)簽猜測的半監(jiān)督學(xué)習(xí)算法，首先在邊緣層進(jìn)行數(shù)據(jù)濾波，清除大量相似數(shù)據(jù)和無關(guān)數(shù)據(jù).雖然目前基于邊緣計(jì)算的車聯(lián)網(wǎng)框架已經(jīng)逐步成熟，但是車聯(lián)網(wǎng)中車輛數(shù)據(jù)仍然會(huì)涉及到駕駛員的駕駛路徑信息、個(gè)人信息等隱私數(shù)據(jù).在車聯(lián)網(wǎng)應(yīng)用場景中，可以通過采用聯(lián)邦學(xué)習(xí)技術(shù)，車輛可以在本地設(shè)備進(jìn)行訓(xùn)練再將更新的模型參數(shù)上傳，從而有效地保護(hù)本地隱私數(shù)據(jù)安全.

5.6 激勵(lì)設(shè)備參與共同訓(xùn)練

邊緣計(jì)算中存在網(wǎng)絡(luò)帶寬，存儲(chǔ)，特別是隱私問題，引入了聯(lián)邦學(xué)習(xí)使用邊緣設(shè)備訓(xùn)練本地?cái)?shù)據(jù)，上傳模型參數(shù)，大幅降低網(wǎng)絡(luò)通信負(fù)載和提高了邊緣計(jì)算的適用場景安全性，但也因?yàn)槁?lián)邦學(xué)習(xí)中數(shù)據(jù)不離開本地設(shè)備的特點(diǎn)，使得邊緣服務(wù)器無法收集設(shè)備中的數(shù)據(jù)，以此評估設(shè)備做出的貢獻(xiàn)給予一定的激勵(lì).對于較多數(shù)據(jù)樣本和數(shù)據(jù)種類的設(shè)備，獲得與較少數(shù)據(jù)的設(shè)備相同的獎(jiǎng)勵(lì)，必然不會(huì)繼續(xù)參與訓(xùn)練任務(wù).

Zhan等人[62]針對聯(lián)邦學(xué)習(xí)獎(jiǎng)勵(lì)問題，設(shè)計(jì)了一套基于強(qiáng)化學(xué)習(xí)的聯(lián)邦激勵(lì)機(jī)制.邊緣計(jì)算節(jié)點(diǎn)通過使用從設(shè)備收集的數(shù)據(jù)來訓(xùn)練本地模型來參與聯(lián)邦學(xué)習(xí).全局服務(wù)器致力于最小化總回報(bào)，而每個(gè)邊緣節(jié)點(diǎn)最大化全局服務(wù)器收到的獎(jiǎng)勵(lì)減去模型訓(xùn)練和數(shù)據(jù)收集的成本.對于參與者共享其決策情況，參數(shù)服務(wù)器可以準(zhǔn)確地評估其對訓(xùn)練的準(zhǔn)確性的共享，根據(jù)基于Stackleberg理論的激勵(lì)機(jī)制從而得到納什均衡.雖然目前已經(jīng)出現(xiàn)聯(lián)邦學(xué)習(xí)的激勵(lì)機(jī)制的研究，但是往往只考慮了數(shù)據(jù)量和通信損耗作為獎(jiǎng)勵(lì)的參考.當(dāng)設(shè)備進(jìn)行移動(dòng)時(shí)，邊緣設(shè)備為了獲得更多的獎(jiǎng)勵(lì)，從通信不好的地方轉(zhuǎn)移到好的地方，這一過程也應(yīng)該考慮，是否在設(shè)備主動(dòng)參與時(shí)額外提供一些獎(jiǎng)勵(lì)以此調(diào)動(dòng)邊緣設(shè)備的積極性，從而提高模型的精確度和加速訓(xùn)練過程.

5.7 感知情境的聯(lián)邦學(xué)習(xí)

在邊緣設(shè)備中，根據(jù)使用者地理位置和語言的不同，每天都在產(chǎn)生海量數(shù)據(jù)，但這些數(shù)據(jù)又存在差異性.只是將所有數(shù)據(jù)視為同一類進(jìn)行聚合訓(xùn)練，生成的模型準(zhǔn)確率欠佳.那么如何根據(jù)用戶的上下文信息進(jìn)行聯(lián)邦學(xué)習(xí)成為了一個(gè)新的研究熱點(diǎn).現(xiàn)在設(shè)備的進(jìn)步，手機(jī)擁有大量傳感器.在設(shè)備中，所產(chǎn)生的數(shù)據(jù)信息可以增加上傳感器信息，即用戶何時(shí)何地的產(chǎn)生了這些數(shù)據(jù).以鍵盤預(yù)測下一詞為例，考慮了情境這個(gè)條件，那么根據(jù)不同地區(qū)和不同語言進(jìn)行更加準(zhǔn)確的推薦.盡管會(huì)產(chǎn)生更多的數(shù)據(jù)，但是聯(lián)邦學(xué)習(xí)恰恰可以保護(hù)用戶隱私，防止組織獲取到原始數(shù)據(jù)，這對于分地區(qū)建立用戶更準(zhǔn)確的上下文情境信息起到更好的隱私保護(hù).

6 結(jié) 論

在高速發(fā)展的物聯(lián)網(wǎng)時(shí)代下，邊緣計(jì)算作為可以提升物聯(lián)網(wǎng)智能性的計(jì)算范式與物聯(lián)網(wǎng)緊密相連.然而在許多邊緣計(jì)算場景中，由于物聯(lián)網(wǎng)設(shè)備自身數(shù)據(jù)涉及隱私，數(shù)據(jù)隱私問題給物聯(lián)網(wǎng)智能化發(fā)展帶來了新的挑戰(zhàn).目前，聯(lián)邦學(xué)習(xí)作為一個(gè)數(shù)據(jù)隱私保護(hù)且可以解決數(shù)據(jù)孤島問題的熱門人工智能技術(shù)備受關(guān)注，通過對聯(lián)邦學(xué)習(xí)進(jìn)行詳細(xì)概述，并對比分析經(jīng)典聯(lián)邦學(xué)習(xí)模型和基于邊緣計(jì)算的聯(lián)邦學(xué)習(xí)訓(xùn)練模型的優(yōu)缺點(diǎn).在邊緣計(jì)算場景中應(yīng)用聯(lián)邦學(xué)習(xí)技術(shù)能夠有效解決物聯(lián)網(wǎng)設(shè)備的數(shù)據(jù)隱私問題.針對聯(lián)邦學(xué)習(xí)在邊緣計(jì)算場景中邊緣聚合、邊緣緩存和計(jì)算卸載的應(yīng)用研究進(jìn)行綜述，對比分析當(dāng)前有關(guān)研究方案的優(yōu)缺點(diǎn).在目前關(guān)于聯(lián)邦學(xué)習(xí)技術(shù)在邊緣計(jì)算場景應(yīng)用研究還比較少的情況下，提出了七大重要的未來研究方向供學(xué)者們參考.