聯(lián)邦學(xué)習(xí)在無線網(wǎng)絡(luò)中的應(yīng)用

劉姿杉，程 強(qiáng)，李建武

(1.中國信息通信研究院，北京 100191；2.北京理工大學(xué) 前沿技術(shù)研究院，山東 濟(jì)南 250300)

0 引言

目前，許多科研機(jī)構(gòu)和產(chǎn)業(yè)界都發(fā)布面向6G網(wǎng)絡(luò)的愿景[1-4]，業(yè)界已經(jīng)對(duì)于人工智能應(yīng)用于6G網(wǎng)絡(luò)來實(shí)現(xiàn)網(wǎng)絡(luò)內(nèi)生智能初步形成共識(shí)。利用人工智能技術(shù)，可以實(shí)現(xiàn)無線網(wǎng)絡(luò)的端到端性能優(yōu)化、運(yùn)維效率的提升、創(chuàng)新應(yīng)用和智能服務(wù)，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)本身和整個(gè)行業(yè)服務(wù)的升級(jí)[1-5]。然而，傳統(tǒng)基于中央服務(wù)器(通常部署在云數(shù)據(jù)中心)的模型訓(xùn)練框架正遭受越來越多的數(shù)據(jù)隱私和安全挑戰(zhàn)，集中式數(shù)據(jù)傳輸和處理帶來巨大的傳輸開銷，難以實(shí)現(xiàn)網(wǎng)絡(luò)無處不在的內(nèi)生智能[6]。與此同時(shí)，無線系統(tǒng)將支持超密集設(shè)備節(jié)點(diǎn)，尤其是面向智能網(wǎng)聯(lián)汽車和物聯(lián)網(wǎng)等密集終端場(chǎng)景時(shí)，數(shù)據(jù)通常以分布式的形式產(chǎn)生和存儲(chǔ)在不同用戶設(shè)備中。因此，如何實(shí)現(xiàn)較低的通信開銷、較好的收斂性、安全和隱私保護(hù)的分布式訓(xùn)練和推理就變得尤為重要。聯(lián)邦學(xué)習(xí)[7]作為一種分布式機(jī)器學(xué)習(xí)框架，允許在不泄露本地?cái)?shù)據(jù)的前提下進(jìn)行多方的模型訓(xùn)練，且模型效果與集中式訓(xùn)練趨同，并能夠提高網(wǎng)絡(luò)中算力的分布式利用效率，成為移動(dòng)網(wǎng)絡(luò)智能化發(fā)展的潛在關(guān)鍵技術(shù)。

將聯(lián)邦學(xué)習(xí)引入無線網(wǎng)絡(luò)目前已經(jīng)受到研究界與工業(yè)界的廣泛關(guān)注。文獻(xiàn)[8]探索了將聯(lián)邦學(xué)習(xí)應(yīng)用于5G網(wǎng)絡(luò)的潛在應(yīng)用場(chǎng)景，并提出無線通信背景下聯(lián)邦學(xué)習(xí)研究的開放性問題。文獻(xiàn)[9]對(duì)將聯(lián)邦學(xué)習(xí)應(yīng)用于6G網(wǎng)絡(luò)的方法、挑戰(zhàn)與未來研究方向進(jìn)行了總結(jié)。本文簡(jiǎn)述了聯(lián)邦學(xué)習(xí)相關(guān)技術(shù)原理及其分類，探索了聯(lián)邦學(xué)習(xí)在無線網(wǎng)絡(luò)中的應(yīng)用場(chǎng)景，并通過考慮無線網(wǎng)絡(luò)應(yīng)用聯(lián)邦學(xué)習(xí)的性能因素來重點(diǎn)分析聯(lián)邦學(xué)習(xí)在網(wǎng)絡(luò)中應(yīng)用的現(xiàn)有成果。最后，提出聯(lián)邦學(xué)習(xí)與未來通信網(wǎng)絡(luò)系統(tǒng)的發(fā)展建議。

1 聯(lián)邦學(xué)習(xí)技術(shù)背景

1.1 聯(lián)邦學(xué)習(xí)技術(shù)原理

聯(lián)邦學(xué)習(xí)的概念最早在2016年由谷歌提出，本質(zhì)上是一種分布式機(jī)器學(xué)習(xí)的框架，如圖1所示。聯(lián)邦學(xué)習(xí)場(chǎng)景一般由一個(gè)參數(shù)服務(wù)器(中央服務(wù)器)和多個(gè)客戶端組成。每個(gè)客戶端都有自己的本地?cái)?shù)據(jù)集，在訓(xùn)練開始前從參數(shù)服務(wù)器下載初始的全局模型，然后在保留數(shù)據(jù)本地化的前提下進(jìn)行本地模型的訓(xùn)練，并將模型更新數(shù)據(jù)上傳至參數(shù)服務(wù)器，由參數(shù)服務(wù)器負(fù)責(zé)聚合多個(gè)模型訓(xùn)練參與方的本地模型。參數(shù)服務(wù)器加權(quán)聚合本地模型，得到全局模型。經(jīng)過以上多輪迭代更新后，得到最終的聚合模型，和集中式訓(xùn)練的模型相比，性能幾乎無損。

圖1 聯(lián)邦學(xué)習(xí)示例Fig.1 Illustration of federated learning

聯(lián)邦學(xué)習(xí)算法的原理簡(jiǎn)述如下：將參與聯(lián)邦學(xué)習(xí)的客戶端集合記為C，每個(gè)客戶端c∈C持有本地?cái)?shù)據(jù)集Dc={Xc,Yc}。其中，Xc∈|Dc|×d表示客戶端c的訓(xùn)練數(shù)據(jù)的特征空間向量，Yc∈|Dc|×m表示客戶端c的訓(xùn)練數(shù)據(jù)的標(biāo)簽矩陣。為了確定最優(yōu)的模型參數(shù)集，必須優(yōu)化損失函數(shù)。將具有參數(shù)w的模型對(duì)訓(xùn)練樣本{xi,yi}產(chǎn)生的損失函數(shù)記為l(w;xi,yi)，w為神經(jīng)元間的權(quán)重矩陣，因此對(duì)客戶端本地?cái)?shù)據(jù)集Dc的損失函數(shù)計(jì)算為：因此，中央服務(wù)器的目標(biāo)函數(shù)通常記為其中是所有客戶端數(shù)據(jù)量的總和。

聯(lián)邦學(xué)習(xí)的目標(biāo)優(yōu)化算法中，通常利用隨機(jī)梯度下降(Stochastic Gradient Descent，SGD)算法來進(jìn)行模型權(quán)重的更新，客戶端c在第t輪次的模型權(quán)重更新為：wt,c=wt-1,c-ηfc(w)，中央服務(wù)器的模型參數(shù)聚合更新為：

1.2 聯(lián)邦學(xué)習(xí)技術(shù)分類

聯(lián)邦學(xué)習(xí)技術(shù)分類說明如表1所示。根據(jù)聯(lián)邦學(xué)習(xí)客戶端數(shù)據(jù)集的特征，聯(lián)邦學(xué)習(xí)可被分為橫向聯(lián)邦學(xué)習(xí)、縱向聯(lián)邦學(xué)習(xí)和聯(lián)邦遷移學(xué)習(xí)[7]。針對(duì)每個(gè)客戶端的數(shù)據(jù)集Dc，假設(shè)I表示數(shù)據(jù)集中的樣本ID，X表示數(shù)據(jù)集中的特征類別，Y表示數(shù)據(jù)集中的標(biāo)簽類別。其中，橫向聯(lián)邦學(xué)習(xí)適用于參與方的數(shù)據(jù)特征重疊部分較多，但樣本ID重疊較少的情況。橫向聯(lián)邦學(xué)習(xí)在無線網(wǎng)絡(luò)中典型的應(yīng)用場(chǎng)景，例如在5G網(wǎng)絡(luò)不同的UPF之間通過內(nèi)置的網(wǎng)絡(luò)數(shù)據(jù)分析功能(Network Data Analytics Function，NWDAF)，各自利用不同用戶的數(shù)據(jù)來進(jìn)行橫向聯(lián)邦學(xué)習(xí)，可以實(shí)現(xiàn)數(shù)據(jù)不出局要求下的準(zhǔn)確業(yè)務(wù)識(shí)別。

表1 聯(lián)邦學(xué)習(xí)技術(shù)分類說明

縱向聯(lián)邦學(xué)習(xí)適用于參與方之間的訓(xùn)練數(shù)據(jù)的樣本ID重疊較多,但數(shù)據(jù)特征有較大不同的場(chǎng)景。一般來說，縱向聯(lián)邦學(xué)習(xí)主要由兩邊進(jìn)行合作，其中一方掌握了訓(xùn)練數(shù)據(jù)的標(biāo)簽信息，各方擁有自己的特征信息。典型的應(yīng)用場(chǎng)景，例如運(yùn)營商A運(yùn)用自己的網(wǎng)絡(luò)數(shù)據(jù)(例如網(wǎng)絡(luò)接入時(shí)延、帶寬等)與可以提供業(yè)務(wù)數(shù)據(jù)(例如視頻卡頓時(shí)間/頻率等)的業(yè)務(wù)服務(wù)商B進(jìn)行模型的聯(lián)合訓(xùn)練，從而實(shí)現(xiàn)更精準(zhǔn)的用戶體驗(yàn)質(zhì)量(Quality of Experience，QoE)評(píng)估和預(yù)測(cè)。

聯(lián)邦遷移學(xué)習(xí)將聯(lián)邦學(xué)習(xí)與遷移學(xué)習(xí)的概念加以結(jié)合，以實(shí)現(xiàn)在用戶特征與用戶ID重合度都很低的數(shù)據(jù)集之間的協(xié)同建模。聯(lián)邦遷移學(xué)習(xí)一般給定目標(biāo)域Dt和目標(biāo)任務(wù)Tt，利用源域Ds的源任務(wù)Ts所訓(xùn)練的模型，通過安全與數(shù)據(jù)隔離的方式進(jìn)行模型的遷移，來提升Tt中模型的訓(xùn)練效率和效果。典型的應(yīng)用場(chǎng)景，例如無線網(wǎng)絡(luò)中不同業(yè)務(wù)間的用戶ID和用戶特征可能重合度都很低，采用聯(lián)邦遷移學(xué)習(xí)將語音業(yè)務(wù)的MOS模型遷移到視頻業(yè)務(wù)或者支付業(yè)務(wù)MOS模型訓(xùn)練中。

2 無線網(wǎng)絡(luò)中聯(lián)邦學(xué)習(xí)應(yīng)用場(chǎng)景

聯(lián)邦學(xué)習(xí)有望在未來電信網(wǎng)絡(luò)的多個(gè)潛在場(chǎng)景中得到應(yīng)用，并通過與物聯(lián)網(wǎng)、邊緣計(jì)算、5G/6G等技術(shù)相結(jié)合，來支持更多智能化應(yīng)用的開展，對(duì)網(wǎng)絡(luò)性能進(jìn)行全局優(yōu)化，推動(dòng)實(shí)現(xiàn)網(wǎng)絡(luò)內(nèi)生智能。

2.1 物聯(lián)網(wǎng)

機(jī)器學(xué)習(xí)在管理、部署、數(shù)據(jù)分析和決策等方面為物聯(lián)網(wǎng)的成功做出了重大貢獻(xiàn)。盡管如此，物聯(lián)網(wǎng)中機(jī)器學(xué)習(xí)的應(yīng)用也受到了來自隱私問題的阻礙。此外，隨著物聯(lián)網(wǎng)設(shè)備的數(shù)量呈指數(shù)級(jí)增長，集中式存儲(chǔ)和處理這些數(shù)據(jù)將變得非常困難和低效。另一方面，隨著物聯(lián)網(wǎng)被高帶寬、低時(shí)延、邊緣計(jì)算等5G和6G網(wǎng)絡(luò)技術(shù)的賦能，使得物聯(lián)網(wǎng)設(shè)備能夠有效利用邊緣的計(jì)算資源以更快和性能更好的方式在本地進(jìn)行模型的訓(xùn)練。聯(lián)邦學(xué)習(xí)在物聯(lián)網(wǎng)中可以潛在應(yīng)用于多個(gè)場(chǎng)景，包括家居、醫(yī)療、交通和工業(yè)等。例如，Moradipari等[10]提出基于實(shí)時(shí)交通和天氣數(shù)據(jù)的車隊(duì)聯(lián)邦動(dòng)態(tài)調(diào)度框架。蘋果的研發(fā)人員[11]提出具有差分隱私能力的聯(lián)邦學(xué)習(xí)模型，以改進(jìn)智能家居設(shè)備上語音認(rèn)證模型的性能，同時(shí)降低原始用戶數(shù)據(jù)泄露的風(fēng)險(xiǎn)。文獻(xiàn)[12]從聯(lián)邦學(xué)習(xí)方法出發(fā)，為移動(dòng)邊緣計(jì)算輔助工業(yè)物聯(lián)網(wǎng)設(shè)計(jì)了一種高效、靈活的管理方案。在所考慮的工業(yè)物聯(lián)網(wǎng)(Industrial Internet of Things，IIoT)中，所有設(shè)備都有一些計(jì)算任務(wù)需要借助一些計(jì)算接入點(diǎn)進(jìn)行計(jì)算。雖然IIoT的性能可以通過基于一些集中式方案的資源分配來優(yōu)化，但這種解決方案既不高效也不靈活。為了解決集中式資源分配與計(jì)算的效率與靈活度不高的問題，采用基于深度強(qiáng)化學(xué)習(xí)算法的聯(lián)邦學(xué)習(xí)來調(diào)整任務(wù)卸載率、帶寬分配率和發(fā)射功率，從而使歸一化系統(tǒng)代價(jià)最小化，同時(shí)降低通信代價(jià)。IIoT設(shè)備收集的數(shù)據(jù)與商業(yè)價(jià)值高度相關(guān)，這使得隱私保護(hù)變得重要。例如，竊聽者可從IIoT用戶的用電量推斷其制造能力。為應(yīng)對(duì)上述挑戰(zhàn)，Lu等[13]針對(duì)IIoT提出了基于區(qū)塊鏈的聯(lián)邦學(xué)習(xí)共享框架，利用區(qū)塊鏈來記錄聯(lián)邦學(xué)習(xí)過程中模型參數(shù)的更新過程，實(shí)現(xiàn)對(duì)參與者模型更新的可追溯與可驗(yàn)證，其結(jié)果證實(shí)了聯(lián)邦學(xué)習(xí)在IIoT中的應(yīng)用效率。

2.2 邊緣計(jì)算

隨著人工智能技術(shù)發(fā)展，新一代基礎(chǔ)設(shè)施的AI賦能，使得邊緣節(jié)點(diǎn)具備了參與AI計(jì)算與決策的能力。邊緣計(jì)算分布式的特點(diǎn)天然與聯(lián)邦學(xué)習(xí)框架相匹配，因而可以在不侵犯用戶隱私的前提下，利用邊緣節(jié)點(diǎn)進(jìn)行模型的聯(lián)合訓(xùn)練，充分利用邊緣設(shè)備的算力資源，極大地提高了邊緣計(jì)算系統(tǒng)中模型學(xué)習(xí)的效率。聯(lián)邦學(xué)習(xí)對(duì)邊緣計(jì)算的賦能場(chǎng)景包括邊緣緩存、計(jì)算卸載和網(wǎng)絡(luò)攻擊檢測(cè)等。例如，文獻(xiàn)[14]提出了基于聯(lián)邦學(xué)習(xí)的主動(dòng)內(nèi)容緩存方案，在保護(hù)用戶隱私的前提下來預(yù)測(cè)業(yè)務(wù)內(nèi)容的流行度，優(yōu)化邊緣緩存服務(wù)。Liu等[15]提出了一種協(xié)作入侵檢測(cè)機(jī)制，將訓(xùn)練模型卸載到分布式邊緣設(shè)備，從而降低了中央服務(wù)器的資源利用率，同時(shí)確保了安全性和隱私性。針對(duì)新冠病毒診斷，文獻(xiàn)[16]通過分析和評(píng)估在邊緣智能處理臨床視覺數(shù)據(jù)的潛力，利用聚類聯(lián)邦學(xué)習(xí)在保護(hù)用戶隱私前提下，進(jìn)行新型冠狀病毒肺炎的自動(dòng)診斷，從而使缺乏先進(jìn)診斷設(shè)施的遠(yuǎn)程醫(yī)療中心可以受益于多模式數(shù)據(jù)帶來的模型效益。文獻(xiàn)[17]研究了基于參與者—批評(píng)家聯(lián)邦學(xué)習(xí)用于5G多址邊緣計(jì)算的細(xì)粒度任務(wù)卸載。邊緣節(jié)點(diǎn)可以利用本地?cái)?shù)據(jù)來訓(xùn)練本地模型，并通過集中匯聚后獲得對(duì)每個(gè)節(jié)點(diǎn)最優(yōu)的動(dòng)作策略，結(jié)果證明可以提高計(jì)算效率和電量使用效率等。

2.3網(wǎng)絡(luò)性能分析與優(yōu)化

隨著5G和AI技術(shù)的融合發(fā)展，網(wǎng)絡(luò)智能化已經(jīng)成為5G/6G網(wǎng)絡(luò)發(fā)展的必然趨勢(shì)。集中式機(jī)器學(xué)習(xí)存在個(gè)人信息保護(hù)、跨域數(shù)據(jù)和端到端數(shù)據(jù)難以集中獲取等問題，聯(lián)邦學(xué)習(xí)允許網(wǎng)絡(luò)以及用戶之間分布式的方式共同參與機(jī)器學(xué)習(xí)，進(jìn)一步推動(dòng)機(jī)器學(xué)習(xí)在網(wǎng)絡(luò)性能分析與優(yōu)化中的應(yīng)用。例如，考慮5G網(wǎng)絡(luò)中不同廠家的用戶面功能(User Plane Function，UPF)數(shù)據(jù)難以集中共享、不同的UPF業(yè)務(wù)分布不均等問題，依靠單一UPF的業(yè)務(wù)樣本數(shù)據(jù)進(jìn)行業(yè)務(wù)識(shí)別模型訓(xùn)練難以達(dá)到精準(zhǔn)識(shí)別要求。通過內(nèi)置NWDAF的UPF之間進(jìn)行橫向聯(lián)邦學(xué)習(xí)，可以實(shí)現(xiàn)數(shù)據(jù)不出局要求下的業(yè)務(wù)識(shí)別準(zhǔn)確率提升[18]。聯(lián)邦學(xué)習(xí)還可用于任務(wù)調(diào)度與資源分配等可以將決策權(quán)力下放到各個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)的場(chǎng)景，用戶或基站以分布式的方式來計(jì)算本地收集到的數(shù)據(jù)，進(jìn)一步推動(dòng)了機(jī)器學(xué)習(xí)在無線網(wǎng)絡(luò)優(yōu)化問題中的應(yīng)用。例如，基于聯(lián)邦強(qiáng)化學(xué)習(xí)，可以使得每個(gè)基站在功率控制方案和效用值之間建立關(guān)系，以尋找最優(yōu)功率控制方案，并通過基站之間交換本地模型參數(shù)來實(shí)現(xiàn)整網(wǎng)的功率控制優(yōu)化[19]。

2.4 垂直業(yè)務(wù)與服務(wù)體驗(yàn)提升

基于聯(lián)邦學(xué)習(xí)，運(yùn)營商或設(shè)備廠商等可以與垂直行業(yè)以及業(yè)務(wù)服務(wù)商進(jìn)行聯(lián)合建模，一方面可以實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)用戶體驗(yàn)的提升，另一方面可以實(shí)現(xiàn)對(duì)垂直領(lǐng)域業(yè)務(wù)的支持與多樣化發(fā)展。例如，通過縱向聯(lián)邦學(xué)習(xí)，運(yùn)用運(yùn)營商的網(wǎng)絡(luò)數(shù)據(jù)(如速率、網(wǎng)絡(luò)接入時(shí)延等)和業(yè)務(wù)服務(wù)商的應(yīng)用數(shù)據(jù)(如MOS評(píng)分、卡頓時(shí)間/頻率等)進(jìn)行模型的聯(lián)合訓(xùn)練，運(yùn)營商可以進(jìn)行更精準(zhǔn)的QoE評(píng)估和預(yù)測(cè)，從傳統(tǒng)以網(wǎng)絡(luò)為中心的關(guān)鍵績效指標(biāo)(Key Performance Indicator，KPI)管理模式向以用戶為中心的管理模式轉(zhuǎn)變，從而提高用戶體驗(yàn)滿意度和網(wǎng)絡(luò)運(yùn)營能力。在垂直業(yè)務(wù)領(lǐng)域(例如金融領(lǐng)域)，為了更精準(zhǔn)、更全面地刻畫用戶信用情況，運(yùn)營商與金融機(jī)構(gòu)可以利用各自的用戶數(shù)據(jù)，利用聯(lián)邦學(xué)習(xí)在數(shù)據(jù)隱私的前提下共建風(fēng)控模型，來識(shí)別個(gè)人和企業(yè)背后的復(fù)雜關(guān)系鏈條及欺詐風(fēng)險(xiǎn)，為金融客戶融資鑒權(quán)和增信提供準(zhǔn)確判斷。

3 無線網(wǎng)絡(luò)中聯(lián)邦學(xué)習(xí)關(guān)鍵技術(shù)

無線網(wǎng)絡(luò)下非獨(dú)立正交和非均衡的用戶數(shù)據(jù)、異質(zhì)和能量受限的設(shè)備、隱私與安全需求以及不穩(wěn)定的通信條件，都使得高效的無線網(wǎng)絡(luò)中分布式機(jī)器學(xué)習(xí)成為挑戰(zhàn)[20]。因此，相關(guān)的研究實(shí)踐要全面考慮網(wǎng)絡(luò)和數(shù)據(jù)特征，從數(shù)據(jù)隱私、傳輸性能和模型訓(xùn)練效率等維度進(jìn)行性能分析與優(yōu)化設(shè)計(jì)。目前，無線網(wǎng)絡(luò)聯(lián)邦學(xué)習(xí)的關(guān)鍵技術(shù)研究包括通信效率提升、客戶端選擇與調(diào)度、訓(xùn)練性能優(yōu)化、隱私保護(hù)與安全增強(qiáng)、節(jié)點(diǎn)激勵(lì)與個(gè)性化聯(lián)邦等方面。

3.1 通信效率提升

針對(duì)聯(lián)邦學(xué)習(xí)在無線網(wǎng)絡(luò)中的通信提升，目前已有研究成果中對(duì)于網(wǎng)絡(luò)場(chǎng)景和限制的考慮包括：信道衰落與噪聲影響[21-22]、信道接入技術(shù)[23]、大規(guī)模MIMO[24]以及設(shè)備電量與通信資源限制[25-26]等，相關(guān)的技術(shù)方法包括：模型梯度的量化與稀疏化[21,23,26]、隨機(jī)選參[25]、局部計(jì)算[26]、參數(shù)凍結(jié)[27]和蒸餾技術(shù)[28-29]等。

模型梯度的量化與稀疏化只保留一部分模型梯度的張量，或通過對(duì)模型參數(shù)進(jìn)行權(quán)重量化后上傳低精度的參數(shù)值，從而減少每輪通信有效載荷的大小，缺點(diǎn)是犧牲了一部分模型梯度的精度。隨機(jī)選參的思想是在每輪進(jìn)行模型參數(shù)上報(bào)時(shí)，通過隨機(jī)選取(或策略選舉)的方式選取一部分參與方進(jìn)行模型參數(shù)的上傳。局部計(jì)算允許每個(gè)參與者在每2次全局模型參數(shù)同步之間進(jìn)行更多的本地計(jì)算，從而減少全局模型更新的回合，降低總體通信載荷。文獻(xiàn)[27]指出，在聯(lián)邦訓(xùn)練過程中，大部分模型在參與最終模型收斂之前已經(jīng)逐漸穩(wěn)定，因此可以在不影響模型準(zhǔn)確性的情況下，通過降低參數(shù)上傳頻率來減少通信開銷。然而，挑戰(zhàn)在于全局同步中排除的局部參數(shù)可能在不同的客戶端上存在差異，同時(shí)一些參數(shù)可能只是暫時(shí)穩(wěn)定。為了應(yīng)對(duì)這些挑戰(zhàn)，提出了一種自適應(yīng)參數(shù)凍結(jié)的新方案，通過自適應(yīng)凍結(jié)已經(jīng)穩(wěn)定的模型參數(shù)來降低通信成本，廣泛的實(shí)驗(yàn)結(jié)果證明該方案可以將數(shù)據(jù)傳輸減少60%以上。文獻(xiàn)[29]提出壓縮聯(lián)邦蒸餾(Compressed Federated Distillation，CFD)方法，利用協(xié)同蒸餾的關(guān)鍵原理，并在文本檢測(cè)等任務(wù)中，將實(shí)現(xiàn)固定性能目標(biāo)，所需的累積通信量從8 570 MB 降低至0.81 MB，極大地提高了聯(lián)邦學(xué)習(xí)過程的通信效率。

文獻(xiàn)[21]針對(duì)無線瑞利衰落信道下的聯(lián)邦學(xué)習(xí)，提出了分布式隨機(jī)梯度下降方案，在每次模型迭代時(shí)根據(jù)當(dāng)前的信道條件隨機(jī)選擇節(jié)點(diǎn)進(jìn)行參數(shù)傳輸，并基于當(dāng)前的帶寬與信道狀態(tài)將梯度量化為可以成功傳輸?shù)奈粩?shù)發(fā)送給中央服務(wù)節(jié)點(diǎn)。Chang等人[23]提出結(jié)合信道接入感知的梯度量化方案，各參與方根據(jù)所處信道條件，基于信道接入的容量區(qū)域進(jìn)行模型參與的傳輸優(yōu)化，這種基于信道感知的參數(shù)量化方案與均勻量化相比，能夠更好地利用信道提高傳輸效率，但方案需要較為精確的信道狀態(tài)信息。文獻(xiàn)[25]提出了一種FedCS算法，通過在每輪更新中利用貪心算法的協(xié)議機(jī)制選擇模型迭代效率最高的客戶端進(jìn)行模型的聚合，從而提高收斂效率，進(jìn)而降低通信代價(jià)。然而，該方案在客戶端數(shù)據(jù)非獨(dú)立同分布的情況下，公平性保證較差并有可能降低模型收斂效率，反而增加通信次數(shù)。文獻(xiàn)[26]提出在異構(gòu)邊緣設(shè)備之間進(jìn)行集成局部計(jì)算與梯度稀疏化2種通信壓縮方法，來均衡聯(lián)邦學(xué)習(xí)過程中的通信性能與設(shè)備耗電量。Ahn等[28]指出，經(jīng)典的分布式訓(xùn)練方法通常假定無噪聲且理想的無線信道，然而當(dāng)把聯(lián)邦學(xué)習(xí)下沉到網(wǎng)絡(luò)連接層時(shí)，可以基于信道編碼和聯(lián)合信源信道編碼等技術(shù)實(shí)現(xiàn)數(shù)字化的聯(lián)邦學(xué)習(xí)和聯(lián)邦蒸餾技術(shù)。聯(lián)邦蒸餾技術(shù)對(duì)于通信成本的降低都是以由局部知識(shí)蒸餾引起的計(jì)算開銷為代價(jià)的，其魯棒性與模型收斂性能等方面還存在進(jìn)一步研究的空間。

3.2 客戶端選擇與調(diào)度

在實(shí)際網(wǎng)絡(luò)進(jìn)行聯(lián)邦學(xué)習(xí)過程中，由于受限于網(wǎng)絡(luò)節(jié)點(diǎn)狀態(tài)與通信環(huán)境等，在每輪迭代訓(xùn)練中往往只選擇一部分客戶端節(jié)點(diǎn)參與聯(lián)邦訓(xùn)練過程?？蛻舳斯?jié)點(diǎn)的選擇對(duì)聯(lián)邦學(xué)習(xí)過程中計(jì)算效率、通信效率、最終模型效果及公平性等方面的影響至關(guān)重要。

文獻(xiàn)[30]采用分布式隨機(jī)梯度下降法時(shí)，局部參數(shù)更新的質(zhì)量由更新的方差來衡量?？紤]到此，提出了一種高效的動(dòng)態(tài)用戶選擇算法，根據(jù)用戶的通信和計(jì)算成本自適應(yīng)選擇參與的用戶及其小批量的數(shù)據(jù)。結(jié)果表明，針對(duì)獨(dú)立同分布數(shù)據(jù)的情況，在每輪選擇一組通信成本最低的用戶，并在下一輪中選擇更多具有較大數(shù)據(jù)量的用戶進(jìn)行模型的訓(xùn)練是最優(yōu)的。文獻(xiàn)[31]研究了無線環(huán)境下聯(lián)邦學(xué)習(xí)的客戶端調(diào)度和資源塊的分配問題，以在不完美的信道狀態(tài)信息和有限的本地計(jì)算資源下，在預(yù)定義的訓(xùn)練時(shí)限內(nèi)利用聯(lián)邦學(xué)習(xí)提高模型訓(xùn)練的性能。將訓(xùn)練損失最小化與客戶端調(diào)度和資源塊分配之間的關(guān)系抽象為隨機(jī)優(yōu)化問題，并利用李雅普諾夫優(yōu)化來求解，通過基于高斯過程回歸的信道預(yù)測(cè)方法來學(xué)習(xí)和跟蹤無線信道，從而將預(yù)測(cè)結(jié)果納入客戶端的調(diào)度決策。仿真結(jié)果表明，與最先進(jìn)的客戶端調(diào)度和資源塊分配方法相比，提出的方法將訓(xùn)練精度損失的差距減少40.7%。

隨著強(qiáng)化學(xué)習(xí)技術(shù)的發(fā)展，一些學(xué)者與研究人員開始考慮將強(qiáng)化學(xué)習(xí)用于聯(lián)邦學(xué)習(xí)的客戶端調(diào)度與策略決策過程中，在環(huán)境信息存在未知的情況下，通過強(qiáng)化學(xué)習(xí)來進(jìn)行參與節(jié)點(diǎn)的選擇，從而優(yōu)化聯(lián)邦學(xué)習(xí)長期的性能。例如，Zhang等[32]提出了在工業(yè)互聯(lián)網(wǎng)場(chǎng)景下，利用深度多智能體強(qiáng)化學(xué)習(xí)的聯(lián)邦學(xué)習(xí)來選擇參與設(shè)備，并為訓(xùn)練和傳輸模型參數(shù)分配計(jì)算和頻譜資源，從而在滿足延遲和長期能耗要求的同時(shí)最小化聯(lián)邦學(xué)習(xí)模型的評(píng)估損失。文獻(xiàn)[33]考慮了參與節(jié)點(diǎn)可以接入的信道數(shù)小于客戶端設(shè)備數(shù)的聯(lián)邦學(xué)習(xí)場(chǎng)景，并提出在無法獲知無線信道狀態(tài)信息與客戶端資源動(dòng)態(tài)使用情況的情況下，基于多臂老虎機(jī)框架在線進(jìn)行聯(lián)邦學(xué)習(xí)客戶端的選擇，從而最小化整個(gè)訓(xùn)練過程的時(shí)間消耗。仿真結(jié)果顯示，通過增加每輪參與的客戶數(shù)量可以提高理想情況下的收斂速度，但在非理想情況下，每輪參與的客戶端數(shù)量會(huì)影響模型收斂性能。文獻(xiàn)[34]提出了一種基于多準(zhǔn)則的聯(lián)邦學(xué)習(xí)客戶端選擇的方法——FedMCCS，在每一輪更新迭代中，同時(shí)考慮每個(gè)客戶端資源及其成功訓(xùn)練和發(fā)送模型更新數(shù)據(jù)量的能力，將選擇的客戶端數(shù)量最大化。

3.3 訓(xùn)練性能優(yōu)化

無線網(wǎng)絡(luò)環(huán)境下，聯(lián)邦學(xué)習(xí)模型的收斂、精確度與通信成本等需要考慮用戶數(shù)據(jù)的非獨(dú)立同分布性、設(shè)備的異質(zhì)與電量受限和通信環(huán)境不穩(wěn)定等非理想影響因素來進(jìn)行深入的評(píng)估，以及相應(yīng)的自適應(yīng)調(diào)整和優(yōu)化，例如訓(xùn)練過程中學(xué)習(xí)頻率的調(diào)整、模型自適應(yīng)聚合以及利用異步學(xué)習(xí)提高對(duì)于節(jié)點(diǎn)連接不穩(wěn)定的適應(yīng)能力等。目前針對(duì)無線聯(lián)邦學(xué)習(xí)的訓(xùn)練優(yōu)化過程，已有一些相關(guān)的研究工作出現(xiàn)。

文獻(xiàn)[35]將無線網(wǎng)絡(luò)中的聯(lián)邦學(xué)習(xí)描述為一個(gè)優(yōu)化問題，其中主要考慮聯(lián)邦學(xué)習(xí)精度、通信延遲以及用戶能耗之間的均衡，并提出了獲得最優(yōu)學(xué)習(xí)時(shí)間、精度水平和終端能量消耗的優(yōu)化問題的閉式解。文獻(xiàn)[36]通過經(jīng)驗(yàn)和數(shù)學(xué)分析觀察到設(shè)備上訓(xùn)練數(shù)據(jù)的分布與基于這些數(shù)據(jù)訓(xùn)練的模型權(quán)重之間的隱含聯(lián)系，從而根據(jù)其上傳的模型權(quán)重來分析該設(shè)備上的數(shù)據(jù)分布，并提出了一種叫做Favor的經(jīng)驗(yàn)驅(qū)動(dòng)控制框架，它基于強(qiáng)化學(xué)習(xí)算法來智能地選擇參與每一輪聯(lián)邦學(xué)習(xí)的客戶端，以抵消用戶非獨(dú)立同分布數(shù)據(jù)引入的偏差，并加速收斂速度。通過在PyTorch中進(jìn)行的大量實(shí)驗(yàn)表明，與聯(lián)邦平均算法相比，在MNIST數(shù)據(jù)集上所提算法所需的通信輪數(shù)可以減少高達(dá)49%，在FashionMNIST數(shù)據(jù)集上減少23%，在CIFAR-10數(shù)據(jù)集上減少42%。為了解決無線網(wǎng)絡(luò)中用戶訓(xùn)練數(shù)據(jù)非獨(dú)立同分布所帶來的聯(lián)邦學(xué)習(xí)性能嚴(yán)重下降的問題，Zhao等[37]提出了一種聯(lián)邦平均方案來減小非獨(dú)立同分布數(shù)據(jù)的分布散度，并將數(shù)據(jù)共享與無線網(wǎng)絡(luò)中的聯(lián)邦學(xué)習(xí)相結(jié)合，進(jìn)一步協(xié)調(diào)數(shù)據(jù)分布差異，來保持模型精度和成本之間的精確平衡。文獻(xiàn)[38]則考慮同時(shí)優(yōu)化本地訓(xùn)練與全局聚合的過程，首先通過選擇參與者子集并自適應(yīng)調(diào)整其批量大小來減輕非獨(dú)立同分布數(shù)據(jù)帶來的負(fù)面影響，并提出基于深度強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)自適應(yīng)控制局部模型訓(xùn)練和全局聚合階段的方法，通過實(shí)驗(yàn)表明，與最先進(jìn)的方法相比，所提方法可以將模型精度提高30%。

3.4 隱私保護(hù)與安全增強(qiáng)

聯(lián)邦學(xué)習(xí)過程容易受到拜占庭攻擊、數(shù)據(jù)投毒和模型反推理等攻擊的影響，從而導(dǎo)致模型準(zhǔn)確率降低或隱私保護(hù)受損等，尤其是在無線網(wǎng)絡(luò)開放的環(huán)境中[39]。目前學(xué)術(shù)界已經(jīng)出現(xiàn)針對(duì)無線網(wǎng)絡(luò)聯(lián)邦學(xué)習(xí)過程的安全與隱私增強(qiáng)相關(guān)的工作，其中安全增強(qiáng)主要是設(shè)計(jì)對(duì)攻擊的防御策略，隱私增強(qiáng)則是通過差分隱私或同態(tài)加密等機(jī)制來實(shí)現(xiàn)。

文獻(xiàn)[40]對(duì)目前針對(duì)數(shù)據(jù)投毒和模型投毒的防御策略進(jìn)行了總結(jié)，包括魯棒性更高的隨機(jī)聚合方法、基于余弦相似度和準(zhǔn)確度檢驗(yàn)等進(jìn)行模型異常檢測(cè)的方法以及多種方法結(jié)合的混合機(jī)制等。為了進(jìn)一步提高無線網(wǎng)絡(luò)下聯(lián)邦學(xué)習(xí)的隱私性能，差分隱私是在聯(lián)邦學(xué)習(xí)中應(yīng)用較多的隱私保護(hù)機(jī)制。文獻(xiàn)[41]提出無線設(shè)備以非編碼的方式同時(shí)傳輸其模型更新，從而更有效地利用可用頻譜，同時(shí)可以為傳輸設(shè)備提供差分隱私性能，并實(shí)現(xiàn)更快速的模型收斂，類似的工作也出現(xiàn)在文獻(xiàn)[42]中。利用區(qū)塊鏈的可追溯和不可篡改等優(yōu)勢(shì)，與分布式的聯(lián)邦學(xué)習(xí)相結(jié)合，可以很好地解決聯(lián)邦學(xué)習(xí)過程中網(wǎng)絡(luò)節(jié)點(diǎn)之間的不可信以及模型參數(shù)傳輸受損等問題，這一思路已經(jīng)在一些研究成果中得到應(yīng)用[13,43-44]。但無線網(wǎng)絡(luò)中節(jié)點(diǎn)計(jì)算資源和通信資源受限，需要結(jié)合密碼學(xué)和共識(shí)機(jī)制研究以更適用于無線邊緣展開聯(lián)邦學(xué)習(xí)的輕量級(jí)區(qū)塊鏈架構(gòu)。

3.5 節(jié)點(diǎn)激勵(lì)與個(gè)性化聯(lián)邦

在無線網(wǎng)絡(luò)中，聯(lián)邦學(xué)習(xí)通過分布式學(xué)習(xí)所有參與的網(wǎng)絡(luò)設(shè)備或終端設(shè)備的本地?cái)?shù)據(jù)而獲得更泛化的全局模型，但同時(shí)缺少了捕獲每個(gè)客戶端或設(shè)備個(gè)性化信息的能力。個(gè)性化聯(lián)邦學(xué)習(xí)通過在設(shè)備、數(shù)據(jù)和模型級(jí)別上進(jìn)行個(gè)性化處理，來減輕異構(gòu)性并考慮每個(gè)客戶端所獲得的個(gè)性化模型，文獻(xiàn)[45]將個(gè)性化聯(lián)邦機(jī)制總結(jié)為遷移學(xué)習(xí)[45]、元學(xué)習(xí)[46]、多任務(wù)學(xué)習(xí)[47]和分層多模型[48]等。其中，遷移學(xué)習(xí)通過將全局共享模型遷移到網(wǎng)絡(luò)邊緣設(shè)備上，并進(jìn)一步對(duì)模型進(jìn)行個(gè)性化處理，從而減輕無線網(wǎng)絡(luò)中設(shè)備之間的異構(gòu)性問題。聯(lián)邦元學(xué)習(xí)將元學(xué)習(xí)中的相似任務(wù)作為設(shè)備的個(gè)性化模型，通過協(xié)作學(xué)習(xí)實(shí)現(xiàn)客戶端模型的個(gè)性化處理。分層多模型聯(lián)邦學(xué)習(xí)中的模型采用分層結(jié)構(gòu)，首先對(duì)所有層進(jìn)行全局訓(xùn)練，每層有多個(gè)功能相同的模塊。同層的不同模塊可以使用不同的神經(jīng)網(wǎng)絡(luò)，也可以使用不同的計(jì)算學(xué)習(xí)算法。因此可以根據(jù)不同參與方的性能差異選擇不同的模塊或算法進(jìn)行個(gè)性化實(shí)現(xiàn)。

已有一些研究利用激勵(lì)機(jī)制或博弈論來對(duì)參加者進(jìn)行激勵(lì)。文獻(xiàn)[49]利用信譽(yù)值來衡量無線系統(tǒng)中移動(dòng)設(shè)備參與聯(lián)邦學(xué)習(xí)的可靠性和可信賴度的指標(biāo)，通過提出一種有效的激勵(lì)機(jī)制來激勵(lì)具有高質(zhì)量、高信譽(yù)的移動(dòng)設(shè)備參與模型訓(xùn)練過程。Zhan等[50]針對(duì)物聯(lián)網(wǎng)場(chǎng)景提出一種基于深度強(qiáng)化學(xué)習(xí)的激勵(lì)機(jī)制，使得邊緣服務(wù)器學(xué)習(xí)最優(yōu)的定價(jià)策略，從而激勵(lì)邊緣節(jié)點(diǎn)參與聯(lián)邦學(xué)習(xí)過程。

4 未來展望與發(fā)展建議

盡管關(guān)于無線網(wǎng)絡(luò)中聯(lián)邦學(xué)習(xí)的應(yīng)用目前已經(jīng)有越來越多的研究工作與落地應(yīng)用正在開展，在標(biāo)準(zhǔn)建設(shè)、架構(gòu)接口和生態(tài)建設(shè)等方面仍需要更多的投入與推進(jìn)。因此，對(duì)于無線網(wǎng)絡(luò)中聯(lián)邦學(xué)習(xí)的發(fā)展應(yīng)用提出以下建議。

4.1 加強(qiáng)無線網(wǎng)絡(luò)聯(lián)邦學(xué)習(xí)關(guān)鍵需求與技術(shù)研究

無線網(wǎng)絡(luò)中，聯(lián)邦學(xué)習(xí)的應(yīng)用受到節(jié)點(diǎn)的數(shù)據(jù)、算力與通信資源的異構(gòu)性等方面的限制，與此同時(shí)網(wǎng)絡(luò)不同設(shè)備在模型訓(xùn)練的參與度、模型個(gè)性化與安全性等方面存在多樣化需求。因此，應(yīng)加強(qiáng)對(duì)適用于網(wǎng)絡(luò)及其細(xì)分場(chǎng)景的聯(lián)邦學(xué)習(xí)應(yīng)用的開展流程、通信需求、數(shù)據(jù)需求、算力要求與所需關(guān)鍵技術(shù)的研究，重點(diǎn)開展面向聯(lián)邦學(xué)習(xí)異構(gòu)計(jì)算資源池化、調(diào)度與管理的相關(guān)研究工作。

4.2 重視無線網(wǎng)絡(luò)聯(lián)邦學(xué)習(xí)標(biāo)準(zhǔn)與測(cè)評(píng)工作開展

通過對(duì)無線網(wǎng)絡(luò)聯(lián)邦學(xué)習(xí)的功能體系、性能評(píng)估與應(yīng)用場(chǎng)景進(jìn)行標(biāo)準(zhǔn)化，可以對(duì)網(wǎng)絡(luò)聯(lián)邦學(xué)習(xí)的應(yīng)用起到引導(dǎo)作用。開展網(wǎng)絡(luò)聯(lián)邦學(xué)習(xí)的標(biāo)準(zhǔn)化與測(cè)評(píng)工作，應(yīng)重點(diǎn)關(guān)注網(wǎng)絡(luò)應(yīng)用聯(lián)邦學(xué)習(xí)形成的智能化產(chǎn)品及新服務(wù)模式的相關(guān)標(biāo)準(zhǔn)化工作，發(fā)展網(wǎng)絡(luò)聯(lián)邦學(xué)習(xí)的性能評(píng)估指標(biāo)體系與安全評(píng)估體系，建立無線通信領(lǐng)域聯(lián)邦學(xué)習(xí)能力成熟度模型，推動(dòng)無線通信領(lǐng)域聯(lián)邦學(xué)習(xí)的評(píng)測(cè)用例與性能基準(zhǔn)的開源建設(shè)。

4.3 加快無線網(wǎng)絡(luò)聯(lián)邦學(xué)習(xí)落地應(yīng)用與產(chǎn)業(yè)發(fā)展

聯(lián)邦學(xué)習(xí)在無線網(wǎng)絡(luò)中的應(yīng)用優(yōu)勢(shì)最終需要落地實(shí)踐來證明，因此無線網(wǎng)絡(luò)中聯(lián)邦學(xué)習(xí)的發(fā)展需要積極開展工程探索與應(yīng)用示范，拓展垂直領(lǐng)域聯(lián)邦學(xué)習(xí)應(yīng)用，并展開對(duì)網(wǎng)絡(luò)聯(lián)邦學(xué)習(xí)的試驗(yàn)與性能驗(yàn)證，發(fā)展實(shí)踐與驗(yàn)證渠道。發(fā)展無線網(wǎng)絡(luò)與人工智能技術(shù)相關(guān)的復(fù)合型人才，推動(dòng)未來網(wǎng)絡(luò)與人工智能的融合發(fā)展，助力網(wǎng)絡(luò)智能化發(fā)展。

5 結(jié)束語

人工智能當(dāng)前面臨“數(shù)據(jù)孤島”及隱私監(jiān)管力度加大的巨大挑戰(zhàn)，聯(lián)邦學(xué)習(xí)的出現(xiàn)為人工智能的進(jìn)一步發(fā)展提供了新的解決方案。通過聯(lián)邦學(xué)習(xí)的架構(gòu)方案設(shè)計(jì)及隱私保護(hù)技術(shù)應(yīng)用，可使多個(gè)數(shù)據(jù)擁有方協(xié)同建立共享模型，達(dá)到模型訓(xùn)練與隱私保護(hù)雙贏的目的。聯(lián)邦學(xué)習(xí)在未來的網(wǎng)絡(luò)自動(dòng)駕駛、邊緣計(jì)算、物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、用戶體驗(yàn)提升以及垂直行業(yè)等領(lǐng)域具備廣闊的應(yīng)用前景。通過開展電信聯(lián)邦學(xué)習(xí)在技術(shù)、標(biāo)準(zhǔn)、測(cè)評(píng)、應(yīng)用示范與產(chǎn)業(yè)合作等多方面的工作，推動(dòng)無線網(wǎng)絡(luò)聯(lián)邦學(xué)習(xí)的發(fā)展，加速人工智能技術(shù)的創(chuàng)新發(fā)展，催生以運(yùn)營商為中心的跨領(lǐng)域生態(tài)合作，全面提升網(wǎng)絡(luò)性能，推動(dòng)網(wǎng)絡(luò)的內(nèi)生智能。