摘 要:異構(gòu)聯(lián)邦學習(heterogeneous federated learning,HFL)是一種用于解決數(shù)據(jù)和設(shè)備異構(gòu)性問題的分布式機器學習方法,廣泛應用于包括無人系統(tǒng)在內(nèi)的多種場景。隨著無人系統(tǒng)(如無人機、自動駕駛車輛)的快速發(fā)展,如何有效應對非獨立同分布(non-IID)數(shù)據(jù)及設(shè)備計算能力差異,已成為提升聯(lián)邦學習效率和性能的重要挑戰(zhàn)。綜述了異構(gòu)聯(lián)邦學習在無人系統(tǒng)中的最新研究進展,重點分析了數(shù)據(jù)、設(shè)備及模型異構(gòu)性帶來的主要問題,并總結(jié)了現(xiàn)有的解決方案,如分層聯(lián)邦學習、模型壓縮與剪枝技術(shù)在此領(lǐng)域的應用。還討論了這些技術(shù)的實際應用場景,評估了它們的優(yōu)缺點,并提出了未來可能的研究方向,以進一步提升無人系統(tǒng)中的聯(lián)邦學習性能和數(shù)據(jù)隱私保護水平。
關(guān)鍵詞:聯(lián)邦學習; 異構(gòu)性; 無人系統(tǒng); 非獨立同分布; 數(shù)據(jù)隱私
中圖分類號:TP399"" 文獻標志碼:A
文章編號:1001-3695(2025)03-001-0641-09
doi:10.19734/j.issn.1001-3695.2024.07.0256
Review of research on heterogeneous federated learning in unmanned systems
Yu Hao1,2, Fan Jing1,2, Sun Yihang1,2
(1.College of Electrical amp; Information Technology, Yunnan Minzu University, Kunming 650000, China; 2. Yunnan Key Laboratory of Unmanned Autonomous System, Kunming 650500, China)
Abstract:HFL is a distributed machine learning approach designed to address the challenges of data and device heterogeneity, applicable to various domains, including unmanned systems. As unmanned systems(e.g., drones and autonomous vehicles) continue to evolve, efficiently handling non-independent and identically distributed(non-IID) data and the computational differences between devices has become a critical challenge for improving the performance and efficiency of federated learning. This paper reviewed recent advances in HFL within unmanned systems, focusing on the challenges posed by data, device, and model heterogeneity, and summarized existing solutions, such as hierarchical federated learning, model compression, and pruning techniques. The paper also discussed practical applications of these techniques, evaluated their strengths and limitations, and proposed future research directions to further enhance the performance of federated learning in unmanned systems and improve data privacy protection.
Key words:federated learning; heterogeneity; unmanned systems; non-IID; data privacy
隨著科技的飛速發(fā)展,無人駕駛飛行器(UAVs)和無人駕駛汽車等無人系統(tǒng)在現(xiàn)代社會中的應用越來越廣泛。無人系統(tǒng)不僅在民用領(lǐng)域如物流配送、農(nóng)田監(jiān)控和環(huán)境監(jiān)測中發(fā)揮著關(guān)鍵作用,在軍事領(lǐng)域也擁有重要的戰(zhàn)略地位。為了提升無人系統(tǒng)的智能化水平,人工智能(AI)和機器學習(ML)技術(shù)的引入成為不可避免的趨勢。
傳統(tǒng)的機器學習方法依賴于將大量數(shù)據(jù)傳輸?shù)郊惺降脑品掌鬟M行訓練,這種方法存在數(shù)據(jù)隱私泄露的風險,且會帶來不可接受的通信延遲和巨大的帶寬消耗[1]。聯(lián)邦學習作為一種新興的分布式機器學習范式,通過在終端設(shè)備上訓練局部模型并僅傳輸更新后的模型參數(shù),有效地保護了數(shù)據(jù)隱私,減少了延遲,并降低了帶寬消耗[2]。
然而,聯(lián)邦學習在實際應用中面臨一個重大挑戰(zhàn),即數(shù)據(jù)和設(shè)備間的異構(gòu)性?,F(xiàn)實中的數(shù)據(jù)往往是非獨立同分布(non-IID)的,不同設(shè)備在計算能力、存儲能力、網(wǎng)絡(luò)帶寬以及本地模型復雜程度方面也存在顯著差異[3]。這些異構(gòu)性對傳統(tǒng)聯(lián)邦學習提出了新的挑戰(zhàn),使其難以在無人系統(tǒng)中有效應用。例如,在無人機網(wǎng)絡(luò)中,由于不同無人機采集的數(shù)據(jù)具有不同的分布特性,而不同無人機的硬件資源也存在差異,這導致傳統(tǒng)聯(lián)邦學習方法的性能受到限制[4]。
為了解決上述問題,異構(gòu)聯(lián)邦學習(HFL)應運而生。HFL通過考慮數(shù)據(jù)和設(shè)備間的異構(gòu)性,優(yōu)化了聯(lián)邦學習的算法和架構(gòu),使其能夠更好地適應復雜多變的無人系統(tǒng)環(huán)境[5]。本文將系統(tǒng)地綜述異構(gòu)聯(lián)邦學習在無人系統(tǒng)中的研究背景,異構(gòu)性的分類,分析現(xiàn)有的解決方案,并探討未來的研究方向。
通過深入研究異構(gòu)聯(lián)邦學習并將其應用于無人系統(tǒng),不僅可以提升無人系統(tǒng)的智能化水平,實現(xiàn)更高效的任務執(zhí)行和更安全的系統(tǒng)運行,還可以為未來更多領(lǐng)域的智能化應用提供借鑒和指導。異構(gòu)聯(lián)邦學習的成功應用將有助于推動無人系統(tǒng)技術(shù)的發(fā)展,并帶來深遠的社會和經(jīng)濟效益。
1 研究背景
無人系統(tǒng)作為未來智能化的重要發(fā)展方向,涉及大規(guī)模終端設(shè)備的協(xié)同工作。聯(lián)邦學習作為一種前沿的分布式機器學習,與這一背景相結(jié)合,為無人系統(tǒng)領(lǐng)域提供了新的應用機會。本章將詳細介紹研究背景及相關(guān)概念。
1.1 無人系統(tǒng)
無人系統(tǒng)(unmanned systems,US)是指無須人類直接操作,通過自主或遠程控制技術(shù)實現(xiàn)任務執(zhí)行的系統(tǒng)。這些系統(tǒng)涵蓋了無人機(UAVs)、無人駕駛汽車(UAVs)、無人船舶(USVs)等多種類型。無人系統(tǒng)通常由感知、決策、執(zhí)行和通信等多個子系統(tǒng)組成,通過協(xié)同工作完成特定任務。
無人系統(tǒng)在軍事、環(huán)境監(jiān)測、物流運輸、農(nóng)業(yè)等領(lǐng)域有廣泛的應用。它們能夠在復雜、多變的環(huán)境中高效執(zhí)行任務,減少人類在危險環(huán)境中的暴露,提升任務執(zhí)行的安全性和效率。隨著現(xiàn)代人工智能技術(shù)的發(fā)展,無人系統(tǒng)的智能化水平也不斷提高,實現(xiàn)了更高效和自主的任務執(zhí)行。
然而,無人系統(tǒng)在實際應用中面臨著重大挑戰(zhàn),主要包括實時通信所需的巨大資源需求以及數(shù)據(jù)隱私保護的必要性。為了解決這些問題,提升無人系統(tǒng)的智能化水平和任務執(zhí)行能力,各種新技術(shù)和方法不斷被提出。聯(lián)邦學習以其去中心化的通信架構(gòu)和強大的隱私保護特性,成為了研究的熱點。其在數(shù)據(jù)隱私保護和分布式計算方面的顯著優(yōu)勢,在無人系統(tǒng)領(lǐng)域引起了廣泛關(guān)注[6]。
1.2 聯(lián)邦學習
FL最早由Google公司的Brendan McMahan等研究人員在2016年提出。其初衷是解決隱私泄露問題,通過分布式的方法將模型分布到各個終端設(shè)備,各終端獨立建立模型,然后僅傳遞模型參數(shù)或梯度,確保數(shù)據(jù)不出本地,從而保護隱私。
聯(lián)邦學習的基本原理是在本地設(shè)備上進行模型訓練,然后將模型參數(shù)聚合到中央服務器進行更新,實現(xiàn)數(shù)據(jù)共享而不泄露原始數(shù)據(jù),如圖1所示。
通常,聯(lián)邦學習的一個輪次可分為以下四個階段:
a)下發(fā)更新:中央服務器將上一輪聚合全局模型參數(shù)W(t)下發(fā)給各個客戶端,進入下一輪訓練。
b)本地訓練:每個客戶端i使用本地數(shù)據(jù)集Di在當前的全局模型參數(shù)W(t)上進行本地訓練,得到更新后的本地模型參數(shù)Wi(t+1) 。
c)上傳參數(shù):各客戶端將本地模型參數(shù)Wi(t+1)上傳到中央服務器。
d)參數(shù)聚合:中央服務器進行參數(shù)聚合,得到新的全局模型參數(shù)W(t+1)。最常用的參數(shù)聚合方法是加權(quán)平均(如Fed-Avg算法):
W(t+1)=∑Ki=1ninWi(t+1)
(1)
其中:K為參與聯(lián)邦學習的客戶端數(shù)量;ni為客戶端i本地數(shù)據(jù)集Di大?。籲是所有客戶端數(shù)據(jù)樣本的總數(shù)。
聯(lián)邦學習的優(yōu)化目標是通過協(xié)作達到全局最優(yōu),即最小化全局損失函數(shù)。該損失函數(shù)定義為所有客戶端損失的加權(quán)平均:
argminWF(W)=∑Ki=1piFi(w)
(2)
其中:F(W)是全局損失函數(shù);Pi和Fi(w)分別為客戶端i的權(quán)重系數(shù)以及局部損失函數(shù)。
通過以上步驟,聯(lián)邦學習實現(xiàn)了多數(shù)據(jù)源的協(xié)同訓練。各客戶端在本地數(shù)據(jù)上獨立訓練模型,并將更新后的模型參數(shù)上傳至中央服務器。中央服務器對所有客戶端的模型參數(shù)進行加權(quán)平均,生成新的全局模型參數(shù),并下發(fā)給各客戶端,開始下一輪訓練。這一過程確保了數(shù)據(jù)隱私保護,同時充分利用各客戶端的計算資源和數(shù)據(jù),提高了模型的泛化能力和準確性。
1.3 聯(lián)邦學習的局限性
當前研究中,聯(lián)邦學習在無人系統(tǒng)中已經(jīng)展示出一些實際應用并帶來了顯著優(yōu)勢。Wang等人[7]研究突出了聯(lián)邦學習在無人機群體中隱私保護方面的優(yōu)勢,通過在本地設(shè)備上進行模型訓練,有效避免了數(shù)據(jù)泄露的風險。此外,Shen等人[8]在資源受限車聯(lián)網(wǎng)研究表明,聯(lián)邦學習在減少通信開銷方面也具有顯著優(yōu)勢,能夠在分布式系統(tǒng)中高效進行模型訓練和更新。
然而,盡管無人系統(tǒng)與聯(lián)邦學習的結(jié)合展現(xiàn)出巨大的潛力,實際應用中面臨著重大挑戰(zhàn)。Yang等人[9]指出,異構(gòu)終端設(shè)備可能會顯著降低模型性能,并增加訓練過程中的收斂時間。在極端的異質(zhì)環(huán)境中,聯(lián)邦學習甚至可能無法有效收斂,從而導致全局模型性能顯著下降。此外,不同類型的無人系統(tǒng)在數(shù)據(jù)特征和分布上存在顯著差異,執(zhí)行任務的種類和需求也各異。最后,無人系統(tǒng)在計算能力、存儲能力和通信帶寬方面的差異,也對異構(gòu)聯(lián)邦學習在無人系統(tǒng)中的應用提出了挑戰(zhàn),這些差異迫使研究者深入探討如何有效應用異構(gòu)聯(lián)邦學習技術(shù)。
2 異構(gòu)聯(lián)邦學習在無人系統(tǒng)的分類
異構(gòu)聯(lián)邦學習是建立在聯(lián)邦學習基礎(chǔ)上的一種技術(shù),專注于解決參與方之間數(shù)據(jù)、設(shè)備或模型的異構(gòu)性差異問題。其中,異構(gòu)性是指系統(tǒng)中存在的多樣性和差異性。在聯(lián)邦學習的背景下,無人系統(tǒng)中的異構(gòu)性主要體現(xiàn)在數(shù)據(jù)、設(shè)備和模型三個方面,如圖2所示。
2.1 數(shù)據(jù)異構(gòu)性
數(shù)據(jù)異構(gòu)性(data heterogeneity)指各客戶端本地數(shù)據(jù)的分布存在顯著差異。分散式無人網(wǎng)絡(luò)中的終端設(shè)備采集的數(shù)據(jù)具有非獨立同分布(non-IID)的特性,這種非IID性可能由以下因素引起:a)數(shù)據(jù)類別差異,即不同客戶端擁有不同的目標類別標簽;b)樣本數(shù)量不均衡,即不同客戶端的訓練樣本數(shù)量存在顯著差異[10]。Li等人[11]指出,統(tǒng)計異質(zhì)性是導致聯(lián)邦學習在應用過程中公平性與魯棒性約束之間緊張關(guān)系的主要原因。
ACIFL(address class imbalance in federated learning)將聯(lián)邦學習中的數(shù)據(jù)不平衡問題分為局部不平衡與全局不平衡的概念[12]。局部不平衡,指各方數(shù)據(jù)分布呈現(xiàn)非獨立同分布(non-IID)的特性,各本地數(shù)據(jù)集的各類樣本分布不均衡,而全局不平衡指若將各方數(shù)據(jù)匯總,數(shù)據(jù)則整體呈現(xiàn)出不平衡的性質(zhì),例如長尾分布[13]。這些情況可能會降低聯(lián)邦學習的性能,本地數(shù)據(jù)的異質(zhì)分布使得本地模型在不同的更新方向上遠離全局目標,從而使全局模型在匯聚更新時遠離全局目標,如圖3所示。而整體數(shù)據(jù)的長尾分布則注定了全局模型的性能將會偏向于多數(shù)類樣本[14]。
在無人系統(tǒng)中,數(shù)據(jù)異構(gòu)性由多種因素導致。不同的數(shù)據(jù)源會產(chǎn)生不同的特征,因為客戶端可能從多種來源獲取數(shù)據(jù)。例如,在無人機系統(tǒng)中,不同區(qū)域的地理數(shù)據(jù)和環(huán)境數(shù)據(jù)可能存在顯著差異,而不同傳感器的采集方式和精度也會導致數(shù)據(jù)的異質(zhì)性[15]。此外,無人系統(tǒng)執(zhí)行的任務類型多樣化也會導致數(shù)據(jù)差異。一些無人機可能專注于監(jiān)控和偵察,而另一些可能用于物資運輸,這些任務的多樣性都會導致采集到的數(shù)據(jù)在特征和分布上的差異[16]。最后,終端能力的限制也是一個重要因素。不同無人系統(tǒng)在計算能力、存儲能力和通信帶寬方面存在差異,一些較先進的無人機配備高性能傳感器和計算單元,其可以收集優(yōu)質(zhì)信息,而較老舊或低性能的設(shè)備則可能只能采集較低分辨率的數(shù)據(jù)[17]。
數(shù)據(jù)異構(gòu)性會對聯(lián)邦學習的模型訓練過程產(chǎn)生顯著影響。由于全局模型需要適應多種不同的數(shù)據(jù)分布,訓練過程更加復雜,可能導致模型收斂速度變慢,甚至出現(xiàn)模型性能下降以及發(fā)散情況[18]。
2.2 設(shè)備異構(gòu)性
設(shè)備異構(gòu)性(device heterogeneity)指的是參與聯(lián)邦學習的各客戶端設(shè)備在計算能力、存儲容量和網(wǎng)絡(luò)帶寬等方面存在差異。
客戶端強異構(gòu)性是區(qū)別聯(lián)邦學習和數(shù)據(jù)中心分布式機器學習的關(guān)鍵特性。計算能力差異和網(wǎng)絡(luò)帶寬差異帶來最顯著的一點是掉隊者問題[19]。掉隊者是指在同步聯(lián)邦學習協(xié)議中, 因網(wǎng)絡(luò)分區(qū)或資源受限等原因, 某一客戶端回傳本地模型參數(shù)的時間遠遠落后于其余客戶端, 大幅度降低了整體聯(lián)邦訓練的效率。此外,文獻[20]表明,容量有限的微小模型往往會出現(xiàn)擬合不足而不是擬合過度的問題,這對于異構(gòu)問題中的儲存差異是一個顯著挑戰(zhàn)。
不同類型無人系統(tǒng)設(shè)備的處理器性能、內(nèi)存容量和計算能力通常存在顯著差異。無人駕駛汽車和無人機的硬件配置可能大不相同,前者通常具備更強的計算能力和存儲容量。其次,不同設(shè)備的存儲容量限制會影響本地數(shù)據(jù)的存儲和處理能力。例如,邊緣設(shè)備和物聯(lián)網(wǎng)設(shè)備通常具有較小的存儲容量,難以存儲大規(guī)模數(shù)據(jù)。最后,不同設(shè)備的網(wǎng)絡(luò)連接狀況可能不同,導致通信帶寬和延遲存在差異。處于遠程地區(qū)的無人設(shè)備可能面臨較高的網(wǎng)絡(luò)延遲和較低的帶寬,影響數(shù)據(jù)傳輸和模型同步[21]。
設(shè)備異構(gòu)性會影響聯(lián)邦學習的整體效率和性能。計算能力較弱或網(wǎng)絡(luò)條件較差的設(shè)備可能成為訓練過程中的瓶頸,導致全局模型更新速度變慢或通信開銷增加。解決設(shè)備異構(gòu)性的問題,需要設(shè)計高效的分布式算法和通信策略,以充分利用各設(shè)備的資源,提高聯(lián)邦學習的魯棒性和適應性。
2.3 模型異構(gòu)性
模型異構(gòu)性(model heterogeneity)指的是不同客戶端可能需要使用不同的模型架構(gòu)或參數(shù)配置,以適應各自的任務需求和硬件限制。
模型異構(gòu)性使得聯(lián)邦學習的協(xié)同訓練過程更加復雜。不同的模型架構(gòu)和參數(shù)配置需要不同的訓練策略和優(yōu)化方法,增加了模型訓練的復雜性[22]。輕量級模型可能需要更頻繁地進行本地更新,而較復雜的模型則可能需要更多的全局同步。另外,由于各客戶端的模型架構(gòu)不同,最終的全局模型可能無法同時適應所有客戶端的數(shù)據(jù)分布和任務需求,這可能導致全局模型的性能下降,尤其是在處理多任務學習或遷移學習場景時[23]。
在多任務學習或遷移學習場景中,各客戶端可能需要不同的模型結(jié)構(gòu)來處理各自的特定任務。無人駕駛系統(tǒng)中的不同車輛可能執(zhí)行目標檢測、路徑規(guī)劃和交通監(jiān)控等不同任務[24]。不同設(shè)備的硬件配置和資源限制也可能要求使用不同的模型架構(gòu)。計算能力較低的設(shè)備可能需要輕量級模型,而計算能力較強的設(shè)備可以使用復雜的深度學習模型。最后,不同客戶端的用戶需求和偏好可能導致對模型進行個性化調(diào)整。在個性化推薦系統(tǒng)中,不同用戶的興趣和行為模式不同,需要針對性地調(diào)整模型參數(shù)和結(jié)構(gòu)。
模型異構(gòu)性使得聯(lián)邦學習的協(xié)同訓練過程更加復雜。解決模型異構(gòu)性的問題,需要開發(fā)靈活的聯(lián)邦學習框架和優(yōu)化算法,以支持多樣化的模型架構(gòu)和個性化需求。
異構(gòu)性是聯(lián)邦學習中的一個重要特征和挑戰(zhàn)。數(shù)據(jù)異構(gòu)性、設(shè)備異構(gòu)性和模型異構(gòu)性各自帶來了不同的問題,但也為聯(lián)邦學習提供了豐富的研究機會。通過設(shè)計針對異構(gòu)性的優(yōu)化算法和架構(gòu),可以顯著提升聯(lián)邦學習的性能和適用性,為無人系統(tǒng)等領(lǐng)域的智能化應用提供堅實的基礎(chǔ)和廣闊的發(fā)展前景。
3 現(xiàn)有解決方案與比較
在異構(gòu)聯(lián)邦學習中,研究者提出了應對數(shù)據(jù)、設(shè)備和模型異構(gòu)性的多種方案。以下將從數(shù)據(jù)異構(gòu)性、設(shè)備異構(gòu)性和模型異構(gòu)性三個方面詳細探討這些方案在無人系統(tǒng)中的應用及其實際價值,尤其是無人機和車聯(lián)網(wǎng)領(lǐng)域中的優(yōu)勢和挑戰(zhàn)。
3.1 數(shù)據(jù)異構(gòu)性的解決方案
在無人系統(tǒng)中,數(shù)據(jù)通常具有非獨立同分布(non-IID)的特性。例如,無人機在不同環(huán)境(如城市、鄉(xiāng)村、海洋)中采集的數(shù)據(jù)差異顯著,這對模型訓練構(gòu)成了挑戰(zhàn)。為解決數(shù)據(jù)異構(gòu)性問題,研究者提出了一系列優(yōu)化策略,以提高模型在非IID環(huán)境下的表現(xiàn)。
3.1.1 本地訓練優(yōu)化
本地訓練優(yōu)化的核心目標是在異構(gòu)數(shù)據(jù)環(huán)境下,通過調(diào)整本地數(shù)據(jù)集和優(yōu)化訓練過程,增強本地模型與全局模型的一致性,從而減少因數(shù)據(jù)分布差異導致的模型偏差,提升全局模型的性能與魯棒性。
為應對數(shù)據(jù)分布差異帶來的挑戰(zhàn),調(diào)控本地數(shù)據(jù)集的一種常見策略是數(shù)據(jù)共享。文獻[25]提出了一種設(shè)定共享比例的策略,將各節(jié)點的一部分數(shù)據(jù)放入共享數(shù)據(jù)池,供其他節(jié)點在本地訓練時使用,從而減小局部數(shù)據(jù)間的分布差異,增強模型的泛化能力。在車聯(lián)網(wǎng)環(huán)境中,文獻[26]提出的FedWO策略則通過路側(cè)邊緣服務器(RSU)抽取部分車輛數(shù)據(jù)進行共享,并采用基于余弦相似度的加權(quán)聚合技術(shù),有效減少了數(shù)據(jù)異質(zhì)性對全局模型的負面影響。但在軍事或其他隱私敏感的領(lǐng)域,數(shù)據(jù)共享可能引發(fā)隱私泄露的風險。為此,Liang等人[27]建議將聯(lián)邦學習與交通模擬器相結(jié)合,通過模擬環(huán)境下訓練強化學習(RL)模型,避免直接共享原始數(shù)據(jù),從而有效應對數(shù)據(jù)異構(gòu)性問題,同時保證數(shù)據(jù)隱私的安全性。
除了數(shù)據(jù)共享,動態(tài)學習率調(diào)整也是提升本地訓練效率的關(guān)鍵手段。文獻[28]提出了一種適用于無人機集群的自適應學習率調(diào)整方法,通過動態(tài)優(yōu)化節(jié)點的學習過程,提升異構(gòu)環(huán)境下的模型表現(xiàn)。該方法根據(jù)節(jié)點的訓練狀態(tài)調(diào)整學習率,確保了在不均衡設(shè)備環(huán)境中的快速模型收斂。而文獻[29]進一步提出了一種模型重要性加權(quán)的隨機梯度下降算法,通過賦予重要參數(shù)更大的更新步長,加速全局模型的收斂,幫助無人機更快適應未知環(huán)境。盡管這些方法有效提高了訓練效率和模型精度,但在計算資源受限的設(shè)備上,可能會增加系統(tǒng)開銷。因此,未來研究應重點探索低計算和低通信負載的優(yōu)化策略,以適應無人系統(tǒng)中的資源限制,在性能和能耗之間取得平衡。
3.1.2 聚合策略調(diào)整
在無人系統(tǒng)的聯(lián)邦學習中,優(yōu)化聚合策略是提升全局模型性能的關(guān)鍵。合理的模型參數(shù)聚合方式能夠有效應對設(shè)備任務、環(huán)境和特性差異,從而緩解因異構(gòu)性引發(fā)的全局模型性能下降,尤其在無人機、車聯(lián)網(wǎng)等多設(shè)備協(xié)作場景中表現(xiàn)尤為重要。
在非IID數(shù)據(jù)場景中,傳統(tǒng)的FedAvg方法主要根據(jù)節(jié)點數(shù)據(jù)量評估其貢獻,這可能導致權(quán)重分配不均。例如,城市中的無人機可能采集大量低質(zhì)量數(shù)據(jù),從而影響整體模型性能。為了解決這個問題,Liu等人[30]提出了FedVa加權(quán)策略,該策略綜合考慮數(shù)據(jù)量和模型精度,優(yōu)化設(shè)備權(quán)重分配,從而顯著提升全局模型的準確性。然而,隨著設(shè)備集群規(guī)模的擴大,該方法的計算復雜度也隨之增加,在資源受限的無人系統(tǒng)中,模型精度的精確估計仍然面臨挑戰(zhàn)。
為了進一步應對數(shù)據(jù)分布差異,重新加權(quán)目標函數(shù)是一種有效的解決方案。在邊境無人機執(zhí)行巡防偵察任務時,這一策略能夠確保數(shù)據(jù)有限的節(jié)點貢獻不被忽視。文獻[31]提出了一種為損失較大的設(shè)備分配更高權(quán)重的策略,這樣可以確保數(shù)據(jù)不足的節(jié)點得到更多關(guān)注,從而改善異構(gòu)數(shù)據(jù)下的模型表現(xiàn)。文獻[32]則進一步提出了一種考慮客戶端重要性和可靠性的重新加權(quán)方法,通過動態(tài)調(diào)整客戶端權(quán)重,提高了模型的整體性能和穩(wěn)定性。重新加權(quán)目標函數(shù)的方法在提升模型性能和公平性方面效果顯著,但需要準確評估各戶端的損失和貢獻度,實施過程中可能面臨復雜性和計算成本問題。
針對數(shù)據(jù)異?;蛲ㄐ胖袛嘁l(fā)的挑戰(zhàn),剔除異常節(jié)點的聚合機制尤為重要。Chen等人[33]提出了異常感知梯度聚合規(guī)則,通過相對距離度量和局部梯度時間演化來識別異常節(jié)點并動態(tài)調(diào)整其權(quán)重。這一方法在無人車隊和無人機集群的復雜環(huán)境下表現(xiàn)出色,能夠有效減少因設(shè)備故障或數(shù)據(jù)異常導致的模型偏差。在車輛網(wǎng)場景,文獻[34]則進一步提出自動異常檢測機制,動態(tài)自動識別和處理異常車輛,顯著提高了模型的穩(wěn)定性和準確性。雖然剔除異常設(shè)備有助于穩(wěn)定模型,但也可能導致精度損失,因此未來研究需要關(guān)注如何在保障模型精度的同時有效應對異常節(jié)點的影響。
此外,聚類加權(quán)聚合也是應對數(shù)據(jù)異質(zhì)性的有效策略,尤其適用于具有不同傳感器的無人機集群。通過將數(shù)據(jù)特性相似的設(shè)備聚類,并對聚類內(nèi)的模型進行加權(quán)平均,可以顯著提升模型的泛化能力,增強系統(tǒng)在復雜場景下的適應性。文獻[35]提出了聚類加權(quán)方法,將數(shù)據(jù)特性相似的設(shè)備進行聚類,對每個聚類內(nèi)的模型進行加權(quán)平均,進一步提升了異構(gòu)環(huán)境中的模型表現(xiàn)。
3.1.3 操縱無人設(shè)備選擇模式
在無人系統(tǒng)的聯(lián)邦學習中,優(yōu)化客戶端選擇是提升全局模型訓練效率和精度的一種解決思路。通過篩選高質(zhì)量設(shè)備,可以確保所選設(shè)備更好地反映整體數(shù)據(jù)分布。對于在車聯(lián)網(wǎng)和無人機集群等多設(shè)備協(xié)同工作環(huán)境中,這有助于顯著提高模型性能。
為應對無人設(shè)備間資源不均衡和數(shù)據(jù)分布異質(zhì)性問題,已有多種客戶端選擇策略被提出。文獻[36]提出一種通過聚合服務器篩選客戶端的機制,避免低質(zhì)量設(shè)備的參與,從而加速聯(lián)邦訓練并提高模型精度。該方法尤其適用于計算能力較弱的無人機,能夠排除低效設(shè)備,減少通信和計算開銷,且無須修改同步協(xié)議,與隱私保護機制兼容。同樣,王光輝等人[37]提出了基于代理選舉的異構(gòu)聯(lián)邦學習方法(FedAE),通過評估設(shè)備的計算能力和閑置時長,選擇高性能設(shè)備作為代理節(jié)點,從而減少低性能設(shè)備的影響并優(yōu)化資源分配。實驗結(jié)果顯示,F(xiàn)edAE在無人系統(tǒng)中的訓練效率提升約22%,特別適用于高效調(diào)度和資源優(yōu)化的場景。
在動態(tài)場景中,無人機集群對通信敏感度和實時性要求尤為嚴格。Wu等人[38]提出FedOL結(jié)合在線學習與聯(lián)邦學習,使無人機能夠在新場景中快速更新樣本并提高模型準確性。該方法允許服務器選擇高效參與者,客戶端無人機則優(yōu)先處理關(guān)鍵樣本,從而減少訓練延遲并提升性能。實驗表明,F(xiàn)edOL在通信資源有限的環(huán)境中加速訓練速度約1.02倍。
對于長時間自主運行的無人機網(wǎng)絡(luò),能耗管理是一個關(guān)鍵挑戰(zhàn)。文獻[39]提出了節(jié)能客戶端選擇(ESCS)算法,該算法擴展了RAWCS算法,通過評估訓練時間、電池電量和能耗,優(yōu)化客戶端選擇,既保證了模型性能,又最大化了能源效率,避免因設(shè)備掉線導致的精度下降。然而,這種方法需要實時監(jiān)控設(shè)備能耗,從而增加了系統(tǒng)管理的復雜性和成本。
在車聯(lián)網(wǎng)中,高移動性和數(shù)據(jù)異質(zhì)性進一步增加了客戶端選擇的復雜性。Zhao等人[40]提出了一種專門為車聯(lián)網(wǎng)設(shè)計的客戶端選擇機制,結(jié)合盡力而為的培訓策略與多標準貢獻評價法,篩選高質(zhì)量車輛參與訓練,有效提升了設(shè)備頻繁變動和通信資源有限情況下的聯(lián)邦學習性能[41]。
為了進一步提高客戶端選擇策略的魯棒性和適應性,文獻[42]提出了一種基于聯(lián)邦強化學習客戶端選擇策略,通過智能調(diào)整選擇過程,以應對無人機集群中的設(shè)備差異性和動態(tài)性。強化學習方法能夠優(yōu)化客戶端選擇,提升模型性能和收斂速度。然而,由于強化學習對計算資源的需求較高,如何在資源受限的設(shè)備中有效應用仍然是未來的研究挑戰(zhàn)。
3.2 設(shè)備異構(gòu)性的解決方案
設(shè)備異構(gòu)性是異構(gòu)聯(lián)邦學習中的核心挑戰(zhàn)之一,尤其在無人系統(tǒng)中,不同設(shè)備的計算能力、存儲容量和通信帶寬存在顯著差異。這些硬件限制給聯(lián)邦學習中的模型協(xié)同訓練帶來了復雜性,特別是在無人駕駛汽車與低功耗無人機之間的性能差異尤為明顯。為應對這些挑戰(zhàn),研究者提出了多種解決方案,如計算能力感知、模型壓縮與剪枝以及分層策略,以提升系統(tǒng)性能并優(yōu)化資源利用。
3.2.1 計算能力感知
計算能力感知技術(shù)旨在通過動態(tài)調(diào)整模型訓練和任務分配,以確保無人系統(tǒng)中的設(shè)備資源得到最優(yōu)利用。在無人機集群中,設(shè)備的計算能力差異顯著,低功耗無人機通常因與高性能設(shè)備承擔相同任務而效率低下。為此,Mishra等人[43]提出了一種異構(gòu)計算能力感知的聯(lián)邦學習框架,該框架根據(jù)無人機的計算能力動態(tài)分配任務,從而提升了多設(shè)備參與訓練時的效率。然而,當設(shè)備間的計算能力差距過大時,任務分配不均衡可能導致低算力設(shè)備過載,進而影響系統(tǒng)的整體效率。
為應對這一問題,Shkurti等人[44]提出了一種自適應聯(lián)邦學習算法,該算法能夠?qū)崟r監(jiān)測無人機的計算能力和資源使用情況,并動態(tài)調(diào)整模型參數(shù)和任務分配。盡管這種實時監(jiān)測機制優(yōu)化了任務分配,但也增加了系統(tǒng)的復雜性和管理成本。此外,在高頻交互的場景中,監(jiān)測精度和時延可能會對算法的實際表現(xiàn)產(chǎn)生影響。
與此同時,F(xiàn)edNorm算法[45]可允許無人駕駛車輛和低功耗無人機根據(jù)其計算能力執(zhí)行不同的局部訓練迭代,從而進一步緩解設(shè)備間計算能力差異帶來的問題。該算法通過累積局部迭代的平均梯度來更新全局模型,打破了固定迭代次數(shù)的限制,然而,在大規(guī)模系統(tǒng)中,累積大量梯度可能導致較高的計算和內(nèi)存開銷,從而對系統(tǒng)資源構(gòu)成額外負擔。
文獻[46]進一步提出了一種結(jié)合聯(lián)邦學習與深度強化學習(DRL)的車對萬物(V2X)通信智能資源分配方案。該方案通過感知自身計算能力并對動態(tài)任務分配,優(yōu)化了不同計算能力設(shè)備的資源使用,兼顧延遲和可靠性需求。這一策略有效幫助不同設(shè)備更好地協(xié)調(diào)訓練任務,提升了系統(tǒng)整體性能,同時減少了因設(shè)備異構(gòu)性引發(fā)的資源浪費。
3.2.2 模型壓縮與剪枝
無人系統(tǒng)中的設(shè)備在計算能力、存儲容量和通信帶寬方面存在顯著差異,這給系統(tǒng)的計算、存儲和通信帶來了巨大挑戰(zhàn)。為應對這些問題,模型壓縮與剪枝技術(shù)通過降低計算復雜度、減少存儲需求和提升模型效率,促進了異構(gòu)設(shè)備在聯(lián)邦學習中的協(xié)同工作。
Han等人[47]提出了初始訓練、基于權(quán)重重要性的移除和微調(diào)三步剪枝方法。這種方法通過移除冗余權(quán)重,使得計算能力較弱的低功耗無人機也能運行復雜的深度學習模型。以AlexNet和VGG-16為例,分別減少了9倍和13倍的權(quán)重,極大提升了異構(gòu)設(shè)備間的協(xié)作效率。這一技術(shù)在無人機網(wǎng)絡(luò)中尤為關(guān)鍵,有助于在有限的硬件資源下,確保任務的順利執(zhí)行和模型性能的平衡。此外,文獻[48]在自動駕駛場景中采用動態(tài)結(jié)構(gòu)化剪枝,通過調(diào)整剪枝閾值刪除不重要的神經(jīng)元,壓縮了深度強化學習(DRL)模型的93%神經(jīng)元,且僅帶來極小的精度損失,為無人系統(tǒng)中的高效計算奠定了基礎(chǔ)。
為了進一步優(yōu)化資源利用,Hinton等人[49]提出了一種基于知識蒸餾的聯(lián)邦學習框架。該框架通過將復雜教師模型的知識傳遞給簡化的學生模型,實現(xiàn)了模型壓縮,減少了計算和存儲的開銷。在車聯(lián)網(wǎng)集群中,該方法有效降低了低計算能力設(shè)備的通信負擔,適合資源受限的設(shè)備協(xié)同工作。然而,該方法可能導致模型的計算時間增加,尤其在要求低延遲和高可靠性的車聯(lián)網(wǎng)環(huán)境中,這種額外的延遲可能不利于實時性要求較高的任務。為解決這一問題,文獻[50]提出了一種優(yōu)化剪枝率和通信輪次的技術(shù),確保在有限的通信時間內(nèi)平衡模型的準確性和延遲。
面對計算資源受限與數(shù)據(jù)異質(zhì)性的問題,文獻[51]提出了針對社交網(wǎng)絡(luò)數(shù)據(jù)收集的時空智能無人機軌跡優(yōu)化方法。通過減少冗余數(shù)據(jù)的收集并動態(tài)調(diào)整模型結(jié)構(gòu),該方法有效降低了無人機的能量消耗,優(yōu)化了其計算與資源利用。Jiang等人[52]進一步提出了動態(tài)剪枝技術(shù),該技術(shù)能夠根據(jù)無人機和車聯(lián)網(wǎng)等邊緣設(shè)備的資源動態(tài)變化實時調(diào)整剪枝率,從而有效減少計算和存儲需求。文獻[53]還提出了一種基于主成分分析(PCA)的技術(shù),該技術(shù)應用于交通流預測(TFP)任務中,減少了無人駕駛汽車與服務器之間的數(shù)據(jù)傳輸量,顯著降低了通信成本。結(jié)合貝葉斯優(yōu)化動態(tài)調(diào)整客戶端權(quán)重,該方法在帶寬受限的無人系統(tǒng)中顯著加快了聯(lián)邦學習的收斂過程,并減少了通信開銷。
在隱私敏感的無人系統(tǒng)中(如軍事領(lǐng)域),數(shù)據(jù)安全尤為重要。文獻[54]提出了一種結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(CNN)與方向梯度直方圖的差分隱私保護方法,通過利用梯度剪裁和高斯噪聲添加,既能確保數(shù)據(jù)隱私,又能減少隱私保護機制對模型性能的負面影響。這種方法在軍用無人設(shè)備中的應用尤為廣泛,能夠在保障隱私的前提下維持較高的模型性能。
3.2.3 分層聯(lián)邦學習
在無人系統(tǒng)中,由于設(shè)備類型、計算能力和通信帶寬的差異,設(shè)備異構(gòu)性問題尤為突出。邊緣計算技術(shù)通過分散計算任務,減輕中心服務器的負擔并降低通信開銷,已成為解決設(shè)備異構(gòu)性的一項有效手段,進而提升系統(tǒng)的整體性能和可靠性。
為應對無人系統(tǒng)中的設(shè)備異構(gòu)性,研究者提出了云-邊-端協(xié)同的雙重聯(lián)邦學習方法[55,56]。該方法首先在終端設(shè)備上進行K1輪的本地訓練,然后將更新后的模型傳遞至邊緣服務器,在邊緣服務器上進行K2次模型聚合后,再上傳至云端服務器。這種多層結(jié)構(gòu)有效減少了終端設(shè)備與云端服務器之間的高成本通信,對于需要高帶寬低延時支持的應用場景,如無人機集群、無人車隊和水下傳感器網(wǎng)絡(luò)等非常契合。盡管這一策略僅帶來了輕微的性能損失,但顯著減少了異構(gòu)設(shè)備直接通信的需求,緩解了設(shè)備性能差異對訓練效率的負面影響。
文獻[57]提出了一種針對數(shù)據(jù)分布不均的分層聯(lián)邦學習系統(tǒng),專門設(shè)計用于無人系統(tǒng)場景中的多樣化設(shè)備。該系統(tǒng)在車聯(lián)網(wǎng)場景中可以實時動態(tài)將自身模型上傳到最近的邊緣RSU服務器,優(yōu)化資源分配。這一策略顯著提升了模型訓練效率。然而,隨著系統(tǒng)規(guī)模的不斷擴大,如何在分層架構(gòu)下確保模型的一致性和穩(wěn)定性仍是一個關(guān)鍵挑戰(zhàn)。
針對設(shè)備性能差異較大的問題,Chai等人[58]提出了基于性能分層的聯(lián)邦學習方法。該方法將設(shè)備按照性能進行分層,并僅選擇同層設(shè)備參與訓練。對于海上無人系統(tǒng),如海上無人機、水下機器人和低功耗傳感器等異構(gòu)設(shè)備,這種分層訓練策略能夠有效減少因設(shè)備掉線或訓練中斷導致的性能損失,提升系統(tǒng)的整體穩(wěn)定性。然而,設(shè)備頻繁掉線或任務中斷依然可能對系統(tǒng)的魯棒性產(chǎn)生不利影響。
為了進一步提升分層聯(lián)邦學習在異構(gòu)環(huán)境中的適應性,文獻[59]提出了一種數(shù)據(jù)重要性感知的分層聯(lián)邦學習(DHFL)方案。該方案依據(jù)設(shè)備的計算能力,并通過計算本地數(shù)據(jù)的梯度范數(shù)對數(shù)據(jù)的重要性進行評估,從而進行資源的動態(tài)分配,旨在優(yōu)化帶寬利用效率,降低訓練延遲和能耗。在資源受限的傳感器網(wǎng)絡(luò)中,在一些大型的無人設(shè)備集群中,該方法展現(xiàn)出顯著的性能優(yōu)勢。然而,當處理高維度數(shù)據(jù)時,DHFL方案的計算復雜度顯著增加,可能對其在實時應用中的效能產(chǎn)生不利影響,限制其在高維環(huán)境中的應用潛力。
3.2.4 異步聯(lián)邦學習
在設(shè)備異構(gòu)環(huán)境下,傳統(tǒng)的聯(lián)邦學習要求所有設(shè)備同步完成本地訓練,但這種同步機制在低性能設(shè)備參與時容易導致資源利用效率低下,特別是在車聯(lián)網(wǎng)和無人系統(tǒng)中,性能較慢的設(shè)備常常成為系統(tǒng)瓶頸。為解決這一問題,異步聯(lián)邦學習允許每個客戶端在完成本地訓練后,立即將更新的模型參數(shù)發(fā)送至中心服務器進行聚合,無須等待其他設(shè)備同步完成,從而避免了低性能設(shè)備拖慢整體訓練進度[60]。
FedLoop算法[61]作為一種半異步聯(lián)邦學習方法,在車聯(lián)網(wǎng)環(huán)境中,通過建立自動駕駛車輛間的閉環(huán)連接,使本地模型可以直接傳遞給其他客戶端,從而減少了對中心服務器頻繁參與模型聚合的依賴,僅在最后一輪集中聚合區(qū)域內(nèi)所有車輛的模型,這一方法在車聯(lián)網(wǎng)等大規(guī)模集群通信中顯著降低了通信延遲和時間開銷。
在異步聯(lián)邦學習中,設(shè)備性能差異可能引發(fā)更新延遲,尤其是在車聯(lián)網(wǎng)場景中。為此,F(xiàn)edAsync機制[62]提出結(jié)合數(shù)據(jù)量和陳舊性雙重因素,當區(qū)域內(nèi)的無人車輛在RSU側(cè)異步更新全局模型時,該機制利用數(shù)據(jù)量權(quán)重β和陳舊性因子α來決定模型權(quán)重。陳舊性因子為單調(diào)遞減的反比例函數(shù),隨著邊緣無人車輛上傳的模型版本落后輪次增加而減少。這種機制有效緩解了模型陳舊問題,顯著提升了模型聚合效率。
文獻[63]通過結(jié)合異步聯(lián)邦學習與深度強化學習(DRL),在車聯(lián)網(wǎng)中提出了一種移動感知的邊緣緩存策略。該方法通過利用異步聯(lián)邦學習框架進行堆疊自動編碼器(SAE)的本地更新和全局聚合,增強了模型預測熱門內(nèi)容的能力,有效應對了車聯(lián)網(wǎng)中不確定的時空流量需求。通過與深度強化學習相結(jié)合,提出的智能緩存決策不僅減少了通信開銷,還顯著提升了邊緣緩存命中率。該研究表明,異步聯(lián)邦學習能夠在不依賴同步機制的情況下提升系統(tǒng)性能,特別是在處理高度動態(tài)和復雜的車聯(lián)網(wǎng)環(huán)境中。
盡管異步聯(lián)邦學習在提高訓練效率方面表現(xiàn)優(yōu)異,但在大規(guī)模異構(gòu)系統(tǒng)中,設(shè)備頻繁通信與更新可能導致參數(shù)失配,影響模型的收斂穩(wěn)定性。因此,未來研究需進一步探索如何在保持異步更新高效性的同時,確保模型的一致性與穩(wěn)定性,以推動其在復雜異構(gòu)無人系統(tǒng)中的廣泛應用。
3.3 模型異構(gòu)性的解決方案
在聯(lián)邦學習中,由于無人設(shè)備的本地資源限制和局部數(shù)據(jù)差異,不同任務和設(shè)備對模型架構(gòu)和性能的需求不同,進而引發(fā)了模型異構(gòu)性問題。為應對此挑戰(zhàn),研究者提出了多種技術(shù)來應對這些差異,模型共享與個性化模型訓練技術(shù)尤其在緩解模型異構(gòu)性方面展現(xiàn)出了出色的效果。
3.3.1 模型共享與傳遞
模型共享與傳遞技術(shù)通過在設(shè)備間傳遞模型知識和參數(shù),緩解了無人系統(tǒng)中的模型異構(gòu)性問題,增強了模型在異構(gòu)環(huán)境中的泛化能力和適應性。對于無人系統(tǒng)中的異構(gòu)設(shè)備(如高性能無人車與低功耗無人機),該技術(shù)有效利用設(shè)備的局部信息來優(yōu)化全局模型,減輕因計算能力和數(shù)據(jù)分布差異帶來的影響,從而提升系統(tǒng)的整體性能。
Tanmoy等人[64]提出了一種基于模型共享的聯(lián)邦學習框架,通過設(shè)備間的模型參數(shù)傳遞與共享,提升了異構(gòu)環(huán)境下模型的表現(xiàn)。在多種無人系統(tǒng)中,如無人機集群、無人地面車輛和水下無人機網(wǎng)絡(luò),該方法表現(xiàn)尤為出色。設(shè)備無須進行復雜的獨立模型訓練,即可通過共享模型來優(yōu)化任務執(zhí)行,顯著提高了系統(tǒng)的協(xié)作效率,減少了由于計算和通信資源不足而引發(fā)的性能瓶頸。
Noguchi等人[65]進一步探索了基于遷移學習的模型共享技術(shù),提出了一種能夠顯著提升模型適應性與泛化能力的框架。借助遷移學習的知識共享機制,設(shè)備可以利用其他設(shè)備的已有模型經(jīng)驗進行優(yōu)化,進而提升任務協(xié)作效率與資源利用率。
最后,文獻[66]提出的聯(lián)邦遷移學習方法結(jié)合了遷移學習與聯(lián)邦學習的優(yōu)勢。通過根據(jù)設(shè)備的計算能力(如無人車和無人機的算力)將其分為低、中、高三類設(shè)備,該方法為不同層級的設(shè)備預設(shè)合適的模型進行訓練。分層策略有效平衡了不同算力設(shè)備的負載,尤其提高了低算力設(shè)備的參與度和訓練效率。然而,在復雜多樣的應用場景中,預設(shè)模型可能難以充分適應多樣化任務的需求,限制了模型精度和泛化能力的進一步提升。
3.3.2 個性化模型訓練
個性化模型訓練允許每個設(shè)備根據(jù)其本地數(shù)據(jù)特性和計算資源動態(tài)調(diào)整模型結(jié)構(gòu)與參數(shù),從而優(yōu)化異構(gòu)設(shè)備之間的模型性能。在多類型無人設(shè)備中,個性化模型訓練對提升模型的適應性和魯棒性至關(guān)重要。這一方法不僅有效應對了設(shè)備間數(shù)據(jù)分布的差異,還增強了系統(tǒng)在異構(gòu)環(huán)境中的擴展性和靈活性。
Zhang等人[67]提出了一種針對無人機集群的個性化聯(lián)邦學習方法,允許設(shè)備根據(jù)其計算能力和本地數(shù)據(jù)實時調(diào)整模型結(jié)構(gòu),從而優(yōu)化全局模型與本地模型的協(xié)調(diào)。在無人機集群中,不同設(shè)備的任務需求和功耗限制各不相同,通過靈活調(diào)整模型結(jié)構(gòu),設(shè)備能夠高效執(zhí)行特定任務。這種個性化訓練策略顯著提高了異構(gòu)設(shè)備的性能,減少了因設(shè)備差異導致的模型失衡問題,增強了系統(tǒng)整體的性能和適應性。
進一步地,Zheng等人[68]提出一種個性化聯(lián)邦學習框架,使得設(shè)備可以在訓練過程中動態(tài)調(diào)整模型參數(shù)和優(yōu)化策略,以適應不同任務的需求。該框架支持多樣化任務場景,如海底探測、空中監(jiān)控和車隊協(xié)同等,使無人設(shè)備能夠根據(jù)具體任務靈活調(diào)整模型結(jié)構(gòu)和訓練策略。通過這種動態(tài)調(diào)整,確保了模型在復雜異構(gòu)環(huán)境中的高效性和魯棒性,顯著提升了系統(tǒng)應對設(shè)備頻繁掉線或通信不穩(wěn)定等問題的容錯能力,尤其在資源受限的場景中表現(xiàn)出色。
總體而言,個性化模型訓練技術(shù)極大提升了聯(lián)邦學習系統(tǒng)在異構(gòu)無人設(shè)備中的協(xié)同效率,降低了因設(shè)備資源不均衡對訓練效果的負面影響,進一步增強了系統(tǒng)的擴展性和任務執(zhí)行的精度。這一技術(shù)在面對多樣化任務需求和復雜環(huán)境時,展現(xiàn)出了強大的適應能力,為無人系統(tǒng)的高效運行提供了有力支持。
本節(jié)討論了聯(lián)邦學習在無人系統(tǒng)中應對異構(gòu)性挑戰(zhàn)的解決方案,包括數(shù)據(jù)、設(shè)備和模型的異構(gòu)性問題及優(yōu)化策略。表1總結(jié)了這些解決方案及其應用場景。所提出的方法顯著提高了系統(tǒng)的魯棒性、計算效率和適應性,成功應對了分布式設(shè)備的異構(gòu)數(shù)據(jù)分布、硬件差異和個性化任務需求。
盡管已有進展,無人系統(tǒng)在實際應用中仍面臨挑戰(zhàn),例如模型壓縮與剪枝技術(shù)需要優(yōu)化以應對資源受限場景,系統(tǒng)兼容性需提高,現(xiàn)有解決方案的擴展性和自適應能力仍需增強。未來的研究應集中于這些挑戰(zhàn),探索多種解決方案的整合應用,推動異構(gòu)聯(lián)邦學習技術(shù)在無人機集群、車聯(lián)網(wǎng)等多設(shè)備協(xié)同場景中的廣泛應用。
4 未來展望
異構(gòu)聯(lián)邦學習在無人系統(tǒng)中的應用能夠有效應對多種異構(gòu)性挑戰(zhàn),為聯(lián)邦學習技術(shù)的進一步推廣提供了重要支持。隨著技術(shù)的不斷進步和應用需求的增加,異構(gòu)聯(lián)邦學習將在多個方面展現(xiàn)出巨大的潛力和發(fā)展空間。下面將對未來的研究方向和應用前景進行展望。
4.1 未來研究方向
1)進一步提升多模態(tài)數(shù)據(jù)融合技術(shù)
未來的無人系統(tǒng)將面臨復雜多變的任務場景,不同任務往往對模型架構(gòu)和參數(shù)配置提出截然不同的要求。研究重點應聚焦于自適應和動態(tài)模型調(diào)整,以應對這些差異。通過自動化神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索(NAS)[69]以及元學習[70]等技術(shù),模型能夠根據(jù)實時任務需求和環(huán)境變化靈活調(diào)整,從而顯著增強無人系統(tǒng)的適應性與決策能力。
2)強化隱私保護與安全機制
隨著無人系統(tǒng)在敏感領(lǐng)域(如軍事、醫(yī)療和工業(yè))中的廣泛部署,數(shù)據(jù)隱私和安全問題愈發(fā)凸顯。盡管聯(lián)邦學習能夠減少原始數(shù)據(jù)的暴露,防止隱私泄露,但某些高級推斷技術(shù)仍然能夠推測出敏感信息[71]。因此,未來研究需要進一步探索結(jié)合差分隱私、同態(tài)加密及安全多方計算等方法,確保數(shù)據(jù)的安全性與隱私保護,從而增強用戶對無人系統(tǒng)的信任。
3)高效通信與資源管理策略
在聯(lián)邦學習的應用中,通信帶寬和延遲始終是關(guān)鍵挑戰(zhàn),尤其在無人駕駛汽車和無人機這類對實時性要求高的系統(tǒng)中,過高的延遲可能導致任務失敗。未來研究應致力于優(yōu)化通信協(xié)議、引入模型壓縮與稀疏化傳輸?shù)燃夹g(shù),減少模型更新時的通信負荷。同時,分布式計算和分層模型聚合策略能夠提升資源的有效利用率,并加速模型同步過程,進一步提升系統(tǒng)的整體性能。
4.2 應用方向展望
1)低空經(jīng)濟的發(fā)展與應用
隨著無人機技術(shù)的快速發(fā)展,低空經(jīng)濟逐漸成為智能城市和現(xiàn)代經(jīng)濟的重要組成部分。低空經(jīng)濟通常指利用1 000米以下的低空空域進行的一系列經(jīng)濟活動,廣泛應用于物流配送[72]、城市監(jiān)控[73]和農(nóng)業(yè)巡檢[74]等場景。在這些場景中,聯(lián)邦學習具有廣闊的應用前景,特別是在解決無人機集群異構(gòu)性問題上展現(xiàn)出顯著優(yōu)勢。通過聯(lián)邦學習,無人機能夠在無須傳輸原始數(shù)據(jù)的情況下協(xié)同學習,顯著提高低空作業(yè)的效率。
低空經(jīng)濟中的無人機需要應對大量分散且異構(gòu)的數(shù)據(jù)源,如不同的城市環(huán)境、氣候條件和建筑結(jié)構(gòu)等。無人機在計算能力、通信帶寬等方面存在顯著差異,這些因素為協(xié)同作業(yè)帶來了挑戰(zhàn)。異構(gòu)聯(lián)邦學習為這一復雜環(huán)境提供了解決方案,能夠幫助無人機根據(jù)其各自的資源狀況優(yōu)化學習策略,確保任務的高效執(zhí)行。如在城市物流場景下,部分無人機可能由于電池續(xù)航能力不足或計算資源有限,難以長時間工作。通過資源調(diào)度優(yōu)化,異構(gòu)聯(lián)邦學習能夠有效減少這些差異對任務完成的影響。
此外,聯(lián)邦學習去中心化的架構(gòu)減少了對中心服務器的依賴,顯著降低了通信成本,這對于低空經(jīng)濟中的實時任務尤為重要。隨著低空經(jīng)濟的不斷發(fā)展,聯(lián)邦學習將在無人機管理、城市物流、環(huán)境監(jiān)控等領(lǐng)域發(fā)揮關(guān)鍵作用,為智能城市的建設(shè)提供重要技術(shù)支持。
2)跨領(lǐng)域協(xié)作與應用擴展
未來,聯(lián)邦學習的應用場景將進一步拓展,不再局限于無人系統(tǒng),擴展至多個智能設(shè)備之間的協(xié)同工作。例如,聯(lián)邦學習可以與智能交通系統(tǒng)相結(jié)合,通過多種交通設(shè)備間的數(shù)據(jù)協(xié)同與學習,優(yōu)化交通流量管理和車聯(lián)網(wǎng)系統(tǒng)的效率[75]。同樣,聯(lián)邦學習也能夠用于智能家居系統(tǒng),多個智能設(shè)備能夠在保持隱私的前提下共享信息,提升家庭自動化和能源管理的整體性能。
5 結(jié)束語
異構(gòu)聯(lián)邦學習在無人系統(tǒng)中的應用展現(xiàn)出廣闊前景,特別是在應對數(shù)據(jù)、設(shè)備和模型異構(gòu)性方面發(fā)揮了重要作用。本文系統(tǒng)總結(jié)了相關(guān)研究進展,分析了現(xiàn)有技術(shù)在提升協(xié)同學習能力、保障數(shù)據(jù)隱私和優(yōu)化資源利用方面的優(yōu)勢。然而,隨著應用場景的復雜性增加,當前技術(shù)在降低通信開銷和優(yōu)化個性化模型訓練等方面仍有提升空間。
未來,隨著低空經(jīng)濟和智能交通等領(lǐng)域的發(fā)展,異構(gòu)聯(lián)邦學習將在無人系統(tǒng)中發(fā)揮更關(guān)鍵的作用。通過持續(xù)的算法優(yōu)化和系統(tǒng)創(chuàng)新,無人系統(tǒng)的智能化水平將不斷提升,為復雜環(huán)境中的應用提供強有力的技術(shù)支持,推動智能社會的實現(xiàn)。
參考文獻:
[1]Kushwaha D, Redhu S, Hegde R M. Low latency federated learning over wireless edge networks via efficient bandwidth allocation[C]//Proc of the 8th World Forum on Internet of Things. Piscataway, NJ: IEEE Press, 2022: 1-6.
[2]Sharma S, Guleria K. A federated learning mechanism for preserving security of sensitive data[C]//Proc of the 4th International Confe-rence on Data Analytics for Business and Industry. Piscataway, NJ: IEEE Press, 2023: 1-5.
[3]Yu Miri, Kwon O K, Oh S. Addressing client heterogeneity in synchronous federated learning: the CHAFL approach[C]//Proc of the 29th International Conference on Parallel and Distributed Systems. Piscataway, NJ: IEEE Press, 2023: 2804-2805.
[4]Deng Yuchen, Yan Xin. Federated learning on heterogeneous opportunistic networks[C]//Proc of the 5th International Seminar on Artificial Intelligence, Networking and Information Technology. Pisca-taway, NJ: IEEE Press, 2024: 447-451.
[5]He Wenji, Yao Haipeng, Mai Tianle, et al. Three-stage Stackelberg game enabled clustered federated learning in heterogeneous UAV swarms[J]. IEEE Trans on Vehicular Technology, 2023, 72(7): 9366-9380.
[6]邱曉慧, 楊波, 趙孟晨, 等. 聯(lián)邦學習安全防御與隱私保護技術(shù)研究[J]. 計算機應用研究, 2022, 39(11): 3220-3231. (Qiu Xiaohui, Yang Bo, Zhao Mengchen, et al. Survey on federated learning security defense and privacy protection technology[J]. Application Research of Computers, 2022, 39(11): 3220-3231.)
[7]Wang Rui, Liu Xin, Xie Liang, et al. Privacy-preserving incentive scheme design for UAV-enabled federated learning[C]//Proc of IEEE Wireless Communications and Networking Conference. Pisca-taway, NJ: IEEE Press, 2024: 1-6.
[8]Shen Shuaiqi, Yu Chong, Zhang Kuan, et al. Communication-efficient federated learning for connected vehicles with constrained resources[C]//Porc of International Wireless Communications and Mobile Computing. Piscataway, NJ: IEEE Press, 2021: 1636-1641.
[9]Yang Chengxu, Xu Mengwei, Wang Qipeng, et al. FLASH: heterogeneit-aware federated learning at scale[J]. IEEE Trans Mobile Computing, 2022, 23(1): 483-500.
[10]McMahan H B, Moore E, Ramage D, et al. Communication-efficient learning of deep networks from decentralized data[EB/OL]. (2016-02-17). https://arxiv.org/abs/1602.05629.
[11]Li Tian, Sahu A K, Talwalkar A, et al. Federated learning: challenges, methods, and future directions[J]. IEEE Signal Processing Magazine, 2020,37(3): 50-60.
[12]Hamidi S M, Tan Renhao, Ye Linfeng, et al. Fed-IT: addressing class imbalance in federated learning through an information-theoretic lens[C]//Proc of IEEE International Symposium on Information Theory. Piscataway, NJ: IEEE Press, 2024: 1848-1853.
[13]Kairouz P, McMahan H B, Avent B, et al. Advances and open problems in federated learning[J]. Foundations and Trends in Machine Learning, 2021,14(1-2): 214-217.
[14]Zhong Yaoyao, Deng Weihong, Wang Mei, et al. Unequal-training for deep face recognition with long-tailed noisy data[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2019: 7804-7813.
[15]Gong Zijun, Li Cheng, Jiang Fan, et al. Design, analysis, and field testing of an innovative drone-assisted zero-configuration localization framework for wireless sensor networks[J]. IEEE Trans on Vehicular Technology, 2017, 66(11): 10322-10335.
[16]Jünger F, Schopferer S, Benders S, et al. Talking to autonomous drones: command and control based on hierarchical task decomposition[C]//Proc of International Conference on Unmanned Aircraft Systems. Piscataway, NJ: IEEE Press, 2021: 968-977.
[17]Sawa T, Sato K, Watari K. Remote control of underwater drone by fiber-coupled underwater optical wireless communication[C]//Proc of OCEANS 2022. Piscataway, NJ: IEEE Press, 2022: 1-6.
[18]Novikova E S, Chen Yang, Meleshko A V. Evaluation of data heterogeneity in FL environment[C]//Proc of XXVII International Confe-rence on Soft Computing and Measurements. Piscataway, NJ: IEEE Press, 2024: 344-347.
[19]Wang Jianyu, Charles Z, Xu Zheng, et al. A field guide to federated optimization[EB/OL]. (2021-07-14). https://arxiv.org/abs/2107.06917.
[20]Cai Han, Gan Chuang, Lin Ji, et al. Network augmentation for tiny deep learning[EB/OL]. (2022-04-24). https://arxiv.org/abs/2110.08890.
[21]Wang Hongyi, Yurochkin M, Sun Yuekai, et al. Federated learning with matched averaging[EB/OL]. (2020-02-15). https://arxiv.org/abs/2002.06440.
[22]Tang Runtian, Jiang Mingyue. Enhancing federated learning: transfer learning insights[C]//Proc of the 3rd International Conference on Electrical Engineering, Big Data and Algorithms. Piscataway, NJ: IEEE Press, 2024: 1358-1362.
[23]Fan Wenhao, Su Yi, Liu Jie, et al. Joint task offloading and resource allocation for vehicular edge computing based on V2I and V2V modes[J]. IEEE Trans on Intelligent Transportation Systems, 2023, 24(4): 4277-4292.
[24]Matolak D W, Wu Q. Channel models for V2V communications: a comparison of different approaches[C]//Proc of the 5th European Conference on Antennas and Propagation. Piscataway, NJ: IEEE Press, 2011: 2891-2895.
[25]張紅艷, 張玉, 曹燦明. 一種解決數(shù)據(jù)異構(gòu)問題的聯(lián)邦學習方法[J]. 計算機應用研究, 2024, 41(3): 713-720. (Zhang Hong-yan, Zhang Yu, Cao Canming. Effective method to solve problem of data heterogeneity in federated learning[J]. Application Research of Computers, 2024, 41(3): 713-720.)
[26]唐曉嵐, 梁煜婷, 陳文龍. 面向非獨立同分布數(shù)據(jù)的車聯(lián)網(wǎng)多階段聯(lián)邦學習機制[J]. 計算機研究與發(fā)展, 2024, 61(9): 2170-2184. (Tang Xiaolan, Liang Yuting, Chen Wenlong. Multi-stage federated learning mechanism with non-IID data in Internet of vehicles[J]. Journal of Computer Research and Development, 2024,61(9): 2170-2184.)
[27]Liang Xinle, Liu Yang, Chen Tianjian, et al. Federated transfer reinforcement learning for autonomous driving[M]//Razavi-Far R, Wang B, Taylor M E, et al. Federated and Transfer Learning. Cham: Springer, 2022: 357-371.
[28]Kundroo M, Kim T. Efficient federated learning with adaptive client-side hyper-parameter optimization[C]//Proc of the 43rd International Conference on Distributed Computing Systems. Piscataway, NJ: IEEE Press, 2023: 973-974.
[29]Zhu Zheqi, Shi Yuchen, Fan Pingyi, et al. ISFL: federated learning for non-IID. data with local importance sampling[J]. IEEE Internet of Things Journal, 2024, 11(16): 27448-27462.
[30]Liu Chunming, Alghazzawi D M, Cheng Li, et al. Disentangling client contributions: improving federated learning accuracy in the pre-sence of heterogeneous data[C]//Proc of IEEE Intl Conf on Parallel amp; Distributed Processing with Applications, Big Data amp; Cloud Computing, Sustainable Computing amp; Communications, Social Computing amp; Networking. Piscataway, NJ: IEEE Press, 2023: 381-387.
[31]Cho Y J, Wang Jianyu, Joshi G. Client selection in federated lear-ning: convergence analysis and power-of-choice selection strategies[EB/OL]. (2020-10-03). https://arxiv.org/abs/2010.01243.
[32]Bhatti D M S, Nam H. A robust aggregation approach for heterogeneous federated learning[C]//Proc of Fourteenth International Confe-rence on Ubiquitous and Future Networks. Piscataway, NJ: IEEE Press, 2023: 300-304.
[33]Chen Zheng, Hu C H, Larsson E G. Anomaly-aware federated lear-ning with heterogeneous data[C]//Proc of IEEE International Confe-rence on Autonomous Systems. Piscataway, NJ: IEEE Press, 2021: 1-5.
[34]Qayyum T, Trabelsi Z, Tariq A, et al. Flexible global aggregation and dynamic client selection for federated learning in Internet of Vehicles[J]. Computers, Materials amp; Continua, 2023, 77(2): 1739-1757.
[35]Luo Yibo, Liu Xuefeng, Xiu Jianwei. Energy-efficient clustering to address data heterogeneity in federated learning[C]//Proc of IEEE International Conference on Communications. Piscataway, NJ: IEEE Press, 2021: 1-6.
[36]Bonawitz K, Ivanov V, Kreuter B, et al. Practical secure aggregation for privacy-preserving machine learning[C]//Proc of ACM SIGSAC Conference on Computer and Communications Security. New York: ACM Press, 2017: 1175-1191.
[37]王光輝, 白天水, 丁爽, 等. 基于代理選舉的高效異構(gòu)聯(lián)邦學習方法[J]. 計算機應用研究, 2024, 41(3): 688-693. (Wang Guanghui, Bai Tianshui, Ding Shuang, et al. Efficient and heterogeneous federated learning based on agent election[J]. Application Research of Computers, 2024, 41(3): 688-693.)
[38]Wu Feiyu, Qu Yuben, Wu Tao, et al. Participant and sample selection for efficient online federated learning in UAV swarms[J]. IEEE Internet of Things Journal, 2024, 11(12): 21202-21214.
[39]Maciel F, de Souza A M, Bittencourt L F, et al. Federated learning energy saving through client selection[J]. Pervasive and Mobile Computing, 2024, 103: 101948.
[40]Zhao Zhiyi, Xiang Tianao, Bi Yuanguo, et al. A novel multi-criteria contribution evaluation scheme for federated learning in Internet of vehicles[C]//Proc of the 15th International Conference on Communication Software and Networks. Piscataway, NJ: IEEE Press, 2023: 319-325.
[41]Zhao H, Zhang S, Liu M. FedGCS: Generative client selection for federated learning[C]//Proc of AAAI Spring Symposium Series. Palo Alto, CA: AAAI Press, 2024: 156-167.
[42]Peng Yubo, Jiang Feibo, Tu Siwei, et al. Dynamic client scheduling enhanced federated learning for UAVs[J]. IEEE Wireless Communications Letters, 2024, 13(7): 1998-2002.
[43]Mishra R, Gupta H P, Banga G, et al. Fed-RAC: resource-aware clustering for tackling heterogeneity of participants in federated lear-ning[J]. IEEE Trans on Parallel and Distributed Systems, 2024, 35(7): 1207-1220.
[44]Shkurti L, Selimi M. BACA: bandwidth and CPU-aware adaptive federated learning for wireless environments[C]//Proc of the 13th Mediterranean Conference on Embedded Computing. Piscataway, NJ: IEEE Press, 2024: 1-5.
[45]Lian Zirui, Liu Weihong, Cao Jing, et al. FedNorm: an efficient federated learning framework with dual heterogeneity coexistence on edge intelligence systems[C]//Proc of the 40th International Conference on Computer Design. Piscataway, NJ: IEEE Press, 2022: 619-626.
[46]Zhang Xinran, Peng Mugen, Yan Shi, et al. Deep-reinforcement-learning-based mode selection and resource allocation for cellular V2X communications[J]. IEEE Internet of Things Journal, 2020, 7(7): 6380-6391.
[47]Han Song, Pool J, Tran J, et al. Learning both weights and connections for efficient neural networks[EB/OL]. (2015-10-30). https://arxiv.org/abs/1506.02626.
[48]Su Wensheng, Li Zhenni, Xu Minrui, et al. Compressing deep reinforcement learning networks with a dynamic structured pruning method for autonomous driving[J]. IEEE Trans on Vehicular Technology, 2024, 99: 1-15.
[49]Hinton G, Vinyals O, Dean J. Distilling the knowledge in a neural network[EB/OL]. (2015-05-09). https://arxiv.org/abs/1503.02531.
[50]Wang Dawei, Hsieh C K, Chan Kunlin, et al. Model pruning for wireless federated learning with heterogeneous channels and devices[C]//Proc of VTS Asia Pacific Wireless Communications Symposium. Piscataway, NJ: IEEE Press, 2023: 1-5.
[51]Liu Xiao, Song Houbing, Liu Anfeng. Intelligent UAVs trajectory optimization from space-time for data collection in social networks[J]. IEEE Trans on Network Science and Engineering, 2021, 8(2): 853-864.
[52]Jiang Yuang, Wang Shiqiang, Valls V, et al. Model pruning enables efficient federated learning on edge devices[J]. IEEE Trans on Neural Networks and Learning Systems, 2023, 34(12): 10374-10386.
[53]Zang Lu, Qin Yang, Li Ruonan. Traffic flow prediction based on federated learning with joint PCA compression and Bayesian optimization[C]//Proc of IEEE International Conference on Systems, Man, and Cybernetics. Piscataway, NJ: IEEE Press, 2022: 3330-3335.
[54]Ling Jie, Zheng Junchang, Chen Jiahui. Efficient federated learning privacy preservation method with heterogeneous differential privacy[J]. Computers amp; Security, 2024, 139: 103715.
[55]Luo Long, Zhang Chi, Yu Hongfang, et al. Communication-efficient federated learning with adaptive aggregation for heterogeneous client-edge-cloud network[J/OL]. IEEE Trans on Services Computing, (2024-05-10). http://doi.org/10.1109/tsc.2024.3399649.
[56]Liu Lumin, Zhang Jun, Song S H, et al. Client-edge-cloud hierarchical federated learning[C]//Proc of IEEE International Conference on Communications. Piscataway, NJ: IEEE Press, 2020: 1-6.
[57]Li Yang, Xu Xiaolong, Huang Gengjun, et al. VSFL: trajectory prediction framework based on validity-aware semi-asynchronous federated learning in Internet of Vehicles[J]. Computer Communications, 2024, 224: 106-117.
[58]Chai Zheng, Ali A, Zawad S, et al. TiFL: a tier-based federated learning system[C]//Proc of the 29th International Symposium on High-Performance Parallel and Distributed Computing. New York: ACM Press, 2020: 125-136.
[59]Qiang Xianke, Hu Yun, Chang Zheng, et al. Importance-aware data selection and resource allocation for hierarchical federated edge learning[J]. Future Generation Computer Systems, 2024, 154: 35-44.
[60]Xie Cong, Koyejo S, Gupta I. Asynchronous federated optimization[EB/OL]. (2020-12-05). https://arxiv.org/abs/1903.03934.
[61]Hu Fei, Zhou Wuneng, Liao Kaili, et al. FedLoop: heterogeneity mitigation in federated learning[C]//Proc of the 42nd Chinese Control Conference. Piscataway, NJ: IEEE Press, 2023: 6159-6164.
[62]Jia Yudong, Zhang Ningbo. Research and implementation of asynchronous transmission and update strategy for federated learning[C]//Proc of the 8th International Conference on Computer and Communications. Piscataway, NJ: IEEE Press, 2022: 1281-1286.
[63]Jiang Kai, Cao Yue, Song Yujie, et al. Asynchronous federated and reinforcement learning for mobility-aware edge caching in IoV[J]. IEEE Internet of Things Journal, 2024, 11(9): 15334-15347.
[64]Tanmoy O B, Al Mamun M, Hasan S, et al. Enhancing federated learning with globally shared model: a modified FedAVG approach(GSM-FedAVG)[C]//Proc of the 6th International Conference on Electrical Information and Communication Technology. Piscataway, NJ: IEEE Press, 2023: 1-6.
[65]Noguchi H, Isoda T, Arai S. Shared trained models selection and management for transfer reinforcement learning in open IoT[C]//Proc of IEEE International Conference on Systems, Man, and Cybernetics. Piscataway, NJ: IEEE Press, 2021: 2170-2176.
[66]Ahmed K M, Imteaj A, Amini M H. Federated deep learning for heterogeneous edge computing[C]//Proc of the 20th IEEE International Conference on Machine Learning and Applications. Piscataway, NJ: IEEE Press, 2021: 1146-1152.
[67]Zhang Ran, Liu Fangqi, Liu Jiang, et al. CPPer-FL: clustered parallel training for efficient personalized federated learning[J]. IEEE Trans on Mobile Computing, 2024, 23(10): 9424-9436.
[68]Zheng Shenhai, Xu Haihan, Han Peng, et al. Personalized federated learning with local optimization models[C]//Proc of the 29th International Conference on Parallel and Distributed Systems. Piscataway, NJ: IEEE Press, 2023: 302-307.
[69]Ferguson A, McCarthy J. Sharing the skies(safely): near term perspective on sUAS integration in the NAS[C]//Proc of Integrated Communications, Navigation and Surveillance Conference. Pisca-taway, NJ: IEEE Press, 2017: 3B2-1-3B2-10.
[70]Liu Xiaonan, Deng Yansha, Nallanathan A, et al. Federated learning and meta learning: approaches, applications, and directions[J]. IEEE Communications Surveys amp; Tutorials, 2024, 26(1): 571-618.
[71]Jiang Bin, Li Jianqiang, Yue Guanghui, et al. Differential privacy for industrial Internet of Things: opportunities, applications, and challenges[J]. IEEE Internet of Things Journal, 2021, 8(13): 10430-10451.
[72]Huang Yang, Han Han, Zhang Bo, et al. Supply distribution center planning in UAV-based logistics networks for post-disaster supply delivery[C]//Proc of IEEE International Conference on E-health Networking, Application amp; Services. Piscataway, NJ: IEEE Press, 2021: 1-6.
[73]Al-Mashhadani M A, Hamdi M M, Mustafa A S. Role and challenges of the use of UAV-aided WSN monitoring system in large-scale sectors[C]//Proc of the 3rd International Congress on Human-Computer Interaction, Optimization and Robotic Applications. Piscataway, NJ: IEEE Press, 2021: 1-5.
[74]Liu Xunchen, Chen Mingzhang, Zhangchen Xinfei, et al. Intelligent UAV platform: assist construction of agricultural production automation[C]//Proc of the 7th International Conference on Intelligent Computing and Signal Processing. Piscataway, NJ: IEEE Press, 2022: 1009-1012.
[75]Wang Tianyu, Liang Teng, Li Jun, et al. Adaptive traffic signal control using distributed MARL and federated learning[C]//Proc of the 20th International Conference on Communication Technology. Pisca-taway, NJ: IEEE Press, 2020: 1242-1248.