一種基于兩級K-異步聯(lián)邦學(xué)習(xí)的隱私保護(hù)入侵檢測方案

摘 要：5G的廣泛應(yīng)用導(dǎo)致物聯(lián)網(wǎng)的設(shè)備和流量激增，降低了物聯(lián)網(wǎng)入侵檢測系統(tǒng)的效率和可靠性。目前的入侵檢測系統(tǒng)主要使用同步的分布式深度學(xué)習(xí)方法，難以應(yīng)用到現(xiàn)實(shí)的分布式異步場景中。另外，在分布式的訓(xùn)練過程中也可能遭遇推斷攻擊。針對以上問題，提出了一種基于兩級K-異步聯(lián)邦學(xué)習(xí)的隱私保護(hù)入侵檢測方案，通過在模型訓(xùn)練的不同階段使用對應(yīng)算法，提高異步入侵檢測模型訓(xùn)練的收斂性和準(zhǔn)確率，并設(shè)計(jì)了一種梯度屏蔽算法防止系統(tǒng)異步訓(xùn)練過程中的推斷攻擊。實(shí)驗(yàn)結(jié)果表明，在強(qiáng)異構(gòu)場景下，該方案在兩個(gè)入侵檢測數(shù)據(jù)集上訓(xùn)練的準(zhǔn)確率可以分別提高11.8%和9.8%，為提高物聯(lián)網(wǎng)場景下入侵檢測系統(tǒng)的效率、可靠性和安全性提供了一種有效方案。

關(guān)鍵詞：聯(lián)邦學(xué)習(xí)； 入侵檢測； 隱私保護(hù)； 異構(gòu)機(jī)制

中圖分類號：TP309 文獻(xiàn)標(biāo)志碼：A

文章編號：1001-3695（2024）11-039-3471-06

doi： 10.19734/j.issn.1001-3695.2023.12.0642

Privacy-preserving intrusion detection scheme based on hierarchical K-asynchronous federated learning

Chen Liduo^?， Wen Mi， Zhang Yanbo

（College of Computer Science amp; Technology， Shanghai University of Electric Power， Shanghai 200090， China）

Abstract：The widespread application of 5G led to a surge in Internet of Things （IoT） devices and traffic， reducing the efficiency and reliability of IoT intrusion detection systems. Current intrusion detection systems primarily used synchronous distri-buted deep learning methods， which were difficult to apply to real-world distributed asynchronous scenarios. In addition， distributed training processes may suffer from inference attacks. To address these issues， this paper proposed a privacy-preserving intrusion detection scheme based on hierarchical K-asynchronous federated learning. By utilizing corresponding algorithms at different stages of model training， it improved the convergence and accuracy of asynchronous intrusion detection model training. Additionally， this paper designed a gradient masking algorithm to prevent inference attacks during system asynchronous training. Experimental results show that in strongly heterogeneous scenarios， this scheme can increase the accuracy of training on two intrusion detection datasets by 11.8% and 9.8% respectively， offering an effective solution to enhance the efficiency， reliability， and security of intrusion detection systems in IoT environments.

Key words：federated learning; intrusion detection; privacy protection; heterogeneous mechanism

0 引言

近年來，隨著5G工業(yè)互聯(lián)網(wǎng)的快速發(fā)展，工業(yè)物聯(lián)網(wǎng)（Industrial Internet of Things， IIoT） 范式中邊緣設(shè)備的廣泛部署催生了邊緣計(jì)算的各種新興應(yīng)用，例如智能制造、智能交通和智能物流^[1]。邊緣設(shè)備提供強(qiáng)大的計(jì)算資源，為工業(yè)物聯(lián)網(wǎng)應(yīng)用提供實(shí)時(shí)、靈活、快速的決策，極大地促進(jìn)了工業(yè)的發(fā)展。但隨著物聯(lián)網(wǎng)的擴(kuò)展，與物聯(lián)網(wǎng)設(shè)備和系統(tǒng)相關(guān)的安全漏洞和威脅的數(shù)量和影響顯著增加^[2]。為了解決這些問題，入侵檢測系統(tǒng) （intrusion detection system， IDS） 作為一種早期檢測物聯(lián)網(wǎng)攻擊和網(wǎng)絡(luò)威脅的方法被廣泛使用^[3]。近年來，入侵檢測系統(tǒng)機(jī)制通常基于機(jī)器學(xué)習(xí)技術(shù)利用設(shè)備的網(wǎng)絡(luò)流量進(jìn)行訓(xùn)練，主要分為集中式入侵檢測和分布式入侵檢測，其目的是準(zhǔn)確檢測任何可能的異常行為。其中，基于分布式方法，如霧/邊緣計(jì)算的入侵檢測系統(tǒng)，在訓(xùn)練過程中為了提高入侵檢測性能，通常使用一些不可信的分布式物聯(lián)網(wǎng)設(shè)備中產(chǎn)生的流量數(shù)據(jù)。然而，由于不同區(qū)域的設(shè)備可能需要共享其私有數(shù)據(jù)，這種方法會引發(fā)隱私問題^[4]。為了解決隱私問題，谷歌提出了聯(lián)邦學(xué)習(xí)（federated learning， FL）的概念，其中機(jī)器學(xué)習(xí)算法在多個(gè)分散的邊緣設(shè)備上進(jìn)行本地訓(xùn)練^[5]，各方不共享數(shù)據(jù)，而是由云服務(wù)器來聚合邊緣設(shè)備訓(xùn)練的局部參數(shù)或梯度^{[6， 7]}。

然而，目前的基于聯(lián)邦學(xué)習(xí)的入侵檢測方案存在兩方面的問題，其一是現(xiàn)有基于聯(lián)邦學(xué)習(xí)的入侵檢測方案研究主要集中在同步聯(lián)邦學(xué)習(xí)（synchronous federated learning， SFL），這需要中央服務(wù)器在聚合之前接收所有客戶端上傳的梯度。在入侵檢測任務(wù)場景下等待所有這些梯度在同一次迭代中到達(dá)并進(jìn)行聚合，這樣會顯著降低聯(lián)邦學(xué)習(xí)的訓(xùn)練效率。同時(shí)，目前的聯(lián)邦學(xué)習(xí)方案仍然存在隱私問題，最近的研究表明，攻擊者可以直接從共享的明文梯度中恢復(fù)參與者的原始數(shù)據(jù)，而無須任何附加信息。這意味著聯(lián)邦學(xué)習(xí)的參與者可以輕松地從其他參與者傳輸?shù)奶荻戎刑崛∷袇⑴c者的本地?cái)?shù)據(jù)，這會使得訓(xùn)練任務(wù)由于數(shù)據(jù)泄露變得更加脆弱。

針對使用同步聯(lián)邦學(xué)習(xí)的侵檢測方案面對的效率和隱私問題，本文提出了一種安全的基于異步聯(lián)邦學(xué)習(xí)的入侵檢測方案，具體貢獻(xiàn)如下：a）提出一種基于兩級K-異步聯(lián)邦學(xué)習(xí)的隱私保護(hù)入侵檢測方案（hierarchical K-asynchronous FL-IDS， HKAFL-IDS），可以改善由于物聯(lián)網(wǎng)設(shè)備擴(kuò)張產(chǎn)生的設(shè)備異構(gòu)性對入侵檢測訓(xùn)練的影響，更適用于5G場景下的大規(guī)模物聯(lián)網(wǎng)終端接入環(huán)境;b）提出了兩級的聯(lián)邦學(xué)習(xí)架構(gòu)提高入侵檢測訓(xùn)練的收斂速度，同時(shí)設(shè)計(jì)了動態(tài)加權(quán)的方法，綜合考慮梯度質(zhì)量和陳舊性篩選優(yōu)質(zhì)梯度參加聚合，并根據(jù)陳舊性調(diào)整學(xué)習(xí)率來加速訓(xùn)練過程，提高模型訓(xùn)練的準(zhǔn)確率；c）通過引入與權(quán)重結(jié)合的屏蔽技術(shù)，HKAFL-IDS可以保護(hù)入侵檢測訓(xùn)練參與者的梯度信息隱私，并進(jìn)行安全的加權(quán)聚合。

1 相關(guān)工作

1.1 入侵檢測

入侵檢測系統(tǒng)可分為集中式入侵檢測和分布式入侵檢測兩類。2011年，Ten等人^[8]設(shè)計(jì)了一種入侵檢測方法。這種入侵檢測方法可以創(chuàng)建攻擊者黑名單進(jìn)行基于特征碼的檢測，從而更好地識別攻擊者。2016年，Rossi等人^[9]提出了一種基于異常的入侵檢測方法，他們不是僅調(diào)查單個(gè)事件來檢測異常，而是對一組事件集進(jìn)行評估，以檢測異常行為。2017年，Andrysiak等人^[10]測試了三種不同的異常，并研究了如何分析時(shí)間序列來識別智能電表中的異常。2020年，Zhang等人^[11]將極端學(xué)習(xí)機(jī)應(yīng)用于智能電網(wǎng)的入侵檢測系統(tǒng)以提高系統(tǒng)的安全性。但是集中式入侵檢測可能導(dǎo)致物聯(lián)網(wǎng)用戶的隱私泄露，因?yàn)楣粽呖梢酝ㄟ^分析設(shè)備的流量來推斷用戶的日常習(xí)慣。其次，考慮到典型物聯(lián)網(wǎng)環(huán)境的動態(tài)性，大量數(shù)據(jù)與數(shù)據(jù)中心通信所產(chǎn)生的延遲可能難以承受，甚至可能會降低入侵檢測系統(tǒng)部署的有效性。另一方面，分布式入侵檢測近年來主要集中于基于聯(lián)邦學(xué)習(xí)的方案。Chen等人^[12]提出一種基于聯(lián)邦學(xué)習(xí)的入侵檢測方法。允許多個(gè)參與者協(xié)作訓(xùn)練全局檢測模型，無須共享本地?cái)?shù)據(jù)，從而保護(hù)數(shù)據(jù)隱私，并采用重采樣來提高模型性能。Cui等人^[13]提出了一種區(qū)塊鏈賦能的去中心化聯(lián)邦學(xué)習(xí)框架，用于物聯(lián)網(wǎng)系統(tǒng)中的異常檢測，在提高效率的同時(shí)確保數(shù)據(jù)完整性并防止單點(diǎn)故障。Li等人^[14]為工業(yè)網(wǎng)絡(luò)物理系統(tǒng)（cyber-physical systems， CPSs）設(shè)計(jì)了一種基于深度學(xué)習(xí)的新型入侵檢測模型，并開發(fā)了一個(gè)聯(lián)合學(xué)習(xí)框架，允許多個(gè)工業(yè) CPS 以保護(hù)隱私的方式共同建立一個(gè)全面的入侵檢測模型。目前的方案大多考慮同步通信的理想情況，雖然同步聯(lián)邦學(xué)習(xí)在小型物聯(lián)網(wǎng)區(qū)域或當(dāng)客戶擁有類似的計(jì)算和通信能力時(shí)影響很小，但它在具有不同型號、規(guī)格和版本的各種硬件設(shè)備的大型物聯(lián)網(wǎng)中則成為了不可忽視的挑戰(zhàn)。在這種情況下，中央服務(wù)器會收到大量具有不同延遲的梯度。如何高效聚合這些異步傳輸?shù)奶荻仁悄壳柏酱鉀Q的問題。

1.2 聯(lián)邦學(xué)習(xí)隱私保護(hù)技術(shù)

近年來，研究人員主要使用各種密碼學(xué)技術(shù)強(qiáng)化聯(lián)邦學(xué)習(xí)的隱私保護(hù)能力。邱曉慧等人^[15]對聯(lián)邦學(xué)習(xí)的隱私保護(hù)技術(shù)進(jìn)行了研究和總結(jié)，他們指出目前的聯(lián)邦學(xué)習(xí)隱私保護(hù)技術(shù)主要包括差分隱私技術(shù)、同態(tài)加密技術(shù)和安全多方計(jì)算技術(shù)。差分隱私技術(shù)方面，Shen等人^[16]針對差分隱私的問題，提出一種根據(jù)數(shù)據(jù)敏感性來調(diào)整隱私參數(shù)的方法，解決了因隱私預(yù)算相同而導(dǎo)致的部分參與者隱私保護(hù)不足或過度的問題。Han等人^[17]提出了一種名為基于差分噪聲加法的聯(lián)邦學(xué)習(xí)差分隱私保護(hù)方法，通過分析梯度趨勢、權(quán)重參數(shù)得到重要性系數(shù)，采用微分噪聲加法機(jī)制添加噪聲。徐晨陽等人^[18]設(shè)計(jì)了一種差分隱私機(jī)制來保護(hù)遷移聯(lián)邦學(xué)習(xí)過程中的隱私信息，但是差分隱私可能會降低全局模型的準(zhǔn)確性，需要在準(zhǔn)確性與隱私保護(hù)之間權(quán)衡。使用同態(tài)加密的方案中，Zhao等人^[19]集成半同態(tài)加密降低計(jì)算和通信負(fù)擔(dān)，還可以抵御反演攻擊和推斷攻擊，顯著降低了隱私預(yù)算。Nguyen等人^[20]提出一個(gè)使用同態(tài)加密的安全聚合協(xié)議，并結(jié)合零知識證明，既防止了中毒攻擊，又保護(hù)了模型的安全。Du等人^[21]提出一種多閾值多密鑰同態(tài)加密方案，很大程度上降低了計(jì)算開銷，實(shí)驗(yàn)證明了這個(gè)方法可以在不犧牲模型準(zhǔn)確性的情況下保護(hù)隱私。然而同態(tài)加密技術(shù)計(jì)算成本巨大，不適合資源受限的場景。

安全多方計(jì)算技術(shù)也得到了很多關(guān)注， 目前大多數(shù)研究者主要使用秘密共享技術(shù)。Lin等人^[22]引入一種附加的秘密共享方案，以抵御聚合服務(wù)器、惡意參與者和邊緣節(jié)點(diǎn)之間的潛在串通攻擊。Xu等人^[23]提出一種基于格的多用途秘密共享方案，以避免在實(shí)現(xiàn)后量子安全的同時(shí)，將新的秘密共享分配給每一輪聯(lián)邦學(xué)習(xí)的所有參與者。Huang等人^[24]利用Shamir的秘密共享技術(shù)設(shè)計(jì)了一種隨機(jī)屏蔽方法，以保護(hù)局部梯度的機(jī)密性。這一方法不僅可以保護(hù)數(shù)據(jù)隱私，還可以緩解訓(xùn)練過程中由于用戶丟失導(dǎo)致的訓(xùn)練失敗問題。但是秘密共享技術(shù)一方面增加了參與者之間的通信開銷，另一方面也不適用于異步訓(xùn)練場景。

2 背景知識

2.1 異步聯(lián)邦學(xué)習(xí)

傳統(tǒng)的聯(lián)邦學(xué)習(xí)機(jī)制是同步聯(lián)邦學(xué)習(xí)，其特點(diǎn)是服務(wù)器在一個(gè)輪次內(nèi)，接收所有終端上傳的梯度，聚合后將全局模型廣播給所有終端，再進(jìn)行下一輪。同步聯(lián)邦學(xué)習(xí)機(jī)制簡單，但是在設(shè)備增多，差異增大后，訓(xùn)練效率受設(shè)備通信能力影響嚴(yán)重，其全局訓(xùn)練速度由參與訓(xùn)練的終端設(shè)備中通信能力最差的設(shè)備決定，其更新公式如下：

w_t+1=w_t－γ_tT∑Ti=1g（wⁱ_t，ξⁱ_t）（1）

其中：g（wⁱ_t，ξⁱ_t）為第t輪第i個(gè)中心路由器上傳到服務(wù)器的梯度；wⁱ_t為模型的參數(shù)向量；ξⁱ_t為第i個(gè)中心路由器在第t輪使用的樣本。因此在面對強(qiáng)異構(gòu)性場景，本文使用異步聯(lián)邦學(xué)習(xí)解決上述問題，異步聯(lián)邦學(xué)習(xí)的特點(diǎn)是服務(wù)器只在一定時(shí)間內(nèi)接收梯度，并僅使用此段時(shí)間內(nèi)接收到的梯度進(jìn)行全局聚合。各終端設(shè)備在上傳梯度后不等待返回的全局模型，而是繼續(xù)利用本地?cái)?shù)據(jù)訓(xùn)練。這樣全局訓(xùn)練速度僅由服務(wù)器掌控，服務(wù)器可以不間斷地進(jìn)行全局聚合，提高了訓(xùn)練效率。同時(shí)，各終端設(shè)備也可以持續(xù)訓(xùn)練以充分利用本地?cái)?shù)據(jù)。

圖1所示為客戶端總數(shù)為5時(shí)的異步聯(lián)邦學(xué)習(xí)示意圖，紅色長箭頭表示該梯度被服務(wù)器接收，紅色短箭頭表示該梯度未被服務(wù)器接收，虛線表示該客戶端持續(xù)訓(xùn)練（參見電子版）。

然而在實(shí)際應(yīng)用過程中，異步聯(lián)邦學(xué)習(xí)可能出現(xiàn)某一輪次接收了大量梯度，而某一輪次接收極少梯度的情況，這會導(dǎo)致梯度更新方向產(chǎn)生偏差，模型波動較大。因此本文使用的是K-異步聯(lián)邦學(xué)習(xí)，其在異步聯(lián)邦學(xué)習(xí)的基礎(chǔ)上更改了服務(wù)器的聚合方式，改為每輪接收最先到達(dá)的K個(gè)梯度，其余梯度依次排隊(duì)等待下一輪聚合，聚合公式如下：

w_t+1=w_t－γ_t∑Ti=1pⁱ_tg（wⁱ_t，ξⁱ_t）（2）

圖2為客戶端總數(shù)為5，K為2時(shí)的K-異步聯(lián)邦學(xué)習(xí)示意圖。

2.2 梯度遮蔽

假設(shè)有n個(gè)參與者，x_i是參與者u_i的局部梯度。為了保護(hù)參與者梯度的隱私，任意兩個(gè)參與者u_i和u_j協(xié)商生成一個(gè)隨機(jī)數(shù)r_i，j。每個(gè)參與者u_i本地計(jì)算屏蔽梯度如下：

每個(gè)參與者將〖x_i〗發(fā)送到云服務(wù)器。然后云服務(wù)器聚合梯度如下：

3 系統(tǒng)模型

本章詳細(xì)描述本文使用的入侵檢測系統(tǒng)架構(gòu)、組件和工作基本原理，并對其中的威脅模型進(jìn)行闡述。由于基于5G的物聯(lián)網(wǎng)技術(shù)不斷發(fā)展，物聯(lián)網(wǎng)中心服務(wù)器所控制的終端設(shè)備數(shù)量、種類、分布區(qū)域都不斷增大。這些因素共同導(dǎo)致了各終端的計(jì)算能力、通信能力區(qū)別顯著增大。這種情況下，各類設(shè)備都會呈現(xiàn)與小型場景不同的特點(diǎn)，同時(shí)，各參與方的隱私窺探行為會產(chǎn)生更加嚴(yán)重的負(fù)面影響，使物聯(lián)網(wǎng)系統(tǒng)面臨更大的安全威脅。

3.1 系統(tǒng)架構(gòu)

本文使用場景為一個(gè)設(shè)備分布區(qū)域廣、設(shè)備數(shù)量、種類較多的工業(yè)物聯(lián)網(wǎng)場景，其中主要包含以下四種角色：

a）可信機(jī)構(gòu)。它負(fù)責(zé)建立整個(gè)系統(tǒng)，生成私鑰-公鑰對以及公共參數(shù)，它將密鑰對轉(zhuǎn)發(fā)給每個(gè)參與者并發(fā)布所有公共參數(shù)。b）云服務(wù)器。作為整體物聯(lián)網(wǎng)區(qū)域的調(diào)度中心，云服務(wù)器負(fù)責(zé)協(xié)調(diào)各區(qū)域中心路由器。在模型建立的初期，云服務(wù)器會初始化模型的參數(shù)并向所有中心路由器廣播入侵檢測模型，在訓(xùn)練階段，云服務(wù)器負(fù)責(zé)執(zhí)行異步訓(xùn)練算法，對接受的梯度進(jìn)行異步聚合和分發(fā)。c）中心路由器。它是一個(gè)小區(qū)域內(nèi)所有終端設(shè)備的數(shù)據(jù)中轉(zhuǎn)中心，在入侵檢測模型訓(xùn)練的過程中，負(fù)責(zé)將區(qū)域內(nèi)終端的流量數(shù)據(jù)收集起來并利用流量數(shù)據(jù)訓(xùn)練本地入侵檢測模型，計(jì)算更新梯度并上傳給服務(wù)器，并將訓(xùn)練的全局入侵檢測模型廣播給區(qū)域內(nèi)的所有終端。d）終端設(shè)備。它是廣泛分布在工業(yè)物聯(lián)網(wǎng)區(qū)域內(nèi)的電子設(shè)備，如智能充電樁、智能門控、智能機(jī)械臂系統(tǒng)等。它們負(fù)責(zé)在本地執(zhí)行入侵檢測算法，并將本地?cái)?shù)據(jù)發(fā)送給中心路由器。

3.2 威脅模型

本方案定義了以下威脅模型：可信機(jī)構(gòu)值得信賴并誠實(shí)地執(zhí)行其程序。云服務(wù)器和中心路由器是誠實(shí)但好奇的。在這個(gè)假設(shè)下，它們都會誠實(shí)地執(zhí)行一系列操作（例如梯度加密和上傳等）。然而它們可能會嘗試推斷其他中心路由器的本地?cái)?shù)據(jù)。方案的目的是防止中心路由器本地梯度的隱私泄露。

4 基于兩級異步聯(lián)邦學(xué)習(xí)的隱私保護(hù)入侵檢測方案

本文提出了一種基于兩級K-異步聯(lián)邦學(xué)習(xí)的隱私保護(hù)入侵檢測方案，即HKAFL-IDS，該方案旨在解決當(dāng)前物聯(lián)網(wǎng)入侵檢測系統(tǒng)中的安全和訓(xùn)練效率問題?？傮w來說，本文使用兩級動態(tài)加權(quán)的異步聯(lián)邦學(xué)習(xí)算法提高訓(xùn)練的效率，同時(shí)使用梯度屏蔽和同態(tài)哈希函數(shù)的方法保護(hù)數(shù)據(jù)隱私。

4.1 HKAFL-IDS的總體步驟

本方案使用兩級的K-異步聯(lián)邦學(xué)習(xí)算法，使用動態(tài)權(quán)重的方法篩選出質(zhì)量高、陳舊性低的梯度，以提高入侵檢測系統(tǒng)的收斂速度和性能，同時(shí)使用梯度屏蔽和同態(tài)哈希函數(shù)的方法保護(hù)數(shù)據(jù)隱私，如圖3所示。方案的整體步驟如下：

a）系統(tǒng)初始化：在識別出本次訓(xùn)練涉及的中心路由器后，云服務(wù)器首先初始化所有中心路由器的模型參數(shù)，如學(xué)習(xí)率、使用的本地?cái)?shù)據(jù)量、本地訓(xùn)練輪數(shù)、損失函數(shù)等。最后，將模型參數(shù)廣播給所有中心服務(wù)器。

b）異步訓(xùn)練及梯度屏蔽：在第一輪中，所有中心路由器在收到初始化的模型參數(shù)后，使用本地?cái)?shù)據(jù)集訓(xùn)練入侵檢測模型，并將反饋信息上傳到云服務(wù)器。在接收到第一輪的全局梯度后，接下來中心路由器將不斷地使用本地?cái)?shù)據(jù)集訓(xùn)練模型并將梯度質(zhì)量信息（本地梯度與接收的最新一輪全局梯度的余弦相似度）上傳到云服務(wù)器。如果接收到服務(wù)器傳輸?shù)膮⑴c集合信息，則將梯度經(jīng)過加權(quán)屏蔽后上傳到云服務(wù)器。如果收到云服務(wù)器傳輸?shù)哪Ｐ蛥?shù)，就會更新本地模型。

c）異步安全聚合：云服務(wù)器在訓(xùn)練的初始階段對最先接收到反饋的K個(gè)中心路由器返回初始質(zhì)量參數(shù)并完成聚合。當(dāng)訓(xùn)練輪次達(dá)到要求后，則開始對接收到的梯度質(zhì)量進(jìn)行質(zhì)量判定，同時(shí)結(jié)合梯度的陳舊度判斷此梯度能否參與聚合。當(dāng)收集到K個(gè)滿足聚合要求的梯度質(zhì)量信息后，則對此K個(gè)中心路由器發(fā)送它們的集合信息，并對此K個(gè)中心路由器反饋的屏蔽梯度進(jìn)行加密聚合。

d）更新本地模型：完成聚合后，云服務(wù)器將聚合后的全局梯度廣播給所有中心路由器，各中心路由器接收到全局梯度后更新本地入侵檢測模型，并廣播給區(qū)域內(nèi)所有終端設(shè)備進(jìn)行入侵檢測任務(wù)。

4.2 兩級K-異步聯(lián)邦學(xué)習(xí)算法

本節(jié)介紹設(shè)計(jì)的異步聯(lián)邦學(xué)習(xí)算法。如2.1節(jié)所述，在物聯(lián)網(wǎng)場景的入侵檢測訓(xùn)練過程中，使用同步聯(lián)邦學(xué)習(xí)會導(dǎo)致模型更新速度極慢，使系統(tǒng)對新攻擊方式反應(yīng)遲鈍。而使用一般的異步聯(lián)邦學(xué)習(xí)會導(dǎo)致模型波動大，或由于設(shè)備的通信能力差異導(dǎo)致不同類型的網(wǎng)絡(luò)攻擊數(shù)據(jù)嚴(yán)重失衡。這都會使得入侵檢測的準(zhǔn)確率下降。而K-異步聯(lián)邦學(xué)習(xí)可以在保證快速更新的同時(shí)減小設(shè)備的能力差異對數(shù)據(jù)數(shù)量和類型的影響，在物聯(lián)網(wǎng)入侵檢測檢測率上具有較大優(yōu)勢。同時(shí)，在使用異步聯(lián)邦學(xué)習(xí)進(jìn)行入侵檢測訓(xùn)練的過程中，如果直接對梯度質(zhì)量進(jìn)行篩選聚合，訓(xùn)練的初始階段會篩去大量梯度導(dǎo)致收斂速度慢。本算法使用分級的K-異步聯(lián)邦學(xué)習(xí)方法，在訓(xùn)練的初始階段對接收梯度進(jìn)行無篩聚合以快速提煉數(shù)據(jù)特征，提高收斂速度。

4.2.1 分級的異步方案

為了提高入侵檢測訓(xùn)練的收斂速度，在訓(xùn)練的初始階段，云服務(wù)器對最先接收到的K個(gè)梯度直接進(jìn)行聚合。如圖4所示，當(dāng)中心路由器總數(shù)為5，K為2時(shí)，各中心路由器接收到初始化參數(shù)后就向云服務(wù)器發(fā)送反饋信息，云服務(wù)器會對最先接收到的2個(gè)中心路由器創(chuàng)建集合，并對集合中的所有中心路由器發(fā)送參與者集合，各參與的中心路由器根據(jù)集合內(nèi)容對本地梯度進(jìn)行屏蔽后發(fā)送給云服務(wù)器。最后云服務(wù)器對所有參與者發(fā)送來的梯度進(jìn)行平均聚合后，將更新的全局模型廣播給所有中心路由器。聚合公式如下：

g（w_t）=1K∑Ki=1g（wⁱ_t，ξⁱ_t）（5）

直接聚合可以快速提取入侵檢測流量數(shù)據(jù)集中的特征，防止初始階段由于模型的更新方向波動導(dǎo)致優(yōu)質(zhì)梯度被誤篩。初始階段的快速訓(xùn)練允許入侵檢測系統(tǒng)快速啟動，從而加速模型收斂過程。這對于在分布式環(huán)境中訓(xùn)練大規(guī)模模型的系統(tǒng)尤為重要。

接下來，當(dāng)訓(xùn)練達(dá)到預(yù)定輪次后，由于一些劣質(zhì)梯度參與，若繼續(xù)對梯度直接聚合，訓(xùn)練精度將出現(xiàn)較大波動，同時(shí)訓(xùn)練的最終效果也會較差，所以在訓(xùn)練基本收斂后，模型轉(zhuǎn)換為第二級，接受的梯度不再直接參與聚合，而是依據(jù)接收梯度的梯度質(zhì)量和陳舊性來篩選梯度并加權(quán)聚合。

4.2.2 基于質(zhì)量和陳舊性的權(quán)重聚合

在梯度聚合時(shí)，梯度的質(zhì)量和陳舊性會對聚合的模型性能產(chǎn)生較大的影響。低質(zhì)量的梯度可能導(dǎo)致模型不穩(wěn)定，收斂速度較慢，或者在訓(xùn)練中陷入局部極小值。通過篩選梯度并選擇高質(zhì)量的梯度用于更新全局模型，可以改善訓(xùn)練的效率和模型的性能。而一般認(rèn)為，陳舊度越高的梯度，其更新方向與理想模型更新方向不一致的概率越大，因此聚合陳舊性高的梯度可能會導(dǎo)致模型參數(shù)的偏離和不穩(wěn)定。

綜合以上兩個(gè)因素，在第二級首先對接收到的梯度進(jìn)行質(zhì)量篩選，如圖5所示，各中心路由器首先使用上一輪的全局梯度作為估計(jì)無偏梯度，并依據(jù)無偏梯度計(jì)算每個(gè)梯度的余弦相似度后再計(jì)算質(zhì)量因數(shù)。質(zhì)量因數(shù)計(jì)算公式如下：

其中：αgt;0是一個(gè)常數(shù)。需要注意的是，由于通信延時(shí)的原因，并非所有上傳到云服務(wù)器的余弦相似度都使用最新的全局梯度作為參考，但由于第一級無篩訓(xùn)練后，模型更新趨向平穩(wěn)，每一輪的更新幅度較小，所以使用相鄰t′輪次內(nèi)的全局梯度作為參考都可以被接受，而使用超出相鄰t′輪次內(nèi)的全局梯度作為參考的余弦相似度將被丟棄。

同時(shí)，考慮梯度的陳舊性，使用梯度的延時(shí)數(shù)據(jù)來估量陳舊性，延時(shí)越高，則陳舊性越強(qiáng)。陳舊性的計(jì)算公式如下：

s_t，i=e^－βτi_t（8）

其中：βgt;0是一個(gè)常數(shù)；τⁱ_t為第t輪第i個(gè)中心路由器的延遲；s_t，i越大則陳舊性越低，相反s_t，i越小則陳舊性越高。

最后定義優(yōu)質(zhì)因數(shù)，即質(zhì)量因數(shù)與陳舊度的和。優(yōu)質(zhì)因數(shù)越高，則梯度的綜合質(zhì)量越好，高于優(yōu)質(zhì)因數(shù)閾值Q_min的梯度才可以參與本輪聚合，而優(yōu)質(zhì)因數(shù)過低的梯度則被丟棄。優(yōu)質(zhì)因數(shù)的計(jì)算公式如下：

Q_t，i=q_t，i+s_t，i（9）

當(dāng)接收到K個(gè)滿足要求的梯度后，便將這些中心路由器的集合信息發(fā)送給它們，以便這些中心路由器對本地梯度進(jìn)行屏蔽。最終根據(jù)梯度的優(yōu)質(zhì)因數(shù)進(jìn)行加權(quán)聚合，以提高高質(zhì)量、低陳舊度梯度的集合權(quán)重，提高模型的訓(xùn)練速度和性能。加權(quán)聚合規(guī)則如下：

θ_t，i=Q_t，i/∑^K_i=1Qt，i（10）

g（w_t）=∑Ki=1θ_t，ig（wⁱ_t，ξⁱ_t）（11）

4.2.3 動態(tài)學(xué)習(xí)率

一般來說，應(yīng)該選擇較小的學(xué)習(xí)率來減少梯度的質(zhì)量和陳舊度帶來的負(fù)面影響。先前的方案使用初始陳舊度除以陳舊度的方案來調(diào)整學(xué)習(xí)率，然而在大規(guī)模異步聯(lián)邦學(xué)習(xí)情況下，可能存在陳舊度較高的梯度，這將使得學(xué)習(xí)率變得非常小，導(dǎo)致每次迭代的更新非常微小，訓(xùn)練時(shí)間延長。為了解決這個(gè)問題，本文根據(jù)每輪接收的K個(gè)梯度中最小的陳舊度來調(diào)整學(xué)習(xí)率，這樣避免學(xué)習(xí)率過小。學(xué)習(xí)率更新規(guī)則如下：

γ_t=γ₀×1τ_{min，t×δ+1}（12）

4.3 適用于異步算法的梯度屏蔽方法

一般的梯度屏蔽方法需要每個(gè)用戶在一輪中與其他所有用戶建立密鑰對，這在異步場景中是不現(xiàn)實(shí)的，而且屏蔽后的梯度由于隱藏了梯度信息，云服務(wù)器無法對梯度進(jìn)行評估。在本節(jié)中設(shè)計(jì)了一種適用于異步場景的加權(quán)屏蔽方法，并將其應(yīng)用于梯度加密，可以在異步場景下安全的對梯度進(jìn)行評估，并對其進(jìn)行加權(quán)聚合，主要分為以下幾個(gè)步驟：

a） 設(shè)置：可信機(jī)構(gòu)首先為每個(gè)中心路由器cr_i隨機(jī)創(chuàng)建DH密鑰對（K^PK_i，K^SK_i），然后將密鑰對轉(zhuǎn)發(fā)給相應(yīng)的參與者。最后，利用Diffie-Hellman密鑰協(xié)商，每兩個(gè)中心路由器cr_i和cr_j可以生成隨機(jī)數(shù)s_i，j←KAA（K^SK_i，K^PK_j）。

b）加權(quán)屏蔽：以s_i，j作為輸入，并使用偽隨機(jī)生成器生成隨機(jī)數(shù)PRG（s_i，j）。隨機(jī)數(shù)用于屏蔽每個(gè)梯度和數(shù)據(jù)大小。然而，直接隨機(jī)屏蔽不能使隨機(jī)數(shù)在加權(quán)聚合階段被抵消。因此，為了支持加權(quán)聚合，每個(gè)中心路由器的局部梯度g（wⁱ_t，ξⁱ_t）被屏蔽如下：

〖g_t，i〗=Q_t，ig（wⁱ_t，ξⁱ_t）+∑cr_j∈R_t，ilt;jPRG（s_i，j）－∑cr_j∈R_t，igt;jPRG（s_j，i）（13）

其中：R_t是第t輪參與聚合的K個(gè)中心路由器的集合。

c） 安全加權(quán)聚合：云服務(wù)器接收到來自每個(gè)中心路由器cr_i的屏蔽梯度〖g_t，i〗后，云服務(wù)器聚合加密梯度如下：

G_agg=∑cr_j∈R_t〖g_t，i〗=∑cr_j∈R_tQ_t，ig（wⁱ_t，ξⁱ_t）（14）

Q_agg=∑cr_j∈R_tQ_t，i（15）

g（w_t）=G_aggQ_agg=∑cr_j∈R_tθ_t，ig（wⁱ_t，ξⁱ_t）（16）

云服務(wù)器加權(quán)聚合后，可以在不獲得具體梯度信息的情況下得到正確的聚合結(jié)果。

5 實(shí)驗(yàn)結(jié)果與分析

本文從入侵檢測場景的訓(xùn)練收斂速度和訓(xùn)練精度方面對HKAFL-IDS 方案進(jìn)行了實(shí)驗(yàn)評估。

5.1 實(shí)驗(yàn)設(shè)置

5.1.1 實(shí)驗(yàn)的硬件配置

在本文的實(shí)驗(yàn)中，使用的服務(wù)器配置了 i7-7800X CPU、NVIDIA GeForce RTX 2080 Ti GPU 和 12 GB RAM 以及 Linux 操作系統(tǒng)。

5.1.2 數(shù)據(jù)集和模型

本文的實(shí)驗(yàn)使用UNSW-NB15和NSL-KDD數(shù)據(jù)集。UNSW-NB15數(shù)據(jù)集包括真實(shí)的良性流量數(shù)據(jù)和包含各種新型攻擊方法的復(fù)雜流量數(shù)據(jù)。該數(shù)據(jù)集由澳大利亞安全實(shí)驗(yàn)室使用IXIA PerfectStorm工具創(chuàng)建，由43個(gè)帶有類別標(biāo)簽的特征組成，其中包括1個(gè)正常記錄和9個(gè)攻擊類別。NSL-KDD數(shù)據(jù)集是KDD99數(shù)據(jù)集的優(yōu)化，去除了一些冗余數(shù)據(jù)，使數(shù)據(jù)更加平衡，從而可以更準(zhǔn)確地評估不同的技術(shù)。該數(shù)據(jù)集包含4種異常類型和39種攻擊類型，每條記錄包含41個(gè)特征和1個(gè)類別標(biāo)識符。為了在更現(xiàn)實(shí)的大規(guī)模分布式設(shè)備場景中驗(yàn)證HKAFL-IDS方案，本文將客戶端總數(shù)（表示為T）設(shè)置為1 000。這意味著在異步聯(lián)邦學(xué)習(xí)下存儲和計(jì)算1 000個(gè)模型副本。由于服務(wù)器的顯存有限，為了防止超出顯存，采用了輕量級CNN模型。其中，針對UNSW-NB15數(shù)據(jù)集的實(shí)驗(yàn)使用的模型由3個(gè)具有ReLU激活函數(shù)的一維卷積層組成。在最大池化層之后，池化向量被傳遞到全連接層，然后使用對數(shù)softmax函數(shù)測量損失。而針對NSL-KDD數(shù)據(jù)集的實(shí)驗(yàn)使用的模型由兩層一維卷積層組成，接著傳遞到全連接層，然后使用對數(shù)softmax函數(shù)測量損失。

5.1.3 對比方案

本文實(shí)驗(yàn)中比較了三種異步聯(lián)邦學(xué)習(xí)方案，包括加權(quán) K-async FL（WKAFL）^[25]、時(shí)間加權(quán)異步聯(lián)邦學(xué)習(xí)（TWAFL）^[26]和具有全局動量的梯度調(diào)度（GSGM）^[27]。這些方案通過減輕陳舊數(shù)據(jù)和非獨(dú)立同分布數(shù)據(jù)的影響來提高預(yù)測精度。

以上三種方案在原本的論文中都用于圖像分類，在本文的物聯(lián)網(wǎng)入侵檢測場景下，由于數(shù)據(jù)集的差異，對三種方案的模型都統(tǒng)一為5.1.2節(jié)所描述的輕量級模型，而協(xié)議不變。

本文評估了不同陳舊場景下所提出方案在 UNSW-NB15 和 NSL-KDD 數(shù)據(jù)集上的性能。具體來說，T（客戶端總數(shù)）和 K（客戶端數(shù)量）可用于抽象系統(tǒng)的異構(gòu)強(qiáng)度。本文使用T/K來衡量系統(tǒng)中梯度的整體陳舊程度。在實(shí)驗(yàn)中，考慮了三個(gè)陳舊級別：10 （T/K = 1000/100）、20 （T/K=1000/50） 和 100 （T/K=1000/10）。實(shí)驗(yàn)結(jié)果如圖6、7所示，最終的預(yù)測精度總結(jié)在表1中。

5.2 對比實(shí)驗(yàn)結(jié)果與分析

接下來本文將從收斂速度、訓(xùn)練準(zhǔn)確率兩個(gè)方面對實(shí)驗(yàn)結(jié)果進(jìn)行分析。

1）收斂速度由圖中可見，本文方案HKAFL相比于其他三個(gè)方案的收斂速度更快。如圖6所示，在UNSW-NB15數(shù)據(jù)集中，HKAFL和其他方案相比在T/K=10和T/K=20的兩種異構(gòu)性稍弱的情況下收斂速度有比較明顯的優(yōu)勢，其主要原因是本文使用的分級方案。在初始階段，本文方案使用無篩平均聚合的方法，因此在初始階段可以快速地提取入侵檢測數(shù)據(jù)集中的特征，而其他三個(gè)方案都會在初始階段便對梯度進(jìn)行剪切或是根據(jù)梯度質(zhì)量進(jìn)行篩選和加權(quán)聚合，雖然在第一級訓(xùn)練穩(wěn)定后，方案進(jìn)入第二級會重新收斂影響最終收斂速度，但是初始的快速收斂也有助于入侵檢測系統(tǒng)在物聯(lián)網(wǎng)復(fù)雜環(huán)境下快速進(jìn)入工作狀態(tài)。而在異構(gòu)性較低的情形下因?yàn)榫酆咸荻容^多，可以提取更有效的特征， 所以相比其他方案可以更好地收斂。而異構(gòu)性較高的情況下，即便不對梯度進(jìn)行篩選，由于每一輪聚合的梯度有限，提取特征較少，所以在T/K=100的強(qiáng)異構(gòu)性場景下優(yōu)勢也不會特別明顯。如圖7所示，在NSL-KDD數(shù)據(jù)集中亦可以佐證上述分析，因?yàn)镹SL-KDD數(shù)據(jù)集相比UNSW-NB15數(shù)據(jù)集特征更少，因此在收斂性上本方案展現(xiàn)出的優(yōu)勢更小。

2） 訓(xùn)練準(zhǔn)確率由圖表中可見，本文的方案HKAFL相比于其他三個(gè)方案的訓(xùn)練效果更好。如圖6所示，使用UNSW-NB15數(shù)據(jù)集訓(xùn)練時(shí)，HKAFL在第一級收斂后即可達(dá)到較高的準(zhǔn)確率，而第二級收斂后，如表1所示，HKAFL在T/K=10，20，100時(shí)準(zhǔn)確率可以分別提高0.096、0.123、0.121以上。主要原因之一是在第二級，梯度選擇時(shí)考慮了更多因素，其他在進(jìn)行梯度篩選和權(quán)重計(jì)算時(shí)，有的只考慮了梯度質(zhì)量，而陳舊度僅用于學(xué)習(xí)率，有的只考慮了梯度陳舊性和，而且學(xué)習(xí)率沒有動態(tài)變化。HKAFL不僅考慮了梯度質(zhì)量，同時(shí)也考慮了梯度的陳舊性，可以提取更加準(zhǔn)確的數(shù)據(jù)特征，這使得模型訓(xùn)練方向不會產(chǎn)生較大的偏差。同時(shí)由于本文在第二階段聚合時(shí)使用了動態(tài)權(quán)重進(jìn)行聚合，放大了優(yōu)質(zhì)梯度的影響，使得訓(xùn)練效果更好。其二是由于其他三個(gè)聯(lián)邦學(xué)習(xí)方案的模型本身主要用于圖像分類，圖像數(shù)據(jù)的特征維度較高，其方案更適合高維特征的圖像任務(wù)。而本方案主要用于入侵檢測，數(shù)據(jù)集特征維數(shù)較低，因此整體的準(zhǔn)確率要高于其他三個(gè)方案。另外如圖7所示，使用NSL-KDD數(shù)據(jù)集訓(xùn)練時(shí)，HKAFL在T/K=10，20，100時(shí)準(zhǔn)確率可以分別提高0.074、0.098、0.117以上，證明本方案在強(qiáng)異構(gòu)性場景下有更好的表現(xiàn)，并且HKAFL在第一級收斂后，可以比較穩(wěn)定地維持準(zhǔn)確率，而其他方案都會出現(xiàn)不同程度的準(zhǔn)確率跌落，這也是由于HKAFL在訓(xùn)練的第二級的梯度篩選和加權(quán)聚合方法可以提取更加準(zhǔn)確的數(shù)據(jù)特征，使模型訓(xùn)練方向不會產(chǎn)生較大的偏差。

6 結(jié)束語

本文提出了一種基于兩級K-異步聯(lián)邦學(xué)習(xí)的隱私保護(hù)入侵檢測方案，其目的是在強(qiáng)異構(gòu)性的物聯(lián)網(wǎng)場景下進(jìn)行高效安全的入侵檢測訓(xùn)練。所提出的方案首先使用分級的方法快速提取數(shù)據(jù)特征，接著使用基于梯度質(zhì)量和陳舊性的加權(quán)方案篩選優(yōu)質(zhì)梯度并通過陳舊性來調(diào)整學(xué)習(xí)率。同時(shí)，提出的方案通過設(shè)計(jì)梯度加權(quán)屏蔽的方法來加密參與者的梯度，在保證梯度篩選不泄露隱私的同時(shí)防止惡意用戶推斷梯度的隱私信息。通過實(shí)驗(yàn)表明，本文方案在強(qiáng)異構(gòu)性物聯(lián)網(wǎng)場景下具有更優(yōu)秀的收斂性和準(zhǔn)確率。在未來的研究中可以考慮使用去中心化的方法，并在保證準(zhǔn)確率的情況下減小通信開銷。

參考文獻(xiàn)：

[1]Feng Cheng， Wang Yi， Zheng Kedi，et al. Smart meter data-driven customizing price design for retailers [J]. IEEE Trans on Smart Grid， 2019， 11 （3）： 2043-2054.

[2]Khraisat A， Gondal I， Vamplew P， et al. Survey of intrusion detection systems： techniques， datasets and challenges [J]. Cybersecurity， 2019， 2 （1）： 1-22.

[3]Garcia N，Alcaniz T， González-Vidal A， et al. Distributed real-time SlowDoS attacks detection over encrypted traffic using artificial intelligence [J]. Journal of Network and Computer Applications， 2021， 173： 102871.

[4]Campos E M， Saura P F， González-Vidal A，et al. Evaluating federated learning for intrusion detection in Internet of Things： review and challenges [J]. Computer Networks， 2022， 203： 108661.

[5]McMahan B， Moore E， Ramage D，et al. Communication-efficient learning of deep networks from decentralized data [C]//Proc of the 20th International Conference on Artificial Intelligence and Statistics. [S.l.]：PMLR， 2017： 1273-1282.

[6]Kumar K P S， Nair S A H， Roy D G，et al. Security and privacy-aware artificial intrusion detection system using federated machine learning [J]. Computers amp; Electrical Engineering， 2021， 96： 107440.

[7]Su Zhou， Wang Yuntao， Luan T H， et al. Secure and efficient federated learning for smart grid with edge-cloud collaboration [J]. IEEE Trans on Industrial Informatics， 2021， 18 （2）： 1333-1344.

[8]Ten C W， Hong J， Liu C C. Anomaly detection for cybersecurity of the substations [J]. IEEE Trans on Smart Grid， 2011， 2 （4）： 865-873.

[9]Rossi B， Chren S，Buhnova B， et al. Anomaly detection in smart grid data： an experience report [C]// Proc of IEEE International Confe-rence on Systems， Man， and Cybernetics. Piscataway， NJ： IEEE Press， 2016： 2313-2318.

[10]Andrysiak T，Saganowski ?， Kiedrowski P. Anomaly detection in smart metering infrastructure with the use of time series analysis [J]. Journal of Sensors， 2017， 2017： 8782131.

[11]Zhang Ke， Hu Zhi， Zhan Yufei，et al. A smart grid AMI intrusion detection strategy based on extreme learning machine [J]. Energies， 2020， 13 （18）： 4907.

[12]Chen Zhuo， Lyu Na， Liu Pengfei， et al. Intrusion detection for wireless edge networks based on federated learning [J]. IEEE Access， 2020， 8： 217463-217472.

[13]Cui Lei， QuYouyang， Xie Gang， et al. Security and privacy-enhanced federated learning for anomaly detection in IoT infrastructures [J]. IEEE Trans on Industrial Informatics， 2021， 18 （5）： 3492-3500.

[14]Li Beibei， Wu Yuhao， Song Jiarui，et al. DeepFed： federated deep learning for intrusion detection in industrial cyber-physical systems [J]. IEEE Trans on Industrial Informatics， 2020， 17 （8）： 5615-5624.

[15]邱曉慧， 楊波， 趙孟晨， 等. 聯(lián)邦學(xué)習(xí)安全防御與隱私保護(hù)技術(shù)研究 [J]. 計(jì)算機(jī)應(yīng)用研究， 2022， 39 （11）： 3220-3231. （Qiu Xiaohui， Yang Bo， Zhao Mengchen， et al. Survey on federated lear-ning security defense and privacy protection technology [J]. Application Research of Computers， 2022， 39 （11）： 3220-3231.）

[16]Shen Xiaoying， Jiang Hang， ChenYange， et al. PLDP-FL： federated learning with personalized local differential privacy [J]. Entropy， 2023， 25 （3）： 485.

[17]Han Liquan， Fan Di， Liu Jinyuan， et al. Federated learning differential privacy preservation method based on differentiated noise addition [C]// Proc of the 8th International Conference on Cloud Computing and Big Data Analytics. Piscataway， NJ： IEEE Press， 2023： 285-289.

[18]徐晨陽， 葛麗娜， 王哲， 等. 基于差分隱私保護(hù)知識遷移的聯(lián)邦學(xué)習(xí)方法 [J]. 計(jì)算機(jī)應(yīng)用研究， 2023， 40 （8）： 2473-2480. （Xu Chenyang， Ge Lina， Wang Zhe， et al. Federated learning method based on differential privacy protection knowledge transfer [J]. Application Research of Computers， 2023， 40 （8）： 2473-2480.）

[19]Zhao Jianzhe， Huang Chenxi， Wang Wenji， et al. Local differentially private federated learning with homomorphic encryption [J]. The Journal of Supercomputing， 2023，79： 19365-19395.

[20]Nguyen T， Thai M T. Preserving privacy and security in federated lear-ning [J]. IEEE/ACM Trans on Networking， 2023，32（1）： 833 - 843.

[21]Du Weidong， Li Min， WuLiqiang， et al. A efficient and robust privacy-preserving framework for cross-device federated learning [J]. Complex amp; Intelligent Systems， 2023，9： 4923-4937.

[22]Lin Li， Zhang Xiaoying.PPVerifier： a privacy-preserving and verifiable federated learning method in cloud-edge collaborative computing environment [J]. IEEE Internet of Things Journal， 2022， 10 （10）： 8878-8892.

[23]Xu Peng， Hu Manqing， Chen Tianyuan， et al. LaF： lattice-based and communication-efficient federated learning [J]. IEEE Trans on Information Forensics and Security， 2022， 17： 2483-2496.

[24]Huang Chao， Yao Yanqing， Zhang Xiaojun，et al. Robust secure aggregation with lightweight verification for federated learning [C]// Proc of IEEE International Conference on Trust， Security and Privacy in Computing and Communications. Piscataway， NJ： IEEE Press， 2022： 582-589.

[25]Zhou Zihao， Li Yanan， Ren Xuebin， et al. Towards efficient and stable K-asynchronous federated learning with unbounded stale gradients on non-IID data [J]. IEEE Trans on Parallel and Distributed Systems， 2022， 33 （12）： 3291-3305.

[26]Chen Yang， Sun Xiaoyan， Jin Yaochu. Communication-efficient federated deep learning with layerwise asynchronous model update and temporally weighted aggregation [J]. IEEE Trans on Neural Networks and Learning Systems， 2019， 31 （10）： 4229-4238.

[27]Wang Haozhao， Li Ruixuan， Li Chengjie， et al. Gradient scheduling with global momentum for asynchronous federated learning in edge environment [J]. IEEE Internet of Things Journal， 2022， 9 （19）： 18817-18828.