基于自適應(yīng)梯度壓縮的高效聯(lián)邦學(xué)習(xí)通信機(jī)制研究

唐 倫 汪智平 蒲 昊 吳 壯 陳前斌

(重慶郵電大學(xué)通信與信息工程學(xué)院 重慶 400065)

(重慶郵電大學(xué)移動通信技術(shù)重點實驗室 重慶 400065)

1 引言

為了保證訓(xùn)練數(shù)據(jù)保留在個人設(shè)備上，并促進(jìn)分布式設(shè)備之間復(fù)雜模型的協(xié)作機(jī)器學(xué)習(xí)，許多學(xué)者將移動邊緣計算(Mobile Edge Computing, MEC)與聯(lián)邦學(xué)習(xí)(Federated Learning, FL)結(jié)合，形成一種新的分布式機(jī)器學(xué)習(xí)架構(gòu)[1]。聯(lián)邦學(xué)習(xí)是一種新興的協(xié)作式框架，可以在不訪問客戶端私有數(shù)據(jù)的情況下訓(xùn)練深度學(xué)習(xí)模型。然而，隨著物聯(lián)網(wǎng)設(shè)備的海量增加，傳統(tǒng)的基于云-端的模式已經(jīng)不能滿足需求[2]。此外，傳統(tǒng)的分布式深度學(xué)習(xí)技術(shù)要求在模型訓(xùn)練階段，利用分布式隨機(jī)梯度下降(Distributed Stochastic Gradient Descent, DSGD)算法，在中心服務(wù)器上聚合和分析一定數(shù)量的私有數(shù)據(jù)[3]。對于工業(yè)物聯(lián)網(wǎng)設(shè)備來說，這樣的訓(xùn)練過程存在潛在的數(shù)據(jù)隱私泄露風(fēng)險，因此許多研究人員開始使用聯(lián)邦學(xué)習(xí)來解決該問題[4]。然而，聯(lián)邦學(xué)習(xí)在達(dá)到令人滿意的模型精度之前就遇到了通信和能量開銷的瓶頸[5]。

很多學(xué)者利用了移動邊緣計算的力量[6,7]，利用終端設(shè)備和邊緣服務(wù)器的計算和存儲能力，將模型訓(xùn)練帶到更接近數(shù)據(jù)生成的地方，這樣需要傳輸?shù)皆浦行牡臄?shù)據(jù)信息更少，從而大大降低了數(shù)據(jù)通信的成本[8]。移動邊緣計算雖然可以很好地減輕聯(lián)邦學(xué)習(xí)中延遲高等問題，但在設(shè)備端與邊緣服務(wù)器之間的模型聚合步驟中，依然存在著需要大量資源來完成模型參數(shù)上傳下發(fā)的通信過程。由于設(shè)備的計算和通信能力有限，會出現(xiàn)過多的模型傳輸輪次，從而降低訓(xùn)練時間預(yù)算下的學(xué)習(xí)性能[9]。

因此，針對通信開銷過大的問題，許多專家學(xué)者開始從降低聯(lián)邦學(xué)習(xí)通信頻率以及減少上傳數(shù)據(jù)總量入手。如Sattler等人[10]提出了一種專門滿足聯(lián)邦學(xué)習(xí)環(huán)境需求的稀疏3元壓縮(Sparse Ternary Compression, STC)框架，STC擴(kuò)展了已有的top-k梯度稀釋化壓縮技術(shù)，并引入了一種新的機(jī)制，使權(quán)值更新能夠進(jìn)行下游壓縮、規(guī)格化和最優(yōu)Golomb編碼。此外，Sun等人[11]提出了一種新的分布式量化梯度方法，該方法具有量化梯度自適應(yīng)通信的特點，但這種機(jī)制在實踐中難以確定恒定閾值的梯度。同時，Chen等人[12]提出一種懶惰梯度聚合(Lazily Aggregated Gradient, LAG)算法，可以自適應(yīng)地對梯度進(jìn)行計算并跳過一部分梯度通信，從而減少通信帶寬并減輕服務(wù)器壓力?；驹瓌t是檢測變化緩慢的梯度，并對這些梯度進(jìn)行壓縮，但LAG無法用來優(yōu)化凸問題，因此本文在總結(jié)Chen等人的工作基礎(chǔ)上，提出一種閾值自適應(yīng)的梯度壓縮機(jī)制(Adaptive Lazily Aggregated Gradient, ALAG)。本算法無需探索一個最優(yōu)的梯度閾值，因為尋找最優(yōu)閾值的工作是困難的，且不同問題對應(yīng)的閾值也是不同的，限定梯度閾值也會使得聯(lián)邦學(xué)習(xí)框架的擴(kuò)展性降低。

綜上所述，為解決物聯(lián)網(wǎng)絡(luò)場景下聯(lián)邦學(xué)習(xí)過程中因大量學(xué)習(xí)節(jié)點之間因冗余的梯度交互通信而帶來的不可忽視的通信成本問題，本文提出一種閾值自適應(yīng)的梯度壓縮通信機(jī)制。首先，使用一種邊緣計算結(jié)合聯(lián)邦學(xué)習(xí)的結(jié)構(gòu)來防止設(shè)備端數(shù)據(jù)隱私泄露，其中邊緣服務(wù)器作為中介設(shè)備執(zhí)行設(shè)備端的本地模型聚合，云端執(zhí)行邊緣服務(wù)器模型聚合及新參數(shù)下發(fā)。其次，為進(jìn)一步降低聯(lián)邦學(xué)習(xí)檢測時的通信開銷，提出一種閾值自適應(yīng)梯度壓縮機(jī)制，通過對本地模型梯度參數(shù)壓縮，減少設(shè)備端與邊緣服務(wù)器之間的冗余通信。

2 系統(tǒng)模型

2.1 模型組成

基于邊緣-聯(lián)邦學(xué)習(xí)的高效通信機(jī)制模型如圖1所示。邊緣-聯(lián)邦高效通信機(jī)制(Communication-Efficient EDge-Federated Learning, CE-EDFL)采用了云-邊-端3層協(xié)同架構(gòu)，邊緣節(jié)點與云中心分別完成局部模型聚合和全局模型聚合。對于給定的邊緣服務(wù)器，它在每一輪訓(xùn)練開始時從云中心服務(wù)器中獲取初始更新的模型，然后下發(fā)至每個客戶端，客戶端依據(jù)本地數(shù)據(jù)進(jìn)行模型訓(xùn)練。達(dá)到一定訓(xùn)練精度或完成模型收斂后，將模型參數(shù)上傳至邊緣節(jié)點。在邊緣節(jié)點上，完成本地模型聚合之后，將更新參數(shù)上傳至云中心服務(wù)器。如果云中心服務(wù)器模型收斂，則將此時的機(jī)器學(xué)習(xí)模型分配到每個邊緣節(jié)點作為最終的模型。

圖1 基于邊緣-聯(lián)邦學(xué)習(xí)的高效通信檢測模型

2.2 基于邊緣-聯(lián)邦學(xué)習(xí)的通信機(jī)制

算法1 基于邊緣-聯(lián)邦學(xué)習(xí)的高效通信算法

模型損失函數(shù)取決于機(jī)器學(xué)習(xí)訓(xùn)練模型，通常使用隨機(jī)梯度下降來求解。該梯度表示為

其中，k表示為本地模型迭代總次數(shù)?？蛻舳嗽O(shè)備更新本地模型后并計算其平均梯度參數(shù)

其中，η為學(xué)習(xí)率。在CE-EDFL架構(gòu)中，客戶端運用本地數(shù)據(jù)集執(zhí)行本地模型訓(xùn)練，在完成K1次本地更新后，對應(yīng)的每個邊緣服務(wù)器聚合其所有客戶端的模型。采用FedFvg[11]對其模型參數(shù)進(jìn)行加權(quán)平均

得到第l個邊緣服務(wù)器上的聚合模型ωl(k)，然后在完成K2次邊緣模型聚合之后，云服務(wù)器聚合所有邊緣服務(wù)器參數(shù)模型

云中心服務(wù)器聚合邊緣服務(wù)器上傳的參數(shù)并為下一輪訓(xùn)練建立了新的全局模型，并下發(fā)給所有邊緣服務(wù)器。重復(fù)此過程，直至滿足某一模型收斂標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)由式(6)給出

其中，δ為收斂閾值，l ossk為模型訓(xùn)練損失。

2.3 自適應(yīng)閾值梯度壓縮算法

聯(lián)邦學(xué)習(xí)需要與大量的學(xué)習(xí)節(jié)點進(jìn)行梯度交互，而這些交互通信不僅帶來巨大網(wǎng)絡(luò)通信帶寬，還存在著巨大的安全隱患。根據(jù)文獻(xiàn)[12]研究表明，在分布式架構(gòu)的機(jī)器學(xué)習(xí)模型中，99%的梯度交互通信是冗余的。這些冗余的梯度所需要的通信成本是不可忽視的，而且會給予參數(shù)服務(wù)器較大的通信壓力，跳過節(jié)點的部分通信能有助于減輕通信負(fù)荷。受上述事實的啟發(fā)，本文提出一種閾值自適應(yīng)的梯度壓縮機(jī)制(ALAG)來減少客戶端和邊緣服務(wù)器之間的梯度交換通信，如圖2所示，這一機(jī)制可以進(jìn)一步提高該框架的通信效率。

圖2 閾值自適應(yīng)選擇機(jī)制

根據(jù)式(17)可以對設(shè)備節(jié)點進(jìn)行自適應(yīng)判斷，當(dāng)節(jié)點滿足該式時，跳過本輪通信，本地梯度累計，繼續(xù)執(zhí)行下一輪訓(xùn)練。若節(jié)點不滿足該式時，即判斷為Hard節(jié)點，則該節(jié)點參與本輪與邊緣服務(wù)器通信。ALAG整體流程由算法2給出。

算法2 一種閾值自適應(yīng)的梯度壓縮算法

3 實驗及結(jié)果分析

本文使用機(jī)器學(xué)習(xí)領(lǐng)域常用的異常檢測任務(wù)作為實驗仿真用例，采用基于Pytorch1.10版本的深度學(xué)習(xí)框架，使用Pysyft庫來訓(xùn)練聯(lián)邦學(xué)習(xí)模型，并使用廣泛應(yīng)用于異常流量檢測算法性能測試的NSL-KDD數(shù)據(jù)集和UNSW_NB15數(shù)據(jù)集。其中NSL-KDD數(shù)據(jù)集由加拿大網(wǎng)絡(luò)安全研究所提供用于基于網(wǎng)絡(luò)安全入侵檢測的一個公共數(shù)據(jù)集，UNSW_NB15則是由新南威爾士大學(xué)堪培拉網(wǎng)絡(luò)靶場實驗室創(chuàng)建的一個用于網(wǎng)絡(luò)異常流量檢測的公共數(shù)據(jù)集。

此外，異常流量檢測只作為所提閾值自適應(yīng)壓縮算法仿真的實驗用例，本文的研究重點在于解決聯(lián)邦學(xué)習(xí)在執(zhí)行深度學(xué)習(xí)訓(xùn)練任務(wù)時的通信開銷優(yōu)化問題，因此未對具體的異常檢測深度學(xué)習(xí)算法及模型進(jìn)行深入研究。檢測準(zhǔn)確率以及聯(lián)邦學(xué)習(xí)架構(gòu)中梯度通信次數(shù)的指標(biāo)也是為了與其他優(yōu)化方法進(jìn)行對比，未對具體的深度學(xué)習(xí)方法有過多比較。但實驗中對不同方法均采用了相同的配置及關(guān)鍵參數(shù)，因此實驗指標(biāo)仍具有可用性價值。并且本文研究在于聯(lián)邦學(xué)習(xí)架構(gòu)對于物聯(lián)網(wǎng)場景下異常檢測的實用性，CE-EDFL模型并沒有對具體的深度學(xué)習(xí)模型有所限制，因此工作人員可以在實際的應(yīng)用場景中靈活配置，針對不同數(shù)據(jù)類型及任務(wù)強(qiáng)度進(jìn)行相應(yīng)調(diào)整。

3.1 參數(shù)設(shè)置

本文考慮一個具有30個客戶端、3個邊緣服務(wù)器和1個云服務(wù)器的CE-EDFL系統(tǒng)，假設(shè)每個邊緣服務(wù)器授權(quán)具有相同數(shù)量訓(xùn)練數(shù)據(jù)的客戶端。在每個客戶設(shè)備端上，采用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)進(jìn)行流量異常檢測訓(xùn)練。CNN網(wǎng)絡(luò)具有兩個卷積層，卷積核大小分別為2×2×10和2×2×20，卷積步長均為1。對于每個客戶端上的模型訓(xùn)練的本地計算，使用批量大小為20的小批量隨機(jī)梯度下降算法(Stochastic Gradient Descent, SGD)，初始學(xué)習(xí)率為0.01。本文考慮了3個邊緣服務(wù)器和30個設(shè)備參與了實驗的訓(xùn)練過程，3個邊緣節(jié)點的模型結(jié)構(gòu)參考Tensorflow發(fā)布的Tutorial，并且將3層MLP模型修改為卷積神經(jīng)網(wǎng)絡(luò)。在每次所有的數(shù)據(jù)集都有75%用于訓(xùn)練，25%用于隨機(jī)測試。每次實驗后，節(jié)點都會重新獲取新的數(shù)據(jù)，本文對不同取值的參數(shù)α分別進(jìn)行實驗，得到不同α取值下的準(zhǔn)確率以及通信次數(shù)對比。

3.2 評價指標(biāo)

本文使用預(yù)測準(zhǔn)確率(Accuracy, Acc)對CE-EDFL模型進(jìn)行精確度評估，引入壓縮率(Compression Ratio, CR)來衡量梯度壓縮效果。壓縮率(CR)反映梯度壓縮程度，定義為達(dá)到目標(biāo)任務(wù)檢測準(zhǔn)確率條件下，壓縮后梯度交換通信次數(shù)與壓縮前通信次數(shù)之比。壓縮率越低，壓縮程度越高。

一般情況下，降低壓縮率會大大減少梯度通信次數(shù)，能夠有效地降低通信開銷；但同樣地，壓縮率的減小也會導(dǎo)致模型檢測準(zhǔn)確率降低。因此，為了權(quán)衡這兩個指標(biāo)，本文引入壓縮綜合指數(shù)(Compressed Composite Index, CCI)，通過調(diào)節(jié)兩項關(guān)鍵指標(biāo)的比例來做出模型最佳決策。CCI定義為

其中，β1和β2分別用于衡量Acc和CR兩個參數(shù)的比例，β1+β2=1， 且β1＞0,β2＞0。由于本文機(jī)器學(xué)習(xí)模型最終任務(wù)為異常流量檢測，因此，Acc的優(yōu)先級需要高于CR，即β1＞β2。模型梯度壓縮評價指標(biāo)CCI綜合考慮了Acc與CR，當(dāng)CCI越高，即模型梯度壓縮整體效果越好。

3.3 實驗結(jié)果及分析

3.3.1 梯度壓縮實驗

為確定梯度壓縮中最佳α系數(shù)的取值，本文將每次所有的數(shù)據(jù)集都有75%用于訓(xùn)練，25%用于隨機(jī)測試。每次實驗后，節(jié)點都會重新獲取新的數(shù)據(jù)，本文對不同取值的參數(shù)α分別進(jìn)行實驗，得到不同α取值下的準(zhǔn)確率以及通信次數(shù)對比。具體結(jié)果如表1所示。

整體而言，隨著壓縮系數(shù)α的增大，模型平均通信次數(shù)在不斷增加，即壓縮程度減小，因此對模型檢測精度的干擾也減小，平均檢測準(zhǔn)確率總體上升。相反，若模型壓縮率較小，較未壓縮情況下，準(zhǔn)確率及通信次數(shù)未有較大改變。同時，在表1數(shù)據(jù)結(jié)果中，可以發(fā)現(xiàn)模型檢測準(zhǔn)確率存在一定的波動，這是由于實驗設(shè)定的模型參數(shù)及樣本數(shù)據(jù)的個體差異所帶來的偏差，總體而言，并不影響實驗整體結(jié)果。

表1 不同α 取值下的模型檢測準(zhǔn)確率及壓縮率

明顯地可以從表1中注意到α取值為0.1時，模型壓縮率達(dá)到實驗最低值，且在之后有較大上升；相應(yīng)地，在模型檢測準(zhǔn)確率上，隨著α的增加有了小幅度提升，但實驗最終采取模型壓縮綜合指數(shù)，因此綜合到模型壓縮率及準(zhǔn)確率，本文確定α取值為0.1。

進(jìn)一步地，需要計算該取值下的模型綜合壓縮指數(shù)CCI。通過3.2節(jié)的定義，分別計算參數(shù)系數(shù)β1,β2不同取值下的CCI，結(jié)果如圖3所示。

圖3 不同α取值下的CCI值

此外，本文對比了Sun等人[11]以及Lu等人[13]的工作做了對比實驗，從準(zhǔn)確率、壓縮率及壓縮綜合指數(shù)3個指標(biāo)來展示CE-EDFL中ALAG算法與LAG等算法的性能比較，結(jié)果如表2。從表2可以看出，在β1=0.5,β2=0.5時，ALAG算法能夠達(dá)到同期最大的CCI值，并且優(yōu)于LAG算法，LAG雖然能夠達(dá)到更好的壓縮指標(biāo)，但在檢測準(zhǔn)確率上與ALAG上相差較大，這與我們的異常檢測目標(biāo)相違背。在與傳統(tǒng)聯(lián)邦學(xué)習(xí)模型對比中，進(jìn)一步節(jié)省了23.5%的通信成本，即降低梯度通信輪次，但在準(zhǔn)確率上僅下降0.26%，這對于需要處理海量設(shè)備的聯(lián)邦學(xué)習(xí)模型而言，代價是極小的。

表2 不同α, β下各算法性能對比

3.3.2 綜合實驗分析：CE-EDFL結(jié)合梯度壓縮實驗

此外，為驗證在大規(guī)模物聯(lián)網(wǎng)場景下的性能，本文進(jìn)一步進(jìn)行了模擬仿真，在同一個邊緣服務(wù)器下，將客戶端數(shù)量由30個逐步增加至50個，來驗證在大規(guī)模物聯(lián)網(wǎng)場景下，客戶端數(shù)量對模型架構(gòu)檢測精度及收斂性的影響，實驗結(jié)果如圖4所示。圖4(a)可以看出，隨著客戶端數(shù)量的不斷增加，模型檢測精準(zhǔn)度存在非常小的下降，僅下降0.02%。此外，圖4(b)可以看出由于設(shè)備數(shù)量的增加，模型收斂性同樣存在微小的影響。這是因為隨著客戶端數(shù)量的增加，全局模型聚合需要等待更多的本地參數(shù)上傳，同時也需要聚合更多的梯度參數(shù)。但由于CE-EDFL中加入了梯度壓縮算法，增加更多的客戶端同樣也會舍棄掉更多的參數(shù)信息量少的客戶端節(jié)點，因此全局收斂所需的迭代次數(shù)增多并不會影響全局收斂性能。

圖4 不同客戶端數(shù)量下模型性能對比

在整體模型檢測準(zhǔn)確率以及通信次數(shù)性能仿真上，本文選擇了卷積-聯(lián)邦學(xué)習(xí)網(wǎng)絡(luò)(Convolutional Neural Networks-Federated Learning, CNN-FL)[4]、聯(lián)邦平均算法(Federated Averaging, FedAvg)[14]、分層邊緣聯(lián)邦學(xué)習(xí)算法(Hierarchical Federated Edge Learning, HFEL)[2]作為與CE-EDFL的對比方案；其中，文獻(xiàn)[4]中所提出的CNN-FL算法為一類沒有采用云邊端3層架構(gòu)的傳統(tǒng)聯(lián)邦學(xué)習(xí)模型，直接使用與本文參數(shù)配置相同的CNN模型進(jìn)行聯(lián)邦學(xué)習(xí)；文獻(xiàn)[14]所提為聯(lián)邦學(xué)習(xí)經(jīng)典的基線算法；文獻(xiàn)[2]使用的HFEL算法同樣為一類分層聯(lián)邦學(xué)習(xí)算法，本文舍棄該算法中關(guān)于設(shè)備選擇及資源分配部分內(nèi)容，將其分層聯(lián)邦架構(gòu)作為與CE-EDFL的對比方案。實驗所有的數(shù)據(jù)集都有75%用于訓(xùn)練，25%用于隨機(jī)測試。在訓(xùn)練過程中，每次執(zhí)行1000次全局迭代，其中所有設(shè)備在4種方案中執(zhí)行相同數(shù)量的局部迭代。相應(yīng)模型訓(xùn)練損失loss及檢測準(zhǔn)確率Acc結(jié)果如圖5、圖6所示。

圖5 4種模型訓(xùn)練損失對比

圖6 4種模型檢測精準(zhǔn)度對比

圖5、圖6實驗結(jié)果顯示，經(jīng)過梯度壓縮處理后的CE-EDFL模型在檢測準(zhǔn)確率能夠達(dá)到95.12%，且在模型訓(xùn)練階段，在300輪全局迭代左右即可達(dá)到收斂，優(yōu)于當(dāng)前各類相關(guān)研究算法模型。此外，CE-EDFL采用了ALAG作為梯度壓縮算法，能夠舍棄一部分“懶惰”節(jié)點，大幅度減少梯度冗余通信。

由圖5看出模型達(dá)到收斂所需輪次存在一些差距，這是因為采用兩種不同數(shù)據(jù)集，并且將數(shù)據(jù)分為訓(xùn)練集和測試集，由于數(shù)據(jù)集個體樣本上存在的細(xì)微差距導(dǎo)致的。圖7測試結(jié)果顯示，在達(dá)到目標(biāo)檢測準(zhǔn)確率條件下，CE-EDFL能夠?qū)⑼ㄐ糯螖?shù)控制在30次左右，采用了云-邊-端3層架構(gòu)的算法(CE-EDFL, HFEL)由于邊緣層可以在全局訓(xùn)練初步階段進(jìn)行一次聚合，對比傳統(tǒng)的兩層架構(gòu)而言，可以有效減少不必要的全局聚合步驟，因此大大減少了通信次數(shù)。此外，運用了梯度壓縮的機(jī)制后，CE-EDFL算法可以將信息度較低的節(jié)點舍棄不參與到本輪聯(lián)邦學(xué)習(xí)的聚合，因此可以進(jìn)一步降低達(dá)到檢測精度所需的通信交互次數(shù)。

圖7 4種模型全局所需通信次數(shù)

4 結(jié)論

本文提出一種面向邊緣網(wǎng)絡(luò)的高效聯(lián)邦學(xué)習(xí)架構(gòu)。首先該架構(gòu)通過聯(lián)邦學(xué)習(xí)可以有效地解決“數(shù)據(jù)孤島”問題，在不泄露數(shù)據(jù)隱私的前提下完成分布式機(jī)器學(xué)習(xí)任務(wù)。其次，針對現(xiàn)有聯(lián)邦學(xué)習(xí)框架下存在大量冗余梯度傳輸通信所帶來的能耗過高的問題，本文提出一種自適應(yīng)閾值梯度壓縮算法，通過對邊緣節(jié)點進(jìn)行自適應(yīng)判斷，從而完成剔除“懶惰”節(jié)點，減少對全局增益較小的冗余通信。經(jīng)實驗表明，本文所提算法能夠?qū)⑻荻韧ㄐ糯螖?shù)壓縮至原有的8%，并且模型檢測準(zhǔn)確率僅下降0.0174%。