• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    提升聯(lián)邦學(xué)習(xí)通信效率的梯度壓縮算法①

    2022-11-07 09:07:44田金簫
    關(guān)鍵詞:模型

    田金簫

    (西南交通大學(xué) 計(jì)算機(jī)與人工智能學(xué)院,成都 611756)

    1 引言

    近年來,隨著人工智能技術(shù)的快速發(fā)展和廣泛應(yīng)用,數(shù)據(jù)隱私保護(hù)也得到了密切關(guān)注.歐盟出臺(tái)了首個(gè)關(guān)于數(shù)據(jù)隱私保護(hù)的法案《通用數(shù)據(jù)保護(hù)條例》(General Data Protection Regulation,GDPR)[1],明確了對(duì)數(shù)據(jù)隱私保護(hù)的若干規(guī)定.中國自2017年起實(shí)施的《中華人民共和國網(wǎng)絡(luò)安全法》和《中華人民共和國民法總則》中也對(duì)用戶隱私數(shù)據(jù)的使用做出了明確的規(guī)定.在機(jī)器學(xué)習(xí)中,模型的好壞很大程度上依托于建模的數(shù)據(jù).但由于相關(guān)法律法規(guī)的限制,數(shù)據(jù)孤島問題變得十分普遍,導(dǎo)致企業(yè)很難獲取訓(xùn)練數(shù)據(jù).為此,谷歌在2016年提出了聯(lián)邦學(xué)習(xí)的概念.聯(lián)邦學(xué)習(xí)是一種基于分布式機(jī)器學(xué)習(xí)的框架,在這種框架中,多個(gè)客戶端在中央服務(wù)器的協(xié)調(diào)下共同訓(xùn)練模型,并保證訓(xùn)練數(shù)據(jù)可以保留在本地,不需要像傳統(tǒng)的機(jī)器學(xué)習(xí)方法一樣將數(shù)據(jù)上傳至中央服務(wù)器[2],從而保護(hù)了用戶隱私.

    構(gòu)建一個(gè)高性能的聯(lián)邦模型通常需要多輪通信,同時(shí)規(guī)模龐大的神經(jīng)網(wǎng)絡(luò)模型,往往包含數(shù)百萬個(gè)參數(shù)[3],這導(dǎo)致了巨大的通信開銷.此外,相較于傳統(tǒng)的分布式機(jī)器學(xué)習(xí),聯(lián)邦學(xué)習(xí)還面臨如下問題:

    1)客戶端數(shù)據(jù)非獨(dú)立同分布: 在傳統(tǒng)分布式機(jī)器學(xué)習(xí)中的訓(xùn)練數(shù)據(jù)隨機(jī)均勻地分布在客戶端上[4],即遵循獨(dú)立同分布(independent and identically distributed,IID).這在聯(lián)邦學(xué)習(xí)中通常是不成立的,由于用戶的喜好不同,客戶端的數(shù)據(jù)通常是非獨(dú)立同分布(non-IID)的.即客戶端擁有的局部數(shù)據(jù)集不能代表整體數(shù)據(jù)的分布,不同客戶端之間的數(shù)據(jù)分布也不同.

    2)數(shù)據(jù)不平衡: 不同的客戶端可能擁有不同的數(shù)據(jù)量.

    3)客戶端數(shù)量龐大且不可靠: 參與訓(xùn)練的客戶端為大量的移動(dòng)設(shè)備,通常大部分客戶端經(jīng)常離線或者處于不可靠的連接上,因此無法確保客戶端參與每一輪的訓(xùn)練.

    本文主要研究聯(lián)邦學(xué)習(xí)中的通信效率問題,利用梯度稀疏化的思想減少客戶端與服務(wù)器之間通信的參數(shù)量,并在服務(wù)器聚合時(shí)使用投影的方式緩解非獨(dú)立同分布數(shù)據(jù)帶來的影響.經(jīng)過在MNIST 和CIFAR10數(shù)據(jù)集上的實(shí)驗(yàn)證明,本文提出的算法能夠在聯(lián)邦學(xué)習(xí)的約束條件下高效訓(xùn)練模型.

    2 相關(guān)工作

    一般來說,減少聯(lián)邦學(xué)習(xí)中的通信開銷有兩種策略,一種是減少訓(xùn)練過程中的通信輪次,另一種是減少每輪傳遞的通信量.減少通信輪次的經(jīng)典方案是聯(lián)邦學(xué)習(xí)中最常用的FedAvg 算法[2],即令客戶端在本地執(zhí)行多輪本地更新,服務(wù)器再進(jìn)行全局聚合,來減少通信輪數(shù).FedAvg 在每次通信中,客戶端需要上傳或下載整個(gè)模型,由于聯(lián)邦客戶端通常運(yùn)行在緩慢且不可靠的網(wǎng)絡(luò)連接上,這一要求使得使用FedAvg 訓(xùn)練大型模型變得困難.在實(shí)際應(yīng)用中,FedAvg 算法可以較好地處理非凸問題,但該算法不能很好處理聯(lián)邦學(xué)習(xí)中數(shù)據(jù)non-IID 的情況,在此應(yīng)用場景很可能導(dǎo)致模型不收斂[5].因此針對(duì)non-IID 場景,Briggs 等[6]在FedAvg的基礎(chǔ)上引入層次聚類技術(shù),根據(jù)局部更新與全局模型的相似度對(duì)客戶端進(jìn)行聚類和分離,以減少總通信輪數(shù).此外Karimireddy 等[7]通過估計(jì)服務(wù)器與客戶端更新方向的差異來修正客戶端本地更新的方向,有效地克服了non-IID 問題,能在較少的通信輪次達(dá)到收斂.

    另一類方法的核心思想在于減少傳輸?shù)臄?shù)據(jù)量,主要通過量化、稀疏化等一系列方法對(duì)模型參數(shù)或者梯度進(jìn)行壓縮.量化通過將元素低精度表示或者映射到預(yù)定義的一組碼字來減少梯度張量中每個(gè)元素的位數(shù),例如Dettmers[8]將梯度的32 位浮點(diǎn)數(shù)量化至8 位,SignSGD[9-11]則只保留梯度的符號(hào)來更新模型,將負(fù)梯度量化為-1,其余量化為1,實(shí)現(xiàn)了32 倍的壓縮.稀疏化方法通過只上傳部分重要的梯度來進(jìn)行全局模型的更新,如何選擇這些梯度成為該方法的關(guān)鍵.Strom[12]提出使用梯度的大小來衡量其重要性,通過預(yù)先設(shè)立閾值,當(dāng)梯度大于該閾值時(shí)對(duì)其進(jìn)行上傳.然而在實(shí)際情況中,由于不同的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)分布差異較大,導(dǎo)致我們無法選擇合適的閾值.因此目前稀疏化方法通常使用Aji 等[13]提出的固定稀疏率,每次傳遞一定比例的最大梯度或每次傳遞前k個(gè)最大梯度的Topk 方法[14].上述工作有效地解決了分布式機(jī)器學(xué)習(xí)中的通信開銷問題,針對(duì)聯(lián)邦學(xué)習(xí)的訓(xùn)練環(huán)境,Rothchild 等[15]使用了一種特殊的數(shù)據(jù)結(jié)構(gòu)計(jì)數(shù)草圖(count sketch)對(duì)客戶端梯度進(jìn)行壓縮.Chen 等[16]將神經(jīng)網(wǎng)絡(luò)的不同層分為淺層和深層,并認(rèn)為深層參數(shù)更新頻率低于淺層參數(shù),因此提出了異步更新策略,有效減少了每輪傳遞的參數(shù)量.Haddadpour 等[17]在FedAvg 的基礎(chǔ)上對(duì)每輪傳遞的參數(shù)進(jìn)行壓縮,并針對(duì)non-IID 場景采用梯度跟蹤技術(shù)對(duì)客戶端梯度方向進(jìn)行修正,在收斂速度和準(zhǔn)確率上都取得了較好的效果.

    Sattler 等[18]也針對(duì)聯(lián)邦學(xué)習(xí)的訓(xùn)練環(huán)境提出了稀疏三元壓縮(sparse ternary compression,STC),該方法在Topk 梯度稀疏化的基礎(chǔ)上進(jìn)行了量化進(jìn)一步減少了通信量,并利用錯(cuò)誤反饋機(jī)制實(shí)現(xiàn)了客戶端與服務(wù)器之間的雙向壓縮,在聯(lián)邦學(xué)習(xí)場景中表現(xiàn)出了良好的效果.該方法考慮了聯(lián)邦學(xué)習(xí)中客戶端non-IID數(shù)據(jù)的場景,通過利用稀疏的特性以及減少本地訓(xùn)練次數(shù)與服務(wù)器端頻繁通信去減輕non-IID 數(shù)據(jù)帶來的問題,但該方法對(duì)non-IID 數(shù)據(jù)的優(yōu)化能力有限.因此本文將在稀疏三元壓縮算法的基礎(chǔ)上,關(guān)注non-IID下的聯(lián)邦場景,提升聯(lián)邦學(xué)習(xí)的通信效率.

    3 算法設(shè)計(jì)

    3.1 稀疏三元壓縮

    常規(guī)的Topk 稀疏方法以全精度傳遞稀疏元素,Sattler 等[19]證明了當(dāng)稀疏化與非零元素的量化相結(jié)合時(shí),可以獲得更高的壓縮增益.如算法1 所示,當(dāng)獲得Topk 稀疏元素Tmasked后,會(huì)將其量化為稀疏元素的平均值,因此最后只需要傳遞一個(gè)包含值{-μ,0,μ}的三元張量.如果將每一層的梯度看做一個(gè)矩陣,那么使用Topk 和稀疏三元壓縮后得到的結(jié)果如圖1 所示,原始梯度是一個(gè)稠密矩陣,顏色深淺代表值的大小,通過Topk 方法會(huì)得到一個(gè)保留較大值的稀疏矩陣,值較小的則置為0,而稀疏三元壓縮則在Topk 的基礎(chǔ)上做了量化,進(jìn)一步提升了壓縮率.

    圖1 梯度壓縮效果

    算法1.STC[18]: 稀疏三元壓縮算法T∈Rn輸入: 張量,稀疏率p 1.v←topk(|T|)k←max(np,1)2.mask←(|T|≥v)∈{0,1}n 3.Tmasked←mask⊙T 4.μ←1∑ni=1|Tmaskedi|5.T*←μ×sign(Tmasked)6.輸出k

    Sattler 等[18]在聯(lián)邦學(xué)習(xí)中使用稀疏三元壓縮對(duì)客戶端和服務(wù)器之間通信的梯度進(jìn)行雙向壓縮,并結(jié)合錯(cuò)誤反饋機(jī)制[20]在客戶端和服務(wù)器保留壓縮前后的誤差累加至下一輪訓(xùn)練過程.

    其中,gti為第i個(gè)客戶端第t輪訓(xùn)練得到的原始梯度,為壓縮后的梯度,errort為壓縮前后的誤差.該方法取得了與非壓縮算法相似的收斂速度并大大減少了每一輪的通信量,因此本文也將使用稀疏三元壓縮方法進(jìn)行梯度壓縮.

    3.2 Non-IID 數(shù)據(jù)的處理

    目前在聯(lián)邦學(xué)習(xí)中,我們通常采用平均各個(gè)客戶端梯度的方法計(jì)算全局模型.當(dāng)不同客戶端數(shù)據(jù)滿足IID 條件時(shí),各客戶端梯度更新方向相近,且聚合后梯度與基于傳統(tǒng)的集中式學(xué)習(xí)獲得的梯度相似性較高.故此方法能獲得全局目標(biāo)函數(shù)的最優(yōu)解.若客戶端數(shù)據(jù)non-IID 且數(shù)據(jù)量差異較大,各客戶端梯度差異性較大,存在相互干擾的情況,導(dǎo)致全局模型收斂速率降低.同時(shí),簡單平均各方梯度易使數(shù)據(jù)量多的客戶端占主導(dǎo)作用,使得全局模型無法較好地處理數(shù)據(jù)量較少的客戶端,最終導(dǎo)致全局模型整體性能低下.

    Wang 等[21]提出使用梯度投影處理non-IID 數(shù)據(jù)的問題,服務(wù)器端在進(jìn)行梯度平均之前,通過修改梯度方向減輕non-IID 數(shù)據(jù)帶來的影響.該方法首先對(duì)客戶端之間的梯度沖突做出定義,當(dāng)客戶端i的梯度gi和客戶端j的梯度gj滿足gi·gj<0時(shí),則稱為客戶端i和客戶端j之間存在梯度沖突.當(dāng)客戶端之間存在梯度沖突時(shí),梯度方向差異性較大,這時(shí)可以通過將一個(gè)客戶端的梯度投影到另一個(gè)有沖突的客戶端梯度平面上,使用原梯度減去投影來縮小客戶端之間的梯度差異,如式(3)所示:

    此外,該方法定義了內(nèi)部沖突和外部沖突,分別對(duì)其進(jìn)行投影處理.將參與訓(xùn)練的客戶端之間的梯度沖突定義為內(nèi)部沖突,將客戶端梯度按照訓(xùn)練損失從小到大排序得到并引入?yún)?shù) α來控制每輪參與投影的客戶端數(shù)目.從POt中選擇損失較小的客戶端Sαt迭代的判斷與其他客戶端之間的梯度沖突,并進(jìn)行投影修改梯度方向以緩解內(nèi)部沖突.對(duì)于未選擇的損失較大的客戶端則保持原有的梯度,此后進(jìn)行梯度平均得到聚合后的梯度gt,如算法2 所示.

    在實(shí)際聯(lián)邦場景中,客戶端non-IID 程度較大,在每輪聚合中,若對(duì)所有客戶端統(tǒng)一采用投影方案,則導(dǎo)致訓(xùn)練損失大的客戶端的梯度方向不斷靠近損失小的客戶端.這將導(dǎo)致聚合模型無法學(xué)習(xí)到所有客戶端的信息.但通過調(diào)整參數(shù) α,自適應(yīng)地讓部分訓(xùn)練損失較大的客戶端直接參與最終的聚合階段,有效地緩解了上述問題.

    算法2.MitigateInternalConflict[21]: 緩解內(nèi)部沖突算法輸入: 客戶端梯度投影順序,參數(shù)POtα POtS1-αtα 1.服務(wù)器從選擇損失較小的客戶集合參與投影,保留 比例損失較大的客戶端梯度k∈S1-α t 2.for each client in parallel do gpc k ←gtk 3.gti∈POti=1,···,m 4.for each ,do k ·gti<0k≠i 5.if and then gPC||gti||2 gti 6.投影修正客戶端梯度:gPC k ←gPCk -(gti)·gPC k 7.end if 8.end for 9.end for ∑mk=1 gPCk 10.計(jì)算聚合梯度:gt←1 m 11.返回聚合梯度gt

    由于聯(lián)邦學(xué)習(xí)中客戶端的部分參與和不可靠連接,在第t輪未被選中參與訓(xùn)練的客戶端可能會(huì)遭受被全局模型遺忘的風(fēng)險(xiǎn), 因此可以在服務(wù)端保留其最近一次參與訓(xùn)練的梯度根據(jù)它們的近鄰歷史梯度來估計(jì)真實(shí)梯度以避免客戶端被遺忘, 如算法3 第6 步所示.第t輪未被選中客戶端的估計(jì)梯度gcon與參與更新的客戶端平均后的梯度gt之間的沖突稱為外部沖突, 通過將gt迭代的投影到不同輪次的估計(jì)梯度gcon的法平面以緩解外部沖突, 通過參數(shù)τ控制投影的輪次. 具體步驟如算法3 所示.

    算法3.MitigateExternalConflict[21]: 緩解外部沖突算法gtGHτ輸入:聚合梯度 ,所有客戶端近鄰歷史梯度,參數(shù)1.for round do gcon←0 t-i,i=τ,τ-1,···,1 2.初始化估計(jì)梯度:k=1,2,···,K 3.for each client do tk=t-i 4.if then gt·gtkk <0 5.if then gcon←gcon+gtkk 6.計(jì)算未被選中客戶端的估計(jì)梯度:7.end if 8.end if 9.end for gt·gcon<0 10.if then 11.對(duì)聚合梯度投影修正:12.end if 13.end for gt 14.返回聚合梯度gt←gt- gt·gcon||gcon||2 gcon

    3.3 基于投影聚合的稀疏三元壓縮算法

    鑒于投影能夠有效地處理聯(lián)邦學(xué)習(xí)中的non-IID數(shù)據(jù)問題,因此本文將在稀疏三元壓縮的基礎(chǔ)上,在服務(wù)器端使用投影聚合的方式,進(jìn)一步提高模型的正確率與收斂速度,具體步驟如算法4 所示.

    服務(wù)器端接收到客戶端梯度與訓(xùn)練損失后,首先在算法第14 行更新每個(gè)客戶端最近一次參與訓(xùn)練的梯度以便在緩解外部沖突時(shí)使用,其中K是所有客戶端個(gè)數(shù),tK是客戶端最近一次參與訓(xùn)練的輪次.之后在第15 行根據(jù)訓(xùn)練損失的大小對(duì)本輪參與訓(xùn)練的客戶端梯度進(jìn)行排序得到其中m是本輪參與訓(xùn)練的客戶端個(gè)數(shù).然后依次根據(jù)算法2 中的緩解內(nèi)部沖突算法和算法3 中的緩解外部沖突算法得到聚合梯度gt.算法2 和算法3 的主要作用是對(duì)聚合梯度gt的方向進(jìn)行修正以緩解non-IID 問題,因此在第20 行中,保留修正后的聚合梯度gt的方向與原始聚合梯度的大小得到最終的聚合梯度.最后使用與客戶端相同的STC 壓縮算法壓縮聚合梯度并發(fā)送至客戶端.

    算法4.基于投影聚合的稀疏三元壓縮算法輸入: 初始化模型w 1.for do 2.服務(wù)器從K 個(gè)客戶端隨機(jī)選取m 個(gè)客戶端參與訓(xùn)練i=1,···,m t=1,···,T 3.for in parallel do Ci 4.客戶端 :5.從服務(wù)器端下載聚合梯度wti←wt-1i -gˉg 6.)-wti 7.gti←S TC(gti+errort-1,p)8.errort=gti-?gti 9.?gtilti 10.上傳客戶端梯度 和訓(xùn)練損失至服務(wù)器11.end for 12.服務(wù)器器端:?gtilti 13.接收參與訓(xùn)練的客戶端梯度 和訓(xùn)練損失gti←SGD(wti,Datai

    GH={?gt11 ,?gt22 ,···,?gtKK 14.更新所有客戶端近鄰歷史梯度信息:POt={?gt1,?gt2,···,?gtm}15.根據(jù)客戶端訓(xùn)練損失對(duì)梯度排序:gt←MitigateInternalCon flict(POt,α)16.緩解內(nèi)部沖突:t≥τ}17.if then gt←MitigateExternalCon flict(gt,GH,τ)18.緩解外部沖突:19.end if gt=gt/||gt||*|| 1∑mi ?gti||20.m g=S TC(gt+error,p)21.22.error=gt-g 23.發(fā)送聚合梯度 至客戶端24.end for g

    算法4 中的步驟可簡化為圖2,在客戶端,首先接收聚合梯度,然后根據(jù)模型和客戶端數(shù)據(jù)進(jìn)行本地訓(xùn)練得到客戶端梯度,本地訓(xùn)練完成后使用STC 算法壓縮梯度上傳至服務(wù)器,并計(jì)算壓縮誤差存儲(chǔ)在本地,在下一輪被選中訓(xùn)練時(shí)進(jìn)行梯度修正.

    圖2 基于投影聚合的稀疏三元壓縮算法流程

    服務(wù)端接收到所有參與訓(xùn)練的客戶端發(fā)送的梯度后判斷客戶端梯度之間是否存在梯度沖突,并依次通過緩解內(nèi)部沖突和外部沖突的算法對(duì)梯度方向進(jìn)行修正.最終聚合投影后的梯度生成全局梯度gt,采用STC 算法壓縮全局梯度gt得到發(fā)送至客戶端.該算法實(shí)現(xiàn)了客戶端與服務(wù)器之間的雙向壓縮,并且在服務(wù)器端進(jìn)行投影緩解數(shù)據(jù)異構(gòu)的問題.

    4 實(shí)驗(yàn)分析

    4.1 實(shí)驗(yàn)設(shè)置

    本文的實(shí)驗(yàn)使用了MNIST 和CIFAR10 數(shù)據(jù)集.MNIST 數(shù)據(jù)集包含60 000 張訓(xùn)練圖片,10 000 張測試圖片,每張圖片是2 828 的灰度手寫數(shù)字圖像,實(shí)驗(yàn)使用帶有3 個(gè)卷積層的CNN 模型對(duì)MNIST 進(jìn)行訓(xùn)練.CIFAR10 數(shù)據(jù)集包含50 000 張訓(xùn)練圖片,10 000 張測試圖片,每張圖片是3 232 的RGB 圖像,使用文獻(xiàn)[18]中簡化的VGG11 網(wǎng)絡(luò)進(jìn)行訓(xùn)練.客戶端數(shù)據(jù)集劃分參照文獻(xiàn)[2],首先按照數(shù)據(jù)集的類別進(jìn)行排序,然后將數(shù)據(jù)集劃分為200 個(gè)分片,每個(gè)客戶端隨機(jī)選擇兩個(gè)不會(huì)替換的分片來模擬客戶端數(shù)據(jù)非獨(dú)立同分布的場景.實(shí)驗(yàn)中部分參數(shù)設(shè)置如表1 所示.

    表1 參數(shù)設(shè)置

    4.2 實(shí)驗(yàn)結(jié)果

    我們將本文提出的算法與FedAvg 以及稀疏三元壓縮算法進(jìn)行了對(duì)比,圖3 和圖4 是在MNIST 數(shù)據(jù)集上的結(jié)果,圖3 是全局模型在所有客戶端上的平均測試準(zhǔn)確率,圖4 為測試準(zhǔn)確率的方差,其中稀疏三元壓縮以及本文提出的算法在實(shí)驗(yàn)中設(shè)置了0.1 的稀疏率,也就是每輪傳遞10%的參數(shù)進(jìn)行訓(xùn)練,根據(jù)圖1 的實(shí)驗(yàn)結(jié)果可以看到本文提出的算法相較于其他算法收斂速度和收斂精度都略有提升,特別是相較于STC 算法,在相同壓縮率的條件下本文提出的算法大約在第75 輪收斂,而STC 算法在訓(xùn)練過程非常震蕩,并且在大約100 輪才收斂.

    圖3 MNISTS 數(shù)據(jù)集測試正確率

    圖4 MNISTS 數(shù)據(jù)集測試方差

    圖5 和圖6 是在CIFAR10 數(shù)據(jù)集上的測試準(zhǔn)確率和測試方差,稀疏率同樣為0.1,與MNIST 數(shù)據(jù)集相比,在CIFAR10 數(shù)據(jù)集上的訓(xùn)練過程更加震蕩,但是本文提出的算法相較其他算法收斂速度和收斂精度都有大幅度提升,并且訓(xùn)練過程中的震蕩幅度遠(yuǎn)遠(yuǎn)小于FedAvg 和STC 算法,這說明本文的算法是非常有效的.

    圖5 CIFAR10 數(shù)據(jù)集平均測試正確率

    圖6 CIFAR10 數(shù)據(jù)集測試方差

    表2 中記錄了客戶端與服務(wù)器之間每輪通信的參數(shù)大小,通信輪次是達(dá)到固定正確率(MNIST 95%CIFAR10 50% )大約所用的通信輪數(shù),以FedAvg 作為基線算法,本文提出的算法在上傳和下載時(shí)都進(jìn)行了壓縮,在MNIST 數(shù)據(jù)集上相較于FedAvg 每輪的通信量減少了45 倍,并且本文的算法在第100 輪時(shí)就達(dá)到了指定的正確率,相較于FedAvg 和STC 分別減少了97 和57 個(gè)通信輪次,在CIFAR10 數(shù)據(jù)集上每輪的通信量更是減少了47 倍,通信輪次相較于FedAvg 和STC 減少了295 輪和300 輪.

    表2 通信開銷計(jì)算

    5 結(jié)論

    本文提出了基于投影聚合的稀疏三元壓縮算法,提升聯(lián)邦學(xué)習(xí)的通信效率.該算法在客戶端和服務(wù)端采用稀疏三元壓縮減少客戶端在每一輪訓(xùn)練過程中上傳和下載的通信量,同時(shí)在服務(wù)器端利用梯度投影的方式緩解了由于客戶端數(shù)據(jù)異構(gòu)以及部分參與導(dǎo)致的梯度沖突問題.通過在MNIST 和CIFAR10 數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證,本文提出的算法在通信量、收斂速度和正確率3 個(gè)方面都要由于傳統(tǒng)的FedAvg 算法和稀疏三元壓縮算法.由于梯度壓縮會(huì)略微改變?cè)继荻鹊姆较?在未來我們將針對(duì)不同的壓縮方法對(duì)投影聚合的方式做進(jìn)一步的研究,進(jìn)一步提高算法的有效性.

    猜你喜歡
    模型
    一半模型
    一種去中心化的域名服務(wù)本地化模型
    適用于BDS-3 PPP的隨機(jī)模型
    提煉模型 突破難點(diǎn)
    函數(shù)模型及應(yīng)用
    p150Glued在帕金森病模型中的表達(dá)及分布
    函數(shù)模型及應(yīng)用
    重要模型『一線三等角』
    重尾非線性自回歸模型自加權(quán)M-估計(jì)的漸近分布
    3D打印中的模型分割與打包
    免费观看a级毛片全部| 香蕉丝袜av| 水蜜桃什么品种好| 色播在线永久视频| 精品福利观看| 不卡一级毛片| 搡老岳熟女国产| 99re在线观看精品视频| 亚洲国产毛片av蜜桃av| 国产又爽黄色视频| 久久久久精品人妻al黑| 露出奶头的视频| av有码第一页| 久久人妻熟女aⅴ| 午夜精品久久久久久毛片777| 欧洲精品卡2卡3卡4卡5卡区| 亚洲av片天天在线观看| 亚洲精品国产区一区二| 国产一区有黄有色的免费视频| 国产精品香港三级国产av潘金莲| 欧美日本中文国产一区发布| 欧美黄色片欧美黄色片| 91成年电影在线观看| 啪啪无遮挡十八禁网站| 两人在一起打扑克的视频| 一二三四社区在线视频社区8| 成人av一区二区三区在线看| 搡老岳熟女国产| 新久久久久国产一级毛片| 国产日韩欧美亚洲二区| 精品视频人人做人人爽| 亚洲久久久国产精品| 亚洲av欧美aⅴ国产| 99热网站在线观看| 色尼玛亚洲综合影院| xxxhd国产人妻xxx| 一级黄色大片毛片| 天天影视国产精品| 天天躁狠狠躁夜夜躁狠狠躁| 99香蕉大伊视频| 热99re8久久精品国产| 久久久精品国产亚洲av高清涩受| 国产黄色免费在线视频| 三级毛片av免费| 成人三级做爰电影| 亚洲精品av麻豆狂野| 久久久精品区二区三区| 国产高清激情床上av| 51午夜福利影视在线观看| 欧美亚洲 丝袜 人妻 在线| 久久午夜亚洲精品久久| 老司机午夜十八禁免费视频| 性少妇av在线| 亚洲在线自拍视频| 国产免费男女视频| 国产精品98久久久久久宅男小说| 一本综合久久免费| 日韩人妻精品一区2区三区| 91av网站免费观看| 黑丝袜美女国产一区| а√天堂www在线а√下载 | 中文字幕色久视频| 国产日韩一区二区三区精品不卡| netflix在线观看网站| 777久久人妻少妇嫩草av网站| 日韩免费av在线播放| av在线播放免费不卡| 亚洲精品国产精品久久久不卡| 51午夜福利影视在线观看| 亚洲色图 男人天堂 中文字幕| 狂野欧美激情性xxxx| 久久热在线av| 嫩草影视91久久| 一个人免费在线观看的高清视频| 精品久久蜜臀av无| 麻豆乱淫一区二区| 黄色视频不卡| 少妇的丰满在线观看| 亚洲欧美一区二区三区久久| 天天躁日日躁夜夜躁夜夜| 一级片免费观看大全| 免费观看人在逋| tocl精华| 午夜老司机福利片| 精品熟女少妇八av免费久了| 99久久精品国产亚洲精品| 丰满迷人的少妇在线观看| 狂野欧美激情性xxxx| 国产aⅴ精品一区二区三区波| 国产成人欧美在线观看 | 色在线成人网| 男女床上黄色一级片免费看| 51午夜福利影视在线观看| 精品国产一区二区三区久久久樱花| 女人被躁到高潮嗷嗷叫费观| 热re99久久精品国产66热6| 天天躁夜夜躁狠狠躁躁| 国产免费av片在线观看野外av| 国产一区二区三区在线臀色熟女 | 国产一区二区激情短视频| 久久天躁狠狠躁夜夜2o2o| 亚洲人成伊人成综合网2020| 91大片在线观看| 欧美精品啪啪一区二区三区| 天天躁夜夜躁狠狠躁躁| 欧美老熟妇乱子伦牲交| 欧美日韩亚洲综合一区二区三区_| 在线观看免费日韩欧美大片| 99久久综合精品五月天人人| 国精品久久久久久国模美| 亚洲欧美日韩另类电影网站| 在线视频色国产色| 亚洲aⅴ乱码一区二区在线播放 | 久久国产精品人妻蜜桃| 精品国产乱子伦一区二区三区| 成人手机av| 久久久国产成人免费| 狂野欧美激情性xxxx| 国产精品一区二区免费欧美| 又黄又粗又硬又大视频| 动漫黄色视频在线观看| 婷婷成人精品国产| 久久久精品免费免费高清| 亚洲国产看品久久| 亚洲中文日韩欧美视频| 咕卡用的链子| 日韩免费av在线播放| 欧美激情极品国产一区二区三区| 久9热在线精品视频| xxx96com| 欧美亚洲日本最大视频资源| 精品国产美女av久久久久小说| 精品国产乱码久久久久久男人| 国产极品粉嫩免费观看在线| 黄色丝袜av网址大全| 老司机深夜福利视频在线观看| 欧美成人午夜精品| 欧美国产精品va在线观看不卡| 欧美精品亚洲一区二区| 精品福利观看| 精品亚洲成a人片在线观看| 亚洲精品美女久久久久99蜜臀| 欧美日韩乱码在线| 波多野结衣一区麻豆| 人妻久久中文字幕网| 女人爽到高潮嗷嗷叫在线视频| 亚洲国产欧美日韩在线播放| 国产主播在线观看一区二区| 国产有黄有色有爽视频| 久久精品91无色码中文字幕| tube8黄色片| 捣出白浆h1v1| 国产男女超爽视频在线观看| 亚洲色图 男人天堂 中文字幕| 午夜久久久在线观看| 无限看片的www在线观看| 亚洲伊人色综图| 亚洲精品美女久久av网站| 精品一区二区三区四区五区乱码| 欧美日韩精品网址| 久久香蕉国产精品| 美女扒开内裤让男人捅视频| 91字幕亚洲| 男女免费视频国产| 日日摸夜夜添夜夜添小说| 天天躁狠狠躁夜夜躁狠狠躁| 免费观看a级毛片全部| 午夜福利影视在线免费观看| 少妇被粗大的猛进出69影院| 日本wwww免费看| 亚洲午夜精品一区,二区,三区| 宅男免费午夜| 欧美丝袜亚洲另类 | 多毛熟女@视频| 亚洲精品在线美女| 男女免费视频国产| 久久 成人 亚洲| 亚洲欧美色中文字幕在线| 在线观看午夜福利视频| 美国免费a级毛片| 黄色女人牲交| 久久久国产成人精品二区 | 丰满的人妻完整版| 国产精品亚洲av一区麻豆| 麻豆成人av在线观看| 深夜精品福利| 国产亚洲欧美精品永久| 亚洲 国产 在线| 满18在线观看网站| 国产亚洲欧美98| 看免费av毛片| 好男人电影高清在线观看| 亚洲av熟女| xxxhd国产人妻xxx| 亚洲精品久久成人aⅴ小说| 一区在线观看完整版| 日韩免费高清中文字幕av| 亚洲成人国产一区在线观看| av片东京热男人的天堂| 每晚都被弄得嗷嗷叫到高潮| 中国美女看黄片| 免费在线观看日本一区| 国产免费av片在线观看野外av| 国产精品美女特级片免费视频播放器 | 999久久久精品免费观看国产| 丝袜在线中文字幕| av视频免费观看在线观看| 国产又爽黄色视频| а√天堂www在线а√下载 | 亚洲精品成人av观看孕妇| 午夜免费观看网址| 女人精品久久久久毛片| 一进一出抽搐gif免费好疼 | 色精品久久人妻99蜜桃| 热99re8久久精品国产| 亚洲av日韩精品久久久久久密| 久久精品91无色码中文字幕| 狂野欧美激情性xxxx| 超碰成人久久| 美女午夜性视频免费| 国产精品久久久久久人妻精品电影| av片东京热男人的天堂| 热99国产精品久久久久久7| 新久久久久国产一级毛片| 国产精品自产拍在线观看55亚洲 | 欧美精品亚洲一区二区| 热99久久久久精品小说推荐| 国产成人影院久久av| 国产成人精品久久二区二区免费| av视频免费观看在线观看| 精品久久久久久电影网| 国产无遮挡羞羞视频在线观看| 国产有黄有色有爽视频| 美女福利国产在线| www.999成人在线观看| 可以免费在线观看a视频的电影网站| 亚洲精品在线美女| 日韩人妻精品一区2区三区| 男男h啪啪无遮挡| 一区二区日韩欧美中文字幕| 国产成人欧美在线观看 | 国产区一区二久久| 成人av一区二区三区在线看| 亚洲五月天丁香| 99久久99久久久精品蜜桃| a级片在线免费高清观看视频| 久久久久久亚洲精品国产蜜桃av| 国产亚洲精品久久久久久毛片 | 久久九九热精品免费| 精品国产一区二区三区久久久樱花| 最新的欧美精品一区二区| 男女高潮啪啪啪动态图| 麻豆成人av在线观看| 国产不卡av网站在线观看| 成年人黄色毛片网站| 99精品在免费线老司机午夜| 免费少妇av软件| 欧美日韩福利视频一区二区| 不卡一级毛片| 色精品久久人妻99蜜桃| 成人永久免费在线观看视频| 亚洲精品美女久久av网站| 免费av中文字幕在线| 99国产极品粉嫩在线观看| 亚洲五月婷婷丁香| 一级黄色大片毛片| 一级片免费观看大全| 搡老熟女国产l中国老女人| 欧美黑人欧美精品刺激| 成人影院久久| 久热这里只有精品99| 女警被强在线播放| 久久久久久人人人人人| 波多野结衣一区麻豆| 精品福利观看| 黄频高清免费视频| 午夜福利影视在线免费观看| 日韩视频一区二区在线观看| 国产成人免费无遮挡视频| 在线永久观看黄色视频| 美女扒开内裤让男人捅视频| 村上凉子中文字幕在线| 精品国产一区二区久久| 天天躁夜夜躁狠狠躁躁| 精品熟女少妇八av免费久了| 丝袜在线中文字幕| 香蕉国产在线看| 欧美日韩精品网址| 亚洲av欧美aⅴ国产| 女人爽到高潮嗷嗷叫在线视频| 久久久水蜜桃国产精品网| 国内久久婷婷六月综合欲色啪| 亚洲美女黄片视频| 国产成人免费观看mmmm| av天堂在线播放| 久久香蕉激情| 国产亚洲av高清不卡| 亚洲欧美一区二区三区黑人| 国产精品久久久久成人av| 五月开心婷婷网| 9色porny在线观看| 99热只有精品国产| 高清在线国产一区| 他把我摸到了高潮在线观看| 丰满人妻熟妇乱又伦精品不卡| 搡老岳熟女国产| 亚洲成a人片在线一区二区| 国产精品综合久久久久久久免费 | av中文乱码字幕在线| 久久久国产成人免费| 亚洲熟女毛片儿| av网站免费在线观看视频| 久久 成人 亚洲| 久久久国产欧美日韩av| 久久人妻熟女aⅴ| 久久久国产一区二区| 欧美亚洲 丝袜 人妻 在线| 亚洲一区高清亚洲精品| 免费在线观看视频国产中文字幕亚洲| 午夜福利一区二区在线看| 桃红色精品国产亚洲av| 国产精品电影一区二区三区 | 亚洲性夜色夜夜综合| 自拍欧美九色日韩亚洲蝌蚪91| 香蕉国产在线看| av网站在线播放免费| a级毛片黄视频| 深夜精品福利| 99久久精品国产亚洲精品| 水蜜桃什么品种好| 亚洲精品美女久久av网站| 十分钟在线观看高清视频www| ponron亚洲| 国产欧美日韩一区二区精品| 免费在线观看影片大全网站| 欧美人与性动交α欧美精品济南到| 亚洲成人免费电影在线观看| 又大又爽又粗| 中文亚洲av片在线观看爽 | 国产人伦9x9x在线观看| 国产淫语在线视频| 国产男女内射视频| 国产蜜桃级精品一区二区三区 | 日本黄色日本黄色录像| 黄色毛片三级朝国网站| 90打野战视频偷拍视频| 王馨瑶露胸无遮挡在线观看| 亚洲九九香蕉| 欧美国产精品va在线观看不卡| 免费女性裸体啪啪无遮挡网站| 精品国产国语对白av| 国产亚洲欧美在线一区二区| 国产精品永久免费网站| 伊人久久大香线蕉亚洲五| 最近最新中文字幕大全免费视频| 色尼玛亚洲综合影院| 妹子高潮喷水视频| 中文字幕色久视频| 大型黄色视频在线免费观看| 一边摸一边抽搐一进一小说 | 欧美日韩乱码在线| 亚洲 欧美一区二区三区| 国产av一区二区精品久久| 99久久精品国产亚洲精品| 婷婷成人精品国产| 欧美在线一区亚洲| 一级毛片高清免费大全| 黄片小视频在线播放| 校园春色视频在线观看| 91字幕亚洲| 久久九九热精品免费| 午夜激情av网站| 黄频高清免费视频| 国产成人免费无遮挡视频| 久久天堂一区二区三区四区| 老司机午夜福利在线观看视频| 三上悠亚av全集在线观看| 色94色欧美一区二区| 国产一区二区激情短视频| 久久久久视频综合| 免费在线观看影片大全网站| 久久久久精品人妻al黑| 国产亚洲欧美在线一区二区| 久久久久国产一级毛片高清牌| 国产无遮挡羞羞视频在线观看| 国内毛片毛片毛片毛片毛片| 久久影院123| av网站在线播放免费| 一二三四在线观看免费中文在| 亚洲久久久国产精品| 777米奇影视久久| 国产精品一区二区精品视频观看| 五月开心婷婷网| 亚洲欧美激情综合另类| 亚洲专区字幕在线| 国产精品自产拍在线观看55亚洲 | 亚洲精品成人av观看孕妇| 午夜福利免费观看在线| av一本久久久久| 男女午夜视频在线观看| 亚洲色图 男人天堂 中文字幕| 久久精品亚洲熟妇少妇任你| 在线观看舔阴道视频| 99国产精品一区二区蜜桃av | 不卡一级毛片| 在线天堂中文资源库| 一进一出好大好爽视频| 中文字幕色久视频| 自线自在国产av| 久久亚洲真实| 国产成人一区二区三区免费视频网站| 咕卡用的链子| 在线永久观看黄色视频| 成人三级做爰电影| ponron亚洲| 岛国毛片在线播放| 久久草成人影院| 亚洲专区国产一区二区| 在线观看一区二区三区激情| 香蕉国产在线看| 两性午夜刺激爽爽歪歪视频在线观看 | 中文亚洲av片在线观看爽 | 中文字幕av电影在线播放| 国产精品久久久人人做人人爽| 精品久久久久久电影网| 精品国产超薄肉色丝袜足j| 免费女性裸体啪啪无遮挡网站| 久久 成人 亚洲| 男女床上黄色一级片免费看| 一级毛片高清免费大全| 久久人妻熟女aⅴ| 成年版毛片免费区| 欧美乱妇无乱码| 91字幕亚洲| 国产精品亚洲av一区麻豆| 国产精品香港三级国产av潘金莲| 久久热在线av| 90打野战视频偷拍视频| 女性被躁到高潮视频| 色精品久久人妻99蜜桃| 欧美亚洲日本最大视频资源| 操美女的视频在线观看| avwww免费| 最近最新中文字幕大全电影3 | 国产成人精品在线电影| 十分钟在线观看高清视频www| 中文字幕高清在线视频| 亚洲国产毛片av蜜桃av| 午夜老司机福利片| 日本黄色视频三级网站网址 | 欧美人与性动交α欧美软件| 久久精品人人爽人人爽视色| 9色porny在线观看| 午夜福利一区二区在线看| 欧美成人免费av一区二区三区 | 黄频高清免费视频| 精品国产国语对白av| 久久久水蜜桃国产精品网| 制服人妻中文乱码| 一a级毛片在线观看| 国产成人免费观看mmmm| 久久人人97超碰香蕉20202| 男人操女人黄网站| 天堂俺去俺来也www色官网| 久久精品成人免费网站| 曰老女人黄片| 免费女性裸体啪啪无遮挡网站| 精品卡一卡二卡四卡免费| 亚洲熟妇熟女久久| 国产日韩一区二区三区精品不卡| 精品一品国产午夜福利视频| 大码成人一级视频| 国产日韩欧美亚洲二区| 美女 人体艺术 gogo| 一进一出抽搐gif免费好疼 | 十分钟在线观看高清视频www| 久久人人97超碰香蕉20202| 久久香蕉激情| 女人被躁到高潮嗷嗷叫费观| 久久午夜亚洲精品久久| 亚洲精品在线美女| 91国产中文字幕| 别揉我奶头~嗯~啊~动态视频| 国产亚洲一区二区精品| 1024视频免费在线观看| 两性午夜刺激爽爽歪歪视频在线观看 | 中文字幕精品免费在线观看视频| 露出奶头的视频| 91精品国产国语对白视频| 亚洲精品美女久久久久99蜜臀| 久久人人爽av亚洲精品天堂| 欧美激情 高清一区二区三区| 欧美久久黑人一区二区| 高清视频免费观看一区二区| 国产高清国产精品国产三级| 久热这里只有精品99| 美女扒开内裤让男人捅视频| 精品一区二区三卡| 久久久久视频综合| 波多野结衣av一区二区av| 十分钟在线观看高清视频www| 亚洲少妇的诱惑av| 国产精品秋霞免费鲁丝片| 国产欧美日韩一区二区三区在线| 亚洲一卡2卡3卡4卡5卡精品中文| 热re99久久精品国产66热6| 桃红色精品国产亚洲av| 中文亚洲av片在线观看爽 | 亚洲成人免费电影在线观看| 18在线观看网站| 亚洲中文字幕日韩| 桃红色精品国产亚洲av| 一区二区三区激情视频| 亚洲五月婷婷丁香| 久久久久久免费高清国产稀缺| 久久精品91无色码中文字幕| 亚洲专区国产一区二区| 夜夜爽天天搞| 亚洲午夜理论影院| 一本一本久久a久久精品综合妖精| xxx96com| 91精品三级在线观看| xxxhd国产人妻xxx| 岛国毛片在线播放| 中文字幕高清在线视频| 国产一区二区三区在线臀色熟女 | 在线观看66精品国产| 免费看十八禁软件| 一区二区三区激情视频| 久久九九热精品免费| 老熟妇仑乱视频hdxx| 国产成人免费观看mmmm| 亚洲国产看品久久| 免费久久久久久久精品成人欧美视频| 在线观看免费视频网站a站| 国产精品欧美亚洲77777| 两个人免费观看高清视频| 欧美大码av| 国产欧美日韩精品亚洲av| 亚洲 欧美一区二区三区| 女人久久www免费人成看片| 热re99久久国产66热| 香蕉丝袜av| 曰老女人黄片| 桃红色精品国产亚洲av| 黄色 视频免费看| 国产欧美日韩综合在线一区二区| 成人av一区二区三区在线看| 日本wwww免费看| 精品亚洲成国产av| 久久久精品国产亚洲av高清涩受| av中文乱码字幕在线| 国产单亲对白刺激| 国产不卡一卡二| 成人影院久久| 天堂√8在线中文| 99国产精品99久久久久| 国内毛片毛片毛片毛片毛片| 久久精品亚洲熟妇少妇任你| 一级,二级,三级黄色视频| 久久久久久免费高清国产稀缺| 午夜精品久久久久久毛片777| 欧美+亚洲+日韩+国产| 两人在一起打扑克的视频| 一级a爱片免费观看的视频| √禁漫天堂资源中文www| 国产不卡av网站在线观看| 午夜免费鲁丝| 亚洲av电影在线进入| 超碰成人久久| 最近最新免费中文字幕在线| 在线观看www视频免费| 国产精品美女特级片免费视频播放器 | 美女高潮到喷水免费观看| 在线观看舔阴道视频| 久久99一区二区三区| 在线观看66精品国产| 成人黄色视频免费在线看| 黑人巨大精品欧美一区二区蜜桃| 在线av久久热| 精品视频人人做人人爽| 9色porny在线观看| 久久精品人人爽人人爽视色| 亚洲自偷自拍图片 自拍| 老鸭窝网址在线观看| 999久久久精品免费观看国产| 视频区图区小说| 国产精品久久久av美女十八| 日韩欧美在线二视频 | 亚洲欧美日韩高清在线视频| 国产三级黄色录像| 搡老熟女国产l中国老女人| 亚洲一码二码三码区别大吗| 一级a爱视频在线免费观看| 久久久久国内视频| 成人av一区二区三区在线看| 日本撒尿小便嘘嘘汇集6| 午夜福利欧美成人| 久久ye,这里只有精品| 欧美激情极品国产一区二区三区| 欧美日韩国产mv在线观看视频| 男女免费视频国产| 麻豆乱淫一区二区| 国产区一区二久久| 国产欧美亚洲国产| 一边摸一边做爽爽视频免费| 91麻豆av在线| 人人妻人人澡人人爽人人夜夜| 国产亚洲一区二区精品| 美女扒开内裤让男人捅视频| 精品国产一区二区三区久久久樱花| 国产成人欧美| 国产人伦9x9x在线观看| 亚洲av日韩在线播放| 亚洲伊人色综图|