基于聯(lián)邦學(xué)習(xí)的多技術(shù)融合數(shù)據(jù)交易方法

劉少杰，文斌?，王澤旭

（1.海南師范大學(xué)數(shù)據(jù)科學(xué)與智慧教育教育部重點(diǎn)實(shí)驗(yàn)室，海南 海口 571158；2.海南師范大學(xué)信息科學(xué)技術(shù)學(xué)院，海南 海口 571158；3.中山大學(xué)軟件工程學(xué)院，廣東 珠海 519082）

0 引言

數(shù)據(jù)保護(hù)的約束使得數(shù)據(jù)被限制在不同企業(yè)和組織之間，形成了眾多“數(shù)據(jù)孤島”，難以發(fā)揮其蘊(yùn)含的重要價(jià)值，而傳統(tǒng)的數(shù)據(jù)交易方式往往存在數(shù)據(jù)所有權(quán)混亂以及缺乏透明性等問題［1］。聯(lián)邦學(xué)習(xí)（FL）的模型訓(xùn)練機(jī)制有效地實(shí)現(xiàn)了“數(shù)據(jù)不出門，可用不可見”，在打破“數(shù)據(jù)孤島”的同時(shí)滿足了數(shù)據(jù)隱私和安全性規(guī)約［2］，使得數(shù)據(jù)被合規(guī)交易和共享成為可能。聯(lián)邦學(xué)習(xí)對(duì)未來人工智能等技術(shù)的發(fā)展和數(shù)據(jù)安全保護(hù)有著重要的推動(dòng)作用，但缺乏獎(jiǎng)勵(lì)分配機(jī)制、存在惡意攻擊、網(wǎng)絡(luò)通信開銷大等問題對(duì)聯(lián)邦學(xué)習(xí)應(yīng)用于數(shù)據(jù)交易場(chǎng)景有著顯著的影響［3］。因此，對(duì)聯(lián)邦學(xué)習(xí)框架的設(shè)計(jì)和完善成為學(xué)術(shù)界和工業(yè)界亟待解決的熱點(diǎn)問題，其研究需求也應(yīng)運(yùn)而生。

當(dāng)聯(lián)邦學(xué)習(xí)實(shí)際應(yīng)用在數(shù)據(jù)交易場(chǎng)景中時(shí)，需要模型聚合服務(wù)端與各個(gè)數(shù)據(jù)供給方訓(xùn)練端間進(jìn)行不間斷的模型權(quán)重?cái)?shù)據(jù)同步，這帶來了巨大的通信開銷［4-6］，并隨著數(shù)據(jù)供給方的數(shù)量和迭代次數(shù)增加而陡增，不適用于多方參與的復(fù)雜數(shù)據(jù)交易場(chǎng)景。此外，聯(lián)邦學(xué)習(xí)中缺少用于數(shù)據(jù)供給方貢獻(xiàn)度評(píng)估的方法，存在各方利益分配策略不明確、缺少有效的激勵(lì)機(jī)制的問題［7-8］。同時(shí)，利益分配數(shù)據(jù)依賴中心化的存儲(chǔ)或任務(wù)需求的發(fā)布者，缺少透明性和可信性，從而降低了參與方的積極性［9］。

數(shù)據(jù)交易場(chǎng)景中僅僅依靠聯(lián)邦學(xué)習(xí)技術(shù)將面臨眾多的挑戰(zhàn)，為此，本文提出一種基于聯(lián)邦學(xué)習(xí)的多技術(shù)融合數(shù)據(jù)交易方法（MTFDT）。該方法能夠在縮短通信時(shí)間損耗和增強(qiáng)激勵(lì)機(jī)制可靠性的同時(shí)，使得交易過程數(shù)據(jù)可溯源和不可篡改，提高服務(wù)質(zhì)量。本文主要貢獻(xiàn)總結(jié)如下：

1）以可信執(zhí)行環(huán)境（TEE）技術(shù)為依托，結(jié)合沙普利值提出一種用于數(shù)據(jù)供給方貢獻(xiàn)評(píng)估的有效機(jī)制，解決模型評(píng)價(jià)數(shù)據(jù)集來源問題，使得數(shù)據(jù)交易過程中貢獻(xiàn)度量和利益分配更加公平。

2）將樹型網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)應(yīng)用于聯(lián)邦學(xué)習(xí)模型數(shù)據(jù)同步過程，提出一種并行化模型權(quán)重參數(shù)同步算法，降低訓(xùn)練過程中的通信開銷，從而提高可擴(kuò)展性，使得聯(lián)邦學(xué)習(xí)可應(yīng)用于包含更多參與方的復(fù)雜數(shù)據(jù)交易或共享場(chǎng)景。

3）引入聯(lián)盟鏈技術(shù)并通過設(shè)計(jì)智能合約進(jìn)行貢獻(xiàn)數(shù)據(jù)和訓(xùn)練數(shù)據(jù)存儲(chǔ)，利用其不可篡改和去中心化特性保證過程數(shù)據(jù)的安全性，使得數(shù)據(jù)交易過程透明、可信任。同時(shí)，結(jié)合星際文件系統(tǒng)（IPFS）實(shí)現(xiàn)模型數(shù)據(jù)存儲(chǔ)，避免大數(shù)據(jù)上鏈造成存儲(chǔ)和通信負(fù)擔(dān)，提高數(shù)據(jù)交易效率。

1 相關(guān)工作

數(shù)據(jù)安全保護(hù)政策、法律法規(guī)的頒布和實(shí)施使得隱私計(jì)算成為了當(dāng)下研究的熱點(diǎn)，聯(lián)邦學(xué)習(xí)作為隱私計(jì)算中的代表性方案也受到了廣泛的關(guān)注，但對(duì)于聯(lián)邦學(xué)習(xí)應(yīng)用于數(shù)據(jù)交易場(chǎng)景中的利益分配機(jī)制、模型訓(xùn)練效率和安全性等方面的研究仍處于初期階段。文獻(xiàn)［10］針對(duì)傳統(tǒng)聯(lián)邦學(xué)習(xí)存在的激勵(lì)機(jī)制不明確和依賴于單點(diǎn)服務(wù)器的問題，創(chuàng)新性地將區(qū)塊鏈技術(shù)引入到聯(lián)邦學(xué)習(xí)過程中，以區(qū)塊鏈網(wǎng)絡(luò)代替中央節(jié)點(diǎn)，加入了相應(yīng)的驗(yàn)證和獎(jiǎng)勵(lì)機(jī)制，并對(duì)加入?yún)^(qū)塊鏈所帶來的延遲問題和分叉現(xiàn)象進(jìn)行了優(yōu)化。雖然該方法一定程度解決了現(xiàn)存的部分問題，但其基于挖礦的獎(jiǎng)勵(lì)分配策略和模型同步方案也極大地提高了訓(xùn)練成本。為了進(jìn)一步優(yōu)化獎(jiǎng)勵(lì)策略并提高可靠性，文獻(xiàn)［11］提出一種基于反復(fù)競(jìng)爭(zhēng)思想的利益分配方案，并通過以太坊進(jìn)行實(shí)現(xiàn)。該方案以投票的方式來體現(xiàn)前輪各參與方對(duì)模型優(yōu)化的貢獻(xiàn)，同時(shí)參與者各自選擇前輪較優(yōu)的k個(gè)模型權(quán)重進(jìn)行聚合作為新一輪的本地模型初始狀態(tài)。該方案雖然使得利益的分配變得具體化，但增加了參與方的計(jì)算和通信成本。文獻(xiàn)［12］提出一種帶有訓(xùn)練評(píng)價(jià)指標(biāo)的聯(lián)邦學(xué)習(xí)激勵(lì)機(jī)制模塊，通過對(duì)提交模型進(jìn)行測(cè)試并與初始狀態(tài)對(duì)比來反映參與方的貢獻(xiàn)度，一定程度上提高了數(shù)據(jù)交易中利益分配的合理性，但其評(píng)估方法僅考慮模型相對(duì)初始狀態(tài)的提升，并未考慮模型為全局模型聚合帶來的整體效益。文獻(xiàn)［13］在增加模型評(píng)價(jià)指標(biāo)的基礎(chǔ)上進(jìn)一步引入沙普利值以從整體上度量參與方模型的貢獻(xiàn)度，提高報(bào)酬分配的公平性。然而，文獻(xiàn)［12-13］均缺少對(duì)于模型評(píng)價(jià)過程中所使用數(shù)據(jù)集來源的研究和分析。文獻(xiàn)［14］對(duì)模型評(píng)估所需要的數(shù)據(jù)集來源問題進(jìn)行了討論，提出一種新的聯(lián)邦學(xué)習(xí)算法Fed-PCA，以達(dá)到在沒有測(cè)試數(shù)據(jù)集的情況下完成貢獻(xiàn)度評(píng)估的目的。

對(duì)于聯(lián)邦學(xué)習(xí)應(yīng)用于數(shù)據(jù)交易場(chǎng)景時(shí)的通信成本，文獻(xiàn)［15］提出一種基于群體劃分的策略，通過將所有參與者進(jìn)行群體劃分逐步完成模型聚合，但該策略增加了訓(xùn)練過程的復(fù)雜度。為解決這一問題，文獻(xiàn)［16］提出一種具有委員會(huì)共識(shí)的聯(lián)邦學(xué)習(xí)框架，通過動(dòng)態(tài)地選舉委員會(huì)成員作為模型的驗(yàn)證方和評(píng)價(jià)方，達(dá)到k倍交叉驗(yàn)證的效果，同時(shí)也避免了全部節(jié)點(diǎn)都參與驗(yàn)證帶來的通信開銷。然而，該方案為了故障驗(yàn)證和回退，將模型數(shù)據(jù)存儲(chǔ)在區(qū)塊鏈中，降低了鏈節(jié)點(diǎn)交易同步的效率，不利于實(shí)際的應(yīng)用。為了提高聯(lián)邦學(xué)習(xí)過程的效率，文獻(xiàn)［17］將許可鏈融入框架中，在避免依靠公鏈造成資源浪費(fèi)的同時(shí)，利用差分隱私來進(jìn)一步提高訓(xùn)練中數(shù)據(jù)的安全性，但未能考慮區(qū)塊鏈在大型數(shù)據(jù)存儲(chǔ)中的不適用性。優(yōu)化網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)是提高聯(lián)邦學(xué)習(xí)通信效率的有效方式［18］，分散的節(jié)點(diǎn)部署往往比星型拓?fù)渚哂懈玫男Ч?9］。文獻(xiàn)［20］引入邊緣聚合服務(wù)器來緩解星型拓?fù)浣Y(jié)構(gòu)中央聚合服務(wù)器的帶寬壓力。文獻(xiàn)［21］使用Gossip 協(xié)議來并行分段傳輸權(quán)重參數(shù)，從而提高訓(xùn)練節(jié)點(diǎn)間模型權(quán)重?cái)?shù)據(jù)的同步效率，但為了保證聚合效果，增加了整體的通信次數(shù)且訓(xùn)練效果不夠穩(wěn)定。目前，較多研究工作的框架設(shè)計(jì)缺乏對(duì)于存儲(chǔ)成本的考慮，不具備較高的可行性。

MTFDT 與現(xiàn)有方法的綜合對(duì)比如表1 所示。

表1 MTFDT 與現(xiàn)有方法的綜合對(duì)比Table 1 Comprehensive comparison among MTFDT and existing methods

2 多技術(shù)融合的數(shù)據(jù)交易方法

數(shù)據(jù)交易流程中利益分配的公平性、合理性將直接影響數(shù)據(jù)需求方和數(shù)據(jù)供應(yīng)方參與數(shù)據(jù)交易或共享服務(wù)的積極性。本文以聯(lián)邦學(xué)習(xí)技術(shù)作為服務(wù)基礎(chǔ)，結(jié)合聯(lián)盟鏈、星際文件系統(tǒng)和可信執(zhí)行環(huán)境等多種技術(shù)，構(gòu)建MTFDT 框架。

2.1 整體介紹

MTFDT 整體工作流程如圖1 所示。其中：假設(shè)所有參與數(shù)據(jù)交易任務(wù)的數(shù)據(jù)供給方為P，Pi為第i個(gè)供給方，n為參與數(shù)據(jù)交易任務(wù)的供給方總數(shù)；每個(gè)供給方Pi擁有本地?cái)?shù)據(jù)集Di；數(shù)據(jù)需求方為R，其發(fā)布的數(shù)據(jù)交易任務(wù)為E；第r輪全局模型為Gr；供給方本地訓(xùn)練得到的模型為。

圖1 MTFDT 工作流程Fig.1 Workflow of MTFDT

在數(shù)據(jù)交易過程中，數(shù)據(jù)需求方根據(jù)自身的需求構(gòu)建聯(lián)邦學(xué)習(xí)任務(wù)請(qǐng)求，任務(wù)請(qǐng)求包括模型結(jié)構(gòu)、評(píng)估指標(biāo)和目標(biāo)以及預(yù)算信息，該任務(wù)請(qǐng)求通過數(shù)據(jù)需求方調(diào)用服務(wù)接口的方式發(fā)送到區(qū)塊鏈中并由數(shù)據(jù)交易服務(wù)智能合約處理；隨后數(shù)據(jù)供給方查詢鏈上數(shù)據(jù)交易任務(wù)，并結(jié)合本地?cái)?shù)據(jù)集屬性提交選擇參與訓(xùn)練任務(wù)的請(qǐng)求；之后數(shù)據(jù)需求方確定參與聯(lián)邦學(xué)習(xí)任務(wù)的數(shù)據(jù)供給方，通過可信執(zhí)行環(huán)境密鑰協(xié)商方式收集數(shù)據(jù)供給方測(cè)試數(shù)據(jù)集（用于貢獻(xiàn)量化評(píng)估和利益分配計(jì)算）；模型聚合服務(wù)器根據(jù)數(shù)據(jù)參與方信息構(gòu)建樹型拓?fù)浣换ス?jié)點(diǎn)樹，并并行同步分發(fā)聯(lián)邦學(xué)習(xí)模型數(shù)據(jù)，進(jìn)入聯(lián)邦學(xué)習(xí)訓(xùn)練階段；模型聚合服務(wù)器收集數(shù)據(jù)供給方訓(xùn)練結(jié)果，并進(jìn)行貢獻(xiàn)量化評(píng)估，利用聯(lián)盟鏈完成獎(jiǎng)勵(lì)分配和過程模型等數(shù)據(jù)存儲(chǔ)。

2.2 利益分配策略模塊設(shè)計(jì)

利益分配策略的公平公正是促進(jìn)數(shù)據(jù)交易可持續(xù)進(jìn)行的重要基礎(chǔ)和維護(hù)參與方利益的保障，但目前缺少對(duì)于數(shù)據(jù)交易過程中所使用效果評(píng)價(jià)數(shù)據(jù)集來源的研究。為此，本文在MTFDT 中基于可信執(zhí)行環(huán)境和沙普利值設(shè)計(jì)一種新的貢獻(xiàn)度量化與利益分配機(jī)制，具體工作流程如圖2 所示。

圖2 MTFDT 中貢獻(xiàn)評(píng)估與利益分配流程Fig.2 Contribution evaluation and benefit distribution process in MTFDT

在數(shù)據(jù)交易任務(wù)訓(xùn)練前，參與任務(wù)的數(shù)據(jù)供給方Pi與模型聚合服務(wù)器的可信安全區(qū)中的程序進(jìn)行遠(yuǎn)程認(rèn)證并完成密鑰協(xié)商［25］，得到加密密鑰Ki，Pi將本地測(cè)試數(shù)據(jù)使用Ki進(jìn)行加密得到測(cè)試數(shù)據(jù)密文，并將發(fā)送給模型聚合服務(wù)器存儲(chǔ)；當(dāng)Pi在本地完成計(jì)算后，將新的梯度信息發(fā)送給模型聚合服務(wù)器中非可信區(qū)域運(yùn)行的模型梯度收集服務(wù)；收集服務(wù)發(fā)起可信服務(wù)調(diào)用，并完成所有的梯度信息傳輸；可信安全區(qū)中的貢獻(xiàn)計(jì)算服務(wù)通過排列聚合得到當(dāng)前輪的聚合模型集合，同時(shí)使用協(xié)商密鑰Ki解密測(cè)試數(shù)據(jù)，并使用測(cè)試數(shù)據(jù)與數(shù)據(jù)需求方數(shù)據(jù)交易任務(wù)中預(yù)設(shè)的評(píng)估方法完成模型效用評(píng)估；在得到聚合模型集合評(píng)估結(jié)果后，使用沙普利值對(duì)數(shù)據(jù)供給方Pi的貢獻(xiàn)值進(jìn)行計(jì)算［26］。

在現(xiàn)有的使用聯(lián)邦學(xué)習(xí)進(jìn)行數(shù)據(jù)交易的研究中，多以數(shù)據(jù)供給方訓(xùn)練所得新模型的評(píng)價(jià)指標(biāo)值f相對(duì)初始模型fg的提升作為效用評(píng)估Q的主要依據(jù)［12］，計(jì)算過程如式（1）所示：

然而該方式在數(shù)據(jù)規(guī)模不均衡的情況下，利益分配存在不公平的可能性。當(dāng)以準(zhǔn)確率作為評(píng)價(jià)指標(biāo)時(shí)：1）數(shù)據(jù)供給方訓(xùn)練數(shù)據(jù)集的增大與其訓(xùn)練所得模型準(zhǔn)確度的提升不成等比例關(guān)系，反之亦然；2）數(shù)據(jù)供給方訓(xùn)練數(shù)據(jù)集的增大與其訓(xùn)練模型所耗費(fèi)的資源即代價(jià)成等比例關(guān)系，反之亦然。由此可知，在使用聯(lián)邦學(xué)習(xí)進(jìn)行數(shù)據(jù)交易的過程中，單純基于評(píng)價(jià)指標(biāo)相對(duì)初始模型的提升來進(jìn)行效用評(píng)估繼而完成貢獻(xiàn)度計(jì)算的方式并不完全合理，在數(shù)據(jù)集質(zhì)量相當(dāng)?shù)那闆r下，使用更多數(shù)據(jù)進(jìn)行訓(xùn)練的參與方并不能獲得等比例的收益。由于在訓(xùn)練過程中，數(shù)據(jù)供給方用于訓(xùn)練的數(shù)據(jù)量是不可知的，因此訓(xùn)練成本難以得到可信且有效的計(jì)算。

綜上，本文所提出的模型訓(xùn)練效用評(píng)價(jià)方法在考慮相對(duì)初始模型提升的前提下，綜合考慮了模型在所有新模型中的綜合水平，計(jì)算方式如式（2）所示：

其中：a為獎(jiǎng)懲調(diào)節(jié)系數(shù)，按式（3）動(dòng)態(tài)調(diào)整和分別為當(dāng)前輪所有聚合模型評(píng)價(jià)指標(biāo)的均值、最大值和最小值。

當(dāng)數(shù)據(jù)供給方訓(xùn)練得到的新模型性能低于全局平均模型時(shí)，將受到懲罰，反之則獲得獎(jiǎng)勵(lì)，獎(jiǎng)懲調(diào)節(jié)系數(shù)則能夠在模型訓(xùn)練后期性能提升較小時(shí)放大差異，使得提供較多數(shù)據(jù)集的供給方能夠得到更高的評(píng)估。

由于聯(lián)邦學(xué)習(xí)過程具有新模型由所有本地模型聚合得到的特性，因此通常會(huì)存在以下情況，即第r輪訓(xùn)練得到的所有本地模型效果都比當(dāng)前輪初始模型差，但其聚合所得到的新模型效果優(yōu)于初始模型。在這種情況下，傳統(tǒng)的貢獻(xiàn)計(jì)算方法將不再適用，缺失了對(duì)本地模型在聚合時(shí)對(duì)全局模型效果提升所起作用的評(píng)估。由此，本文引入沙普利值來計(jì)算本地模型在全局模型聚合時(shí)所做的貢獻(xiàn)，從而提高利益分配的可靠性。

數(shù)據(jù)供給方Pi在某輪次訓(xùn)練中的貢獻(xiàn)值計(jì)算方式如下：

其中：S為參與數(shù)據(jù)交易任務(wù)供給方集合P在當(dāng)前輪產(chǎn)生的聚合模型集合的任意子集；PPi為不包含Pi訓(xùn)練所得到模型的聚合子集。在交易任務(wù)完成后，數(shù)據(jù)供給方Pi獲得的收益計(jì)算公式如下：

其中：C為達(dá)到目標(biāo)精度進(jìn)行的訓(xùn)練總次數(shù)；B為數(shù)據(jù)需求方發(fā)布交易任務(wù)時(shí)的預(yù)算總額。

2.3 模型同步模塊設(shè)計(jì)

聯(lián)邦學(xué)習(xí)中的通信網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)通常是星型結(jié)構(gòu)，即存在一個(gè)中心模型聚合服務(wù)器和成百上千個(gè)訓(xùn)練端（數(shù)據(jù)供給方），如圖3 所示。對(duì)于同步聯(lián)邦學(xué)習(xí)，模型聚合服務(wù)器需要等待所有的訓(xùn)練端返回新一輪的模型更新參數(shù)，并聚合得到新的全局模型權(quán)重，之后將新的全局模型權(quán)重一次性分發(fā)給所有的訓(xùn)練端［27］。模型權(quán)重參數(shù)文件分發(fā)將為服務(wù)端帶來巨大的帶寬壓力。同時(shí)，由于大多數(shù)數(shù)據(jù)交易中所要訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型往往擁有巨大的參數(shù)量，模型同步帶來了較高的通信成本［28］，因此也限制了訓(xùn)練端節(jié)點(diǎn)的數(shù)量，降低了可拓展性。

圖3 星型拓?fù)浣Y(jié)構(gòu)聯(lián)邦學(xué)習(xí)模型數(shù)據(jù)同步Fig.3 Data synchronization of federated learning model with star topology structure

假設(shè)模型權(quán)重文件大小為msize，各個(gè)節(jié)點(diǎn)帶寬為d，參與訓(xùn)練的節(jié)點(diǎn)數(shù)量為n，2 個(gè)節(jié)點(diǎn)間建立通信的時(shí)間損耗為l1，則星型拓?fù)浣Y(jié)構(gòu)下聯(lián)邦學(xué)習(xí)每輪模型同步所需要的時(shí)間Tstar為：

為了減緩模型分發(fā)給模型聚合服務(wù)端所帶來的帶寬壓力，降低同步時(shí)間對(duì)聯(lián)邦學(xué)習(xí)訓(xùn)練造成的影響，進(jìn)而提高數(shù)據(jù)交易效率，本文在MTFDT 中設(shè)計(jì)一種新的權(quán)重?cái)?shù)據(jù)同步算法。該算法通過切割權(quán)重文件和構(gòu)建交互節(jié)點(diǎn)樹的方式實(shí)現(xiàn)參數(shù)數(shù)據(jù)并行傳輸，其中模型聚合服務(wù)端與訓(xùn)練端關(guān)聯(lián)關(guān)系如圖4所示。

圖4 樹型拓?fù)浣Y(jié)構(gòu)聯(lián)邦學(xué)習(xí)模型數(shù)據(jù)同步Fig.4 Data synchronization of federated learning model with tree topology structure

2.3.1 算法流程

模型同步模塊的算法流程具體如下：

步驟1模型聚合服務(wù)端P0將第r輪模型參數(shù)權(quán)重文件Gr切割為均等的k份并計(jì)算整體權(quán)重文件哈希值hr和所有子文件哈希值集合

步驟2聚合服務(wù)端選擇當(dāng)前迭代輪次的訓(xùn)練節(jié)點(diǎn)集合Pr，Pr={P1,P2,…,Pn}，利用n個(gè)訓(xùn)練節(jié)點(diǎn)信息和聚合服務(wù)端信息構(gòu)建多叉樹Tr，Tr={P0,P1,…,Pn}，其中，將P0作為多叉樹的根節(jié)點(diǎn)。

步驟3將Tr、hr和Hr合并得到第r輪次迭代配置信息cr，其中，cr=｛hr，Tr，Hr｝，并將cr發(fā)送給集合P中所有訓(xùn)練節(jié)點(diǎn)。

步驟4聚合服務(wù)端按序?qū)份模型權(quán)重子文件根據(jù)Tr中的結(jié)構(gòu)信息發(fā)送給其子節(jié)點(diǎn)，子節(jié)點(diǎn)在收到文件wi后立即向后續(xù)子節(jié)點(diǎn)發(fā)送并同時(shí)接收父節(jié)點(diǎn)發(fā)送的下一份模型權(quán)重子文件wi+1。

步驟5重復(fù)步驟4，計(jì)算各個(gè)子文件哈希值與cr中對(duì)應(yīng)子文件哈希值進(jìn)行對(duì)比，若不相同或父節(jié)點(diǎn)無響應(yīng)，則根據(jù)cr向其他祖父節(jié)點(diǎn)請(qǐng)求，直至所有訓(xùn)練端接收到全部正確的權(quán)重文件集合

步驟6所有訓(xùn)練端合并子文件集合得到新一輪的模型權(quán)重參數(shù)文件，模型同步結(jié)束。

同步過程中節(jié)點(diǎn)間文件傳輸流如圖5所示。在t時(shí)刻，根節(jié)點(diǎn)向第1 層訓(xùn)練節(jié)點(diǎn)發(fā)送權(quán)重模型子文件w1，在2t時(shí)刻，第1 層訓(xùn)練節(jié)點(diǎn)在接收根節(jié)點(diǎn)發(fā)送的子文件w2的同時(shí)向第2 層節(jié)點(diǎn)發(fā)送子文件w1，從而實(shí)現(xiàn)模型參數(shù)文件同步的并行數(shù)據(jù)傳輸，極大地提高了效率，降低了時(shí)間消耗。

圖5 樹型拓?fù)浣Y(jié)構(gòu)聯(lián)邦學(xué)習(xí)模型同步過程Fig.5 Synchronization process of federated learning model with tree topology structure

2.3.2 算法復(fù)雜度分析

假設(shè)模型權(quán)重文件切割后得到的子文件個(gè)數(shù)為k，構(gòu)建的節(jié)點(diǎn)樹T中非葉子節(jié)點(diǎn)出度為o，迭代配置文件分發(fā)所需時(shí)間為l2，則所提出的聯(lián)邦學(xué)習(xí)模型權(quán)重同步算法完成每輪權(quán)重參數(shù)分發(fā)所需要的時(shí)間Ttree為：

通過分析式（6）和式（7）可知，星型拓?fù)浣Y(jié)構(gòu)下傳輸伴隨節(jié)點(diǎn)數(shù)的增加，聯(lián)邦訓(xùn)練過程中的模型同步時(shí)間消耗也將呈線性增加。由于節(jié)點(diǎn)間建立鏈接的時(shí)間l1和發(fā)送迭代配置數(shù)據(jù)所需的時(shí)間l2占比很小，因此本文所提出的同步方法伴隨訓(xùn)練端數(shù)量的增多同步所需的時(shí)間將以對(duì)數(shù)的形式增加，更加適用于大規(guī)模的聯(lián)邦學(xué)習(xí)數(shù)據(jù)交易場(chǎng)景。此外，所提出的方法對(duì)于模型聚合端的帶寬要求更低。

2.4 交易過程數(shù)據(jù)存儲(chǔ)模塊設(shè)計(jì)

區(qū)塊鏈通過點(diǎn)對(duì)點(diǎn)傳輸和共識(shí)算法等技術(shù)來實(shí)現(xiàn)分布式賬本，具有去中心化、不可篡改、記錄可追溯等特點(diǎn)，適用于金融、溯源等多種應(yīng)用場(chǎng)景。在數(shù)據(jù)交易過程中，參與方之間互不信任，為了保證數(shù)據(jù)交易過程中利益分配數(shù)據(jù)和模型數(shù)據(jù)的可信性和存儲(chǔ)的安全性，本文在MTFDT 中設(shè)計(jì)一種基于區(qū)塊鏈與IPFS 相結(jié)合的交易過程數(shù)據(jù)存儲(chǔ)機(jī)制。

2.4.1 利益分配與追責(zé)溯源智能合約

依據(jù)數(shù)據(jù)交易服務(wù)的需求對(duì)合約功能進(jìn)行抽取，劃分為權(quán)限層、數(shù)據(jù)層、服務(wù)層等3 個(gè)部分，如圖6 所示。其中，權(quán)限層通過地址映射來實(shí)現(xiàn)賬戶的權(quán)限約束，從而達(dá)到數(shù)據(jù)交易服務(wù)訪問的細(xì)粒度控制。

圖6 數(shù)據(jù)交易場(chǎng)景智能合約設(shè)計(jì)Fig.6 Smart contracts design for data transaction scenario

通過將數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)操作進(jìn)行分離的方法來提高合約的可拓展性和易維護(hù)性，在頂層服務(wù)需求發(fā)生變化時(shí)，只需要對(duì)服務(wù)層中的功能函數(shù)進(jìn)行新增或修改，從而避免了對(duì)底層數(shù)據(jù)的影響。為了滿足數(shù)據(jù)交易利益分配計(jì)算和模型數(shù)據(jù)溯源需求，智能合約中的主要函數(shù)設(shè)計(jì)如表2 所示。

表2 智能合約函數(shù)設(shè)計(jì)Table 2 Smart contract function design

2.4.2 數(shù)據(jù)存儲(chǔ)設(shè)計(jì)

區(qū)塊鏈中交易的大小是影響系統(tǒng)運(yùn)行效率的一個(gè)重要因素。數(shù)據(jù)交易場(chǎng)景中往往包含了大量的模型權(quán)重信息，具有較大的數(shù)據(jù)量，若將其全部存儲(chǔ)于鏈中，將會(huì)對(duì)系統(tǒng)的運(yùn)行效率造成影響，從而降低數(shù)據(jù)交易服務(wù)質(zhì)量。為了緩解數(shù)據(jù)量對(duì)區(qū)塊鏈網(wǎng)絡(luò)的壓力，本文在MTFDT 中進(jìn)行數(shù)據(jù)存儲(chǔ)機(jī)制優(yōu)化，如圖7 所示。

圖7 數(shù)據(jù)存儲(chǔ)設(shè)計(jì)Fig.7 Data storage design

在數(shù)據(jù)交易過程中，交易服務(wù)模塊在收集數(shù)據(jù)供給方發(fā)送的最新模型數(shù)據(jù)后，將模型數(shù)據(jù)通過IPFS 接口完成上傳，之后通過調(diào)用區(qū)塊鏈智能合約把返回的地址信息與對(duì)應(yīng)的數(shù)據(jù)供給方信息以及所屬的數(shù)據(jù)交易任務(wù)信息一同存儲(chǔ)于鏈上；在數(shù)據(jù)交易任務(wù)模型訓(xùn)練過程結(jié)束后，數(shù)據(jù)需求方向數(shù)據(jù)交易服務(wù)模塊發(fā)送模型申請(qǐng)請(qǐng)求，在鏈上完成地址信息查詢后通過IPFS 接口完成下載。基于該存儲(chǔ)機(jī)制，在引入?yún)^(qū)塊鏈技術(shù)提高數(shù)據(jù)交易過程去中心化和保證數(shù)據(jù)交易過程模型數(shù)據(jù)可溯源的同時(shí)，避免較高的服務(wù)成本，提高可拓展性和效率。

2.5 方案復(fù)雜度分析

MTFDT 數(shù)據(jù)交易方案相比直接使用傳統(tǒng)的聯(lián)邦學(xué)習(xí)進(jìn)行數(shù)據(jù)交易整合了多個(gè)模塊，因而增加一定的復(fù)雜度。為了能夠更好地說明方案設(shè)計(jì)中對(duì)復(fù)雜度的考量以及額外計(jì)算量的必要性，對(duì)其分析如下：1）利益分配策略模塊中為了實(shí)現(xiàn)對(duì)數(shù)據(jù)供給方貢獻(xiàn)度的精確計(jì)算，增加了評(píng)估過程，其時(shí)間消耗與數(shù)據(jù)交易任務(wù)參與方數(shù)量正相關(guān)；2）模型同步模塊在維護(hù)拓?fù)潢P(guān)系過程中帶來了一定的復(fù)雜度，但整體時(shí)間消耗低于原有數(shù)據(jù)同步方法；3）數(shù)據(jù)存儲(chǔ)模塊中引入了區(qū)塊鏈服務(wù)，相比直接使用數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)存儲(chǔ)增加了復(fù)雜度，在設(shè)計(jì)上進(jìn)一步引入了分布式存儲(chǔ)來進(jìn)行優(yōu)化。綜上，MTFDT 方案的整體計(jì)算量相對(duì)可控，能夠以較低的復(fù)雜度增加來提高數(shù)據(jù)交易的安全性和可靠性。

3 實(shí)驗(yàn)設(shè)計(jì)與性能評(píng)估

本文基于CIFAR-10 公開數(shù)據(jù)集進(jìn)行了仿真實(shí)驗(yàn)，并通過調(diào)整變量參數(shù)對(duì)所提方案中利益分配合理性以及模型同步效率進(jìn)行對(duì)比分析。

3.1 利益分配策略效果評(píng)估

為了更好地證明本文所提激勵(lì)機(jī)制的公平性和有效性，基于CIFAR-10 數(shù)據(jù)集使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型進(jìn)行了實(shí)驗(yàn)驗(yàn)證。使用3個(gè)數(shù)據(jù)供給方節(jié)點(diǎn)（命名為A、B、C）參與數(shù)據(jù)交易過程，將數(shù)據(jù)集進(jìn)行等比例劃分，各個(gè)節(jié)點(diǎn)的數(shù)據(jù)之間符合獨(dú)立同分布。模型訓(xùn)練效果評(píng)估及貢獻(xiàn)度占比如表3、表4所示。

表3 模型訓(xùn)練效果評(píng)估對(duì)比Table 3 Evaluation and comparison of model training effects

表4 模型訓(xùn)練貢獻(xiàn)度對(duì)比Table 4 Comparison of model training contribution %

表3 列出了某輪數(shù)據(jù)交易過程中的聯(lián)邦學(xué)習(xí)訓(xùn)練數(shù)據(jù)，該模型訓(xùn)練中以準(zhǔn)確率（ACC）作為評(píng)估依據(jù)。根據(jù)該輪數(shù)據(jù)分別使用文獻(xiàn)［12］所提出的評(píng)估機(jī)制和本文所提出的訓(xùn)練效果評(píng)估機(jī)制進(jìn)行計(jì)算，并進(jìn)一步得到貢獻(xiàn)度數(shù)據(jù)，如表4 所示。從結(jié)果中能夠看出，文獻(xiàn)［12］評(píng)估機(jī)制并不能適用于該情況，而本文MTFDT 中的模型訓(xùn)練效果評(píng)估機(jī)制由于綜合考慮了模型在聚合過程中所做出的貢獻(xiàn)，從而能夠有效地對(duì)訓(xùn)練效果進(jìn)行評(píng)估，提高了數(shù)據(jù)交易中利益分配的可靠性。

為了進(jìn)一步分析本文所提出利益分配策略的有效性，使用多個(gè)模型和公開數(shù)據(jù)集進(jìn)行仿真評(píng)估，實(shí)驗(yàn)結(jié)果如表5 所示?？梢钥闯觯讵?dú)立同分布且數(shù)據(jù)集等比例劃分的情況下，本文所提出的評(píng)估機(jī)制貢獻(xiàn)評(píng)估結(jié)果更加符合實(shí)際情況。

表5 多場(chǎng)景下數(shù)據(jù)交易貢獻(xiàn)度計(jì)算綜合對(duì)比Table 5 Comprehensive comparison of data transaction contribution calculation in multiple scenarios %

為了分析所提出的評(píng)估機(jī)制在數(shù)據(jù)集規(guī)模不均衡時(shí)的表現(xiàn)，進(jìn)一步驗(yàn)證其應(yīng)用于數(shù)據(jù)交易過程中利益分配的公平性。將數(shù)據(jù)集分別按照1∶1∶1、5∶3∶2和7∶2∶1 進(jìn)行劃分，各個(gè)節(jié)點(diǎn)的數(shù)據(jù)之間符合獨(dú)立同分布。在不同比例數(shù)據(jù)劃分情況下，模型訓(xùn)練達(dá)到收斂時(shí)各節(jié)點(diǎn)的貢獻(xiàn)度計(jì)算結(jié)果如圖8 所示?？梢钥闯觯暙I(xiàn)度占比與數(shù)據(jù)集規(guī)模比例相近，說明本文所提出的貢獻(xiàn)度量方法能夠保證收益與成本成比例變化，更好地激勵(lì)供給方使用更多的數(shù)據(jù)參與到數(shù)據(jù)交易過程中。實(shí)驗(yàn)結(jié)果驗(yàn)證了本文所提激勵(lì)機(jī)制的可行性。

圖8 不同規(guī)模數(shù)據(jù)集分布下貢獻(xiàn)度占比結(jié)果Fig.8 Contribution ratio results under different size dataset distributions

3.2 模型數(shù)據(jù)同步性能對(duì)比

基于CIFAR-10 數(shù)據(jù)集，使用VGG16 模型對(duì)星型拓?fù)浣Y(jié)構(gòu)模型同步與本文所提出的模型同步方案進(jìn)行效率對(duì)比，其實(shí)驗(yàn)中涉及的參數(shù)設(shè)置如表6所示。

表6 實(shí)驗(yàn)參數(shù)設(shè)置Table 6 Experimental parameter settings

在表6 的設(shè)置下對(duì)比不同參與方數(shù)量下模型同步所消耗的時(shí)間情況，實(shí)驗(yàn)結(jié)果如圖9 所示。可以看出，隨著參與方節(jié)點(diǎn)數(shù)量的增多，模型同步過程所消耗的時(shí)間也在增加。在相同情況下，本文所提出方案相比星型拓?fù)浣Y(jié)構(gòu)數(shù)據(jù)同步時(shí)間消耗最多減少了34%，并隨著節(jié)點(diǎn)數(shù)量的增加效果更為顯著。

圖9 不同節(jié)點(diǎn)數(shù)目條件下模型同步時(shí)間消耗對(duì)比Fig.9 Comparison of model synchronization time consumption under different number of nodes

為了進(jìn)一步分析方案的有效性，通過調(diào)整聚合服務(wù)端帶寬大小對(duì)比不同方案模型同步時(shí)間消耗情況，實(shí)驗(yàn)結(jié)果如圖10 所示?？梢钥闯?，隨著帶寬變小，同步時(shí)間逐步增加，但本文所提出的模型同步方案相對(duì)星型拓?fù)涞脑黾于厔?shì)更加緩和，在同等情況下，時(shí)間消耗最大減少了36%。由此可以證明，本文所提方案對(duì)參與數(shù)據(jù)交易節(jié)點(diǎn)的帶寬要求更低，實(shí)驗(yàn)結(jié)果與理論分析一致。

圖10 不同帶寬條件下模型同步時(shí)間消耗對(duì)比Fig.10 Comparison of model synchronization time consumption under different bandwidth conditions

上文通過5 組實(shí)驗(yàn)對(duì)所提出的MTFDT 數(shù)據(jù)交易方法中的貢獻(xiàn)計(jì)算和模型同步效果進(jìn)行了評(píng)估，實(shí)驗(yàn)結(jié)果表明，MTFDT 能夠滿足數(shù)據(jù)交易場(chǎng)景的綜合需求。

4 結(jié)束語

針對(duì)聯(lián)邦學(xué)習(xí)在數(shù)據(jù)交易和共享場(chǎng)景應(yīng)用中存在的利益分配、同步開銷和中心化問題，本文深入剖析其關(guān)鍵流程和機(jī)理，提出一種多技術(shù)融合的數(shù)據(jù)交易方法，有效地增強(qiáng)了數(shù)據(jù)交易過程中參與方貢獻(xiàn)評(píng)估的公平性，減少了模型同步過程時(shí)間消耗，并結(jié)合區(qū)塊鏈和星際文件系統(tǒng)等技術(shù)提高了可靠性和安全性。最后，通過設(shè)計(jì)對(duì)比仿真實(shí)驗(yàn)驗(yàn)證了所提方案在數(shù)據(jù)交易場(chǎng)景中的有效性。未來工作中將進(jìn)一步探索異步聯(lián)邦學(xué)習(xí)場(chǎng)景下的模型同步方法和適用于非獨(dú)立同分布數(shù)據(jù)集的激勵(lì)機(jī)制。