基于異步聯(lián)邦學(xué)習(xí)和區(qū)塊鏈的數(shù)據(jù)安全共享

崔暢

關(guān)鍵詞：車聯(lián)網(wǎng)；區(qū)塊鏈；聯(lián)邦學(xué)習(xí)

1引言

5G網(wǎng)絡(luò)中新的計(jì)算和通信技術(shù)的快速發(fā)展為先進(jìn)的車輛服務(wù)和應(yīng)用（如自動(dòng)駕駛和內(nèi)容交付）提供了可能性，從而改善了駕駛體驗(yàn)。在該背景下，車聯(lián)網(wǎng)（IoV）作為一種將智能計(jì)算和車輛網(wǎng)絡(luò)集成到車輛網(wǎng)絡(luò)中的新技術(shù)，成為一個(gè)關(guān)鍵的研究領(lǐng)域。在物聯(lián)網(wǎng)中，移動(dòng)的車輛不斷生成大量不同類型的數(shù)據(jù)，其中包括軌跡、交通信息和多媒體數(shù)據(jù)等附加數(shù)據(jù)。如何高效、有效地利用海量可用數(shù)據(jù)來(lái)改善駕駛體驗(yàn)，并在物聯(lián)網(wǎng)中提供廣泛的高質(zhì)量服務(wù)，是一個(gè)至關(guān)重要的研究領(lǐng)域。

數(shù)據(jù)共享可以通過(guò)協(xié)同分析和挖掘數(shù)據(jù)來(lái)改善IoV應(yīng)用程序質(zhì)量。然而，在物聯(lián)網(wǎng)中，數(shù)據(jù)共享面臨兩個(gè)關(guān)鍵挑戰(zhàn)。首先，盡管車輛間通信不可靠，但車輛需要有效共享數(shù)據(jù)。如何提高數(shù)據(jù)共享效率和可靠性需要進(jìn)一步深入研究。其次，數(shù)據(jù)提供商越來(lái)越擔(dān)心數(shù)據(jù)安全和隱私問(wèn)題，這可能會(huì)阻止他們提供可用于分析的數(shù)據(jù)。因此，如何在物聯(lián)網(wǎng)中高效、安全地共享數(shù)據(jù)仍然是一個(gè)廣泛研究的熱門方向。

2存在的問(wèn)題

多接人邊緣計(jì)算（MEC）通過(guò)設(shè)備到設(shè)備（D2D）通信在移動(dòng)網(wǎng)絡(luò)邊緣執(zhí)行計(jì)算和內(nèi)容存儲(chǔ)，實(shí)現(xiàn)邊緣資源共享。但是現(xiàn)有研究側(cè)重于MEC的效率，仍需要進(jìn)一步研究如何在MEC中實(shí)現(xiàn)分布式智能控制。在這方面，最近的一些工作已經(jīng)將邊緣智能用于車輛網(wǎng)絡(luò)中的資源共享。如采用深度強(qiáng)化學(xué)習(xí)（DRL）來(lái)設(shè)計(jì)數(shù)據(jù)傳輸調(diào)度方案，以最小化車輛網(wǎng)絡(luò)中的傳輸成本。然而，分布式場(chǎng)景中資源共享的安全問(wèn)題仍未解決。

最近，區(qū)塊鏈已成為提供分布式安全解決方案的一種很有前途的技術(shù)。區(qū)塊鏈具有防篡改、匿名性和可追蹤性等先進(jìn)特性，因此在物聯(lián)網(wǎng)、車載網(wǎng)絡(luò)和智能電網(wǎng)等領(lǐng)域，區(qū)塊鏈在增強(qiáng)安全性方面引起了極大關(guān)注。近年來(lái)，有大量研究利用區(qū)塊鏈在車輛網(wǎng)絡(luò)中進(jìn)行數(shù)據(jù)共享。例如，不但利用了由路邊裝置維護(hù)聯(lián)盟區(qū)塊鏈，實(shí)現(xiàn)車輛邊緣網(wǎng)絡(luò)中的安全數(shù)據(jù)共享，還可為分布式數(shù)據(jù)共享設(shè)計(jì)一個(gè)區(qū)塊鏈?zhǔn)跈?quán)的安全數(shù)據(jù)共享架構(gòu)。盡管區(qū)塊鏈的使用為數(shù)據(jù)安全共享提供了可能性，但維護(hù)區(qū)塊鏈需要額外的計(jì)算和通信負(fù)擔(dān)，可能對(duì)效率方面產(chǎn)生不利影響。

為了提高區(qū)塊鏈的效率和智能性，一些研究探索了將區(qū)塊鏈與人工智能相結(jié)合。如通過(guò)將人工智能算法和區(qū)塊鏈集成到無(wú)線網(wǎng)絡(luò)中，構(gòu)成一種安全智能的架構(gòu)，可實(shí)現(xiàn)5G以外的安全資源共享。然而，雖然在這些集成框架中，研究數(shù)據(jù)和網(wǎng)絡(luò)的安全和隱私問(wèn)題是一個(gè)重要的研究方向，但相關(guān)工作卻相當(dāng)有限。為此，減輕區(qū)塊鏈與人工智能集成的資源成本需要更密切和更深入的研究。

聯(lián)邦學(xué)習(xí)是分布式場(chǎng)景中隱私保護(hù)邊緣智能的一種很有前途的方法。而在傳統(tǒng)的機(jī)器學(xué)習(xí)中，所有的訓(xùn)練數(shù)據(jù)都是在一個(gè)集中的管理員處收集的，聯(lián)邦學(xué)習(xí)在很大程度上解決了隱私問(wèn)題，并且通過(guò)將訓(xùn)練工作分發(fā)給用戶自己來(lái)降低數(shù)據(jù)傳輸成本。本地訓(xùn)練由用戶根據(jù)自己的數(shù)據(jù)執(zhí)行，通常采用梯度下降優(yōu)化算法。在聯(lián)邦學(xué)習(xí)框架中，用戶自己保存數(shù)據(jù)，但將參數(shù)發(fā)送到服務(wù)器進(jìn)行聚合。這為用戶提供了一個(gè)并行方案，以協(xié)作學(xué)習(xí)與其數(shù)據(jù)隱私相關(guān)的全局模型。因此，聯(lián)邦學(xué)習(xí)通過(guò)以保護(hù)隱私的方式從分布式數(shù)據(jù)學(xué)習(xí)中來(lái)實(shí)現(xiàn)邊緣智能，并利用區(qū)塊鏈在不受信任的參與者之間提供有保證的協(xié)作方案，以實(shí)現(xiàn)高效共享。

然而，就聯(lián)邦學(xué)習(xí)的計(jì)算和通信資源而言，設(shè)備的異構(gòu)性為應(yīng)用聯(lián)邦學(xué)習(xí)帶來(lái)了新的挑戰(zhàn)。為了提高學(xué)習(xí)效率和學(xué)習(xí)質(zhì)量，需要解決三個(gè)關(guān)鍵方面。首先，更新的參數(shù)也可能泄露用戶的數(shù)據(jù)隱私。如何全面確保聯(lián)邦學(xué)習(xí)計(jì)劃的安全性有待進(jìn)一步研究。其次，由于邊緣設(shè)備的異構(gòu)計(jì)算和通信能力，必須減少計(jì)算和通信開銷，并將總體學(xué)習(xí)時(shí)間降至最低，應(yīng)降低參與者共享惡意和冗余數(shù)據(jù)等不合格數(shù)據(jù)的風(fēng)險(xiǎn)。最后，應(yīng)減少由于聯(lián)邦學(xué)習(xí)造成的延遲，提高處理車輛的異構(gòu)通信和計(jì)算能力。

3面向車聯(lián)網(wǎng)基于異步聯(lián)邦學(xué)習(xí)和區(qū)塊鏈的數(shù)據(jù)安全共享體系框架

本文通過(guò)將區(qū)塊鏈和聯(lián)邦學(xué)習(xí)集成到IoV中以實(shí)現(xiàn)數(shù)據(jù)安全共享。本文開發(fā)了一個(gè)混合區(qū)塊鏈-PermiDAG，并用提出的節(jié)點(diǎn)選擇算法改進(jìn)聯(lián)邦學(xué)習(xí)。本文的貢獻(xiàn)可以概括如下：提出了一種新的混合區(qū)塊鏈-PermiDAG，它由路邊裝置（RSU）和DAG組成：通過(guò)將學(xué)習(xí)的參數(shù)集成到區(qū)塊鏈中，并通過(guò)兩階段驗(yàn)證來(lái)驗(yàn)證這些參數(shù)的質(zhì)量，從而提高學(xué)習(xí)模型的可靠性。

假設(shè)車輛提交共享特定類型數(shù)據(jù)的請(qǐng)求，用于特定目的，如交通預(yù)測(cè)或路徑選擇。我們將數(shù)據(jù)共享過(guò)程視為一項(xiàng)計(jì)算任務(wù)。

由于傳統(tǒng)的聯(lián)合學(xué)習(xí)可能會(huì)導(dǎo)致參與節(jié)點(diǎn)之間的同步延遲，本文提出了一種異步聯(lián)合學(xué)習(xí)方法，將計(jì)算和通信資源結(jié)合起來(lái)考慮。本文提出的方法通過(guò)優(yōu)化選擇參與節(jié)點(diǎn)，并將其分為本地聚合和全局融合來(lái)執(zhí)行異步學(xué)習(xí)。同時(shí)，使用集成區(qū)塊鏈來(lái)存儲(chǔ)和驗(yàn)證模型參數(shù)，這可以提高所提方案的可靠性和安全性。本文提出的面向車聯(lián)網(wǎng)基于異步聯(lián)邦學(xué)習(xí)和區(qū)塊鏈的數(shù)據(jù)安全共享體系，如圖1所示。首先，選定的車輛執(zhí)行本地訓(xùn)練，然后通過(guò)DRL算法對(duì)區(qū)塊鏈節(jié)點(diǎn)選擇優(yōu)化，最后更新其經(jīng)過(guò)訓(xùn)練的本地模型以進(jìn)行全局融合。此外，我們還考慮了由本地計(jì)算過(guò)程和本地?cái)?shù)據(jù)決定的更新質(zhì)量。

對(duì)于不同的應(yīng)用場(chǎng)景，如物聯(lián)網(wǎng)中的邊緣資源共享和車載網(wǎng)絡(luò)中的內(nèi)容緩存，可以根據(jù)優(yōu)化目標(biāo)定義不同的目標(biāo)函數(shù)。例如，目標(biāo)可以是最小化能源成本、最小化運(yùn)行或時(shí)間，以及最大限度地提高學(xué)習(xí)精度。此外，目標(biāo)函數(shù)可以將各種約束納入組合優(yōu)化問(wèn)題。

傳統(tǒng)的同步聯(lián)合學(xué)習(xí)會(huì)消耗大量資源并導(dǎo)致通信延遲，使用控制算法可實(shí)現(xiàn)高效的異步學(xué)習(xí)方案。解決定義的目標(biāo)函數(shù)和提高聯(lián)合學(xué)習(xí)性能的方法可以基于以下方面的控制算法。

節(jié)點(diǎn)選擇：由于不同客戶端節(jié)點(diǎn)的異構(gòu)資源和能力，參與節(jié)點(diǎn)的選擇對(duì)聯(lián)邦學(xué)習(xí)的性能有著決定性的影響。此外，還應(yīng)驗(yàn)證每個(gè)節(jié)點(diǎn)的訓(xùn)練模型?；谟?jì)算能力、通信狀態(tài)和訓(xùn)練數(shù)據(jù)的質(zhì)量，我們可以進(jìn)一步設(shè)計(jì)選擇控制算法，以最大限度地提高學(xué)習(xí)性能。

全局聚合：對(duì)于邊緣服務(wù)器，如何根據(jù)應(yīng)用場(chǎng)景選擇初始全局訓(xùn)練模型是一個(gè)基本問(wèn)題。此外，由于聚合過(guò)程花費(fèi)了大量資源，因此如何設(shè)計(jì)聚合算法、選擇每次迭代的持續(xù)時(shí)間以及指定迭代的總數(shù)，還需要進(jìn)一步工作。

權(quán)衡本地訓(xùn)練：由于在基于區(qū)塊鏈的解決方案中上傳更新需要花費(fèi)時(shí)間，因此參與節(jié)點(diǎn)的目標(biāo)是以更少的成本獲得更高的訓(xùn)練精度。在上傳更新之前確定本地訓(xùn)練迭代次數(shù)的控制算法可以進(jìn)一步提高本地訓(xùn)練過(guò)程的利潤(rùn)。

4混合許可區(qū)塊鏈：PermiDAG

為了提高數(shù)據(jù)共享的安全性、訓(xùn)練效率和準(zhǔn)確性，本文為聯(lián)邦學(xué)習(xí)方案設(shè)計(jì)了一種混合區(qū)塊鏈機(jī)制-PermiDAG。PermiDAG由一個(gè)主要許可區(qū)塊鏈和本地DAG組成，分別負(fù)責(zé)聯(lián)邦學(xué)習(xí)中的同步全局融合和異步本地訓(xùn)練。PermiDAG是分區(qū)容忍的，這意味著部分節(jié)點(diǎn)也可以有效地運(yùn)行區(qū)塊鏈。此外，通過(guò)讓車輛只存儲(chǔ)本地DAG，并讓RSU存儲(chǔ)許可的區(qū)塊鏈，提高了存儲(chǔ)效率。

本文利用本地DAG，將車輛之間的相關(guān)數(shù)據(jù)共享事件作為事務(wù)處理。異步一致性允許車輛就歷史狀態(tài)而不是當(dāng)前狀態(tài)達(dá)成一致。車輛i的本地DAGi更新模型并傳輸?shù)狡涓浇能囕v進(jìn)行同步。每輛車都會(huì)隨機(jī)將其最新的DAGi（包括交易和審批關(guān)系）與相鄰車輛互通同步事務(wù)記錄數(shù)據(jù)請(qǐng)求者、數(shù)據(jù)提供者、根據(jù)N個(gè)節(jié)點(diǎn)中每個(gè)節(jié)點(diǎn)貢獻(xiàn)Ci從本地更新全局模型權(quán)重w（t）如式（1）所示，以及DAG中已批準(zhǔn)事務(wù)（即邊緣）之間的指針信息。

此外，本文還使用聲譽(yù)機(jī)制來(lái)量化參與者在數(shù)據(jù)共享過(guò)程中的表現(xiàn)，高質(zhì)量數(shù)據(jù)的參與者獲得較高的聲譽(yù)分?jǐn)?shù)。在數(shù)據(jù)共享過(guò)程中，我們根據(jù)參與者的模型準(zhǔn)確性計(jì)算其累積聲譽(yù)，并將聲譽(yù)記錄在本地DAG中。

5用于節(jié)點(diǎn)選擇的深度強(qiáng)化學(xué)習(xí)

5.1問(wèn)題描述：節(jié)點(diǎn)選擇的組合優(yōu)化

不同車輛的異構(gòu)計(jì)算資源和時(shí)變通信條件阻礙了全局融合階段的執(zhí)行效率。本文利用深度確定性策略梯度（DDPG）算法，在異步反饋學(xué)習(xí)中找到節(jié)點(diǎn)選擇的最佳解決方案。基于馬爾可夫決策過(guò)程，其中參數(shù)描述如下。

5.2基于DDPG的完全節(jié)點(diǎn)選擇算法

本文采用DDPG來(lái)解決節(jié)點(diǎn)選擇問(wèn)題（圖1），基本準(zhǔn)則是使用值函數(shù)更新系統(tǒng)策略。主網(wǎng)絡(luò)包括一個(gè)演員神經(jīng)網(wǎng)絡(luò)模型和評(píng)論家神經(jīng)網(wǎng)絡(luò)模型分別表示代表神經(jīng)網(wǎng)絡(luò)中的參數(shù)。需要注意的是目標(biāo)網(wǎng)絡(luò)與主網(wǎng)絡(luò)具有相同的網(wǎng)絡(luò)結(jié)構(gòu)，并生成用于訓(xùn)練演員一批評(píng)家神經(jīng)網(wǎng)絡(luò)的目標(biāo)值。DDPG還使用回放存儲(chǔ)器存儲(chǔ)用于訓(xùn)練網(wǎng)絡(luò)的過(guò)渡信息。過(guò)渡信息包含當(dāng)前狀態(tài)、對(duì)狀態(tài)采取的操作、下一狀態(tài)和相應(yīng)的獎(jiǎng)勵(lì)。演員神經(jīng)網(wǎng)絡(luò)的目標(biāo)是提供最佳節(jié)點(diǎn)選擇操作。參與神經(jīng)網(wǎng)絡(luò)的輸入是當(dāng)前狀態(tài)，輸出是要采取的操作。動(dòng)作是通過(guò)從當(dāng)前狀態(tài)到動(dòng)作的映射生成，其中0為神經(jīng)網(wǎng)絡(luò)的模型參數(shù)，也可以看作搜索策略。其中，隨機(jī)策略梯度的梯度，等價(jià)于確定性策略梯度。

6應(yīng)用場(chǎng)景及服務(wù)

車聯(lián)網(wǎng)場(chǎng)景：在車聯(lián)網(wǎng)場(chǎng)景中，由于電力供應(yīng)有限，能源成本是一個(gè)關(guān)鍵問(wèn)題。與其他場(chǎng)景相比，計(jì)算和通信資源也非常有限。因此，為了在車聯(lián)網(wǎng)中應(yīng)用所提出的框架，在設(shè)計(jì)目標(biāo)函數(shù)時(shí)應(yīng)考慮能量、計(jì)算和通信的消耗。此外，由于每個(gè)設(shè)備上的訓(xùn)練數(shù)據(jù)大小有限，應(yīng)簡(jiǎn)化車聯(lián)網(wǎng)設(shè)備的模型，并應(yīng)執(zhí)行更多本地訓(xùn)練迭代。執(zhí)行的聚合可以通過(guò)涉及更多車聯(lián)網(wǎng)設(shè)備在更大程度上確保學(xué)習(xí)質(zhì)量。由于車聯(lián)網(wǎng)設(shè)備的資源有限，提出的方案可以在車聯(lián)網(wǎng)設(shè)備無(wú)任務(wù)期間執(zhí)行。此外，由于資源有限，車聯(lián)網(wǎng)設(shè)備的安全性是一個(gè)嚴(yán)重的問(wèn)題。參數(shù)區(qū)塊鏈的集成可以降低集中式機(jī)制所帶來(lái)的風(fēng)險(xiǎn)。

資源共享：在車聯(lián)網(wǎng)中，大規(guī)模設(shè)備和延遲敏感應(yīng)用程序需要大量資源。因此，頻譜和數(shù)據(jù)等資源的限制會(huì)阻礙超網(wǎng)絡(luò)的發(fā)展步伐。分布式資源共享是提高無(wú)線網(wǎng)絡(luò)資源利用率和服務(wù)質(zhì)量的一種有效方法。在提出的區(qū)塊鏈?zhǔn)跈?quán)聯(lián)邦學(xué)習(xí)方案中，擁有免費(fèi)資源的多個(gè)分布式提供商可以協(xié)作為消費(fèi)者共享資源，如圖1所示。區(qū)塊鏈為資源提供商與消費(fèi)者共享資源提供了一個(gè)安全的方案，從而減輕了惡意用戶和易受攻擊的集中式管理者所帶來(lái)的風(fēng)險(xiǎn)。共享信息記錄為區(qū)塊鏈中的交易，消費(fèi)者通過(guò)區(qū)塊鏈進(jìn)行資源租賃交易。聯(lián)邦學(xué)習(xí)方案不僅可以從數(shù)據(jù)中學(xué)習(xí)計(jì)算結(jié)果，還可以提供優(yōu)化的共享策略。

分布式設(shè)備到設(shè)備緩存：邊緣設(shè)備上的大量多媒體應(yīng)用程序生成大量?jī)?nèi)容，在MBS中存儲(chǔ)的大規(guī)模內(nèi)容具有挑戰(zhàn)性。本文提出的方案可以通過(guò)對(duì)分布式用戶數(shù)據(jù)流行程度的模型進(jìn)行訓(xùn)練來(lái)學(xué)習(xí)最佳的緩存策略，該模型還考慮了通信成本、當(dāng)前需求和用戶提供的信息。學(xué)習(xí)過(guò)的模型能夠?qū)Σ煌膬?nèi)容進(jìn)行預(yù)測(cè)。因此，系統(tǒng)可以緩存所需的內(nèi)容，減少傳輸延遲。該方案還增強(qiáng)了緩存過(guò)程中用戶數(shù)據(jù)的安全性和隱私性，實(shí)現(xiàn)了全局最優(yōu)的緩存策略。

邊緣計(jì)算卸載：由于區(qū)塊鏈的維護(hù)和更新的融合需要密集的計(jì)算，對(duì)于邊緣服務(wù)器來(lái)說(shuō)，根據(jù)適用的約束執(zhí)行計(jì)算是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。為解決這個(gè)問(wèn)題，本文將計(jì)算任務(wù)拆分，并將計(jì)算任務(wù)的碎片卸載到附近具有足夠計(jì)算資源的參與節(jié)點(diǎn)，以完全利用分布的計(jì)算資源。此外，卸載的計(jì)算任務(wù)還可以利用目標(biāo)用戶的數(shù)據(jù)來(lái)訓(xùn)練計(jì)算任務(wù)，這可以進(jìn)一步減少傳輸開銷。提出的區(qū)塊鏈?zhǔn)跈?quán)聯(lián)邦學(xué)習(xí)方案非常適合應(yīng)用于分布式邊緣計(jì)算場(chǎng)景。通過(guò)區(qū)塊鏈交互和本地保存自己的數(shù)據(jù)，增強(qiáng)了數(shù)據(jù)的安全性和隱私性。聯(lián)邦學(xué)習(xí)方案涉及來(lái)自不同用戶的大量訓(xùn)練數(shù)據(jù)，從而提高了訓(xùn)練的全局模型的質(zhì)量。

網(wǎng)絡(luò)數(shù)據(jù)分析：網(wǎng)絡(luò)數(shù)據(jù)分析功能是3GPP在車聯(lián)網(wǎng)技術(shù)中引入的一個(gè)新實(shí)體，它使5G運(yùn)營(yíng)商能夠使用AI監(jiān)控和分析網(wǎng)絡(luò)。通常，網(wǎng)絡(luò)數(shù)據(jù)分析功能可以連接到任何網(wǎng)絡(luò)功能，并可以訪問(wèn)核心網(wǎng)絡(luò)中的任何數(shù)據(jù)。此外，任何網(wǎng)絡(luò)功能都可以請(qǐng)求網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)分析。通過(guò)使用本文提出的聯(lián)邦學(xué)習(xí)方案，核心網(wǎng)絡(luò)中的每個(gè)實(shí)體都訓(xùn)練其本地機(jī)器學(xué)習(xí)模型，并且只將訓(xùn)練好的模型參數(shù)傳輸給網(wǎng)絡(luò)數(shù)據(jù)分析功能實(shí)體，應(yīng)用場(chǎng)景如圖1所示。反饋學(xué)習(xí)方案可以顯著降低車聯(lián)網(wǎng)中網(wǎng)絡(luò)功能虛擬化技術(shù)帶來(lái)的安全風(fēng)險(xiǎn)。

7結(jié)束語(yǔ)

本文針對(duì)IoV框架中車輛之間的邊緣數(shù)據(jù)共享問(wèn)題，為了減輕傳輸負(fù)載并解決提供商的隱私問(wèn)題，首先提出了一種基于異步聯(lián)邦學(xué)習(xí)和區(qū)塊鏈的新數(shù)據(jù)安全共享架構(gòu)。為了增強(qiáng)模型參數(shù)的安全性和可靠性，進(jìn)一步提出了一個(gè)區(qū)塊鏈?zhǔn)跈?quán)的異步聯(lián)邦學(xué)習(xí)框架。通過(guò)將區(qū)塊鏈集成到聯(lián)邦學(xué)習(xí)中來(lái)維護(hù)經(jīng)過(guò)訓(xùn)練的參數(shù)，從而增強(qiáng)安全性和隱私性。最后，本文將資源共享任務(wù)定義為一個(gè)組合優(yōu)化問(wèn)題，同時(shí)考慮了資源消耗和學(xué)習(xí)質(zhì)量到基于深度強(qiáng)化學(xué)習(xí)的算法來(lái)尋找問(wèn)題的最優(yōu)解。本文提出的算法可有效提高運(yùn)行效率，降低計(jì)算成本，具有較快的收斂速度和較高的模型精度。