• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于區(qū)塊鏈的聯(lián)邦學習研究進展

    2022-11-30 07:32:10孫睿李超王偉童恩棟王健劉吉強
    計算機應用 2022年11期
    關鍵詞:模型

    孫睿,李超*,王偉,童恩棟,王健,劉吉強

    基于區(qū)塊鏈的聯(lián)邦學習研究進展

    孫睿1,2,李超1,2*,王偉1,2,童恩棟1,2,王健1,2,劉吉強1,2

    (1.智能交通數據安全與隱私保護技術北京市重點實驗室(北京交通大學),北京 100044; 2.北京交通大學 計算機與信息技術學院,北京 100044)(?通信作者電子郵箱li.chao@bjtu.edu.cn)

    聯(lián)邦學習(FL)是一種能夠實現(xiàn)用戶數據不出本地的新型隱私保護學習范式。隨著相關研究工作的不斷深入,F(xiàn)L的單點故障及可信性缺乏等不足之處逐漸受到重視。近年來,起源于比特幣的區(qū)塊鏈技術取得迅速發(fā)展,它開創(chuàng)性地構建了去中心化的信任,為FL的發(fā)展提供了一種新的可能。對現(xiàn)有基于區(qū)塊鏈的FL框架進行對比分析,深入討論區(qū)塊鏈與FL相結合所解決的FL重要問題,并闡述了基于區(qū)塊鏈的FL技術在物聯(lián)網(IoT)、工業(yè)物聯(lián)網(IIoT)、車聯(lián)網(IoV)、醫(yī)療服務等多個領域的應用前景。

    聯(lián)邦學習;區(qū)塊鏈;結構框架;融合應用;隱私保護

    0 引言

    隨著GDPR(General Data Protection Regulation)等隱私保護法案的出現(xiàn),用戶私人數據在中央服務器的直接使用受到了極大限制[1],能夠保障用戶隱私的機器學習方法開始獲得工業(yè)界與學術界的廣泛重視。2016年,谷歌提出了聯(lián)邦學習(Federated Learning, FL)這一新范式[2],能夠實現(xiàn)用戶數據不出設備本地的模型訓練。聯(lián)邦學習的主要思想是使大量存儲本地數據的用戶設備(稱為客戶端)能夠在本地協(xié)作地訓練單個機器學習模型,而無需共享其原始數據。在聯(lián)邦學習中,中央服務器負責聚合所有客戶端提交的參數,對全局模型進行更新,并將更新后的模型反饋給客戶端,使客戶端能夠在未來的迭代中繼續(xù)進行本地訓練,以不斷從客戶端的本地數據中獲益[3]。由于其“數據不動模型動,數據可用不可見”的隱私特性,近年來,聯(lián)邦學習受到研究者的高度關注。

    然而,聯(lián)邦學習也存在很多獨特的挑戰(zhàn)。首先,聯(lián)邦學習通常需要大量用戶的參與,這些用戶身份背景各異,行為方式復雜,難以相互信任,且增加了誠實用戶隱私泄露的風險。其次,在聯(lián)邦學習過程中,全局模型的獲得需要通過用戶的多輪迭代進行模型更新,這產生了大量的通信成本,以及在網絡傳輸過程中額外的存儲開銷。此外,不誠實的參與者和易受攻擊的中央服務器可能會影響全局模型的安全性[4]。最后,本地設備可能是惡意的或易受攻擊的,這可能導致傳輸的信息被泄露或篡改[5]。

    近年來,起源于比特幣的區(qū)塊鏈技術取得迅速發(fā)展[6]。區(qū)塊鏈建立在去中心化的對等網絡之上,交易以數據形式由全網節(jié)點備份,交易順序和內容的一致性和不可篡改性由共識機制保障。區(qū)塊鏈開創(chuàng)性地構建了去中心化的信任,使人們可以選擇信任區(qū)塊鏈底層密碼學技術的可靠性及對等網絡中大部分節(jié)點的誠實性,而無需被迫信任單一實體[7]。區(qū)塊鏈構建的去中心化信任實現(xiàn)方式為聯(lián)邦學習的發(fā)展提供了一種新的可能。例如,聯(lián)邦學習不僅可以利用區(qū)塊鏈共識機制提供的一致性在不可信環(huán)境中建立可信交互,還可以利用區(qū)塊鏈激勵機制提供的經濟屬性有效促進聯(lián)邦學習中信息的共享。

    1 基于區(qū)塊鏈的聯(lián)邦學習研究現(xiàn)狀

    本文調查研究的對象包括從2019年至2021年在期刊、會議以及預印本上發(fā)表的論文。本文所收集的文獻涵蓋了區(qū)塊鏈技術與聯(lián)邦學習技術相互融合的近期研究工作。本研究主要遵循以下原則收集這些論文:1)在現(xiàn)有的搜索引擎中搜索關鍵詞,找到相關文獻;2)根據所選論文中的參考文獻,再找到本研究所需要的論文。

    在統(tǒng)計過程中可以發(fā)現(xiàn),雖然目前基于區(qū)塊鏈的聯(lián)邦學習(Blockchain?based Federated Learning, BFL)技術還處于早期發(fā)展階段,相關的文獻研究較少,但是BFL架構正受到越來越多人的關注,處于持續(xù)發(fā)展的狀態(tài)。這些BFL研究工作通常采用不同BFL框架,面向不同聯(lián)邦學習中存在的重要問題(如:單點故障、缺乏激勵機制、投毒攻擊),且面向不同應用領域(如:物聯(lián)網(Internet of Things, IoT)、工業(yè)物聯(lián)網(Industrial Internet of Things, IIoT)、車聯(lián)網(Internet of Vehicles,IoV)、醫(yī)療服務領域)。

    目前,已有少數幾篇文獻討論了區(qū)塊鏈與聯(lián)邦學習的結合。文獻[8]介紹了部分現(xiàn)有BFL研究工作所使用的區(qū)塊鏈種類和平臺,以及BFL框架的對比;文獻[9]對部分現(xiàn)有BFL框架、BFL基礎設施以及BFL應用進行了對比總結;文獻[10]進行了面向聯(lián)邦學習的調查研究工作,其中所涉及的聯(lián)邦學習架構、通信效率、獎勵機制、隱私保護、安全聚合方案等方面的對比也包含了一些BFL架構;文獻[11]對BFL進行了綜述,介紹了聯(lián)邦學習的不足,并從架構特點、資源分配等方面對現(xiàn)有聯(lián)邦學習進行研究,最后總結了基于區(qū)塊鏈的聯(lián)邦學習架構在人工智能領域的未來發(fā)展;類似地,文獻[12]也論述了現(xiàn)有聯(lián)邦學習機制存在的問題和不足,并說明了將區(qū)塊鏈技術與聯(lián)邦學習結合之后對進一步完善聯(lián)邦學習模型的展望??梢钥吹剑@些綜述工作主要集中于BFL框架及其在人工智能領域的應用前景,缺乏對BFL面向的重要問題的深入分析和BFL在更廣泛場景應用前景的展開討論。因此,本文從BFL框架出發(fā),深入討論區(qū)塊鏈與聯(lián)邦學習相結合所解決的聯(lián)邦學習重要問題,進而闡述BFL在物聯(lián)網、工業(yè)物聯(lián)網、車聯(lián)網、醫(yī)療服務等多個領域的應用前景,對現(xiàn)有BFL研究工作在基礎架構、核心技術、應用前景三個層面進行了全面且完整的分析和對比工作,總結出區(qū)塊鏈與聯(lián)邦學習相結合的創(chuàng)新與應用方向。

    2 現(xiàn)有BFL框架對比

    本章對本文收集的文獻中提出的BFL框架進行總結與對比,針對其不同的設計思路進行分析。圖1展示了本文總結的BFL框架分類示意圖。

    圖1 BFL框架分類

    首先,傳統(tǒng)聯(lián)邦學習框架通常由一個中央服務器(server)和多個用戶(或設備、客戶端)組成。早期的典型BFL框架普遍利用去中心化的區(qū)塊鏈取代傳統(tǒng)聯(lián)邦學習框架中的中央服務器(server),其主要目的是解決中央服務器造成的單點信任及故障等問題[13-16]。該類框架的范例如圖2所示,用戶將本地模型提交給維護區(qū)塊鏈的礦工(miner),礦工執(zhí)行交叉驗證、模型聚合等步驟,并基于共識機制生成一致的全局模型,隨后利用區(qū)塊存儲和傳播該全局模型,使用戶能夠從區(qū)塊中將一致的全局模型下載到本地,進行下一輪訓練。除了利用區(qū)塊鏈取代中央服務器,這一類典型框架還通常具備兩個特性。在模型聚合前,通過引入交叉驗證等機制,能夠保證參與全局模型更新的本地模型符合全局模型更新的方向,防止惡意用戶利用惡意模型破壞全局模型的安全性。此外,通過引入獎勵機制,能夠激勵用戶貢獻優(yōu)質數據并積極參與訓練,有效緩解聯(lián)邦學習中的公平性問題,防止貢獻不同的用戶獲得相似獎勵,導致用戶消極怠工。

    在這一類典型框架的基礎上,一些BFL框架在共識機制、獎勵機制等方面進一步創(chuàng)新。文獻[1]中提出的BFLC(Blockchain?based Federated Learning framework with Committee consensus)框架,沒有采用常見的工作量證明(Proof of Work, PoW)共識機制,而是提出了委員會共識機制(Committee Consensus Mechanism, CCM)。這一機制的特色是利用由部分誠實節(jié)點組成的委員會執(zhí)行模型局部梯度驗證和區(qū)塊生成等步驟。由于只有部分節(jié)點參與本地模型驗證及全局模型更新,聯(lián)邦學習的整體效率獲得了顯著提升。該機制要求委員會以外的節(jié)點將本地模型發(fā)送給委員會節(jié)點進行驗證打分,只允許合格的模型參與全局模型更新。在該機制中,為提升安全性,基于節(jié)點歷史表現(xiàn)分數及智能合約,周期性更替委員會成員。文獻[17]中引入深度強化學習(Deep Reinforcement Learning),尋求能夠最小化系統(tǒng)時延、能耗及獎勵總額的最優(yōu)系統(tǒng)參數,包括用戶訓練本地模型時的建議數據量和能耗,以及區(qū)塊生成速率。文獻[18]中提出了FLChain(Federated Learning via mec?enabled blockChain network)框架,該框架同時包含移動設備和邊緣設備,其中移動設備主要負責使用設備上的數據樣本進行本地模型更新,邊緣設備一方面為資源受限的移動設備提供較充足的網絡資源,另一方面充當FLChain區(qū)塊鏈網絡中的節(jié)點,對區(qū)塊鏈進行維護。FLChain使用了聯(lián)盟區(qū)塊鏈超級賬本fabric中的通道技術,利用通道的隔離特性,增強全局模型訓練的安全性,并提供一定程度的數據隱私保護。文獻[19]中提出了一種名為CrowdSFL(Crowd computing Secure framework based on blockchain and Federated Learning)的眾包BFL框架,其主要目的是降低眾包過程中用戶開銷并保障眾包安全性。在CrowdSFL中,整個眾包系統(tǒng)基于區(qū)塊鏈構建,每一個參與者都擁有獨立的區(qū)塊鏈賬戶。CrowdSFL提出了由智能合約控制的數據交互模式,能夠保證數據以正確的格式上傳并保存到區(qū)塊中。

    圖2 典型BFL框架

    上述BFL框架均采用單一類型的區(qū)塊鏈取代傳統(tǒng)聯(lián)邦學習中的中央服務器,近年來,少數工作提出了由更復雜的多級區(qū)塊鏈取代中央服務器的BFL框架。文獻[20]中提出了一種基于混合區(qū)塊鏈的BFL框架PermiDAG(Permissioned blockchain and the local Directed Acyclic Graph),該框架中的混合區(qū)塊鏈以運行在路邊單元(Road Side Unit, RSU)的許可區(qū)塊鏈作為主鏈,同時允許車輛節(jié)點組成多個本地有向無環(huán)圖(Directed Acyclic Graph, DAG)。作為主鏈的許可區(qū)塊鏈負責記錄數據共享的相關信息以及全局模型聚合的相關參數。車輛節(jié)點組成的多個本地DAG則用來提升數據共享的效率,并將數據共享事件以及訓練過的模型參數作為交易存儲在塊中。同時,基于本地DAG,鄰近的車輛節(jié)點相互通信,獲得附近車輛的本地模型,并利用這些模型提升自己的本地模型,實現(xiàn)異步學習的過程。此外,文獻[21]中提出的BFEL(Blockchain?empowered Federated Edge Learning)框架也采用了多級區(qū)塊鏈的結構。該框架包含應用層和區(qū)塊鏈層兩部分,其中應用層主要負責執(zhí)行聯(lián)邦學習過程。該框架中的區(qū)塊鏈層同時包含一條基于公有區(qū)塊鏈的主鏈,和多條基于聯(lián)盟區(qū)塊鏈的子鏈。通過利用多個子鏈設置訪問權限,該框架能夠提升數據隱私保障能力,實現(xiàn)性能隔離。

    上述BFL框架均采用單一或多級區(qū)塊鏈取代傳統(tǒng)聯(lián)邦學習中的中央服務器,然而,在一些BFL框架中,區(qū)塊鏈既沒有直接取代中央服務器,也沒有直接參與到傳統(tǒng)聯(lián)邦學習過程中。例如,在文獻[22]中提出的BFL框架中,區(qū)塊鏈僅用于實現(xiàn)數據共享的功能。該框架中的區(qū)塊鏈內存在三種不同類型的交易:1)檢索交易,允許節(jié)點將請求的模型信息通知其他節(jié)點;2)模型交易,允許節(jié)點將模型訓練的數據傳給其他節(jié)點;3)數據共享交易,允許節(jié)點將共享的數據返回給請求者。具體來說,數據請求者(requester)將數據共享請求發(fā)送給區(qū)塊鏈,區(qū)塊鏈進行檢索交易,查看緩存中是否已包含相應數據:若存在,區(qū)塊鏈將查詢結果以及所請求的數據模型直接返回給請求者,并生成數據共享交易;若不存在,區(qū)塊鏈將進行多方信息檢索,組建模型訓練委員會,利用模型交易進行模型訓練,生成請求者所需要的模型,在將模型返回給請求者的同時進行緩存,以備未來之需。在文獻[23]中提出的fine?grained FL框架中,聯(lián)邦學習的執(zhí)行主要發(fā)生在云節(jié)點和霧節(jié)點,該框架中的區(qū)塊鏈不直接參與聯(lián)邦學習,主要負責計算和存儲參與聯(lián)邦學習的各節(jié)點聲譽。此外,在文獻[24]中提出的用于工業(yè)物聯(lián)網內設備故障檢測的BFL框架中,區(qū)塊鏈主要用于對客戶端數據進行可信存儲和驗證。在該框架中,客戶端定期創(chuàng)建Merkle樹組織傳感器收集的數據,并將Merkle root存儲在區(qū)塊鏈中。在未來發(fā)生爭議時,存儲在區(qū)塊鏈中的Merkle root可被用作證據幫助解決爭議。文獻[25]中提出的一種基于聯(lián)盟區(qū)塊鏈的BFL框架,目的是在數字孿生無線網絡模型中提升邊緣計算能力。該框架由多類終端用戶組成,如:物聯(lián)網設備、移動設備、基站以及宏基站。其中,基站負責執(zhí)行聯(lián)邦學習的本地訓練,宏基站則充當聯(lián)邦學習的中央服務器。由于聯(lián)邦學習無法解決孿生終端用戶之間缺乏信任的問題,該框架引入聯(lián)盟區(qū)塊鏈增強系統(tǒng)安全性,利用區(qū)塊鏈記錄數字孿生過程中的數據,并通過控制訪問權限來管理用戶。

    表1對不同BFL框架進行總結對比。

    表1 不同BFL框架對比

    3 BFL面向的重要問題

    本章總結了BFL面向的聯(lián)邦學習中的重要問題,以及相應的解決辦法或是對聯(lián)邦學習相應不足之處的改善方法。

    3.1 聯(lián)邦學習存在的重要問題

    聯(lián)邦學習主要存在以下五類重要問題:

    1)單點故障:聯(lián)邦學習的中央服務器容易受到惡意更新的影響,致使全局模型更新產生缺陷,從而影響所有本地模型更新,降低局部模型更新的準確性。另外,聯(lián)邦學習需要本地設備上傳本地模型更新到中央服務器,當同時傳輸的設備模型過多時,會導致網絡過載。

    2)缺乏激勵機制:聯(lián)邦學習通常假定每個本地設備都自愿將數據資源貢獻給全局模型,但是這并不符合實際。參與者缺乏激勵機制,就會影響參與者的動力,甚至一些參與者不貢獻數據也獲得相應獎勵,導致了不公平的經濟補償。

    3)投毒攻擊:惡意用戶可能通過故意上傳精心計算的惡意本地訓練模型以影響全局模型訓練,有目的性地破壞機器學習的預測結果。這主要是因為聯(lián)邦學習缺乏審計惡意用戶或是惡意模型更新的能力。

    4)缺少隱私政策:盡管訓練數據資源存儲在本地設備中,聯(lián)邦學習框架也可能會導致訓練數據的隱私泄露。

    5)效率低下:由于聯(lián)邦學習需要客戶端與服務器進行通信,傳輸本地學習模型,進行多輪模型訓練迭代后進行局部或全局模型更新等,客戶端與服務器的通信效率以及模型訓練的效率也會影響聯(lián)邦學習的性能。

    3.2 重要問題的解決方案

    為了解決單點故障問題,BFL通常采用區(qū)塊鏈分布式節(jié)點代替聯(lián)邦學習中的中央服務器。很多研究中設計的結構框架都提到解決單點故障的問題[13,26-28]。例如,文獻[14]通過將區(qū)塊鏈與聯(lián)邦學習結合,實現(xiàn)了去中心化隱私保護,從而防止邊緣計算場景中的單點故障問題。在文獻[29]提出的方案中,區(qū)塊鏈可以選擇特定的工業(yè)4.0設備來領導一輪學習,從而代替原本的中央服務器,以有效防止單點故障。該方案在原本的聯(lián)邦學習架構中,引入礦工節(jié)點,由礦工節(jié)點進行本地設備的模型更新。每個本地設備計算并將本地模型更新上傳到相關礦工節(jié)點上,但并不把原始數據上傳給礦工節(jié)點。接著,通過共識機制記錄并驗證本地模型更新,聚合本地設備上傳的模型更新,并將更新區(qū)塊附加到區(qū)塊鏈,本地設備可以從區(qū)塊鏈中的區(qū)塊下載模型更新。此外,現(xiàn)有的BFL工作采用了多種不同類型的區(qū)塊鏈共識機制保障一致性,包括:工作證明(PoW),拜占庭容錯(Byzantine Fault Tolerance, BFT)[18],權益證明(Proof of Stake, PoS),代理權益證明(Delegated Proof of Stake, DPoS)[20],驗證證明(Proof of Verifying, PoV)[21],訓練質量證明(Proof of Training Quality, PoQ)[22],權利證明(Proof of Authority, PoA)[26],聯(lián)邦證明(Proof of Federation, PoF)[30]以及委員會共識(CCM)[1]。為了解決缺乏激勵機制問題,BFL通常利用區(qū)塊鏈技術構建面向期望行為的激勵機制,或面向異常行為的懲罰機制,從而激發(fā)本地用戶產生對全局模型更新作出貢獻的積極性。例如,文獻[13-15]中所提出的激勵機制包括數據獎勵和挖礦獎勵兩個方面,終端設備的數據獎勵從其相應的礦工那里接收,獎勵的數量與其數據樣本的大小成線性正比。當礦工完成模型聚合并生成區(qū)塊后,能夠從區(qū)塊鏈網絡中獲得挖礦獎勵,挖礦獎勵的數量和其所綁定的終端設備的聚合數據樣本數量成線性正比。文獻[1]提出了一種貢獻利益共享的激勵方式,在每一輪模型更新聚合后,管理者們會根據提交的模型更新的分數向相應的節(jié)點分配獎勵。文獻[26]中提出了基于聲譽的激勵機制,在上傳本地模型后,驗證者使用預先約定的方法計算聲譽,并消除不滿意的更新:如果提交的更新通過了驗證,該提交者的聲譽就會增加;反之聲譽會減小,最后根據提交者的聲譽,進行獎勵。文獻[24]根據在本地模型訓練中使用的客戶數據的大小和質心距離,設計了一種基于智能合約的激勵機制。在文獻[31]提出的方案中,誠實的訓練者可以根據訓練好的模型的貢獻獲得可觀的分區(qū)利潤,而惡意模型會被及時發(fā)現(xiàn)并受到嚴厲的懲罰,并通過評估訓練者的可靠性和貢獻進行獎勵。文獻[8]引入一種具有競爭力的模型更新方法,從而使worker的利潤最大化,實現(xiàn)激勵的目的。該方法也要求在某一輪更新中,所選擇的每個worker選擇前一輪worker提交的最優(yōu)模型更新,并用它們更新自己的模型,每一個worker的獎勵由下一輪的worker投票結果決定。

    為了解決投毒攻擊問題,BFL通常利用部署在區(qū)塊鏈中的共識機制,進行模型更新驗證,從而有效防止投毒攻擊。文獻[14]中提出用區(qū)塊鏈系統(tǒng)取代中央服務器,以利用區(qū)塊鏈不可篡改的特性消除投毒攻擊。文獻[21]中提出了驗證證明(PoV)共識機制,用來協(xié)作驗證預定義礦工之間的本地模型的更新質量。在該方案中,只有經過驗證的模型更新,才可以存儲在塊中,從而防止投毒攻擊。為了減少惡意的投毒模型更新,文獻[26]中提出了一種基于聲譽的眾包激勵機制。在這種機制下,如果用戶被檢測到是惡意更新,其更新模型會被拒絕,不僅在本輪更新中不能收獲獎勵,還會降低其聲譽,從而影響未來收益,得到懲罰。文獻[32]中提出了一種計分機制來判斷設備是否為會進行投毒攻擊的惡意設備,從而選擇參與模型更新的訓練者,以抵御投毒攻擊。文獻[30]中提出了一種multi?Krum(multiple?Krum)的共識機制,會拒絕與大多數模型更新方向相反的模型更新。在每一輪更新中,由多數投票選出驗證同行委員會,委員會使用multi?Krum拒絕惡意的模型更新,從而防止投毒攻擊。文獻[33]中提出了一種分散驗證機制來驗證局部模型更新,該機制對每個模型的有效性進行投票,通過投票結果來排除潛在的惡意設備。

    為了防止隱私泄露,一些BFL方案會設計額外的隱私政策。例如,文獻[34]中通過使用同態(tài)加密方法來保護訓練模型的隱私。文獻[22]將差分隱私集成到聯(lián)邦學習中來保護數據隱私。同樣,在文獻[30]中也使用了差分隱私來保護數據隱私安全,該文獻提出的系統(tǒng)還進一步使用了可驗證的秘密共享方案來進行模型安全聚合,從而保護個人隱私安全。文獻[35]通過結合區(qū)塊鏈和聯(lián)邦學習技術,設計面向輕量級網絡設備的入侵檢測算法,從而在共享數據的同時保護網絡用戶的數據隱私。文獻[36]利用區(qū)塊鏈去中心化、防篡改等特點,將數據記錄及其他重要信息存儲在區(qū)塊鏈上,而完整數據則加密存儲在分布式數據庫,從而實現(xiàn)用戶數據的安全存儲,防止用戶隱私數據泄露。

    最后,為了解決效率低下問題,BFL方案通常采用各類方法降低需要傳輸的數據量。文獻[14]中提出的方案將具體的相關數據保存在鏈外的分布式哈希表中,僅在區(qū)塊鏈上存儲指針,從而降低傳輸數據量。文獻[20]中提出了邊緣數據學習模型的異步聯(lián)邦學習方案,通過選擇參與節(jié)點,進一步提高聯(lián)邦學習的學效率。文獻[1]中提出了委員會共識機制(CCM),在將局部梯度附加到鏈上之前驗證局部梯度。在這種機制下,只有幾個節(jié)點來驗證模型更新,而無需向每個節(jié)點廣播并達成協(xié)議,從而提高模型驗證的效率。文獻[21]中提出了一種梯度壓縮方案,該方案能夠在不影響學習精度的情況下提高由區(qū)塊鏈授權的聯(lián)邦邊緣學習的通信效率。另外,文獻[37]中提出了一種在聯(lián)邦學習中添加超參數優(yōu)化和彈性權重合并的方法,從而提高模型訓練的精度和效率。

    表2對BFL解決的重要問題進行了總結。

    表2 部分BFL解決的問題

    4 BFL在不同領域中的應用

    目前,基于區(qū)塊鏈的聯(lián)邦學習(BFL)技術已經被應用到許多行業(yè)領域,本文對當前BFL技術在物聯(lián)網、工業(yè)物聯(lián)網、車聯(lián)網、醫(yī)療服務等多個領域的應用前景進行了總結。

    在物聯(lián)網領域,很多敏感信息會存儲在物聯(lián)網設備當中。文獻[22]構建了一個分布式多方數據共享的模型,并通過差分隱私進一步保證數據的真實性,使得設備可以安全準確地檢索數據。不同于常見的PoW共識算法,文獻[22]中使用了PoQ共識算法用于驗證訓練模型,以提升計算資源的利用效率。面向工業(yè)物聯(lián)網(IIoT)的故障檢測場景,文獻[24,38]中提出了一種名為質心距離加權聯(lián)邦平均的聯(lián)邦平均算法。此算法考慮到每個客戶端數據集的正類和負類之間的距離,能夠減少IIoT設備故障檢測中數據異構問題的影響。為了幫助家電制造商提高服務質量并優(yōu)化家電功能,文獻[26]中提出了分層眾包的聯(lián)邦學習系統(tǒng),利用區(qū)塊鏈技術防止惡意模型更新。為了使6G網絡更加安全高效地應用到物聯(lián)網中,文獻[39]中提出了區(qū)塊鏈和聯(lián)邦學習相結合的架構,結合移動邊緣計算和設備到設備(Device to Device, D2D)通信,應對6G網絡面臨的挑戰(zhàn)。

    BFL也能夠給醫(yī)療服務帶來巨大進步。通常來說,對于患者的遠程檢測或是某些人工智能輔助診斷都需要很多患者的疾病信息。然而,很多醫(yī)療信息中包含著患者的敏感信息,這些數據對某些攻擊者具有很高的內在價值。因此,BFL正被逐步應用到醫(yī)學領域。文獻[40]中為醫(yī)療保健聯(lián)盟提出了一種BFL方案,該方案建立了一套兼容以太坊生態(tài)系統(tǒng)的企業(yè)級區(qū)塊鏈組件,且集成了一系列隱私保護技術。文獻[40]中還提出了一種新的安全聚合協(xié)議,將其作為運行在AMD公司的可信硬件環(huán)境SEV(Secure Encrypted Virtualization)中,以保證隱私數據的安全。文獻[41]在醫(yī)療領域提出了基于區(qū)塊鏈的聯(lián)邦學習框架,將智能合約應用于聯(lián)邦學習算法的數據聚合過程中,以確保數據共享時的透明度和使用許可,并通過基于大量患者信息的訓練來預測糖尿病的風險。此外,文獻[42]中開發(fā)了基于BFL的面向醫(yī)療物聯(lián)網(Internet of Medical Things,IoMT)設備的輕量級安全和隱私算法。文獻[43]中不僅提出了可以應用于醫(yī)療物聯(lián)網的可信任的BFL框架,還設計了面向數據分類的新冠病毒應用程序,可以學習全球的新冠病毒診斷相關模型。該方案不僅包含可信的、防篡改的梯度挖掘方法和基于去中心化共識的聚合器,還為負責聚合的區(qū)塊鏈節(jié)點增加額外的安全性。文獻[44]中也提出了應用于醫(yī)療保健的BFL方案,其目標是實現(xiàn)患者醫(yī)療信息的保護和共享,并構建一個全球實時應用模型。另外,文獻[45]中提出了一個BFL框架,該框架可以使用最新數據,通過基于膠囊網絡的分割和分類掃描肺部CT圖像,在醫(yī)院之間共享數據來提高新冠病毒的識別率,同時實現(xiàn)患者的隱私保護。為了實現(xiàn)醫(yī)療健康數據的安全可靠共享和智能處理,文獻[46]提出了一種基于BFL的健康醫(yī)療共享體系。文獻[47]提出的方案首先利用區(qū)塊鏈構建虛擬數據中心,可以使各個數據擁有方上傳相關的醫(yī)學數據,該數據并不是原始數據,而是包含原始數據一些特征屬性的元數據。接著,在進行模型訓練和學習后,研究機構就可以獲取相關數據的研究結果,從而獲得高質量數據,并將數據應用到慢性疾病的預防管理中。

    BFL方案也已廣泛應用于車聯(lián)網(IoV),以實現(xiàn)數據共享和自動駕駛。Pokhrel等[15]提出了一種完全去中心化的的BFL框架,該框架實現(xiàn)了IoV中端到端的可信通信,并且通信延遲也在可接受范圍內,從而促進自動化車輛的有效通信。文獻[15]采用BFL驗證車載機器學習(on?Verhicle Machine Learning,oVML)的模型更新,提高了自動化車輛的性能和隱私安全性。Lu等[20]提出了一種BFL框架,由路邊單元維護的主許可區(qū)塊鏈和車輛運行的本地有向無環(huán)圖(Directed Acyclic Graph, DAG)組成,用于在IoV中進行高效數據共享。另外,文獻[20]中還提出了基于邊緣數據的異步聯(lián)邦學習方案,通過委托權益證明(DPoS)選擇優(yōu)化的參與節(jié)點,從而提高聯(lián)邦學習的效率。文獻[48]中提出了一種基于區(qū)塊鏈的分層聯(lián)邦學習算法,減少了存儲消耗,提高了訓練精度。所提出的基于BFL的知識共享方式,能夠提高車內網絡的可靠性和安全性,并利用學習證明(Proof of Learning, PoL)共識機制,實現(xiàn)了一種輕量級區(qū)塊鏈,避免了計算能力浪費。

    此外,BFL正被逐步推廣到其他多個領域。在內容緩存領域,文獻[49]提出了一種新的算法,即稱為CREAT(blockchain?assisted Compressed algoRithm of fEderated leArning applied for conTent caching)的采用區(qū)塊鏈技術輔助的聯(lián)邦學習算法,以預測緩存文件,并提高緩存命中率。在位置預測領域,文獻[50]提出的方案采用BFL在用戶的移動設備上進行本地培訓,從而在利用這些數據進行更好的位置預測的同時保護用戶的隱私。在移動眾感知領域,文獻[51]提出了SFAC(Secure Federated learning for UAV?assisted Crowdsensing)架構,一種用于無人機輔助移動眾感知(Mobile Crowd Sensing,MCS)的安全聯(lián)邦學習框架,并利用局部差分隱私保護數據提供方的隱私。另外,BFL也被應用到災難響應領域,文獻[52]中提出一種由區(qū)塊鏈授權的BFL架構,將在未來6G網絡中利用無人機上的無線移動模塊實現(xiàn)災難響應系統(tǒng)。此外,BFL也被應用到新聞推薦領域,文獻[53]中提出了一種基于聯(lián)邦學習的云邊端協(xié)同過濾算法推薦系統(tǒng)。該系統(tǒng)利用差分隱私技術向訓練模型中添加噪聲,進一步防止了數據隱私的暴露。

    表3對不同BFL在不同領域的應用進行了對比。

    表3 BFL的應用總結

    5 現(xiàn)存問題與未來展望

    區(qū)塊鏈的引入有助于解決傳統(tǒng)聯(lián)邦學習存在的部分重要問題。然而,區(qū)塊鏈與聯(lián)邦學習的結合也面臨區(qū)塊鏈本身帶來的問題,有待研究者不斷探索。

    首先,多數區(qū)塊鏈系統(tǒng)缺乏足夠強力的隱私保護手段,因而BFL框架需要引入差分隱私、同態(tài)加密等隱私保護技術,對放置在區(qū)塊鏈上的數據進行額外保護。例如,文獻[22,30]中均在模型提取的過程中使用差分隱私來加入噪聲,從而保護個體數據的隱私。文獻[30]還提出了一種可驗證的秘密共享方案來進行模型安全聚合。除此之外,文獻[34]中通過使用同態(tài)加密算法對訓練數據進行加密來保護訓練模型的隱私。對于現(xiàn)存BFL框架來說,如何更好地平衡隱私保護的開銷與訓練的準確性仍是亟待解決的關鍵問題。

    其次,盡管BFL框架可以通過合理設計共識機制對投毒攻擊進行一定程度的抵御,多數區(qū)塊鏈共識算法卻面臨本身的安全風險。例如,在最常見的PoW共識算法中,由于各個礦工接收區(qū)塊存在時延,很有可能發(fā)生分叉(forking)問題。文獻[13]通過引入ACK(ACKnowledge character),在等待時間內確定是否發(fā)生分叉,如發(fā)生分叉就重新進行挖礦,以此緩解該問題。近期的一些研究提出了新的共識算法,但是這些共識算法的安全性普遍缺乏理論證明和實際驗證。因此,如何構建可證明安全的BFL共識算法仍是亟待解決的關鍵問題。

    6 結語

    本文介紹了區(qū)塊鏈技術與聯(lián)邦學習技術相結合的基于區(qū)塊鏈的聯(lián)邦學習(BFL)研究領域發(fā)展現(xiàn)狀,通過廣泛調查研究現(xiàn)有BFL領域的相關科研文獻,對現(xiàn)有BFL工作在基礎架構、核心技術、應用前景三個層面進行了全面、完整的分析和對比工作,總結了區(qū)塊鏈與聯(lián)邦學習相結合的創(chuàng)新與應用方向。目前來看,BFL領域仍處于初期發(fā)展階段,多數研究工作僅通過引入區(qū)塊鏈技術解決聯(lián)邦學習的單點信任問題,缺乏在隱私、效率、公平性等方面的進一步探索。此外,多數研究工作仍停留在理論階段,且部分工作提出的BFL框架并不完整,導致這些工作提出的BFL技術在實際場景中的可用性可能存在不足。隨著區(qū)塊鏈和聯(lián)邦學習這兩個熱門領域的快速發(fā)展,作為其交叉領域的BFL能夠汲取這兩個領域的技術精華,進而交融出獨特的創(chuàng)新性技術反哺這兩個領域,建立一種可信的隱私保護學習范式,為多個應用領域的相關行業(yè)帶來巨大變革。

    [1] LI Y Z, CHEN C, LIU N, et al. A blockchain?based decentralized federated learning framework with committee consensus[J]. IEEE Network, 2021, 35(1): 234-241.

    [2] McMAHAN H B, MOORE E, RAMAGE D, et al. Communication? efficient learning of deep networks from decentralized data[C]// Proceedings of the 20th International Conference on Artificial Intelligence and Statistics. New York: JMLR.org, 2017:1273-1282.

    [3] KONE?NY J, McMAHAN H B, YU F X, et al. Federated learning: Strategies for improving communication efficiency[EB/OL]. (2017-10-30)[2021-07-13].https://arxiv.org/pdf/1610.05492.pdf.

    [4] LI L, FAN Y X, TSE M, et al. A review of applications in federated learning[J]. Computers and Industrial Engineering, 2020, 149: No.106854.

    [5] LI T, SAHU A K, TALWALKAR A, et al. Federated learning: challenges, methods, and future directions[J]. IEEE Signal Processing Magazine, 2020, 37(3):50-60.

    [6] NAKAMOTO S. Bitcoin: a peer?to?peer electronic cash system[EB/OL]. [2021-07-15].https://bitcoin.org/bitcoin.pdf.

    [7] ZHENG Z B, XIE S A, DAI H N, et al. Blockchain challenges and opportunities: a survey[J]. International Journal of Web and Grid Services, 2018, 14(4): 352-375.

    [8] TOYODA K, ZHANG A N. Mechanism design for an incentive? aware blockchain?enabled federated learning platform[C]// Proceedings of the 2019 IEEE International Conference on Big Data. Piscataway: IEEE, 2019: 395-403.

    [9] HOU D K, ZHANG J, MAN K L, et al. A systematic literature review of blockchain?based federated learning: architectures, applications and issues[C]// Proceedings of the 2nd Information Communication Technologies Conference. Piscataway: IEEE, 2021: 302-307.

    [10] WAHAB O A, MOURAD A, OTROK H, et al. Federated machine learning: survey, multi?level classification, desirable criteria and future directions in communication and networking systems[J]. IEEE Communications Surveys and Tutorials, 2021, 23(2): 1342-1397.

    [11] 李凌霄,袁莎,金銀玉. 基于區(qū)塊鏈的聯(lián)邦學習技術綜述[J]. 計算機應用研究, 2021, 38(11):3222-3230.(LI L X, YUAN S, JIN Y Y. Review of blockchain?based federated learning[J]. Application Research of Computers, 2021, 38(11):3222-3230.)

    [12] 邵俊,藺靜茹. 基于區(qū)塊鏈的聯(lián)邦學習應用研究[J]. 中國新通信, 2021, 23(5):124-125.(SHAO J, LIN J R. Application research of federated learning based on blockchain[J]. China New Telecommunications, 2021, 23(5):124-125.)

    [13] KIM H, PARK J, BENNIS M, et al. Blockchained on?device federated learning[J]. IEEE Communications Letters, 2020, 24(6):1279-1283.

    [14] QU Y Y, GAO L X, LUAN T H, et al. Decentralized privacy using blockchain?enabled federated learning in fog computing[J]. IEEE Internet of Things Journal, 2020, 7(6):5071-5083.

    [15] POKHREL S R, CHOI J. Federated learning with blockchain for autonomous vehicles: analysis and design challenges[J]. IEEE Transactions on Communications, 2020, 68(8): 4734-4746.

    [16] AWAN S, LI F J, LUO B, et al. Poster: a reliable and accountable privacy?preserving federated learning framework using the blockchain[C]// Proceedings of the 2019 ACM SIGSAC Conference on Computer and Communications Security. New York: ACM, 2019: 2561-2563.

    [17] HIEU N Q, ANH T T, LUONG N C, et al. Resource management for blockchain?enabled federated learning: a deep reinforcement learning approach[EB/OL]. (2020-05-01)[2021-08-20].https://arxiv.org/pdf/2004.04104.pdf.

    [18] MAJEED U, HONG C S. FLchain: federated learning via MEC? enabled blockchain network[C]// Proceedings of the 20th Asia? Pacific Network Operations and Management Symposium. Piscataway: IEEE, 2019: 1-4.

    [19] LI Z Y, LIU J, HAO J L, et al. CrowdSFL: a secure crowd computing framework based on blockchain and federated learning[J]. Electronics, 2020, 9(5): No.773.

    [20] LU Y L, HUANG X H, ZHANG K, et al. Blockchain empowered asynchronous federated learning for secure data sharing in internet of vehicles[J]. IEEE Transactions on Vehicular Technology, 2020, 69(4): 4298-4311.

    [21] KANG J W, XIONG Z H, JIANG C X, et al. Scalable and communication?efficient decentralized federated edge learning with multi?blockchain framework[C]// Proceedings of the 2020 International Conference on Blockchain and Trustworthy Systems, CCIS 1267. Singapore: Springer, 2020: 152-165.

    [22] LU Y L, HUANG X H, DAI Y Y, et al. Blockchain and federated learning for privacy?preserved data sharing in industrial IoT[J]. IEEE Transactions on Industrial Informatics, 2020, 16(6): 4177-4186.

    [23] UR REHAMN M H, SALAH K, DAMIANI E, et al. Towards blockchain?based reputation?aware federated learning[C]// Proceedings of the 2020 IEEE Conference on Computer Communications Workshops. Piscataway: IEEE, 2020:183-188.

    [24] ZHANG W S, LU Q H, YU Q Y, et al. Blockchain?based federated learning for failure detection in industrial IoT[J]. IEEE Internet of Things Journal, 2021, 8(7):5926-5937.

    [25] LU Y L, HUANG X H, ZHANG K, et al. Low?latency federated learning and blockchain for edge association in digital twin empowered 6G networks[J]. IEEE Transactions on Industrial Informatics, 2021, 17(7): 5098-5107.

    [26] ZHAO Y, ZHAO J, JIANG L S, et al. Privacy?preserving blockchain?based federated learning for IoT devices[J]. IEEE Internet of Things Journal, 2021, 8(3): 1817-1829.

    [27] MA C, LI J, SHI L, et al. When federated learning meets blockchain: a new distributed learning paradigm[J]. IEEE Computational Intelligence Magazine, 2022, 17(3): 26-33.

    [28] NAGAR A. Privacy?preserving blockchain based federated learning with differential data sharing[EB/OL]. (2019-12-10)[2021-08-21].https://arxiv.org/ftp/arxiv/papers/1912/1912.04859.pdf.

    [29] QU Y Y, POKHREL S R, GARG S, et al. A blockchained federated learning framework for cognitive computing in industry 4.0 networks[J]. IEEE Transactions on Industrial Informatics, 2021, 17(4): 2964-2973.

    [30] SHAYAN M, FUNG C, YOON C J M, et al. Biscotti: a blockchain system for private and secure federated learning[J]. IEEE Transactions on Parallel and Distributed Systems, 2021, 32(7): 1513-1525.

    [31] BAO X L, SU C, XIONG Y, et al. FLChain: a blockchain for auditable federated learning with trust and incentive[C]// Proceedings of the 5th International Conference on Big Data Computing and Communications. Piscataway: IEEE, 2019: 151-159.

    [32] ZHANG K S, HUANG H W, GUO S, et al. Blockchain?based participant selection for federated learning[C]// Proceedings of the 2020 International Conference on Blockchain and Trustworthy Systems, CCIS 1267. Singapore: Springer, 2020: 112-125.

    [33] CHEN H, ASIF S A, PARK J, et al. Robust blockchained federated learning with model validation and proof?of?stake inspired consensus[EB/OL]. (2021-01-09)[2021-08-23].https://arxiv.org/pdf/2101.03300.pdf.

    [34] MARTINEZ I, FRANCIS S, HAFID A S. Record and reward federated learning contributions with blockchain[C]// Proceedings of the 2019 International Conference on Cyber?Enabled Distributed Computing and Knowledge Discovery. Piscataway: IEEE, 2019: 50-57.

    [35] 任濤,金若辰,羅詠梅. 融合區(qū)塊鏈與聯(lián)邦學習的網絡入侵檢測算法[J]. 信息網絡安全, 2021, 21(7):27-34.(REN T, JIN R C, LUO Y M. Network intrusion detection algorithm integrating blockchain and federated learning[J]. Netinfo Security, 2021, 21(7):27-34.)

    [36] 馮濤,焦瀅,方君麗,等. 基于聯(lián)盟區(qū)塊鏈的醫(yī)療健康數據安全模型[J]. 計算機科學, 2020, 47(4): 305-311.(FENG T, JIAO Y, FANG J L, et al. Medical health data security model based on alliance blockchain[J]. Computer Science, 2020, 47(4): 305-311.)

    [37] KUMAR S, DUTTA S, CHATTURVEDI S, et al. Strategies for enhancing training and privacy in blockchain enabled federated learning[C]// Proceedings of the IEEE 6th International Conference on Multimedia Big Data. Piscataway: IEEE, 2020: 333-340.

    [38] 中國石油大學(華東). 一種基于區(qū)塊鏈和聯(lián)邦學習的物聯(lián)網設備故障檢測方法: 202011087722.7[P]. 2021-01-05.(China University of Petroleum (East China). A failure detection method for Internet of things device based on blockchain and federated learning: 202011087722.7[P]. 2021-01-05.)

    [39] 代玥玥,張科,張彥. 區(qū)塊鏈賦能6G[J]. 物聯(lián)網學報, 2020, 4(1):111-120.(DAI Y Y, ZHANG K, ZHANG Y. Blockchain empowered 6G[J]. Chinese Journal on Internet of Things, 2020, 4(1): 111-120.)

    [40] PASSERAT?PALMBACH J, FARNAN T, MILLER R, et al. A blockchain?orchestrated federated learning architecture for healthcare consortia[EB/OL]. (2019-10-12)[2021-08-24].https://arxiv.org/pdf/1910.12603.pdf.

    [41] EL RIFAI O, BIOTTEAU M, DE BOISSEZON X, et al. Blockchain?based federated learning in medicine[C]// Proceedings of the 2020 International Conference on Artificial Intelligence in Medicine, LNCS 12299. Cham: Springer, 2020: 214-224.

    [42] POLAP D, SRIVASTAVA G, JOLFAEI A, et al. Blockchain technology and neural networks for the Internet of Medical Things[C]// Proceedings of the 2020 IEEE Conference on Computer Communications Workshops. Piscataway: IEEE, 2020: 508-513.

    [43] RAHMAN M A, HOSSAIN M S, ISLAM M S, et al. Secure and provenance enhanced Internet of health things framework: a blockchain managed federated learning approach[J]. IEEE Access, 2020, 8: 205071-205087.

    [44] AICH S, SINAI N K, KUMAR S, et al. Protecting personal healthcare record using blockchain & federated learning technologies[C]// Proceedings of the 23rd International Conference on Advanced Communication Technology. Piscataway: IEEE, 2021: 109-112.

    [45] KUMAR R, KHAN A A, KUMAR J, et al. Blockchain?federated? learning and deep learning models for COVID-19 detection using CT imaging[J]. IEEE Sensors Journal, 2021, 21(14): 16301-16314.

    [46] 邢丹,徐琦,姚俊明. 邊緣計算環(huán)境下基于區(qū)塊鏈和聯(lián)邦學習的醫(yī)療健康數據共享模型[J]. 醫(yī)學信息學雜志, 2021, 42(2):33-37.(XING D, XU Q, YAO J M. Medical and health data sharing model based on blockchain and federated learning in the edge computing environment[J]. Journal of Medical Informatics, 2021, 42(2): 33-37.)

    [47] 李錚. 一種支持隱私與權益保護的數據聯(lián)合利用系統(tǒng)方案[J]. 信息與電腦, 2020, 32(14): 4-7.(LI Z. A scheme of data joint utilization system supporting privacy and rights protection[J]. China Computer & Communication, 2020, 32(14): 4-7.)

    [48] CHAI H Y, LENG S P, CHEN Y J, et al. A hierarchical blockchain?enabled federated learning algorithm for knowledge sharing in internet of vehicles[J]. IEEE Transactions on Intelligent Transportation Systems, 2021, 22(7): 3975-3986.

    [49] CUI L Z, SU X X, MING Z X, et al. CREAT: blockchain? assisted compression algorithm of federated learning for content caching in edge computing[J]. IEEE Internet of Things Journal, 2022, 9(16): 14151-14161.

    [50] HALIM S M, KHAN L, THURAISINGHAM B. Next?location prediction using federated learning on a blockchain[C]// Proceedings of the IEEE 2nd International Conference on Cognitive Machine Intelligence. Piscataway: IEEE, 2020: 244-250.

    [51] WANG Y T, SU Z, ZHANG N, et al. Learning in the air: secure federated learning for UAV?assisted crowdsensing[J]. IEEE Transactions on Network Science and Engineering, 2021, 8(2): 1055-1069.

    [52] POKHREL S R. Federated learning meets blockchain at 6G edge: a drone?assisted networking for disaster response[C]// Proceedings of the 2nd ACM MobiCom Workshop on Drone Assisted Wireless Communications for 5G and Beyond. New York: ACM, 2020: 49-54.

    [53] WANG Y C, TIAN Y Y, YIN X Y, et al. A trusted recommendation scheme for privacy protection based on federated learning[J]. CCF Transactions on Networking, 2020, 3(3/4):218-228.

    Research progress of blockchain?based federated learning

    SUN Rui1,2, LI Chao1,2*, WANG Wei1,2, TONG Endong1,2, WANG Jian1,2, LIU Jiqiang1,2

    (1(),100044,;2,,100044,)

    Federated Learning (FL) is a novel privacy?preserving learning paradigm that can keep users􀆳 data locally. With the progress of the research on FL, the shortcomings of FL, such as single point of failure and lack of credibility, are gradually gaining attention. In recent years, the blockchain technology originated from Bitcoin has achieved rapid development, which pioneers the construction of decentralized trust and provides a new possibility for the development of FL. The existing research works on blockchain?based FL were reviewed, the frameworks for blockchain?based FL were compared and analyzed. Then, key points of FL solved by the combination of blockchain and FL were discussed. Finally, the application prospects of blockchain?based FL were presented in various fields, such as Internet of Things (IoT), Industrial Internet of Things (IIoT), Internet of Vehicles (IoV) and medical services.

    Federated Learning (FL); blockchain; structural framework; fusion application; privacy protection

    This work is partially supported by National Key Research and Development Program of China (2020YFB2103802), Fundamental Research Funds for Central Universities (2019RC038).

    SUN Rui, born in 1998, M. S. candidate. Her research interests include blockchain.

    LI Chao, born in 1988, Ph. D., lecturer. His research interests include blockchain.

    WANG Wei, born in 1976, Ph. D., professor. His research interests include network and system, industrial Internet, blockchain.

    TONG Endong, born in 1986, Ph. D., lecturer. His research interests include service computing, artificial intelligence.

    WANG Jian, born in 1975, Ph. D., associate professor. His research interests include password application, blockchain, network security.

    LIU Jiqiang, born in 1973, Ph. D., professor. His research interests include trusted computing, privacy protection, Internet of Things.

    TP309.2

    A

    1001-9081(2022)11-3413-08

    10.11772/j.issn.1001-9081.2021111934

    2021?11?14;

    2021?12?08;

    2021?12?23。

    國家重點研發(fā)計劃項目(2020YFB2103802);中央高校基本科研業(yè)務費專項資金資助項目(2019RC038)。

    孫睿(1998—),女,吉林扶余人,碩士研究生,主要研究方向:區(qū)塊鏈;李超(1988—),男,甘肅天水人,講師,博士,CCF會員,主要研究方向:區(qū)塊鏈;王偉(1976—),男,湖北英山人,教授,博士,主要研究方向:網絡與系統(tǒng)、工業(yè)互聯(lián)網、區(qū)塊鏈;童恩棟(1986—),男,山東聊城人,講師,博士,主要研究方向:服務計算、人工智能;王?。?975—),男,山東煙臺人,副教授,博士,主要研究方向:密碼應用、區(qū)塊鏈、網絡安全;劉吉強(1973—),男,山東煙臺人,教授,博士,主要研究方向:可信計算、隱私保護、物聯(lián)網。

    猜你喜歡
    模型
    一半模型
    一種去中心化的域名服務本地化模型
    適用于BDS-3 PPP的隨機模型
    提煉模型 突破難點
    函數模型及應用
    p150Glued在帕金森病模型中的表達及分布
    函數模型及應用
    重要模型『一線三等角』
    重尾非線性自回歸模型自加權M-估計的漸近分布
    3D打印中的模型分割與打包
    国产一区二区在线av高清观看| 麻豆一二三区av精品| 国产亚洲精品久久久久久毛片| 少妇人妻一区二区三区视频| 最近中文字幕高清免费大全6 | 国产老妇女一区| 欧美bdsm另类| 亚洲aⅴ乱码一区二区在线播放| 成人性生交大片免费视频hd| 国产高清三级在线| 九九在线视频观看精品| 在线免费观看的www视频| 嫩草影院入口| 精品久久久久久成人av| 国产精品1区2区在线观看.| 亚洲 国产 在线| 国产av不卡久久| 亚洲成人精品中文字幕电影| 日本爱情动作片www.在线观看 | av在线亚洲专区| 精品人妻偷拍中文字幕| 有码 亚洲区| 国产精品嫩草影院av在线观看 | avwww免费| 国产精品精品国产色婷婷| 狂野欧美白嫩少妇大欣赏| 免费人成在线观看视频色| 免费观看在线日韩| 99久久中文字幕三级久久日本| 少妇猛男粗大的猛烈进出视频 | 精品人妻熟女av久视频| 亚洲av中文字字幕乱码综合| 99国产极品粉嫩在线观看| 波多野结衣高清作品| 一边摸一边抽搐一进一小说| 久久久精品大字幕| 不卡一级毛片| 亚洲无线在线观看| 可以在线观看的亚洲视频| 免费观看精品视频网站| 此物有八面人人有两片| 美女xxoo啪啪120秒动态图| xxxwww97欧美| 黄色配什么色好看| 色综合亚洲欧美另类图片| 中亚洲国语对白在线视频| 亚洲avbb在线观看| 亚洲精品一卡2卡三卡4卡5卡| 男人舔女人下体高潮全视频| 高清毛片免费观看视频网站| 99热精品在线国产| 99久久久亚洲精品蜜臀av| 免费高清视频大片| 国内精品久久久久久久电影| 亚洲欧美日韩东京热| 亚洲美女黄片视频| 亚洲aⅴ乱码一区二区在线播放| 91麻豆av在线| 中文亚洲av片在线观看爽| 99热网站在线观看| www.www免费av| 日韩欧美国产在线观看| 国产极品精品免费视频能看的| 88av欧美| 国产中年淑女户外野战色| 麻豆一二三区av精品| 此物有八面人人有两片| 女人十人毛片免费观看3o分钟| 极品教师在线视频| 亚洲专区国产一区二区| 国产av不卡久久| 久99久视频精品免费| 国产精品野战在线观看| 日韩欧美精品v在线| 一个人免费在线观看电影| 性欧美人与动物交配| 不卡视频在线观看欧美| 国产精品一及| 国产麻豆成人av免费视频| 精品久久久久久久人妻蜜臀av| 久久精品人妻少妇| 91在线精品国自产拍蜜月| 一卡2卡三卡四卡精品乱码亚洲| 又黄又爽又免费观看的视频| 久久久久久久久久黄片| 午夜精品久久久久久毛片777| 欧美最黄视频在线播放免费| 国产午夜精品久久久久久一区二区三区 | 国产亚洲精品久久久久久毛片| 美女高潮喷水抽搐中文字幕| 亚洲人与动物交配视频| 熟妇人妻久久中文字幕3abv| 色综合亚洲欧美另类图片| 日本一二三区视频观看| 国产精品电影一区二区三区| 欧美又色又爽又黄视频| 日日干狠狠操夜夜爽| 亚洲人成网站在线播| av福利片在线观看| 男女边吃奶边做爰视频| 蜜桃亚洲精品一区二区三区| 国产视频一区二区在线看| 久久久久久久久久黄片| 亚洲成a人片在线一区二区| 熟妇人妻久久中文字幕3abv| 91麻豆精品激情在线观看国产| 99久久精品国产国产毛片| 亚洲av成人精品一区久久| 成人av一区二区三区在线看| 在线观看美女被高潮喷水网站| 99久国产av精品| 网址你懂的国产日韩在线| 91麻豆精品激情在线观看国产| 亚洲av免费高清在线观看| 欧美潮喷喷水| 午夜福利18| 国产高清有码在线观看视频| 国产在线精品亚洲第一网站| 最好的美女福利视频网| 成人无遮挡网站| 国产在线精品亚洲第一网站| 嫩草影视91久久| 免费看美女性在线毛片视频| 老师上课跳d突然被开到最大视频| 国产一区二区三区视频了| 国产一区二区亚洲精品在线观看| 99热这里只有是精品在线观看| 欧美精品啪啪一区二区三区| 十八禁网站免费在线| 精品人妻熟女av久视频| 国产免费男女视频| 亚洲国产欧洲综合997久久,| 成人鲁丝片一二三区免费| 国产白丝娇喘喷水9色精品| 国产精品,欧美在线| 99在线视频只有这里精品首页| 色综合婷婷激情| 美女大奶头视频| 最近最新免费中文字幕在线| 国产成人a区在线观看| 在线观看av片永久免费下载| 男女之事视频高清在线观看| 99久久成人亚洲精品观看| 不卡一级毛片| 欧美成人性av电影在线观看| 午夜精品一区二区三区免费看| 91午夜精品亚洲一区二区三区 | .国产精品久久| 久久精品影院6| 亚洲成a人片在线一区二区| 少妇高潮的动态图| 精品久久久久久久久av| 国产精品永久免费网站| 精品人妻偷拍中文字幕| 天天躁日日操中文字幕| 可以在线观看毛片的网站| 人人妻人人澡欧美一区二区| 免费搜索国产男女视频| 大又大粗又爽又黄少妇毛片口| 99国产极品粉嫩在线观看| 女人十人毛片免费观看3o分钟| 国产 一区 欧美 日韩| 一进一出抽搐gif免费好疼| 听说在线观看完整版免费高清| 九九爱精品视频在线观看| 亚洲第一区二区三区不卡| a级毛片免费高清观看在线播放| 亚洲精品456在线播放app | 国产美女午夜福利| 国产精品98久久久久久宅男小说| 天堂√8在线中文| 夜夜夜夜夜久久久久| 亚洲经典国产精华液单| 少妇丰满av| av视频在线观看入口| 亚洲精品456在线播放app | 91在线精品国自产拍蜜月| 国产在线精品亚洲第一网站| 日本与韩国留学比较| 欧美成人一区二区免费高清观看| 日韩欧美在线乱码| 久久久久久久久久黄片| 欧美成人免费av一区二区三区| 亚洲国产高清在线一区二区三| 欧美性猛交黑人性爽| 亚洲av电影不卡..在线观看| 亚洲精品亚洲一区二区| a在线观看视频网站| 少妇的逼水好多| 草草在线视频免费看| 男人和女人高潮做爰伦理| 欧美日本视频| 变态另类丝袜制服| 亚洲图色成人| 97碰自拍视频| 男插女下体视频免费在线播放| 国产精品不卡视频一区二区| 久久精品夜夜夜夜夜久久蜜豆| 久99久视频精品免费| 伦理电影大哥的女人| 波多野结衣高清作品| 久久精品国产99精品国产亚洲性色| 日本成人三级电影网站| 免费观看人在逋| 国产高清三级在线| 村上凉子中文字幕在线| 亚洲国产色片| 国产精品久久久久久久电影| 两个人视频免费观看高清| 国内精品久久久久精免费| 亚洲美女黄片视频| 亚洲人与动物交配视频| 欧美区成人在线视频| 淫秽高清视频在线观看| 日韩大尺度精品在线看网址| 久久精品国产亚洲av香蕉五月| 久99久视频精品免费| 老熟妇乱子伦视频在线观看| 成年女人永久免费观看视频| 观看免费一级毛片| 少妇丰满av| 国产成人aa在线观看| 少妇高潮的动态图| 国国产精品蜜臀av免费| 国产又黄又爽又无遮挡在线| 3wmmmm亚洲av在线观看| 国产成人av教育| 亚洲精品一卡2卡三卡4卡5卡| 国产精品爽爽va在线观看网站| 精品久久久久久久久久久久久| 日韩欧美国产一区二区入口| 精品一区二区三区视频在线| 欧美区成人在线视频| av在线天堂中文字幕| 久久国产精品人妻蜜桃| 亚洲美女视频黄频| 麻豆精品久久久久久蜜桃| 国产熟女欧美一区二区| 天天躁日日操中文字幕| 天天一区二区日本电影三级| or卡值多少钱| 国产精品野战在线观看| 精品午夜福利在线看| 亚洲欧美精品综合久久99| 成人毛片a级毛片在线播放| 天天躁日日操中文字幕| 欧美日韩瑟瑟在线播放| 欧美一区二区国产精品久久精品| 久久久精品大字幕| 99久久中文字幕三级久久日本| 免费看av在线观看网站| 日韩人妻高清精品专区| 观看美女的网站| 日韩欧美在线二视频| 老熟妇仑乱视频hdxx| 国产一区二区在线av高清观看| 一级av片app| 22中文网久久字幕| 亚洲欧美清纯卡通| 小说图片视频综合网站| 夜夜爽天天搞| 欧美日韩瑟瑟在线播放| 一个人免费在线观看电影| 美女被艹到高潮喷水动态| 国产精品久久久久久精品电影| 99热这里只有是精品在线观看| 日本黄大片高清| 嫩草影院入口| 白带黄色成豆腐渣| 深爱激情五月婷婷| 午夜视频国产福利| 亚洲av成人av| 久久国产精品人妻蜜桃| 一a级毛片在线观看| 午夜激情福利司机影院| 国产女主播在线喷水免费视频网站 | a在线观看视频网站| 日本熟妇午夜| 国产精品爽爽va在线观看网站| 又黄又爽又刺激的免费视频.| 婷婷色综合大香蕉| 国产69精品久久久久777片| 国产精品一区二区性色av| 午夜福利在线观看吧| 伦精品一区二区三区| 色哟哟·www| 国产 一区 欧美 日韩| 成人国产麻豆网| 欧美3d第一页| 免费看a级黄色片| 别揉我奶头~嗯~啊~动态视频| av福利片在线观看| 最近最新免费中文字幕在线| 国语自产精品视频在线第100页| 99九九线精品视频在线观看视频| 18+在线观看网站| 国产欧美日韩精品亚洲av| 国产在视频线在精品| 一a级毛片在线观看| 夜夜夜夜夜久久久久| 久久热精品热| 18禁黄网站禁片午夜丰满| 动漫黄色视频在线观看| 高清毛片免费观看视频网站| 亚洲人成网站在线播放欧美日韩| 性色avwww在线观看| 日韩精品中文字幕看吧| 久久久久久久精品吃奶| 欧美高清成人免费视频www| 久久精品影院6| 老女人水多毛片| 国产伦精品一区二区三区视频9| 中出人妻视频一区二区| 日本色播在线视频| 色视频www国产| 大型黄色视频在线免费观看| 乱系列少妇在线播放| 午夜福利在线观看免费完整高清在 | av国产免费在线观看| 午夜爱爱视频在线播放| ponron亚洲| 毛片女人毛片| 国产精品久久久久久久电影| 免费观看的影片在线观看| 变态另类成人亚洲欧美熟女| 中亚洲国语对白在线视频| 国产精品一区二区三区四区免费观看 | 久久亚洲真实| 一个人看的www免费观看视频| 午夜亚洲福利在线播放| 日韩欧美在线乱码| 极品教师在线免费播放| 欧美人与善性xxx| 狂野欧美激情性xxxx在线观看| 日日摸夜夜添夜夜添小说| 亚洲18禁久久av| 亚洲国产精品久久男人天堂| 久久精品夜夜夜夜夜久久蜜豆| 婷婷丁香在线五月| 男女下面进入的视频免费午夜| 一级av片app| 久久人人精品亚洲av| 热99re8久久精品国产| 亚洲成人久久性| 日韩亚洲欧美综合| 麻豆久久精品国产亚洲av| 日本一二三区视频观看| 色哟哟哟哟哟哟| 亚洲四区av| 欧美三级亚洲精品| 男人和女人高潮做爰伦理| 日本-黄色视频高清免费观看| 最后的刺客免费高清国语| 成年版毛片免费区| 中国美女看黄片| 亚洲色图av天堂| 欧美激情在线99| 人妻制服诱惑在线中文字幕| 久久亚洲真实| 国产亚洲精品久久久久久毛片| 成人无遮挡网站| 在线a可以看的网站| 午夜福利在线观看吧| 免费av不卡在线播放| 亚洲五月天丁香| 老熟妇乱子伦视频在线观看| 国模一区二区三区四区视频| 动漫黄色视频在线观看| 成人av在线播放网站| 免费在线观看影片大全网站| 51国产日韩欧美| 亚洲 国产 在线| 热99re8久久精品国产| 欧美又色又爽又黄视频| 又爽又黄无遮挡网站| 久久国产乱子免费精品| 欧美另类亚洲清纯唯美| 国产伦精品一区二区三区视频9| 亚洲国产精品久久男人天堂| 国产精品,欧美在线| av在线老鸭窝| 九色成人免费人妻av| 国产欧美日韩精品一区二区| 亚洲狠狠婷婷综合久久图片| 久久久久久久久久成人| 99国产精品一区二区蜜桃av| av福利片在线观看| 日本欧美国产在线视频| 欧美一区二区精品小视频在线| 日韩亚洲欧美综合| 成人国产一区最新在线观看| 夜夜夜夜夜久久久久| 精品久久久久久,| 精品午夜福利视频在线观看一区| 日本 av在线| 在线播放国产精品三级| 美女高潮喷水抽搐中文字幕| 免费一级毛片在线播放高清视频| 男女边吃奶边做爰视频| 色5月婷婷丁香| 一个人免费在线观看电影| 天天一区二区日本电影三级| 精品久久久久久久末码| 欧美日韩黄片免| 别揉我奶头~嗯~啊~动态视频| 日韩人妻高清精品专区| 免费看av在线观看网站| 亚洲美女视频黄频| 精品一区二区三区av网在线观看| 国产一区二区激情短视频| 亚洲精华国产精华液的使用体验 | 亚洲综合色惰| 十八禁国产超污无遮挡网站| 深夜精品福利| 国产在线男女| 亚洲av第一区精品v没综合| 黄色一级大片看看| 一本久久中文字幕| 国产高清视频在线播放一区| 非洲黑人性xxxx精品又粗又长| 久久人人精品亚洲av| 97超级碰碰碰精品色视频在线观看| 2021天堂中文幕一二区在线观| 桃色一区二区三区在线观看| 精品国产三级普通话版| 日本一本二区三区精品| 淫秽高清视频在线观看| 久久久久国产精品人妻aⅴ院| 毛片一级片免费看久久久久 | 国产高清有码在线观看视频| 女同久久另类99精品国产91| 亚洲最大成人手机在线| 在线观看av片永久免费下载| 久久精品国产99精品国产亚洲性色| 男人舔女人下体高潮全视频| 十八禁国产超污无遮挡网站| 免费高清视频大片| 欧美高清成人免费视频www| 日本免费a在线| 久久精品国产亚洲av涩爱 | a级毛片免费高清观看在线播放| 国产午夜精品论理片| 超碰av人人做人人爽久久| 日本熟妇午夜| 嫁个100分男人电影在线观看| 免费在线观看影片大全网站| 亚洲人成伊人成综合网2020| 男女下面进入的视频免费午夜| 乱码一卡2卡4卡精品| 哪里可以看免费的av片| 欧美+日韩+精品| 一个人观看的视频www高清免费观看| 久久亚洲精品不卡| 非洲黑人性xxxx精品又粗又长| 欧美+亚洲+日韩+国产| 一级av片app| 黄色女人牲交| 精品久久久噜噜| 狂野欧美激情性xxxx在线观看| 不卡视频在线观看欧美| 桃红色精品国产亚洲av| 97碰自拍视频| 一卡2卡三卡四卡精品乱码亚洲| 国产私拍福利视频在线观看| 少妇的逼水好多| 日日干狠狠操夜夜爽| 国产精品亚洲一级av第二区| 熟女人妻精品中文字幕| 欧美日韩精品成人综合77777| 老师上课跳d突然被开到最大视频| 亚洲内射少妇av| 搞女人的毛片| 春色校园在线视频观看| 精品人妻1区二区| 亚洲avbb在线观看| 国产av不卡久久| 国产成人一区二区在线| 日韩欧美精品免费久久| 一进一出抽搐gif免费好疼| 成人鲁丝片一二三区免费| 国产蜜桃级精品一区二区三区| 日韩大尺度精品在线看网址| 制服丝袜大香蕉在线| 又紧又爽又黄一区二区| 乱系列少妇在线播放| 美女免费视频网站| 国产成人a区在线观看| 国产精品自产拍在线观看55亚洲| 亚洲av五月六月丁香网| 麻豆国产av国片精品| 2021天堂中文幕一二区在线观| 久久精品国产亚洲av天美| 哪里可以看免费的av片| 少妇熟女aⅴ在线视频| 性色avwww在线观看| 欧美+亚洲+日韩+国产| 色av中文字幕| 免费高清视频大片| 亚洲最大成人中文| 真人一进一出gif抽搐免费| 色在线成人网| 午夜久久久久精精品| a级毛片a级免费在线| 成人国产综合亚洲| 精品一区二区三区视频在线| av国产免费在线观看| 精品久久久久久久久久免费视频| 极品教师在线免费播放| 国产精品亚洲一级av第二区| 久久久久性生活片| 久久久久久伊人网av| 波多野结衣巨乳人妻| 丝袜美腿在线中文| 在线观看av片永久免费下载| 九九爱精品视频在线观看| 少妇的逼好多水| 国内精品一区二区在线观看| 亚洲欧美日韩高清专用| 亚洲熟妇中文字幕五十中出| 高清在线国产一区| 久久精品国产清高在天天线| 真实男女啪啪啪动态图| 亚洲av美国av| 在线免费观看不下载黄p国产 | 亚洲国产色片| 成人毛片a级毛片在线播放| 狂野欧美白嫩少妇大欣赏| 国产乱人视频| 最近中文字幕高清免费大全6 | 国内久久婷婷六月综合欲色啪| 他把我摸到了高潮在线观看| 久久人妻av系列| 少妇的逼好多水| 天堂av国产一区二区熟女人妻| 欧美日韩中文字幕国产精品一区二区三区| 午夜视频国产福利| 国产一区二区三区在线臀色熟女| 成人精品一区二区免费| 噜噜噜噜噜久久久久久91| 中文资源天堂在线| a级毛片免费高清观看在线播放| 91在线观看av| 搡老妇女老女人老熟妇| 日韩精品中文字幕看吧| 色精品久久人妻99蜜桃| 熟女电影av网| 国内精品宾馆在线| 欧美一区二区精品小视频在线| 午夜激情福利司机影院| 国产精品无大码| 99热这里只有精品一区| 香蕉av资源在线| 欧美一级a爱片免费观看看| 国产黄a三级三级三级人| netflix在线观看网站| 美女xxoo啪啪120秒动态图| 亚洲欧美日韩东京热| 亚洲五月天丁香| 亚洲第一区二区三区不卡| 人妻少妇偷人精品九色| 婷婷精品国产亚洲av在线| 欧美中文日本在线观看视频| 日本 av在线| 在线国产一区二区在线| 国产成人影院久久av| 国产精品无大码| 联通29元200g的流量卡| 性插视频无遮挡在线免费观看| 午夜福利在线在线| 久久久久精品国产欧美久久久| 听说在线观看完整版免费高清| av.在线天堂| 特大巨黑吊av在线直播| 有码 亚洲区| 在线观看66精品国产| 国产视频内射| 十八禁网站免费在线| 精品福利观看| 日本撒尿小便嘘嘘汇集6| 亚洲18禁久久av| 亚洲av五月六月丁香网| 97超级碰碰碰精品色视频在线观看| 亚洲精品色激情综合| 国内精品一区二区在线观看| 午夜激情欧美在线| 国产精品免费一区二区三区在线| 两性午夜刺激爽爽歪歪视频在线观看| 午夜爱爱视频在线播放| 久久久久久伊人网av| 熟妇人妻久久中文字幕3abv| 午夜爱爱视频在线播放| 日日撸夜夜添| 成人高潮视频无遮挡免费网站| bbb黄色大片| 国产91精品成人一区二区三区| 免费看光身美女| 无人区码免费观看不卡| 丰满人妻一区二区三区视频av| 看免费成人av毛片| 国内精品久久久久久久电影| 国产高清视频在线观看网站| 国产白丝娇喘喷水9色精品| 国产亚洲欧美98| 国产成人福利小说| 99视频精品全部免费 在线| 如何舔出高潮| or卡值多少钱| 人妻夜夜爽99麻豆av| 直男gayav资源| 天美传媒精品一区二区| 在线观看av片永久免费下载| 九色国产91popny在线| 丝袜美腿在线中文| 欧美日本亚洲视频在线播放| 联通29元200g的流量卡|