基于聯(lián)邦學(xué)習(xí)的工業(yè)互聯(lián)網(wǎng)平臺(tái)研究

張陸洋， 連 瑾， 袁雅芬

（信通院工業(yè)互聯(lián)網(wǎng)創(chuàng)新中心（重慶）有限公司， 重慶 400000）

0 引言

工業(yè)互聯(lián)網(wǎng)中的數(shù)據(jù)分散在不同設(shè)備、工廠、企業(yè)或地域，具有異構(gòu)性和動(dòng)態(tài)性。傳統(tǒng)中心化模型訓(xùn)練方法要將大量數(shù)據(jù)傳輸?shù)皆贫嘶蛑醒敕?wù)器，面臨傳輸開(kāi)銷(xiāo)、安全風(fēng)險(xiǎn)和法規(guī)問(wèn)題。這在工業(yè)應(yīng)用中尤為突出，數(shù)據(jù)分布難集中，且工業(yè)數(shù)據(jù)敏感。因此，對(duì)數(shù)據(jù)安全和隱私保護(hù)的需求限制了傳統(tǒng)方法。聯(lián)邦學(xué)習(xí)是解決方案之一。

近年來(lái)，聯(lián)邦學(xué)習(xí)逐漸成為應(yīng)對(duì)工業(yè)互聯(lián)網(wǎng)平臺(tái)數(shù)據(jù)安全與隱私問(wèn)題的有效方法。在工業(yè)平臺(tái)中，傳統(tǒng)的集中式數(shù)據(jù)建模方法存在明顯問(wèn)題。首先，需要傳輸大量敏感數(shù)據(jù)至中央服務(wù)器進(jìn)行模型訓(xùn)練，可能導(dǎo)致信息泄露風(fēng)險(xiǎn)；第二，這樣的傳輸造成巨大通信開(kāi)銷(xiāo)，尤其涉及眾多設(shè)備和工廠；第三，分布于各設(shè)備、工廠和地點(diǎn)的數(shù)據(jù)難以集中分析；最后，依賴(lài)中央服務(wù)器存在單點(diǎn)故障風(fēng)險(xiǎn)，可能導(dǎo)致生產(chǎn)中斷和數(shù)據(jù)丟失；最后，受限于傳輸和處理時(shí)間，集中式模型難以滿(mǎn)足實(shí)時(shí)更新和調(diào)整需求。

聯(lián)邦學(xué)習(xí)與傳統(tǒng)模型不同，它在分布式邊緣設(shè)備（客戶(hù)端）上完成協(xié)作訓(xùn)練。在這種模式下，原始數(shù)據(jù)不需傳輸至中心節(jié)點(diǎn)。模型在各設(shè)備本地訓(xùn)練，中心服務(wù)器通過(guò)聯(lián)邦平均（FedAvg）[1]算法聚合本地訓(xùn)練的模型參數(shù)，更新全局模型。經(jīng)過(guò)多輪迭代，獲得高精度的ML 模型，以提供準(zhǔn)確預(yù)測(cè)或識(shí)別服務(wù)。這種方式允許節(jié)點(diǎn)間地理分布的協(xié)同訓(xùn)練，保護(hù)數(shù)據(jù)隱私[2]。近年來(lái)，聯(lián)邦學(xué)習(xí)在無(wú)線邊緣網(wǎng)絡(luò)中得到了深入研究和廣泛應(yīng)用，得益于其內(nèi)生安全的特性[3-5]。對(duì)工業(yè)互聯(lián)網(wǎng)而言，它提高數(shù)據(jù)利用率，為智能模型訓(xùn)練提供解決方案。

因此，研究聯(lián)邦學(xué)習(xí)在工業(yè)互聯(lián)網(wǎng)中的應(yīng)用，探討如何在保護(hù)數(shù)據(jù)安全和隱私的前提下實(shí)現(xiàn)數(shù)據(jù)共享。通過(guò)深入研究，為工業(yè)領(lǐng)域提供更安全、更隱私的數(shù)據(jù)分析與建模解決方案，推動(dòng)工業(yè)互聯(lián)網(wǎng)向智能化轉(zhuǎn)型。

1 國(guó)內(nèi)外研究現(xiàn)狀

聯(lián)邦學(xué)習(xí)是多個(gè)參與方合作訓(xùn)練模型的方式，保留數(shù)據(jù)在本地，同時(shí)確保數(shù)據(jù)控制權(quán)[4]。在工業(yè)互聯(lián)網(wǎng)中有廣泛應(yīng)用，如智能制造、智能電網(wǎng)和智能交通。但也存在隱私和安全方面的挑戰(zhàn)，如數(shù)據(jù)或參數(shù)泄露、來(lái)自不可信方的攻擊、不同參與方數(shù)據(jù)異構(gòu)性等。

一方面，學(xué)者們致力于探索如何選擇參與聯(lián)邦學(xué)習(xí)的設(shè)備以及優(yōu)化協(xié)同訓(xùn)練過(guò)程[5]。通過(guò)增加每個(gè)聯(lián)邦學(xué)習(xí)輪次中參與設(shè)備的數(shù)量，可以提高模型的收斂速度。一些研究者通過(guò)利用無(wú)線多址信道的疊加特性，致力于最大化每輪聯(lián)邦學(xué)習(xí)中參與設(shè)備的數(shù)量[6]。然而，大量參與的設(shè)備會(huì)導(dǎo)致通信成本過(guò)高，因?yàn)樾枰獋鬏斶^(guò)多的參數(shù)。因此，學(xué)者研究算法和優(yōu)化方法，靈活選擇設(shè)備，提升聯(lián)邦學(xué)習(xí)的收斂速度[6]。

另一方面，研究關(guān)注數(shù)據(jù)隱私保護(hù)機(jī)制，確保模型訓(xùn)練不泄露敏感信息[7-8]。包括加密、差分隱私和去中心化聚合等。例如，一些研究者提出了隱私保護(hù)的分布式學(xué)習(xí)系統(tǒng)，參與者選擇性共享梯度，保護(hù)數(shù)據(jù)隱私[8]。然而，這種方法在面對(duì)主動(dòng)攻擊者時(shí)可能存在安全性問(wèn)題。因此，其他研究者提出了基于安全多方計(jì)算和同態(tài)加密等方案，以支持聯(lián)邦學(xué)習(xí)中的安全聚合[9]。然而，這些方案通常需要在每次聚合中進(jìn)行多次通信，增加了通信負(fù)擔(dān)[10-11]。近期的一些工作提出了一種委托解密操作給參與者的方法，以減輕通信負(fù)擔(dān)。然而，這些方案仍然面臨著密鑰共享等隱私的問(wèn)題。因此，仍需設(shè)計(jì)非交互且隱私保護(hù)的聯(lián)邦學(xué)習(xí)，防止局部梯度和共享參數(shù)泄露，滿(mǎn)足工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)安全和隱私需求。

2 整體架構(gòu)設(shè)計(jì)與應(yīng)用場(chǎng)景

通過(guò)文獻(xiàn)研究、對(duì)比分析、模型推演等方法對(duì)聯(lián)邦學(xué)習(xí)在工業(yè)互聯(lián)網(wǎng)平臺(tái)上的應(yīng)用進(jìn)行探索分析，重點(diǎn)對(duì)“多邊”協(xié)同訓(xùn)練的三層網(wǎng)絡(luò)架構(gòu)的聯(lián)邦學(xué)習(xí)模型、模型在工業(yè)互聯(lián)網(wǎng)平臺(tái)上的部署進(jìn)行研究設(shè)計(jì)。

2.1 聯(lián)邦學(xué)習(xí)機(jī)制設(shè)計(jì)

聯(lián)邦學(xué)習(xí)（Federated Learning，F(xiàn)ELE）是一種打破數(shù)據(jù)孤島、釋放AI 應(yīng)用潛能的分布式機(jī)器學(xué)習(xí)技術(shù)，能夠讓聯(lián)邦學(xué)習(xí)各參與方在不披露底層數(shù)據(jù)和底層數(shù)據(jù)加密形態(tài)的前提下，通過(guò)交換加密的機(jī)器學(xué)習(xí)中間結(jié)果，實(shí)現(xiàn)聯(lián)合建模。為在分布式工業(yè)互聯(lián)網(wǎng)中實(shí)現(xiàn)高效的聯(lián)邦學(xué)習(xí)，提出了一種“多邊”協(xié)同訓(xùn)練的三層網(wǎng)絡(luò)架構(gòu)。該架構(gòu)由端層、邊緣層和云層組成，每層分別具有特定的功能屬性，如圖1 所示。

圖1 工業(yè)互聯(lián)網(wǎng)中聯(lián)邦學(xué)習(xí)運(yùn)行機(jī)制

端層即聯(lián)邦學(xué)習(xí)中參與的工業(yè)互聯(lián)網(wǎng)節(jié)點(diǎn)。這些節(jié)點(diǎn)分布在世界各地的工廠、車(chē)間和生產(chǎn)線中。這些節(jié)點(diǎn)通常由本地設(shè)備組成，可以是工業(yè)智能設(shè)備（如AGV、工業(yè)機(jī)器人）和感知監(jiān)控硬件（如智能網(wǎng)關(guān)、傳感器），或其他具有計(jì)算能力的終端。每個(gè)本地設(shè)備都管理自己的數(shù)據(jù)和模型，在指定的算法下進(jìn)行本地訓(xùn)練。

邊緣層是指位于網(wǎng)絡(luò)邊緣的本地設(shè)備，如邊緣計(jì)算節(jié)點(diǎn)、邊緣服務(wù)器等。它們?cè)诘乩砩线B接不同基站，形成邊緣算力池，為工業(yè)互聯(lián)網(wǎng)節(jié)點(diǎn)提供數(shù)據(jù)處理、轉(zhuǎn)發(fā)和存儲(chǔ)服務(wù)。這些設(shè)備通常位于接近用戶(hù)或數(shù)據(jù)源的位置，具備一定的計(jì)算和存儲(chǔ)能力。每個(gè)基站都配備了邊緣服務(wù)器，用于執(zhí)行模型參數(shù)聚合，稱(chēng)為邊緣聚合。此外，在邊緣服務(wù)器上安裝了邊緣控制器，以管理覆蓋區(qū)域的網(wǎng)絡(luò)資源，支持聯(lián)邦學(xué)習(xí)的協(xié)作運(yùn)行。通過(guò)在邊緣層設(shè)備上進(jìn)行模型訓(xùn)練，可以減少數(shù)據(jù)傳輸和延遲，提高響應(yīng)速度并增強(qiáng)隱私保護(hù)。

云層在聯(lián)邦學(xué)習(xí)中是指參與的中央服務(wù)器或云端平臺(tái)。在聯(lián)邦學(xué)習(xí)中，云層的作用是協(xié)調(diào)和管理，負(fù)責(zé)組織、控制和模型聚合的整個(gè)過(guò)程。云層基于聯(lián)邦學(xué)習(xí)的工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)隱私保護(hù)方法。模型聚合是指在多次邊緣聚合后進(jìn)行的全局參數(shù)聚合，旨在實(shí)現(xiàn)全局模型參數(shù)的更新。云層在聯(lián)邦學(xué)習(xí)中具有以下主要功能：協(xié)調(diào)與通信，云層與本地設(shè)備進(jìn)行通信，收集各個(gè)本地設(shè)備訓(xùn)練的模型更新，并向本地設(shè)備發(fā)送全局模型參數(shù)和訓(xùn)練指令。全局模型聚合，云層接收來(lái)自本地設(shè)備的模型更新，使用一定的聚合算法（如加權(quán)平均）將這些更新合并成全局模型。在云端執(zhí)行模型參數(shù)聚合稱(chēng)為云聚合。此聚合過(guò)程旨在提取各本地設(shè)備共享的關(guān)鍵特征，將其反映在全局模型中。算法優(yōu)化，云層也可參與模型更新的調(diào)整與優(yōu)化。例如，微調(diào)或優(yōu)化全局模型，以提升其性能。模型發(fā)布與應(yīng)用，云層將訓(xùn)練完成的全局模型發(fā)布給用戶(hù)或應(yīng)用程序。用戶(hù)通過(guò)云層訪問(wèn)和應(yīng)用這些模型，獲得聯(lián)邦學(xué)習(xí)的優(yōu)勢(shì)，同時(shí)保護(hù)數(shù)據(jù)的隱私和安全。

聯(lián)邦學(xué)習(xí)采用多邊協(xié)同的方式進(jìn)行，涉及云端服務(wù)器、邊緣端服務(wù)器以及工業(yè)設(shè)備。具體步驟如下：

1）在端節(jié)點(diǎn)上使用分布式機(jī)器學(xué)習(xí)方法進(jìn)行模型訓(xùn)練，得到本地訓(xùn)練模型。

2）將本地訓(xùn)練模型上傳到邊緣服務(wù)器或云服務(wù)器進(jìn)行參數(shù)交替聚合。

3）參數(shù)服務(wù)器將聚合后的全局模型（初始模型）發(fā)送回客戶(hù)端。

4）客戶(hù)端使用本地?cái)?shù)據(jù)更新模型，并將新模型發(fā)送回參數(shù)服務(wù)器。

5）參數(shù)服務(wù)器收集部分客戶(hù)端模型，將其聚合為下一次迭代的全局模型。

與傳統(tǒng)模型不同，聯(lián)邦學(xué)習(xí)在端節(jié)點(diǎn)進(jìn)行本地模型訓(xùn)練，邊緣服務(wù)器或云服務(wù)器進(jìn)行參數(shù)交替聚合。只有少量模型參數(shù)在邊緣和云之間傳輸，避免了上傳原始數(shù)據(jù)到中心節(jié)點(diǎn)，節(jié)省了帶寬資源開(kāi)銷(xiāo)，同時(shí)滿(mǎn)足了工業(yè)數(shù)據(jù)隱私保護(hù)需求。

2.2 架構(gòu)設(shè)計(jì)

2.2.1 物理架構(gòu)

物理架構(gòu)是指基于特定平臺(tái)或系統(tǒng)的硬件組成和布局方案。包括服務(wù)器物理架構(gòu)、數(shù)據(jù)中心物理架構(gòu)、嵌入式系統(tǒng)物理架構(gòu)、云計(jì)算物理架構(gòu)四大方面。如圖2 所示。

圖2 物理架構(gòu)

1）服務(wù)器：其包含服務(wù)器硬件組件，如處理器、內(nèi)存、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)接口等，并采用如以太網(wǎng)、光纖通信等將服務(wù)器相互連接。

2）數(shù)據(jù)中心：其包含數(shù)據(jù)中心內(nèi)的各種硬件設(shè)備，包括服務(wù)器、網(wǎng)絡(luò)交換機(jī)、存儲(chǔ)設(shè)備、冷卻系統(tǒng)等。在數(shù)據(jù)中心物理架構(gòu)中，通常會(huì)考慮高可用性、容錯(cuò)性和可擴(kuò)展性等因素。

3）嵌入式系統(tǒng)：其包含嵌入式設(shè)備的處理器、內(nèi)存、存儲(chǔ)器、傳感器、顯示屏等硬件組件，并考慮功耗、尺寸、散熱等方面的特殊需求。

4）云計(jì)算：其包括云數(shù)據(jù)中心的服務(wù)器、網(wǎng)絡(luò)設(shè)備、存儲(chǔ)設(shè)備等，并考慮到彈性擴(kuò)展、負(fù)載均衡、可靠性等方面的要求。

2.2.2 應(yīng)用平臺(tái)架構(gòu)

基于聯(lián)邦學(xué)習(xí)構(gòu)建工業(yè)互聯(lián)網(wǎng)平臺(tái)架構(gòu)，分為四個(gè)層次：應(yīng)用層、ML 核心組件層、安全協(xié)議層和基礎(chǔ)層，具體見(jiàn)圖3。該平臺(tái)旨在提供基于數(shù)據(jù)隱私保護(hù)的分布式安全計(jì)算框架，支持機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等算法的高性能安全計(jì)算，以及同態(tài)加密、秘密共享等多種安全計(jì)算協(xié)議，確保數(shù)據(jù)和模型的安全。

圖3 平臺(tái)架構(gòu)設(shè)計(jì)

第一層是平臺(tái)應(yīng)用層，包括云服務(wù)、任務(wù)調(diào)度管理和生命周期管理等功能。用戶(hù)通過(guò)平臺(tái)使用云資源，進(jìn)行模型算法管理、資源分配、數(shù)據(jù)監(jiān)控等任務(wù)調(diào)度，以及算法任務(wù)和運(yùn)營(yíng)管理等生命周期服務(wù)應(yīng)用。

第二層是平臺(tái)的ML 核心組件，包括水平聯(lián)邦學(xué)習(xí)、垂直聯(lián)邦學(xué)習(xí)等。水平聯(lián)邦學(xué)習(xí)支持共享相同特征空間的數(shù)據(jù)集，垂直聯(lián)邦學(xué)習(xí)支持共享相同樣本空間的數(shù)據(jù)集，而聯(lián)邦遷移學(xué)習(xí)則適用于不同樣本和特征的數(shù)據(jù)集。

第三層是平臺(tái)的安全協(xié)議，涵蓋同態(tài)加密、FedAvg、RSA 等算法。通過(guò)這一層，用戶(hù)可以在保護(hù)隱私和數(shù)據(jù)安全的前提下協(xié)作訓(xùn)練機(jī)器學(xué)習(xí)模型。其中，F(xiàn)edAvg 是一種基于梯度平均的聯(lián)邦學(xué)習(xí)算法，允許在分布式環(huán)境下訓(xùn)練機(jī)器學(xué)習(xí)模型。RSA 是一種非對(duì)稱(chēng)加密算法，用于數(shù)據(jù)保護(hù)。

第四層是基礎(chǔ)層，可以劃分為計(jì)算框架（如Ten sorFlow、Pytorch、Spark）、消息隊(duì)列協(xié)議和存儲(chǔ)框架。該層支持一系列的聯(lián)邦學(xué)習(xí)架構(gòu)和安全計(jì)算算法，包括邏輯回歸、決策樹(shù)、梯度提升樹(shù)、深度學(xué)習(xí)和遷移學(xué)習(xí)。

2.2.3 聯(lián)邦學(xué)習(xí)在工業(yè)互聯(lián)網(wǎng)上的應(yīng)用場(chǎng)景

1）場(chǎng)景一：智能制造場(chǎng)景。在預(yù)測(cè)性維護(hù)、資源優(yōu)化和制造過(guò)程優(yōu)化等場(chǎng)景中，聯(lián)邦學(xué)習(xí)協(xié)調(diào)多個(gè)設(shè)備或傳感器的數(shù)據(jù)，通過(guò)本地模型訓(xùn)練實(shí)現(xiàn)設(shè)備故障預(yù)測(cè)、資源使用優(yōu)化以及生產(chǎn)過(guò)程改進(jìn)。各設(shè)備共享模型更新和經(jīng)驗(yàn)，提升整體系統(tǒng)可靠性和效率。

2）場(chǎng)景二：安全與風(fēng)險(xiǎn)管理。聯(lián)邦學(xué)習(xí)應(yīng)用于工業(yè)互聯(lián)網(wǎng)的安全監(jiān)測(cè)和風(fēng)險(xiǎn)管理。通過(guò)共享和分析安全事件和數(shù)據(jù)，聯(lián)邦學(xué)習(xí)有助于檢測(cè)和預(yù)防潛在的安全漏洞，提供實(shí)時(shí)的風(fēng)險(xiǎn)管理和響應(yīng)機(jī)制。

3）場(chǎng)景三：質(zhì)量控制與監(jiān)控。聯(lián)邦學(xué)習(xí)用于聯(lián)合監(jiān)控和質(zhì)量控制，改進(jìn)生產(chǎn)過(guò)程中的產(chǎn)品質(zhì)量。通過(guò)協(xié)同分析多個(gè)設(shè)備的傳感器數(shù)據(jù)和工藝參數(shù)，提供更準(zhǔn)確和可靠的監(jiān)測(cè)結(jié)果，同時(shí)降低數(shù)據(jù)共享引起的隱私風(fēng)險(xiǎn)。

3 結(jié)語(yǔ)

在理論層面上，引入聯(lián)邦學(xué)習(xí)為解決工業(yè)互聯(lián)網(wǎng)平臺(tái)中數(shù)據(jù)隱私保護(hù)與跨設(shè)備協(xié)作之間的矛盾提供了新的方法。在數(shù)字化時(shí)代，隱私問(wèn)題凸顯，傳統(tǒng)的集中式數(shù)據(jù)處理面臨數(shù)據(jù)泄露和隱私風(fēng)險(xiǎn)。聯(lián)邦學(xué)習(xí)兼顧數(shù)據(jù)隱私需求，通過(guò)本地設(shè)備上的模型訓(xùn)練，僅傳輸模型參數(shù)，實(shí)現(xiàn)設(shè)備間數(shù)據(jù)共享與合作，尋找隱私保護(hù)與數(shù)據(jù)協(xié)作的平衡。

在實(shí)際應(yīng)用中，基于聯(lián)邦學(xué)習(xí)的工業(yè)互聯(lián)網(wǎng)平臺(tái)提供切實(shí)可行的解決方案。首先，通過(guò)本地模型訓(xùn)練和僅傳輸模型參數(shù)，聯(lián)邦學(xué)習(xí)有效保護(hù)原始數(shù)據(jù)隱私，確保工業(yè)數(shù)據(jù)的安全性。其次，分布式特性減少通信開(kāi)銷(xiāo)，提升數(shù)據(jù)處理效率和實(shí)時(shí)性，適應(yīng)工業(yè)生產(chǎn)需求。此外，促進(jìn)不同實(shí)體間的數(shù)據(jù)合作，推動(dòng)工業(yè)互聯(lián)網(wǎng)平臺(tái)多方合作和創(chuàng)新，有助跨行業(yè)融合。重要的是，基于聯(lián)邦學(xué)習(xí)的研究推動(dòng)傳統(tǒng)行業(yè)數(shù)字化轉(zhuǎn)型，使工業(yè)互聯(lián)網(wǎng)平臺(tái)更快向智能高效方向發(fā)展。