基于6G的聯邦學習部署和應用

牛煜霞，趙嵩

（中國電信股份有限公司研究院，北京 102209）

0 引言

伴隨著5G 在全球范圍內的廣泛部署，業(yè)界已開啟了下一代移動通信技術（6G）的研究和探索。2019 年3 月，在芬蘭舉行的全球首屆6G 峰會上，70 位來自各國的通信專家共同商議擬訂了全球首份6G 白皮書[1]，明確了6G 發(fā)展的基本方向。在此之后，圍繞6G 概念與愿景、需求與挑戰(zhàn)以及潛在關鍵技術等，陸續(xù)發(fā)布了6G 相關白皮書[2-5]。研究者們普遍認為，智能化將是6G 網絡發(fā)展的重要方向，人工智能（AI）技術將是6G 網絡的重要組成部分[5]。

6G 網絡向智能化方向發(fā)展的關鍵在于對數據的合理采集、處理和應用。近年來，大數據的出現、AI 技術的演進以及算力的巨大提升，為6G 的智能化發(fā)展提供了新的驅動力，與此同時，重視數據隱私和數據安全也已經成為世界性趨勢。傳統(tǒng)的AI 技術需要中央服務器進行集中的數據收集和處理，但在大多數場景中由于行業(yè)競爭、數據隱私安全等，數據以孤島的形式存在，不同數據源之間存在著難以打破的壁壘，實現數據整合幾乎是不可能的，這也成為6G 網絡向智能化方向發(fā)展的瓶頸之一。因此，在6G 網絡智能化演進中如何引入分布式技術以及可信的AI 技術，在保證數據隱私安全的前提下解決數據孤島是一個至關重要的問題。

近年來，業(yè)界專家將目光聚焦在“聯邦學習”（FL,Federated Learning）這一新興技術上。它的提出可以很好地解決數據孤島問題，使各個參與方借助其他方的數據進行聯合建模，而各參與方之間無需共享原始數據資源，從而保護數據隱私和數據安全[6]。本文以聯邦學習在6G中的部署與應用為著眼點，具體分析了聯邦學習在部署與應用時所面臨的問題以及挑戰(zhàn)，探討了聯邦學習技術在面向6G 部署時需要著重關注的問題和潛在研究方向。下面通過對聯邦學習的原理進行介紹，闡述了在6G 中聯邦學習的標準研究進展，并提出了6G 中聯邦學習的主要研究內容和潛在研究方向。

1 聯邦學習概述

聯邦學習的核心是各個參與方可借助其他方的數據進行聯合建模，各參與方無需共享原始數據資源，即在數據不離開本地的情況下進行數據聯合訓練，建立共享的機器學習模型，從而可以在滿足數據隱私、安全和監(jiān)管要求的前提下解決數據孤島問題[6]。

根據數據分布特點的不同，可采取以下不同的聯邦學習方法進行訓練[7]：

（1）當兩個數據集的用戶特征重疊較多而用戶重疊較少時，可以采用橫向聯邦學習方法（見圖1），根據用戶維度劃分數據集，并取出雙方用戶特征相同而用戶不完全相同的那部分數據進行訓練；

（2）當兩個數據集的用戶重疊較多而用戶特征重疊較少時，可以采用縱向聯邦學習方法（見圖2），根據特征維度劃分數據集，并取出雙方用戶相同而用戶特征不完全相同的那部分數據進行訓練；

圖2 縱向聯邦學習系統(tǒng)架構

（3）當兩個數據集的用戶與用戶特征重疊都較少時，可以采用聯邦遷移學習方法，不對數據進行切分，而是利用遷移學習來克服數據或標簽不足的問題。

聯邦學習是一種分布式人工智能方法。聯邦學習的參與方也是聯邦學習模型訓練的數據擁有方，各個參與方對其本地數據擁有完全的自治權限，可以自主決定是否加入、何時加入聯邦學習進行建模，并且聯邦學習不會對數據和模型本身進行傳輸，而是在加密機制下對參數進行傳輸。因此，聯邦學習在解決數據量大、數據匯聚成本高的問題的同時，可以在保證數據隱私和數據安全的前提下高效地進行聯合建模。

2 聯邦學習的標準研究進展

6G 智能化發(fā)展的關鍵在于對數據的合理采集、處理和應用。但是，由于行業(yè)競爭、數據隱私安全等，異廠家、跨地域、跨運營商的數據往往以孤島形式存在，難以實現不同數據源之間的數據整合。為了解決這一問題，業(yè)界專家將目光聚焦在聯邦學習這一新興技術上，希望能夠在6G 中應用聯邦學習技術，實現移動通信網絡向智能化方向演進。

目前，在移動通信網領域，3GPP、CCSA 等國內外標準組織已經開始了對聯邦學習的討論和研究，具體如下[8]：

（1）3GPP SA1 Rel-18 的“人工智能/ 機器學習模型傳輸（AMMT,AI/ML Model Transfer）”項目研究了“分布式/聯邦學習”對5GS 的功能需求及KPI 需求，如AI/ML 模型的監(jiān)控需求、傳輸時延需求等[9]；

（2）3GPP SA2 的“網絡自動化和智能化使能（eNA_Ph2,enabler of Network Automation Phase 2）”項目研究了支持聯邦學習的分布式智能網絡架構，并提出了應用場景及解決方案[10]；

（3）CCSA TC5 WG12 的“基于分布式聯合學習的5G 及演進移動通信網關鍵技術研究”項目旨在研究面向未來網絡的聯邦學習技術體系及架構，并提出了應用場景及解決方案；

（4）從2021 年第四季度開始，聯邦學習相關的Rel-18 課題也陸續(xù)在3GPP SA2 和3GPP SA5 中開始討論立項[11-12]。

3 聯邦學習的部署與應用

目前，業(yè)界和學術界關于6G 中聯邦學習的研究主要聚焦在兩個方面：一是針對網絡智能化對移動網架構的影響，研究支持聯邦學習的分布式智能化網絡架構；二是針對智能化網絡架構在應用和部署方面所面臨的挑戰(zhàn)，研究參與聯邦學習的客戶端選擇和調度、資源管理和調度、安全防御和隱私保護等使能技術，實現聯邦學習技術在6G 中的應用。

3.1 支持聯邦學習的分布式智能化網絡架構

在移動網絡應用場景中，多個網絡數據分析功能（NWDAF,Network Data Analytics Function）可 以 部署在同一個大型公共陸地移動網（PLMN,Public Land Mobile Network）中。從運營商的角度來看，由于行業(yè)競爭、數據隱私安全等，異廠家、跨地域、跨運營商的數據往往以孤島形式存在，分布在不同區(qū)域的NWDAF 之間數據互通開銷巨大，因此負責模型訓練和數據分析的NWDAF 可能只依靠單一區(qū)域的數據來進行模型訓練和數據分析，影響其模型訓練和數據分析的準確性[10]。

3GPP SA2 工作組Rel-17 的eNA_Ph2 項目提出了基于聯邦學習的分布式智能網絡架構，試圖將聯合學習融入NWDAF 的分層體系結構中，同一個PLMN 中分層NWDAF 的部署架構如圖3 所示[10]。

圖3 同一個PLMN中分層NWDAF的部署架構

位于不同區(qū)域的NWDAF 使用自己收集處理的數據在本地訓練ML 模型，并將模型訓練的中間結果共享給中心NWDAF，然后中心NWDAF 對收到的中間結果進行聚合，再將聚合的結果發(fā)送給各個區(qū)域的NWDAF 用于分析推理。其主要思想是基于分布在不同區(qū)域的NWDAF數據建立機器學習模型，多個NWDAF 之間不需要共享原始數據，只需要共享模型訓練的中間結果（如梯度、模型參數等），使分布在某一地區(qū)的NWDAF 可以與其他NWDAF 共享其模型或數據分析結果，從而解決了不同區(qū)域的NWDAF 數據無法集中的問題，在滿足數據隱私和數據安全的情況下提高了NWDAF 分析的精準度。

3.2 聯邦學習的使能技術

下面將列出一些在6G 中應用聯邦學習時需要研究的使能技術，主要包括：參與聯邦學習的客戶端選擇和調度、資源管理和調度、安全防御和隱私保護等[13-16]。

（1）客戶端選擇和調度

聯邦學習的參與方可以是具備不同通信資源、不同計算資源以及不同數據分布的異構設備，參與聯邦學習的客戶端設備上可用的資源量決定了客戶端可以完成的任務量。因此，為了盡可能地提高聯邦學習的性能，需要設計合理的客戶端選擇和調度方法以選擇合適的客戶端，并能夠在客戶端之間合理地分配學習任務，實現最大限度地提高聯邦學習的性能，并盡可能縮短收斂時間為目標。

在客戶端選擇和調度過程中，需要確定參與客戶端的最佳數量、管理客戶端設備上有限的資源以及合理地分配任務的方法。在文獻[14] 中，針對客戶端選擇和資源分配來構造優(yōu)化問題，并采用匈牙利算法來解決；而在文獻[15]中，針對信道選擇和資源消耗來構造優(yōu)化問題，并采用強化學習來解決。以上方法均可以在不顯著降低聯邦學習性能和收斂時間的情況下，盡可能地減少客戶端設備上的能量和帶寬等方面的資源消耗。其中，能量消耗在模型訓練和模型更新上，而帶寬消耗在模型上傳和模型下載上。

（2）資源管理和調度

在聯邦學習中，模型更新對于優(yōu)化全局模型很重要。為了使聯邦學習得到的模型具有更好的學習性能，各個參與方在聯合建模的過程中，需要進行足夠多輪次的模型訓練和模型聚合，尤其是當各個參與方的數據為非獨立同分布時，需要的模型訓練和模型聚合的次數會更多。

然而，受限于不同的帶寬資源和計算資源等異構特性，聯邦學習的參與方之間可能難以進行高效的通信。因此，為了提高聯邦學習參與方之間的通信效率，需要考慮帶寬資源、計算資源、能量狀態(tài)等的資源管理和任務調度方法。文獻[16] 提出了基于隨機梯度下降算法來減少模型訓練和模型聚合的輪次，而文獻[17] 提出了一種梯度壓縮方法來壓縮模型上傳和模型下載的通信內容，這些方法都可以在一定程度上提升通信效率。

（3）安全防御和隱私保護

聯邦學習的參與方使用本地數據來訓練機器學習模型，每一個參與方擁有的數據都不會離開該參與方，只將訓練的中間結果（如模型權重、梯度等）以加密方式與其他參與方共享，以保護數據隱私和數據安全。

但是，傳遞的中間結果仍然可能遭到攻擊，即根據獲得的中間結果推測出其他參與方的原始數據。在文獻[18] 中，采用輕量級加法同態(tài)加密技術和差分隱私技術相結合的方式避免了原始數據的泄露，同時提高了聯邦學習的效率和準確性。

4 聯邦學習的部署與應用思考

6G 對網絡智能化、隱私保護以及數據安全具有更高的要求，聯邦學習得益于其隱私保護等特性，成為了6G潛在的關鍵技術之一。它允許各參與方在進行機器學習的過程中借助其他參與方數據進行聯合建模，而各參與方之間無需共享原始數據資源，從而可以保護數據隱私和數據安全。

4.1 聯邦學習在6G領域中的挑戰(zhàn)

與5G 相比，6G 具有更高的傳輸速率、更低的傳輸延遲以及更高的連接密度，可以為用戶提供更高質量的服務。在6G 領域中部署應用聯邦學習時，需要滿足6G網絡高傳輸速率、低傳輸時延以及大規(guī)模連接的要求。

為了滿足上述要求，當聯邦學習在6G 中廣泛部署應用時，高效的模型訓練和模型傳輸是必要的。然而，由于數據分布、設備分布、計算方法、通信機制的不同會對訓練效率和通信效率有不同的影響，因此對于聯邦學習系統(tǒng)來說，6G 的大規(guī)模異構特性會給聯邦學習實現高效的模型訓練和模型傳輸帶來一定的挑戰(zhàn)，比如：如何解決聯邦學習各個參與方之間的非同步問題、如何提高聯邦學習各個參與方之間的通信效率以及如何降低聯邦學習各個參與方之間的通信成本等。

此外，在實際應用中，聯邦學習系統(tǒng)的眾多參與者中可能存在不可靠的設備，這些設備可能會因為自身計算資源和通信資源的消耗而選擇退出聯邦學習任務，也可能會因為數據安全和隱私保護問題而選擇退出聯邦學習任務，因此如何鼓勵它們參與到聯邦學習任務中并分享它們的模型也是一大挑戰(zhàn)。

4.2 聯邦學習在6G領域應用的其他思考

為了應對上述挑戰(zhàn)，在6G 移動通信網中支持聯邦學習，下面將列出一些用來實現通信高效、數據安全和隱私增強的聯邦學習方法，主要包括分層聯邦學習框架和聯邦學習激勵機制。

（1）分層聯邦學習框架

在聯邦學習的實際應用過程中，由于各個參與方之間的非同步特性，聯邦學習系統(tǒng)需要等待各個參與方都完成訓練之后才能進行模型融合，等待時間過長會造成時間資源和計算資源的浪費。此外，在聯邦學習中，為了使得到的模型具有更好的性能，需要進行足夠多輪次的模型訓練和模型聚合，頻繁的模型訓練和模型聚合會給網絡帶來巨大的開銷及沉重的負擔。因此，如何提高通信效率以及降低通信成本是聯邦學習在6G 中應用的一項重要挑戰(zhàn)。

在文獻[16] 和[17] 中，通過減少模型聚合輪次或者壓縮每輪模型聚合的通信內容，可以在一定程度上提升通信效率，但模型精度和收斂速度等學習性能可能會受到影響。為了提升聯邦學習系統(tǒng)的通信效率，文獻[19]提出了一種分層聯邦學習框架，此框架分為上下兩層，由數據擁有方（參與方）、分簇簇頭和中央控制節(jié)點構成。其中，下層由參與方和分簇簇頭構成，參與方可以自由選擇加入哪一個分簇，簇頭用來支持對參與方中間結果進行聚合；上層由分簇簇頭和中央控制節(jié)點構成，分簇簇頭可以選擇為一個中央控制節(jié)點服務。

分層聯邦學習框架減少了對中央控制節(jié)點的依賴，但仍有一些問題需要做進一步研究，如分簇簇頭選擇方法的影響因素等。

（2）聯邦學習激勵機制

聯邦學習的價值在于打破數據孤島，通過鼓勵具有相同數據結構或不同數據結構的多個客戶端共同參與訓練，提高模型的整體效果。然而，在實際應用中，客戶端參與聯邦學習任務時不可避免地會面臨通信、計算等資源消耗的問題，還會面臨數據安全和隱私保護的問題，如果沒有足夠的吸引條件，客戶端可能不愿意參與到聯邦學習任務中分享他們的模型。

在文獻[20] 中，介紹了收益分享博弈方法和反向拍賣方法，這兩種方法均可用于開發(fā)聯邦學習的激勵機制和激勵分配方法，根據不同參與方的貢獻程度公平公正地分配獎勵給參與方，可以提高參與方的貢獻熱情，其中參與方的貢獻可以依據數據質量和數據量來評價。在文獻[21] 中，提出了一種公平的聯邦學習激勵方案，最小化各參與方之間的不平等對待，吸引具有高質量數據的參與方向聯邦貢獻數據；在文獻[22] 中，提出了一種基于博弈論和深度強化學習的聯邦學習激勵機制，鼓勵參與方向聯邦貢獻更多的數據。

目前聯邦學習激勵機制的研究尚處于起步階段，如何估計參與方加入聯邦學習任務的成本以及參與方對聯邦學習任務的貢獻等問題仍有待研究。

5 結束語

本文基于聯邦學習的技術原理，對其在6G 中的部署及應用進行分析，探討了基于聯邦學習的分布式智能網絡架構研究以及聯邦學習的使能技術。除此之外，本文還對聯邦學習在6G 中的標準研究進展、部署及應用時可能面臨的問題進行了分析，并闡明了需要關注的研究重點和潛在研究方向。