大規(guī)模差異化點云數(shù)據(jù)下的聯(lián)邦語義分割算法

林佳斌 張劍鋒 邵東恒 郭杰龍 楊靜 魏憲

摘 要：海量點云數(shù)據(jù)的存儲對自動駕駛實時3D協(xié)同感知具有重要意義，然而出于數(shù)據(jù)安全保密性的要求，部分?jǐn)?shù)據(jù)擁有者不愿共享其私人的點云數(shù)據(jù)，限制了模型訓(xùn)練準(zhǔn)確性的提升。聯(lián)邦學(xué)習(xí)是一種注重數(shù)據(jù)隱私安全的計算范式，提出了一種基于聯(lián)邦學(xué)習(xí)的方法來解決車輛協(xié)同感知場景下的大規(guī)模點云語義分割問題。融合具有點間角度信息的位置編碼方式并對鄰近點進(jìn)行幾何衍射處理以增強(qiáng)模型的特征提取能力，最后根據(jù)本地模型的生成質(zhì)量動態(tài)調(diào)整全局模型的聚合權(quán)重，提高數(shù)據(jù)局部幾何結(jié)構(gòu)的保持能力。在SemanticKITTI，SemanticPOSS和Toronto3D三個數(shù)據(jù)集上進(jìn)行了實驗，結(jié)果表明該算法顯著優(yōu)于單一訓(xùn)練數(shù)據(jù)和基于FedAvg的方法，在充分挖掘點云數(shù)據(jù)價值的同時兼顧各方數(shù)據(jù)的隱私敏感性。

關(guān)鍵詞：聯(lián)邦學(xué)習(xí)；點云語義分割；雙層幾何衍射；動態(tài)權(quán)重

中圖分類號：TP391.41?? 文獻(xiàn)標(biāo)志碼：A

文章編號：1001-3695（2024）03-010-0706-07

doi：10.19734/j.issn.1001-3695.2023.07.0320

Federated semantic segmentation algorithm under

large scale differential point cloud data

Lin Jiabin1，2，Zhang Jianfeng2，Shao Dongheng2，Guo Jielong2，Yang Jing3，Wei Xian2

（1.College of Mechanical & Electrical Engineering，F(xiàn)ujian Agriculture & Forestry University，F(xiàn)uzhou 350100，China；2.Fujian Institute of Research on the Structure of Matter，Chinese Academy of Sciences，F(xiàn)uzhou 350002，China；3.Longhe Intelligent Equipment Manufacturing Co.，Ltd.，Longyan Fujian 364101，China）

Abstract：The storage of massive point cloud data has great significance to the real-time 3D collaborative perception of autonomous driving.However，due to the requirements of data security and confidentiality，some data owners are unwilling to share their private point cloud data，which limits the improvement of model training accuracy.Federated learning is a computing paradigm that focuses on data privacy and security.This paper proposed a novel approach based on federated learning to address the challenge of large-scale point cloud semantic segmentation in collaborative vehicle perception scenarios.It integrated position encoding with inter-point angle information and geometric diffraction of neighboring points to enhance the feature extraction capability of the model.Finally，it dynamically adjusted the aggregation weights of the global model according to the generation quality of the local model to improve the ability to maintain the local geometric structure of the data.This paper applied the proposed method on three datasets，such as SemanticKITTI，SemanticPOSS and Toronto3D.The results show that the proposed approach significantly outperforms the single training data and the FedAvg-based method，and fully exploits the value of the point cloud data while taking into account the privacy sensitivity of each partys data.

Key words：federated learning；point cloud semantic segmentation；double-layer geometric diffraction；dynamic weighting

0 引言

隨著激光雷達(dá)等高精度傳感器的廣泛普及和應(yīng)用，促使許多對3D數(shù)據(jù)有著實際需求的領(lǐng)域，如自動駕駛、機(jī)器人、虛擬與增強(qiáng)現(xiàn)實等，得到快速發(fā)展［1］。與2D圖像不同的是，3D數(shù)據(jù)可以更好地理解機(jī)器周邊環(huán)境，更加適用于實際的三維空間場景。點云作為一種常見的三維模型數(shù)據(jù)，具有非常強(qiáng)的空間表達(dá)能力，可以很好地保留原始三維空間的幾何結(jié)構(gòu)，而且能夠很好地刻畫每個類別物體的表面特征以及其他可供深度模型訓(xùn)練的信息，比如坐標(biāo)、顏色、反射強(qiáng)度等，因此，它是許多場景理解相關(guān)應(yīng)用的首選表示，但是點云的空間分布不均及數(shù)據(jù)雜亂無序等特點給點云數(shù)據(jù)處理和應(yīng)用帶來了極大的挑戰(zhàn)［2］。當(dāng)前關(guān)于點云感知任務(wù)中分割問題的研究往往只專注于在一個完整的集中式數(shù)據(jù)集上進(jìn)行模型性能研究，此類方法在真實世界3D應(yīng)用場景下存在著擴(kuò)展性差、魯棒性低等問題。

例如，在自動駕駛領(lǐng)域的多個數(shù)據(jù)持有方中，由于存在部分群體不愿與他人共享其隱私數(shù)據(jù)，同時受限于單方數(shù)據(jù)采集的成本和訓(xùn)練算力要求等問題，形成“數(shù)據(jù)孤島”，使得數(shù)據(jù)的潛在價值不能被充分利用。為此，本文將聯(lián)邦學(xué)習(xí)計算范式遷移至此處理該問題，在保證用戶數(shù)據(jù)隱私的前提下，合法合規(guī)地利用私域數(shù)據(jù)進(jìn)行訓(xùn)練。聯(lián)邦學(xué)習(xí)的初衷就是保證“數(shù)據(jù)不動模型動”，在很大程度上可以促進(jìn)數(shù)據(jù)的所有方充分利用分散的數(shù)據(jù)訓(xùn)練出令各方都滿意的機(jī)器學(xué)習(xí)模型［3］。由于分散式的用戶數(shù)據(jù)不能夠充分提取點的特征信息，為進(jìn)一步優(yōu)化特征編碼，對輸入點的特征提取采取幾何衍射［4］等處理，并基于每輪學(xué)習(xí)到的特征質(zhì)量確定最終模型聚合權(quán)重。相較于直接采用聯(lián)邦平均算法［5］構(gòu)建模型，本文方法能更顯著地提升整體性能效果和穩(wěn)健性。

本文的主要貢獻(xiàn)包括：a）將聯(lián)邦學(xué)習(xí)方法引入到車輛協(xié)同感知場景下的大規(guī)模點云語義分割任務(wù)中，憑借其安全可信的訓(xùn)練方式，每個數(shù)據(jù)持有方僅通過私有本地數(shù)據(jù)生成全局共享知識，從而獲取更好的模型性能；b）針對更小范圍內(nèi)隨機(jī)采樣導(dǎo)致的點信息丟失問題，通過優(yōu)化相對位置編碼方式，引入雙層幾何衍射［4］，將每個采樣中心點的鄰近點作正態(tài)分布映射，細(xì)化每個鄰域內(nèi)的特征分布，提升局部特征提取能力；c）對室外真實采樣的點云分割數(shù)據(jù)集SemanticKITTI［6］、SemanticPOSS［7］和Toronto-3D［8］進(jìn)行聯(lián)邦切片處理，給每個參與方劃分不同場景的數(shù)據(jù)以實現(xiàn)數(shù)據(jù)隔離，針對本地數(shù)據(jù)不平衡帶來的性能下降問題，在經(jīng)過相應(yīng)優(yōu)化方法后準(zhǔn)確度得到有效提升。

1 相關(guān)工作

1.1 點云分割

點云語義分割是對海量點數(shù)據(jù)逐點進(jìn)行語義分類的一種識別任務(wù)。相比于傳統(tǒng)方法，深度學(xué)習(xí)方法能夠更好地處理不規(guī)則的3D點云數(shù)據(jù)，通過端到端的方式訓(xùn)練直接從原始點云數(shù)據(jù)中學(xué)習(xí)特征表示和語義信息，避免了手工設(shè)計特征的復(fù)雜過程，克服了傳統(tǒng)方法在特征提取和噪聲干擾處理方面的局限性，提高了分割效果并減少了計算時間［9］。現(xiàn)階段基于深度學(xué)習(xí)的點云分割相關(guān)研究大致可以歸納為以下幾種：

a）基于投影的分割方法。例如：Lawin等人［10］使用的多視圖表示辦法，將點云投影到不同的二維平面上，并利用多流的全卷積網(wǎng)絡(luò)（FCN）融合不同視角的投影分?jǐn)?shù)來預(yù)測每個點的最終語義標(biāo)簽；Wu等人［11］提出了一種基于SqueezeNet［12］和條件隨機(jī)場（CRF）的端到端網(wǎng)絡(luò)，將3D點云映射到球面上的二維平面（通常是前視圖），以保留更多的點云細(xì)節(jié)。但采用投影的方法會受到遮擋物的影響，因此依舊會造成分割精度的下降。

b）基于體素的方法實質(zhì)上就是將點云結(jié)構(gòu)化為密集網(wǎng)格的過程。Huang等人［13］利用3D卷積進(jìn)行體素分割，為體素內(nèi)所有點指定與體素相同的語義標(biāo)簽。此后，Tchapmi等人［14］創(chuàng)新性地提出了SEGCloud模型，可以實現(xiàn)端到端的細(xì)粒度和全局一致性的語義分割。盡管體素化方式可以盡可能地保留點云的域結(jié)構(gòu)，但是不可避免地引入了離散化偽影和信息損失，因此，需要在保留細(xì)節(jié)和壓縮運算成本之間進(jìn)行權(quán)衡。

c）基于點的網(wǎng)絡(luò)模型是較為直接和普遍的方式，可以將點云直接輸入到網(wǎng)絡(luò)中進(jìn)行特征提取。然而由于點云的特性是無序、不規(guī)則以及非結(jié)構(gòu)化的，所以直接進(jìn)行卷積操作是不可取的。早期的開創(chuàng)性工作有PointNet［15］，提出使用共享MLP層學(xué)習(xí)逐點特征，并使用對稱池化函數(shù)學(xué)習(xí)全局特征；為了捕獲來自局部的幾何結(jié)構(gòu)，PointNet++［16］通過分層的方式分組聚合鄰近點的信息，從而學(xué)習(xí)更精細(xì)的局部特征。為了對不同點之間的相互作用進(jìn)行建模，Zhao等人［17］提出了PointWeb，通過密集構(gòu)建局部完全相連接的網(wǎng)絡(luò)來探索局部區(qū)域中所有點對之間的關(guān)系，并采取自適應(yīng)特征調(diào)整（AFA）模塊實現(xiàn)信息交換和特征細(xì)化。除了PointNet系列，還有一些先進(jìn)的基于點的網(wǎng)絡(luò)模型采用了注意力機(jī)制。例如，Chen等人［18］提出了局部空間感知（LSA）層，根據(jù)點云的空間布局和局部結(jié)構(gòu)學(xué)習(xí)空間感知權(quán)重。類似于條件隨機(jī)場（CRF），Zhao等人［19］提出了基于注意力的分?jǐn)?shù)細(xì)化（ASR）模塊，通過結(jié)合相鄰點的分?jǐn)?shù)和學(xué)習(xí)到的注意力權(quán)重來改進(jìn)初始分割結(jié)果。

此外，Engelmann等人［20］ 也將遞歸神經(jīng)網(wǎng)絡(luò)（RNN）用于捕獲點云的固有上下文特征，提出了一種多尺度塊和網(wǎng)格塊的轉(zhuǎn)換方法，并通過合并單元（CU）或遞歸合并單元（RCU）逐層獲得輸出級上下文。也有工作試圖探討圖結(jié)構(gòu)下的點云分割模型，如Ma等人［21］提出的即插即用的點全局上下文推理（PointGCR）模塊，使用無向圖表示沿信道維度捕獲全局上下文信息，可以輕松集成到現(xiàn)有的分割網(wǎng)絡(luò)中以提高性能。本文采用

一種高效、輕量級的深度網(wǎng)絡(luò)RandLA-Net［22，23］，作為室外大規(guī)模點云分割基準(zhǔn)，進(jìn)一步探索了在聯(lián)邦場景下的模型性能，通過多種優(yōu)化手段提升在差異化數(shù)據(jù)分布的邊緣客戶端下的系統(tǒng)整體魯棒性。

1.2 聯(lián)邦學(xué)習(xí)

人工智能技術(shù)的快速發(fā)展依賴于深度學(xué)習(xí)模型的精心設(shè)計，而深度學(xué)習(xí)的大獲成功又離不開大量可用、易用數(shù)據(jù)的互連互通，在全球范圍內(nèi)形成的隱私保護(hù)體系大環(huán)境下，防范數(shù)據(jù)泄露和維護(hù)數(shù)據(jù)安全成為了廣泛的共識。無論是跨機(jī)構(gòu)還是跨設(shè)備的用戶群體都傾向于打破數(shù)據(jù)壁壘，通過多方協(xié)作完成數(shù)據(jù)的合法調(diào)控，減小隱私風(fēng)險和額外成本。聯(lián)邦學(xué)習(xí)作為人工智能領(lǐng)域新興的分布式機(jī)器學(xué)習(xí)范式，天然地適用于緩解“數(shù)據(jù)孤島”和“數(shù)據(jù)隱私”問題，在數(shù)據(jù)信息高度敏感的金融、醫(yī)療健康和邊緣物聯(lián)網(wǎng)等領(lǐng)域都有著廣泛的應(yīng)用。聯(lián)邦學(xué)習(xí)通?？梢勒諗?shù)據(jù)樣本和數(shù)據(jù)特征的重疊程度劃分為橫向聯(lián)邦學(xué)習(xí)、縱向聯(lián)邦學(xué)習(xí)和聯(lián)邦遷移學(xué)習(xí)［24］。從狹義上來闡述聯(lián)邦學(xué)習(xí)：假設(shè)進(jìn)行聯(lián)邦訓(xùn)練后的模型MF的性能為VF，將其與傳統(tǒng)集中式機(jī)器學(xué)習(xí)的模型MS的性能VS進(jìn)行比較，那么滿足以下條件，即存在一個非負(fù)實數(shù)δ，使得兩者的性能損失差距為|VS-VF|<δ ，通常情況下的期望是將數(shù)據(jù)進(jìn)行表層安全的聯(lián)邦訓(xùn)練后所取得的最終效果近似于將數(shù)據(jù)集中到一起后訓(xùn)練的模型性能。

2 聯(lián)邦點云語義分割模型

在面對大規(guī)模點云數(shù)據(jù)時，進(jìn)行精準(zhǔn)高效的語義分割是一項極具挑戰(zhàn)性的環(huán)境感知任務(wù)。RandLA-Net［23］是一種輕量化的語義分割網(wǎng)絡(luò)，其整體架構(gòu)也是采取語義分割網(wǎng)絡(luò)中常見的編碼器和解碼器結(jié)構(gòu)，不同于采集少量的室內(nèi)點云數(shù)據(jù)（如1 024個點）進(jìn)行簡單的分類分割任務(wù)。本文對輸入高達(dá)50K的點云數(shù)據(jù)進(jìn)行處理，先逐層下采樣提取，通過四個編碼層將數(shù)量壓縮至1/256，每個編碼層將點云數(shù)量減少至原始的1/4，同時通過擴(kuò)充特征維度保留更多的信息；解碼部分選擇高效的最近鄰差值法放大點的尺度，逐層上采樣至原始樣本點數(shù)，然后通過跳躍連接將網(wǎng)絡(luò)編碼器階段提取到的底層特征與解碼時的高層特征進(jìn)行融合；最后利用三個全連接層將維度映射到輸出類別數(shù)。通過大量的前期調(diào)研工作后發(fā)現(xiàn)，隨機(jī)采樣方法對于大場景下點云分割具備更高的計算效率，相較于最遠(yuǎn)點采樣［16］，基于生成器的采樣［25］、強(qiáng)化學(xué)習(xí)下的策略梯度采樣［26］等方法，采樣速度提升百倍且時間復(fù)雜度更低，計算資源和內(nèi)存開銷更小，整體效率更高，更加適用于大場景下的點云分割任務(wù)。針對隨機(jī)采樣后可能造成點丟失的情況，進(jìn)一步提出局部特征聚合模塊，通過擴(kuò)大每個采樣點的感受野，更大范圍地聚攏局部特征。本文提出局部增強(qiáng)的編碼方式并引入雙層幾何衍射模塊，進(jìn)一步保留了特征細(xì)節(jié)。

通過聯(lián)邦學(xué)習(xí)進(jìn)行點云語義分割，如圖1所示，其中LFEA為局部特征增強(qiáng)聚合模塊，DWN為融合模型時第N個本地模型的權(quán)值。首先在基準(zhǔn)數(shù)據(jù)上為每個待選擇的客戶端分配一定數(shù)量的點云數(shù)據(jù)（由車載激光雷達(dá)等高精度傳感器事先采集而來），每個數(shù)據(jù)間不存在重疊可共享的部分，且不同端分得的數(shù)據(jù)在數(shù)量上存在顯著差異。采取具有中央服務(wù)器的橫向聯(lián)邦客戶-服務(wù)器架構(gòu)，中心方負(fù)責(zé)初始化模型參數(shù)并下發(fā)給數(shù)據(jù)持有者，每個本地客戶僅利用自己私人的點云數(shù)據(jù)（隨機(jī)采樣數(shù)據(jù)）進(jìn)行訓(xùn)練，訓(xùn)練方式等同于常規(guī)機(jī)器學(xué)習(xí)模型的訓(xùn)練流程進(jìn)行邊緣端的梯度下降，并逐步更新局部模型參數(shù)（期間數(shù)據(jù)僅作用在每個本地端），達(dá)到指定局部迭代次數(shù)后上傳參數(shù)，再由中央服務(wù)器采取參數(shù)聚合算法融合多個模型，重復(fù)聯(lián)邦訓(xùn)練后達(dá)到最大迭代次數(shù)，獲取最優(yōu)模型。

2.1 雙層幾何衍射模塊

在局部編碼器進(jìn)行點云的特征提取關(guān)乎最終分割性能的優(yōu)劣，而局部特征聚合模塊是對點特征提取的關(guān)鍵步驟。如圖2所示，主要體現(xiàn)在對輸入點特征不斷進(jìn)行維度擴(kuò)充，從而學(xué)習(xí)到更加豐富的上下文信息。

對于每個輸入采樣點，使用簡單的K近鄰算法找到關(guān)聯(lián)的鄰居點（設(shè)定數(shù)量為16），進(jìn)而對原始采樣點與若干個近鄰點進(jìn)行相對位置編碼，得到rqi。

其中：函數(shù)G（·）由一個共享的MLP和softmax層組成；W為可學(xué)習(xí)的權(quán)重。得到的Sqi可視為選擇重要特征的軟掩模，再與原先的輸出特征f^qi進(jìn)行加權(quán)求和，得到聚合特征輸出。這樣做可以增大每個輸入點的感受野，通過匯聚相鄰點的特征信息更大程度地保留原始輸入點云的局部幾何結(jié)構(gòu)。

2.2 局部和全局優(yōu)化方法

本文針對經(jīng)典的聯(lián)邦平均算法進(jìn)行了兩處輕量級的改進(jìn)。首先重新調(diào)整了損失函數(shù)，將用于類別不平衡的損失函數(shù)FocalLoss（FL）［27］，替代傳統(tǒng)聯(lián)邦局部監(jiān)督學(xué)習(xí)的交叉熵?fù)p失。

FL（pt）=-αt（1-pt）γlog（pt）（10）

其中：αt用于調(diào)節(jié)正負(fù)樣本損失之間的比例；pt為預(yù)測概率值；γ通過減少易分類權(quán)重參數(shù)，從而加大對難區(qū)分樣本的專注度。由此在進(jìn)行局部目標(biāo)優(yōu)化時能朝著所希望的方向進(jìn)行，可提升整體聯(lián)邦語義分割任務(wù)的準(zhǔn)確度。

同時，本文對全局聚合函數(shù)重新進(jìn)行設(shè)計，采用的優(yōu)化方法為DW，如式（11）所示。

其中：k為客戶端數(shù)量；C為總類別數(shù)；pij表示根據(jù)每個類別出現(xiàn)頻率所賦予的權(quán)重。相當(dāng)于通過混淆矩陣計算出每個類別的真實數(shù)目為TP+FN，總數(shù)為TP+FP+TN+FN，分母計算由參與方總數(shù)確定的總的模型參數(shù)權(quán)重。旨在根據(jù)既定的權(quán)重評價指標(biāo)進(jìn)行多個模型的參數(shù)融合，在每輪次與中心方通信時能動態(tài)地調(diào)整每個參與方模型參數(shù)所占據(jù)的比重，相比于直接根據(jù)數(shù)量來定義權(quán)值大小或者直接平均參數(shù)，更能反映出單個參與方每輪學(xué)習(xí)到的局部模型質(zhì)量。

3 實驗結(jié)果與分析

3.1 實驗配置

本文實驗環(huán)境采用的深度學(xué)習(xí)框架為PyTorch 1.8.1，編程語言為Python，在顯卡型號為NVIDIA GeForce RTX 3090和版本號為11.1的CUDA上開展實驗。進(jìn)行聯(lián)邦學(xué)習(xí)訓(xùn)練階段的局部epoch設(shè)置為5，全局epoch為20/12；在SemanticKITTI和SemanticPOSS上訓(xùn)練的batch size設(shè)置為6，測試為20；在Toronto-3D上訓(xùn)練的batch size設(shè)置為4，測試時為8。初始學(xué)習(xí)率為1E-2，采用Adam優(yōu)化器，每個epoch學(xué)習(xí)率衰減5%。

3.2 實驗數(shù)據(jù)集

本次實驗采用SemanticKITTI、SemanticPOSS和Toronto-3D作為室外點云語義分割評估基準(zhǔn)數(shù)據(jù)集。其中：SemanticKITTI是一個通用的具有豐富逐點點云注釋、涵蓋駕駛車輛掃描的大型全視野語義分割戶外場景數(shù)據(jù)集，數(shù)據(jù)集由22個序列組成，前11個序列的23 201個點云用于訓(xùn)練和驗證，其中08序列通常用于由真實標(biāo)簽生成的對比測試；SemanticPOSS是由北京大學(xué)采集的室外大規(guī)模稀疏點云實例，包括人和騎手等常規(guī)事物，共分為6個LiDAR數(shù)據(jù)序列，本文使用序列03作為測試，其余的用于聯(lián)邦訓(xùn)練；Toronto-3D是由加拿大多倫多MLS系統(tǒng)獲取的覆蓋了大約1 km由7 830萬個點組成的城市道路語義分割的大規(guī)模戶外點云數(shù)據(jù)集，該數(shù)據(jù)集采集場景共4個，其中采用L001、L003、L004作為訓(xùn)練集，L002作為測試集，共擁有8個有效語義標(biāo)簽類。

對上述三個數(shù)據(jù)集采取聯(lián)邦多場景下的多點實驗數(shù)據(jù)切分以實現(xiàn)差異化的標(biāo)簽數(shù)量分布。如在Toronto-3D上進(jìn)行聯(lián)邦數(shù)據(jù)預(yù)處理，為保證數(shù)據(jù)隔離和劃分的有效性，在數(shù)量為三個的參與方時由不同采樣場景的訓(xùn)練集重新分配本地數(shù)據(jù)空間。

3.3 實驗評估指標(biāo)

本文實驗采用分割中常見的幾種指標(biāo)來評估模型性能，包括整體準(zhǔn)確率OA和平均交并比mIoU，詳細(xì)定義如下：

其中：pij表示每個類別點的真實標(biāo)簽為i，預(yù)測輸出值為j；C表示總的語義類別數(shù)。

3.4 實驗結(jié)果與分析

為實現(xiàn)公平的實驗對比，所有結(jié)果均是在原始點云數(shù)據(jù)集上評估所得，在進(jìn)行聯(lián)邦訓(xùn)練后的三個數(shù)據(jù)集上的實驗可視化結(jié)果如圖3～5所示。表1～3分別是不同參與方數(shù)量在SemanticKITTI、SemanticPOSS和Toronto3D上的實驗結(jié)果。以基于RandLA-Net為backbone進(jìn)行聯(lián)邦基準(zhǔn)實驗，在數(shù)量CN設(shè)置為2和3時分別達(dá)到了52.5%和52.3%的mIoU，相較于集中式訓(xùn)練平均下降了1.3個百分點，但相對于單一數(shù)據(jù)進(jìn)行訓(xùn)練得到42.9%的準(zhǔn)確率，性能提升出色。表中FedNRN表示在初始化本地模型中加入雙層局部特征增強(qiáng)聚合模塊后的實驗結(jié)果；FedNRNP為融合輕量級的全局和局部優(yōu)化方法，即采取動態(tài)權(quán)重聚合和Focal loss為目標(biāo)函數(shù)進(jìn)行優(yōu)化。通過FedNRNP將SemanticKITTI的整體分割準(zhǔn)確率最高提升了5.6個百分點。在聯(lián)邦后的SemanticPOSS數(shù)據(jù)集上進(jìn)行實驗，相較于直接采取RandLA-Net進(jìn)行實驗得到的52.1%和47.0%的語義分割mIoU，優(yōu)化后的方法FedNRNP實現(xiàn)了57.5%和54.6%的語義分割mIoU，分別提升了5.4%和7.6%。另外，相較于集中式訓(xùn)練所需要的100個epoch才達(dá)到的52.8%的mIoU，在進(jìn)行聯(lián)邦訓(xùn)練后僅需局部迭代5次，全局迭代20次就能達(dá)到52.1%的性能。

在數(shù)據(jù)分布差異越明顯的聯(lián)邦客戶端上，所取得的最終分割結(jié)果效果越差。如在SemanticPOSS和Toronto3D三個參與方的基礎(chǔ)上，F(xiàn)edNRNP優(yōu)化方法相較于FedAvg取得的47.0%和72.4%的結(jié)果，最后提高至56.1%和78.9%，本文方法針對具有不平衡的本地數(shù)據(jù)分布特性下的性能損失更加魯棒，且不同數(shù)據(jù)集在每個類別的分割交并比均有不同程度的提升。例如在SemanticKITTI上的car、truck、person、trunk、traffic-sign類別，SemanticPOSS上的person，rider，trunk，building，fence類別，Toronto3D上的Road、Rd mrk、Car類別中展現(xiàn)出了同等條件下更有競爭力的分割結(jié)果。從圖3中可以看出，直接進(jìn)行多方聯(lián)邦建模的分割結(jié)果，F(xiàn)edRN要明顯優(yōu)于單一數(shù)據(jù)訓(xùn)練結(jié)果SinSK，且經(jīng)過優(yōu)化后的方法FedNRNP取得了最接近真實標(biāo)簽所預(yù)期的分割結(jié)果，進(jìn)一步驗證了優(yōu)化模型和聚合函數(shù)對于捕獲點之間信息的有效性。

本文針對所提出的聯(lián)邦共享模型進(jìn)行了模塊消融實驗，結(jié)果如表4所示。FedRN為采取RandLA-Net作為骨干網(wǎng)絡(luò)取得的分割結(jié)果；PE為增強(qiáng)的位置編碼方式；FGA和BGA分別表示在第一和第二個局部特征聚合模塊后嵌入新穎的幾何衍射處理模塊；DGA為添加的雙層特征增強(qiáng)模塊。實驗結(jié)果表明，在融合了PE和DGA方法后的聯(lián)邦模型取得了更好的效果，達(dá)到了56.6%的mIoU，提升了4.5個百分點。

另外，本文還針對提出的全局和局部優(yōu)化方法進(jìn)行了消融實驗，結(jié)果如表5所示。對于進(jìn)行聯(lián)邦后的三個數(shù)據(jù)集上訓(xùn)練得到的模型，在不加入FC（采取FL進(jìn)行優(yōu)化）和DW兩種方法得到的mIoU均為最差的效果，經(jīng)融合后得到的FedNRNP方法在不同用戶數(shù)量上提升顯著，均實現(xiàn)了同等條件下的最優(yōu)，驗證了本文方法在應(yīng)對大場景下異端用戶差異化數(shù)據(jù)分布的魯棒性。

表6將本文方法與主流的大場景點云分割模型進(jìn)行對比，實驗表明，相較于直接將數(shù)據(jù)暴露給原始服務(wù)器的其余四種方法，本文方法在分割性能和數(shù)據(jù)隱私上仍能取得較好的平衡。

4 結(jié)束語

鑒于現(xiàn)實大規(guī)模點云場景下的數(shù)據(jù)隱私敏感特性，本文設(shè)計了基于聯(lián)邦學(xué)習(xí)的點云語義分割算法，通過增強(qiáng)的局部特征聚合模塊提高每個鄰域內(nèi)的幾何信息捕捉和學(xué)習(xí)能力，進(jìn)一步優(yōu)化損失和全局聚合函數(shù)以提升魯棒性。由于點云本身具有很強(qiáng)的稀疏性，在經(jīng)過聯(lián)邦劃分后的數(shù)據(jù)集無法對多個分散的數(shù)據(jù)特征進(jìn)行完整的特征提取，所以進(jìn)一步優(yōu)化聯(lián)邦模型局部特征編碼提取器，學(xué)習(xí)到更多細(xì)節(jié)和更關(guān)鍵的點間幾何信息將是未來優(yōu)化的重點方向之一。

參考文獻(xiàn)：

［1］魏天琪，鄭雄勝.基于深度學(xué)習(xí)的三維點云分類方法研究［J］.計算機(jī)應(yīng)用研究，2022，39（5）：1289-1296.（Wei Tianqi，Zheng Xiongsheng.Research of deep learning-based classification methods for 3D point cloud［J］.Application Research of Computers，2022，39（5）：1289-1296.）

［2］張佳穎，趙曉麗，陳正，等.基于深度學(xué)習(xí)的點云語義分割綜述［J］.激光與光電子學(xué)進(jìn)展，2020，57（4）：20-38.（Zhang Jiaying，Zhao Xiaoli，Chen Zheng，et al.Review of point cloud semantic segmentation based on deep learning［J］.Laser & Optoelectronics Progress，2020，57（4）：20-38.）

［3］周傳鑫，孫奕，汪德剛，等.聯(lián)邦學(xué)習(xí)研究綜述［J］.網(wǎng)絡(luò)與信息安全學(xué)報，2021，7（5）：77-92.（Zhou Chuanxin，Sun Yi，Wang Degang，et al.Survey of federated learning research［J］.Chinese Journal of Network and Information Security，2021，7（5）：77-92.）

［4］Ma Xu，Qin Can，You Haoxuan，et al.Rethinking network design and local geometry in point cloud：a simple residual MLP framework［EB/OL］.（2022-11-29）［2023-07-20］.https：//arxiv.org/pdf/2202.07123.pdf.

［5］McMahan B，Moore E，Ramage D，et al.Communication-efficient learning of deep networks from decentralized data［EB/OL］.（2023-01-26）.https：//arxiv.org/pdf/1602.05629.pdf.

［6］Behley J，Garbade M，Milioto A，et al.SemanticKITTI：a dataset for semantic scene understanding of LiDAR sequences［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2019：9296-9306.

［7］Pan Yancheng，Gao Biao，Mei Jilin，et al.SemanticPOSS：a point cloud dataset with large quantity of dynamic instances［C］//Proc of IEEE Intelligent Vehicles Symposium.Piscataway，NJ：IEEE Press，2020：687-693.

［8］Tan Weikai，Qin Nannan，Ma Lingfei，et al.Toronto-3D：a large-scale mobile LiDAR dataset for semantic segmentation of urban roadways［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：797-806.

［9］朱威，繩榮金，湯如，等.基于動態(tài)圖卷積和空間金字塔池化的點云深度學(xué)習(xí)網(wǎng)絡(luò)［J］.計算機(jī)科學(xué)，2020，47（7）：192-198.（Zhu Wei，Sheng Rongjin，Tang Ru，et al.Point cloud deep learning network based on dynamic graph convolution and spatial pyramid pooling［J］.Computer Science，2020，47（7）：192-198.）

［10］Lawin F J，Danelljan M，Tosteberg P，et al.Deep projective 3D semantic segmentation［C］//Proc of the 17th International Conference on Computer Analysis of Images and Patterns.Cham：Springer，2017：95-107.

［11］Wu Bichen，Wan A，Yue Xiangyu，et al.SqueezeSeg：convolutional neural nets with recurrent CRF for real-time road-object segmentation from 3D LiDAR point cloud［C］//Proc of IEEE International Confe-rence on Robotics and Automation.Piscataway，NJ：IEEE Press，2018：1887-1893.

［12］Iandola F N，Han Song，Moskewicz M W，et al.SqueezeNet：AlexNet-level accuracy with 50x fewer parameters and<0.5 MB model size［C］//Proc of the 5th International Conference on Learning Representations.2017.

［13］Huang Jing，You Suya.Point cloud labeling using 3D convolutional neural network［C］//Proc of the 23rd International Conference on Pattern Recognition.Piscataway，NJ：IEEE Press，2016：2670-2675.

［14］Tchapmi L，Choy C，Armeni I，et al.SEGCloud：semantic segmentation of 3D point clouds［C］//Proc of International Conference on 3D Vision.Piscataway，NJ：IEEE Press，2017：537-547.

［15］Qi C R，Su Hao，Mo K， et al.PointNet：deep learning on point sets for 3D classification and segmentation［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2017：77-85.

［16］Qi C R，Yi Li，Su Hao，et al.PointNet++：deep hierarchical feature learning on point sets in a metric space［C］//Proc of the 31st International Conference on Neural Information Processing Systems.2017：5105-5114.

［17］Zhao Hengshuang，Jiang Li，F(xiàn)u C W，et al.PointWeb：enhancing local neighborhood features for point cloud processing［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2019：5560-5568.

［18］Chen Linzhuo，Li Xuanyi，F(xiàn)an Dengping，et al.LSANet：feature lear-ning on point sets by local spatial aware layer［EB/OL］.（2019-06-20）［2023-07-20］.https：//arxiv.org/pdf/1905.05442.pdf.

［19］Zhao Chenxi，Zhou Weihao，Lu Li，et al.Pooling scores of neighboring points for improved 3D point cloud segmentation［C］//Proc of IEEE International Conference on Image Processing.Piscataway，NJ：IEEE Press，2019：1475-1479.

［20］Engelmann F，Kontogianni T，Hermans A，et al.Exploring spatial context for 3D semantic segmentation of point clouds［C］//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2017：716-724.

［21］Ma Yanni，Guo Yulan，Liu Hao，et al.Global context reasoning for semantic segmentation of 3D point clouds［C］//Proc of IEEE Winter Conference on Applications of Computer Vision.Piscataway，NJ：IEEE Press，2020：2920-2929.

［22］Hu Qingyong，Yang Bo，Xie Linhai，et al.RandLA-Net：efficient semantic segmentation of large-scale point clouds［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2020：11105-11114.

［23］Hu Qingyong，Yang Bo，Xie Linhai，et al.Learning semantic segmentation of large-scale point clouds with random sampling［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2021，44（11）：8338-8354.

［24］Yang Aimin，Ma Zezhong，Zhang Chunying，et al.Review on application progress of federated learning model and security hazard protection［J］.Digital Communications and Networks，2023，9（1）：146-158.

［25］Dovrat O，Lang I，Avidan S.Learning to sample［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2019：2760-2769.

［26］Xu K，Ba J，Kiros R，et al.Show，attend and tell：neural image caption generation with visual attention［C］//Proc of the 32nd International Conference on Machine Learning.［S.l.］：JMLR.org，2015：2048-2057.

［27］Lin T Y，Goyal P，Girshick R，et al.Focal loss for dense object detection［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2020，42（2）：318-327.

［28］Shuai Hui，Xu Xiang，Liu Qingshan.Backward attentive fusing network with local aggregation classifier for 3D point cloud semantic segmentation［J］.IEEE Trans on Image Processing，2021，30：4973-4984.

［29］Cheng Huixian，Han Xianfeng，Jiang Hang，et al.PCB-RandNet：rethinking random sampling for lidar semantic segmentation in autonomous driving scene［EB/OL］.（2022-09-28）［2023-07-20］.https：//arxiv.org/pdf/2209.13797.pdf.