基于多模態(tài)投影的激光雷達點云實時語義分割網(wǎng)絡

唐彬洪

（重慶交通大學，重慶 400074）

1 前言

在自動駕駛領域，激光雷達傳感器因可提供豐富的場景信息和具有極強的抗干擾能力而獲得廣泛應用。激光雷達點云語義分割可為三維點云分配語義標簽，并為地圖增加語義信息，從而提高駕駛的準確性和安全性。

在以往的研究中，研究人員提出了各種深度學習模型來處理激光雷達三維點云，如基于點的方法、基于稀疏體素的方法和基于二維投影的方法。基于點的方法包括PointNet[1]、PointNet++[2]。PointNet 使用點云逐點多層感知機（Point-wise Multi-Layer Perceptron，Point-wise MLP）對每個輸入點逐點計算。PointNet++在其基礎上提出了采樣（Sampling）和分組（Grouping）模塊整合局部鄰域。PointCNN[3]使用點云卷積（Point Convolutions）方法，引入X 變換（Χ-Transformation）使點云經(jīng)卷積變換后的輸出不變。RandLA-Net[4]同樣使用點云逐點多層感知機，引入輕量級神經(jīng)網(wǎng)絡結構，依賴隨機采樣和本地特征聚合器考慮空間關系和點的特征，獲得更大的鄰域。這些基于點的方法直接應用于無序三維點云，不會造成任何信息損失，但采用的鄰域搜索方式等相對耗時。

激光雷達三維點云具有稀疏性，因此，可基于體素（Voxel）的方法將三維點云量化為三維網(wǎng)格。VoxelNet[5]利用三維卷積配合圖像語義分割中的全卷積網(wǎng)絡（Fully Convolutional Network，F(xiàn)CN）結構來處理三維體素數(shù)據(jù)。黃潤輝等[6]提出三維錐形柵格解決了激光點云的稀疏性和密度不一致性問題。基于體素的方法可使點云數(shù)據(jù)規(guī)則化，但體素化本身會帶來離散偽影和信息丟失，在選擇較高分辨率時會出現(xiàn)計算效率低與占用內存大的問題。

基于二維投影的方法將成熟的二維卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks，CNN）應用于三維點云投影的二維網(wǎng)格特征圖。FCN[7]將原網(wǎng)絡中的全連接層替換為卷積層。RangeNet++[8]嘗試使用K 近鄰算法（K-Nearest Neighbor，KNN）作為后處理方法，而SANet[9]將空間相關性與空間注意力結合作為預處理方法。

綜合基于點的方法能保存完整點云信息與基于二維投影的方法能保證實時性的優(yōu)勢，本文提出基于多模態(tài)投影的激光雷達點云實時語義分割網(wǎng)絡架構，分別使用點到網(wǎng)絡（Point to Grid，P2G）和網(wǎng)格到點（Grid to Point，G2P）模塊同時在鳥瞰圖和距離視圖的二維網(wǎng)格上投影并提取語義特征，通過空間注意力模塊聚合特征，再輸入到特征融合金字塔模塊，結合初步處理的三維點云輸出分割預測結果。然后，利用提出的多模態(tài)投影增強點云特征信息，通過空間注意力模塊處理投影后的二維網(wǎng)格特征圖，并在二維全卷積網(wǎng)絡中加入三重下采樣模塊提升下采樣性能。最后，利用SemanticKITTI 數(shù)據(jù)集對網(wǎng)絡的速度和精度進行測試。

2 多模態(tài)投影點云分割

要實現(xiàn)準確、快速的激光雷達點云語義分割，不僅需要高效提取語義特征，還需要保留完整的點云信息。基于二維投影的方法可以有效降低算法的計算量，并通過鳥瞰圖和距離視圖保留完整的點云信息。本文提出的點網(wǎng)格融合模塊如圖1 所示，融合步驟為：點到網(wǎng)格模塊將輸入的點特征投影到鳥瞰圖和距離視圖上；空間注意力模塊由注意力模塊和上下文模塊組成，經(jīng)過空間注意力模塊提取的特征輸入二維全卷積網(wǎng)絡提取語義特征，注意力模塊使用較大的感受野獲取空間分布信息，學習較為重要的特征，上下文模塊使用不同感受野聚合上下文信息，融合大小不同的感受野；使用二維全卷積網(wǎng)絡處理二維特征圖有效提取語義特征；網(wǎng)格到點模塊將二維網(wǎng)格特征傳輸?shù)饺S點上；點融合模塊將初步處理的三維點、鳥瞰圖和距離視圖分支的特征融合，以確保點云信息完整。

圖1 點網(wǎng)格融合模塊

2.1 點到網(wǎng)格模型

點到網(wǎng)格模型旨在將三維點特征轉換為二維網(wǎng)格特征圖。如圖2 所示，首先需要選擇合適的網(wǎng)格大小，然后將第k個三維點投射到二維網(wǎng)格獲取相應的二維坐標集合Rh,w包含落在同一二維網(wǎng)格(h,w)中的點的索引，即，其中分別為uk、vk的整數(shù)部分，通常將uk和vk坐標四舍五入到最接近的整數(shù)，并將點儲存在相應的網(wǎng)格單元中。三維特征通過每個通道c取最大三維特征點的特征值形成相應的二維網(wǎng)格特征，計算公式為：

圖2 點到網(wǎng)格操作

鳥瞰圖省略了高度維度，即z維度，而距離視圖則省略了距離r維度。因此，將這兩種視圖互補可減少二維投影的信息損失。它們所使用的點到網(wǎng)絡模型類似，只是在二維投影方式上有所不同。鳥瞰圖使用矩形二維網(wǎng)格離散化，通過矩形二維網(wǎng)格(xmin,ymin,xmax,ymax)將三維點云投影到x-y平面上，該平面的離散度為寬度Wbev和高度Hbev：

式中，rk、θk、φk分別為距離、垂直角、方位角。

然后將θk和φk離散化，忽略rk，獲取距離視圖的寬度Wrv和高度Hrv：

式中，f=fup+fdown為激光雷達的垂直視角；fup、fdown分別為垂直視角的上、下部分。

鳥瞰圖分支接收形狀為(Wbev=600,Hbev=600)的二維特征圖，范圍為(xmin=-50,ymin=-50,xmax=50,ymax=50)。范圍視圖分支接收形狀為(Wrv=1 024,Hrv=16)的二維特征圖。對于每個網(wǎng)格單元，根據(jù)其內部點的特征值通過最大池化操作計算聚合的特征。

2.2 空間注意力模塊

空間注意力模塊分為注意力模塊和上下文模塊。在鳥瞰圖和距離視圖中，上下文相關性主要體現(xiàn)在車輛和行人對道路有很強的依附性，即車輛和行人周圍的像素極大概率屬于道路的類別標簽。空間分布規(guī)律體現(xiàn)在物體類別在空間分布中的相關性和一般規(guī)律，即行人和植被的旁側像素大概率屬于道路。此外，基于激光雷達生成點云的方法可以看出，在距離視圖中道路一般處于圖像中軸與底線位置。

如圖3 所示，分別將點到網(wǎng)格模型處理后的二維網(wǎng)格特征圖輸入注意力模塊和上下文模塊。

圖3 空間注意力模塊

注意力模塊通過大尺寸卷積獲取較大感受野并使用Sigmoid 函數(shù)將權重歸一化到0～1 范圍內，對每個通道進行縮放。上下文模塊使用1×1卷積和空洞卷積改變通道數(shù)量并增大感受野，通過融合不同尺度的特征圖獲得更準確的上下文信息，最后，將兩分支輸出結果對應元素相乘獲得空間注意力特征。此外，將上下文模塊分支的輸出結果與空間注意力輸出結果相加，以進一步更新空間注意力特征。

2.3 二維特征金字塔融合模塊

采用編碼器和解碼器架構的二維全卷積網(wǎng)絡分別應用于鳥瞰圖和距離視圖提取語義特征。編碼器以ResNet[10]為基礎，采用4個編碼器和3個解碼器，即9 層的輕量級骨干網(wǎng)絡。兩視圖采用類似的二維全卷積網(wǎng)絡，但視圖范圍沒有沿高度維度進行下采樣。特征通道數(shù)分別設置為64、32、64、128、128、96、64 和64。高分辨率特征圖可顯示更多細節(jié)，如輪廓、邊緣、紋理等，而低分辨率特征圖包含更多的語義信息，如表征道路、大型建筑物等，解碼器使用特征金字塔進行上采樣并融合高層和低層特征圖。

在下采樣階段，為保留更多的信息，基于豐富塊（Inception Block），本文提出三重下采樣模塊。使用3個包含二維卷積和二維最大池化的分支分別進行特征提取，最后將通道數(shù)相加，經(jīng)過線性整流函數(shù)（Rectified Linear Unit，ReLU）層輸出結果。三重下采樣模塊使用1×1 卷積可以減少參數(shù)的積累，在提高網(wǎng)絡深度的同時提高寬度且減少了模型參數(shù)，保留了更多信息，如圖4所示。

圖4 三重下采樣模塊

2.4 網(wǎng)格到點模型

與點到網(wǎng)格操作相反，網(wǎng)格到點模型從二維網(wǎng)格中每個單元格提取特征重新映射到三維點。如圖5 所示，它在4 個相鄰網(wǎng)格內應用雙線性插值，即確定與點相關的4 個相鄰網(wǎng)格單元，它們是最接近點的單元格。為進行插值，計算點與這4 個相鄰單元格的距離權重。對于每個特征，根據(jù)權重和這4個單元格的特征值進行插值操作。計算公式為：

圖5 網(wǎng)格到點操作

式（5）考慮了點云位置(uk,vk)到目標網(wǎng)格位置(i,j)的距離。對于邊緣點，超出視圖范圍的相鄰網(wǎng)格視為無效網(wǎng)格。

2.5 點融合模塊

點融合模塊融合來自原始點云、鳥瞰圖和距離視圖的點特征。通過向量拼接（Concatenate）操作合并特征通道，使融合模塊同時考慮鳥瞰圖和距離視圖的語義信息。與SuMa++[11]中的分割網(wǎng)格不同，本文不采用后處理模塊，只通過點融合模塊使用特征聯(lián)合和多層感知機層作為最后的輸出結果，實現(xiàn)端到端框架。

鳥瞰圖和距離視圖的分辨率不同，導致投影到二維網(wǎng)格的點范圍不同。雖然在某個視圖中，被投影到二維網(wǎng)格范圍外的點的特征被視為無效，但它可以傳遞另一個視圖的信息。本文設置超出鳥瞰圖視圖范圍，但在距離視圖范圍內的點被視為有效點并傳遞相應距離視圖點的特征信息。

2.6 損失函數(shù)

分割預測通過一個全連接層對上一層點融合模塊的輸出特征進行處理，獲得分割預測結果。受激光雷達點云數(shù)據(jù)的特點，以及激光雷達點云語義分割數(shù)據(jù)集各類標簽的數(shù)據(jù)量不平衡的影響，語義分割網(wǎng)絡在學習訓練中對小類別語義分割存在困難。在同幀數(shù)據(jù)中，例如道路、汽車、植被、建筑等的環(huán)境要素的像素占比明顯高于摩托車、行人等類別。而對比整個數(shù)據(jù)集數(shù)據(jù)量中的類別，道路、人行道和建筑物在數(shù)據(jù)集中的比例是行人和騎行者的數(shù)百倍。數(shù)據(jù)的極不平衡使語義分割網(wǎng)絡在訓練中更加傾向高占比類別，而難以提取和預測低占比類別。為減少由數(shù)據(jù)不平衡導致的語義分割網(wǎng)絡的性能損失，本文采用加權交叉熵損失來強調低占比類別：

式中，yc為真實標簽為預測概率；Fc為類別c在整個數(shù)據(jù)集中的頻率；αc為類別c的權重；ε為一個很小的正數(shù)，防止除零錯誤；C為數(shù)據(jù)集的類別數(shù)量。

3 驗證分析

為評估本文算法的性能，選用SemanticKITTI 數(shù)據(jù)集進行訓練和測試。該數(shù)據(jù)集包含43 552 幀360°雷達掃描點云數(shù)據(jù)，劃分為22 個序列。序列00～序列07與序列09～序列10共19 130幀點云數(shù)據(jù)作為訓練數(shù)據(jù)集，序列08 共4 071 幀數(shù)據(jù)作為驗證數(shù)據(jù)集，序列11～序列21 共20 351 幀點云數(shù)據(jù)作為測試數(shù)據(jù)集。選用Velodyne VLP-16 激光雷達，具有垂直方向16 線光束，每幀掃描約3.2×104個點。采用平均交并比（mean Intersection Over Union，mIoU）評估算法的表現(xiàn)：

式中，S為類別數(shù)；Ti為類別i的真正值數(shù)量，即模型正確預測為類別i的數(shù)量；Fi為類別i的假正值數(shù)量，即模型錯誤預測為類別i的數(shù)量；Ni為類別i的假負值數(shù)量，即模型未能正確預測為類別i的數(shù)量。

所有測試均使用GeForce RTX 4090 圖形處理器（Graphics Processing Unit，GPU）硬件平臺完成。

3.1 消融試驗

為驗證本文算法各模塊的有效性，在數(shù)據(jù)集上進行消融試驗，各模塊配置情況和試驗結果如表1所示。

表1 特定融合塊分析 %

3.2 性能分析

在SemanticKITTI 測試集上與其他先進算法進行對比，結果如表2 所示。由表2 可以看出：對比RangeNet++，本文算法在精度和速度方面都有所提升，特別是精度明顯優(yōu)于RangeNet++ ；對比SqueezeSegV3，本文算法在精度提升的同時，單幀速度也大幅提升；對比SalsaNext 和MPF，本文算法在速度上略顯不及，但在精度上相比MPF 至少提高了7.8百分點，證明了本文提出的多模態(tài)投影語義分割網(wǎng)絡的高效性。

此外，本文算法與其他算法在序列21上的可視化對比結果如圖6 所示。由圖6 可以看出，本文算法對于物體的預測在保持高精度的前提下具有很好的穩(wěn)定性。對于小物體預測，本文算法正確分割了“行人”這一對象，而其他算法精度較差，甚至忽略了該對象。

圖6 序列21數(shù)據(jù)集定性分割結果

4 結束語

本文提出了一種基于多模態(tài)投影的實時激光雷達點云分割算法，通過點和網(wǎng)格模塊實現(xiàn)二維和三維特征圖的轉換，將空間注意力模塊和特征金字塔融合模塊有機結合并加入三重下采樣模塊高效提取重要位置信息，整合了豐富的語義特征信息，結合三維點云、鳥瞰圖和距離視圖對點云信息進行互補。

通過與RangeNet++、SqueezeSegV3、SalsaNext和MPF 等先進算法進行比較，驗證了本文算法在精度和速度方面的優(yōu)勢?？梢暬Y果表明，本文算法在小物體預測方面表現(xiàn)優(yōu)異，展現(xiàn)出了較高的精度和穩(wěn)定性。