基于PointNet 優(yōu)化網(wǎng)絡(luò)的鐵路站臺語義分割

魯子明，黃世秀，季錚，張思儀，黃翔翔

（1.合肥工業(yè)大學(xué) 土木與水利工程學(xué)院，安徽 合肥 230009；2.武漢大學(xué) 遙感信息工程學(xué)院，湖北 武漢 430072；3.安徽工程大學(xué) 計算機與信息學(xué)院，安徽 蕪湖 241000）

0 引言

鐵路設(shè)施的檢測是保障鐵路行車安全的重要手段，對鐵路周邊站臺等建筑物超限情況檢查是一項主要內(nèi)容[1]。傳統(tǒng)的人工手動測量限界的方法耗時耗力，存在影響車輛行程安排檢測、結(jié)果有人為誤差等問題。伴隨著科技手段的進步和發(fā)展，遙感、地理信息系統(tǒng)和全球?qū)Ш叫l(wèi)星系統(tǒng)的多傳感器集成和移動測繪技術(shù)，從數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)分析、項目應(yīng)用等多方面為鐵路檢測提供了新的技術(shù)支持。鐵路站臺三維信息提取是進行站臺侵界檢測的前置任務(wù)，語義分割作為三維場景理解的基礎(chǔ)，為鐵路站臺信息提取提供了新的技術(shù)途徑。近年來，眾多國內(nèi)外學(xué)者在三維場景的語義理解上做出了很多的優(yōu)秀研究成果，根據(jù)感知源的不同主要分為基于視覺傳感器[2]和基于激光雷達[3]這兩類。除此以外，文獻[4]利用幾何表面顏色補充點云的強度信息，提高了點云的分類精度。這些方法在一定程度上彌補了傳統(tǒng)測量手段的不足，但仍舊依賴人工處理數(shù)據(jù)進行站臺數(shù)據(jù)處理測量，無法實現(xiàn)鐵路站臺三維信息的全自動化提取。

隨著深度學(xué)習(xí)理論和激光雷達測量技術(shù)的日漸成熟，通過三維激光點云數(shù)據(jù)進行物體自動識別與分割操作有了突進式的發(fā)展。根據(jù)數(shù)據(jù)處理方式的不同，點云語義分割研究可以分為投影處理[5]、離散處理[6]、直接處理點云[7]以及混合方法[8]4 種基本方法。由于點云的無序性和無結(jié)構(gòu)化等特點，直接處理點云數(shù)據(jù)的方法起步較晚，具有開創(chuàng)意義的PointNet[9]首次提出了利用對稱函數(shù)應(yīng)對無序點云，再利用多層感知機進行特征學(xué)習(xí)的分割方法，PointNet++[10]與PointSIFT[11]算法在此基礎(chǔ)上進行了改進和提高。此后相關(guān)研究基于改進PointNet++模型實現(xiàn)了電力輸電桿塔點云語義分割[12]。因為投影處理與離散處理存在原始三維信息損失或者計算成本過大等問題,前沿的研究主要集中在直接處理點云的方法上,提升這種方法對于實際工程應(yīng)用中點云數(shù)據(jù)處理的適應(yīng)性是一個重要方向。

本文針對廣州北站的三維激光點云數(shù)據(jù)的站臺及周邊地物的分割問題，采用經(jīng)典的點云語義分割網(wǎng)絡(luò)PointNet 及其優(yōu)化后網(wǎng)絡(luò)，研究如何在點云深度學(xué)習(xí)迅速發(fā)展、多種基礎(chǔ)網(wǎng)絡(luò)框架已于公開數(shù)據(jù)集上取得良好結(jié)果的今天，對實際工程應(yīng)用中鐵路站臺的原始散亂點云數(shù)據(jù)進行自動化語義分割，實現(xiàn)大范圍多尺度的點云數(shù)據(jù)的精確語義分割目標(biāo)，為鐵路站臺的侵界檢測提供一種新的分析方法。

1 實驗設(shè)備及數(shù)據(jù)

實驗采用的主要設(shè)備為MS100 便攜移動掃描小車，其搭載通過多種傳感器連接集成的移動三維測量系統(tǒng)（Mobile Mapping System,MMS）。這一系統(tǒng)在同一剛性移動載體上集成搭載了定位定姿系統(tǒng)、三維激光掃描儀以及時間同步控制系統(tǒng)等，能夠確保在時間同步的狀態(tài)下向系統(tǒng)內(nèi)部發(fā)送定位信息并實時獲取空間信息測量結(jié)果。MS100 小車在移動的過程中，三維激光掃描儀隨著小車移動方向旋轉(zhuǎn)地向周圍地物進行三維掃描，掃描測量范圍為330 m，測距精度達到±2.0 mm，測角精度達到±32"，最終獲取具有三維空間坐標(biāo)信息和回波強度信息的高精度點云數(shù)據(jù)，通過系統(tǒng)內(nèi)部的統(tǒng)一地理參考處理和初步攝影測量解析處理形成最終的測量結(jié)果數(shù)據(jù)。

本次實驗所用數(shù)據(jù)采集自廣州北站的第3 站臺和第4 站臺，針對鐵路設(shè)備相關(guān)地物進行采集，獲取了包括軌道、月臺、遮雨棚、鐵道電力線路等真實存在地物的三維點云數(shù)據(jù)。針對3 站臺和4 站臺分別采用2 km/h 和1 km/h 的速度進行了往返掃描，點間距分別為5 mm 和2 mm。為減少單個數(shù)據(jù)存儲量，又按照軌道延伸方向也就是MS100 小車掃描方向進行了細部劃分，3 站臺共分為45 個細部，4 站臺分為79 個細部，每個細部在軌道延伸方向平均分布約為2 m，每個細部數(shù)據(jù)包含點個數(shù)平均約為2.4×107個，點云總數(shù)據(jù)量約為3×109個點，以LAS 格式存儲。每組數(shù)據(jù)以小車激光掃描儀的激光發(fā)射點為參照建立了局部坐標(biāo)系，兩個站臺部分將分別歸屬于各自不同原點的局部坐標(biāo)系，最終掃描得到的鐵路點云數(shù)據(jù)的整體情況以及到發(fā)線和站臺的細節(jié)情況如圖1 所示。

圖1 站臺點云采集整體情況及細節(jié)展示

2 鐵路站臺語義分割方法

2.1 站臺點云分割的問題描述

對于鐵路站臺點云數(shù)據(jù)的分割，目的是構(gòu)造一個網(wǎng)絡(luò)框架整體目標(biāo)函數(shù)f，使得將點云數(shù)據(jù)pi作為輸入后，其能根據(jù)輸入pi的空間特征劃分不同點的類別歸屬[13]。視Si為一個分類函數(shù)，需要為pi分配不同的分割標(biāo)簽（賦值為0、1、2、3、4），標(biāo)簽類別的預(yù)測值表示為Si。這樣的點云分割問題可描述為給定一系列站臺點云數(shù)據(jù)集P，則有：

式中：{p1,p2,…,pn}為鐵路站臺的輸入點云集合；S為點集P中各點pi通過映射函數(shù)f得到的類別預(yù)測值Si所組成的集合。

2.2 全局特征提取

2.2.1 獲取初步分割結(jié)果

應(yīng)用深度學(xué)習(xí)的網(wǎng)絡(luò)架構(gòu)[14]直接對無結(jié)構(gòu)的點云進行處理，需要應(yīng)對點云數(shù)據(jù)的自身無序性和幾何變換性兩個特點。

應(yīng)對無序性指點云輸入網(wǎng)絡(luò)后，對于{p1,p2,…,pn}點云集合會產(chǎn)生n!個不同的點云輸入組合，構(gòu)造的網(wǎng)絡(luò)函數(shù)f處理這些輸入需得到相同的結(jié)果S。解決辦法是將每個點pi映射到更高維的空間中，讓數(shù)據(jù)產(chǎn)生冗余，這樣含有冗余信息的數(shù)據(jù)在通過對稱函數(shù)操作之后才能最大限度地保留空間信息。這樣設(shè)計的PointNet 點云置換不變性網(wǎng)絡(luò)的函數(shù)映射如下：

式中：h為利用多層感知機（Multi-Layer Perception,MLP）使點云從N維低維映射到K維高維的映射函數(shù)；g為采用最大池化作為對稱函數(shù)；γ函數(shù)為特征提取函數(shù)。應(yīng)對幾何變換性指對于點云集合{p1,p2,…,pn}通過旋轉(zhuǎn)平移空間變換操作，生成的新點云集合的輸入，構(gòu)造的網(wǎng)絡(luò)函數(shù)f同樣需要滿足分割結(jié)果S不變，可以表示為：

式中rand 表示對點集的隨機排列。

2.2.2 基于PointNet 的全局特征提取

在設(shè)計的置換不變性和平移旋轉(zhuǎn)不變性網(wǎng)絡(luò)基礎(chǔ)上，構(gòu)造的網(wǎng)絡(luò)整體結(jié)構(gòu)如圖2 所示。

2.3 多層次局部特征優(yōu)化

從上述PointNet 的網(wǎng)絡(luò)結(jié)構(gòu)可以看出，它其實是將用于二維中的卷積神經(jīng)網(wǎng)絡(luò)方法擴展到了三維點云中。這種卷積方式特征提取的范圍限制在了單個點或整個全局點云中，無法對局部信息進行針對性的特征學(xué)習(xí)，網(wǎng)絡(luò)對于數(shù)據(jù)的局部特征十分不敏感，最終使分割結(jié)果和分割精度受到一定限制。針對這個問題，利用金字塔結(jié)構(gòu)對圖2 所示網(wǎng)絡(luò)進行優(yōu)化，如圖3 所示。

圖3 多層次特征提取結(jié)構(gòu)

以金字塔結(jié)構(gòu)在不同區(qū)域尺度提取局部特征，通過多層網(wǎng)絡(luò)結(jié)構(gòu)得到一組全局的深層特征。根據(jù)圖3 在局部區(qū)域選取中心點提取點云特征，在新點集上再劃分局部區(qū)域進入網(wǎng)絡(luò)生成更小的點集，最終實現(xiàn)了一種同二維神經(jīng)網(wǎng)絡(luò)類似的多級多梯度特征學(xué)習(xí)，獲取了最佳語義分割結(jié)果。

3 實驗與結(jié)果分析

3.1 點云分割實驗

鐵路站臺點云的分割主要包括點云數(shù)據(jù)的前期處理、網(wǎng)絡(luò)訓(xùn)練得到模型參數(shù)以及應(yīng)用訓(xùn)練后的網(wǎng)絡(luò)進行點云分割3 個環(huán)節(jié)，其簡要分割流程如圖4 所示。

圖4 站臺點云分割流程

設(shè)計好網(wǎng)絡(luò)架構(gòu)后，首先對實驗點云數(shù)據(jù)進行數(shù)據(jù)量整理、點云去噪和抽稀精簡等預(yù)處理操作；然后利用點云處理軟件按照月臺、軌道、遮雨棚、隔道和飛點這5 個類別進行了語義標(biāo)簽標(biāo)注；其次在網(wǎng)絡(luò)訓(xùn)練環(huán)節(jié)，將第3 和第4 站臺點云數(shù)據(jù)分別分為4塊，一共8 塊數(shù)據(jù)，按照k 折交叉驗證的方法每次輸入7 個塊的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，在每個細部小區(qū)塊中隨機抽樣出4 096 個點參與訓(xùn)練，每個點最終表示為一個三維坐標(biāo)信息、RGB 顏色信息、歸一化后位置坐標(biāo)和語義標(biāo)簽，完成梯度學(xué)習(xí)不斷減小損失的優(yōu)化過程后，輸出記錄著訓(xùn)練結(jié)果的模型文件；最后將未進行訓(xùn)練的數(shù)據(jù)作為待分割的測試數(shù)據(jù)與固定參數(shù)的模型一起輸入網(wǎng)絡(luò)，所有點共同參與輸入得到分割結(jié)果。

3.2 優(yōu)化后網(wǎng)絡(luò)對比

為了評估多層次局部特征優(yōu)化網(wǎng)絡(luò)的效果，選用每個點云數(shù)據(jù)區(qū)塊上的1 024 個點，分別在優(yōu)化前和優(yōu)化后的PointNet 網(wǎng)絡(luò)上進行實驗。圖5 為對初始網(wǎng)絡(luò)、首次優(yōu)化網(wǎng)絡(luò)、多尺度分組下的優(yōu)化網(wǎng)絡(luò)和多區(qū)域分組下的優(yōu)化網(wǎng)絡(luò)進行的分割準(zhǔn)確度分析比較結(jié)果。

圖5 網(wǎng)絡(luò)分割準(zhǔn)確率對比

從圖5 中可以看出，無論是多尺度分組還是多區(qū)域分組的優(yōu)化方式都有效地提高了網(wǎng)絡(luò)在面對數(shù)據(jù)丟失時的魯棒性，甚至在單個區(qū)域內(nèi)數(shù)據(jù)點丟失接近75%的情況下依然保持著85%以上的分割精度。最終在單個區(qū)域內(nèi)點量減少至128 個時，優(yōu)化的網(wǎng)絡(luò)仍然保持84.52%的分割準(zhǔn)確率。

3.3 站臺點云分割結(jié)果

在鐵路站臺點云分割的工程應(yīng)用中完成總數(shù)據(jù)量約3億個點的點云分割實驗，如圖6所示。點云被分割成5種類型地物的分割塊,分割塊按灰度分布從亮到暗依次表示月臺、隔道、遮雨棚、軌道和飛點，每個點按照(X,Y,Z)三維坐標(biāo)、RGB顏色和預(yù)測分?jǐn)?shù)7個維度進行輸出。從圖中可以看出，月臺、遮雨棚、軌道和隔道這4 類有著平行和垂直空間幾何特點的連續(xù)地物塊被清晰地分割出來，遮雨棚柱子、標(biāo)志牌和電線等作為飛點地物也被分割得較為理想。

圖6 站臺語義分割定性結(jié)果

從定量的角度分析，各類站臺地物的分割效果見表1。從表1 可知，總體分割精度達到75.34%，總體的平均聯(lián)合交集為46.59%，說明正確分割區(qū)域和地物真實區(qū)域重合度較高。其中，對月臺、軌道和隔道這3 類移動掃描小車臨近的地物分割效果較理想，滿足鐵路站臺侵界檢測的需求；另外，對遠處不規(guī)則出現(xiàn)的遮雨棚柱子、標(biāo)志牌和電線等飛點地物的類分割精度僅為65.51%，分割的準(zhǔn)確性有待提高。

表1 站臺地物分割定量結(jié)果 %

4 結(jié)論

本文針對廣州北站的三維激光點云數(shù)據(jù)的站臺及周邊地物的分割問題，分析了網(wǎng)絡(luò)整體的基礎(chǔ)架構(gòu)，并對其局部特征提取缺陷進行了網(wǎng)絡(luò)結(jié)構(gòu)上的改進，構(gòu)造的優(yōu)化網(wǎng)絡(luò)的實驗分割準(zhǔn)確率達到84.5%。最終在工程應(yīng)用中的點云總體分割精度達到75.34%，對月臺、軌道和隔道這三類地物的分割效果更為理想，分別達到78.74%、82.24%和77.21%的準(zhǔn)確度，分割結(jié)果滿足鐵路站臺侵界檢測的需求。本文方法通過點云分割獲得的帶有語義信息的點云數(shù)據(jù)可以快速地進行站臺中心線提取，便于和限界標(biāo)準(zhǔn)矢量線進行坐標(biāo)配準(zhǔn)以完成限界檢測。