機器學習在車載激光點云分類中的應用研究

李海亭, 肖建華, 李艷紅, 龐小平

(1.武漢市測繪研究院， 武漢 430022； 2.精密工程與工業(yè)測量國家測繪地理信息局重點實驗室， 武漢 430022;3.武漢大學 資源與環(huán)境科學學院， 武漢 430079)

?

李海亭1，2, 肖建華1，2, 李艷紅3*, 龐小平3

(1.武漢市測繪研究院， 武漢 430022； 2.精密工程與工業(yè)測量國家測繪地理信息局重點實驗室， 武漢 430022;3.武漢大學 資源與環(huán)境科學學院， 武漢 430079)

點云信息分類提取與利用是車載移動測量系統(tǒng)的關鍵技術，提高車載激光點云分類的智能化已成為當代信息科學技術發(fā)展所面臨的重要問題.從分析點云的特征入手，采用機器學習方法對車載激光點云的行道樹提取進行了大量實驗研究.首先，在點云原始特征的基礎上，根據(jù)其局部幾何特征及空間分布，構造了由三維空間位置、回波強度、顏色值、法向量、單位投影密度、殘差及回波強度維度內的殘差等17個特征值組成的點云高維特征向量，然后采用支持向量機和人工神經網絡兩種機器學習方法分別對行道樹點云進行提取實驗.實驗中采用了粒子群優(yōu)化算法對支持向量機進行參數(shù)尋優(yōu)，采用所構造的由17個特征值構成的特征向量對點云進行機器學習，兩種學習方法的行道樹點云分類精度分別可以達到99.75%和99.25%.實驗結果表明，采用機器學習的方法對于提高車載激光點云分類自動化程度和智能化水平具有重要意義和作用.

車載激光點云； 機器學習； 支持向量機； 人工神經網絡； 點云分類

點云信息自動化分類提取與利用是目前車載移動測量系統(tǒng)應用推廣的主要瓶頸.國內外專家學者圍繞車載激光點云的高程[1]、掃描線信息[2-3]、法向量[4]、投影密度[5-8]等進行了大量的信息分類提取方法研究.這些方法在一定程度上能夠實現(xiàn)車載激光點云數(shù)據(jù)分類，但在分類精度、分類的自動化程度和智能化水平等方面還有待改進.比如高程閾值法相對簡單，但分類結果精度較低；掃描線信息分類法可以快速實現(xiàn)不同目標的分類，但不適于復雜的城市地物環(huán)境；法向量估計法因其利用的特征單一，在城市復雜場景中可能導致分類效果不佳；投影點密度法適合于單個建筑物立面的提取，對于城市中密集建筑群立面的提取難度較大.針對車載點云數(shù)據(jù)量大、地理要素空間分布和局部幾何特征差異大等特點，目前難以用一種策略或者一個成熟的算法把大范圍復雜場景中的各種目標同時進行快速分類識別.因此，很多學者重點對某一類地物進行識別研究，其中研究較多的是針對建筑物[5，8-12]、道路[4，13-15]等的提取，而針對形態(tài)特征較為復雜的行道樹的研究相對較少.

智能化已成為當代信息科學技術發(fā)展的主流趨勢之一，而機器學習是實現(xiàn)智能化的關鍵.在激光點云的處理過程中，由于同類的點云數(shù)據(jù)除了具備相似的反射強度、顏色等信息，還往往具有相似的宏觀特性和局部幾何特性.因此可以利用這些特征構成特征向量，對激光點云進行分類提取.目前，國內外學者已使用機器學習方法對機載激光點云進行了分類研究[16-18]，但使用該方法對車載激光點云分類的研究比較少.由于車載激光點云數(shù)據(jù)與機載激光點云數(shù)據(jù)的特點不同，它具有采集方式靈活、點云密度高、采集數(shù)據(jù)更為精細等特點，使得很多針對機載激光掃描數(shù)據(jù)的具體處理方法不完全適用于車載激光點云的處理，把機器學習理論應用于車載激光點云的分類還有大量工作有待探討與深入.本文結合車載激光點云的上下文語義環(huán)境，根據(jù)車載激光點云的局部幾何特征及空間分布，構造了新的點云特征向量，采用支持向量機和人工神經網絡兩種機器學習方法對行道樹點云提取進行了實驗研究，提高了車載激光點云分類的自動化程度和智能化水平.

1 點云特征向量構建

1.1 點云原始特征及語義

車載移動測量系統(tǒng)多數(shù)集成了POS(Position & Orientation System)和全景相機，獲取的點云原始特征主要為三維空間坐標(X，Y，Z)、回波強度信息(Intensity)、GPS時間及點云顏色值(RGB).與圖像場景相似，點云目標識別還依賴于其上下文語義環(huán)境.與某點云對象鄰近的點群將會反映該點云對象的隱含特征.鄰近點群由點云對象的空間近鄰關系計算得出，因此可以采用點云對象與點群在多維空間內的關系作為其特征.例如在三維空間中，點云對象的特征包括點群擬合平面的法向量、單位投影密度、殘差等；在回波強度單一維度內有強度和、殘差均方根誤差等.

1.2 點云特征向量構建

根據(jù)車載激光點云的原始特征及上下文語義環(huán)境，研究中將點云對象特征歸納為三維空間位置(X，Y，Z)，回波強度(Intensity)，顏色值(RGB)，三維空間維度內的法向量(NormalVector)、單位投影密度(Density)、殘差(Residuals)、總殘差(ResidualsSum)、殘差均方根誤差(ResidualsRMSE)以及回波強度維度內的殘差(IResiduals)、總殘差(IResidualsSum)、殘差均方根誤差(IResidualsRMSE).實驗數(shù)據(jù)在同一時間段內采集，因此時間特征與點云呈弱相關，故時間特征忽略不計.

點云回波強度理論上與掃描場景的反射率成正比，即地物的反射率越高，激光回波強度值越大.盡管回波強度受大氣衰減、設備精度和激光入射角等多方面影響，但同類型的地物往往具有相近的激光反射強度.因此，激光反射強度是原始激光點云判別的一個重要依據(jù).

點云顏色由激光掃描點云與影像配準后獲得.顏色使點云在某種程度上具備了影像特征，點云包含的顏色信息在點云分割與分類研究中具有重要作用.

點云法向量由上下文語義環(huán)境生成，需要結合特定方法進行計算.不同類型的地物其激光點云的法向量方向不同，因此激光點的法向量信息可以應用于點云的分類識別.在特征值具體計算過程中，通常采用最小二乘法對點云對象特定距離范圍內的點群進行表面擬合，使得點群內的點到擬合表面的垂直距離平方和最小[19].多數(shù)擬合表面通常為非線性的.在滿足精度要求的前提下，為加快運算速度，可采用平面表面進行擬合.車載激光點云可采用公式(1)作為平面擬合的參數(shù)方程：

ax+by+cz=1，

(1)

其中，a，b，c為參數(shù)，x，y，z為變量，點云的法向量為(a，b，c).

單位投影密度是將點云數(shù)據(jù)投影到XOY平面后點云數(shù)量與投影面積比.由于采用既定距離作為點群的投影半徑，因此可直接使用點云數(shù)量(用m表示)作為該特征值.

殘差是指實際測定值與按回歸方程預測值之差，通常用表示.總殘差又稱殘差平方和，用δ表示，代表了隨機誤差的效應，一組點云數(shù)據(jù)的總殘差越小，其擬合程度越好.殘差均方根誤差(用σ表示)是絕對擬合指數(shù)，反映模型對數(shù)據(jù)的擬合程度.殘差均方根越接近0，表明擬合越好.分別計算在三維空間內和回波強度維度內的殘差、總殘差和殘差均方根誤差，其中δi，δ，σ分別表示三維空間內相對“擬合平面”的殘差、總殘差和殘差均方根誤差，Iδi，Iδ，Iσ分別表示回波強度維度內的殘差、總殘差和殘差均方根誤差.由此，共計算得出包括17個特征值在內的點云高維特征向量，如式(2)所示：

F=[X，Y，Z，Intensity，R，G，B，a，b，c，m，δi，δ，σ，Iδi，Iδ，Iσ]T.

(2)

2 機器學習方法

機器學習主要分兩大類：監(jiān)督學習和非監(jiān)督學習.其中監(jiān)督分類可充分利用先驗知識，預先確定分類類別，并通過反復檢驗訓練樣本，避免分類中的嚴重錯誤，提高分類精度.常用的監(jiān)督分類方法有最小距離法、多級切割法、最大似然法、K-近鄰、決策樹、支持向量機、人工神經網絡等.

多數(shù)機器學習方法大都把追求經驗風險最小化作為努力的目標，即追求分類器在樣本數(shù)據(jù)上的分類結果與真實結果之間的差值最小化.但有時在樣本集上能夠達到很高的正確率，而真實分類時效果卻不理想.同時，這些方法往往受到模型選擇與過學習問題、非線性和維數(shù)災難問題、局部極小點問題等的困擾[20].基于結構風險最小化的支持向量機與其他方法相比，在解決小樣本、非線性及高維模式識別問題中有其獨特的優(yōu)勢，具有泛化能力強、全局最優(yōu)和計算速度快等優(yōu)點[21].人工神經網絡是一種模仿人腦神經網絡結構及行為特征的一種簡化人腦數(shù)學模型，其計算模型主要有人工神經元模型、感知器模型、Hopfield網絡模型、自組織競爭網絡模型等，該方法一般可獲得較高精度的分類結果[22].

上述方法中，支持向量機和人工神經網絡模型均具有泛化能力強，分類精度高的特點，已在遙感影像要素分類提取中得到廣泛應用.本文根據(jù)車載激光點云具有高維度、非線性的特點，采用支持向量機和人工神經網絡方法對車載激光點云進行行道樹識別實驗.

3 分類實驗

3.1 數(shù)據(jù)采集與預處理

實驗采用的車載激光掃描儀角度分辨率為0.01°，X軸方向(沿道路方向)空間分辨率優(yōu)于1cm，點云數(shù)據(jù)具有空間坐標(X，Y，Z)、回波強度信息(Intensity)、顏色值(RGB)等原始特征.實驗區(qū)域為武漢市某主干道，道路長度150 m，點云數(shù)量2 984 872個.為計算方便，首先對原始點云數(shù)據(jù)進行預處理.預處理主要包括兩部分：1)點云裁剪.根據(jù)道路中心線提取道路兩側的點云數(shù)據(jù)；2)坐標轉換.通過角度旋轉、坐標平移、鏡像變換對點云進行處理.預處理過程對點云分類精度不會產生影響.預處理后的部分點云數(shù)據(jù)如圖1所示.

圖1 預處理后的點云數(shù)據(jù)Fig.1 Preprocessed point clouds

3.2 支持向量機分類

實驗在Matlab2011a環(huán)境下實現(xiàn)，支持向量機函數(shù)庫采用LibSVM，核函數(shù)為RBF(Radial Basis Function，徑向基函數(shù)).實驗采用粒子群優(yōu)化算法(Particle Swarm Optimization， PSO)對模型進行參數(shù)尋優(yōu).經多次實驗，設置點群半徑為0.15 m，種群數(shù)量為20，最大迭代次數(shù)為100，學習因子c1=1.5，c2=1.7.實驗中訓練樣本數(shù)量20 000個，其中行道樹掃描點數(shù)目10 000個；隨機抽取并生成測試樣本數(shù)量4 000個，其中行道樹掃描點數(shù)目1 000個.采用17個特征值構成特征向量，經計算，分類精度為99.75%，終止迭代次數(shù)為100，耗時12 599.88s.粒子群優(yōu)化的適應度曲線和行道樹點云分類結果分別如圖2和圖3所示.

圖2 粒子群優(yōu)化算法適應度曲線Fig.2 PSO fitness curve

圖3 采用支持向量機的行道樹點云提取結果Fig.3 Street trees point cloud classification based on support vector machine

3.3 人工神經網絡分類

實驗采用BP神經網絡算法對實驗數(shù)據(jù)進行分類提取，采用17個特征組成的特征向量，訓練樣本及測試樣本與采用支持向量機方法實驗中相同.具體算法在Matlab2012a環(huán)境下編程實現(xiàn).BP神經網絡采用三層結構，每層節(jié)點分別為10，10，2.激活函數(shù)分別采用Sigmoid、Sigmoid和purelin方法，并采用梯度下降函數(shù)進行訓練.由于訓練樣本數(shù)量不是很大，實驗嘗試利用較多的迭代次數(shù)和盡量小的期望誤差來提高分類精度.另外，由于學習速率較大容易引起振蕩，過小則導致訓練時間過長，收斂速度變慢.實驗先選取較小的學習速率以保障系統(tǒng)穩(wěn)定性，并通過觀察誤差下降曲線進行調整.經多次實驗，設置最大迭代次數(shù)為1 000，期望誤差為0.001，學習速率為0.002，訓練曲線如圖4所示.

圖4 人工神經網絡分類訓練曲線Fig.4 Training curve of artificial neural networks

經計算，程序終止迭代次數(shù)為1 000，耗時39s，測試樣本分類精度達99.25%.采用該神經網絡模型對實驗點云數(shù)據(jù)進行分類，結果如圖5所示.實驗結果表明：分類過程中雖然出現(xiàn)了花壇、灌木錯分的情況，但整體分類結果較好.

圖5 采用人工神經網絡的行道樹點云提取結果Fig.5 Street trees point cloud classification based on artificial neural networks

4 結論

本文通過對點云對象及周邊點群進行分析，構建了由17個特征構成的點云對象的高維特征向量.在此基礎上，采用支持向量機和人工神經網絡兩種機器學習方法進行了車載激光點云的行道樹提取實驗，實驗中兩種方法的測試樣本分類精度分別可達99.75%和99.25%.實驗表明，基于機器學習的自動分類方法在車載激光點云處理中具有良好的適用性，對提高點云的自動化和智能化處理具有較高的研究價值.

[1] 吳芬芳，李清泉，熊 卿.基于車載激光掃描數(shù)據(jù)的目標分類方法[J].測繪科學， 2007， 32(4):75-77．

[2]AbuhadrousI，AmmounS，NashashibiF，etal.Digitizingand3Dmodelingofurbanenvironmentsandroadsusingvehicle-bornelaserscannersystem[C]//lEEE/RSJInternationalConferenceonIntelligentRobotsandSystems， 2004: 76-81．

[3]ManandharD，ShibasakiR.Vehicle-borneLaserMappingSystem(VLMS)-anewobservationsystemfor3-Dmappingofurbanareas[C]//ProceedingsofIEEEJointWorkshoponRemoteSensingandDataFusionoverUrbanAreas，Rome，Italy， 2001: 5-9．

[4] 閆 利， 張 毅. 基于法向量模糊聚類的道路面點云數(shù)據(jù)濾波[J].武漢大學學報：信息科學版， 2007， 32(12):1119-1122．

[5] 李必軍， 方志祥， 任 娟. 從激光掃描數(shù)據(jù)中進行建筑物特征提取研究[J].武漢大學學報：信息科學版， 2003， 28(1):65-69．

[6] 史文中， 李必軍， 李清泉. 基于投影點密度的車載激光掃描距離圖像分割方法[J].測繪學報， 2005， 34(2):95-100．

[7] 楊必勝， 魏 征， 李清泉， 等. 面向車載激光掃描點云快速分類的點云特征圖像生成方法[J].測繪學報， 2010， 39(5):540-545．

[8] 盧秀山， 黃 磊. 基于激光掃描數(shù)據(jù)的建筑物信息格網化提取方法[J].武漢大學學報：信息科學版， 2007， 32(10):852-855．

[9] 王 健， 靳奉祥， 呂海彥， 等. 基于車載激光測距的建筑物立面信息提取[J].山東科技大學:自然科學版， 2003， 23(4):8-11．

[10] 楊 洋， 馬一薇， 楊靖宇. 基于車載激光掃描技術的窗戶提取與重建技術[J].海洋測繪， 2010， 30(3):48-51．

[11] 魏 征. 車載LiDAR點云中建筑物的自動識別與立面幾何重建[D].武漢:武漢大學， 2012．

[12] 楊必勝， 魏 征， 李清泉. 車載激光掃描點云中建筑物邊界的快速提取方法[C]//第一屆全國激光雷達對地觀測高級學術研討會， 北京， 2010， 156-162．

[13] 李永強， 盛業(yè)華， 劉會云， 等. 基于車載激光掃描的公路三維信息提取[J].測繪科學， 2008， 33(4):23-25．

[14] 王 果， 崔希民， 袁德寶， 等. 車載激光點云領域比較的道路邊線提取方法[J].測繪通報， 2012(9):55-57．

[15] 鄒曉亮， 繆 劍， 郭銳增， 等. 移動車載激光點云的道路標線自動識別與提取[J].測繪與空間地理信息， 2012， 35(9):5-8．

[16]LalondeJF，VandapelN，HuberDF.etal.Naturalterrainclassificationusingthree-dimensionalladardataforgroundrobotmobility[J].JournalofFieldRobotics， 2006， 23(10): 839-861．

[17] 喬紀綱， 劉小平， 張亦漢. 基于LiDAR高度紋理和神經網絡的地物分類[J].遙感學報， 2011， 15(3):546-553．

[18] 董保根. 機載LiDAR點云與遙感影像融合的地物分類技術研究[D].鄭州:中國人民解放軍信息工程大學，2013．

[19] 李艷紅. 車載移動測量系統(tǒng)數(shù)據(jù)配準與分類識別關鍵技術研究[D].武漢:武漢大學，2014．

[20] 員永生. 基于支持向量機分類的面向對象土地覆被圖像分類方法研究[D].楊凌:西北農林科技大學，2010．

[21] 鄧乃楊， 田英杰. 數(shù)據(jù)挖掘中的新方法——支持向量機[M].北京:科學出版社，2004．

[22] 修麗娜， 劉湘南. 人工神經網絡遙感分類方法研究現(xiàn)狀及發(fā)展趨勢探討[J].遙感技術與應用， 18(5)：339-345．

Application of machine learning in the vehicle-borne laser point cloud extraction

LI Haiting1，2， XIAO Jianhua1，2， LI Yanhong3， PANG Xiaoping3

(1.Wuhan Geometric Institute， Wuhan 430022；2.Key Laboratory of Precise Engineering & Industry Surveying， State Bereau of Surveying and Mapping， Wuhan 430022；3.School of Resource and Environmental Science， Wuhan University， Wuhan 430079)

Point cloud classification， extraction and utilization is the key technology of Vehicle-borne Mobile Measure System. Improving the intelligent level of laser point cloud classification has become an important task for the development of modern information science and technology. Based on the analysis of the point cloud characteristics， the street trees points extraction experiments have been done by using machine learning methods. According to the original features and its geometric context of the point cloud， a high-dimensional feature vector consisting of 17 characteristic values were generated, such as three-dimensional spatial features， echo intensity， colors， the normal vector， projection density， residuals Then， we recognized and extracted the street trees clouds by respectively using SVM (support vector machine， which has unique advantages in solving small sample， nonlinear and high dimensional pattern recognition problems) and ANN (artificial neural network， which can usually obtain high accuracy of classification results by imitating human brain neural network structure and behavior characteristics). Particle swarm optimization algorithm was used to optimize the model’s parameter in the SVM classification process. The classification accuracy of SVM and ANN reached 99.75% and 99.25%, respectively. The results showed that the machine learning is very useful to improve the intelligent level of vehicle-borne laser point cloud classifications．

vehicle-borne laser point cloud; machine learning; support vector machine; artificial neural network; point cloud classification

2015-01-14.

國家自然科學基金青年基金項目(41101449)；精密工程與工業(yè)測量國家測繪地理信息局重點實驗室開放研究基金項目(PF2011-26).

1000-1190(2015)03-0460-05

P22;TP18

A

*通訊聯(lián)系人. E-mail: yanhongli1979@163.com.