基于激光點(diǎn)云數(shù)據(jù)的植物器官多維特征分割方法

喻垚慎 云 挺 楊緒兵

(南京林業(yè)大學(xué)信息科學(xué)技術(shù)學(xué)院,南京，210037)

?

基于激光點(diǎn)云數(shù)據(jù)的植物器官多維特征分割方法

喻垚慎 云 挺 楊緒兵

(南京林業(yè)大學(xué)信息科學(xué)技術(shù)學(xué)院,南京，210037)

地面三維激光點(diǎn)云數(shù)據(jù)的植物器官分割，是林業(yè)信息化測(cè)量中的基礎(chǔ)性工作之一。本文在點(diǎn)云數(shù)據(jù)顏色相近、結(jié)構(gòu)復(fù)雜的情況下，首先提出了一種新的局部切平面分布特征，并構(gòu)造了融合原始掃描數(shù)據(jù)、散點(diǎn)空間分布特征、法向分布特征的多維融合特征，能夠更為有效地表征不同類別的植物器官。其次在分類器選擇上，采用標(biāo)準(zhǔn)SVM,PSVM,GEPSVM三種分類器作為對(duì)比，后續(xù)使用圖割理論進(jìn)行再分類，加強(qiáng)分類效果。根據(jù)多種比較實(shí)驗(yàn)表明，本文提出的多特征融合分割方法能有效對(duì)植物器官的點(diǎn)云數(shù)據(jù)進(jìn)行分類，其識(shí)別率可達(dá)到98%以上。

點(diǎn)云；植物器官；數(shù)據(jù)分割；多維特征；支持向量機(jī)

引 言

三維激光掃描是一種先進(jìn)的自動(dòng)化高精度立體掃描技術(shù)，亦稱之為實(shí)景復(fù)制技術(shù)。該技術(shù)已在林業(yè)資源調(diào)查、單木三維重建等方面得到初步應(yīng)用，與傳統(tǒng)林業(yè)信息調(diào)查方式相比，它是一種速度快、精度高、非破壞性的林業(yè)測(cè)量方式。目前國(guó)內(nèi)基于地面激光掃描技術(shù)的林業(yè)應(yīng)用研究尚處在起步階段。文獻(xiàn)[1]首次將三維激光掃描系統(tǒng)引入林業(yè)調(diào)查，對(duì)激光點(diǎn)云數(shù)據(jù)用計(jì)算機(jī)軟件建立三維模型，并從模型上直接測(cè)量相關(guān)測(cè)樹因子。文獻(xiàn)[2]證實(shí)了三維激光掃描系統(tǒng)可以實(shí)現(xiàn)高精度的林業(yè)檢測(cè)。文獻(xiàn)[3]使用激光掃描系統(tǒng)進(jìn)行相關(guān)森林計(jì)測(cè)研究，結(jié)果表明三維激光掃描系統(tǒng)是一種切實(shí)可行的精確測(cè)樹工具。文獻(xiàn)[4]對(duì)比傳統(tǒng)研究手段，顯示地面三維激光掃描技術(shù)在測(cè)樹效率、三維建模、模型化精度等方面具有較大優(yōu)勢(shì)。上述文獻(xiàn)都是直接使用點(diǎn)云數(shù)據(jù)，利用圖像軟件建模，并沒有對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行分類識(shí)別，區(qū)分植物器官。文獻(xiàn)[5-6]使用三維激光掃描儀，通過分層投影的方法，測(cè)量了樹的有效葉面積，該方法受到樹葉之間相互遮擋的影響，無法避免測(cè)量所造成的誤差，且無法比較估計(jì)有效葉面積與真實(shí)葉面積的真實(shí)誤差。根據(jù)黃洪宇等的綜述文獻(xiàn)[7]，迄今為止，尚未出現(xiàn)一種行之有效的植物點(diǎn)云數(shù)據(jù)分類方法。文獻(xiàn)[8]提出了分別以樹冠、枝干、地面為目標(biāo)的分類方法，主要適用于大范圍景物識(shí)別，無法實(shí)現(xiàn)單木精細(xì)植物器官分類。文獻(xiàn)[9]構(gòu)造散點(diǎn)空間分布特征，使用支持向量機(jī)(Support vector machine，SVM)對(duì)葡萄藤的植物結(jié)構(gòu)進(jìn)行了分類，但并沒有充分考慮葉面與枝干的幾何形態(tài)特性。

本文在上述工作基礎(chǔ)上，結(jié)合葉面與枝干的幾何形態(tài)特點(diǎn)，考慮流形結(jié)構(gòu)特性，構(gòu)造局部切平面分布特征，從而組成多維融合特征，以期提高分類效果。就分類方法而言，SVM因其性能卓越，是較為經(jīng)典的分類器之一。此外，考慮到SVM訓(xùn)練時(shí)間過長(zhǎng)等問題，本文與文獻(xiàn)[10-11]使用的近似支持向量機(jī)(Proximal SVM，PSVM)和廣義特征值近似支持向量機(jī)(PSVM via generalized eigenvalues，GEPSVM)兩種分類器進(jìn)行對(duì)比。

1 點(diǎn)云數(shù)據(jù)多維特征生成方法

激光點(diǎn)云數(shù)據(jù)量大、分布離散，且單點(diǎn)信息量小，因此要盡可能挖掘其中的結(jié)構(gòu)信息(如鄰域信息、流形結(jié)構(gòu)等)，而此類結(jié)構(gòu)信息的刻畫也是一個(gè)難點(diǎn)。本文主要由局部切平面描述局部曲面，考慮在原始點(diǎn)云數(shù)據(jù)中融入枝、葉的流形結(jié)構(gòu)和鄰域信息，同時(shí)結(jié)合已有的特征描述方法：散點(diǎn)空間分布特征和法向分布特征，構(gòu)成多維融合特征。

1．1 局部切平面分布特征

由于數(shù)學(xué)模型難以準(zhǔn)確刻畫曲面信息，因而無法直接嵌入點(diǎn)云數(shù)據(jù)的結(jié)構(gòu)信息。取而代之，本文嘗試采用局部切平面來間接表示局部曲面。從植物生理結(jié)構(gòu)和點(diǎn)云拓?fù)鋪砜矗c(diǎn)云曲面理論上是不能自相交的，而該特性恰好可用流形結(jié)構(gòu)予以表達(dá)。本文考慮使用切平面和流形結(jié)合的方法，即流形局部切空間[12-13]來構(gòu)造點(diǎn)云鄰域信息。

(1)

(2)

(3)

(4)

(5)

(6)

1．2 散點(diǎn)空間分布特征

文獻(xiàn)[9]使用散點(diǎn)空間分布特征來表示某樣本點(diǎn)的鄰域范圍內(nèi)點(diǎn)云分布情況。其主要思想將局部鄰域點(diǎn)劃分為3類即散亂點(diǎn)、線狀點(diǎn)和面狀點(diǎn)，枝干主要為線狀點(diǎn)，而葉面主要為面狀點(diǎn)。

(7)

(8)

符號(hào)“≈”表示近似相等(非約等號(hào)，即與另一元素相比，兩者可認(rèn)為相等)，符號(hào)“?”表示遠(yuǎn)大于[15]。

文獻(xiàn)[9]采用一個(gè)三維向量表示空間分布特征

(9)

對(duì)于每一點(diǎn)，可按式計(jì)算其鄰域空間分布特征，作為其散點(diǎn)空間分布特征，記為

(10)

1．3 法向分布特征

在葉面和枝干在法向分布上具有顯著區(qū)別的前提下，文獻(xiàn)[8]提出了法向分布特征。

對(duì)于樣本點(diǎn)xs∈R3的k鄰域Nk，文獻(xiàn)[16]可用局部擬合平面進(jìn)行法向估算，設(shè)點(diǎn)處的擬合平面為

(11)

平面系數(shù)可通過求解超定線性方程組XTβ=0確定，其中

(12)

矩陣XXT的最小特征值對(duì)應(yīng)的特征向量就是平面參數(shù)的估計(jì)值，估算xi的單位法向量即為

(13)

構(gòu)造法向的鄰域協(xié)方差矩陣

(14)

(15)

1．4 特征融合

由給定的r和k，根據(jù)上述小節(jié)，分別生成局部切平面分布特征FLTS、散點(diǎn)空間分布特征Fsaliency、法向分布特征Fnormal。將上述計(jì)算生成的所有特征與原始數(shù)據(jù)Forigin復(fù)合，形成多維融合特征

(16)

2 數(shù)據(jù)采集及預(yù)處理

2．1 數(shù)據(jù)采集

本文采用Leica scan station C10激光掃描儀，得到的數(shù)據(jù)包含點(diǎn)云坐標(biāo)位置、反射強(qiáng)度、RGB顏色的7 維點(diǎn)云數(shù)據(jù)(x,y,z,intensity,r,g,b)[17]。對(duì)校園內(nèi)一株5～6年生的長(zhǎng)蕊含笑進(jìn)行掃描，該樹葉片較為稀疏，掃描時(shí)葉片間不容易產(chǎn)生遮擋，能夠較為真實(shí)地獲得整株植物形態(tài)結(jié)構(gòu)，如圖1所示。

2.2 數(shù)據(jù)預(yù)處理

在數(shù)據(jù)預(yù)處理階段，對(duì)原始數(shù)據(jù)進(jìn)行初始加工。C10掃描儀的反射強(qiáng)度值范圍為-2 000～2 000，將原始數(shù)據(jù)中反射強(qiáng)度值歸至-1～1范圍；將原始數(shù)據(jù)中RGB顏色歸一化處理；給定球半徑r=0.02，對(duì)所有點(diǎn)搜索r鄰域，若在r鄰域內(nèi)沒有近鄰點(diǎn)，則認(rèn)為該點(diǎn)為噪聲點(diǎn)，將其刪除；選取k近鄰個(gè)數(shù)k=50，并據(jù)此計(jì)算生成所有樣本點(diǎn)的融合特征。使用Cyclone軟件對(duì)原始樣本進(jìn)行人工切割，對(duì)一部分樹葉和枝干數(shù)據(jù)進(jìn)行類別標(biāo)號(hào)，如圖2所示，其中黑色點(diǎn)表示葉片，灰色點(diǎn)表示枝干。

3 實(shí)驗(yàn)結(jié)果與分析

3．1 測(cè)試結(jié)果

本文實(shí)驗(yàn)使用Matlab R2013a環(huán)境，在Intel CoreTM2 Duo 2.53 GHz，內(nèi)存4 GB的計(jì)算機(jī)上進(jìn)行。在實(shí)驗(yàn)中，帶有類別標(biāo)號(hào)的樣本點(diǎn)總計(jì)8 784個(gè)，依次從兩類訓(xùn)練樣本中隨機(jī)選取500～3 500個(gè)點(diǎn)作為訓(xùn)練樣本，其余樣本點(diǎn)作為測(cè)試樣本。使用3組分類器，其中SVM使用Libsvm工具箱[18]，采用高斯核函數(shù)，參數(shù)u選取在2-7～27內(nèi)對(duì)訓(xùn)練樣本分類效果最高的對(duì)應(yīng)參數(shù)。PSVM和GEPSVM分類器為本文編程實(shí)現(xiàn)，其中正則化參數(shù)ν和δ選取10-7～107內(nèi)對(duì)訓(xùn)練樣本分類效果最高的對(duì)應(yīng)參數(shù)。在特征對(duì)比試驗(yàn)中，分別使用以下幾種特征進(jìn)行對(duì)比

(17)

圖5 GEPSVM識(shí)別率 Fig．5 Recongnition rate of GEPSVM

3組分類器的實(shí)驗(yàn)結(jié)果如圖3～5所示，均反映出局部切平面分布特征是枝葉分離方法中的顯著特征，該特征不僅從理論上可以幾何解釋枝葉分離的依據(jù)，并且從實(shí)驗(yàn)效果來看，能進(jìn)一步增強(qiáng)枝葉分離效果。多維融合特征具有最好的分類效果，能有效提升分類識(shí)別率。同時(shí)實(shí)驗(yàn)還可以看出，SVM對(duì)樣本個(gè)數(shù)較為敏感，訓(xùn)練樣本越多，其分類性能越好；而PSVM和GEPSVM的分類效果較為穩(wěn)定。

對(duì)比3組分類器對(duì)融合特征識(shí)別效果， 如圖6所示。在測(cè)試樣本實(shí)驗(yàn)中，標(biāo)準(zhǔn)SVM較PSVM和GEPSVM識(shí)別效果更好，且隨樣本數(shù)增多，效果有一定程度的提升；PSVM和GEPSVM識(shí)別效果穩(wěn)定，識(shí)別率均略低于SVM。如圖7所示，SVM隨著訓(xùn)練樣本的增多，訓(xùn)練時(shí)間呈指數(shù)遞增，當(dāng)樣本數(shù)過大時(shí)，SVM將消耗大量的訓(xùn)練時(shí)間；而PSVM和GEPSVM，隨著訓(xùn)練樣本的增多，呈線性增長(zhǎng)，且GEPSVM的增長(zhǎng)速度低于PSVM。

3．2 枝葉分離效果

實(shí)驗(yàn)中，首先對(duì)樣本所在的上半部分樹進(jìn)行了枝葉分離測(cè)試，如圖8所示。訓(xùn)練樣本集從該部分點(diǎn)云中抽取，實(shí)驗(yàn)顯示其枝葉分離效果較好，基本能將所有葉片和枝干完全分離出來。對(duì)整株樹進(jìn)行枝葉分離測(cè)試，以黑色點(diǎn)表示葉片，以灰色點(diǎn)表示枝干，如圖9所示。本文發(fā)現(xiàn)使用SVM對(duì)樹上半部分分類效果較好，而樹的下半部分分類效果很差。這是因?yàn)閷?shí)驗(yàn)所用的訓(xùn)練樣本均來自于樹上半部分，而SVM受訓(xùn)練樣本影響較大，因此對(duì)上半部分有較好的識(shí)別率。對(duì)比圖 10和圖11，使用PSVM和GEPSVM分類效果相近，從不同角度觀察顯示，其分類效果明顯，基本能將整株樹的枝葉分離開來，且避免了標(biāo)準(zhǔn)SVM受訓(xùn)練樣本影響的問題。

4 結(jié)束語

研究結(jié)果表明，本文新構(gòu)造的局部切平面分布特征能有效提升點(diǎn)云數(shù)據(jù)的識(shí)別精度，提出的多維融合特征結(jié)合SVM系列分類器的點(diǎn)云數(shù)據(jù)植物器官分割方法能夠進(jìn)一步加強(qiáng)分類效果。與目前所知的各類點(diǎn)云數(shù)據(jù)分割方法相比，本文提出的方法能夠更為有效的實(shí)現(xiàn)對(duì)植物不同器官的點(diǎn)云數(shù)據(jù)進(jìn)行分割。在點(diǎn)云數(shù)據(jù)量大的情況下，SVM分類器需要消耗大量的訓(xùn)練時(shí)間，為實(shí)時(shí)獲得分類結(jié)果，在實(shí)驗(yàn)效果下降不明顯的考慮下，本文使用PSVM或者GEPSVM作為替代分類器。本文基于有監(jiān)督學(xué)習(xí)的分類方法，前期仍需人工標(biāo)記部分訓(xùn)練樣本，并沒有實(shí)現(xiàn)全自動(dòng)化枝葉分離，而且訓(xùn)練樣本的標(biāo)定在一定程度上受到人為因素制約。標(biāo)記的準(zhǔn)確與否會(huì)直接影響到分類器性能，這也是后續(xù)研究中需要改進(jìn)和克服的問題。此外，針對(duì)此類問題，如何構(gòu)造半監(jiān)督學(xué)習(xí)方法，也是后繼工作之一。

[1] 鄧向瑞,馮仲科,羅旭.三維激光掃描系統(tǒng)在林業(yè)中的應(yīng)用研究[J].北京林業(yè)大學(xué)學(xué)報(bào), 2005, 27(S2): 43-47.

Deng Xiangrui, Feng Zhongke, Luo Xu. Application of three-dimensional laser scanning system in forestry[J]. Journal of Beijing Forestry University, 2005, 27(S2): 43-47.

[2] 韓光瞬,馮仲科,劉永霞,等.三維光掃描系統(tǒng)測(cè)樹原理及精度分析[J].北京林業(yè)大學(xué)學(xué)報(bào), 2005, 27(S2): 187-190.

Han Guangshun, Feng Zhongke, Liu Yongxia, et al. Forest measurement principles and precision analysis of three-dimensional laser scanning system[J]. Journal of Beijing Forestry University, 2005, 27(S2): 187-190.

[3] 羅旭,馮仲科,鄧向瑞,等.三維激光掃描成像系統(tǒng)在森林計(jì)測(cè)中的應(yīng)用[J].北京林業(yè)大學(xué)學(xué)報(bào), 2007, 29(S2): 82-87.

Luo Xu, Feng Zhongke, Deng Xiangrui, et al. Application of 3D laser scanning imaging system in forest measuring[J]. Journal of Beijing Forestry University, 2007, 29(S2): 82-87.

[4] 趙陽(yáng),余新曉,信忠保,等.地面三維激光掃描技術(shù)在林業(yè)中的應(yīng)用與展望[J].世界林業(yè)研究, 2010, 23(4): 41-45.

Zhao Yang, Yu Xinxiao, Xin Zhongbao, et al. Application and outlook of terrestrial 3D laser scanning technology in forestry[J]. World Forestry Research, 2010, 23(4): 41-45.

[5] Zheng G, Monika M L. Computational-geometry-based retrieval of effective leaf area index using terrestrial laser scanning[J]. Geoscience and Remote Sensing, IEEE Transactions on, 2012, 50(10): 3958-3969.

[6] Zheng G, Monika M L. Leaf orientation retrieval from terrestrial laser scanning (TLS) data[J]. Geoscience and Remote Sensing, IEEE Transactions on, 2012, 50(10): 3970-3979.

[7] 黃洪宇,陳崇成,鄒杰,等.基于地面激光雷達(dá)點(diǎn)云數(shù)據(jù)的單木三維建模綜述[J].林業(yè)科學(xué), 2013, 49(4): 123-130.

Huang Hongyu, Chen Chongcheng, Zou Jie, et al. Tree geometrical 3D modeling from terrestrial laser scanned point clouds: A review[J]. Scientia Silvae Sinicae, 2013, 49(4): 123-130.

[8] 袁夏,趙春霞,張浩峰,等.基于點(diǎn)云數(shù)據(jù)的自然地形分類算法[J].南京理工大學(xué)學(xué)報(bào)：自然科學(xué)版, 2010, 34(2): 222-226.

Yuan Xia, Zhao Chunxia, Zhang Haofeng, et al. Nature terrain classification using point cloud data[J]. Journal of Nanjing University of Science and Technology:Natural Science, 2010, 34(2): 222-226.

[9] Dey D, Mummert L, Sukthankar R. Classification of plant structures from uncalibrated image sequences[C]∥ Applications of Computer Vision (WACV). Breckenridge,CO,USA:IEEE, 2012,329-336.

[10]Fung G, Mangasarian O L. Proximal support vector machine classifiers[C]∥ Proceedings KDD-2001: Knowledge Discovery and Data Mining. New York,NY,USA:ACM,2001:77-86.

[11]Mangasarian O L, Wild E W. Multisurface proximal support vector machine classification via generalized eigenvalues[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(1): 69-74.

[12]Zha Hongyuan, Zhang Zhenyue. Spectral properties of the alignment matrices in manifold learning[J]. SIAM Review, 2009, 51(3): 545-566.

[13]Zhang Zhenyue, Zha Hongyuan. Principal manifolds and nonlinear dimension reduction via local tangent space alignment[J]. SIAM Journal of Scientific Computing, 2002, 26: 313-338.

[14]許熳鋒.無監(jiān)督流形學(xué)習(xí)算法的若干探討[D]. 杭州：浙江大學(xué),2010.

[15]Lalonde J F, Vandapel N, Huber D, et al. Natural terrain classification using three-dimensional ladar data for ground robot mobility[J]. Journal of Field Robotics, 2006, 23(10): 839-861.

[16]楊楠,校江超,王明海.利用點(diǎn)云數(shù)據(jù)的法矢及曲率估算[J].現(xiàn)代制造工程, 2010(7): 35-38.

Yang Nan, Xiao Jiangchao, Wang Minghai. Estimation of normal and curvature based on point cloud data[J]. Modern Manufacturing Engineering, 2010(7): 35-38.

[17]李超,程浩,王芳.三維激光掃描儀在林木測(cè)量方面的應(yīng)用[J].測(cè)繪通報(bào), 2011(11): 84-85.

[18]Chang Chihchung, Lin Chihjen. LIBSVM: A library for support vector machines[J]. ACM Transactions on Intelligent Systems and Technology, 2007，2(3):389-396.

Multi-Dimension Feature Segmentation Method of Foliage Organs Based on Laser Point Cloud Data

Yu Yaoshen, Yun Ting, Yang Xubing

(College of Information Science and Technology,Nanjing Forestry University, Nanjing, 210037, China)

The segmentation of foliage organs from 3D point clouds is an elemental work of forestry informatization measurement. However, the foliage point cloud data has a similar color, and the point construction is complex which can not be expressed easily. Therefore, a novel feature called local tangent plane distribution is proposed, and fused with original data, scatter spatial distribution and normal distribution to construct a multi-dimension feature, which can characterize different foliage organs more effectively. Then three kinds of classifiers, including standard SVM, PSVM, GEPSVM, are used as a comparison. And then the graph cut is also utilized for a re-classification at subsequent processing to improve the classification performance. A variety of comparative experimental results show that the proposed mutli-dimension feature segmentation method can effectively classify the foliage organs from point cloud data. The recognition rate can reach 98%.

point clouds; foliage organs; data segmentation; multi-dimensions feature; support vector machine

國(guó)家自然科學(xué)基金(31300472)資助項(xiàng)目；江蘇省自然科學(xué)基金(BK2012815，BK2012418)資助項(xiàng)目。

2014-06-03；

2014-07-07

TP391.4;TP79

A

喻垚慎(1989-)，男，碩士研究生，研究方向：模式識(shí)別及神經(jīng)計(jì)算，E-mail：yaoshen.yu@outlook.com。

云挺(1980-)，男，副教授，研究方向：數(shù)字圖像處理及模式識(shí)別。

楊緒兵(1973-)，男，副教授，研究方向：模式識(shí)別及神經(jīng)計(jì)算。