面向?qū)ο蟮膬A斜攝影測量點(diǎn)云分類方法

何 雪， 鄒崢嶸， 張?jiān)粕?杜守基， 鄭 特

(中南大學(xué)地球科學(xué)與信息物理學(xué)院，長沙 410083)

0 引言

得益于影像密集匹配技術(shù)[1-2]和機(jī)載激光掃描技術(shù)[3]的發(fā)展，可以方便地獲取高精度、高密度的三維點(diǎn)云數(shù)據(jù)，這些點(diǎn)云數(shù)據(jù)可以應(yīng)用于三維城市建模、災(zāi)害評估、地圖更新和城市規(guī)劃等方面[4]。近年來，傾斜航空攝影技術(shù)得到了迅速的發(fā)展(如國內(nèi)的SWDC-5，TopDC和AMC-580等)，可以通過密集匹配方法從多角度航空傾斜影像中獲取具有立面信息的高密度點(diǎn)云，也稱為傾斜攝影測量點(diǎn)云。然而，這些點(diǎn)云數(shù)據(jù)并不具備語義信息，點(diǎn)云分類成為點(diǎn)云應(yīng)用的關(guān)鍵所在，高精度的點(diǎn)云分類具有極大的研究價(jià)值和現(xiàn)實(shí)意義。

目前，針對激光點(diǎn)云分類的方法較多，Gerke等[5]采用圖割算法，綜合歸一化高度、法向量的Z分量、影像上線段長度、顏色和紋理等特征將LiDAR點(diǎn)云分成建筑物、樹木、草地和地面4類； Guan等[6]采用隨機(jī)森林分類方法，綜合基于光譜的特征、基于LiDAR的幾何特征以及強(qiáng)度特征將LiDAR點(diǎn)云分成建筑物、樹木、地面和草地4類； Xu等[4]通過點(diǎn)、平面和均值漂移3方面的特征對LiDAR點(diǎn)云進(jìn)行分類，并比較了AdaBoost、隨機(jī)森林、ANN_MLP(artificial neural networks multiple layer perceptrons)、支持向量機(jī)(support vector machine，SVM)和Rule-based這5種分類器的分類效果； 徐宏根等[7]根據(jù)三角網(wǎng)坡度信息熵，利用面向?qū)ο蟮姆绞綄iDAR點(diǎn)云的植被和建筑物進(jìn)行區(qū)分。然而，和傾斜航空攝影技術(shù)相比，激光掃描技術(shù)獲得建筑物立面的點(diǎn)較少，故傾斜攝影測量點(diǎn)云的應(yīng)用[8-10]具有廣泛的需求。目前針對攝影測量點(diǎn)云的分類較少，比較有代表性的包括： Rau等[11]提出基于規(guī)則的層次語義面向?qū)ο蠓诸惙椒?，綜合幾何、光譜和拓?fù)涮卣鲗A斜攝影測量點(diǎn)云分類成樹木、草地、立面、屋頂和道路5類，該方法需要較多的閾值； Gerke等[12]比較了監(jiān)督分類和非監(jiān)督分類2類方法在傾斜攝影測量點(diǎn)云分類上的應(yīng)用效果，但主要針對比較簡單的場景。

綜上，本文提出一種面向?qū)ο蟮膬A斜攝影測量點(diǎn)云監(jiān)督分類方法。由于在監(jiān)督分類方法中，隨機(jī)森林算法和SVM分類精度相當(dāng)[13]，且在計(jì)算效率、對異常值和噪聲的魯棒性、內(nèi)部誤差估計(jì)和變量重要性等方面具有優(yōu)越性[6]，因此本文采用隨機(jī)森林分類器進(jìn)行分類。根據(jù)目標(biāo)對象的顏色和幾何等特征將點(diǎn)云分成屋頂、地面、植被和立面4類。本文方法流程如圖1 所示。

圖1 本文方法流程

1 分類方法

1.1 點(diǎn)云特征計(jì)算

本文分類方法采用的特征如下：

1)法向量nx，ny和nz。每一點(diǎn)的法向量定義為對其k(本文取k=8) 鄰域內(nèi)的點(diǎn)進(jìn)行最小二乘擬合得到的平面法向量。

2)顏色信息B，G和R。其值分別為影像每個(gè)像素藍(lán)光、綠光和紅光3通道的DN值，在影像密集匹配時(shí)直接獲取。

3)歸一化高程N(yùn)z。本文利用文獻(xiàn)[14]方法分離地面點(diǎn)并內(nèi)插得到數(shù)字地形模型(digital terrain model，DTM)，然后每一點(diǎn)減去DTM的對應(yīng)高度以獲取歸一化高度。

4)綠信比Gr。由于植被區(qū)域綠光波段DN值一般比紅光和藍(lán)光波段DN值高，因此本文采用綠信比來區(qū)分植被[8]，即

(1)

5)局部擬合平面垂直度fv。假設(shè)平面方程為

ax+by+cz+d=0 ,

(2)

式中：x，y和z為點(diǎn)的坐標(biāo)；a，b，c和d為平面擬合方程的參數(shù)。那么，fv定義為

fv(pi)=|c| ,

(3)

式中pi為第i個(gè)點(diǎn)。fv的取值范圍為(0，1)，當(dāng)擬合平面接近于鉛垂面時(shí)，fv的值趨近于1。

6)局部平面擬合度fp。通常情況下，建筑物屋頂比較規(guī)則，多由平面組成，而植被區(qū)表面不規(guī)則，因此平面擬合度可以作為一個(gè)分類特征，即

(4)

式中：n為鄰域點(diǎn)數(shù)；dj為第j個(gè)鄰域點(diǎn)到平面的距離。計(jì)算平面擬合度時(shí)，利用一定鄰域內(nèi)的點(diǎn)擬合一個(gè)平面，然后計(jì)算所有擬合該平面的點(diǎn)到該平面距離的負(fù)數(shù)指數(shù)冪作為fp。fp的取值范圍為(0，1)，局部鄰域越接近于平面，fp的值越小。

1.2 對象分割與特征計(jì)算

本文采用的點(diǎn)云為SURE軟件[15]生成的密集點(diǎn)云，每一張影像對應(yīng)一個(gè)點(diǎn)云文件。并采用間接的方法獲得點(diǎn)云對象，即首先利用簡單線性迭代聚類(simple linear iterative clustering，SLIC)算法將點(diǎn)云對應(yīng)的影像分割成超像素，該算法僅需要指定超像素的數(shù)量m[16]； 然后，利用共線方程將點(diǎn)云投影到影像上； 再根據(jù)超像素分割的結(jié)果將點(diǎn)云聚類成不同的超體素，作為本文分類的對象。在獲取了點(diǎn)云對象之后，根據(jù)對象中所包含的單點(diǎn)的特征向量，采用式(5)計(jì)算對象的特征向量，即

(5)

式中：fo表示對象的特征向量；fl表示第l個(gè)單點(diǎn)的特征向量；N表示一個(gè)對象中包含的單點(diǎn)數(shù)量。

1.3 隨機(jī)森林算法

隨機(jī)森林算法由Breiman 于2001年提出[17]。該算法的基本思想是用隨機(jī)的方式建立一個(gè)森林，森林中含有很多決策樹，每一棵樹都是二叉樹的形式。在生成森林之后，當(dāng)輸入新的樣本時(shí)，每棵決策樹便會對其進(jìn)行判斷，然后根據(jù)所有的判斷結(jié)果選出票數(shù)最多的作為最終的分類結(jié)果[18]。

針對待處理的點(diǎn)云數(shù)據(jù)，首先選取了4個(gè)類別(建筑物屋頂、地面、植被和建筑物立面)的少量樣本數(shù)據(jù)，然后選取20%的樣本作為訓(xùn)練數(shù)據(jù)，剩余的樣本作為測試數(shù)據(jù)。本文將點(diǎn)云特征構(gòu)成的10維特征向量直接輸入到隨機(jī)森林分類器中，在訓(xùn)練分類器之后，利用測試數(shù)據(jù)評價(jià)分類正確率。由于對象的數(shù)量對分類結(jié)果有較大影響，因此本文測試了不同對象數(shù)量的分類效果，然后選擇效果較好的分類器對所有待處理點(diǎn)云(即總體數(shù)據(jù))進(jìn)行分類。

1.4 后處理優(yōu)化

初始分類結(jié)果中不可避免地存在錯(cuò)誤分類，因此本文進(jìn)一步利用上下文關(guān)系對初始分類結(jié)果進(jìn)行優(yōu)化。首先，對分類結(jié)果進(jìn)行聯(lián)通分析，將具有鄰接關(guān)系的同類點(diǎn)云聚成簇； 然后，根據(jù)上下文關(guān)系對其進(jìn)行優(yōu)化處理，具體包括以下3個(gè)規(guī)則： ①對于屋頂簇,如果屋頂周圍沒有立面，則認(rèn)為該屋頂是錯(cuò)分的，根據(jù)其鄰域中所占比例最高的類別來修正其類別； ②對于地面簇,如果地面的周圍只有屋頂，則將該地面修正為屋頂； ③對于立面簇,如果立面周圍沒有屋頂，則該立面是錯(cuò)分的，根據(jù)其鄰域中所占比例最高的類別來修正其類別。

2 實(shí)驗(yàn)與分析

2.1 數(shù)據(jù)準(zhǔn)備

為了驗(yàn)證本文方法，采用了如圖2所示的2組數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。該點(diǎn)云(如圖2(a)和(d)所示)均由SWDC-5影像生成，密度約為20～30 pt/m2。圖2(b)和(e)分別為彩色點(diǎn)云對應(yīng)的原始影像，圖2(c)和(f)分別為將點(diǎn)云投影到原始影像上的疊加效果，從圖2(c)和(f)可以看出點(diǎn)云并沒有完全覆蓋原始影像，所以當(dāng)影像分割成一定的超像素時(shí)，實(shí)際需要分類的對象數(shù)量小于該數(shù)值。本文參考數(shù)據(jù)由人工在原始影像上進(jìn)行標(biāo)注，精度評定時(shí)，將分類后的點(diǎn)云投影到原始影像上，與參考數(shù)據(jù)進(jìn)行對比計(jì)算精度。

(a) 第1組彩色點(diǎn)云 (b) 第1組原始影像 (c) 第1組點(diǎn)云投影到影像

(d) 第2組彩色點(diǎn)云 (e) 第2組原始影像 (f) 第2組點(diǎn)云投影到影像

圖2數(shù)據(jù)源

Fig.2Datasources

由于對象的數(shù)量對分類結(jié)果有較大的影響，分別測試了m取80 000，100 000和150 000時(shí)的分類效果。表1為每組數(shù)據(jù)的訓(xùn)練集、測試集和總體數(shù)據(jù)的點(diǎn)云對象數(shù)量。

表1 實(shí)驗(yàn)數(shù)據(jù)集Tab.1 Experimental datasets (個(gè))

2.2 分類器訓(xùn)練結(jié)果

根據(jù)不同的m值，利用表1所列的訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集分別進(jìn)行了3次實(shí)驗(yàn)，表2為每次分類的Kappa系數(shù)和分類精度。

表2 分類器訓(xùn)練結(jié)果Tab.2 Learning results of classifier

從表2可以看出，2組數(shù)據(jù)均在m=100 000時(shí)取得最佳分類結(jié)果。

圖3分別描述了2組數(shù)據(jù)特征重要性直方圖。

從圖3可以看出nz，Nz，fv，Gr以及顏色特征對于分類具有重要作用，nx，ny和fp作用相對較?。?當(dāng)m取值不同時(shí)，各個(gè)特征的重要性基本一致。

(a) 第1組 (b) 第2組

圖3數(shù)據(jù)特征重要性

Fig.3Importanceofdatasetsfeatures

2.3 總體數(shù)據(jù)分類實(shí)驗(yàn)結(jié)果

根據(jù)2.2節(jié)結(jié)果，本文采用m=100 000時(shí)訓(xùn)練的隨機(jī)森林分類器對總體數(shù)據(jù)進(jìn)行分類，然后對初始分類結(jié)果進(jìn)行優(yōu)化。結(jié)果可視化效果如圖4所示。

(a) 第1組初始分類結(jié)果 (b) 第1組優(yōu)化后分類結(jié)果

(c) 第2組初始分類結(jié)果 (d) 第2組優(yōu)化后分類結(jié)果

圖4分類結(jié)果可視化

Fig.4Visualizationforclassificationresults

圖4(a)和(c)為直接利用分類器的分類效果，圖4(b)和(d)為優(yōu)化以后的分類效果。從結(jié)果可以看出僅使用少量樣本數(shù)據(jù)進(jìn)行訓(xùn)練也可以取得較好的分類效果，經(jīng)過優(yōu)化后，初始分類結(jié)果中的一些錯(cuò)誤分類進(jìn)一步得到了改正。

為了實(shí)現(xiàn)與基于單點(diǎn)的分類方法進(jìn)行對比，表3為2組總體數(shù)據(jù)基于單點(diǎn)、面向?qū)ο蠛兔嫦驅(qū)ο蠓诸惒?yōu)化后的分類精度。

表3 總體分類精度Tab.3 Overall accuracy (%)

從表3中可以看出，即使沒有對面向?qū)ο蟮姆诸惙椒ㄟM(jìn)行后處理，其總體分類精度也都高于基于單點(diǎn)的分類方法，2組實(shí)驗(yàn)數(shù)據(jù)的總體分類精度分別比基于單點(diǎn)的分類方法提高1.1%和5.0%，充分說明了面向?qū)ο蠓诸惙椒ǖ膬?yōu)勢。經(jīng)過優(yōu)化處理后，2組數(shù)據(jù)分類精度分別為91.2%和88.1%，比優(yōu)化前分別提高了1.2%和3.2%，說明了優(yōu)化方法的有效性。

2.4 誤差分析

分類誤差主要包括以下2種情況： ①參考數(shù)據(jù)中，地面上的物體被標(biāo)注為地面(例如汽車)，因此會導(dǎo)致存在一些錯(cuò)分的對象，如圖5(a)所示，車頂為綠色的汽車被分類為植被； ②由于陰影的存在和樣本選擇的不適當(dāng)會導(dǎo)致一些區(qū)域錯(cuò)誤地分成植被，如圖5(b)所示。

(a)綠色車頂錯(cuò)分為植被 (b)陰影錯(cuò)分為植被

圖5錯(cuò)誤分類示例

Fig.5Examplesoferrorclassification

3 結(jié)論

針對傾斜攝影測量點(diǎn)云分類，提出了一種面向?qū)ο蟮狞c(diǎn)云分類方法。本文利用影像分割的結(jié)果將對應(yīng)的點(diǎn)云聚類為不同的對象，采用隨機(jī)森林分類器進(jìn)行分類，并且針對分類錯(cuò)誤，利用上下文關(guān)系優(yōu)化初始分類的結(jié)果。采用2組典型實(shí)驗(yàn)數(shù)據(jù)來驗(yàn)證本文方法的有效性，本文方法的總體分類精度分別達(dá)到91.2%和88.1%，比基于單點(diǎn)的分類方法分別提高了2.3%和8.2%。

本文方法仍存在一些不足之處。首先，需要挖掘更多更有效的特征來提高分類精度； 其次，攝影測量點(diǎn)云的質(zhì)量對分類結(jié)果有很大的影響，因此，開發(fā)更好的立體影像密集匹配算法會進(jìn)一步提高分類精度； 最后，選取樣本時(shí)應(yīng)更加全面，例如不同建筑物的屋頂顏色和高度會差異很大，因此需要盡量多選擇不同種類的屋頂。

參考文獻(xiàn)(References)：

[1] Hirschmüller H.Accurate and efficient stereo processing by semi-global matching and mutual information[C]//Proceedings of 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Diego,USA:IEEE,2005:807-814.

[2] Hirschmüller H.Stereo processing by semiglobal matching and mutual information[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2008,30(2):328-341.

[3] Wehr A,Lohr U.Airborne laser scanning：An introduction and overview[J].ISPRS Journal of Photogrammetry and Remote Sensing,1999,54(2/3):68-82.

[4] Xu S,Vosselman G,Elberink S O.Multiple-entity based classification of airborne laser scanning data in urban areas[J].ISPRS Journal of Photogrammetry and Remote Sensing,2014,88:1-15.

[5] Gerke M,Xiao J.Fusion of airborne laser scanning point clouds and images for supervised and unsupervised scene classification[J].ISPRS Journal of Photogrammetry and Remote Sensing,2014,87:78-92.

[6] Guan H Y,Li J,Chapman M,et al.Integration of orthoimagery and Lidar data for object-based urban thematic mapping using random forests[J].International Journal of Remote Sensing,2013,34(14):5166-5186.

[7] 徐宏根,王建超,鄭雄偉,等.面向?qū)ο蟮闹脖慌c建筑物重疊區(qū)域的點(diǎn)云分類方法[J].國土資源遙感,2012,24(2):23-27.doi:10.6046/gtzyyg.2012.02.05.

Xu H G,Wang J C,Zheng X W,et al.Object-based point clouds classification of the vegetation and building overlapped area[J].Remote Sensing for Land and Resources,2012,24(2):23-27.doi:10.6046/gtzyyg.2012.02.05.

[8] Rothermel M,Haala N.Potential of dense matching for the generation of high quality digital elevation models[C]//International Archives of the Photogrammetry,Remote Sensing and Spatial Information Sciences.Hannover,Germany:ISPRS,2011:331-343.

[9] Debella-Gilo M,Bj?rkelo K,Breidenbach J,et al.Object-based analysis of aerial photogrammetric point cloud and spectral data for land cover mapping[C]//Proceedings of 2013 International Archives of the Photogrammetry,Remote Sensing and Spatial Information Sciences,Volume XL-1/W1.Hannover,Germany:ISPRS,2013:63-67.

[10] Xiao J,Gerke M,Vosselman G.Building extraction from oblique airborne imagery based on robust fa?ade detection[J].ISPRS Journal of Photogrammetry and Remote Sensing,2012,68:56-68.

[11] Rau J Y,Jhan J P,Hsu Y C.Analysis of oblique aerial images for land cover and point cloud classification in an urban environment[J].IEEE Transactions on Geoscience and Remote Sensing,2015,53(3):1304-1319.

[12] Gerke M,Xiao J.Supervised and unsupervised MRF based 3D scene classification in multiple view airborne oblique images[C]//Proceedings of 2013 ISPRS Annals of the Photogrammetry,Remote Sensing and Spatial Information Sciences.Antalya,Turkey:ISPRS,2013:25-30.

[13] 孫 杰,賴祖龍.利用隨機(jī)森林的城區(qū)機(jī)載LiDAR數(shù)據(jù)特征選擇與分類[J].武漢大學(xué)學(xué)報(bào)(信息科學(xué)版),2014,39(11):1310-1313.

Sun J,Lai Z L.Airborne LiDAR feature selection for urban classification using random forests[J].Geomatics and Information Science of Wuhan University,2014,39(11):1310-1313.

[14] Hu H,Ding Y L,Zhu Q,et al.An adaptive surface filter for airborne laser scanning point clouds by means of regularization and bending energy[J].ISPRS Journal of Photogrammetry and Remote Sensing,2014,92:98-111.

[15] Rothermel M,Wenzel K,Fritsch D,et al.SURE:Photogrammetric surface reconstruction from imagery[C]//Proceedings of 2012 LC3D Workshop.Berlin,Germany:[s.n],2012:1-9.

[16] Achanta R,Shaji A,Smith K,et al.SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(11):2274-2282.

[17] Breiman L.Random forests[J].Machine Learning,2001,45(1):5-32.

[18] Guo L,Chehata N,Mallet C,et al.Relevance of airborne Lidar and multispectral image data for urban scene classification using random forests[J].ISPRS Journal of Photogrammetry and remote Sensing,2011,66(1):56-66.