面向?qū)ο蟮膶嵕叭S模型分層解譯方法研究

劉志剛，胡忠文，黃樂平，董軒妍，徐 月，羅 新

1. 深圳大學(xué) 自然資源部大灣區(qū)地理環(huán)境監(jiān)測重點實驗室，廣東 深圳 518060；

2. 深圳大學(xué) 廣東省城市空間信息工程重點實驗室，廣東 深圳 518060；

3. 深圳大學(xué) 深圳市空間信息智能感知與服務(wù)重點實驗室，廣東 深圳 518060；

4. 深圳大學(xué) 建筑與城市規(guī)劃學(xué)院，廣東 深圳 518060

0 引 言

遙感技術(shù)的不斷發(fā)展給國土資源調(diào)查、糧食產(chǎn)量估計、自然環(huán)境監(jiān)測等問題提供了技術(shù)上的便利。不同類型的傳感器日夜不斷地獲取不同時間、空間、光譜分辨率的遙感影像[1]，為各種不同的應(yīng)用場景提供數(shù)據(jù)基礎(chǔ)，廣泛應(yīng)用于城市規(guī)劃[2]、災(zāi)害監(jiān)測[3]、水體質(zhì)量監(jiān)測[4]等領(lǐng)域。精細化的智慧城市、智慧農(nóng)業(yè)、智慧廠房等應(yīng)用不僅需要更高空間、時間分辨率的二維平面數(shù)據(jù)，還需要地物的空間結(jié)構(gòu)、側(cè)面紋理等三維信息。傳統(tǒng)的二維衛(wèi)星影像數(shù)據(jù)以及其衍生的數(shù)字表面模型、數(shù)字高程模型已經(jīng)無法滿足這些精細化的應(yīng)用需求。

近年來，航空攝影測量技術(shù)不斷完善，機載的各式傳感器也在不斷發(fā)展，這使得低空傾斜攝影測量成為很多精細化應(yīng)用的首選數(shù)據(jù)采集方式。傾斜攝影數(shù)據(jù)智能化處理平臺也不斷發(fā)展，如Context Capture和Pix4D Mapper及大疆智圖等商業(yè)軟件[5-6]，可以方便簡單地利用多視影像數(shù)據(jù)獲取測區(qū)的正射影像（DOM）與實景三維模型[7-9]。

與傳統(tǒng)的二維影像相比，實景三維模型不僅記錄了地物的頂面光譜、紋理[10]以及幾何結(jié)構(gòu)信息[11]，還完整地記錄下地物側(cè)面的空間結(jié)構(gòu)以及側(cè)面的光譜、紋理特征；與數(shù)字表面模型（DSM）數(shù)據(jù)相比，實景三維模型含有更豐富的紋理以及光譜信息；與機載激光雷達數(shù)據(jù)（LIDAR）相比，實景三維模型更完整地記錄了地物側(cè)面的信息。但是，也因為增加了數(shù)據(jù)維度，增加了對其解譯的難度。在現(xiàn)有的模型解譯方法里，一般思路是先對采集的多視影像進行解譯，再將解譯結(jié)果疊加到模型上[11-13]。此外，一些學(xué)者通過幾何結(jié)構(gòu)特征對模型先進行初始分割[14-15]，再通過非監(jiān)督算法對分割結(jié)果進行分類[16]。基于幾何特征的模型分割、分類算法的關(guān)鍵問題是如何通過一系列特征（面片法向量、模型平整度等）對模型進行精準的幾何描述。近幾年，越來越多的學(xué)者將實景三維模型應(yīng)用到遙感領(lǐng)域，并對模型的解譯方法也有了初步的探索。國外學(xué)者開展了初步研究工作，如VERDIE等通過提取城市區(qū)域模型的多種幾何特征實現(xiàn)模型解譯[17]；ROUHANI等通過面片光譜特征同質(zhì)性對模型進行區(qū)域合并，再對合并后的模型簇進行分類[18]。國內(nèi)研究中，連蓉等將實景三維模型應(yīng)用于城市區(qū)域建筑物的識別、單體化與管理[19-22]?？傮w而言，以上研究對實景三維模型解譯作了初步探索，但并未充分利用實景三維模型豐富的幾何結(jié)構(gòu)信息以及側(cè)面紋理信息，解譯結(jié)果還是存在一定椒鹽噪聲現(xiàn)象。

針對已有研究中存在的問題，本文提出了一種三維模型分層次解譯方法。首先基于布料模擬濾波（Cloth Simulation Filtering，CSF）算法將實景三維模型分成地形表面與立體地物兩部分。然后采用面向?qū)ο蟮挠跋窠庾g方法完成平坦的地形表面的分類解譯。最后進行立體地物分類解譯，基于地物的空間相鄰關(guān)系完成獨立地物單體化，對單體化后的獨立地物提取光譜、幾何以及紋理特征，采用隨機森林算法完成分類，將地形表面與立體地物兩部分模型的分類結(jié)果進行整合。通過對三維模型的分層分割和結(jié)果融合，一方面簡化了三維模型解譯的過程，實現(xiàn)解譯效率的提升，另一方面實現(xiàn)解譯精度的提升。

1 算法原理

本研究將實景三維模型分為地形表面與立體地物兩部分分層解譯。地形表面指的是將整個場景中高于地表的地物（獨棟建筑物、構(gòu)筑物與樹木）移走以后，留下來的起伏相對平緩的區(qū)域，如草地、成片連綿的林地和緩坡等變換觀測角度時不易遮擋其他地物的地形區(qū)域。立體地物指的是高出地形表面，會對地形表面上的地物形成遮擋的地物，如建筑、樹木等。

由于地形表面模型是起伏相對較緩的區(qū)域，正射視角不存在遮擋的現(xiàn)象。因此，對于這部分模型可將其投射為正射表面模型，采用面向?qū)ο蟮挠跋穹诸惙椒ㄟM行分析。而對于獨立的立體地物，在立體空間構(gòu)成了獨立的個體對象，因此本研究中采用基于立體對象的模型解譯方法。鑒于此，本文的分類方法主要為數(shù)據(jù)預(yù)處理、模型分層、地形表面模型解譯、獨立地物模型解譯4部分，技術(shù)流程如圖1所示。

圖1 技術(shù)流程Fig.1 Flowchart of the proposed approach

1.1 數(shù)據(jù)預(yù)處理

在模型解譯之前，首先采用傾斜攝影測量三維建模軟件對航空影像預(yù)處理，得到三維模型與正射影像，如圖2所示。

圖2 正射影像示意圖（左）與實景三維模型（右）Fig.2 Illustrations of digital orthophoto map (left) and oblique photographic model (right)

1.2 模型分層處理

本研究中，先采用布料模擬濾波（CSF）算法將由三維模型中所有三角面片頂點構(gòu)成的點云（影像密集匹配點云）分為地面點云與非地面點云，再根據(jù)點云濾波結(jié)果完成模型的分層。

CSF點云濾波。ZHANG Wuming等提出的CSF濾波算法[23]是一個物理過程的模擬。假設(shè)有一塊布足夠柔軟并有一定的黏性，將這塊布放置于場景上。受重力作用，這塊布將會慢慢下沉并附著于地表的建筑與樹木上，最終形成數(shù)字表面模型的形狀；再將地形倒置，假設(shè)這塊布具有一定的剛性，那么這塊布將會形成數(shù)字地面模型的形狀。將這兩個模擬過程結(jié)合，就可以從點云中分離出地面點云與非地面點云。本文使用CSF濾波算法完成模型三角面片頂點點云的分類（圖3）。

圖3 點云濾波結(jié)果Fig.3 Result of CSF filtering

基于點云濾波結(jié)果的模型分層。本研究統(tǒng)計三角網(wǎng)格中的所有三角面片的3個頂點的屬性，如果一個面片由兩個以上的非地面點構(gòu)成，就將該面片劃分為立體地物部分的面片，此時模型分層結(jié)果較均衡，利于接下來的解譯過程（圖4）。

圖4 地形表面（左）與立體地物示意圖（右）Fig.4 Illustrations of flat terrain surface（left）and 3D objects（right）

1.3 地形表面模型解譯

由于地形表面是相對平整的區(qū)域，因此采用正射影像替代三維模型進行解譯，以降低處理的難度，提高效率。本研究采用面向?qū)ο蟮挠跋窠庾g算法，完成地形表面模型的解譯，主要分為地形表面模型正射影像獲取、面向?qū)ο蟮挠跋穹诸惻c結(jié)果映射。

地面模型正射影像獲取。地形表面模型可以看作是一個相對平坦的二維平面，從正射角度向下觀察地形表面模型，與正射影像幾乎無差別。對模型中每個三角面片進行仿射變換，即可獲得地形表面模型的正射影像（圖5）。

圖5 地形表面正射影像Fig.5 The DOM of terrain surface

面向?qū)ο蟮恼溆跋穹诸惻c結(jié)果映射。本研究采用文獻[24]中的面向?qū)ο蟮倪b感圖像解譯方法。與傳統(tǒng)的基于像素的解譯方法相比，面向?qū)ο蟮姆椒梢猿浞掷霉庾V、紋理、形狀等信息，分類精度更高，且可以解決影像分類過程中的椒鹽噪聲現(xiàn)象。這一方法主要包括影像分割、特征提取與機器學(xué)習(xí)分類等。將地形表面正射影像分類結(jié)果映射到三維實景模型，得到地形表面模型的分類結(jié)果（圖6）。

圖6 正射影像（左）與地形表面模型（右）分類結(jié)果Fig.6 Illustrations of classified DOM（left）and mesh（right）

1.4 立體地物模型解譯

立體地物模型在空間上是不連續(xù)的，可以通過這一特性，對立體地物模型進行單體化處理。單體化后每個獨立的地物，看作分類的基本單元，類似面向?qū)ο蟮挠跋窠庾g方法里面的超像素區(qū)域。再對每個獨立地物提取相關(guān)特征，選取適量的訓(xùn)練樣本并采用隨機森林算法分類。

1.4.1 獨立地物單體化

立體地物模型主要由樹木與建筑等組成，在移除地表以后，它們在空間上往往是不相鄰的。本研究中，將立體地物模型中的每個與周圍地物不相鄰的地物看作一個對象，稱為獨立地物，完成獨立地物的單體化。如圖7所示，圖中的兩棵樹與1棟建筑都是不相鄰的，它們被認為是3個獨立地物。

圖7 獨立地物示例Fig.7 The example of individual ground objects

1.4.2 獨立地物特征提取

對于單體化后的每個立體地物，本文研究提取以下幾個特征：

1）可見光植被指數(shù)。受無人機遙感平臺傳感器限制，大多數(shù)傾斜攝影測量影像數(shù)據(jù)只有RGB 3個波段，沒有近紅外波段，無法計算歸一化植被指數(shù)。針對這一情況，不少學(xué)者進行了許多研究?？梢姽庵脖恢笖?shù)（CVI）[25]是研究中應(yīng)用較多的成果，可以將植被與非植被區(qū)分開來，計算公式為：

式中，R為紅波段的值；G為綠波段的值；B為藍波段的值。CVI的取值結(jié)果為-1～1之間，越趨近于1，就越傾向于植被。本文首先計算立體地物模型中所有三角面片的植被指數(shù)，再計算每個獨立地物所有三角面片的植被指數(shù)均值。

2）獨立地物的高度。獨立地物主要由人工建筑和樹木組成，一般情況下，城市區(qū)域建筑物的高度是大于樹木高度的。三維模型中每個三角面片的3個頂點都記錄了實際高程，取3個頂點的高程均值作為面片的高度。統(tǒng)計獨立地物中面片高度的最大值與最小值，做差可得到獨立地物的高度。

3）獨立地物的方正度。獨立地物方正度為地物豎直面片與水平面片的數(shù)量除以總面片數(shù)量得到的比值，取值為0～1，越接近1的獨立地物，形狀上越方正。本文計算了三角網(wǎng)格中所有三角面法向量與豎直方向的夾角，根據(jù)夾角是否為0°或者90°左右這一判定條件，得到水平、豎直面片數(shù)，然后計算獨立地物方正度。

4）GLCM紋理。高分辨率遙感影像具有豐富的紋理特征，灰度共生矩陣(Gray-level Co-occurrence Matrix，GLCM)是現(xiàn)在最常用的紋理特征提取方法。本文計算正射影像在11與21個像素窗口大小、四方向上的同質(zhì)性、對比度、熵最小值共六維特征。通過空間位置關(guān)系獲取每個立體地物在正射影像上的位置。該位置的正射影像紋理特征即為每個立體地物的紋理特征。

1.4.3 隨機森林分類

在完成了立體地物特征提取之后，本文采用監(jiān)督分類方法進行立體地物模型分類。從所有獨立地物中選適量具有代表性的訓(xùn)練樣本，并標記好樣本類別。本文基于OpenCV機器學(xué)習(xí)模塊的隨機森林（RF）算法實現(xiàn)，其中樹的最大可能深度設(shè)置為10，最大聚類簇數(shù)設(shè)置為15，最小子節(jié)點大小設(shè)置為5，其余默認。計算訓(xùn)練樣本對應(yīng)的標簽矩陣和特征矩陣作為分類器的輸入，再進行分類器的訓(xùn)練。計算所有獨立地物的特征矩陣，用訓(xùn)練好的分類器對所有獨立地物進行預(yù)測，完成分類。

2 實驗及結(jié)果分析

為驗證三維模型解譯方法的有效性，本文選擇了一塊地物類型豐富的研究區(qū)，長寬分別為750 m和500 m，所獲的實景三維模型如圖8所示。為驗證本算法的有效性和優(yōu)勢，將分類結(jié)果與WU Zhaocong等[26]采用的算法分類結(jié)果做比較。

研究區(qū)三維模型共有9 265 182個三角面，立體地物部分根據(jù)CSF濾波結(jié)果單體化后，共得到了8855個獨立地物。在實驗中，共選擇80個單體化模型作為訓(xùn)練樣本，訓(xùn)練隨機森林分類器，最后應(yīng)用于8855個地物的分類。

2.1 精度分析

本文算法分類結(jié)果（圖9a）與作為驗證的參差真值數(shù)據(jù)（圖9c）對比得到混淆矩陣，再根據(jù)混淆矩陣計算得到各種類別地物的生產(chǎn)者精度、用戶精度及總體分類精度（表1）。表中統(tǒng)計了錯分與對分的三角面片個數(shù)，該數(shù)據(jù)共有9 265 182個三角面片，本文算法的總體分類精度為93.7%，Kappa系數(shù)為0.89。WU的算法的總體分類精度為73.06%，Kappa系數(shù)為0.52。本文算法的結(jié)果中，樹木的生產(chǎn)者精度為97.02%，建筑的生產(chǎn)者精度為97.48%，且樹木與建筑的用戶精度也達到了92%以上，說明本文算法可以準確地從實景三維模型中識別出樹木與建筑，且可信度很高。這是因為本文算法將整個場景分為地形表面與立體地物兩部分，且立體地物中的建筑與樹木可以通過地物的可見光植被指數(shù)、地物方正度等特征進行有效區(qū)分。本文算法地面部分草地、水體、裸地的精度較高，生產(chǎn)者精度分別為87.32%、83.57%、82.52%，因為地形表面不存在建筑這一地物，避免了建筑與不透水面和裸地之間因為光譜特征比較相似而引起的錯分。水體與草地的光譜特征與周邊的地物有很大差異，可以較為準確地識別。本文算法不透水面與陰影的分類精度較低，生產(chǎn)者精度為67.46%與70.05%，這是因為被陰影覆蓋的不透水面、草地與未被陰影覆蓋的不透水面、草地具有較高的光譜、紋理相似性，所以錯分率較高。

表1 本文算法混淆矩陣Tab.1 The confusion matrix of proposed method

WU的算法[26]分類結(jié)果（圖9b），精度統(tǒng)計見表2。算法中樹木的精度最高，達到了92.06%，建筑的精度為64.47%，其余地物的精度偏低，錯分較為嚴重。這是因為從二維影像中，建筑側(cè)面與被建筑和樹木遮擋的地表部分是觀測不到的，容易引起錯分。影像中建筑與不透水面、裸地光譜特征較為相似，且丟失了建筑的高度信息，所以會導(dǎo)致建筑與不透水面和裸地的錯分。其余地物中，水體的形狀規(guī)整與周邊地物有較大差異，精度達到了62.45%。陰影的精度最低，僅為0.05%，這是因為陰影的覆蓋范圍較小且易被遮擋，容易被錯分為與其相鄰的地物。

表2 WU的算法[26]混淆矩陣Tab.2 The confusion matrix of Wu's method[26]

圖9 分類結(jié)果對比Fig.9 Comparison of classification results

本文算法與WU的算法對比最大的不同在于立體地物的分類方法。如圖10a所示，本文在立體地物部分分類時，將每個在空間上獨立的地物當作一個對象，作為一個整體進行分類，更符合客觀規(guī)律。本文方法的分類結(jié)果中，每棟建筑與每棵樹木的面片分類結(jié)果都比較統(tǒng)一，沒有出現(xiàn)WU的算法結(jié)果中斑駁的錯分現(xiàn)象。如圖10b所示，WU的算法由于正射影像中沒有記錄地物的側(cè)面信息，會將地物側(cè)面正上方部分(屋頂)的分類結(jié)果賦予地物側(cè)面的面片。由于建筑頂部與道路在正射影像中比較容易錯分，有些建筑的側(cè)面被錯分為道路。

圖10 分類結(jié)果細節(jié)對比Fig.10 Comparison of details

對比表1與表2可知，本文的算法有著比WU的算法更高的精度。上述的兩種算法有著各自的優(yōu)缺點，本文提出的算法適用于三維模型非常精細、地物種類比較豐富的城市區(qū)域，分層解譯與面向?qū)ο蟮姆椒梢院唵吻覝蚀_地識別場景內(nèi)的各類要素。WU的算法更適用于地物種類較少、地形變化相對比較平緩的場景，或者分辨率較低的大場景模型中，比如入侵植被檢測、丘陵地區(qū)的地表覆蓋分類等。在應(yīng)用時，可以根據(jù)研究區(qū)實際情況與研究目的進行選擇。

2.2 特征重要度分析

本文進行隨機森林模型訓(xùn)練時輸出的特征重要性分析結(jié)果顯示（表3），可見光植被指數(shù)、獨立地物方正度是最重要兩個特征?？梢姽庵脖恢笖?shù)體現(xiàn)了建筑與樹木在光譜上的差異，獨立地物方正度體現(xiàn)了建筑與樹木在幾何形態(tài)上的差異，這兩個特征可以有效地將獨立地物中建筑與樹木區(qū)分開來。獨立地物高度計算地物頂部與底部之間的高差，但是場景中有些建筑的高度并沒有樹木高，所以特征重要性沒有可見光植被指數(shù)與獨立地物方正度高。紋理特征中，對比度比較重要，11像素窗口和21像素窗口大小計算的對比度同等重要。

表3 特征重要性排序表Tab.3 The table of priority of feature importance

3 結(jié) 論

本文提出了一種實景三維模型分層次解譯方法，將實景三維模型分成地形表面與立體地物分層處理，降低了模型的解譯難度。對于地形表面模型，抓住平坦無遮擋這一特性，獲取正射影像，采用面向?qū)ο笥跋窠庾g方法完成分類，再將分類結(jié)果映射到模型，簡單高效；對于立體地物，根據(jù)三角面片拓撲關(guān)系，先完成單體化，再對單體化后的獨立地物提取光譜、紋理以及幾何結(jié)構(gòu)多維特征，采用隨機森林算法完成分類。實驗表明，本研究提出的算法，模型解譯精度高，很大程度上避免了解譯過程中的椒鹽噪聲現(xiàn)象。

本研究也有需進一步優(yōu)化的地方，如在地形表面與立體地物模型進行分層時，分層效果受點云濾波的結(jié)果影響較大；在獨立地物單體化時，僅考慮了地物之間的空間連接，沒有利用空間相連接的地物的幾何形狀、光譜差異進行更細致的單體化，容易將空間上相連的樹木與建筑當作一個整體，導(dǎo)致錯分（如圖10a左下角框出的區(qū)域）；在立體地物特征提取時，只提取了地物整體的光譜特征、幾何形狀特征與頂部的紋理特征，未提取地物側(cè)面的紋理特征。今后的研究中，將針對以上問題，進行改進。