無人機(jī)影像密集點云中目標(biāo)層次提取研究

路創(chuàng)軍

(甘肅省水利水電勘測設(shè)計研究院有限責(zé)任公司，甘肅 蘭州 730000)

隨著“數(shù)字地球”“智慧城市”的快速發(fā)展，全面而準(zhǔn)確地獲取地理空間信息數(shù)據(jù)(尤其是高精度的三維空間信息)具有迫切的應(yīng)用需求。當(dāng)前，快速準(zhǔn)確獲取大范圍三維場景目標(biāo)的主要技術(shù)有機(jī)載激光雷達(dá)掃描(Airborne Light Detection and Ranging，LiDAR)和攝影測量技術(shù)。LiDAR技術(shù)通過回波測距與定向的原理，獲取高精度的數(shù)字三維信息數(shù)據(jù)，但其昂貴的硬件設(shè)備限制了其大范圍推廣應(yīng)用。攝影測量技術(shù)能夠從多張具有相互重疊的二維數(shù)字影像中恢復(fù)目標(biāo)物體表面的三維信息，其主要依賴同名影像之間的同名點匹配來完成。近年來，以無人機(jī)為平臺的攝影測量技術(shù)具有成本低、周期短、操作簡單、時效性強(qiáng)及快速獲取高分辨率影像數(shù)據(jù)的特點，已逐漸成為大范圍區(qū)域內(nèi)對地觀測與高精度三維場景目標(biāo)信息獲取的最主要手段。

在影像密集點云的生成過程中，引入先進(jìn)的半全局影像密集匹配方法(SGM)、全局圖能量優(yōu)化算法(Graph Cut)等密集匹配算法，可以極大地提高影像密集匹配點云(Image Dense Point Cloud， IDPC)的精度和可靠性。同時，在Middleubry3.0以及KITTI2015數(shù)據(jù)集中基于深度學(xué)習(xí)的影像重建方法得到世界最先進(jìn)的影像重建結(jié)果。從高密度、噪聲較大的IDPC中提取目標(biāo)對象，主要有逐點提取、逐塊提取和場景整體分類提取等方法。逐點提取以每個點為基本單元，并通過該點的局部描述及其關(guān)系作為特征并進(jìn)行分類，該方法簡單易于實現(xiàn)，但其存在計算量大、單點鄰域包含信息不穩(wěn)健等缺點。逐塊分類提取首先將三維點云處理為獨立幾何單元塊，然后將各塊進(jìn)行組合得到分類結(jié)果。該方法能夠利用場景中的不同特征提高分類精度，但其難以保留上下文關(guān)系容易出現(xiàn)碎片化的結(jié)果。場景整體分類提取包括傳統(tǒng)條件隨機(jī)場和基于深度學(xué)習(xí)方法?；跅l件隨機(jī)場的方法在獲取分類結(jié)果的同時，還可以得到相互之間的上下文關(guān)系，但其模型學(xué)習(xí)和推導(dǎo)中存在計算復(fù)雜的問題。伴隨AI熱潮興起的深度學(xué)習(xí)方法，能夠直接輸入三維點云數(shù)據(jù)并輸出分類結(jié)果，但其需要耗費(fèi)大量人力進(jìn)行樣本數(shù)據(jù)標(biāo)注，且預(yù)先訓(xùn)練網(wǎng)絡(luò)模型存在難以直接遷移應(yīng)用于新場景等問題。同時，這些不同的研究方法主要用于質(zhì)量較好的LiDAR點云目標(biāo)對象提取。因此，從IDPC中提取不同目標(biāo)對象仍然是一個挑戰(zhàn)性研究課題。本文針對無人機(jī)影像密集點云中三維目標(biāo)對象的提取問題，提出了一套有效可行的地理空間三維目標(biāo)對象提取流程與方法。

1 影像密集點云生成

在獲取低空無人機(jī)航攝影像后，通過在各影像上提取特征點及執(zhí)行特征點匹配，并結(jié)合地面控制點和光束法平差模型，解算出每一個影像的精確位姿參數(shù)，同時在空間交會、相機(jī)參數(shù)全局平差優(yōu)化的過程中可以匹配點的三維空間位置，進(jìn)而完成稀疏點云匹配。以此為基礎(chǔ)，可引入半全局影像密集匹配算法(SGM)完成逐像素匹配以獲取目標(biāo)場景的三維密集點云。SGM考慮了視差變化并給予了不同的懲罰，以保護(hù)傾斜面和曲面的微小視差變化，其視差影像能量模型如下：

(1)

在上述算法模型的基礎(chǔ)上，通過輸入原始影像、POS數(shù)據(jù)、相機(jī)參數(shù)文件、控制點文件，自動完成區(qū)域的自動空三解算，通過人工干預(yù)的半自動刺點，實現(xiàn)影像密集點云自動生成。其流程如圖1所示：

圖1 影像密集點云生成流程圖

考慮到影像密集匹配過程中，由于影像紋理弱、質(zhì)量差或匹配算法本身限制等，生成的影像密集點云中不可避免存在著噪聲點，因此本文通過點云三角網(wǎng)與離散曲率粗糙度進(jìn)行點云噪聲點的檢測與剔除。

2 影像密集點云層次提取

采用層次化的方式提取點云，不僅能夠降低算法復(fù)雜度，同時有效地提高處理速度，也可以避免點云冗余信息干擾。為了能夠方便、高效地處理空間離散且分布不均勻的IDPC，本文首先構(gòu)建了規(guī)則格網(wǎng)索引，同時格網(wǎng)單元中只保留一個高程值最小的點作為格網(wǎng)點的數(shù)值。依據(jù)經(jīng)驗，格網(wǎng)大小按下式計算：

(2)

式中，ρ—單位面積內(nèi)點云個數(shù)。

2.1 地面點云濾波

從三維點云中提取出地形基礎(chǔ)數(shù)據(jù)，稱為點云濾波處理。這是開展基于三維點云的后續(xù)應(yīng)用的關(guān)鍵，特別是數(shù)字高程模型(DEM)生成的關(guān)鍵。點云濾波的關(guān)鍵在于如何設(shè)計和計算地面點與非地面點特征差異，如何構(gòu)建有效的點云提取策略。為實現(xiàn)影像密集點云中地面點云濾波處理，本文在規(guī)則格網(wǎng)的基礎(chǔ)上，采用多尺度形態(tài)學(xué)原理來剔除地面點。首先任意設(shè)置一個較小的尺寸S進(jìn)行形態(tài)學(xué)濾波處理，然后更新尺寸S直至所有格網(wǎng)點都處理完畢。形態(tài)學(xué)“開”和“關(guān)”運(yùn)算步驟可描述如下：

(1)腐蝕操作。對于IDPC中的每一個格網(wǎng)點，獲取其在給定窗口內(nèi)點的最小高程值作為腐蝕后高程。

(2)膨脹操作。再次對IDPC中每個格網(wǎng)點，采用上述腐蝕處理同樣大小的窗口進(jìn)行膨脹運(yùn)算，將最大高程值作為膨脹后的高程

(3)提取操作。對于上述處理后的每個格網(wǎng)點，如果膨脹處理后高程值與原始高程值的差值在給定閾值范圍內(nèi)，那么當(dāng)前格網(wǎng)點是一個地面點，否則為非地面點。

上述多尺度形態(tài)學(xué)處理可實現(xiàn)格網(wǎng)點由粗到細(xì)的漸進(jìn)式處理，能夠有效提高點云濾波的質(zhì)量和可靠性。對于地面點，可以通過反距離加權(quán)模型生成DEM。

(3)

(4)

式中，(X，Y，H)—待插值點空間坐標(biāo)；(Xi，Yi，Hi)—鄰域樣本點i的空間坐標(biāo)；p—空間距離權(quán)重值；q—冪函數(shù)值。

2.2 建筑物點云提取

濾波處理后剩余的非地面點云，主要存在建筑物、植被等地物目標(biāo)。為進(jìn)一步提取出建筑物點云數(shù)據(jù)，本文擬構(gòu)建基于建筑物區(qū)域特有幾何或物理特征的提取方法，即首先剔除明顯非建筑物目標(biāo)點云，然后在此基礎(chǔ)上，通過計算點的粗糙度以細(xì)化處理建筑物點云。

通常情況下，經(jīng)過去噪、濾波處理后的IDPC中建筑物主要是屋頂面，其可看作一個或多個面片構(gòu)成，通過設(shè)置合理約束規(guī)則可實現(xiàn)非建筑物目標(biāo)剔除，其處理過程描述如下：

(1)對濾波處理后的點云，逐點分析其連通性，將空間位置鄰近、幾何屬性相似的點進(jìn)行合并，從而形成新的目標(biāo)區(qū)域。幾何屬性可采用法向量夾角、顏色等。

(2)以建筑物目標(biāo)的面積、幾何尺寸、點云與地面的高度約束等作為約束條件，對上一步形成的目標(biāo)區(qū)域進(jìn)行過濾提取。

(3)上述過程迭代執(zhí)行直至所有的點云處理完畢。

需要注意的是，目標(biāo)區(qū)域幾何面積與建筑物類型是密切相關(guān)的，根據(jù)經(jīng)驗可設(shè)置為2～100m2，目標(biāo)區(qū)域的幾何尺寸等可設(shè)置為2～10m。相比于在城市周邊或鄉(xiāng)村居民區(qū)域，城市中建筑物面積、幾何尺寸等應(yīng)設(shè)置較大的閾值，以提取出非建筑物目標(biāo)點云。

2.3 植被點云提取

經(jīng)過上述處理后，地面和建筑物點云被較好地提取出來，剩余點云即為植被點云。然而在建筑物和樹木混合的區(qū)域，植被點云容易被誤分為建筑物點云。為實現(xiàn)植被點云的完整提取，本文采用點云剖面特征分析方法進(jìn)行區(qū)分處理，即不同目標(biāo)(如植被、建筑物)在豎直Z方向上的不同剖面具有目標(biāo)自身獨特空間特性，如圖2—3所示。一般來說，樹木的樹冠剖面面積遠(yuǎn)大于樹干剖面面積，而建筑物剖面面積則保持一定大小不變，且建筑物的平均剖面面積明顯大于樹木的平均剖面面積。因此，通過分析點云在豎直Z方向上的

空間剖面特征，可以從建筑物點云中進(jìn)一步提取出冗余的植被點云。

3 應(yīng)用實例與結(jié)果

為了驗證本文提出的無人機(jī)影像密集點云不同目標(biāo)對象提取的有效性，本文利用了甘肅省引洮供水二期配套工程秦安縣城鄉(xiāng)供水青林溝工程的航飛成果進(jìn)行了實驗驗證與分析。該研究區(qū)域位于甘肅省秦安縣，區(qū)域內(nèi)困難程度劃分為中等，植被地物較密。試驗影像采用某科技公司的V100飛機(jī)系列V-CAM100航測模塊搭載SONY RX1R II相機(jī)進(jìn)行影像采集，中心區(qū)域的航向重疊度為80%，旁向重疊度為75%，無人機(jī)飛行航線架次及序列影像示意如圖4所示。

對上述無人機(jī)序列影像實施空三處理和密集匹配處理，獲取的影像密集點云如圖5所示，影像密集點云密度為50point/m2。

采用本文的多尺度形態(tài)學(xué)方法提取地面點云，并采用本文的反距離加權(quán)模型加密內(nèi)插生成分辨率為50cm的數(shù)字地面模型，如圖6所示。

在地面點云剔除基礎(chǔ)上，采用本文層次方法提取出建筑物和植被點云如圖7—8所示。

圖2 建筑物點云剖面特征示意圖

圖3 植被點云剖面特征示意圖

圖4 測區(qū)無人機(jī)序列影像縮略圖

圖5 典型區(qū)域的無人機(jī)影像密集點云(左：建筑物、右：典型植被)

圖6 典型區(qū)域的數(shù)字地面模型(左：建筑物、右：典型植被)

圖7 建筑物點云

圖8 植被點云

4 結(jié)語

針對從空間離散且分布不均的無人機(jī)影像密集點云中不同地物目標(biāo)難以有效提取的問題，本文提出了一種有效的地物目標(biāo)層次化提取流程框架。通過實際項目進(jìn)行了驗證，其結(jié)果表明本方法能實現(xiàn)無人機(jī)影像密集點云中地物目標(biāo)的有效提取，能夠為建筑物密集群、高植被區(qū)域DEM制作和災(zāi)害防治提供參考借鑒。但在原始森林或過密的植被區(qū)域存在植被點云提取不全的問題，可通過人工交互編輯或算法模型改進(jìn)來解決。同時，后續(xù)將以提出的不同目標(biāo)對象為基礎(chǔ)，開展研究不同地物目標(biāo)的三維模型構(gòu)建及其地理空間應(yīng)用分析的相關(guān)研究。