無人機(jī)傾斜攝影中密集匹配點(diǎn)云的處理與應(yīng)用研究

摘要：本文針對(duì)密集匹配點(diǎn)云處理精度過低的問題，進(jìn)行了無人機(jī)傾斜攝影中密集匹配點(diǎn)云的處理與應(yīng)用研究。本文提出的新的處理方案包括無人機(jī)航測(cè)飛行平臺(tái)搭載相機(jī)標(biāo)定、無人機(jī)傾斜攝影影像特征點(diǎn)提取與匹配、三角測(cè)量與多視影像密集匹配。將新的處理方案應(yīng)用于真實(shí)研究區(qū)域內(nèi)，可以對(duì)密集匹配點(diǎn)云進(jìn)行高精度處理，降低各控制點(diǎn)平面誤差與高程誤差，提升無人機(jī)傾斜攝影應(yīng)用廣泛性。

關(guān)鍵詞：無人機(jī)；傾斜；影像；密集；匹配；點(diǎn)云

中圖分類號(hào)：P23""""""""" 文獻(xiàn)標(biāo)志碼：A

隨著無人機(jī)技術(shù)不斷發(fā)展，無人機(jī)傾斜影像技術(shù)已經(jīng)廣泛應(yīng)用于各個(gè)領(lǐng)域。在無人機(jī)傾斜影像處理過程中，密集匹配點(diǎn)云的處理是非常重要的環(huán)節(jié)。無人機(jī)傾斜影像密集匹配點(diǎn)云是使用無人機(jī)傾斜攝影獲取影像數(shù)據(jù)，采用立體匹配算法計(jì)算每個(gè)像素點(diǎn)的三維坐標(biāo)信息[1]。其基本原理是利用多視角圖像之間的信息，利用幾何變換和映射關(guān)系將不同視角的圖像轉(zhuǎn)換至同一個(gè)坐標(biāo)系中，根據(jù)像素之間的顏色和空間信息計(jì)算每個(gè)像素點(diǎn)的深度信息，得到密集的點(diǎn)云數(shù)據(jù)。

無人機(jī)傾斜影像密集匹配點(diǎn)云的應(yīng)用領(lǐng)域非常廣泛，主要包括以下5個(gè)方面。1）城市規(guī)劃。對(duì)城市建筑物的點(diǎn)云數(shù)據(jù)進(jìn)行分析并處理，可以獲取建筑物的三維信息，為城市規(guī)劃提供參考。2）土地資源調(diào)查。利用無人機(jī)傾斜影像密集匹配點(diǎn)云技術(shù)，可以快速獲取大范圍土地資源的三維信息，為土地資源調(diào)查提供數(shù)據(jù)支持。3）林業(yè)調(diào)查。使用無人機(jī)傾斜影像密集匹配點(diǎn)云技術(shù)獲取森林資源的三維信息，為林業(yè)調(diào)查提供數(shù)據(jù)支持。4）水利水電工程。利用無人機(jī)傾斜影像密集匹配點(diǎn)云技術(shù)獲取水電站大壩等建筑物的高精度三維信息，為水電站工程提供數(shù)據(jù)支持。5）災(zāi)害監(jiān)測(cè)與評(píng)估。無人機(jī)傾斜影像密集匹配點(diǎn)云技術(shù)獲取災(zāi)區(qū)的三維信息，為災(zāi)害監(jiān)測(cè)與評(píng)估提供數(shù)據(jù)支持[2]。無人機(jī)傾斜影像密集匹配點(diǎn)云技術(shù)是一種非常實(shí)用的技術(shù)，應(yīng)用前景廣泛。

1無人機(jī)航測(cè)飛行平臺(tái)搭載相機(jī)標(biāo)定

普通無人機(jī)航攝平臺(tái)使用的高分辨率光學(xué)攝像機(jī)是非量測(cè)攝像機(jī)，具有光學(xué)畸變大、內(nèi)方位信息不明確等特征。畸變導(dǎo)致任意1個(gè)透鏡在像面上不是直線，而是形成1條彎曲的曲線，因此小孔成像模型誤差很大[3]。變形量影響模型的準(zhǔn)確性，為了還原真實(shí)的場(chǎng)景，須將內(nèi)部參數(shù)和外部參數(shù)全部還原。在進(jìn)行3D場(chǎng)景復(fù)原的過程中，須對(duì)攝像機(jī)進(jìn)行校正來消除失真。結(jié)合幾何光學(xué)原理計(jì)算徑向畸變的值，如公式（1）、公式（2）所示。

式中：ydistored為畸變后的縱坐標(biāo)；xdistored為畸變后的橫坐標(biāo)；y為歸一化平面點(diǎn)縱坐標(biāo)；x為歸一化平面點(diǎn)橫坐標(biāo)；k1、k2和k3為畸變系數(shù)；r為徑向距離。平移以及旋轉(zhuǎn)相機(jī)坐標(biāo)系與世界坐標(biāo)系來轉(zhuǎn)換坐標(biāo)，其中，具有3×3的相對(duì)轉(zhuǎn)動(dòng)關(guān)系的矩陣R和3×3的矢量t，因此，在世界坐標(biāo)系統(tǒng)和攝像機(jī)坐標(biāo)系中，P點(diǎn)的關(guān)系如公式（3）所示。

（3）

式中：Xc、Yc和Zc分別為P點(diǎn)相機(jī)坐標(biāo)系中的橫坐標(biāo)、縱坐標(biāo)和空間坐標(biāo)；XW、YW和ZW分別為P點(diǎn)在世界坐標(biāo)系中的橫坐標(biāo)、縱坐標(biāo)和空間坐標(biāo)；T為轉(zhuǎn)換系數(shù)。采用相機(jī)標(biāo)定的方式獲得內(nèi)部參數(shù)，將各個(gè)坐標(biāo)系聯(lián)系在一起。

2無人機(jī)傾斜攝影影像特征點(diǎn)提取與匹配

在攝影測(cè)量和機(jī)器視覺中，特征點(diǎn)的提取和匹配是一項(xiàng)基本的數(shù)據(jù)處理步驟，也是數(shù)字化測(cè)量自動(dòng)化的重要手段。該方法要求多幀圖像中的同名點(diǎn)準(zhǔn)確、可靠，利用多個(gè)同名圖像的點(diǎn)經(jīng)多視角幾何關(guān)系計(jì)算基本矩陣，由陣列獲取圖像的姿態(tài)關(guān)系以及特征點(diǎn)坐標(biāo)，對(duì)圖像進(jìn)行稀疏重構(gòu)[4]。因此，獲取更穩(wěn)健、精確的同物點(diǎn)是提高稀疏重構(gòu)效果的重要前提。在圖像處理過程中，圖像中最顯著的對(duì)象為圖像特征，它是圖像分析與匹配的根據(jù)，直接影響圖像質(zhì)量。

SIFT特征提取算法主要有3個(gè)步驟。第一，尺度空間極值檢測(cè)。在該步驟中，算法會(huì)在不同尺度空間中尋找潛在的關(guān)鍵點(diǎn)[5]。這些潛在的關(guān)鍵點(diǎn)就是那些在尺度空間中表現(xiàn)極值特性的像素點(diǎn)。第二，關(guān)鍵點(diǎn)定位。一旦找到了潛在的關(guān)鍵點(diǎn)，算法就會(huì)比較潛在關(guān)鍵點(diǎn)在其鄰域內(nèi)的像素強(qiáng)度，進(jìn)一步精確定位這些關(guān)鍵點(diǎn)在尺度空間中的位置[6]。第三，關(guān)鍵點(diǎn)主方向和關(guān)鍵點(diǎn)的描述符。算法會(huì)計(jì)算每個(gè)關(guān)鍵點(diǎn)的一個(gè)主方向。這個(gè)主方向是分析關(guān)鍵點(diǎn)周圍像素的梯度方向分布來確定的。算法會(huì)生成一個(gè)描述符，其作用為描述關(guān)鍵點(diǎn)周圍的局部圖像紋理，對(duì)后續(xù)的圖像匹配等操作非常重要。

以上這些步驟的作用都是從影像中提取穩(wěn)定、獨(dú)特的特征，將其用于后續(xù)的圖像處理任務(wù)，例如三維重建、目標(biāo)識(shí)別和圖像拼接等[7]。算法采用高斯卷積構(gòu)造具有多尺度特征的空間。高斯卷積核是目前已知僅有的1個(gè)可進(jìn)行標(biāo)度轉(zhuǎn)換的高斯核，其特征如公式（4）所示。

式中：G為高斯核特征值；σ為高斯正態(tài)分布方差。

SIFT特征提取原理如圖1所示。由圖1可知，SIFT算法構(gòu)建圖像的尺度空間，即使用不同尺度的高斯濾波器對(duì)原始圖像進(jìn)行平滑處理，形成高斯結(jié)構(gòu)。比較相鄰尺度的高斯圖像的差分，在尺度空間中檢測(cè)局部極值點(diǎn)，這些極值點(diǎn)即為關(guān)鍵點(diǎn)或特征點(diǎn)。采用擬合二次曲線等方法對(duì)初步檢測(cè)的關(guān)鍵點(diǎn)進(jìn)行亞像素級(jí)別的精確定位，提高關(guān)鍵點(diǎn)的準(zhǔn)確性。為了使特征旋轉(zhuǎn)不變，SIFT算法計(jì)算每個(gè)關(guān)鍵點(diǎn)鄰域內(nèi)的梯度方向直方圖，并確定一個(gè)主方向。在確定了關(guān)鍵點(diǎn)的位置和方向后，SIFT算法為每個(gè)關(guān)鍵點(diǎn)生成1個(gè)描述符，描述關(guān)鍵點(diǎn)周圍的局部圖像結(jié)構(gòu)。利用高斯函數(shù)對(duì)圖像進(jìn)行濾波，對(duì)整個(gè)圖像進(jìn)行加權(quán)平均，利用高斯差分函數(shù)對(duì)各個(gè)尺度上的圖像進(jìn)行權(quán)重運(yùn)算，確定這些特征的比例和方向不變。用高斯卷積核可以得到一幅二維圖像的縮放率空間，如公式（5）所示。

L=G·I（5）

式中：L為縮放率空間；I為權(quán)重。σ與圖像平滑、尺度空間呈正比例關(guān)系。根據(jù)以上表達(dá)式，可以得知影像特性以及比例空間的關(guān)系。確定各特征點(diǎn)的位置、尺度和方向后，本文對(duì)其進(jìn)行定義，將其與已有的特征矢量相結(jié)合，對(duì)其進(jìn)行描述[8]。為避免受光照、視角等因素影響，特征描述符不僅包括關(guān)鍵詞，而且包括其鄰近區(qū)域的信息。以檢測(cè)的關(guān)鍵點(diǎn)為核心，選取16×16的鄰域，將該鄰域再分為4×4的子區(qū)，將該子區(qū)分為8個(gè)區(qū)段，獲得4×4×8=128個(gè)維度的特征矢量，矢量單元尺寸為各梯度方向區(qū)間權(quán)重。在獲得特征矢量后，須對(duì)其進(jìn)行規(guī)范化處理，其規(guī)范化方向是將其按主方向轉(zhuǎn)動(dòng)，使其具備旋轉(zhuǎn)不變性。

3三角測(cè)量

在相機(jī)內(nèi)參數(shù)一定的情況下，初始像對(duì)中只有5對(duì)匹配點(diǎn)，用于求解R值。匹配點(diǎn)三角化示意如圖2所示。

為優(yōu)化重投影誤差，建立以下優(yōu)化目標(biāo)函數(shù)，如公式

（6）所示。

式中：P*為優(yōu)化后的像素點(diǎn)匹配目標(biāo)；Mi為M矩陣中的第i張圖的映射；pi為觀測(cè)點(diǎn)坐標(biāo)。

4多視影像密集匹配

運(yùn)動(dòng)結(jié)構(gòu)恢復(fù)（Structure From Motion，SFM）是一種利用運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的方法，它分析多視角圖像中的像素點(diǎn)之間的對(duì)應(yīng)關(guān)系，推斷每個(gè)像素點(diǎn)的深度信息，生成點(diǎn)云數(shù)據(jù)。SFM生成點(diǎn)云的方法為匹配圖像中的特征點(diǎn)并估計(jì)它們的深度信息，其不可能直接生成密集點(diǎn)云，因此在一些沒有明顯特征或者深度變化不大的區(qū)域中，使用SFM無法準(zhǔn)確地生成密集的點(diǎn)云數(shù)據(jù)。SFM流程如圖3所示。

多視圖立體視覺（Multi-View Stereo，MVS）是一種利用多視角圖像生成三維場(chǎng)景的方法。采用MVS對(duì)每一幅圖像中的每個(gè)像素點(diǎn)進(jìn)行匹配，使其在三維空間上的位置近似于真實(shí)圖像。MVS的原理是基于多視角影像之間、同一個(gè)3D區(qū)域內(nèi)具有極線幾何限制的圖像。

在2幅圖像中，有1條射線經(jīng)過圖像中這個(gè)點(diǎn)，再經(jīng)過相機(jī)中央，最終到達(dá)1個(gè)3D點(diǎn)，這個(gè)3D點(diǎn)被投射至另外1幅圖像中。這是一個(gè)很正常的過程，就像是1臺(tái)普通的攝像機(jī)。這2幅圖像的約束關(guān)系可以用于匹配圖像中的對(duì)應(yīng)點(diǎn)并估計(jì)其深度信息。

在MVS中，通常采用聚簇分類的方法對(duì)影像進(jìn)行預(yù)處理，減少在匹配過程中的計(jì)算量。聚簇分類是將影像中的像素點(diǎn)按照其顏色、紋理等特征進(jìn)行分類，將屬于同一類別的像素點(diǎn)聚簇在一起。對(duì)每個(gè)聚簇分別進(jìn)行密集匹配，可以提高匹配的準(zhǔn)確性和效率。在密集匹配的過程中，通常采用PMVS方法進(jìn)行過濾和匹配。在匹配步驟中，PMVS方法對(duì)每個(gè)聚簇中的像素點(diǎn)進(jìn)行特征提取和匹配，尋找它們之間的對(duì)應(yīng)關(guān)系。在膨脹步驟中，PMVS方法將每個(gè)匹配點(diǎn)周圍一定范圍的點(diǎn)加入匹配對(duì)中，增加匹配點(diǎn)的數(shù)量，提高密集程度。在過濾步驟中，PMVS方法會(huì)根據(jù)一定的規(guī)則和約束條件對(duì)匹配點(diǎn)進(jìn)行篩選和過濾，去除錯(cuò)誤的匹配點(diǎn)和噪聲點(diǎn)。

5應(yīng)用研究

應(yīng)用上述方法對(duì)研究區(qū)域內(nèi)的密集匹配點(diǎn)進(jìn)行處理。研究區(qū)域以及控制點(diǎn)分布如圖4所示。

在完成匹配后，檢驗(yàn)點(diǎn)云精度，分別計(jì)算各個(gè)點(diǎn)的平面誤差和高程誤差，結(jié)果見表1。

由表1可以看出，在利用上述處理方法進(jìn)行數(shù)據(jù)處理后，各個(gè)控制點(diǎn)平面誤差和高程誤差均不超過14.0mm。說明該處理方法精度極高，能夠有效地提取控制點(diǎn)的三維坐標(biāo)信息。對(duì)這些數(shù)據(jù)進(jìn)行分析，得到該處理方法在實(shí)踐中具備可行性的結(jié)論。成功應(yīng)用這種處理方法能夠?yàn)楹罄m(xù)測(cè)量和建模工作提供更加準(zhǔn)確的數(shù)據(jù)支持。

6結(jié)論

本文詳細(xì)介紹了無人機(jī)傾斜攝影中密集匹配點(diǎn)云的處理與應(yīng)用。研究發(fā)現(xiàn)該技術(shù)在獲取高質(zhì)量點(diǎn)云數(shù)據(jù)方面作用重要，在各個(gè)領(lǐng)域中應(yīng)用前景廣泛。無人機(jī)傾斜攝影中密集匹配點(diǎn)云的處理與應(yīng)用研究意義重大，理論價(jià)值很高。深入研究該技術(shù)，分析應(yīng)用案例，進(jìn)一步優(yōu)化算法，提高數(shù)據(jù)處理效率，使應(yīng)用更加廣泛。未來將繼續(xù)深入研究無人機(jī)傾斜攝影中密集匹配點(diǎn)云技術(shù)的理論和方法，探索其在更多領(lǐng)域中的應(yīng)用，不斷提高該技術(shù)的實(shí)用性和可靠性。

參考文獻(xiàn)

[1]任娜，張玉，王洪江，等. 基于二維正態(tài)分布的無人機(jī)激光雷達(dá)點(diǎn)云匹配研究[J]. 激光雜志，2024，45（4）：265-270.

[2]戴志勝，王鵬飛，周光建. 基于攝影測(cè)量匹配點(diǎn)云估算建筑表面太陽輻照度[J]. 測(cè)繪通報(bào)，2023（9）：93-99.

[3]呂欣陽，樊冬麗，張廣運(yùn)，等. 無人機(jī)影像匹配點(diǎn)云的露天礦臺(tái)階高度計(jì)算方法[J]. 測(cè)繪通報(bào)，2023（5）：135-139.

[4]成樞，孫昂，程旭明. 基于改進(jìn)的不規(guī)則三角網(wǎng)的密集匹配點(diǎn)云濾波與應(yīng)用[J]. 城市勘測(cè)，2023（2）：85-89.

[5]全昌文，李正洪，龐百寧，等. 無人機(jī)影像密集匹配點(diǎn)云在違法占地和違法建筑監(jiān)測(cè)中的應(yīng)用[J]. 測(cè)繪通報(bào)，2023（4）：111-114，134.

[6]范佳鑫，王春，代文，等. 基于多尺度高程變異系數(shù)的影像匹配點(diǎn)云濾波方法[J]. 地理與地理信息科學(xué)，2023，39（2）：25-31.

[7]鮑秀武，梁文彪，劉也. 基于傾斜攝影測(cè)量點(diǎn)云與影像匹配的像控點(diǎn)坐標(biāo)自動(dòng)提取方法研究[J]. 城市勘測(cè)，2023（1）：105-109.

[8]王果，王成，王宏濤，等. 基于無人機(jī)密集匹配點(diǎn)云的黃河流域礦區(qū)植被提取[J]. 中國(guó)礦業(yè)，2023，32（6）：65-71.