多視幾何無人機影像堆體體積量算

張春森 張奇源 南軻

摘 要：針對形態(tài)不規(guī)則、大規(guī)?；虿槐阌诮嚯x實測的堆體體積的計算問題，借助低空無人機（Unmanned Aerial Vehicle，UAV）搭載非量測的普通數(shù)碼相機對堆體進行傾斜攝影，獲取堆體多視角的傾斜影像。利用運動恢復(fù)結(jié)構(gòu)和基于面片的多視角立體視覺（SfM?PMVS）技術(shù)處理由無人機獲取的傾斜影像。在引入地面像控點后，首先對影像進行特征點提取和基于最近鄰距離比率（Nearest Neighbor Distance Ratio，NNDR）算法的SIFT粗匹配，采用隨機抽樣一致算法（Random Sample Consensus，RANSAC）剔除誤匹配點對進而精確求得影像的基本矩陣F完成影像匹配。引入經(jīng)相機檢校得到的相機內(nèi)參數(shù)精確求解本質(zhì)矩陣E，恢復(fù)相機運動姿態(tài)后由投影矩陣P計算稀疏點云在物方坐標(biāo)系下的坐標(biāo)，采用PMVS算法進行點云密集匹配，經(jīng)光束法平差后得到堆體在物方坐標(biāo)系下精確的三維密集點云。對三維密集點云做點云分割，剔除非堆體表面點后構(gòu)建Delaunay三角網(wǎng)，利用數(shù)字地面模型（Digital Terrain Model，DTM）法計算堆體的體積。與用GNSS?RTK均勻測得堆體表面三維坐標(biāo)點采用DTM法計算堆體體積的結(jié)果對比證明，所給方法計算堆體的體積在準(zhǔn)確性上能滿足實際生產(chǎn)中的要求。

關(guān)鍵詞：攝影測量計算機視覺;低空無人機;運動恢復(fù)結(jié)構(gòu);密集點云;體積量算

中圖分類號：P 231

文獻標(biāo)志碼：ADOI：10.13800/j.cnki.xakjdxxb.2019.0118文章編號：1672-9315（2019）01-0124-06

Volumetric calculation of multi?vision

geometry UAV image volume

ZHANG Chun?sen1，ZHANG Qi?yuan1，NAN Ke2

（1.College of Geomatics，Xi’an University of Science and Technology，Xi’an 710054，China;

2.Faculty of Geosciences and Environmental Engineering，Southwest Jiaotong University，Chengdu 610000，China）Abstract：For the calculation of stack volume with irregular shape，large scale or inconvenient close?range measurement，this paper studies the tilt photography of the stack by using a non?measured ordinary digital camera with UAV.A tilted image of the multi?view of the stack is obtained.The tilted image acquired by the drone is processed using the structure from motion and patch?based multi?view stereo（SfM?PMVS）technique.After the introduction of the ground image control point，the feature point extraction and the SIFT rough matching based on the nearest neighbor distance ratio（NNDR）algorithm are firstly applied，and the random sample consensus（RANSAC）is used to eliminate the mismatched point and then accurately obtain the basic matrix F of the image to complete image matching.The in?camera parameters introduced into the calibration are used to accurately solve the essential matrix E.After the camera pose is restored，the coordinates of the sparse point cloud in the object coordinate system are calculated by the projection matrix P，and the point cloud is closely matched by the PMVS algorithm.Obtain a precise three?dimensional dense point cloud of the stack in the object coordinate system，conduct point cloud segmentation on the 3D dense point cloud，and build a Delaunay triangulation after the non?stacked surface point of the stack is eliminated.The volume of the pile is calculated by the Digital Terrain Model（DTM）method.The calculation results of this method are compared with that of using DTM method to calculate the volume of the pile byGNSS?RTK for uniformly measuring the three?dimensional coordinates of the surface of the stack.It is found that the volume of the pile canmeet the accuracy of the actual production.

Key words：

photogrammetrycomputervision;unmanned aerial vehicle;structure from motion;dense point cloud;volume calculation

0?引?言

針對堆體體積的計算問題，常規(guī)的方法是采用全站儀或GNSS?RTK在堆體表面測一定密度的三維坐標(biāo)點，然后利用方格網(wǎng)法或DTM法計算堆體的體積。但在實際中，很多待測物體規(guī)模大或不便于近距離實測，故常規(guī)方法在此時很難適應(yīng)。另外，用常規(guī)方法獲取的坐標(biāo)點的密度較低影響計算結(jié)果的準(zhǔn)確性，且效費比低。用傳統(tǒng)的航空攝影測量辦法進行體積計算是通過立體測圖直接量測等高線后進行高程內(nèi)插得到數(shù)字高程模型（Digital Elevation Model，DEM）來進行體積計算，或?qū)?shù)字表面模型（Digital Surface Model，DSM）進行濾波去除非地面點得到DEM后計算土方量或堆體的體積。該方法的過程復(fù)雜，得到DEM的精度較低（高程中誤差一般大于5 cm），常用于大范圍和精度要求低的體積或土石方量的計算，無法滿足小范圍高精度體積計算的需求。近年來，三維激光掃描技術(shù)也被用于堆體體積的量算[1]，但因其設(shè)備昂貴、數(shù)據(jù)后處理難度大等缺點限制了該技術(shù)設(shè)備的廣泛應(yīng)用。

在計算機視覺領(lǐng)域，運動恢復(fù)結(jié)構(gòu)和多視角立體視覺（SfM?PMVS）技術(shù)是一種低投入、高效率地獲取三維地形數(shù)據(jù)的有效手段[2]，近年來被廣泛應(yīng)用于三維地形數(shù)據(jù)獲取[3-5]和城市建筑物三維模型的構(gòu)建[6-7]。無人機技術(shù)在近年來發(fā)展迅速，因其使用成本低和獲取數(shù)據(jù)便捷的優(yōu)點，被廣泛應(yīng)用于近景攝影測量領(lǐng)域。于海洋等采用SfM?MVS的技術(shù)處理由無人機獲取高海拔低植被覆蓋區(qū)的影像，分析了地面控制點的數(shù)量與生成DEM的精度關(guān)系，為借助無人機進行高海波低植被覆蓋區(qū)的DEM生產(chǎn)提供了可靠的技術(shù)依據(jù)[8];許志華等利用無人機在近景攝影測量中可快速獲取數(shù)據(jù)的特點，采用SfM技術(shù)動態(tài)監(jiān)測了某露天礦區(qū)的煤炭開采量[9];董建偉等利用多視圖立體幾何的方法對某港口煤堆進行三維重建，為港口煤炭的儲運及信息化港口建設(shè)提供了基礎(chǔ)數(shù)據(jù)[10]。

針對傳統(tǒng)方法對于體積量算存在精度低、費效比低下的問題，文中提出將計算視覺領(lǐng)域中的PMVS點云密集匹配技術(shù)應(yīng)用于體積量算，用于獲取堆體的密集點云。借助無人機在近景攝影測量領(lǐng)域獲取數(shù)據(jù)便捷、成本低的優(yōu)點和SfM?PMVS技術(shù)可獲得影像中物體的高精度、高密度三維點云的特性[11]，研究利用低空多旋翼無人機搭載非量測數(shù)碼相機對陜西省銅川市某礦區(qū)的TX01號煤堆進行傾斜攝影，獲得該煤堆在多個視角的傾斜影像?；诓杉膬A斜影像，引入地面像控點，運用運動恢復(fù)結(jié)構(gòu)和多視角立體視覺的方法獲取TX01號煤堆在物方坐標(biāo)系下的高精度的三維密集點云，對密集點云進行分割去噪處理后，構(gòu)建Delaunay采用DTM法計算煤堆的體積。最后將文中方法計算的結(jié)果和傳統(tǒng)GNSS?RTK測點DTM法計算煤堆的結(jié)果對比發(fā)現(xiàn)，利用文中方法進行堆體體積量算精度可靠、處理過程簡單、適用性強。

1?實現(xiàn)框架

基于無人機影像進行堆體體積量算及可靠性驗證的技術(shù)環(huán)節(jié)為：①特征提取、影像匹配，獲取堆體在物方坐標(biāo)系下的稀疏點云。即首先在傾斜影像中刺點，加入像控點坐標(biāo)后提取影像中的特征點并進行基于最近鄰距離比率的SIFT粗匹配，采用RANSAC算法剔除誤匹配點對后精確求解影像對的基本矩陣F，進而完成影像匹配[12-15]。引入經(jīng)相機檢校得到的相機內(nèi)參數(shù)，進一步求得本質(zhì)矩陣E，對本質(zhì)矩陣分解得到像方到物方的映射關(guān)系，投影矩陣P.最后由特征點的像點坐標(biāo)和投影矩陣P求得特征點在物方坐標(biāo)系下的坐標(biāo)，進而得到堆體在物方坐標(biāo)系下的稀疏點云;②用PMVS算法進行點云密集匹配，得到堆體的密集點云[16-18];③做光束法平差，得到堆體在物方坐標(biāo)系下高精度的密集點云;④基于密集點云構(gòu)建Delaunay三角網(wǎng)采用DTM法計算TX01號煤堆的體積;⑤利用GNSS?RTK在堆體表面均勻采點并利用采集的坐標(biāo)點數(shù)據(jù)用DTM法計算TX01號煤堆的體積;⑥比較文中方法和用GNSS?RTK測量計算結(jié)果的差值并分析得出結(jié)論。文中方法的技術(shù)流程如圖1所示。

2?基于SfM?PMVS的點云密集匹配

基于SfM?PMVS點云密集匹配的主要步驟為：①采用SfM方法恢復(fù)相機的運動姿態(tài)[19]，獲得堆體在物方坐標(biāo)系下的稀疏點云;②采用PMVS算法進行點云密集匹配;③光束法平差，精確求解密集點云在物方坐標(biāo)系下的坐標(biāo)。

具體為第一步引入像控點，對影像進行特征點提取并采用最近鄰距離比率算法進行SIFT特征點粗（稀疏）匹配[20]，經(jīng)RANSAC算法剔除誤匹配點對后精確求解影像對的基本矩陣F.由基本矩陣F和經(jīng)相機檢校得到的準(zhǔn)確相機內(nèi)參數(shù)矩陣K，求得本質(zhì)矩陣E，分解本質(zhì)矩陣得到相機在拍照瞬間的位置和姿態(tài)。在進一步解得從像方到物方坐標(biāo)系的映射，投影矩陣P后，將特征點云從像方轉(zhuǎn)換到物方坐標(biāo)系下，恢復(fù)堆體在物方的三維空間結(jié)構(gòu)。第二步將SfM處理所獲取的相機運動參數(shù)和點云稀疏匹配得到的匹配點對（f，f′）作為起算數(shù)據(jù)，對匹配點對使用三角化方法生成一系列的三維空間點。然后將生成的三維空間點按與光心的距離O（I）從小到大順序進行排列，在局部光度一致性和全局可見度一致性的約束下迭代執(zhí)行面元擴展和面元過濾進而完成點云密集匹配。其中，局部光度一致性是指任何面元patch至少在γ幅影像中被可見（文中γ取3）;全局可見度一致性是指面元patch不能被其他影像的其他面元遮擋（基于PMVS算法進行點云密集匹配的過程如圖2所示）。最后，對PMVS密集匹配獲取的密集點云進行光束法平差，獲得堆體在物方坐標(biāo)系下高精度的密集點云[21-23]，為構(gòu)建Delaunay三角網(wǎng)進行堆體體積計算提供基礎(chǔ)數(shù)據(jù)。

3?實驗與分析

實驗利用大疆 M600六旋翼無人機搭載索尼ILCE6000型相機采集銅川某煤礦TX01號煤堆的傾斜影像。TX01號煤堆總體形狀呈臺體狀，底面長寬約為160 m×45 m（TX01號煤堆如圖3所示）。為了在像對中提取更多可靠的特征點用于后續(xù)的影像匹配，故在獲取影像時要保證影像在航向和旁向具有足夠的重疊度（本次實驗分別為60%與50%）。航飛的高度可根據(jù)實驗要求的影像像素分辨率的大小與搭載相機CCD尺寸的關(guān)系計算得到。本次實驗詳細(xì)數(shù)據(jù)見表1.

在獲取的傾斜影像中刺點加入像控點坐標(biāo)，經(jīng)SfM方法進行處理后得到TX01號煤堆在物方坐標(biāo)系下的稀疏三維點云（圖4），經(jīng)PMVS點云密集匹配，光束法平差后得到煤堆在物方坐標(biāo)系下的三維密集點云（圖5）。

為了檢核在物方坐標(biāo)系下密集點云坐標(biāo)的精度，文中進行了2組對比實驗。在處理時，第一組實驗中設(shè)置了6個像控點（5個平高點和1個高程點）和2個檢查點，第二組中設(shè)置了5個像控點（均為平高點）和3個檢查點。最后經(jīng)SfM?PMVS和光束法平差處理后，檢查點的坐標(biāo)誤差見表2和表3.

由表2和表3可知，第一組實驗中由于地面控制點比第二組實驗中多一個，增加了多余觀測，檢查點的坐標(biāo)誤差總體上優(yōu)于第二組。點云坐標(biāo)的平面精度優(yōu)于4 cm，高程精度優(yōu)于5 cm，高于傳統(tǒng)航測方法得到點位坐標(biāo)的精度，且滿足《城市測量規(guī)范》（CJJ/T 8?2011）在土石方測量時檢查點的平面和高程較差不大于100 mm的要求，故文中實驗得到的密集點云滿足基于點云構(gòu)建三角網(wǎng)進行DTM法體積計算的精度要求。

由于檢查點的坐標(biāo)誤差總體上優(yōu)于第二組實驗，故選擇第一組實驗中獲取的密集點云進行后續(xù)TX01號煤堆的體積計算。在對密集點云進行分割處理，剔除非煤堆表面點后構(gòu)建Delaunay三角網(wǎng)采用DTM法計算煤堆的體積。測得堆煤場地面高程為670.5 m，以670.5 m高程所在平面為基準(zhǔn)面計算得TX01號煤堆的體積為30 384.8 m3.為了比較文中方法體積計算結(jié)果的可靠性，利用GNSS?RTK在煤堆表面均勻采點（約3個/m2）后利用DTM法算得煤堆的體積為30 514.3 m3，兩者差值約129 m3，相對差值為0.42%.從最終體積計算的結(jié)果上分析，文中方法在精度上能滿足實際生產(chǎn)中的要求。

本實驗是在Visual SFM軟件中加載經(jīng)編譯好的PMVS文件對影像進行SfM?PMVS處理，將獲取的點云導(dǎo)入CASS軟件中構(gòu)網(wǎng)并計算體積。由于需要編譯調(diào)試PMVS算法的程序，過程較為復(fù)雜。為達到生產(chǎn)中處理過程要簡單高效的需求，用幾款商用軟件，如Pix4D Mapper，Photoscan和Context Capture去獲取密集點云并用于后續(xù)的體積計算（見表4）。不同軟件在算法的優(yōu)化方面有所差別，

但基本的原理都很接近。由表4可知，在處理速度上Context Capture最快，Photoscan較慢，但Context Capture軟件的操作更為復(fù)雜。Pix4D Mapper軟件在處理速度和軟件操作上都較為適中，用三款軟件獲取的點云分別進行體積計算的結(jié)果都很接近。

4?結(jié)?論

1）采用運動恢復(fù)結(jié)構(gòu)和多視立體視覺（SfM?PMVS）技術(shù)處理由非量測數(shù)碼相機獲取的影像，可以獲得被拍攝物體的三維密集點云，點云的密度能滿足后續(xù)構(gòu)三角網(wǎng)用DTM法計算堆體體積的要求;

2）對密集點云進行光束法平差，平差后密集點云在物方坐標(biāo)系下的平面精度優(yōu)于4 cm，高程精度優(yōu)于5 cm.密集點云的點位精度能滿足實際生產(chǎn)中土方量計算的精度要求;

3）采用文中方法進行堆體體積計算的相對差值為0.42%，綜合計算精度優(yōu)于傳統(tǒng)用GNSS?RTK采集堆體表面三維坐標(biāo)點的計算精度，并在成本、效率和可適用性上優(yōu)于傳統(tǒng)測坐標(biāo)點的方法;

4）在引入相機POS數(shù)據(jù)后是會進一步提高獲取點云的精度和加快影像的處理速度，這是文中后續(xù)進一步研究的內(nèi)容。

參考文獻（References）：

[1] 王解先，侯東亞，段兵兵.三維激光掃描儀在堆積物體積計算中的應(yīng)用[J].測繪通報，2013（7）：54-56.

WANG Jie?xian，HOU Dong?ya，DUAN Bing?bing.Application of 3D laser scanner in calculation of accumulation volume[J].Bulletin of Surveying and Mapping，2013（7）：54-56.

[2]魏占玉，Ramon，何宏林，等.基于SfM方法的高密度點云數(shù)據(jù)生成及精度分析[J].地震地質(zhì)，2015，37（2）：636-648.WEI Zhan?yu，Ramon，HE Hong?lin，et al.High?density point cloud data generation and accuracy analysis based on SfM method[J].Seismology and Geology，2015，37（2）：636-648.

[3]?Glendell M，Mcshane G，F(xiàn)arrow L，et al.Testing the utility of structure?from?motion photogrammetry reconstructions using small unmanned aerial vehicles and ground photography to estimate the extent of upland soil erosion[J].Earth Surface Processes & Landforms，2017，42（12）：1860-1871.

[4]Yan X，Meng F，Zha H.Simplification of fan?meshes models for fast rendering of large 3D point?sampled scenes[C]//International Conference on Image Analysis and Processing.Springer Berlin Heidelberg，2005：99-106.

[5]Lorensen W E，Cline H E.Marching cubes：a high resolution 3D surface construction algorithm[J].AcmSiggraph Computer Graphics，1987，21（4）：163-169.

[6]萬國偉.面向建筑物的三維點云生成、增強和重建技術(shù)研究[D].長沙：國防科學(xué)技術(shù)大學(xué)，2011.WAN Guo?wei.Research on 3D point cloud generation，enhancement and reconstruction for buildings[D].Changsha：National University of Defense Technology，2011.

[7]齊?南.基于圖像序列的目標(biāo)三維重建技術(shù)研究[D].北京：北京工業(yè)大學(xué)，2013.QI Nan.Research on 3D reconstruction of target based on image sequence[D].Beijing：Beijing Polytechnic University，2013.

[8]于海洋，曾春偉，馬慧慧，等.基于SfM?MVS的高山區(qū)無人機航攝數(shù)據(jù)處理[J].河南城建學(xué)院學(xué)報，2017，26（2）：83-87.YU Hai?yang，ZENG Chun?wei，MA Hui?hui，et al.Aerial image processing of UAVs in high mountainous area based on SfM?MVS[J].Journal of Henan Institute of Urban Construction，2017，26（2）：83-87.

[9]許志華，吳立新，陳紹杰，等.基于無人機影像的露天礦工程量監(jiān)測分析方法[J].東北大學(xué)學(xué)報（自然科學(xué)版），2016，37（1）：84-88.XU Zhi?hua，WU Li?xin，CHEN Shao?jie，et al.Monitoring and analysis method of opencast mine project based on UAV images[J].Journal of Northeastern University（Natural Science），2016，37（1）：84-88.

[10]董建偉，李海濱，孔德明，等.基于多視圖立體視覺的煤場三維建模方法研究[J].燕山大學(xué)學(xué)報，2016，40（2）：136-141.DONG Jian?wei，LI Hai?bin，KONG De?ming，et al.Three dimensional modeling method of Coalfield based on multiview stereo vision[J].Journal of Yanshan University，2016，40（2）：136-141.

[11]何豫航，岳?俊.基于CMVS/PMVS多視角密集匹配方法的研究與實現(xiàn)[J].測繪地理信息，2013，38（3）：20-23.HE Yu?hang，YUE Jun.Research and implementation of multiview intensive matching method based on CMVS/PMVS[J].Surveying and Mapping Geographic Information，2013，38（3）：20-23.

[12]許佳佳，張?葉，張?赫.基于改進Harris?SIFT算子的快速圖像配準(zhǔn)算法[J].電子測量與儀器學(xué)報，2015，29（1）：48-54.XU Jia?jia，

ZHANG Ye，ZHANG He.Fast image registration algorithm based on improved harris?SIFT operator[J].Electronic Measurement & Instrumentation Journal of Engineering，2015，29（1）：48-54.

[13]孫?浩，王?程，王潤生.局部不變特征綜述[J].中國圖象圖形學(xué)報，2011，16（2）：141-151.SUN Hao，WANG Cheng，WANG Run?sheng.A review of local invariant features[J].Chinese Journal of Image and Graphics，2011，16（2）：141-151.

[14]Zhang J.Image?based 3D photography using opacity hulls[J].Acm Transactions on Graphics，2002，21（3）：427-437.

[15]陳?敏.基于多尺度的圖像特征提取與匹配研究[D].長沙：中南大學(xué)，2011.CHEN Min.Research on image feature extraction and matching based on multi?scale[D].Changsha：Central South University，2011.

[16]?Furukawa Y，Ponce J.Accurate，dense，and robust multiview stereopsis[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2010，32（8）：1362-1376.

[17]賈?毅，李?振.利用空間小面元模型重構(gòu)序列影像密集點云[J].武漢大學(xué)學(xué)報信息科學(xué)版，2014，39（12）：1430-1434.JIA Yi，LI Zhen.Reconstructing sequence?image dense point clouds using spatial facet model[J].Geomatics and Information Science of Wuhan University，2014，39（12）：1430-1434.

[18]?Ke Y，Sukthankar R.PCA?SIFT：a more distinctive representation for local image descriptors[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition.IEEE Computer Society，2004：506-513.

[19]Westoby M J，Brasington J，Glasser N F，et al.Structure?from?motion’ photogrammetry：a low?cost，effective tool for geoscience applications[J].Geomorphology，2012，179：300-314.

[20]?Lowe D G.Distinctive image features from scale?invariant keypoints[J].International Journal of Computer Vision，2004，60（2）：91-110.

[21]安維華，付永剛，張習(xí)文.基于圖像的點云建模及其真實感繪制[J].計算機工程與應(yīng)用，2010，46（20）：4-8.AN Wei?hua，F(xiàn)U Yong?gang，ZHANG Xi?wen.Image?based point cloud modeling and realistic rendering[J].Computer Engineering and Applications，2010，46（20）：4-8.

[22]張?平.基于全景相機連續(xù)影像的三維重構(gòu)研究[D].合肥：安徽工業(yè)大學(xué)，2015.ZHANG Ping.Research on 3D reconstruction of continuous image based on panoramic camera[D].Hefei：Anhui University of Technology，2015.

[23]Azevedo T C S，Tavares J M R S，Vaz M A P.3D object reconstruction from uncalibrated images using an off?the?shelf camera[J].Lancet，2009，1（7694）：348-9.