視頻幀影像和傾斜攝影點(diǎn)云融合精細(xì)建模方法研究

摘要：傾斜攝影技術(shù)是目前三維建模的重要方式，具有效率高、成本低且靈活快捷的優(yōu)點(diǎn)，然而其模型結(jié)構(gòu)不完整、表面拉花的問題也同樣存在，這種情況在構(gòu)建筑物部分尤為嚴(yán)重。為解決傾斜攝影建模精度的不足問題，提出一種視頻幀影像與傾斜攝影融合精細(xì)建模方法。首先，通過無人機(jī)采集測區(qū)的傾斜影像并通過內(nèi)業(yè)處理生成傾斜點(diǎn)云數(shù)據(jù)；其次，使用運(yùn)動(dòng)相機(jī)獲取測區(qū)構(gòu)建筑物的視頻幀影像，利用增量式運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)（Structure"From"Motion，SFM）算法和多視圖立體視覺（Multi-View"Stereo，MVS）算法進(jìn)行三維重構(gòu)生成點(diǎn)云數(shù)據(jù)；最后，在點(diǎn)云配準(zhǔn)的基礎(chǔ)上將兩部分點(diǎn)云數(shù)據(jù)統(tǒng)一到相同坐標(biāo)系統(tǒng)，再對兩部分點(diǎn)云數(shù)據(jù)進(jìn)行融合建模，實(shí)現(xiàn)三維模型的精細(xì)化呈現(xiàn)。結(jié)果表明：該方法能夠快速、精確地融合視頻幀影像和傾斜攝影影像，生成高質(zhì)量的三維模型，為不同數(shù)據(jù)的融合精細(xì)建模提供一種新的思路。

關(guān)鍵詞：傾斜攝影"視頻幀影像"點(diǎn)云融合"精細(xì)建模

中圖分類號：P231

Research"on"Fine"Modeling"Method"of"Point"Cloud"Fusion"of"Video"Frame"Image"and"Oblique"Photography

HUANG"Lizhang

Water"Survey"and"Design"Co.，Ltd."of"Fujian"Water"Resources"Investment"and"Development"Group"Co.，"Ltd.，"Fuzhou，"Fujian"Province，"350001"China

Abstract："Oblique"Photography"technology"is"an"important"way"of"three-dimensional"modeling"at"present，"with"the"advantages"of"high"efficiency，"low"cost"and"flexible"and"fast，"but"its"model"structure"is"not"complete，"and"surface"scratches"also"exists，"which"is"particularly"serious"in"the"construction"of"buildings."In"order"to"solve"the"problem"of"insufficient"modeling"accuracy"in"oblique"photography，"this"paper"proposes"a"fine"modeling"method"of"video"frame"image"fusion"with"oblique"photography."Firstly，"the"oblique"image"of"the"survey"area"is"collected"by"UAV"and"the""obliquepoint"cloud"data"is"generated"by"internal"processing;"Secondly，"the"motionnbsp;camera"is"used"to"obtain"the"video"frame"image"of"the"buildings"in"the"survey"area，"and"the"incremental"Structure"From"Motion（SFM）"algorithm"and"Multi-View"Stereo（MVS）"algorithm"are"used"to"reconstruct"the"three-dimensional"point"cloud"data;"Finally，"on"the"basis"of"point"cloud"registration，"the"two"parts"of"point"cloud"data"are"unified"into"the"same"coordinate"system，"and"then"the"two"parts"of"point"cloud"data"are"fused"to"achieve"the"fine"presentation"of"the"three-dimensional"model."The"results"show"that"this"method"can"fuse"video"frame"image"and"oblique"photographic"image"quickly"and"accurately，"and"generate"high"quality"3D"model，"providing"a"new"idea"for"fine"modeling"of"different"data"fusion.

Key"Words："Oblique"photography;"Video"frame"image;"Point"cloud"fusion;"Fine"modeling

傾斜攝影技術(shù)作為三維模型構(gòu)建的重要手段之一，近幾年獲得巨大的發(fā)展，在眾多領(lǐng)域得到廣泛應(yīng)用[1]。傾斜攝影測量主要通過在無人機(jī)飛行平臺上掛載多鏡頭相機(jī)實(shí)現(xiàn)同一時(shí)間對同一地物進(jìn)行不同角度影像數(shù)據(jù)采集。相較于傳統(tǒng)的航空攝影測量技術(shù)，傾斜攝影測量具有效率高、成本低且靈活快捷的特點(diǎn)[2]。然而，無人機(jī)拍攝過程中由于影像重疊度不夠、拍攝角度的限制以及地面遮擋等原因，傾斜攝影三維模型成果常存在模型變形明顯、表面拉花的問題。

為解決傾斜攝影三維模型變形的問題，目前常采用的解決方法有：（1）傾斜攝影結(jié)合無人機(jī)近景攝影測量進(jìn)行融合精細(xì)建模；（2）在傾斜攝影模型的基礎(chǔ)上利用相關(guān)軟件（如3DMax等）人工手動(dòng)建模[3-5]；（3）傾斜攝影結(jié)合地面激光點(diǎn)云采集，進(jìn)行融合建模。本文在現(xiàn)有傾斜攝影模型精細(xì)建模的研究基礎(chǔ)上，根據(jù)視頻數(shù)據(jù)的特點(diǎn)，提出一種視頻幀影像和傾斜攝影點(diǎn)云融合精細(xì)建模方法。

1研究方法

三維建模的基本原理是利用獲取的數(shù)據(jù)生成點(diǎn)云數(shù)據(jù)，從而構(gòu)建不規(guī)則三角網(wǎng)，最后對不規(guī)則三角網(wǎng)進(jìn)行貼膜處理[2]。本文介紹的精細(xì)建模的方法是將傾斜攝影生成的點(diǎn)云與視頻幀影像生成的點(diǎn)云進(jìn)行配準(zhǔn)融合，進(jìn)而生成質(zhì)量更高的三維模型。

（1）外業(yè)數(shù)據(jù)采集方面，傾斜攝影數(shù)據(jù)通過無人機(jī)航拍獲??；視頻的采集利用運(yùn)動(dòng)相機(jī)對建筑物進(jìn)行拍攝完成。（2）影像數(shù)據(jù)處理方面，傾斜攝影數(shù)據(jù)采用CC（Context"Capture）軟件進(jìn)行像控刺點(diǎn)和空三處理，生成傾斜攝影模型和點(diǎn)云數(shù)據(jù)。視頻經(jīng)分幀處理后，利用增量式運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)（Structure"From"Motion，SFM）算法生成稀疏三維點(diǎn)云數(shù)據(jù)，再利用多視圖立體視覺（Multi-View"Stereo，MVS）算法進(jìn)一步將稀疏點(diǎn)云數(shù)據(jù)重建為密集點(diǎn)云數(shù)據(jù)。（3）點(diǎn)云數(shù)據(jù)配準(zhǔn)融合處理方面，點(diǎn)云數(shù)據(jù)配準(zhǔn)利用特征點(diǎn)采用手動(dòng)粗配準(zhǔn)結(jié)合迭代最近點(diǎn)（Iterative"Closest"Point，ICP）算法精配準(zhǔn)的方式進(jìn)行，在配準(zhǔn)的基礎(chǔ)上導(dǎo)入CC軟件進(jìn)行點(diǎn)云融合，生成高精度三維模型。

2研究結(jié)果與分析

本次選用某住宅小區(qū)為研究測區(qū)，測區(qū)面積0.17"km2，地勢較平緩，以住宅和倉儲(chǔ)用地為主，范圍內(nèi)高低建筑分布均勻。測區(qū)數(shù)據(jù)的獲取和處理具體流程如圖1所示。

2.1測區(qū)傾斜攝影數(shù)據(jù)采集與處理

利用大疆M300RTK無人機(jī)搭配大疆禪思P1相機(jī)對測區(qū)進(jìn)行傾斜攝影影像采集。設(shè)置無人機(jī)固定飛行高度120"m，重疊度設(shè)置航向?yàn)?0%，旁向?yàn)?0%，飛行速度8"m/s，測區(qū)共飛行兩個(gè)架次，采集影像2"687張。

在測區(qū)范圍內(nèi)均勻布設(shè)10個(gè)像控點(diǎn)和6個(gè)檢查點(diǎn)并利用RTK采集其三維坐標(biāo)，平面坐標(biāo)系采用CGCS2000坐標(biāo)系，高程系統(tǒng)采用1985國家高程基準(zhǔn)。

對采集的原始外業(yè)資料進(jìn)行飛行質(zhì)量的檢查和影像質(zhì)量的檢查后，將合格的影像數(shù)據(jù)和Pos文件導(dǎo)入CC軟件，手動(dòng)對影像像控點(diǎn)進(jìn)行測點(diǎn)，并進(jìn)行空中三角測量，得到測區(qū)的傾斜攝影模型和點(diǎn)云數(shù)據(jù)。

2.2測區(qū)視頻幀數(shù)據(jù)采集與處理

本次視頻數(shù)據(jù)的采集通過運(yùn)動(dòng)相機(jī)以定焦環(huán)繞方式，人工拍攝測區(qū)內(nèi)建筑物的四周立面視頻，拍攝過程中應(yīng)盡量保證相機(jī)的穩(wěn)定，并使視頻的中心點(diǎn)在同一直線上。

將外業(yè)拍攝的視頻數(shù)據(jù)導(dǎo)入CC軟件，利用視頻分幀功能將其轉(zhuǎn)換為視頻幀影像。視頻分幀的結(jié)果直接影響到后續(xù)精細(xì)建模結(jié)果，通過設(shè)定合理的視頻分幀流程，以獲得最優(yōu)抽幀時(shí)間間隔，可有效避免外業(yè)數(shù)據(jù)二次采集，其處理計(jì)算公式為：

式（1）中：i表示間隔時(shí)間下提取影像幅數(shù)；T表示優(yōu)化視頻分幀總時(shí)長；b表示提取時(shí)間間隔；G表示讀取速率；Wi表示當(dāng)前抽幀序號；Wi+1表示下一抽幀序號。

SFM是從一定重疊區(qū)域、存在不同視覺之間的多幅影像中恢復(fù)出相機(jī)位姿和場景中加密點(diǎn)坐標(biāo)[6]。SFM算法可以分為全局式SFM算法和增量式SFM算法，增量式SFM算法具有數(shù)據(jù)處理更精確且不容易受到異常值的影響的特點(diǎn)，本次實(shí)驗(yàn)采用增量式SFM算法將視頻幀影像處理生成點(diǎn)云數(shù)據(jù)。經(jīng)增量式SFM算法生成的三維點(diǎn)云數(shù)據(jù)仍較稀疏，為了提高與傾斜攝影點(diǎn)云數(shù)據(jù)的配準(zhǔn)精度，還需使用MVS算法[7]對稀疏三維點(diǎn)云數(shù)據(jù)進(jìn)行密集化重建，生成稠密點(diǎn)云數(shù)據(jù)。

2.3傾斜攝影點(diǎn)云與視頻幀影像點(diǎn)云融合建模

經(jīng)過上述流程處理的視頻幀點(diǎn)云與傾斜攝影點(diǎn)云坐標(biāo)系不統(tǒng)一，為實(shí)現(xiàn)兩者的融合，還需對視頻幀點(diǎn)云數(shù)據(jù)進(jìn)行配準(zhǔn)。

點(diǎn)云數(shù)據(jù)的配準(zhǔn)通過選取兩部分點(diǎn)云數(shù)據(jù)的特征點(diǎn)，采用手動(dòng)粗配準(zhǔn)結(jié)合ICP算法精配準(zhǔn)的方式進(jìn)行。兩部分點(diǎn)云數(shù)據(jù)經(jīng)配準(zhǔn)后，再次導(dǎo)入CC軟件進(jìn)行融合，經(jīng)空三處理獲得精細(xì)化三維模型。

對測區(qū)范圍內(nèi)某建筑物模型融合精細(xì)重建，重建前后對比如圖2所示，其中，圖2（a）為原始傾斜攝影模型，模型變形明顯、表面拉花嚴(yán)重；圖2（b）為融合精細(xì)建模模型，模型細(xì)節(jié)清晰，更接近實(shí)際情況。結(jié)果表明，該方法不但可實(shí)現(xiàn)建筑物的三維精細(xì)建模，而且相對傾斜模型建模效果更優(yōu)。

2.4模型精度分析

為評價(jià)精細(xì)化重建模型的精度，將測區(qū)預(yù)留的6個(gè)檢查點(diǎn)的三維坐標(biāo)分別與原始傾斜攝影模型和精細(xì)化重建模型中的對應(yīng)點(diǎn)的坐標(biāo)進(jìn)行比對，利用中誤差計(jì)算公式分別計(jì)算兩模型的點(diǎn)位中誤差。

式（2）中：ms平面中誤差；mh為高程中誤差；△si為平面殘差；△hi為高程殘差，n為檢查點(diǎn)個(gè)數(shù)。

根據(jù)以上公式可求得原始傾斜攝影模型的平面中誤差為±3.41"cm，高程中誤差為±4.02"cm；精細(xì)化重建模型的平面中誤差為±2.69"cm，高程中誤差為±3.98"cm。平面中誤差及高程中誤差均滿足《三維地理信息模型數(shù)據(jù)產(chǎn)品規(guī)范》（CH/T"9015—2012）的要求[8]。

2.5建模效率分析

在外業(yè)實(shí)施方面，地面激光點(diǎn)云數(shù)據(jù)外業(yè)采集需要提前做好控制測量、站點(diǎn)布設(shè)等準(zhǔn)備，工作耗時(shí)較長；無人機(jī)近景攝影測量數(shù)據(jù)的采集，主要依靠手動(dòng)操作，對外業(yè)人員的要求比較高，另外在樹木遮擋嚴(yán)重地區(qū)和人口密集區(qū)實(shí)施起來也有諸多限制；本文所采用的方法只需利用運(yùn)動(dòng)相機(jī)以定焦環(huán)繞方式采集傾斜攝影盲區(qū)視頻即可完成外業(yè)工作，外業(yè)操作優(yōu)勢更明顯，耗時(shí)較少。

在內(nèi)業(yè)建模方面，以圖3建筑物為例，將本文提出精細(xì)建模方法設(shè)置為實(shí)驗(yàn)組；將傾斜攝影結(jié)合無人機(jī)近景攝影測量融合精細(xì)建模設(shè)置為對照A組；將基于專業(yè)修模軟件的精細(xì)修模方法設(shè)置為對照B組；將傾斜攝影與地面激光點(diǎn)云采集融合精細(xì)建模方法設(shè)置為對照C組。以對照C組精細(xì)建模時(shí)間作為比較中間數(shù)（h），通過比較相對時(shí)間，統(tǒng)計(jì)各種方法的內(nèi)業(yè)建模耗時(shí)，實(shí)現(xiàn)各種方法內(nèi)業(yè)精細(xì)建模效率的比對，比對結(jié)果如圖3所示。

從圖3中可以看出，對照C組因外業(yè)采集的激光點(diǎn)云數(shù)據(jù)量龐大，內(nèi)業(yè)對點(diǎn)云數(shù)據(jù)的處理耗時(shí)較多，建模時(shí)間最長，為1"h；對照B組的修模時(shí)間與構(gòu)建筑物結(jié)構(gòu)復(fù)雜程度密切相關(guān)，處理模型的時(shí)間浮動(dòng)性較大，耗時(shí)0.8"h；對照A組對影像重疊度要求較高，在影像滿足條件的情況下耗時(shí)0.3"h；實(shí)驗(yàn)組方法精細(xì)建模處理內(nèi)業(yè)耗時(shí)為0.2"h，相較于其他對照組其內(nèi)業(yè)建模耗時(shí)更少。

通過幾種精細(xì)建模方法的內(nèi)外業(yè)作業(yè)情況對比可知，本文提出的方法具有外業(yè)可操作性更強(qiáng)，內(nèi)業(yè)建模效率更高的優(yōu)勢。

3結(jié)語

本文在傳統(tǒng)精細(xì)建模研究的基礎(chǔ)上提出一種視頻幀影像與傾斜攝影點(diǎn)云融合精細(xì)建模方法。該方法具有對外業(yè)人員要求低、實(shí)際可操作性強(qiáng)和建模效率高的特點(diǎn)，為三維模型的精細(xì)化建模提供一種新的思路。

參考文獻(xiàn)

[1]顧廣杰，姜堅(jiān)，陶占杰.無人機(jī)傾斜攝影測量技術(shù)在應(yīng)急測繪保障中的應(yīng)用[J].測繪通報(bào)，2017（S1）：100-101，110.

[2]謝云鵬，呂可晶.多源數(shù)據(jù)融合的城市三維實(shí)景建模[J].重慶大學(xué)學(xué)報(bào)，2022，45（4）：143-154.

[3]卞敏.空地一體精細(xì)化三維模型構(gòu)建方法[D].徐州：中國礦業(yè)大學(xué)，2020.

[4]譚仁春，姚嵐.城市三維快速建模方法探討[J].測繪科學(xué)，2015，40（5）：136-138.

[5]董富強(qiáng)，喜文飛.基于傾斜攝影測量的三維精細(xì)建模研究：以睿智五號樓為例[J].測繪與空間地理信息，2019，42（12）：65-67，70.

[6]江曉斌.基于無人機(jī)影像的增量式SFM關(guān)鍵技術(shù)研究[D].淄博：山東理工大學(xué)，2020.

[7]張茂正，燕寧娜，袁宜紅，等.復(fù)雜異形古建下基于SfM的視頻幀影像三維重構(gòu)方法[J].測繪通報(bào)，2023（10）：54-60.

[8]龍勝.無人機(jī)傾斜攝影測量精細(xì)化三維建模及數(shù)字鄉(xiāng)村可視化應(yīng)用研究[D].成都：成都理工大學(xué)，2021.