傾斜影像與LiDAR點(diǎn)云數(shù)據(jù)融合關(guān)鍵技術(shù)應(yīng)用探討

齊磊剛

〔摘 要〕通過(guò)基于傾斜攝影測(cè)量與機(jī)載LiDAR點(diǎn)云數(shù)據(jù)的融合關(guān)鍵技術(shù)探討，詳細(xì)分析并給出了“絕對(duì)坐標(biāo)法”與“手動(dòng)控制點(diǎn)法”的具體應(yīng)用要求與場(chǎng)景，并借助某個(gè)具有異形結(jié)構(gòu)的建筑物作為測(cè)試案例，進(jìn)行了傾斜攝影、機(jī)載LiDAR掃描與融合處理，結(jié)果表明：融合后的實(shí)景模型在分辨率、精細(xì)化程度、結(jié)構(gòu)完整性等方面均優(yōu)于融合前；精度上，融合后的模型在平面點(diǎn)位中誤差與高程中誤差上均得到了大幅提高，且高程精度較平面精度提升更為顯著，獲得了較好的測(cè)試效果。該融合方案也可為同類建模工作提供參考。

〔關(guān)鍵詞〕傾斜攝影；機(jī)載LiDAR；點(diǎn)云；融合；精細(xì)化

中圖分類號(hào)：P237 ? ? ? ?文獻(xiàn)標(biāo)志碼：Ｂ 文章編號(hào)：1004-4345（2023）01-00４４-0５

Discussion on the Application of Key Technologies of Oblique Image

and LiDAR Point Cloud Data Fusion

QI Leigang

（China Chemical Geology （Henan） Survey Planning and Design Institute Co.， Ltd.， Zhengzhou， Henan 450011， China）

Abstract ?According to the discussion on the key integration technology based on ?oblique photography measuring and airborne LiDAR point cloud data， the paper makes a detailed analysis and provides the specific application requirements and scenarios of “absolute coordinate method” and “manual control point method” in detail. The oblique photography and airborne LiDAR scanning and integration processing are carried out with the help of a building with special-shaped structure as a test case. The results show that the real-scene model after integration is superior to the model before integration in terms of resolution， refinement and structural integrity. ?In terms of accuracy， the model after integration has been greatly improved in terms of error of plane point location and elevation， and the elevation accuracy has been significantly improved compared with the plane accuracy， which has achieved good test results. The integration scheme can also be a reference for similar modeling operation.

Keywords ?oblique photography; airborne LiDAR; point cloud; integration; refinement

1 ? 傾斜攝影與機(jī)載LiDAR技術(shù)原理

隨著我國(guó)計(jì)算機(jī)、芯片、5G、無(wú)人機(jī)等高新科技的迅猛發(fā)展，測(cè)繪及其相關(guān)學(xué)科、領(lǐng)域也發(fā)生了多次技術(shù)革新。其中，傾斜攝影測(cè)量技術(shù)與機(jī)載激光雷達(dá)（LiDAR）技術(shù)，已成為近年來(lái)測(cè)繪領(lǐng)域的重要突破。

基于多鏡頭傾斜攝影測(cè)量理論、無(wú)人機(jī)技術(shù)的跳躍式發(fā)展形成的傾斜攝影測(cè)量技術(shù)使測(cè)繪人員從根本上擺脫了傳統(tǒng)純野外GPS-RTK、全站儀等繁重的測(cè)量模式，大大提高了測(cè)繪項(xiàng)目的工作效率。借助多視角航拍與同名特征點(diǎn)匹配技術(shù)，傾斜攝影測(cè)量可實(shí)現(xiàn)三維實(shí)景模型的構(gòu)建，在測(cè)繪線劃圖的立體采集、工程設(shè)計(jì)、應(yīng)急處理等領(lǐng)域大有可為。測(cè)繪工作的重心已從人力密集型、高成本、周期長(zhǎng)的野外工作，轉(zhuǎn)移到了人員少、高效率、周期短的自動(dòng)化內(nèi)業(yè)數(shù)據(jù)處理上來(lái)。傾斜攝影多鏡頭測(cè)量原理見(jiàn)圖1。

與此同時(shí)，將無(wú)人機(jī)飛行器作為航飛平臺(tái)，搭載激光雷達(dá)掃描設(shè)備的機(jī)載激光雷達(dá)（LiDAR）技術(shù)也得到了快速地發(fā)展與普及。機(jī)載LiDAR掃描系統(tǒng)是一種集全球定位系統(tǒng)、紅外激光測(cè)距模塊及慣性導(dǎo)航系統(tǒng)等技術(shù)于一身的激光點(diǎn)云測(cè)量系統(tǒng)。該系統(tǒng)屬于一種主動(dòng)式觀測(cè)系統(tǒng)，其紅外激光測(cè)距模塊通過(guò)多次發(fā)出紅外脈沖信號(hào)與光信號(hào)的接收，對(duì)目標(biāo)進(jìn)行距離測(cè)量，從而實(shí)現(xiàn)對(duì)現(xiàn)實(shí)世界絕大多數(shù)目標(biāo)物（水域除外）的掃描與測(cè)量。機(jī)載LiDAR技術(shù)在地形測(cè)繪、高精度DEM數(shù)據(jù)的采集與制作、地質(zhì)構(gòu)造的結(jié)構(gòu)識(shí)別與勘察、地質(zhì)災(zāi)害形變監(jiān)測(cè)等相關(guān)工作中有可觀的發(fā)展前景。許多學(xué)者亦給出了較為豐碩的相關(guān)測(cè)試、應(yīng)用等研究成果。DV-LiDAR40激光雷達(dá)模塊見(jiàn)圖2。

傾斜攝影與機(jī)載LiDAR各具優(yōu)勢(shì)，又各有缺點(diǎn)。如，傾斜攝影的實(shí)景三維模型雖是多鏡頭采集地物影像，但在采集異形建、構(gòu)筑物或房檐下等隱蔽位置影像時(shí)，容易出現(xiàn)結(jié)構(gòu)變形、表面拉花等現(xiàn)象，在模型的精細(xì)度上尚存不足，且高程精度較差；而機(jī)載LiDAR的多回波脈沖技術(shù)具有超強(qiáng)的穿透能力，測(cè)量點(diǎn)云點(diǎn)位精度高，但所獲取的點(diǎn)云數(shù)據(jù)不具備光譜屬性，尤其缺乏側(cè)面紋理信息。因此，將傾斜攝影數(shù)據(jù)與機(jī)載LiDAR點(diǎn)云數(shù)據(jù)或地面三維激光掃描數(shù)據(jù)進(jìn)行融合處理，是當(dāng)前構(gòu)建高精度三維模型的重要途徑。本文擬利用傾斜攝影測(cè)量、機(jī)載LiDAR及其自帶正攝影像進(jìn)行實(shí)地測(cè)試與精度評(píng)定，探討傾斜攝影測(cè)量與機(jī)載LiDAR點(diǎn)云數(shù)據(jù)之間融合處理的關(guān)鍵技術(shù)。

2 ? 數(shù)據(jù)準(zhǔn)備與融合流程

測(cè)繪多源數(shù)據(jù)的融合已成為現(xiàn)代精細(xì)化建模的主要解決方案，許多學(xué)者已探討過(guò)并給出了不同的使用經(jīng)驗(yàn)與方法。如，李曉斌等[6]基于傾斜攝影與地面三維激光掃描數(shù)據(jù)，探討了兩種數(shù)據(jù)相似特征點(diǎn)匹配、點(diǎn)云粗配準(zhǔn)與精配準(zhǔn)等關(guān)鍵融合技術(shù)；陳立波等[7]提出一種基于機(jī)載LiDAR點(diǎn)云與傾斜影像的高精度幾何定向技術(shù)，提高了傾斜影像的空三精度；雷志秋等[8]借助ICP算法提高了固定翼載LiDAR數(shù)據(jù)與傾斜影像之間的融合精度，實(shí)現(xiàn)了實(shí)景三維的重現(xiàn)。而本研究則側(cè)重于談?wù)摽刂泣c(diǎn)的融合處理方法，該方法更為實(shí)用、便捷與高效。

2.1 ?點(diǎn)云數(shù)據(jù)的準(zhǔn)備

數(shù)據(jù)的準(zhǔn)備包括了傾斜攝影測(cè)量空三解算與機(jī)載LiDAR點(diǎn)云數(shù)據(jù)的預(yù)處理。

傾斜攝影空三解算中，原始影像數(shù)據(jù)與POS數(shù)據(jù)文件的密集匹配解算后，剔除與主作業(yè)采集數(shù)據(jù)焦距差異較大的影像，如地面起飛點(diǎn)試拍數(shù)據(jù)、空中非規(guī)劃航跡拍攝等，再提交第一次空三計(jì)算，從而降低采樣率，快速完成概略空三運(yùn)算。該步完成后即可進(jìn)行地面控制點(diǎn)刺點(diǎn)，提交二次空三解算。此時(shí)恢復(fù)初始采樣率，待空三完成后檢查時(shí)，再剔除個(gè)別未能參與空三解算以及小范圍的分層數(shù)據(jù)。至此，傾斜攝影的空三解算環(huán)節(jié)完成。

而機(jī)載LiDAR在空三解算時(shí)不同于傾斜攝影測(cè)量，無(wú)需像控點(diǎn)，它利用POS文件直接解算空中三角測(cè)量，對(duì)基本定向點(diǎn)的指標(biāo)進(jìn)行系統(tǒng)評(píng)價(jià)與分析，所以機(jī)載LiDAR在經(jīng)過(guò)慣導(dǎo)數(shù)據(jù)、流動(dòng)數(shù)據(jù)、原始采集數(shù)據(jù)的點(diǎn)云軌跡、數(shù)據(jù)差分以及點(diǎn)云解算后，即可獲取用于后期融合處理的LAS數(shù)據(jù)。

2.2 ?點(diǎn)云融合技術(shù)流程

點(diǎn)云融合技術(shù)流程如圖3所示，整個(gè)融合過(guò)程涉及3種數(shù)據(jù)、2個(gè)步驟。

具體步驟如下：首先，將機(jī)載LiDAR點(diǎn)云數(shù)據(jù)與其自身攜帶相機(jī)拍攝的正攝點(diǎn)云進(jìn)行融合，形成LiDAR正攝點(diǎn)云數(shù)據(jù)，將正攝紋理信息賦予機(jī)載LiDAR點(diǎn)云；其次，將LiDAR正攝點(diǎn)云數(shù)據(jù)與傾斜攝影空三數(shù)據(jù)進(jìn)行融合，形成融合點(diǎn)云數(shù)據(jù)，使傾斜紋理信息賦予LiDAR正攝點(diǎn)云數(shù)據(jù)。

3 ? 數(shù)據(jù)融合技術(shù)

數(shù)據(jù)融合建模能夠改善三維模型地物扭曲的問(wèn)題，修補(bǔ)缺失的影像點(diǎn)云，提高三維模型的精細(xì)度。其主要包含3個(gè)技術(shù)環(huán)節(jié)：1）不同原始數(shù)據(jù)的配準(zhǔn)與套合；2）正攝影像與機(jī)載LiDAR點(diǎn)云數(shù)據(jù)的融合；3）LiDAR正攝點(diǎn)云數(shù)據(jù)與傾斜攝影空三數(shù)據(jù)的融合。

3.1 ?多源數(shù)據(jù)的套合

多源數(shù)據(jù)之間的套合是指多種采集數(shù)據(jù)通過(guò)某種匹配方法，使之配準(zhǔn)在一起。只有數(shù)據(jù)基準(zhǔn)一致，才能實(shí)現(xiàn)不同數(shù)據(jù)間的融合。這里可通過(guò)兩種數(shù)據(jù)套合方案實(shí)現(xiàn)：1）不同數(shù)據(jù)使用同一絕對(duì)坐標(biāo)系，即具有統(tǒng)一數(shù)據(jù)基準(zhǔn)；2）不同數(shù)據(jù)間無(wú)統(tǒng)一絕對(duì)坐標(biāo)系，以手動(dòng)添加控制點(diǎn)的形式，固定其中一類點(diǎn)云數(shù)據(jù)空間坐標(biāo)不變，使其它點(diǎn)云數(shù)據(jù)通過(guò)手動(dòng)控制點(diǎn)向固定數(shù)據(jù)配準(zhǔn)。兩種方法均可實(shí)現(xiàn)多種數(shù)據(jù)間的套合處理，使用哪一種應(yīng)依據(jù)具體情況而定。若方便布設(shè)地面像控點(diǎn)，可使用方案一；若地形復(fù)雜，但地表特征明顯，亦可使用后者。

3.2 ?正攝影像與機(jī)載LiDAR點(diǎn)云數(shù)據(jù)的融合

機(jī)載LiDAR在航飛掃描的同時(shí)，正攝相機(jī)也參與了垂直角度的拍攝，形成正攝影像數(shù)據(jù)，此過(guò)程即將機(jī)載LiDAR點(diǎn)云與正攝影像之間的融合，賦予空間三維點(diǎn)云以光譜信息。攝影測(cè)量共線方程[9]見(jiàn)公式（1）、公式（2）。

從兩個(gè)公式中可以看出，由空間坐標(biāo)（X，Y，Z）向平面坐標(biāo)（x，y）轉(zhuǎn)換相對(duì)容易解算。由于正攝影像與LiDAR點(diǎn)云數(shù)據(jù)共有統(tǒng)一坐標(biāo)系，利用公式（1）、公式（2），以及相機(jī)參數(shù)與POS數(shù)據(jù)，可以解算出點(diǎn)云數(shù)據(jù)在像素平面下的平面坐標(biāo)（x，y），繼而賦予該坐標(biāo)下的像素（RGB）值，完成正攝影像與機(jī)載LiDAR點(diǎn)云數(shù)據(jù)的融合，形成LiDAR點(diǎn)云影像數(shù)據(jù)。該數(shù)據(jù)有助于實(shí)現(xiàn)高精度、真正射影像圖。在該環(huán)節(jié)的融合處理中，由于二者具有統(tǒng)一坐標(biāo)系，所有融合處理時(shí)不涉及不同數(shù)據(jù)間的配置與套合問(wèn)題。

3.3 ? LiDAR影像點(diǎn)云與傾斜影像點(diǎn)云的融合

LiDAR影像點(diǎn)云與傾斜影像點(diǎn)云的融合是在傾斜攝影做完空三解算后進(jìn)行的。該過(guò)程是為了賦予LiDAR空間三維點(diǎn)云側(cè)面紋理信息，從而實(shí)現(xiàn)在精準(zhǔn)的三維結(jié)構(gòu)上進(jìn)行紋理映射，形成精細(xì)化三維實(shí)景模型。其思路是將上述兩種數(shù)據(jù)納入同一套絕對(duì)坐標(biāo)系中，完成點(diǎn)云融合。但這樣仍然可能會(huì)出現(xiàn)兩種數(shù)據(jù)分層的現(xiàn)象，這也是多源數(shù)據(jù)融合需要解決的關(guān)鍵問(wèn)題。

導(dǎo)致數(shù)據(jù)分層的原因，一是任何點(diǎn)云數(shù)據(jù)均含有觀測(cè)噪點(diǎn)，在數(shù)據(jù)采集過(guò)程中均會(huì)受到外界干擾；二是多源數(shù)據(jù)采集系統(tǒng)的精度不一致，差異較大，從而形成了不可避免的系統(tǒng)誤差。為了避免點(diǎn)云融合數(shù)據(jù)分層的情況出現(xiàn)，可以通過(guò)使用相同絕對(duì)坐標(biāo)或手動(dòng)添加控制點(diǎn)這兩種具體方案[10-11]進(jìn)行解決。

１）使用相同坐標(biāo)系，地面統(tǒng)一布設(shè)像控點(diǎn)，或分開單獨(dú)布設(shè)均可，只要兩者具有相同的平面坐標(biāo)系與高程基準(zhǔn)，其點(diǎn)云融合精確度較高，能夠有效避免融合后點(diǎn)云分層。2）若采用方案二手動(dòng)添加控制點(diǎn)，一般是由于前期沒(méi)有布設(shè)地面控制點(diǎn)，而是通過(guò)后期室內(nèi)手動(dòng)添加。這樣則需要在手動(dòng)添加控制點(diǎn)后進(jìn)行概略解算，然后經(jīng)多次空三解算以精確融合。需要說(shuō)明的是，手動(dòng)控制點(diǎn)應(yīng)選擇較為平坦的特征點(diǎn)，而具有一定高度或特征不明顯的點(diǎn)位不宜作控制點(diǎn)使用。當(dāng)然，無(wú)論使用哪種方案，在數(shù)據(jù)融合前均需要對(duì)自身數(shù)據(jù)進(jìn)行去噪處理，以精化有效數(shù)據(jù)，避免分層，到達(dá)更好的融合效果。

本研究主要側(cè)重探討空中機(jī)載LiDAR與傾斜攝影數(shù)據(jù)間的融合，未討論空地間的融合。在某些特殊情況下，由于地面植被、屋檐等遮擋嚴(yán)重，需要地面補(bǔ)拍，或使用地面三維激光掃描，此時(shí)除了會(huì)出現(xiàn)地面LiDAR點(diǎn)云與傾斜融合分層的情況（該情況與機(jī)載LiDAR融合情況類似，不在贅述），還會(huì)出現(xiàn)近景補(bǔ)拍影像不能參與到傾斜空三解算中去的情形，這是由于兩者影像分辨率差異過(guò)大，不能完成特征點(diǎn)匹配所致，因此在融合過(guò)程中，近景影像與傾斜影像的分辨率控制在2至3倍關(guān)系為宜。

3 ?案例分析

3.1 ?多源數(shù)據(jù)的融合

為了更好地驗(yàn)證上述多源數(shù)據(jù)融合方案的可靠性，借助實(shí)例進(jìn)行了測(cè)試。測(cè)試場(chǎng)景特意選擇了具有一定異形構(gòu)造的建筑物——某GPS接收機(jī)檢校場(chǎng)。該場(chǎng)地由9個(gè)圓形柱體觀測(cè)墩呈矩陣式排列。在LiDAR影像點(diǎn)云與傾斜影像點(diǎn)云的融合方案選擇上，選擇了由統(tǒng)一絕對(duì)坐標(biāo)系與手動(dòng)添加控制點(diǎn)結(jié)合的綜合融合方式。此次飛行航高均為80 m，機(jī)載雷達(dá)掃描設(shè)備采用了DV-LiDAR40，正攝相機(jī)檢校見(jiàn)圖4，具體性能參數(shù)見(jiàn)表1。

傾斜攝影影像分辨率設(shè)為1.5 cm，旁向與航向重疊度分別為80%、70%，垂直鏡頭焦距28 mm，傾斜鏡頭焦距40 mm，傳感器尺寸為23.5 mm×15.6 mm，五鏡頭總有效像素為1.2億。數(shù)據(jù)處理與建模，采用了20臺(tái)GPU高性能集群服務(wù)器，單臺(tái)顯存11 GB，內(nèi)存128 GB。此外，布設(shè)6個(gè)地面控制點(diǎn)，18個(gè)地物檢查點(diǎn)。機(jī)載LiDAR點(diǎn)云原始數(shù)據(jù)見(jiàn)圖5，正攝影像點(diǎn)云數(shù)據(jù)與機(jī)載LiDAR點(diǎn)云數(shù)據(jù)的融合效果見(jiàn)圖6。圖7表現(xiàn)了LiDAR影像點(diǎn)云與傾斜影像點(diǎn)云的融合過(guò)程。圖8為測(cè)區(qū)異形結(jié)構(gòu)融合前后的實(shí)景模型。

由圖8可以明顯看到，融合后的模型從分辨率與精細(xì)度上，均優(yōu)于融合前的模型。

3.2 ?精度分析

為了對(duì)比傾斜攝影點(diǎn)云與LiDAR影像點(diǎn)云數(shù)據(jù)融合前后的量化精度，在外場(chǎng)布設(shè)了18個(gè)地物檢查點(diǎn)，計(jì)算、分析了點(diǎn)云融合前與融合后的模型精度。具體統(tǒng)計(jì)結(jié)果見(jiàn)表2。計(jì)算結(jié)果見(jiàn)式（3）～式（6）。

由式（3）～式（6）的計(jì)算結(jié)果可以看出：融合前平面點(diǎn)位中誤差為±8.2 cm、融合后平面點(diǎn)位中誤差為±4.6 cm、融合前高程中誤差為±11.4 cm、融合后高程中誤差為±6.5 cm。從結(jié)果上看，融合后的平面與高程中的誤差，均小于融合前的；從精度的提高幅度上看，高程精度相對(duì)于平面精度，得到了更大的提升。

4 ? 結(jié)語(yǔ)

多源數(shù)據(jù)的融合處理方案，是目前應(yīng)對(duì)有高精度三維實(shí)景建模要求的較好的解決方案。本研究鑒于當(dāng)代愈來(lái)愈多建筑風(fēng)格的多樣性與異形結(jié)構(gòu)的抽象化等發(fā)展趨勢(shì)，針對(duì)具有特殊頂部構(gòu)造的建筑，探討了傾斜攝影、正攝影像及機(jī)載LiDAR點(diǎn)云數(shù)據(jù)間的融合處理方案；同時(shí)通過(guò)測(cè)試案例，給出了機(jī)載LiDAR影像點(diǎn)云與傾斜影像點(diǎn)云的融合結(jié)果，并進(jìn)行了精度對(duì)比。融合后的實(shí)景模型在構(gòu)造的完整性與模型的分辨率上，均好于融合前；精度上亦是如此，融合后的模型平面點(diǎn)位中誤差與高程中誤差均優(yōu)于融合前，且高程精度提升更為顯著。

在建筑風(fēng)格多元化的今天，測(cè)繪數(shù)據(jù)融合處理方案在一定程度上確實(shí)解決了精細(xì)化實(shí)景建模的技術(shù)瓶頸，而從融合類別上看，本研究尚未探討空地融合，空三分層與融合穩(wěn)定性仍是目前多源數(shù)據(jù)融合技術(shù)所面臨的重要問(wèn)題，這也是后續(xù)有待重點(diǎn)開展相關(guān)測(cè)試、研究、總結(jié)的方向。

參考文獻(xiàn)

[1] 任小強(qiáng)，溫俊麗，孟勇飛，等. 山區(qū)無(wú)人機(jī)傾斜攝影實(shí)景三維建模質(zhì)量控制[J]. 工程勘察，2021（3）：68-72.

[2] 丁偉. 傾斜攝影測(cè)量技術(shù)應(yīng)用于農(nóng)村不動(dòng)產(chǎn)權(quán)籍調(diào)查[J].工程勘察，2020（12）：58-62.

[3] 魯麗.傾斜攝影在旅游風(fēng)景區(qū)三維建模的應(yīng)用探討[J].江西測(cè)繪，2020（2）：19-21.

[4] 李通. 基于機(jī)載LiDAR技術(shù)的DEM快速更新關(guān)鍵技術(shù)研究[J]. 江西測(cè)繪，2019（4）：20-22.

[5] 廉福綿. LiDAR技術(shù)在高速公路改擴(kuò)建中的應(yīng)用及精度分析[J]. 江西測(cè)繪，2020（1）：23-26.

[6] 李曉斌，林志軍，楊璽，等. 基于激光掃描和傾斜攝影技術(shù)的三維實(shí)景融合建模研究[J]. 激光雜志，2021，42（8）：167-170.

[7] 陳立波，聶倩，陶鵬杰. 基于LiDAR點(diǎn)云控制的傾斜攝影高精度幾何定向技術(shù)研究[J]. 測(cè)繪地理信息，2021，46（1）：49-52.

[8] 雷志秋，馬強(qiáng)，李杉格，等. 基于固定翼載小型LiDAR與傾斜攝影數(shù)據(jù)融合的三維測(cè)圖[J].測(cè)繪地理信息，2022，47（2）：101-104.

[9] 張劍清，潘勵(lì)，王樹根. 攝影測(cè)量學(xué)[M]. 武漢：武漢大學(xué)出版社，2002.

[10] 鄧非，楊海關(guān)，李麗英. 基于互信息的LIDAR與光學(xué)影像配準(zhǔn)方法[J]. 測(cè)繪科學(xué)，2009（6）：51-52.

[11] 譚仁春，李鵬鵬，文琳，等. 無(wú)人機(jī)傾斜攝影的城市三維建模方法優(yōu)化[J]. 測(cè)繪通報(bào)，2016（11）：39-42.